DE112019000122T5

DE112019000122T5 - Echtzeiterfassung von spuren und begrenzungen durch autonome fahrzeuge

Info

Publication number: DE112019000122T5
Application number: DE112019000122.1T
Authority: DE
Inventors: Yifang Xu; Xin Liu; Chia-Chih Chen; Carolina Parada; Davide Onofrio; Minwoo Park; Mehdi Sajjadi Mohammadabadi; Vijay Chintalapudi; Ozan Tonkal; John Zedlewski; Pekka Janis; Jan Nikolaus Fritsch; Gordon Grigor; Zuoguan Wang; I-Kuei Chen; Miguel Sainz
Original assignee: Nvidia Corp
Current assignee: Nvidia Corp
Priority date: 2018-02-27
Filing date: 2019-02-26
Publication date: 2020-06-25
Also published as: US20190266418A1; CN111095291B; US20210224556A1; US11676364B2; US10997433B2; US20230267701A1; CN111095291A; WO2019168869A1

Abstract

In verschiedenen Beispielen können Sensordaten, die für ein Bild eines Sichtfelds eines Fahrzeugsensors repräsentativ sind, empfangen werden, und die Sensordaten können auf ein Modell für maschinelles Lernen angewandt werden. Das Modell für maschinelles Lernen kann eine Segmentierungsmaske berechnen, die für Abschnitte des Bildes repräsentativ sind, die Spurmarkierungen der Fahroberfläche des Fahrzeugs darstellen. Eine Analyse der Segmentierungsmaske kann durchgeführt werden, um Spurmarkierungsarten zu bestimmen, und Spurbegrenzungen können durch Durchführen einer Kurvenanpassung auf die Spurmarkierungen, die jede der Spurmarkierungsarten entspricht, erzeugt werden. Die Daten, die für die Spurbegrenzungen repräsentativ sind, können dann an eine Komponente des Fahrzeugs zur Verwendung beim Navigieren des Fahrzeugs durch die Fahroberfläche gesendet werden.

Description

HINTERGRUND DER ERFINDUNG
Damit autonome Fahrzeuge in allen Umgebungen sicher arbeiten, müssen die autonome Fahrzeuge imstande sein, Fahrzeugmanöver wirksam durchzuführen - wie beispielsweise Spurhalten, Spurwechsel, Spuraufspaltungen, Abbiegungen, Stoppen und Starten an Kreuzungen, Fußgängerüberwegen und dergleichen und/oder andere Fahrzeugmanöver. Damit beispielsweise ein autonomes Fahrzeug durch Oberflächenstraßen (z.B. Stadtstraßen, Seitenstraßen, Nachbarschaftsstraßen usw.) und auf Fernstraßen (z.B. mehrspurigen Straße) navigieren kann, ist es für das autonome Fahrzeug erforderlich, ein sich häufig schnell bewegendes Fahrzeug unter einem oder mehreren Teilen (z.B. Spuren, Kreuzungen, Fußgängerüberwegen, Begrenzungen usw.) einer Straße zu navigieren, die häufig minimal beschrieben sind und unter bestimmten Bedingungen sogar für die aufmerksamsten und erfahrensten Fahrer schwierig zu identifizieren sein können. Mit anderen Worten ist ein autonomes Fahrzeug erforderlich, ein funktionales Äquivalent eines aufmerksamen menschlichen Fahrers zu sein, welcher auf ein Wahrnehmungs- und Handlungssystem zurückgreift, das eine unglaubliche Fähigkeit aufweist, sich bewegende und statische Hindernissen in einer komplexen Umgebung zu erkennen und darauf zu reagieren, um lediglich ein Zusammenstoßen mit anderen Objekten oder Strukturen entlang seines Wegs zu vermeiden.
Herkömmliche Vorgehensweisen, um Spur- und Straßenbegrenzungen zu erfassen, umfassen das Erzeugen und Verarbeiten von Bildern von einer oder mehreren Kameras und das Versuchen, die Spur- und Straßenbegrenzungen von visuellen Indikatoren zu interpolieren, die während der Verarbeitung (z.B. unter Verwendung von Computervision oder anderen Techniken maschinellen Lernens) identifiziert werden. Das Durchführen einer Spur- und Straßenbegrenzungserfassung auf diese Weise erwies sich jedoch entweder zu rechenaufwändig, um in Echtzeit wirksam zu laufen, und/oder litt unter Ungenauigkeit als Ergebnis von implementierten Verknüpfungen, um Rechenanforderungen zu verringern. Mit anderen Worten verzichten diese herkömmlichen Systeme auf Genauigkeit, um in Echtzeit zu arbeiten, oder verzichten auf einen Betrieb in Echtzeit, um eine annehmbare Genauigkeit zu erzeugen. Außerdem ist sogar bei herkömmlichen Systemen, die ein Ausmaß an Genauigkeit erreichen, die für einen sicheren und wirksamen Betrieb von autonomen Fahrzeugen erforderlich ist, die Genauigkeit auf ideale Straßen und Wetterbedingungen beschränkt. Als Ergebnis können autonome Fahrzeuge, die unter Verwendung dieser herkömmlichen Vorgehensweisen arbeiten, nicht in der Lage sein, genau in Echtzeit und/oder mit Genauigkeit bei allen Straßen- und Wetterbedingungen zu arbeiten.
ZUSAMMENFASSUNG DER ERFINDUNG
Ausführungsformen der vorliegenden Offenbarung betreffen die Verwendung von Modellen für maschinelles Lernen, um Spuren und Straßenbegrenzungen durch autonome Fahrzeuge zu erfassen, und fortgeschrittene Fahrerassistenzsysteme in Echtzeit. Genauer gesagt werden Systeme und Verfahren offenbart, die für eine genaue Erfassung und Identifikation der Spuren und Straßenbegrenzungen in Echtzeit unter Verwendung eines tiefen neuronalen Netzwerks sorgen, das trainiert ist - z.B. unter Verwendung von Bildern niedriger Auflösung, Bilder einer interessierender Region und einer Vielzahl von Ground-Truth-Masken - um Spuren und Begrenzungen in einer Vielzahl von Situationen zu erfassen, die weniger als ideale Wetter- und Straßenbedingungen beinhalten.
Im Gegensatz zu herkömmlichen Systemen, wie beispielsweise jene, die oben beschrien sind, kann das aktuelle System ein oder mehrere Modelle für maschinelles Lernen verwenden, die rechnerisch nicht aufwändig und für einen Echtzeiteinsatz in der Lage sein, Spuren und Begrenzungen zu erfassen. Das(die) Modell(e) für maschinelles Lernen kann(können) mit einer Vielzahl von Annotierungen sowie auch einer Vielzahl von transformierten Bildern trainiert werden, so dass das(die) Modell(e) für maschinelles Lernen in der Lage ist(sind), Spuren und Begrenzungen in einer genauen und zeitnahen Art und Weise insbesondere bei größeren Abständen zu erfassen. Das(die) Modell(e) für maschinelles Lernen kann(können) unter Verwendung von Bildern niedriger Auflösung, Bilder der interessierenden Region (z.B. beschnittene Bilder), transformierten Bildern (z.B. raumaugmentiert, farbaugmentiert usw.), Ground-Truth-Bezeichnungen oder Masken und/oder transformierten Ground-Truth-Bezeichnungen oder Masken (z.B. gemäß der entsprechenden Augmentation der transformierten Bilder augmentiert, auf die sie sich beziehen) trainiert werden. Das(die) Modell(e) für maschinelles Lernen kann(können) ebenfalls unter Verwendung von sowohl binären als auch mehrklassigen Segmentierungsmasken trainiert werden, was die Genauigkeit des Modells weiter erhöht. Außerdem kann eine Nachverarbeitung an Ausgaben des(der) Modells(e) für maschinelles Lernen durchgeführt werden, um Arten und Konturen der Spurmarkierungen und Begrenzungen genauer zu identifizieren und zu bezeichnen. Nach der Nachverarbeitung können Spurkurven und Bezeichnungen erzeugt werden, die von einer oder mehreren Schichten eines Software-Stapels für das autonome Fahren - wie beispielsweise einer Wahrnehmungsschicht, einer Weltmodell-Verwaltungsschicht, einer Planungsschicht, einer Steuerschicht und/oder einer Hindernisvermeidungsschicht - verwendet werden können.
Als Ergebnis des Ausführens der Spur- und Straßenbegrenzungserfassung gemäß der Prozesse der vorliegenden Offenbarung können autonome Fahrzeuge in der Lage sein, Spuren und Straßenbegrenzungen einer Fahroberfläche zu erfassen, um innerhalb einer aktuellen Spur durch Spurwechsel, durch Spurzusammenführungen und Spuraufspaltungen, durch Kreuzungen und/oder durch andere Merkmale der Fahroberfläche in einer Vielzahl von Straßen- und Wetterbedingungen wirksam und sicher zu navigieren. Außerdem kann, weil die Architektur des(der) Modells(e) für maschinelles Lernen, das Trainingsverfahren für das(die) Modell(e) für maschinelles Lernen und das Nachverarbeitungsverfahren zum Konvertieren der Ausgabe des(der) Modell(e) für maschinelles Lernen in Spurkurven und Bezeichnungen, die gemäß der vorliegenden Offenbarung durchgeführte Spur- und Begrenzungserfassung weniger rechenaufwändig - weniger Verarbeitungsleistung, Energieverbrauch und Bandbreite erfordern - als in herkömmlichen Vorgehensweisen sein.
Figurenliste
Die vorliegenden Systeme und Verfahren zur Echtzeiterfassung von Spuren und Straßenbegrenzungen durch autonome Fahrzeuge werden nachstehend ausführlich mit Bezugnahme auf die beigefügten Zeichnungsfiguren beschrieben, wobei:

1A ein Datenflussdiagramm ist, das einen Beispielprozess zum Erfassen von Spuren und Straßenbegrenzungen gemäß einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht;
1B eine Veranschaulichung eines Beispiels eines Modells für maschinelles Lernen gemäß einigen Ausführungsformen der vorliegenden Offenbarung ist;
1C eine Veranschaulichung eines weiteren Beispiels eines Modells für maschinelles Lernen gemäß einigen Ausführungsformen der vorliegenden Offenbarung ist;
2 ein Ablaufdiagramm ist, das ein Verfahren zum Erfassen von Spuren und Straßenbegrenzungen gemäß einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht;
3A ein Datenflussdiagramm ist, das einen Beispielprozess zum Trainieren eines(von) Modells(en) für maschinelles Lernen), um Spuren und Straßenbegrenzungen zu erfassen, gemäß einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht;
3B ein Datenflussdiagramm ist, das ein Beispielprozess zum Erzeugen von Trainingsbildern, um ein Modell(e) für maschinelles Lernen zu trainieren, gemäß einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht;
3C ein Datenflussdiagramm umfasst, das ein Beispielprozess zum Trainieren eines(von) Modells(en) für maschinelles Lernen) unter Verwendung eines Mehrklassenmaskenkopf und/oder eines Binärmaskenkopfes gemäß einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht;
3D ein Ablaufdiagramm ist, das ein Verfahren zum Trainieren eines(von) Modells(en) für maschinelles Lernen), um Spuren und Straßenbegrenzungen unter Verwendung von transformierten Bildern und transformierten Bezeichnungen als Ground-Truth-Daten zu erfassen, gemäß einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht;
4A ein Datenflussdiagramm ist, das einen Beispielprozess zum Erzeugen von Ground-Truth-Daten, um ein Modell(e) für maschinelles Lernen um Spuren und Straßenbegrenzungen zu trainieren, gemäß einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht;
4B ein Datenflussdiagramm ist, das ein Beispielprozess zum Durchführen von Datenvermehrung und Cropping von Ground-Truth-Masken gemäß einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht;
4C ein Ablaufdiagramm ist, das ein Verfahren zum Trainieren eines(von) Modells(en) für maschinelles Lernen, um Spuren und Straßenbegrenzungen unter Verwendung von abwärtsabgetasteten Bildern und/oder Ground-Truth-Masken zu erfassen, gemäß einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht;
4D t ein Ablaufdiagramm ist, das ein Verfahren zum Trainieren eines(von) Modells(en) für maschinelles Lernen, um Spuren und Straßenbegrenzungen unter Verwendung von beschnittenen Bildern und/oder Ground-Truth-Masken zu erfassen, gemäß einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht;
5A eine Veranschaulichung eines Beispielprozess zum Annotieren von Straßenbegrenzungen für Ground-Truth-Daten gemäß einigen Ausführungsformen der vorliegenden Offenbarung ist;
5B eine Veranschaulichung einer beispielhaften Straßenbegrenzungsannotierung gemäß einigen Ausführungsformen der vorliegenden Offenbarung ist;
5C ein Ablaufdiagramm ist, das ein Verfahren zum Annotieren von Straßenbegrenzungen zur Ground-Truth-Erzeugung gemäß einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht;
6A eine Veranschaulichung einer beispielhaften Fußgängerüberweg- und Kreuzungsannotierung gemäß einigen Ausführungsformen der vorliegenden Offenbarung ist;
6B und 6C Diagramme sind, die beispielhafte Spurzusammenführungsannotierungen gemäß einigen Ausführungsformen der vorliegenden Offenbarung veranschaulichen;
6D und 6E Diagramme sind, die beispielhafte Spuraufspaltungsannotierungen gemäß einigen Ausführungsformen der vorliegenden Offenbarung veranschaulichen;
7A eine Veranschaulichung von beispielhaften Leistungsberechnungen an unterschiedlichen Regionen eines Trainingsbilds gemäß einigen Ausführungsformen der vorliegenden Offenbarung ist;
7B eine beispielhafte Veranschaulichung einer zweidimensionalen (2D) KPI-Messung unter Verwendung von Spurerfassung und Ground-Truth-Polylinienpunkten gemäß einigen Ausführungsformen der vorliegenden Offenbarung ist;
7C ein Diagramm ist, das eine dreidimensionale (3D) KPI-Messung unter Verwendung von Spurerfassung und Ground-Truth-Polylinienpunkten gemäß einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht;
8A eine Veranschaulichung eines beispielhaften autonomen Fahrzeugs gemäß einigen Ausführungsformen der vorliegenden Offenbarung ist;
8B ein Beispiel für Kamerastandorte und Sichtfelder für das beispielhafte autonome Fahrzeug von 8A gemäß einigen Ausführungsformen der vorliegenden Offenbarung ist;
8C ein Blockdiagramm einer beispielhaften Systemarchitektur für das beispielhafte autonome Fahrzeug von 8A gemäß einigen Ausführungsformen der vorliegenden Offenbarung ist;
8D ein Systemdiagramm für die Kommunikation zwischen einem Cloud-basierten Server(n) und dem beispielhaften autonomen Fahrzeug von 8A gemäß einigen Ausführungsformen der vorliegenden Offenbarung ist; und
9 ein beispielhaftes Blockdiagramm für eine beispielhafte Computervorrichtung ist, die für eine Implementierung von Ausführungsformen der vorliegenden Offenbarung geeignet ist.

AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
Systemen und Verfahren werden offenbart, welche die Verwendung von einem oder mehreren Modellen für maschinelles Lernen betreffen, um in Echtzeit Spuren und Straßenbegrenzungen durch autonome Fahrzeuge und/oder fortschrittliche Fahrerassistenzsysteme (ADAS) zu erfassen. Die vorliegende Offenbarung kann mit Bezug auf ein beispielhaftes autonomes Fahrzeug 800 (alternativ hier als „Fahrzeug 800“ oder „autonomes Fahrzeug 800“ bezeichnet) beschrieben werden, wobei ein Beispiel davon hier mit Bezug auf 8A-8D beschrieben ist. Dies ist jedoch nicht bestimmt, einschränkend zu sein. Beispielsweise können hier beschriebenen Systemen und Verfahren in Augmented-Reality, Virtual-Reality, Robotik und/oder anderen Technologiebereichen, wie beispielsweise für Lokalisierung, Kalibrierung und/oder anderen Prozessen, verwendet werden. Außerdem ist, obwohl sich die hier beschriebenen Erfassungen primär auf Spuren, Straßenbegrenzungen, Spuraufspaltungen, Spurzusammenführungen, Kreuzungen, Fußgängerüberwegen und/oder dergleichen beziehen, die vorliegenden Offenbarung nicht bestimmt, lediglich auf diese Erfassungen beschränkt zu sein. Beispielsweise können die hier beschriebenen Prozesse zum Erfassen von anderen Objekten oder Merkmalen, wie beispielsweise Zeichen, Masten, Bäume, Barrieren und/oder anderen Objekten oder Merkmalen, verwendet werden. Obwohl die Beschreibung in der vorliegenden Offenbarung Spurerfassungen von Spuraufspaltungen und Spurzusammenführungen trennt, ist dies außerdem nicht bestimmt, einschränkend zu sein. Beispielsweise können die Merkmale und die Funktionalität, die hier mit Bezug auf die Erfassung von Spuren und Straßenbegrenzungen beschrieben sind/ist, ebenfalls auf die Erfassung von Spuraufspaltungen und/oder Spurzusammenführungen anwendbar sein. Alternativ können die Merkmale und die Funktionalität, die hier mit Bezug auf das Erfassen von Spuraufspaltungen und/oder Spurzusammenführungen beschrieben sind/ist, können ebenfalls auf das Erfassen von Spuren und/oder Straßenbegrenzungen anwendbar sein.
Spur- und Straßenbegrenzung-Erfassungssystem Wie oben beschrieben, stützen sich herkömmliche Systeme auf Echtzeitbilder, die unter Verwendung von verschiedenen Computervisionstechniken oder Techniken des maschinellen Lernens (z.B. von visuellen Indikatoren, über Bildverarbeitung identifiziert) verarbeitet werden, um Spuren und/oder Straßenbegrenzungen zu erfassen. Diese Techniken sind entweder zu rechenaufwändig, um Aufgaben in Echtzeit genau durchzuführen, und/oder leiden unter Ungenauigkeit als Ergebnis implementierter Verknüpfungen, um Rechenanforderungen zu verringern. Als Ergebnis schaffen es herkömmliche Systeme nicht, das notwendige Ausmaß an Genauigkeit beim Erfassen von Spuren und/oder Straßenbegrenzungen in Echtzeit bereitzustellen, indem entweder genaue Information zu spät oder ungenaue Information bereitgestellt wird, die für ein autonomes Fahrzeug ungeeignet ist, um während des Fahrens sicher zu navigieren.
Im Gegensatz dazu sehen die vorliegenden Systeme ein autonomes Fahrzeug vor, das Spuren und/oder Straßenbegrenzungen mit erhöhter Verarbeitungsfähigkeit erfassen kann, indem ein tiefes neuronales Netzwerk (DNN) mit einer vergleichsweise kleineren Grundfläche (z.B. weniger Schichten als herkömmliche Vorgehensweisen) verwendet wird. Das DNN kann unter Verwendung einer Vielzahl von unterschiedliche Bildern und Ground-Truth-Masken - wie beispielsweise Bilder niedriger Auflösung des vollen Blickfelds, Bilder höherer Auflösung der interessierenden Region (ROI) oder eine Kombination davon - trainiert werden, um die Genauigkeit des DNN beim Erfassen von Spuren und Straßenbegrenzungen insbesondere bei größeren Abständen zu erhöhen. Außerdem können, weil die Architektur des DNN, der Trainingsprozess für das DNN und die Nachverarbeitung der DNN-Ausgabe, die aktuellen Systeme, wenn in einem autonomen Fahrzeug eingesetzt, im Stande sein, Spuren und Straßenbegrenzungen - einschließlich jene, die verdeckt sind - in Echtzeit und in weniger als idealen Wetter- oder Straßenbedingungen genau zu erfassen.
Beispielsweise können visuelle Echtzeit-Sensordaten (z.B. Daten, die für Bilder und/oder Videos, LIDAR-Daten, RADAR-Daten usw. repräsentativ sind) von Sensoren (z.B. einer oder mehreren Kameras, einem oder mehreren LIDAR-Sensoren, einem oder mehreren RADAR-Sensoren usw.) empfangen werden, die sich auf einem autonomen Fahrzeug befinden. Die Sensordaten können auf ein Modell(e) für maschinelles Lernen (z.B. das DNN) angewandt werden, das(die) trainiert ist(sind), interessierende Bereiche zu kennzeichnen, die Straßenmarkierungen, Straßenbegrenzungen, Kreuzungen und/oder dergleichen (z.B. erhöhte Pflastermarkierungen, Rüttelstreifen, farbige Spurteiler, Gehwege, Fußgängerübergänge, Abbiegungen usw.) der Sensordaten betreffen.
Genauer gesagt kann(können) das(die) Modell(e) für maschinelles Lernen ein DNN sein, das ausgestaltet ist, um Spur- und Begrenzungsmarker zu inferenzieren und eine oder mehrere Segmentierungsmasken (z.B. binär und/oder mehrklassig) zu erzeugen, die kennzeichnen können, wo sich in den Darstellungen (z.B. Bild(er)) der Sensordaten potentielle Spuren und Straßenbegrenzungen befinden können. In einigen Beispielen kann(können) die Segmentierungsmaske(n) Punkte umfassen, die durch Pixel in dem Bild bezeichnet werden, wo bestimmt worden sein kann, dass Spuren und oder Begrenzungen durch das DNN lokalisiert wurden. In einigen Ausführungsformen kann(können) die erzeugte(n) Segmentierungsmaske(n) eine Binärmaske mit einer ersten Darstellung für Hintergrundelemente (z.B. andere Elemente als Spuren und Begrenzungen) und einer zweiten Darstellung für Vordergrundelemente (z.B. Spuren und Begrenzungen) sein. In anderen Beispielen kann, zusätzlich zu oder alternativ von der Binärmaske, das DNN trainiert werden, um eine mehrklassige Segmentierungsmaske mit unterschiedlichen Klassen zu erzeugen, die sich auf unterschiedliche Spurmarkierungen und/oder Begrenzungen beziehen. In derartigen Beispielen können die Klassen eine erste Klasse für Hintergrundelemente, eine zweite Klasse für Straßenbegrenzungen, eine dritte Klasse für durchgezogene Spurmarkierungen, eine vierte Klasse für gestrichelte Spurmarkierungen, eine fünfte Klasse für Kreuzungen, eine sechste Klasse für Fußgängerüberwege, eine siebente Klasse für Spuraufspaltungen und/oder andere Klassen umfassen.
Das DNN selbst kann eine beliebige Anzahl von unterschiedlichen Schichten umfassen, obwohl einige Beispielen vierzehn oder weniger Schichten umfassen, um Datenspeicheranforderungen zu minimieren und Verarbeitungsgeschwindigkeiten für das DNN im Vergleich zu herkömmlichen Vorgehensweisen zu erhöhen. Das DNN kann eine oder mehrere Faltungsschichten umfassen und die Faltungsschichten können kontinuierlich die räumliche Auflösung des Eingabebildes abwärts abtasten (z.B. bis die Ausgabeschichten oder eine oder mehrere Entfaltungsschichten erreicht sind). Die Faltungsschichten können trainiert werden, um eine hierarchische Darstellung von Eingabebildern zu erzeugen, wobei jede Schicht ein höheres Ausmaß an Extraktion als ihre vorhergehende Schicht erzeugt. Als solche kann die Eingabeauflösung bei jeder Schicht verringert werden, was das DNN in die Lage versetzt, Sensordaten (z.B. Bilddaten, LIDAR-Daten, RADAR-Daten usw.) schneller als herkömmliche Systeme zu verarbeiten. Das DNN kann eine oder mehrere der Faltungsschichten umfassen, welche die Ausgabeschicht(en) in einigen Beispielen sein kann(können). Die Entfaltungsschicht(en) kann(können) die räumliche Auflösung aufwärts abtasten, um ein Ausgabebild von vergleichsweise höherer räumlicher Auflösung als die Faltungsschichten zu erzeugen, die der Entfaltungsschicht vorangehen. Die Ausgabe des DNN (z.B. die Segmentierungsmaske) kann eine Wahrscheinlichkeit einer räumlichen Gitterzelle (z.B. eines Pixel) angeben, die zu einer bestimmten Klasse von Spuren oder Begrenzungen gehört.
Das DNN kann mit bezeichneten Bildern unter Verwendung von mehreren Iterationen trainiert werden, bis der Wert einer oder mehrerer Verlustfunktionen des Netzwerks unterhalb eines Schwellenverlustwerts sind. Das DNN kann Berechnungen in Vorwärtsrichtung an den Trainingsbildern durchführen, um Merkmalextraktionen von jeder Transformation zu erzeugen. In einigen Beispielen kann das DNN interessierende Merkmale der Bilder extrahieren und eine Wahrscheinlichkeit der Merkmale, die einer bestimmten Begrenzungsklasse oder Spurklasse in den Bildern entsprechen, auf einer Pixel-für-Pixel-Basis vorhersagen. Die Verlustfunktion(en) kann(können) verwendet werden, um Fehler in den Vorhersagen des DNN unter Verwendung von einer oder mehreren Ground-Truth-Masken zu messen. In einem Beispiel kann eine binäre Kreuzentropiefunktion als die Verlustfunktion verwendet werden.
Berechnungen in Rückwärtsrichtung können durchgeführt werden, um Gradienten der Verlustfunktion in Bezug auf Trainingsparameter rekursiv zu berechnen. In einigen Beispielen können Gewichtung und Bias des DNN verwendet werden, um diese Gradienten zu berechnen. Beispielsweise kann Regionen-basierter gewichteter Verlust zu der Verlustfunktion hinzugefügt werden, wobei die Verlustfunktion den Verlust in weiteren Entfernungen von der Unterseite des Bildes zunehmend bestrafen kann (z.B. die Orte in einer physischen Umgebung ferner von dem autonomen Fahrzeug darstellen). Vorteilhafterweise kann dies die Erfassung von Spuren und Begrenzungen bei weiteren Abständen im Vergleich mit herkömmlichen Systemen verbessern, weil das Erfassen bei weiteren Abständen feiner abgestimmt und somit durch das DNN besser angenähert werden kann. In einigen Beispielen kann ein Optimierer verwendet werden, um Einstellungen an den Trainingsparametern (z.B. Gewichte, Bias usw.) vorzunehmen. In einem Beispiel kann ein Adam-Optimierer verwendet werden, während in anderen stochastischer Gradientienabstieg oder stochastischer Gradientienabstieg mit einem Momentumterm verwendet werden kann, um diese Einstellungen vorzunehmen. Der Trainingsprozess (z.B. Berechnungen in Vorwärtsrichtung - Berechnungen in Rückwärtsrichtung - Parameteraktualisierungen) kann wiederholt werden, bis die trainierten Parameter zu optimalen, erwünschten oder annehmbaren Werten konvergieren.
In einigen nicht einschränkenden Beispielen kann, sobald die Segmentierungsmaske von dem DNN ausgegeben ist, eine beliebige Anzahl von Nachverarbeitungsschritten durchgeführt werden, um letztlich Spurmarkierungsarten und Kurven zu erzeugen. In einigen Beispielen kann eine verbundene Komponenten (CC; connected component) Bezeichnung verwendet werden. In anderen Beispielen kann eine richtungsgebundene Komponenten (DCC; directional connected components) Bezeichnung verwendet werden, um Pixel (oder Punkte) der Segmentierungsmaske basierend auf den Pixelwerten sowie auch die Spurartkonnektivität in einer Richtung von der Unterseite des Bildes zu der Oberseite des Bildes zu gruppieren. Indem DCC verwendet wird, kann im Vergleich zu CC die perspektivische Ansicht (z.B. des(der) Sensor(en) des Fahrzeugs) der Spurmarkierungen und Straßenbegrenzungen der Fahroberfläche ausgenutzt werden. DCC können ebenfalls die Spurerscheinungsart (z.B. basierend auf Klassen der mehrklassigen Segmentierungsmaske) beim Bestimmen wirksam einsetzen, welche Pixel oder Punkte verbunden werden können.
In einem anderen nicht einschränkenden Beispiel kann dynamische Programmierung verwendet werden, um einen Satz von signifikanten Spitzenpunkten, die durch 2D-Orte dargestellt werden, und zugeordnete Vertrauenswerte zu bestimmen. Für jedes Paar der signifikanten Spitzenpunkte kann Konnektivität bewertet werden und ein Satz von Spitzen und Rändern mit entsprechenden Konnektivitätswerten kann (z.B. basierend auf Vertrauenswerten) erzeugt werden. Ein Kürzester-Pfad-Algorithmus, ein Längster-Pfad-Algorithmus und/oder Alle-Paare-Kürzester-Pfad(APSP)-Algorithmen können verwendet werden, um Kandidatenspurränder zu identifizieren. In einigen Beispielen kann ein zusätzlicher Krümmungsglättungsterm verwendet werden, um beim Anwenden einer APSP-Funktion ein Bias in Richtung glatter Kurven über Zick-Zack-Kandidatenspurrändern zu erzeugen. Ein Clustering-Algorithmus kann dann verwendet werden, um einen Satz von endgültigen Spurrändern durch Zusammenführen von Unterpfaden und ähnlichen Pfaden (z.B. identifiziert, Kandidatenspurrändern zu entsprechen) in einer Gruppe zu erzeugen.
Die endgültigen Spurränder können dann Spurarten zugewiesen werden, die relativ zu einer Position des Fahrzeugs bestimmt werden können. Potentielle Spurarten können ohne Einschränkung, linke Begrenzung der Fahrzeugspur (z.B. Ego-Spur), rechte Begrenzung der Fahrzeugspur, linke äußere Begrenzung der linken benachbarten Spur zu der Fahrzeugspur, rechte äußere Begrenzung der rechten benachbarten Spur zu der Fahrzeugspur usw. umfassen.
In einigen Beispielen kann eine Kurvenanpassung ebenfalls ausgeführt werden, um endgültige Formen zu bestimmen, die eine natürliche Kurve der Spurmarkierungen und/oder Straßenbegrenzungen am genauesten widerspiegeln. Die Kurvenanpassung kann unter Verwendung von Polylinienanpassung, Polynomanpassung, Klotoidenanpassung und/oder anderen Arten von kurvenanpassenden Algorithmen durchgeführt werden. In einigen Beispielen können Spurkurven durch Neuabtastung von Segmentierungspunkten in dem in der Segmentierungsmaske enthaltenen interessierenden Bereich bestimmt werden.
Letztlich können Daten, welche die Spurmarkierungen, Spurbegrenzungen und zugeordnete Arten darstellen, dann kompiliert werden und an eine Wahrnehmungsschicht, eine Weltmodell-Verwaltungsschicht, eine Planungsschicht, eine Steuerschicht und/oder eine andere Schicht eines Software-Stapels für das autonome Fahren gesendet werden, um dem autonomen Fahrzeug beim Navigieren der Fahroberfläche sicher und wirksam zu helfen.
Bezugnehmend nun auf 1A, ist 1A ein Datenflussdiagramm, das einen Beispielprozess 100 zum Erfassen von Spuren und Straßenbegrenzungen gemäß einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Während die mit Bezug auf 1A beschriebenen Erfassungsarten Spur- und Straßenbegrenzungserfassung sind, ist dies nicht bestimmt, einschränkend zu sein, und wird lediglich für Beispielzwecke verwendet.
Der Prozess 100 zur Spur- und Straßenbegrenzung-Erfassung kann das Erzeugen und/oder Empfangen von Sensordaten 102 von einem oder mehreren Sensoren des autonomen Fahrzeugs 800 umfassen. Die Sensordaten 102 können Sensordaten von beliebigen der Sensoren des Fahrzeugs 800 (und/oder anderen Fahrzeugen oder Objekten, wie beispielsweise Robotervorrichtungen, VR-Systemen, AR-Systemen usw., in einigen Beispielen) umfassen. Mit Bezug auf 8A-8C können die Sensordaten 102 die Daten umfassen, die beispielsweise und ohne Einschränkung durch Sensoren der globalen Navigationssatellitensysteme (global navigation satellite systems; GNSS) 858 (z.B. Global Positioning System-Sensor(en)), RADAR-Sensor(en) 860, Ultraschallsensor(en) 862, LIDAR-Sensor(en) 864, Trägheitsmesseinheit(inertial measurement unit; IMU)-Sensor(en) 866 (z.B. Beschleunigungsmesser, Gyroskop(e), Magnetkompass(es), Magnetometer usw.), Mikrophon(e) 896, Stereokamera(s) 868, Weitwinkelkamera(s) 870 (z.B. Fischaugenkameras), Infrarotkamera(s) 872, Surround-Kamera(s) 874 (z.B. 360 Grad Kameras), Fernbereich- und/oder Mittelbereich-Kamera(s) 898, Geschwindigkeit-Sensor(en) 844 (z.B. zum Messen der Geschwindigkeit des Fahrzeugs 140), Vibrationssensor(en) 842, Lenksensor(en) 840, Bremssensor(en) (z.B. als Teil des Bremssensorsystems 846) und/oder anderer Sensorarten erzeugt werden.
In einigen Beispielen können die Sensordaten 102 die Sensordaten umfassen, die durch eine nach vorne gerichtete Kamera, wie beispielsweise eine Weitwinkelkamera 870, eine Surround-Kamera 874, eine Stereokamera 868 und/oder eine Fernbereich- oder Mittelbereich-Kamera 898 erzeugt werden. Diese Sensordaten können für Computervision und/oder Wahrnehmung beim Navigieren eines Spurwechsels nützlich sein - z.B. innerhalb einer Spur, durch einen Spurwechsel, durch eine Abbiegung, durch eine Kreuzung, usw. - weil eine nach vorne gerichtete Kamera ein Sichtfeld (z.B. das Sichtfeld der nach vorne gerichteten Stereokamera 868 und/oder die Weitwinkelkamera 870 von 8B) umfassen kann, das sowohl eine aktuellen Spur des Fahrzeugs 800, benachbarte Spur(en) des Fahrzeugs 800 und/oder Grenzen der Fahroberfläche umfasst. In einigen Beispielen kann mehr als eine Kamera oder ein anderer Sensor (z.B. LIDAR-Sensor, RADAR-Sensor usw.) verwendet werden, um mehrere Sichtfelder aufzunehmen (z.B. die Sichtfelder der Fernbereich-Kameras 898, der nach vorne gerichteten Stereokamera 868 und/oder der nach vorne gerichteten Weitwinkelkamera 870 von 8B).
In einem beliebigen Beispiel können die Sensordaten 102 Bilddaten, die ein Bild(er) darstellt(darstellen), Bilddaten, die ein Video (z.B. Video-Snapshots) darstellen, und/oder Sensordaten, die Sichtfelder von Sensoren (z.B. LIDAR-Sensor(en) 864, RADAR-Sensor(en) 860 usw.) darstellen, umfassen. In einigen Beispielen können die Sensordaten 102 in das(die) Modell(e) für maschinelles Lernen 108 eingegeben und von dem(den) Modell(en) für maschinelles Lernen 108 verwendet werden, um eine Segmentierungsmaske(en) 110 zu berechnen. In einigen anderen Beispielen können die Sensordaten 102 als Eingabe in den Sensordatenvorprozessor 104 bereitgestellt werden, um vorverarbeitete Sensordaten 106 zu erzeugen. Die vorverarbeiteten Sensordaten 106 können dann in das(die) Modell(e) für maschinelles Lernen 108 als Eingabedaten eingegeben werden.
Viele Arten von Bildern oder Formaten können als Eingaben verwendet werden, beispielsweise komprimierte Bilder wie in den Joint Photographic Experts Gruppe (JPEG)-Formaten oder Luminanz/Chrominanz (YUV)-Formaten, komprimierte Bilder als Einzelbilder, die aus einem komprimierten Videoformat, wie beispielsweise H.264/Advanced Video Coding (AVC) oder H.265/High Efficiency Video Coding (HEVC), stammen, Rohbilder wie sie beispielsweise von Red Clear Blue (RCCB), Red Clear Clear Clear (RCCC) oder anderen Art von Bildgebungssensoren stammen. Es sei bemerkt, dass für das Training des(der) Modells(e) für maschinelles Lernen 108 unterschiedliche Formate und/oder Auflösungen als für die Inferenzierung verwendet werden können (z.B. während des Einsatzes des(der) Modells(e) für maschinelles Lernen 108 in dem autonomen Fahrzeug 800).
Der Sensordatenvorprozessor 104 kann Sensordaten verwenden, die für ein oder mehrere Bilder (oder anderen Datendarstellungen) repräsentativ sind, und die Sensordaten in einen Speicher in Form eines/einer mehrdimensionalen Array/Matrix laden (alternativ als Tensor oder genauer als ein Eingabetensor in einigen Beispielen bezeichnet). Die Array-Größe kann als W x H x C berechnet und/oder dargestellt werden, wobei W für die Bildbreite in Pixeln, H für die Höhe in Pixeln und C für die Anzahl der Farbkanäle steht. Ohne Verlust an Allgemeinheit sind andere Arten und Reihenfolgefestlegungen von Eingabebildkomponenten ebenfalls möglich. Außerdem kann die Batch-Größe B als eine Dimension (z.B. eine zusätzliche vierte Dimension) verwendet werden, wenn Batching verwendet wird. Batching kann zum Training und/oder zur Inferenzierung verwendet werden. Somit kann der Eingabetensor ein Array der Dimension W x H x C x B darstellen. Jede beliebige Reihenfolgefestlegung der Maße kann möglich sein, die von der bestimmten Hardware und Software abhängig sein kann, die verwendet wird, um den Sensordatenvorprozessor 104 zu implementieren. Diese Reihenfolgefestlegung kann gewählt werden, um das Training und/oder die Inferenzierungsleistung des(der) Modells(e) für maschinelles Lernen 108 zu maximieren.
Eine Vorverarbeitungs-Bildpipeline kann von dem Sensordatenvorprozessor 104 eingesetzt werden, um ein Rohbild(er) zu verarbeiten, das(die) von einem Sensor(en) erfasst und in die Sensordaten 102 aufgenommen wurde(n), um vorverarbeitete Sensordaten 106 zu erzeugen, die ein Eingabebild(er) in der(den) Eingabeschicht(en) (z.B. Faltungsstrom(s) 132 von 1B) des(der) Modells(e) für maschinelles Lernen 108 darstellen können. Ein Beispiel einer geeigneten Vorverarbeitungs-Bildpipeline kann eine Roh-RCCB Bayer(z.B. 1-Kanal)-Bildart von dem Sensor verwenden und das Bild in ein RCB-(z.B. 3-Kanal)-Planarbild umwandeln, das in dem Format mit fester Genauigkeit (z.B. 16-Bit pro Kanal) gespeichert wird. Die Vorverarbeitungs-Bildpipeline kann Dekompression, Rauschminderung, Demosaikierung, Weißabgleich, Histogrammberechnung und/oder adaptives globales Tonemapping (z.B. in dieser Reihenfolge oder in einer alternativen Reihenfolge) umfassen.
Wo eine Rauschminderung von dem Sensordatenvorprozessor 104 eingesetzt wird, kann sie bilaterales Entrauschen in der Bayer-Domäne umfassen. Wo Demosaikierung von dem Sensordatenvorprozessor 104 eingesetzt wird, kann sie eine bilineare Interpolation umfassen. Wo eine Histogrammberechnung von dem Sensordatenvorprozessor 104 eingesetzt wird, kann sie das Berechnen eines Histogramms für den C-Kanal beinhalten und mit dem Decompanding oder der Rauschminderung in einigen Beispielen zusammengeführt werden. Wo adaptives globales Tonemapping von dem Sensordatenvorprozessor 104 eingesetzt wird, kann dies die Durchführung einer adaptiven Gamma-Log-Transformation umfassen. Dies kann das Berechnen eines Histogramms, das Erhalten eines Pegels für die mittleren Töne und/oder das Schätzen einer maximalen Luminanz mit dem Pegel für die mittleren Töne umfassen.
Das(die) Modell(e) für maschinelles Lernen 108 kann(können) als Eingabe ein oder mehrere Bilder (oder andere Datendarstellungen) verwenden, die durch die Sensordaten dargestellt werden, um eine oder mehrere Segmentierungsmasken 110 als Eingabe zu erzeugen. In einem nicht einschränkenden Beispiel kann(können) das(die) Modell(e) für maschinelles Lernen 108 als Eingabe ein Bild(er) nehmen, das(die) durch die vorverarbeiteten Sensordaten 106 (alternativ hier als „Sensordaten 106“ bezeichnet) dargestellt werden, um eine Segmentierungsmaske(n) 110 zu erzeugen. Obwohl Beispiele hier mit Bezug auf die Verwendung von neuronalen Netzwerken und speziell faltende neuronale Netzwerke als das(die) Modell(e) für maschinelles Lernen 108 (z.B. mit Bezug auf 1B, 1C, 3A, 3C und 7C) beschrieben werden, ist dies nicht bestimmt, einschränkend zu sein. Beispielsweise und ohne Einschränkung kann das(die) hier beschriebene(n) Modell(e) für maschinelles Lernen 108 eine beliebige Art eines Modells für maschinelles Lernen, wie beispielsweise ein Modell(e) für maschinelles Lernen unter Verwendung von linearer Regression, logistischer Regression, Entscheidungsbäumen, Support-Vector-Machines (SVMs), Naive Bayes, k-nearest neighbor (Knn), K-Mittelwert-Clustering, random forest, Dimensionalitätsreduzierungsalgorithmen, Gradientenverstärkungsalgorithmen, neuronale Netzwerke (z.B. Auto-Encoder, Faltungs-, Wiederholungs-, Perzeptronen-, Long/Short Term Memory (LSTM), Hopfield, Boltzmann, tiefen belief, dekonvolutionär, generativ adversiell, Liquid State Machine usw.) und/oder andere Arten von Modellen für maschinelles Lernen umfassen.
Die Segmentierungsmaske(n) 110, die von dem(den) Modell(en) für maschinelles Lernen 108 ausgegeben wird(werden), kann(können) Abschnitte des(der) Eingabebildes(er) darstellen, die bestimmt werden, Spurmarkierungen oder Straßenbegrenzungen einer Fahroberfläche des Fahrzeugs 800 zu entsprechen. Das(die) Modell(e) für maschinelles Lernen 108 kann(können) ein oder mehrere neuronale Netzwerke umfassen, das trainiert wird(die trainiert werden), um die Segmentierungsmaske(en) 110 als Ausgabe zu erzeugen, die kennzeichnet, wo sich in dem(den) Bild(ern) potentielle Spuren und Begrenzungen befinden können. In einem nicht einschränkenden Beispiel kann(können) die Segmentierungsmaske(n) 110 ferner Vertrauenswerte darstellen, die einer Wahrscheinlichkeit von jedem der Abschnitte der Maske entsprechen, die potentiellen Spuren und/oder Straßenbegrenzungen entspricht. Außerdem kann(können) in einigen Beispielen die Segmentierungsmaske(n) 110 ferner Vertrauenswerte darstellen, die den Wahrscheinlichkeiten von jedem der Abschnitte der Maske entsprechen, die einer bestimmten Klasse von Spurmarkierung oder Straßenbegrenzung (z.B. einer Spurmarkierungsart und/oder einer Straßenbegrenzungsart) entsprechen.
In einigen Beispielen kann(können) die Segmentierungsmaske(n) 110 Punkte (z.B. Pixel) in dem Bild umfassen, wo Spuren und/oder Straßenbegrenzungen bestimmt werden, die durch das(die) Modell(e) für maschinelles Lernen 108 zu lokalisieren sind. In einigen Beispielen kann(können) die erzeugte(n) Segmentierungsmaske(n) 110 eine oder mehreren Binärmasken (z.B. Binärmaskenkopf 334 von 3C) mit einer ersten Darstellung für Hintergrundelemente (z.B. anderen Elemente als Spuren und Straßenbegrenzungen) und einer zweiten Darstellung für Vordergrundelemente (z.B. Spuren und Straßenbegrenzungen) umfassen. Die Binärmaske kann durch das(die) Modell(e) für maschinelles Lernen 108 als Pixelwerte von 0 oder 1 (für schwarz oder weiß) ausgegeben werden, kann andere Pixelwerte umfassen oder kann einen Bereich von Werten umfassen, die als 0 oder 1 interpretiert werden (z.B. wird 0 bis 0,49 als 0 interpretiert und 0,5 bis 1 als 1 interpretiert). Eine resultierende Visualisierung (z.B. die Veranschaulichung der Segmentierungsmaske 110 in 1A-1B) kann eine schwarze und weiße Version des Bildes sein. Obwohl die Linien, Begrenzungen und/oder anderen Merkmale als schwarz in der Veranschaulichung enthalten sind und die Hintergrundelemente weiß sind, ist dies nicht bestimmt, einschränkend zu sein. Beispielsweise können die Hintergrundelemente schwarz sein und der Vordergrund kann weiß sein oder andere Farben können verwendet werden.
In anderen Beispielen kann(können) das(die) Modell(e) für maschinelles Lernen 108 trainiert werden, um eine oder mehrere mehrklassige Segmentierungsmasken (z.B. Mehrklassenmaskenkopf 332 von 3C) als die Segmentierungsmaske(n) 110 zu erzeugen, wobei sich unterschiedliche Klassen auf unterschiedliche Spurmarkierungen und/oder Begrenzungen beziehen. In derartigen Beispielen können die Klassen eine erste Klasse für Hintergrundelemente, eine zweite Klasse für Straßenbegrenzungen, eine dritte Klasse für durchgezogene Spurmarkierungen, eine vierte Klasse für gestrichelte Spurmarkierungen, eine fünfte Klasse für Kreuzungen, eine sechste Klasse für Fußgängerüberwege, eine siebente Klasse für Spuraufspaltungen und/oder zusätzliche oder alternative Klassen umfassen. Eine resultierende Visualisierung (z.B. die Veranschaulichung des Mehrklassenmaskenkopfes 332 von 3C) kann einen ersten Pixelwert für Hintergrundelemente, einen zweiten Pixelwert für Straßenbegrenzungen (z.B. einen Pixelwert, der rot entspricht), einen dritten Pixelwert für durchgezogene Spurmarkierungen (z.B. einen Pixelwert, der grün entspricht) und so weiter umfassen.
Die von dem(den) Modell(en) für maschinelles Lernen 108 ausgegebene(n) Segmentierungsmaske(n) 110 kann(können) einer Nachverarbeitung unterzogen werden. Beispielsweise kann(können) die Segmentierungsmaske(n) 110 einer Neuabtastung 112 unterzogen werden. Die Neuabtastung 112 kann das Extrahieren von Punkten (z.B. Pixeln) der Segmentierungsmaske(n) 110 umfassen, wobei die Punkte Spuren (z.B. Spurmarkierungen) und/oder Straßenbegrenzungen entsprechen können, wie durch das(die) Modell(e) für maschinelles Lernen 108 bestimmt. Die Neuabtastung 112 kann das Gruppieren von Pixeln in der(den) Segmentierungsmaske(n) 110 in Spurkomponenten für jeden interessierenden Bereich (z.B. jede erfasste Spurmarkierung oder Straßenbegrenzung) umfassen.
In einigen nicht einschränkenden Beispielen kann Verbundene-Komponenten(CC)-Bezeichnung verwendet werden, um die Punkte zu gruppieren. In anderen nicht einschränkenden Beispielen kann Richtungsgebundene-Komponenten(DCC)-Bezeichnung 114 verwendet werden, um Punkte der Segmentierungsmaske(n) 110 basierend auf den Pixelwerten und/oder Spurartkonnektivität zu gruppieren (z.B. weiß-gestrichelte, weiß-durchgezogene Linie, gelbgestrichelte, gelb-durchgezogene Linie usw.). Im Vergleich zu CC-Bezeichnung kann die DCC 114 das(die) Bild(er) von der Unterseite zu der Oberseite scannen, um dadurch die perspektivische Ansicht (z.B. von dem(den) Sensor(en) des Fahrzeugs 800) der Spurmarkierungen und/oder Straßenbegrenzungen der Fahroberfläche auszunutzen. In derartigen Beispielen kann die DCC 114 einen unteren Nachbar oder unteren benachbarten Punkt eines gegebenen Punktes vergleichen oder prüfen, um zu inkrementieren oder zu bestimmen, ob der gegebene Punkt von der gleichen Spurmarkierungsart ist und somit verbunden werden sollte. In einigen Beispielen können die DCC 114 die Spurerscheinungsart (z.B. basierend auf Klassen der mehrklassigen Segmentierungsmaske) beim Bestimmen wirksam einsetzen, welche Punkte (z.B. Pixel) verbunden werden sollten. Beispielsweise kann ein gegebener Punkt nicht mit seinem entsprechenden unteren Nachbarpunkt gruppiert werden, wenn der unteren Nachbarpunkt zu einer unterschiedlichen Spurerscheinungsart gehört.
In einem weiteren nicht einschränkenden Beispiel kann eine dynamische Programmierung 116 als Teil der Neuabtastung 112 des Prozesses 100 verwendet werden. Die dynamische Programmierung 116 kann das Bestimmen eines Satzes von signifikanten Spitzenpunkten (z.B. Pixel) umfassen, die durch 2D-Orte und zugeordnete Vertrauenswerte für jeden interessierenden Bereich (z.B. jede erfasste Spur und/oder Straßenbegrenzung) dargestellt werden. Ein oder mehrere Verfahren, wie beispielsweise, jedoch nicht beschränkt auf die hier beschriebenen, können verwendet werden, um den Satz von signifikanten Spitzenpunkten zu bestimmen. In einem nicht einschränkenden Beispiel kann der Satz von signifikanten Punkten durch Durchführen einer Nicht-Maxima-Unterdrückung nach Gaußscher Glättung der Punkte (z.B. Pixel) in dem(den) interessierenden Bereich(en) der Segmentierungsmaske(n) 110 bestimmt werden. Für alle Paare der Spitzenpunkte kann die Konnektivität bewertet werden und ein Satz von Spitzenpunkten und Rändern mit entsprechenden Konnektivitätswerten kann (z.B. basierend auf Vertrauenswerten) erzeugt werden. In einigen Beispielen kann die Konnektivität als eine Summe von Vertrauenswerten aller Punkte in dem interessierenden Bereich zwischen dem Paar von Spitzenpunkten berechnet werden. In einem anderen Beispiel kann eine feste Anzahl von gleichermaßen abgetasteten Punkten (z.B. Pixel) zwischen dem Paar verwendet werden, um die Konnektivitätswerte zu erzeugen. In noch einem weiteren Beispiel können Vertrauenswerte für alle Spitzenpunkte in eine Robustifikator-Funktion, wie beispielsweise einer Exponential- oder Cauchy- Funktion, gespeist werden. Die Robustifikator-Funktion kann verwendet werden, um Konnektivitätswerte für jedes Paar von Spitzenpunkten zu erzeugen. Verglichen mit der herkömmlichen Verbundene-Komponenten(CC)-Bezeichnung erfassen diese Funktionen die Verbindungssensitivität sogar an einer schwachen Verbindung zwischen Spitzenpunkten). In einigen Beispielen können Klassenbezeichnungen, wie beispielsweise jene in der(den) mehrklassigen Segmentierungsmaske(n), verwendet werden, um die Konnektivität zwischen Pixeln weiter zu verfeinern.
Die dynamische Programmierung 116 kann ferner ein Verwenden eines Kürzester-Pfad-Algorithmus, eines Längster-Pfad-Algorithmus und/oder eines Alle-Paare-Kürzester-Pfad(APSP)-Algorithmus umfassen, um Kandidatenspurränder zu kennzeichnen. In einigen Beispielen kann die Konnektivität der Spitzenpunkte (z.B. Pixel) hinsichtlich Kosten formuliert werden. In derartigen Beispielen können Spurränder unter Verwendung eines Kürzester-Pfad-Algorithmus identifiziert werden. In einem anderen Beispiel kann die Konnektivität der Spitzenpunkte hinsichtlich der Wahrscheinlichkeit der Verbindung formuliert werden. In einem derartigen Beispiel können die Spurränder unter Verwendung eines Längster-Pfad-Algorithmus identifiziert werden. Obwohl Beispiele hier mit Bezug auf die Verwendung eines Kürzester-Pfad-Algorithmus, eines Längster-Pfad-Algorithmus und/oder eines APSP-Algorithmus beschrieben werden, um Spurränder als Teil der dynamischen Programmierung 116 zu bestimmen, ist dies nicht bestimmt, einschränkend zu sein. Beispielsweise und ohne Einschränkung kann die hier beschriebene dynamische Programmierung 116 eine beliebige Art und/oder Kombination von Algorithmen umfassen, um Kandidatenspurränder zu kennzeichnen.
In einigen nicht einschränkenden Beispielen kann die dynamische Programmierung 116 einen zusätzlichen Krümmungsglättungsterm beim Identifizieren von Spurrändern verwenden, um eine Bias in Richtung glatter Kurven über ZickZack-Kandidatenspurrändern zu erzeugen. In einem Beispiel kann die Präferenz unter Verwendung eines Steuerparameters in einem Optimierungsalgorithmus eingestellt werden.
In einem beliebigen Beispiel kann ein Clustering-Algorithmus verwendet werden, um einen Satz von endgültigen Spurrändern durch Zusammenführen von Unterpfaden und ähnlichen Pfaden (z.B. identifiziert, Kandidatenspurrändern zu entsprechen) in eine Gruppe zu erzeugen. In einigen Beispielen können topologische oder räumliche Clustering-Algorithmen sequentiell und/oder im Tandem angewandt werden. Topologische Clustering-Algorithmen können verwendet werden, um zwei Pfade zusammenzuführen, wenn ein Pfad ein Unterteil des anderen ist. Zusätzlich oder alternativ kann, wenn zwei Pfade Paare von Spitzenpunkten gemeinsam nutzen, der Pfad mit einer niedrigeren Wahrscheinlichkeit oder höheren Kosten mit dem einen mit der höheren Wahrscheinlichkeit oder niedrigeren Kosten zusammengeführt werden. Räumliche Clustering-Algorithmen können Pfade basierend auf Ähnlichkeiten zwischen Geometrien von Pfaden zusammenführen. Beispielsweise kann ein räumlicher Clustering-Algorithmus einen Pfad mit niedrigerer Wahrscheinlichkeit oder höheren Kosten in einen Pfad mit höherer Wahrscheinlichkeit oder niedrigeren Kosten zusammenführen (z.B. wenn die beiden Pfade bestimmt sind, einander geometrisch ähnlich zu sein).
Die durch Neuabtastung 112 hergeleiteten endgültigen Spurränder können dann einer Spurzuweisung 118 unterzogen werden, um Spurarten und/oder Straßenbegrenzungsarten zugewiesen zu werden. In einigen Beispielen können die Spurarten und/oder Straßenbegrenzungsarten relativ zu einer Position des Fahrzeugs 800 bestimmt werden. Beispielsweise können Spurarten (z.B. Spurmarkierungsarten) eine linke Begrenzung der Fahrzeugspur (z.B. die Ego-Spur), rechte Begrenzung der Fahrzeugspur, linke äußere Begrenzung der linken benachbarten Spur zu der Fahrzeugspur, rechte äußere Begrenzung der rechten benachbarten Spur zu der Fahrzeugspur und/oder anderen Arten umfassen.
In einigen Beispielen kann angenommen werden, dass die Hauptachse des Sensors, der die Sensordaten 102 erzeugte, näherungsweise mit der Rollachse des Fahrzeugs 800 (z.B. einer longitudinalen Achse) ausgerichtet ist. In derartigen Beispielen kann der Sensor tatsächlich mit der Rollachse ausgerichtet sein, wobei in anderen der Sensor innerhalb eines Schwellenabstands von der Rollachse positioniert sein kann, so dass die Sensordaten 102 verwendungsfähig sind und/oder die Sensordaten 102 basierend auf Kalibrierungsdaten des Sensors transformiert (z.B. verschoben) werden können (z.B. basierend auf einem Abstand von der Rollachse). Die Spurmarkierungsarten und/oder Straßenbegrenzungsarten können dann basierend auf dieser Annahme bestimmt werden. Beispielsweise kann eine Spurmarkierung rechts von einer vertikalen Mittellinie (die sich z.B. von unten nach oben erstreckt) eines Bildes (das z.B. die Sensordaten 102 darstellt) bestimmt werden, die rechte Begrenzung des Fahrzeugspur zu sein, die nächste Spurmarkierung rechts kann die rechte äußere Begrenzung der rechte benachbarten Spur des Fahrzeugs 800 sein, und so weiter. Auf ähnliche Weise kann links von der vertikalen Mittellinie des Bildes eine Spurmarkierung links von der vertikalen Mittellinie bestimmt werden, die linke Begrenzung der Fahrzeugspur zu sein, die nächste Spurmarkierung links kann die linke äußere Begrenzung der linken benachbarten Spur des Fahrzeugs 800 sein und so weiter.
Genauer gesagt kann für jeden Spurrand die Unterseite des Randes verlängert werden, um die Unterseite des entsprechenden Bildes zu treffen. Als solches kann für jeden Spurrand die Kreuzung des verlängerten Spurrands mit der Unterseite des Bildes hinsichtlich der Spaltendifferenz (oder dem Abstand) der Kreuzung mit der Unterseite des Bildes zu der vertikalen Mittellinie des Bildes (z.B. der Hauptachse) bestimmt werden. Der Spurrand, welcher der positiven Mindestspaltendifferenz zugeordnet ist (z.B. der Mindestspaltendifferenz rechts von der Hauptachse), kann als rechte Begrenzung der Fahrzeugspur identifiziert werden. Der Spurrand mit der zweitkleinsten positiven Spaltendifferenz (z.B. der zweitkleinsten Spaltendifferenz rechts von der Hauptachse) kann als die rechte Begrenzung der rechten benachbarten Spur zu der Fahrzeugspur identifiziert werden. Auf ähnliche Weise kann der Spurrand, welcher der negativen Mindestspaltendifferenz (z.B. der Mindestspaltendifferenz links von der Hauptachse) zugeordnet ist, als linke Begrenzung der Fahrzeugspur identifiziert werden, und der Spurrand mit der zweitkleinste negativen Spaltendifferenz (z.B. der zweitkleinsten Spaltendifferenz links von der Hauptachse) kann als die linke Begrenzung der linken benachbarten Spur zu der Fahrzeugspur identifiziert werden. In einigen Beispielen kann diese Bezeichnung auf eine beliebige Anzahl von Spuren und/oder Straßenbegrenzungen erweitert werden. In anderen Beispielen kann lediglich eine bestimmte Anzahl von Spuren und/oder Straßenbegrenzungen bezeichnet werden und beliebige verbleibende Spuren und/oder Straßenbegrenzungen können als undefiniert bezeichnet werden. In derartigen Beispielen kann eine oder mehrere der verbleibenden Spuren und/oder Straßenbegrenzungen, die identifiziert sind, entfernt werden und/oder in einer beliebigen weiteren Verarbeitung durch das Fahrzeug 800 nicht enthalten sein.
Eine Kurvenanpassung 120 kann ebenfalls implementiert werden, um endgültige Formen der potentiellen Spuren und/oder Begrenzungen zu bestimmen, die identifiziert sind, eine natürliche Kurve der Spurmarkierungen und/oder Begrenzungen am genauesten widerzuspiegeln. Die Kurvenanpassung 120 kann unter Verwendung von Polylinienanpassung, Polynomanpassung, Klotoidenanpassung und/oder anderen Arten von kurvenanpassenden Algorithmen durchgeführt werden. In Beispielen, in denen Klotoidenanpassung verwendet wird, kann die Kurvenanpassung 120 ein Abstimmen der Anzahl von Klothoiden in dem Klotoidenanpassung-Algorithmus umfassen, um die Kurve der Fahroberfläche von Fahrzeug 800 anzupassen. In einigen Beispielen kann die Kurvenanpassung 120 unter Verwendung der von der Neuabtastung 112 und/oder der Spurzuweisung 118 identifizierten Spurränder durchgeführt werden. In anderen Beispielen kann die Kurvenanpassung 120 durch Neuabtastung von Punkten (z.B. Segmentierungspunkten) in dem(den) interessierenden Bereich(en), die in der(den) Segmentierungsmaske(n) 110 umfasst sind (wie durch die gestrichelte in 1A angegeben), durchgeführt werden.
Die Ausgabe der Neuabtastung 112, der Spurzuweisung 118 und/oder der Kurvenanpassung 120 kann dann verwendet werden, um (z.B. nach dem Kompilieren jeweils Daten, die für Spurbezeichnungen (oder Zuweisungen) und Spurkurven 122 repräsentativ sind, zu erzeugen. Letztlich können Daten, welche die Spurmarkierungen, Spurbegrenzungen und/oder zugeordnete Bezeichnungsarten darstellen, dann kompiliert und an eine oder mehrere Schichten des Software-Stapels für das autonome Fahren, wie beispielsweise eine Weltmodell-Verwaltungsschicht, eine Wahrnehmungsschicht, eine Planungsschicht, eine Steuerschicht und/oder eine andere Schicht, gesendet werden. Der Software-Stapel für das autonome Fahren kann somit die Daten verwenden, um beim Navigieren das Fahrzeug 800 durch die Fahroberfläche innerhalb der physischen Umgebung zu helfen.
Bezugnehmend nun auf 1B, ist 1B eine Veranschaulichung eines beispielhaften(r) Modell(e) für maschinelles Lernen 108A gemäß einigen Ausführungsformen der vorliegenden Offenbarung. Das(die) Modell(e) für maschinelles Lernen 108A von 1B kann(können) ein Beispiel eines(von) Modells(en) für maschinelles Lernen 108 sein, das(die) im Prozess 100 verwendet werden kann(können). Das(die) Modell(e) für maschinelles Lernen 108A von 1B ist(sind) jedoch nicht bestimmt, einschränkend zu sein, und das(die) Modell(e) für maschinelles Lernen 108 kann(können) zusätzliche und/oder unterschiedliche Modelle für maschinelles Lernen als das(die) Modell(e) für maschinelles Lernen 108A von 1B umfassen. Das(die) Modell(e) für maschinelles Lernen 108A kann(können) umfassen oder können als ein faltendes neuronales Netzwerk bezeichnet werden und kann(können) somit alternativ hier als faltendes neuronales Netzwerk 108 oder Faltungsnetzwerk 108A bezeichnet werden.
Das Faltungsnetzwerk 108 kann die Sensordaten 102 und/oder die vorverarbeiteten Sensordaten 106 als eine Eingabe verwenden. Beispielsweise kann das Faltungsnetzwerk 108A die Sensordaten 130 - wie durch die Sensordaten 130A-130C dargestellt - als eine Eingabe verwenden. Die Sensordaten 130 können Bilder umfassen, die Bilddaten darstellen, die von einer oder mehreren Kameras erzeugt werden (z.B. einer oder mehreren der hier mit Bezug auf 8A-8C beschriebenen Kameras). Beispielsweise können die Sensordaten 130A-130C Bilddaten umfassen, die für ein Sichtfeld der Kamera(s) repräsentativ sind. Genauer gesagt können die Sensordaten 130A-130C individuelle Bilder umfassen, die von der(den) Kamera(s) erzeugt werden, wobei Bilddaten, die für eines oder mehrere der individuellen Bilder repräsentativ sind, bei jeder Iteration des Faltungsnetzwerks 108 in das Faltungsnetzwerk 108 eingegeben werden können.
Die Sensordaten 102 und/oder die vorverarbeiteten Sensordaten 106 können in eine faltende Schicht(en) 132 des Faltungsnetzwerks 108 (z.B. faltende Schicht 134A) eingegeben werden. Der Faltungsstrom 132 kann eine beliebige Anzahl von Schichten 134, wie beispielsweise die Schichten 134A-134C, umfassen. Eine oder mehrere der Schichten 134 kann(können) eine Eingabeschicht umfassen. Die Eingabeschicht kann Werte halten, die den Sensordaten 102 und/oder vorverarbeiteten Sensordaten 106 zugeordnet sind. Wenn die Sensordaten 102 beispielsweise ein Bild(er) ist(sind), kann die Eingabeschicht Werte halten, welche die rohen Pixelwerte des(der) Bilds(er) als ein Volumen (z.B. eine Breite, W, eine Höhe, H, und Farbkanäle, C (z.B. RGB), wie beispielsweise 32 x 32 x 3) und/oder eine Batch-Größe, B, darstellen.
Eine oder mehrere Schichten 134 können Faltungsschichten umfassen. Die Faltungsschichten können die Ausgabe von Neuronen berechnen, die mit lokalen Regionen in einer Eingabeschicht (z.B. der Eingabeschicht) verbunden sind, wobei jedes Neuron ein Skalarprodukt zwischen ihren Gewichtungen und einer kleinen Region berechnet, mit der sie in dem Eingabevolumen verbunden sind. Ein Ergebnis einer faltenden Schicht kann ein anderes Volumen sein, wobei eine der Abmessungen auf der Anzahl von angewandten Filtern basiert (z.B. die Breite, die Höhe und die Anzahl von Filtern, wie beispielsweise 32 x 32 x 12, wenn 12 die Anzahl von Filtern wäre).
Eine oder mehrere der Schichten 134 können eine Schicht einer gleichgerichteten Lineareinheit (ReLU; rectified linear unit) umfassen. Die ReLU-Schicht(en) kann(können) eine elementweise Aktivierungsfunktion, wie beispielsweise die max(0,x) Schwellwertbildung bei null, anwenden. Das resultierende Volumen einer ReLU-Schicht kann das gleiche wie das Volumen der Eingabe der ReLU-Schicht sein.
Eine oder mehrere der Schichten 134 können eine Pooling-Schicht umfassen. Die Pooling-Schicht kann einen Abwärtsabtast-Betrieb entlang der räumlichen Abmessungen (z.B. der Höhe und der Breite) durchführen, was zu einem kleineren Volumen als die Eingabe der Pooling-Schicht führen kann (z.B. 16 x 16 x 12 des 32 x 32 x 12 Eingabevolumen). In einigen Beispielen kann das Faltungsnetzwerk 108A keine Pooling-Schichten umfassen. In derartigen Beispielen können „strided“ Faltungsschichten anstelle von Pooling-Schichten verwendet werden.
Eine oder mehrere der Schichten 134 können eine vollständig verbundene Schicht umfassen. Jedes Neuron in der(den) vollständig verbundenen Schicht(en) kann mit jedem der Neuronen in dem vorherigen Volumen verbunden werden. Die vollständig verbundene Schicht kann Klassenwerte berechnen und das resultierende Volumen kann 1 x 1 x Anzahl der Klassen sein. In einigen Beispielen kann der(die) Faltungsstrom(ströme) 132 eine vollständig verbundene Schicht umfassen, während in anderen Beispielen die vollständig verbundene Schicht des Faltungsnetzwerks 108 die vollständig verbundene Schicht separat von dem(den) Faltungsstrom(strömen) 132 sein kann.
Obwohl Eingabeschichten, Faltungsschichten, Pooling-Schichten, ReLU-Schichten und vollständig verbundene Schichten hier mit Bezug auf die faltendes Schicht(en) 134 erläutert werden, ist dies nicht bestimmt, einschränkend zu sein. Beispielsweise können zusätzliche oder alternative Schichten 134 in dem(den) Faltungsstrom(ströme) 132, wie beispielsweise Normalisierungsschichten, SoftMax-Schichten und/oder andere Schichtarten, verwendet werden.
Die Ausgabe des Faltungsstroms 132 und/oder der faltenden Schicht(en) 134 kann eine Eingabe in die Entfaltungsschicht(en) 136 sein. Obwohl als Entfaltungsschicht(en) 136 bezeichnet, kann dies irreführend sein und ist nicht bestimmt, einschränkend zu sein. Beispielsweise kann(können) die Entfaltungsschicht(en) 136 alternativ als transponierte Faltungsschichten oder fraktionierte strided Faltungsschichten bezeichnet werden. Die Entfaltungsschicht(en) 136 kann(können) verwendet werden, um eine Aufwärtsabtastung auf der Ausgabe einer vorherigen Schicht (z.B. einer Schicht 134 der faltendes(n) Stream(s) 132 und/oder einer Ausgabe einer anderen Entfaltungsschicht) durchzuführen. Beispielsweise kann(können) die Entfaltungsschicht(en) 136 verwendet werden, um auf eine räumliche Auflösung aufwärtsabzutasten, welche die räumliche Auflösung der Eingabebilder (z.B. der Bilder 130) in das Faltungsnetzwerk 108A ist.
Unterschiedliche Reihenfolgen und Anzahlen der Schichten 134 und/oder 136 des Faltungsnetzwerks 108A können abhängig von der Ausführungsform verwendet werden. Beispielsweise kann es für ein erstes Fahrzeug eine erste Reihenfolge und eine Anzahl von Schichten 134 und/oder 136 geben, wohingegen es eine unterschiedliche Reihenfolge und Anzahl von Schichten 134 und/oder 136 für ein zweites Fahrzeug geben kann; für eine erste Kamera kann es eine unterschiedliche Reihenfolge und Anzahl von Schichten 134 und/oder 136 als die Reihenfolge und Anzahl von Schichten für eine zweite Kamera geben. Mit anderen Worten ist die Reihenfolge und Anzahl von Schichten 134 und/oder 136 des Faltungsnetzwerks 108A, des Faltungsstroms 132 und/oder der Entfaltungsschicht(en) 136 nicht d auf irgendeine Architektur beschränkt.
Außerdem können einige der Schichten 134 Parameter (z.B. Gewichtungen und/oder Bias) umfassen, wie beispielsweise die Schichten des Faltungsstrom 132 und/oder der Entfaltungsschicht(en) 136, während andere, wie beispielsweise die ReLU-Schichten und Pooling-Schichten, dies nicht können. In einigen Beispielen können die Parameter durch den Faltungsstrom 132 und/oder das(die) Modell(e) für maschinelles Lernen 108A während des Trainings gelernt werden. Ferner können einige der Schichten 134 und/oder 136 zusätzliche Hyperparameter umfassen (z.B. Lernrate, Schritt, Epochen, Kernelgröße, Anzahl der Filter, Art des Pooling für Pooling-Schichten usw.), wie beispielsweise die Faltungsschichten 134, die Entfaltungsschicht(en) 136 und die Pooling-Schichten (als Teil des(der) Faltungsstroms(ströme) 132), während andere Schichten 142, wie beispielsweise die ReLU-Schichten, dies nicht können. Verschiedenen Aktivierungsfunktionen können verwendet werden, einschließlich, jedoch nicht begrenzt auf, ReLU, leaky ReLU, Sigmoid, eine hyperbolische Tangente (tanh), eine exponentielle Lineareinheit (ELU) usw. Die Parameter, Hyperparameter und/oder Aktivierungsfunktionen dürfen nicht eingeschränkt werden und können abhängig von der Ausführungsform unterschiedlich sein.
Bezugnehmend nun auf 1C, ist 1C eine Veranschaulichung eines weiteren Beispiels eines(von) Modells(en) für maschinelles Lernen 108B gemäß einigen Ausführungsformen der vorliegenden Offenbarung. In einigen Beispielen kann das Faltungsnetzwerk 108 eine beliebige Anzahl von unterschiedlichen Schichten umfassen, obwohl einige Beispiele vierzehn oder weniger Schichten umfassen, um Datenspeicheranforderungen zu minimieren und Verarbeitungsgeschwindigkeiten für das Faltungsnetzwerk 108B zu erhöhen. Die Faltungsschichten 134 können die räumliche Auflösung des Eingabebildes kontinuierlich abwärts abtasten, bis die Ausgabeschichten erreicht sind (z.B. Abwärtsabtastung von einer 480 x 252 eingegebenen räumlichen Auflösung bei Schicht 134A zu 240 x 126 als Ausgabe von Schicht 134A, Abtastung von 240 x 126 eingegebener räumlichen Auflösung bei Schicht 134E zu 120 x 63 als Ausgabe von Schicht 134E usw.). Der(die) Faltungsstrom(ströme) 132 kann(können) trainiert werden, um eine hierarchische Darstellung des(der) Eingabebild(er) zu erzeugen, die von den Sensordaten 102 und/oder vorverarbeiteten Sensordaten 106 (z.B. die Bilder 130) empfangen wurden, wobei jede Schicht eine Extraktion höheren Ausmaßes als ihre vorhergehende Schicht erzeugt. Mit anderen Worten kann, wie in 1C ersichtlich ist, die eingegebene Auflösung über die Faltungsschichten 134A-134M (und/oder beliebige zusätzliche oder alternative Schichten) verringert werden, was dem Faltungsnetzwerk 108A ermöglicht, imstande zu sein, Bilder schneller als herkömmliche Systeme zu verarbeiten.
Die Ausgabeschicht(en) 136 kann(können), auf ähnliche Weise wie in 1B, eine Entfaltungsschicht(en) sein, welche die die räumliche Auflösung aufwärts abtastet, um ein Ausgabebild von vergleichsweise höherer räumlichen Auflösung als die Faltungsschichten zu erzeugen, die der Entfaltungsschicht vorangehen. Die Ausgabe des Faltungsnetzwerks 108B (z.B. die Segmentierungsmaske(n) 110, alternativ als Abdeckungskarte(n) bezeichnet) kann eine Wahrscheinlichkeit einer räumlichen Gitterzelle angeben, die zu einer bestimmten Klasse von Spur oder Begrenzungen gehört.
In einigen Beispielen kann(können) das(die) Modell(e) für maschinelles Lernen 108 (z.B. ein neuronales Netzwerk(e)) mit bezeichneten Bilder unter Verwendung von mehreren Iterationen trainiert werden, bis der Wert einer(von) Verlustfunktion(en) des(der) Modells(e) für maschinelles Lernen 108 nachstehend ein Schwellenverlustwert ist. Beispielsweise kann(können) das(die) Modell(e) für maschinelles Lernen 108 Berechnungen in Vorwärtsrichtung auf den Darstellungen (z.B. Bild(er)) der Sensordaten 102 und/oder vorverarbeiteten Sensordaten 106 durchführen, um Merkmalextraktionen zu erzeugen. In einigen Beispielen kann(können) das(die) Modell(e) für maschinelles Lernen 108 interessierende Merkmale des(der) Bildes(er) extrahieren und die Wahrscheinlichkeit von Begrenzungsklassen und/oder Spurklassen in den Bildern auf einer Pixel-für-Pixel-Basis vorhersagen. Die Verlustfunktion(en) kann(können) verwendet werden, um Fehler in den Vorhersagen des (der) Modells(e) für maschinelles Lernen 108 unter Verwendung von Ground-Truth-Masken zu messen, wie hier ausführlicher mindestens mit Bezug auf 3A, 4A-4B, 5A-5B und 6A-6E beschrieben ist.
In einigen Beispielen kann eine binäre Kreuzentropiefunktion als eine Verlustfunktion verwendet werden. Berechnungen in Rückwärtsrichtung können durchgeführt werden, um Gradienten der Verlustfunktion mit Bezug auf Trainingsparameter rekursiv zu berechnen. In einigen Beispielen können Gewichtungen und Bias des(der) Modells(e) für maschinelles Lernen 108 verwendet werden, um diese Gradienten zu berechnen. Beispielsweise kann ein Regionen-basierter gewichteter Verlust zu der Verlustfunktion hinzugefügt werden, wobei die Verlustfunktion den Verlust bei Abständen weiter von einer Unterseite des(der) Bildes(er) entfernt (z.B. weiter von dem Fahrzeug 800 entfernten Abständen) zunehmend bestrafen kann. Durch Verwenden von Regionen-basiertem gewichteten Verlust können Erfassungen der Spuren und/oder Begrenzungen an weiter entfernten Abständen im Vergleich mit herkömmlichen Systemen verbessert werden. Beispielsweise kann die Regionen-basierte gewichtete Verlustfunktion zu einer Rückpropagation von mehr Fehlern an Ferndistanzen während des Trainings führen, um dadurch die Fehler beim Vorhersagen durch das(die) Modell(e) für maschinelles Lernen 108 bei Ferndistanzen während des Einsatzes des(der) Modell(e) für maschinelles Lernen 108 zu verringern.
In einigen Beispielen kann ein Optimierer verwendet werden, um Einstellungen an den Trainingsparametern (z.B. Gewichtungen, Bias usw.) vorzunehmen. In einem Beispiel kann ein Adam-Optimierer verwendet werden, während in anderen Beispielen stochastischer Gradientenabstieg oder ein stochastischer Gradientenabstieg mit einem Momentumterm verwendet werden kann. Der Trainingsprozess kann wiederholt werden, bis die trainierten Parameter zu optimalen, gewünschten und/oder annehmbaren Werte konvergieren.
Bezugnehmend nun auf 2 kann jeder Block des hier beschriebenen Verfahrens 200 einen Rechenprozess umfassen, der unter Verwendung einer beliebigen Kombination von Hardware, Firmware und/oder Software durchgeführt werden kann. Beispielsweise können verschiedene Funktionen von einem Prozessor ausgeführt werden, der in einem Speicher gespeicherte Anweisungen ausführt. Das Verfahren kann ebenfalls als computerverwendbare Anweisungen verkörpert sein, die auf Computerspeichermedien gespeichert sind. Das Verfahren kann durch eine eigenständige Anwendung, einen Dienst oder gehosteten Dienst (eigenständig oder in Kombination mit einem anderen gehosteten Dienst) oder einen Plug-in für ein anderes Produkt bereitgestellt werden, um nur einige zu nennen. Außerdem wird das Verfahren 200 beispielhaft mit Bezug auf das Fahrzeug 800 und den Prozess 100 beschrieben. Diese Verfahren können jedoch zusätzlich oder alternativ von einem beliebigen einzelnen System oder einer beliebigen Kombination von Systemen ausgeführt werden, einschließlich, jedoch nicht beschränkt auf, den hier beschriebenen.
2 ist ein Ablaufdiagramm, das ein Verfahren 200 zum Erfassen von Spuren und/oder Straßenbegrenzungen gemäß einigen Ausführungsformen der vorliegenden Offenbarung zeigt. Bei Block B202 umfasst das Verfahren 200 das Empfangen von Sensordaten. Beispielsweise können Sensordaten 102 von einem oder mehreren Sensoren (z.B. Kameras, LIDAR-Sensoren, RADAR-Sensoren usw.) des Fahrzeugs 800 erzeugt und/oder erfasst werden und können nach Erzeugung, Erfassung und/oder Vorverarbeitung (z.B. als die Sensordaten 106) empfangen werden. Die Sensordaten 102 und/oder 106 können Sensordaten (z.B. Bilddaten) umfassen, die Sichtfelder von einem oder mehreren Sensoren darstellen. In Beispielen, in denen die Sensordaten, die empfangen werden, die Sensordaten 106 sind, können die Sensordaten 106 durch den Sensordatenvorprozessor 104 erzeugt werden.
Bei Block B204 umfasst das Verfahren 200 das Anwenden der Sensordaten auf ein neuronales Netzwerk(e). Beispielsweise können die Sensordaten 102 und/oder 106, die Sichtfelder des einen oder mehrerer Sensoren des Fahrzeugs 800 darstellen, auf das(die) Modell(e) für maschinelles Lernen 108 angewandt werden.
Bei Block B206 umfasst das Verfahren 200 das Berechnen durch das (die) neuronale(n) Netzwerk(e) einer (von) Segmentierungsmaske(n). Beispielsweise kann(können) das(die) Modell(e) für maschinelles Lernen 108 die Segmentierungsmaske(n) 110 basierend mindestens teilweise auf Sensordaten 102 und/oder den vorverarbeiteten Sensordaten 106 berechnen. Die Segmentierungsmaske kann Daten umfassen, die für Abschnitte der Sensordaten 102, 106 und/oder Darstellungen davon (z.B. Bilder) repräsentativ sind, die bestimmt wurden, um den Spurmarkierungen und/oder Begrenzungen einer Fahroberfläche des Fahrzeugs 800 zu entsprechen.
Bei Block B208 umfasst das Verfahren 200 das Zuweisen von Spurmarkierungsarten. Beispielsweise kann die Spurzuweisung 118 durchgeführt werden, um Spurmarkierungsarten an jede der Spurmarkierungen und/oder Begrenzungsmarkierungen basierend mindestens teilweise auf der(den) Segmentierungsmaske(n) 110 zuzuweisen.
Bei Block B210 umfasst das Verfahren 200 das Durchführen einer Kurvenanpassung auf den Spurmarkierungen. Beispielsweise kann die Kurvenanpassung 120 auf den Spurmarkierungen, den Begrenzungsmarkierungen und/oder auf Segmentierungspunkten der Segmentierungsmaske(n) 110 durchgeführt werden, um Spurmarkierungen und/oder Begrenzungen zu erzeugen, die für die Spurmarkierungsarten repräsentativ sind. Wie hier beschrieben, kann die Kurvenanpassung 120 mindestens teilweise auf der(den) Segmentierungsmaske(n) 110 basiert sein.
Bei Block B212 umfasst das Verfahren 200 das Senden von Daten, die für die Spurbegrenzungen repräsentativ sind, an eine Komponente des Fahrzeugs mindestens zur Verwendung durch das Fahrzeug beim Navigieren der Fahroberfläche. Beispielsweise können die Daten, die für die Spurbegrenzungen und/oder Straßenbegrenzungen repräsentativ sind, wie beispielsweise die Spurkurven und Bezeichnungen 122, an eine Planungsschicht 124, eine Steuerschicht, eine Wahrnehmungsschicht, eine Weltmodell-Verwaltungsschicht, eine Hindernisvermeidungsschicht und/oder eine andere Schicht eines Softwarestapels für das autonome Fahren des Fahrzeugs 800 zur Verwendung durch das Fahrzeug 800 beim Navigieren der Fahroberfläche in der physischen Umgebung gesendet werden. Als solches kann das Fahrzeug 800 die Spurkurven und Bezeichnungen 122 verwenden, um verschiedene Fahrmanöver, wie beispielsweise Spurhalten, Spurwechsel, Abbiegungen, Spurzusammenführungen, Spuraufspaltungen, Stoppen, Starten, Verlangsamung usw., durchzuführen
Trainieren des(der) maschinellen Lernmodells(e) Wie oben beschrieben, basieren herkömmliche Systeme auf der Verarbeitung von Bildern unter Verwendung von verschiedenen Computervisionstechniken oder Techniken maschinellen Lernens (z.B. von über die Bildverarbeitung identifizierten visuellen Indikatoren), um Spuren und/oder Straßenbegrenzungen zu erfassen. Diese herkömmlichen Prozesse sind jedoch entweder zu rechenaufwändig, um genau in Echtzeit zu arbeiten, und/oder leiden unter Ungenauigkeit als Ergebnis von implementierten Verknüpfungen, um Rechenanforderungen für einen Echtzeiteinsatz zu verringern. Als Ergebnis können herkömmliche Systeme versagen, das notwendige Ausmaß an Genauigkeit beim Erfassen von Spuren und/oder Straßenbegrenzungen in Echtzeit bereitzustellen.
Im Gegensatz dazu sieht das vorliegende System eine Spur- und/oder Straßenbegrenzungserfassung in Echtzeit bei praktisch annehmbaren Ausmaßen an Genauigkeit vor. Um dies zu erreichen, kann(können) Modell(e) für maschinelles Lernen (z.B. ein DNN) mit einer vergleichsweise kleinen Grundfläche (z.B. weniger Schichten als herkömmliche Vorgehensweisen) als Teil des Spur- und Straßenbegrenzungserfassungssystems (wie hier verwendet) verwendet werden. Außerdem kann(können) das(die) Modell(e) für maschinelles Lernen unter Verwendung von Bildern mit vollem Sichtfeld, Bilder der interessierenden Region (ROI) (z.B. beschnittene Bilder) und/oder einer Kombination davon trainiert werden, um die Genauigkeit des DNN beim Erfassen von Spuren und Straßenbegrenzungen, insbesondere bei größeren Distanzen, zu erhöhen. Die Bilder des vollen Blickfeldes und/oder die beschnittene Bilder können ebenfalls abwärtsabgetastet werden, um räumliche Auflösungen zu verringern, bevor sie in das(die) Modell(e) für maschinelles Lernen eingegeben werden, um die Verarbeitungszeit weiter zu erhöhen (z.B. kann eine geringe räumliche Auflösung zu weniger Knoten und somit zu weniger Daten führen, die von dem(den) Modell(en) zu verarbeiten sind). Als Ergebnis kann der Trainingsprozess und die Erzeugung der Training- und/oder Ground-Truth-Daten zu einer Erhöhung der Verarbeitungsgeschwindigkeiten für das aktuelle System beitragen, so dass die Spur- und Straßenbegrenzungserfassung in Echtzeit bei einem annehmbaren Ausmaß an Genauigkeit für einen sicheren Betrieb eines autonomen Fahrzeugs (oder anderen Objekts) stattfinden kann.
Mit Bezugnahme auf das Training des(der) Modells(e) für maschinelles Lernen (z.B. des DNN) kann in einigen Beispielen das(die) Modell(e) für maschinelles Lernen unter Verwendung von ursprünglichen Bildern und transformierten oder augmentierten Versionen der ursprünglichen Bilder trainiert werden. Um das(die) Modell(e) für maschinelles Lernen mit ursprünglichen und transformierten Bildern genau zu trainieren, kann es ebenfalls für Ground-Truth-Information (z.B. Annotierungen, Masken, Bezeichnungen usw.), die den Bildern zugeordnet ist, nötig sein, können ebenfalls ähnlichen Transformationen oder Augmentationen ihrer entsprechenden Bilder unterzogen zu werden. In einigen Beispielen können die Bilder einer räumliche Transformation (z.B. links Kippen, rechts Kippen, Vergrößern, ein Verkleinern, eine Zufallstranslation usw.), einer Farbtransformation und/oder einer anderen Transformationsart unterzogen werden und die Ground-Truth-Information (z.B. Annotierungen, Masken, Bezeichnungen usw.) kann entsprechenden Transformationen unterzogen werden.
Beispielsweise kann ein ursprüngliches Bild Eckpunkten eines Polygons zugeordnet werden (z.B. eine Annotierung von Eckpunkten, die mit Bezug auf das ursprüngliche Bild gerendert wurden), die eine Spur oder eine Begrenzung darstellen. Das ursprüngliche Bild kann einer Transformation unterzogen werden, um ein transformiertes Bild zu erzeugen. Die Eckpunkte des Polygons können auf ähnliche Weise einer Transformation (z.B. Ortswechsel) unterzogen werden, um ein transformiertes Polygon basierend auf der Transformation des Bildes zu erzeugen, so dass die transformierten Eckpunkte in einen entsprechenden Ort mit Bezug auf das transformierte Bild gerendert werden können. Ein maskiertes Bild kann dann durch Rendern einer Maske über den Abschnitt des transformierten Bildes, welcher das transformierte Polygon umfasst, erzeugt werden. Das(die) Modell(e) für maschinelles Lernen kann(können) unter Verwendung des maskierten Bildes als Ground-Truth-Daten trainiert werden. Dies kann dem(den) Modell(en) für maschinelles Lernen ermöglichen, Merkmale von einem virtuell größeren Satz von Bildern zu lernen, während eine Überanpassung des(der) Modells(e) an die Trainingsdaten vermieden wird.
In einem anderen, nicht einschränkenden Beispiel kann(können) das(die) Modell(e) für maschinelles Lernen unter Verwendung von abwärtsabgetasteten und/oder ROI-Bildern trainiert werden. Die ROI-Bilder können ein beschnittenes Bild darstellen (z.B. mittige Beschneidung, rechte Beschneidung, linke Beschneidung, halbe Größe usw.). Das beschnittene Bild kann einen Abschnitt eines Polygons umfassen (z.B. ein Polygon von den Annotierungen des ursprünglichen Bildes), das eine Spur oder Begrenzung außerhalb darstellt, und das Polygon kann sich über den beschnittenen Abschnitt des Bildes hinaus erstrecken. In einem derartigen Fall kann eine Ground-Truth-Maske durch Maskieren des beschnittenen Abschnitts des Polygons in dem beschnittene Bild unter Verwendung einer ersten Maske und durch Ausmaskieren des Abschnitts des Polygons, der außerhalb des beschnittenen Abschnitts des Bildes ist, unter Verwendung einer zweiten Maske erzeugt werden. Als Ergebnis kann lediglich der Abschnitt des Polygons, der innerhalb der ROI (z.B. der beschnittenen Region) ist, zwecks Trainings des(der) Modells(e) für maschinelles Lernen maskiert werden.
In Beispielen, in denen sowohl die abwärtsabgetasteten als auch ROI-Bilder verwendet werden, können beide Bilder auf das(die) Modell(e) für maschinelles Lernen zur gleichen Zeit angewandt werden (z.B. als ein Batch oder Mini-Batch). Dies kann dem(den) Modell(en) für maschinelles Lernen ermöglichen, Merkmale von einem genaueren Satz von Punkten (z.B. Pixeln) des Bildes zu lernen, während das Lernen von Merkmalen außerhalb der ROI vermieden wird. Außerdem kann(können) das(die) Modell(e) für maschinelles Lernen von Bildern mit unterschiedlichen Sichtfeldern durch Verwenden von abwärtsabgetasteten und/oder ROI-Bildern lernen, um somit die Genauigkeit der Vorhersagen durch das(die) Modell(e) für maschinelles Lernen sogar mit Bezug auf ein einziges Bild von einem einzigen Sichtfeld zu erhöhen, sobald es zur Spur- und Begrenzungserfassung in einem autonomen Fahrzeug eingesetzt wird. Als solches kann(können) in einigen Beispielen das(die) Modell(e) für maschinelles Lernen unter Verwendung von zwei oder mehreren Bildarten (z.B. einem ursprünglichen Bild, einem abwärtsabgetasteten Bild, einem ROI-Bild usw.) trainiert werden, wobei jedoch lediglich eine einzige Bildart zur Spur- und Begrenzungserfassung erforderlich sein kann, sobald vollständig trainiert (z.B. eingesetzt). Dies ist jedoch nicht bestimmt, einschränkend zu sein, und sogar im Einsatz kann das(die) Modell(e) für maschinelles Lernen zwei oder mehrere Bildarten in einem Batch oder Minibatch verwenden. In einem beliebigen Beispiel kann durch Training des(der) Modells(e) für maschinelles Lernen gemäß diesen Prozessen die für einen Echtzeit-Einsatz erforderliche Verarbeitungsleistung verringert werden, weil das(die) Modell(e) für maschinelles Lernen lernen kann(können), die Segmentierungsmaske(n) mit Bilder von niedrigeren eingegebenen Auflösungen als jenen von herkömmlichen Systemen zu erzeugen.
In einigen Beispielen können Bezeichnungen oder Annotierungen (z.B. Polygone) für Spurzusammenführungen und/oder Spuraufspaltungen in mehreren Trainingsbildern (z.B. Ground-Truth-Bildern) erzeugt (z.B. gerendert, gezeichnet usw.) werden. Die Bezeichnungen oder Annotierungen können als Spurzusammenführung-Spurmarkierung oder Spuraufspaltung-Spurmarkierungsarten markiert (oder bezeichnet) werden und eine Spitze, Top oder Punkt, die/der Bezeichnungen oder Annotierungen (z.B. eine Seite des Polygons, die entsprechend dem Punkt der Spuraufspaltung oder Spurzusammenführung entspricht) separat bezeichnen kann, um den Punkt der Spuraufspaltung oder den Punkt der Spurzusammenführung auf den Bezeichnungen oder Annotierungen zu kennzeichnen. Die Trainingsbilder können dann als Ground-Truth-Daten verwendet werden, um das(die) Modell(e) für maschinelles Lernen zu trainieren, um zu lernen, Spurzusammenführungen und Spuraufspaltungen (z.B. als Teil einer Segmentierungsmaske) zu kennzeichnen. In Beispielen, in denen die Segmentierungsmaske(n) eine Mehrklassenmaske ist(sind), kann eine Vorhersage einer Klasse der Spurzusammenführung oder einer Klasse der Spuraufspaltung ebenfalls durch das(die) Modell(e) für maschinelles Lernen ausgegeben werden.
In anderen Beispielen können die Trainingsbilder Bilder von Kreuzungen, Fußgängerüberwegen oder eine Kombination davon umfassen. Die Ground-Truth-Information (z.B. Annotierungen, Bezeichnungen, Masken usw.) für diese Bilder kann separate Bezeichnungen, Annotierungen oder Masken (z.B. Polygone) für den Fußgängerüberweg und/oder die Kreuzung umfassen. Wo das Bild beispielsweise einen Fußgängerüberweg an einer Kreuzung (z.B. einen Fußgängerüberweg, der Kreuzungslinien teilt) umfasst, kann der Fußgängerüberweg separate Bezeichnungen von der Kreuzung umfassen, so dass während des Trainings das(die) Modell(e) für maschinelles Lernen lernt(lernen), zwischen dem Abschnitt des Bilds, der dem Fußgängerüberweg entspricht, und dem Abschnitt des Bilds, welcher der Kreuzung entspricht, zu unterscheiden. In Beispielen, in denen die Segmentierungsmaske(n) eine Mehrklassenmaske(n) ist(sind), kann eine Vorhersage einer Klasse des Fußgängerüberwegs oder einer Klasse der Kreuzung von dem(den) Modellen für maschinelles Lernen ausgegeben werden. Letztlich kann das autonome Fahrzeug, das die Beispiele implementiert, in denen die Segmentierungsmaske(n) eine Mehrklassenmaske ist(sind), wobei eine Vorhersage einer Klasse der Spurzusammenführung oder einer Klasse der Spuraufspaltung ebenfalls durch das(die) Modell(e) für maschinelles Lernen ausgegeben werden kann, lernen sich unterschiedlich zu verhalten, wo es einen Fußgängerüberweg, eine Kreuzung oder eine Kombination davon gibt.
Bezugnehmend nun auf 3A, ist 3A ein Datenflussdiagramm, das einen Beispielprozess 300 zum Trainieren eines(von) Modells(en) für maschinelles Lernen veranschaulicht, um Spuren und Straßenbegrenzungen zu erfassen, gemäß einigen Ausführungsformen der vorliegenden Offenbarung. Obwohl sich die mit Bezug auf 3 beschriebenen Erfassungen auf Spur- und Straßenbegrenzungen beziehen, ist dies nicht bestimmt, einschränkend zu sein, und die Erfassungen können ebenfalls für Fußgängerüberwege, Kreuzung, Spuraufspaltungen, Spurzusammenführungen, Parklinien, Linien innerhalb oder um eine Struktur (z.B. Richtungslinien innerhalb eines Gebäudes zum Navigieren des Gebäudes, wie beispielsweise für Roboter, Linien eines Felds oder anderen Raums für VR-Anwendungen usw.) und/oder anderen Erfassungen sein, ohne vom Umfang der vorliegenden Offenbarung abzuweichen.
Wie hier beschrieben, kann(können) das(die) Modell(e) für maschinelles Lernen 108 unter Verwendung von ursprünglichen Bildern, abwärtsabgetasteten Bilder, aufwärtsabgetasteten Bildern, Bilder der interessierenden Region (ROI) und/oder eine Kombination davon trainiert werden. Eine oder mehrere dieser Bildarten können innerhalb der Eingabebilder 302 umfasst sein, die zum Trainieren des(der) Modell(e) für maschinelles Lernen 108 verwendet werden. Die Eingabebilder 302 können Bilder sein, die von einem oder mehreren Sensoren (z.B. Kameras) von verschiedenen Fahrzeugen (z.B. dem Fahrzeug 800) erfasst werden, und/oder können Bilder sein, die innerhalb einer virtuellen Umgebung erfasst werden, die zum Testen und/oder Erzeugen von Trainingsbildern verwendet wird. In einigen Beispielen können die Eingabebilder 302 Bilder von einem Datenspeicher oder einem Datenbehälter von Trainingsbilder sein (z.B. Bilder von Fahroberflächen, die Spurmarkierungen, Begrenzungsmarkierungen, Fußgängerüberwegmarkierungen, Kreuzungsmarkierungen, Spuraufspaltungsmarkierungen, Spurzusammenführungsmarkierungen usw. umfassen). Das(die) Modell(e) für maschinelles Lernen 108 kann(können) unter Verwendung von sowohl den Eingabebildern 302 entsprechenden Bezeichnungen 308 (z.B. als Ground-Truth-Daten) trainiert werden, um Spuren und/oder Begrenzungen auf Fahroberflächen zu erfassen. Die Eingabebilder 302 können entsprechende Bezeichnungen 308 aufweisen, die Annotierungen, Bezeichnungen, Masken und/oder dergleichen umfassen können. Die Bezeichnungen 308 können innerhalb eines Zeichenprogramms (z.B. eines Annotierungsprogramms), eines computergestützten Konstruktionsprogramms (CAD), eines Bezeichnungsprogramms, einer anderen Programmart, die zum Erzeugen der Bezeichnungen 308 geeignet ist, erzeugt werden und/oder in einigen Beispielen handgezeichnet werden. Bei jedem Beispiel können die Bezeichnungen 308 synthetisch hergestellt (z.B. aus Computermodellen oder Renderings erzeugt), real hergestellt (z.B. ausgestaltet und produziert aus Realweltdaten), maschinenautomatisiert (z.B. unter Verwendung von Merkmalanalyse und Lernen, um Merkmale aus Daten zu extrahieren und dann Bezeichnungen zu erzeugen), menschlich annotiert (z.B. Bezeichner oder Annotierungsexpert definiert den Ort der Bezeichnungen) und/oder eine Kombination davon sein (z.B. kennzeichnet ein Mensch Eckpunkte von Polylinien, und eine Maschine erzeugt Polygone unter Verwendung eines Polygonrasterisierer). In einigen Beispielen kann es für jedes Eingabebild 302 eine entsprechende Bezeichnung 308 geben.
Wie in 3A veranschaulicht, kann(können) das(die) Modell(e) für maschinelles Lernen 108 unter Verwendung von sowohl abwärtsabgetasteten (z.B. nach der Abwärtsabtastung 304) Versionen als auch Versionen der interessierenden Region (ROI) (z.B. nach dem Cropping 306) der Eingabebilder 302 trainiert werden. In einigen Beispielen kann(können) das(die) Eingabebild(er) 302 einer Abwärtsabtastung 304 unterzogen werden. Beispielsweise kann die Abwärtsabtastung 304 die Abwärtsabtastung der Auflösung des Eingabebilds 302 um ein gewisses Ausmaß, wie beispielsweise ein Viertel, ein Drittel, eine Hälfte, ein Zehntel usw., umfassen Die ROI-Bilder können ein beschnittenes Bild (z.B. mittige Beschneidung, halbe Größe usw.) darstellen, das erzeugt wird, nachdem die Eingabebilder 302 einem Cropping 306 unterzogen wurden. Die Eingabebilder 302 können beschnitten werden, einen Bereich um den Fluchtpunkt, einen horizontalen Streifen bei einer perspektivischen Ansicht, die einem bestimmten Abstand aus einem Vogelperspektive, eine mittige Beschneidung einer höherer Auflösung, um Information an einer Ferndistanz bereitzustellen, eine andere beschnittene Region und/oder eine Kombination davon zu umfassen. In einem Beispiel können die Bilder, die durch Abwärtsabtastung 304 und Cropping 306 erzeugt werden, von unterschiedlichen Auflösungen und/oder unterschiedlichen Abschnitten der Sichtfelder als die Eingabebilder 302 sein. In einem derartigen Beispiel kann(können) das(die) Modell(e) für maschinelles Lernen 108 Merkmale eine Vielzahl von Bildauflösungen und Abschnitten von Sichtfeldern lernen. Die Bilder, die durch Abwärtsabtastung 304 und durch Cropping 306 erzeugt werden, können dann zusammen in einem oder mehreren Daten-Batches oder Daten-Minibatches 314 als Trainingsbilder gruppiert werden, um in das(die) Modell(e) für maschinelles Lernen 108 eingegeben zu werden. In einigen Beispielen kann die Größe der Daten-Minibatch(es) 314 ein abstimmbarer Hyperparameter sein. In einem Beispiel kann der(die) Daten-Minibatch(es) 314 eine gleiche Anzahl von Bildern der Abwärtsabtastung 304 und des Cropping 306 umfassen.
Bezugnehmend auf 3B umfasst 3B ein Beispiel einer Abwärtsabtastung 304 und eines Cropping 306 der Eingabebilder 302. Wie in 3A veranschaulicht, kann ein Bild in der vollen Auflösung 322 (z.B. eines der Eingabebilder 302) abwärtsabgetastet werden, um ein erstes Bild 324A niedrigerer Auflösung zu erzeugen. Das erste Bild 326A niedrigerer Auflösung kann dann erneut in einigen Beispielen abwärtsabgetastet werden, um das zweite Bild 324B niedrigerer Auflösung aus dem ersten Bild 324A niedrigerer Auflösung zu erzeugen. Obwohl zwei Stufen der Abwärtsabtastung 304 in 3B veranschaulicht sind, ist dies nicht bestimmt, einschränkend zu sein, und eine beliebige Anzahl von Stufen kann verwendet werden. Nach der Abwärtsabtastung 304 können die resultierenden Bilder als eine erste Hälfte des Minibatch 328A zum Trainieren von Bildern 328 verwendet werden.
Das Bild der vollen Auflösung 322 kann ebenfalls einem Cropping 306 unterzogen werden, um ein beschnittenes Bild 324B zu erzeugen. Der Abschnitt des Bildes, der beschnitten ist, kann einem beschnittenen Abschnitt 352 entsprechen, der lediglich für veranschaulichende Zwecke in dem Bild in der vollen Auflösung 322 enthalten ist. Das beschnittene Bild 324B kann in einigen Beispielen abwärtsabgetastet werden (z.B. als Teil der Abwärtsabtastung 304), um ein beschnittenes Bild 326B niedrigerer Auflösung zu erzeugen. Obwohl lediglich eine einzige Abwärtsabtastung veranschaulicht ist, ist dies nicht bestimmt, einschränkend zu sein, und eine beliebige Anzahl von Abwärtsabtaststufen kann auf dem beschnittenen Bild 324B enthalten sein. Nach dem Cropping 306 können die resultierenden Bilder als eine zweite Hälfte des Minibatch 328B zum Trainieren von Bildern 328 verwendet werden.
In einigen Beispielen können die Bilder der Abwärtsabtastung (z.B. 326B) und die Bilder des Cropping (z.B. 326B) auf die gleiche Auflösung zur Verwendung als die Trainingsbilder 328 abwärtsabgetastet werden. In einigen Beispielen kann das beschnittene Bild 326B niedrigerer Auflösung aufgefüllt werden (z.B. können Nullwert-Pixel hinzugefügt werden), um ein Bild der gleichen Auflösung wie das zweite Bild 326A niedrigerer Auflösung zu erzeugen. In anderen Beispielen können die Bilder von unterschiedlichen Auflösungen sein. Außerdem können in einigen Beispielen das Cropping 306 und die Abwärtsabtastung 304 gleichzeitig oder zu unterschiedlichen Zeiten durchgeführt werden.
Die den Eingabebildern 302 entsprechenden Bezeichnungen 308 können einer ähnlichen Abwärtsabtastung 310 und einem ähnlichen Cropping 312 wie ihren entsprechenden Eingabebilder 302 unterzogen werden. Die Abwärtsabtastung 310 kann auf die Bezeichnungen 308 angewandt werden, um die Eingabeauflösung der Bezeichnungen 308 zu verringern. In einigen Beispielen kann die Abwärtsabtastung 310 die Auflösung der Bezeichnungen 308 auf die gleiche Auflösung wie die Abwärtsabtastung 304 der entsprechenden Eingabebilder 302 verringern. Das Cropping 312 kann auf die Bezeichnungen 308 der Eingabebilder 302 angewandt werden, die beschnitten wurden, um beschnittene Bezeichnungen zu erzeugen. In einigen Beispielen kann das Cropping 312 die Bezeichnungen 308 auf eine gleiche Art und Weise wie das Cropping 306 der entsprechenden Eingabebilder 302 beschneiden. In anderen Beispielen kann das Cropping 312 keine direkte, Eins-zu-Eins-Korrelation zu dem Cropping 306 sein, wie beispielsweise hier mit Bezug auf 4A-4C beschrieben. Die Bezeichnungen, die unter Verwendung der Abwärtsabtastung 310 und des Cropping 312 erzeugt wurden, können in einem Daten-Minibatch(es) 314 ähnlich den Daten-Minibatch(es) ihrer entsprechenden Eingabebilder 302 kombiniert und können als Ground-Truth-Daten (z.B. nach der Online-Datenvermehrung 316, in Beispielen) zum Trainieren des(der) Modells(e) für maschinelles Lernen 108 verwendet werden (z.B. zum Vergleich mit der(den) Segmentierungsmaske(n) 110, die von dem(den) Modell(e) für maschinelles Lernen 108 unter Verwendung einer Verlustfunktion 318 ausgegeben werden).
In einigen nicht einschränkenden Beispielen können die Minibatch(es) 314, welche die Bilder und entsprechende Bezeichnungen umfassen, einer Online-Datenvermehrung 316 unterzogen werden, um die Bilder und entsprechende Bezeichnungen in die Minibatch(es) 314 zu transformieren. In Beispielen können die Trainingsbilder 328 einer oder mehreren räumlichen Transformationen (z.B. Vergrößern, Verkleinern, rechts Kippen, links Kippen, einer Zufallstranslation usw.) und/oder einer oder mehreren Farbtransformationen (z.B. Farbton, Sättigung, Kontrast usw.) unterzogen werden und die Trainingsbezeichnungen 308 können entsprechende Transformationen unterzogen werden.
Beispielsweise kann ein Eingabebild 302 einer Bezeichnung 308 zugeordnet sein, das Eckpunkte eines Polygons umfasst (z.B. eine Annotierung von Eckpunkten für Bezeichnungen 308), die eine Spur und/oder eine Begrenzung darstellen. Das Eingabebild 302 (oder die abwärtsabgetastete oder beschnittene Version davon) kann einer Transformation(en) unterzogen werden, die ein transformiertes Bild erzeugt(erzeugen). Die Eckpunkte des Polygons (z.B. Bezeichnungen 308 oder die abwärtsabgetastete oder beschnittene Version davon) kann auf ähnliche Weise einer Transformation (z.B. Ortswechsel) unterzogen werden, um transformierte Eckpunkte basierend auf der Transformation des Eingabebilds 302 zu erzeugen. Wenn das Eingabebild 302 beispielsweise um dreißig Grad gedreht wird, können die Eckpunkte des Polygons transformiert werden, um einem Ort der Eckpunkte in dem Eingabebild 302, wie um dreißig Grad gedreht, zu entsprechen.
Für ein beliebiges Eingabebild 302 und/oder ein transformiertes Bild kann dann ein maskiertes Bild durch Maskieren des Abschnitts des transformierten Bildes erzeugt werden, das der transformierten Bezeichnung entspricht (z.B. ein transformiertes Polygon kann maskiert werden, das den transformierten Eckpunkten entspricht). Das(die) Modell(e) für maschinelles Lernen 108 kann(können) unter Verwendung des(der) maskierten Bildes(er) als Ground-Truth-Daten trainiert werden. Ein Ergebnis der Online-Datenvermehrung 316 besteht darin, die Wahrscheinlichkeit der Überanpassung (des)der trainierten Modells(e) für maschinelles Lernen 108 in die Trainingsbilder und Bezeichnungen zu verringern, um dadurch ein nützlicheres Modell(e) 108 für den Einsatz in einem Realweltszenario zu erzeugen.
Die augmentierten Bilder, die durch Online-Datenvermehrung 316 erzeugt wurden, können durch das(die) Modell(e) für maschinelles Lernen 108 weitergegeben werden. In einigen Beispielen kann(können) das(die) Modell(e) für maschinelles Lernen 108 (z.B. ein neuronales(e) Netzwerk(e)) mit ursprünglichen und/oder augmentierten Bildern unter Verwendung von mehreren Iterationen trainiert werden, bis der Wert der Verlustfunktion(en) 318 des(der) Modells(e) für maschinelles Lernen 108 unterhalb eines Schwellenverlustwerts ist. Das(die) Modell(e) für maschinelles Lernen 108 kann(können) trainiert werden, um eine Segmentierungsmaske(n) 110 für jedes der ursprünglichen und augmentierten Bilder zu erzeugen. Die von dem(den) Modell(en) für maschinelles Lernen 108 ausgegebene(n) Segmentierungsmaske(en) 110 kann(können) Abschnitte des(der) ursprünglichen und/oder augmentierten Bildes(er) darstellen, die bestimmt sind, Spurmarkierungen, Straßenbegrenzungen, Fußgängerüberwege, Kreuzungen und/oder anderen Merkmale einer Fahroberfläche des Fahrzeugs 800 zu entsprechen.
In einigen Beispielen kann(können) die Segmentierungsmaske(n) 110 Punkte (z.B. Pixel) des(der) Bildes(er) umfassen, wobei Spuren, Begrenzungen und/oder andere Merkmale bestimmt sind, durch das(die) Modell(e) für maschinelles Lernen 108 lokalisiert zu werden. In einigen Beispielen kann(können) die erzeugte(n) Segmentierungsmaske(n) 110 eine Binärmaske(n) (z.B. den Binärmaskenkopf 334 von 3C) mit einer ersten Darstellung für Hintergrundelemente (z.B. andere Elemente als Spuren und Begrenzungen) und einer zweiten Darstellung für Vordergrundelemente (z.B. Spuren und Begrenzungen) sein. In anderen Beispielen kann(können) das(die) Modell(e) für maschinelles Lernen 108 trainiert werden, um eine mehrklassige Segmentierungsmaske(n) (z.B. den Mehrklassenmaskenkopf 332 von 3C) als die Segmentierungsmaske(n) 110 zu erzeugen, mit unterschiedlichen Klassen, die sich auf unterschiedliche Spurmarkierungen, Begrenzungen und/oder anderen Merkmale beziehen. In derartigen Beispielen können die Klassen eine erste Klasse für Hintergrundelemente, eine zweite Klasse für Straßenbegrenzungen, eine dritte Klasse für durchgezogene Spurmarkierungen, eine vierte Klasse für gestrichelte Spurmarkierungen, eine fünfte Klasse für Kreuzungen, eine sechste Klasse für Fußgängerüberwege, eine siebente Klasse für Spuraufspaltungen und/oder andere Klassen für andere Merkmale umfassen.
Das(die) Modell(e) für maschinelles Lernen 108 kann(können) Berechnungen in Vorwärtsrichtung an den ursprünglichen und/oder augmentierten Bildern durchführen. In einigen Beispielen kann(können) das(die) Modell(e) für maschinelles Lernen 108 interessierende Merkmale des(der) Bild(er) extrahieren und eine Wahrscheinlichkeit einer Begrenzungsklasse, einer Spurmarkierungsklasse oder einer anderen Merkmalklasse in den Bildern (z.B. auf einer Pixel-für-Pixel-Basis) vorhersagen. Die Verlustfunktion 318 kann verwendet werden, um den Verlust (z.B. Fehler) in der(den) Segmentierungsmaske(n) 110 (z.B. Vorhersagen, die durch das(die) Modell(e) für maschinelles Lernen 108 erzeugt wurden) verglichen mit den Ground-Truth-Daten (z.B. die ursprünglichen und/oder augmentierten Bezeichnungen, Annotierungen und/oder Masken) zu messen. In einem Beispiel kann eine binäre Kreuzentropiefunktion als die Verlustfunktion 318 verwendet werden. In einem beliebigen Beispiel können Berechnungen in Rückwärtsrichtung durchgeführt werden, um Gradienten der Verlustfunktion mit Bezug auf Trainingsparameter rekursiv zu berechnen. In einigen Beispielen können Gewichtungen und Verzerrungen des(der) Modell(e) für maschinelles Lernen 108 verwendet werden, um diese Gradienten zu berechnen. Beispielsweise kann Regionen-basierter gewichteter Verlust zu der Verlustfunktion 318 hinzugefügt werden, wobei die Verlustfunktion 318 den Verlust bei weiteren Abständen von der Bodenseite des Bildes zunehmend bestrafen kann, wie hier beschrieben. In einem derartigen Fall kann der Regionen-basierte Gewichtsverlust wie folgt in Gleichung (1) dargestellt werden: $\begin{array}{l} W e i g h t e d L o s s = - \frac{1}{H * W} \sum_{h = 0}^{H - 1} \sum_{w = 0}^{W - 1} W e i g h t_{h, w} [y_{t r u e, h, w} * \\ (1 - y_{t r u e, h, w}) * log (1 - y_{p r e d, h, w})] \end{array}$
wobei Weight_h,w die Gewichtungskoeffizienten entlang einer zweidimensionalen, Höhe (h) x Breite (w), Ausgabe der Segmentierungsmaske(s) 110 darstellt, Y_true den Ground-Truth-Ort darstellt, und Y_pred den vorhergesagten Ort darstellt, der durch das(die) Modell(e) für maschinelles Lernen 108 ausgegeben wird. In einigen Beispielen kann Y_true 0 oder 1 sein und Y_pred kann ein Gleitkommawert zwischen 0 und 1 sein. Eine Vanilla-Verlustfunktion, ein Sonderfall, wobei Weight_h,w = 1 für all h, w ist, behandelt jede Region gleich. Eine Regionen-basierte gewichtete Verlustfunktion bestraft jedoch mehr Fehler an der Ferndistanz und verbessert daher die Erfassung bei der Ferndistanz. In einigen Beispielen können die gewichteten Koeffizienten als eine Funktion von Zeilennummern der Bilder eingestellt werden.
In einigen Beispielen kann(können) das(die) Modell(e) für maschinelles Lernen 108 unter Verwendung von sowohl einem Mehrklassenmaskenkopf 332 (z.B. Mehrklassenmaske einschließlich Köpfen, 332A - 332C, für jede Klasse) als auch einem Binärmaskenkopf 334 trainiert werden. In einigen Beispielen kann der Binärmaskenkopf 334 von dem Mehrklassenmaskenkopf 332 hergeleitet werden. Das Herleiten des Binärmaskenkopfs 334 von dem Mehrklassenmaskenkopf 332 kann jedoch zu einem Binärmaskenkopf 334 führen, der jedoch nicht so viel wie ein getrennt trainierter Binärmaskenkopf 334 leistet.
Als solche können mit Bezugnahme auf 3C sowohl der Mehrklassenmaskenkopf 332 als auch der Binärmaskenkopf 334 (z.B. gemeinsam) trainiert werden. Die ursprünglichen und/oder augmentierten Bilder können in das(die) Modell(e) für maschinelles Lernen 108 eingegeben werden und das(die) Modell(e) für maschinelles Lernen 108 kann(können) trainiert werden, um sowohl den Mehrklassenmaskenkopf 332 als auch den Binärmaskenkopf 334 auszugeben. In einigen nicht einschränkenden Beispielen kann der Mehrklassenmaskenkopfverlust eine unabhängige binäre Kreuzentropie für jede Klasse in der Mehrklassenmaske umfassen. In diesem Fall kann die Verlustfunktion 318 als ein Gesamtverlust (Gleichung (4)) des Mehrklassenmaskenkopfverlusts (Multiclass Loss) (Gleichung (2)) und des Binärmaskenkopfverlusts (Binary Loss) (Gleichung (3)) wie folgt berechnet werden: $\begin{matrix} M u l t i c l a s s L o s s = - \frac{1}{C * H * W} \sum_{c = 0}^{C - 1} \sum_{h = 0}^{H - 1} \sum_{w = 0}^{W - 1} [y_{t r u e, c, h, w} * log (y_{p r e d, c, h, w}) + (1 - y_{t r u e, c, h, w}) * \\ l og (1 - y_{p r e d, c, h, w})] \end{matrix}$
$\begin{matrix} B i n a r y L o s s = - \frac{1}{H * W} \sum_{h = 0}^{H - 1} \sum_{w = 0}^{W - 1} [y_{t r u e, h, w} * log (y_{p r e d, h, w}) + (1 - y_{t r u e, h, w}) * \\ l og (1 - y_{p r e d h, w})] \end{matrix}$
$\begin{array}{l} G e s a m t v e r l u s t = α * M e h r k l a s s e n_K o p f_V e r l u s t + \\ B i n ä r m a s k e n_K o p f_V e r l u s t \end{array}$
wobei C die Anzahl von Klassen des Mehrklassenmaskenkopfs (z.B. Mehrklassenmaske), H die Höhe des Ausgabetensors, W die Breite des Ausgabetensors und α das Verlustgewicht zwischen den beiden Köpfen ist. In einigen Beispielen kann α ein Hyperparameter sein, der optimiert werden kann.
In einem anderen, nicht einschränkenden Beispiel kann der Mehrklassenmaskenkopfverlust mehrklassige Kreuzentropie (Gleichung (5)) oder eine gewichtete Kreuzentropie (Gleichung (6)) verwenden, die wie folgt berechnet werden: $M u l t i c l a s s L o s s = - \frac{1}{C * H * W} \sum_{c = 0}^{C - 1} \sum_{h = 0}^{H - 1} \sum_{w = 0}^{W - 1} [y_{t r u e, c, h, w} * log (t_{p r e d, c, h, w})]$
$W e i g h t e d L o s s = - \frac{1}{C * H * W} \sum_{c = 0}^{C - 1} W e i g h t e d_{c} \sum_{h = 0}^{H - 1} \sum_{w = 0}^{W - 1} [y_{t r u e, c, h, w} * log (y_{p r e d, c, h, w})]$
Bezugnehmend nun auf 3D kann jeder Block des hier beschriebenen Verfahrens 340 einen Rechenprozess umfassen, der unter Verwendung einer beliebigen Kombination von Hardware, Firmware und/oder Software durchgeführt werden kann. Beispielsweise können verschiedene Funktionen von einem Prozessor ausgeführt werden, der in einem Speicher gespeicherte Anweisungen ausführt. Das Verfahren kann ebenfalls als computerverwendbare Anweisungen verkörpert sein, die auf Computerspeichermedien gespeichert sind. Das Verfahren kann durch eine eigenständige Anwendung, einen Dienst oder gehosteten Dienst (eigenständig oder in Kombination mit einem anderen gehosteten Dienst) oder einem Plug-in für ein anderes Produkt bereitgestellt werden, um nur einige zu nennen. Außerdem wird das Verfahren 340 beispielhaft mit Bezug auf das Fahrzeug 800 und den Prozess 300 beschrieben. Diese Verfahren können jedoch zusätzlich oder alternativ von einem beliebigen einzelnen System oder einer beliebigen Kombination von Systemen ausgeführt werden, einschließlich, jedoch nicht begrenzt auf, der hier beschriebenen.
3D ist ein Ablaufdiagramm, das ein Verfahren 340 zum Trainieren eines neuronalen Netzwerks zeigt, um Spuren und Begrenzungen unter Verwendung von transformierten Bildern und Bezeichnungen zu erfassen, gemäß einigen Ausführungsformen der vorliegenden Offenbarung. Bei Block B342 umfasst das Verfahren 340 das Empfangen von Bilddaten, die für ein Bild einer Fahroberfläche repräsentativ sind. Beispielsweise können Bilddaten empfangen werden, die für die Eingabebilder 302 repräsentativ sind, wobei die Eingabebilder 302 Darstellungen von Fahroberflächen des Fahrzeugs 800 umfassen. In einigen Beispielen können die Eingabebilder 302 in einem Datenspeicher oder einem Datenbehälter gespeichert werden.
Bei Block B344 umfasst das Verfahren 340 das Empfangen von Annotierungen, die Orten von mindestens einer von Spurmarkierungen oder Begrenzungen der Fahroberfläche entsprechen. Beispielsweise können Bezeichnungen 308, die den Eingabebildern 302 entsprechen, empfangen werden. Die Bezeichnungen 308 können Ground-Truth-Information umfassen, die Spuren, Begrenzungen und/oder anderen Merkmalen der Fahroberfläche entsprechen, die in den entsprechenden Eingabebildern 302 dargestellt sind.
Bei Block B346 umfasst das Verfahren 340 das Anwenden einer oder mehrerer Transformationen auf das Bild, um ein transformiertes Bild zu erzeugen. Beispielsweise kann die Online-Datenvermehrung 316 (z.B. räumliche Transformationen, Farbtransformationen usw.) an den Eingabebildern 302 durchgeführt werden, um transformierte Bilder zu erzeugen.
Bei Block B348 umfasst das Verfahren 340 das Anwenden einer oder mehrerer zweiter Transformationen, die der einen oder mehreren ersten Transformationen entsprechen, auf jede der Annotierungen, um transformierte Annotierungen zu erzeugen. Beispielsweise kann die Online-Datenvermehrung 316 an den Bezeichnungen 308 durchgeführt werden, um augmentierte Bezeichnungen zu erzeugen. In einigen Beispielen können die Bezeichnungen 308 unter Verwendung einer ähnlichen oder entsprechenden Transformation wie die Transformationen der Eingabebilder 302 transformiert werden.
Bei Block B350 umfasst das Verfahren 340 das Training eines neuronalen Netzwerks unter Verwendung des Bildes, der Annotierungen, des transformierten Bildes und der transformierten Annotierungen. Beispielsweise kann(können) das(die) Modell(e) für maschinelles Lernen 108 trainiert werden, um Pixel innerhalb der Trainingsbilder 328 (z.B. abwärtsabgetastete und/oder beschnittene Versionen der Eingabebilder 302), augmentierte Trainingsbilder, Trainingsbezeichnungen (z.B. abwärtsabgetastete und/oder beschnittene Versionen der Bezeichnungen 308) und/oder augmentierten Trainingsbezeichnungen zu kennzeichnen. Die Trainingsbezeichnungen und augmentierte Trainingsbezeichnungen können als Ground-Truth-Daten verwendet werden, um das(die) Modell(e) für maschinelles Lernen 108 zu trainieren, um entsprechende Spurmarkierungen, Straßenbegrenzungen und/oder andere Merkmale der Fahroberfläche zu erfassen.
Bezugnehmend auf 4A, ist 4A eine Veranschaulichung eines Beispielprozesses 400 zum Erzeugen von Ground-Truth-Daten, um ein Modell(e) für maschinelles Lernen zu trainieren, um Spuren, Straßenbegrenzungen und/oder andere Merkmale zu erfassen, gemäß einigen Ausführungsformen der vorliegenden Offenbarung. Beispielsweise kann Online-Datenvermehrung 316 an Polygoneckpunkten durchgeführt werden, die als Bezeichnungen 308 während der Ground-Truth-Erzeugung empfangen werden. Wenn ein den Bezeichnungen 308 zugeordnetes Eingabebild 302 durch eine Abwärtsabtastung 304 geht, kann die gleiche Abwärtsabtastung auf die Bezeichnungen 308 (z.B. die Polygoneckpunkte) angewandt werden, die dem Eingabebild 302 entsprechen. Auf ähnliche Weise müssen, wenn ein den Bezeichnungen 308 zugeordnetes Eingabebild 302 durch ein Cropping 306 geht, die Bezeichnungen 308 eingestellt werden. Die Polygone (z.B. ein Polygon 470), das aus den Polygoneckpunkten oder anderen Bezeichnungsarten (z.B. Linien) von den Bezeichnungen 308 erzeugt werden, können Spuren, Straßenbegrenzungen und/oder andere Merkmale darstellen, die in den entsprechenden Eingabebildern 302 veranschaulicht werden.
Die Bilder 410A und 410B der vollen Auflösung können das Polygon 470 umfassen, das in voller Auflösung sein kann. Das Polygon 470 kann, wie hier beschrieben, aus Polygoneckpunkten als Teil der Ground-Truth-Masken-Erzeugung erzeugt werden, oder kann in einem einzigen Schritt erzeugt werden (z.B. gezeichnet oder anderweitig erzeugt, ohne zuerst Eckpunkte aufzuweisen). Das Erzeugen von Polygonen aus Polygoneckpunkten, um Ground-Truth-Daten für Spurmarkierungen, Straßenbegrenzungen und/oder andere Merkmale darzustellen, wird hier ferner zumindest mit Bezug auf 5A und 5B beschrieben. Obwohl 4A-4D mit Bezug auf Polygone als die Ground-Truth-Maske beschrieben sind, ist dies nicht bestimmt, einschränkend zu sein. Beispielsweise können Bezeichnungen 308 von anderen Formen (z.B. Linien, Kreisen, amorphe Formen usw.) verwendet werden, ohne vom Umfang der vorliegenden Offenbarung abzuweichen.
Die Bild der vollen Auflösung 410A und das zugeordnete Polygon 470 (z.B. eine Ground-Truth-Maske) können (z.B. unter Verwendung der Abwärtsabtastung 304) abwärtsabgetastet werden, um ein abwärtsabgetastetes Bild 412 mit einer abwärtsabgetasteten Version des Polygons 472 zu erzeugen.
Beispielsweise kann das Bild der vollen Auflösung 410A abwärtsabgetastet werden und die Abwärtsabtastung des Bildes der vollen Auflösung 410A kann dann verwendet werden, um die Abwärtsabtastung den Polygoneckpunkten mitzuteilen, und das abwärtsabgetastete Polygon 472 kann von den abwärtsabgetasteten Polygoneckpunkten erzeugt werden. Das abwärtsabgetastete Polygon 472 kann dann maskiert werden, um den Abschnitt des abwärtsabgetasteten Bildes 412 darzustellen, welcher der Spurmarkierung, der Begrenzung und/oder anderen Merkmalen entspricht. In einigen Beispielen kann die Maske durch Verwenden einer Leinwand erzeugt werden, um Pixel (oder Abschnitte des abwärtsabgetasteten Bildes 412) außerhalb des abwärtsabgetasteten Polygons 472 heraus zu maskieren. Die Maske kann einer Binärmaske entsprechen (z.B., wie im maskierten Bild 414 veranschaulicht), wobei das abwärtsabgetastete Polygon 472 von einer ersten Farbe sein kann (z.B. weiß) und die Pixel außerhalb des abwärtsabgetasteten Polygons von einer zweiten Farbe sind (z.B. schwarz). Das maskierte Bild 414 kann jedoch ebenfalls verwendet werden, um eine Mehrklassenmaske zu trainieren, wie hier beschrieben. Das maskierte Bild 414 kann dann verwendet werden, um als Ground-Truth-Daten das(die) Modell(e) für maschinelles Lernen 108 zu trainieren, um Spurmarkierungen, Straßenbegrenzungen und/oder Merkmale zu erfassen, die dem Ort des abwärtsabgetasteten Polygons 472 in Realweltkoordinaten entsprechen.
Das Bild der vollen Auflösung 410B und das zugeordnete Polygon 470 (z.B. eine Ground-Truth-Maske) kann (z.B. unter Verwendung von Cropping 306) beschnitten werden, um ein beschnittenes oder ROI-Bild 416 zu erzeugen. Nach dem Cropping 306 müssen die entsprechenden Bezeichnungen 308 (z.B. das Polygon 470) jedoch ebenfalls eingestellt oder transformiert werden, um in das ROI-Bild 416 abgebildet zu werden. Beispielsweise kann während des Cropping 306 des Polygons 470 bestimmt werden, dass ein Abschnitt des Polygons 470 außerhalb des ROI-Bildes 416 ist (erstreckt sich z.B. über die ROI 474 des Bildes 410B voller Auflösung hinaus, das verwendet wird, um das beschnittene Bild 416 zu erzeugen). In derartigen Beispielen kann eine Leinwand verwendet werden, um die Polygoneckpunkte (z.B. vier Ecken des Polygons 470) zu augmentieren, so dass die Leinwand die Pixel des Polygons außerhalb der ROI 474 ausmaskieren kann, wie durch den Abschnitt des Polygons 470 im maskierten Bild 418 ersichtlich. Sobald die aktualisierten (z.B. innerhalb der ROI 474) Polygoneckpunkte bestimmt sind, können beliebige Augmentationen oder Transformationen an dem beschnittenen Bild 416 ebenfalls auf die aktualisierten Polygoneckpunkte angewandt werden, wie hier beschrieben. Das maskierte Bild 418 kann dann verwendet werden, um als Ground-Truth-Daten das(die) Modell(e) für maschinelles Lernen 108 zu trainieren, um Spurmarkierungen, Straßenbegrenzungen und/oder andere Merkmale zu erfassen.
Bezugnehmend nun auf 4B, ist 4B eine Veranschaulichung eines Beispielprozesses 420 zum Durchführen einer Online-Datenvermehrung und eines Cropping von Ground-Truth-Masken gemäß einigen Ausführungsformen der vorliegenden Offenbarung. Das Bild der vollen Auflösung 410B mit dem Polygon 470 (z.B. als eine Bezeichnung 308) kann empfangen werden, das einem Eingabebild 302 entspricht. Das Bild der vollen Auflösung 410B kann die ROI 474 für das Cropping 306 umfassen, um ein beschnittenes Bild zu erzeugen. Eine oder mehrere räumliche Transformationen (z.B. Vergrößern, Verkleinern, rechts Kippen, links Kippen usw.) können an dem beschnittenen Bild und entsprechend an dem Polygon 470 (z.B. an den Eckpunkte des Polygons unter Verwendung von Online-Datenvermehrung 316) durchgeführt werden, um ein transformiertes Bild 422 mit einem transformierten Polygon 476 zu erzeugen. Die in 4B veranschaulichte räumliche Transformation kann eine verkleinernde Transformation sein, wobei die räumlichen Transformationen jedoch nicht derart beschränkt sind. Eine augmentierte oder transformierte Ground-Truth-Maske 424 kann innerhalb der ROI 474 durch Bestimmen der transformierten Polygoneckpunkte und Ausmaskieren der Region außerhalb der ROI 474 erzeugt werden.
In einigen Beispielen kann die augmentierte Ground-Truth-Maske 424 aufgefüllt werden (z.B. können Nullwert-Pixel hinzugefügt werden), um die räumliche Auflösung auf eine für die Trainingsbilder 328 erwünschte Größe zu erhöhen. In einigen Beispielen wird das Auffüllen (padding) unter Verwendung einer Leinwand implementiert, so dass die augmentierte Ground-Truth-Maske innerhalb der Leinwand sitzt und die Leinwand die Auffüllung bereitstellt. Letztlich kann ein aufgefülltes Bild 426 als Ground-Truth-Daten zum Trainieren des(der) Modell(e) für maschinelles Lernen 108 verwendet werden, um Spurmarkierungen, Straßenbegrenzungen und/oder andere Merkmale zu erfassen.
Bezugnehmend nun auf 4C-4D kann jeder Block der hier beschriebenen Verfahren 440 und 460 einen Rechenprozess umfassen, der unter Verwendung einer beliebigen Kombination von Hardware, Firmware und/oder Software durchgeführt werden kann. Beispielsweise können verschiedenen Funktionen von einem Prozessor ausgeführt werden, der in einem Speicher gespeicherte Anweisungen ausführt. Das Verfahren kann auch als computerverwendbare Anweisungen verkörpert sein, die auf Computerspeichermedien gespeichert sind. Das Verfahren kann durch eine eigenständige Anwendung, einen Dienst oder gehosteten Dienst (eigenständig oder in Kombination mit einem anderen gehosteten Dienst) oder ein Plug-in für eine anderes Produkt bereitgestellt werden, um nur einige zu nennen. Außerdem werden Verfahren 440 und 460 beispielhaft mit Bezug auf das Fahrzeug 800 und den Prozessen 300, 320, 400 und/oder 420 beschrieben. Diese Verfahren können jedoch zusätzlich oder alternativ von einem beliebigen einzelnen System oder einer beliebigen Kombination von Systemen ausgeführt werden, einschließlich, jedoch nicht beschränkt auf, die hier beschriebenen.
4C ist ein Ablaufdiagramm, das ein Verfahren 440 zum Trainieren eines neuronalen Netzwerks zeigt, um Spuren und Begrenzungen unter Verwendung von abwärtsabgetasteten Bildern zu erfassen, gemäß einigen Ausführungsformen der vorliegenden Offenbarung. Bei Block B442 umfasst das Verfahren 440 das Empfangen eines ersten Bildes in einer erster Bildauflösung und zugeordnete erste Eckpunktdaten, die entsprechende to ersten Orte von Eckpunkte eines Polygon entsprechen, das zugeordnete dem ersten Bild zugeordnet ist. Beispielsweise können ein Eingabebild 302 (z.B. das Bild der vollen Auflösung 410A) und zugeordnete Bezeichnungen 308 empfangen werden, wobei das Eingabebild 302 eine erste Auflösung aufweist und die Bezeichnungen 308 als erste Eckpunktdaten dargestellt werden, die einem Polygon 470 einer Spur, einer Begrenzung oder einem anderen Merkmal entsprechen.
Bei Block B444 umfasst das Verfahren 440 das Anwenden einer ersten Transformation auf das erste Bild, um ein zweites Bild in einer zweiten Bildauflösung zu erzeugen. Beispielsweise kann die Abwärtsabtastung 304 auf das Eingabebild 302 angewandt werden, um das Eingabebild 302 in das erste Bild niedrigerer Auflösung 324A und/oder das zweite Bild 326A niedrigerer Auflösung zu konvertieren.
Bei Block B446 umfasst das Verfahren 440 das Anwenden einer zweiten Transformation auf die ersten Eckpunktdaten, um zweite Eckpunktdaten, die zweiten Orten von Eckpunkten eines zweiten Polygons innerhalb des zweiten Bildes entsprechen, basierend mindestens teilweise auf der ersten Transformation zu erzeugen. Beispielsweise kann ein zweiter Satz von Eckpunktdaten für ein abwärtsabgetastetes Polygon 472 durch Abwärtsabtastung des Polygons 470, das der Abwärtsabtastung des Eingabebilds 302 entspricht, erzeugt werden.
Bei Block B448 umfasst das Verfahren 440 das Erzeugen des zweiten Polygons für das zweite Bild basierend mindestens teilweise auf den zweiten Eckpunktdaten. Beispielsweise kann das abwärtsabgetastete Polygon 472 basierend auf den zweiten Eckpunktdaten erzeugt werden.
Bei Block B450 umfasst das Verfahren 440 das Maskieren mindestens eines Abschnitts des zweiten Bildes, der dem zweiten Polygon entspricht, um ein maskiertes Bild zu erzeugen. Beispielsweise kann eine Binärmaske in niedrigerer Auflösung 414 basierend auf dem zweiten Satz von Eckpunkten durch Maskieren des abwärtsabgetasteten Polygons 472 erzeugt werden, um das maskierte Bild 414 zu erzeugen.
Bei Block B452 umfasst das Verfahren 440 das Training eines neuronalen Netzwerks unter Verwendung von Ground-Truth-Daten, die dem maskierten Bild entsprechen. Beispielsweise kann(können) das(die) Modell(e) für maschinelles Lernen 108 unter Verwendung des maskierten Bildes 414 als Ground-Truth-Daten trainiert werden.
Bezugnehmend nun auf 4D, ist 4D ein Ablaufdiagramm, das ein Verfahren 460 zum Trainieren eines neuronalen Netzwerks zeigt, um Spuren und Begrenzungen unter Verwendung von beschnittenen Bildern zu erfassen, gemäß einigen Ausführungsformen der vorliegenden Offenbarung. Bei Block B462 umfasst das Verfahren 460 das Empfangen eines Bildes und zugeordnete Eckpunktdaten, die Orten von Eckpunkten eines Polygons innerhalb des Bildes entsprechen. Beispielsweise kann ein Eingabebild 302 (z.B. das Bild der vollen Auflösung 410B) und zugeordnete Bezeichnungen 308 empfangen werden, wobei die Bezeichnungen 308 als Eckpunktdaten dargestellt werden, die Orten von Eckpunkten eines Polygons 470 innerhalb des Eingabebildes 302 entsprechen.
Bei Block B464 umfasst das Verfahren 460 das Bestimmen eines Beschneidungsabschnitts des Bildes, wobei mindestens ein Abschnitt des Polygons außerhalb des Beschneidungsabschnitts ist. Beispielsweise kann die ROI 474 bestimmt werden und das beschnittene Bild 416 erzeugt werden. Nach dem Cropping 306 kann mindestens ein Abschnitt des Polygons 470 außerhalb der ROI 474 sein.
Bei Block B466 umfasst das Verfahren 460 ein Maskieren mindestens eines Abschnitts des Bildes, der dem Polygon und dem Beschneidungsabschnitt des Bildes entspricht, um ein maskiertes Bild zu erzeugen. Beispielsweise kann eine erste Maske zum Ausmaskieren des Abschnitts des Polygons 470 erzeugt werden, der außerhalb der ROI 474 ist, und eine zweite Maske kann innerhalb der ROI 474 zum Maskieren des Abschnitts des beschnittenen Bildes 416 erzeugt werden, welcher der Spur, der Begrenzung und/oder einem anderen Merkmal entspricht. Die ersten und zweiten Masken können angewandt werden, um das maskierte Bild 418 zu erzeugen.
Bei Block B468 umfasst das Verfahren 460 das Training eines neuronalen Netzwerks unter Verwendung von Ground-Truth-Daten, die dem maskierten Bild entsprechen. Beispielsweise kann(können) das(die) Modell(e) für maschinelles Lernen 108 unter Verwendung des maskierten Bildes 418 als Ground-Truth-Daten trainiert werden.
Annotieren von Merkmalen einer Fahroberfläche In einigen Beispielen können Annotierungen von Merkmalen einer Fahroberfläche, wie beispielsweise Spuren, Begrenzungen, Fußgängerüberwege, Kreuzungen, Spurzusammenführungen, Spuraufspaltungen und/oder andere Merkmale verwendet werden, um Ground-Truth-Daten zum Trainieren eines(von) Modell(en) für maschinelles Lernen zu erzeugen. Beispielsweise kann ein Bild zusammen mit Annotierungen empfangen werden, die markierte Eckpunkte angeben, die Eckpunkte einer Polylinie darstellen. Liniensegmente (z.B. Polylinien) können dann erzeugt werden, um benachbarte Eckpunkte zu verbinden. Die Polylinien können dann in entsprechende Polygone expandiert werden. Als ein nicht einschränkendes Beispiel kann für jeden der Eckpunkte ein benachbarter Eckpunkt erzeugt werden, so dass der benachbarte Eckpunkt senkrecht zu einer Polylinie ist, die sich von dem Eckpunkt erstreckt. Ein Satz zweiter Polylinien kann dann zwischen dem Eckpunkt und dem benachbarten Eckpunkt erzeugt werden und ein Satz dritter Polylinien kann dann zwischen entsprechenden benachbarten Eckpunkten erzeugt werden. Die erste Polylinie, die zweiten Polylinien und die dritte Polylinie kann ein Polygon bilden, das einen Abschnitt einer Begrenzung, eine Spur oder andere Merkmale einer Fahroberfläche darstellen, und zusammen können die Polygone die Begrenzung, die Spur und/oder andere Merkmale der Fahroberfläche (z.B. als eine Ground-Truth-Maske) darstellen. In einigen Beispielen kann die Breite der Polygone (z.B. die Länge des Satzes von zweiten Polylinien) auf dem Abstand der entsprechenden zweiten Polylinie von der Unterseite des Bildes basieren (z.B. relativ zu der Kamera oder einem anderen Sensor). In derartigen Beispielen können die Breite der Polygone und die entsprechende Länge der zweiten Polylinien von der Unterseite des Bildes in Richtung der Oberseite abnehmen.
Durch Erzeugen der Polygone auf diese Weise für Ground-Truth-Daten kann die Genauigkeit des(der) Modells(e) für maschinelles Lernen verbessert und die Effizienz des Erzeugens der Ground-Truth-Daten erhöht werden. Weil Polylinien beispielsweise aus Eckpunkten erzeugt werden, ist die resultierende Polylinie bereits genauer als eine vollständig handgezeichnete oder computererzeugte Linie und durch Expandieren der Polylinien in Polygone wird die Genauigkeit erhöht.
In einigen Ausführungsformen können diese Polygone erzeugt oder mit Bezug auf ein Bild gerendert werden, um eine sichtbare gerenderte Linie zu erzeugen, die eine Straßenbegrenzung, eine Spurmarkierung und/oder ein anderes Merkmal beschreibt, sogar wenn keine Straßenbegrenzung oder Spurmarkierungen tatsächlich in dem Bild (z.B. aufgrund von Verdeckung anderer Objekten, von Wetter, wenn nicht vorhanden usw.) vorhanden sind. Beispielsweise kann durch Erzeugen von Ground-Truth-Daten auf diese Weise das(die) Modell(e) für maschinelles Lernen trainiert werden, um Übergänge von Pflaster zu einer unterschiedlichen Oberfläche (z.B. Schmutz, Schotter, Sand usw.), Pflaster zu einer Betonsperre, Pflaster zu einem Straßenrand, Schotter zu Schmutz usw. zu erkennen. Vorteilhafterweise kann diese Technik ebenfalls das Trainieren des(der) Modelle(e) für maschinelles Lernen ermöglichen, um eine volle und genaue Erfassung von Spuren und Begrenzungen sogar für widrige oder nicht ideale Wetter- und Straßenbedingungen zu erzeugen.
Bezugnehmend nun auf 5A, ist 5A eine Veranschaulichung eines Beispielprozesses 500 zum Annotieren von Straßenbegrenzungen zum Erzeugen von Ground-Truth-Daten gemäß einigen Ausführungsformen der vorliegenden Offenbarung. Die mit Bezug auf 5A beschriebene Annotierung kann sich auf eine Straßenbegrenzungsannotierung beziehen, wobei dies jedoch nicht bestimmt ist, einschränkend zu sein. Beispielsweise können ähnliche Annotierungen für Spuren, Fußgängerüberwege, Kreuzungen, Parklinien und/oder anderen Merkmalen einer Fahroberfläche oder anderen Merkmalen von Nicht-Fahroberflächen, wie beispielsweise Felder, Stangen oder anderen vertikalen oder länglichen Strukturen usw., gemacht werden.
Die Straßenbegrenzungsannotierung kann das Bezeichnen eines Satzes von ersten Eckpunkten 502A-502D umfassen, wobei die ersten Eckpunkte 502 Punkten (z.B. Pixeln) innerhalb eines Bildes entsprechen können. In einigen Beispielen können die Eckpunkte 502 entlang eines Übergangs von einer Oberfläche in eine andere bezeichnet werden, wie hier beschrieben. In einem beliebigen Beispiel können die ersten Eckpunkte 502 einer Straßenbegrenzung, einer Spurmarkierung und/oder einem anderen Merkmal einer Umgebung (z.B. reale Welt oder virtuelle Welt) entsprechen, die innerhalb eines Bildes dargestellt werden. Erste Polylinien können zwischen benachbarten ersten Eckpunkten 502 erzeugt werden. Beispielsweise können die ersten Polylinien 516A-516C zwischen jedem der benachbarten Eckpunkte 502A und 502B, 502B und 502C, 502C und 502D und so weiter verlängert werden.
Die ersten Polylinien 516 können dann in Polygone, wie beispielsweise 520A, 520B und 520C, expandiert werden. Dies kann durch Erzeugen zweiter Eckpunkte 504A-504D benachbart den ersten Eckpunkten 502 erfolgen, die den ersten Polylinien 516 entsprechen, wobei die zweiten Eckpunkte 504 von den ersten Eckpunkten 502 entlang einer Richtung senkrecht zu den ersten Polylinien 516 beabstandet sein können (z.B., wie durch den rechten Winkel, wie beispielsweise den rechten Winkel 518, angegeben). In einem nicht einschränkenden Beispiel können die zweiten Eckpunkte 504 mit Bezug auf die ersten Eckpunkte 502 basierend mindestens teilweise auf einem Abstand der ersten Eckpunkte 502 von der Unterseite des Bildes bestimmt werden. Beispielsweise können die Orte der zweiten Eckpunkte 504 bestimmt werden, so dass die zweiten Eckpunkte 504 näher zu den ersten Eckpunkten beabstandet sind, wenn der Abstand der ersten Eckpunkte 502 mit Bezug auf die Unterseite des Bildes zunimmt. Beispielsweise kann ein Ort des zweiten Eckpunkts 504A ein größerer Abstand (z.B. entlang einer Linie senkrecht zu die ersten Polylinie 516A) von dem ersten Eckpunkt 502A sein, wenn der zweite Eckpunkt 504B von dem ersten Eckpunkt 502B (z.B. entlang einer Linie senkrecht zu die ersten Polylinie 516B) platziert wird, und so weiter. In einigen Beispielen können die Orte der zweiten Eckpunkte 504 basierend auf einer Steigung der vorherigen Polylinie oder ersten Polylinie 516 bestimmt werden. Beispielsweise kann der Ort des zweiten Eckpunkts 504B basierend auf der Steigung der ersten Polylinie 516A bestimmt werden, die sich mit den ersten Eckpunkten 502A und 502B verbindet. Durch Erzeugen der Polygone 520, so dass die Polygone 520 allmählich weniger breit werden, wenn der Abstand von der Unterseite der Bild zunimmt, kann die Genauigkeit des(der) Modell(e) für maschinelles Lernen 108, insbesondere beim Vorhersagen von Spuren, Begrenzungen und/oder anderen Merkmale an einem Abstand, erhöht werden.
Zweite Polylinien 522 können erzeugt werden, die sich zwischen benachbarten zweiten Eckpunkten 504 erstrecken. Beispielsweise kann ein Liniensegment zwischen jedem der benachbarten Eckpunkte 504A und 504B, 504B und 504C, 504C und 504D und so weiter verlängert werden, um die zweiten Polylinien 522 zu erzeugen.
Dritte Polylinien 524 können erzeugt werden, die sich zwischen entsprechenden ersten Eckpunkten 502 und zweiten Eckpunkten 504 erstrecken. Beispielsweise können sich Liniensegmente zwischen Eckpunkten 502A und 504A, 502B und 504B, 502C und 504C und 502D und 504D und so weiter erstrecken, um die dritten Polylinien 524 zu erzeugen. Die Polygone 520 können dann als Annotierungen für Bezeichnungen 308 von Ground-Truth-Daten verwendet werden, um das(die) Modell(e) für maschinelles Lernen 108 zu trainieren, um Begrenzungen, Straßen und/oder andere Merkmale zu erfassen.
In einigen Beispielen können die ersten Eckpunkte 502 und die zweiten Eckpunkte 504 bestimmt werden und die Eckpunkte können als die Eckpunktdaten verwendet werden - wie hier beschrieben - die während Augmentation oder Transformation der Bilder und Bezeichnungen augmentiert werden können. Als solche können die Eckpunkte 502 und 504 als vorläufige Annotierungen verwendet werden und nach der Augmentation der Eckpunkte 502 und 504 können die Polygone 520 dann erzeugt werden. In anderen Beispielen können die Polygone 520 erzeugt werden und das gesamte Polygon kann den Augmentationen und/oder Transformationen unterzogen werden.
Bezugnehmend nun auf 5B, ist 5B ein Diagramm, das eine beispielhafte Straßenbegrenzungsannotierung 510 gemäß einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Eine Straßenbegrenzung kann jede sichtbare Begrenzung am Rand der Straße sein, die fahrbar ist. Straßenbegrenzungen können ebenfalls Übergänge von Pflaster zu Schmutz, Pflaster zu einer Betonsperre oder einem Straßenrand usw. umfassen. Während des Trainings des(er) Modells(e) für maschinelles Lernen 108 kann ein Polygon gezeichnet werden, um eine sichtbare Linie zu beinhalten, die Straßenbegrenzungen, wie hier beschrieben, mindestens mit Bezug auf 5A angibt. In einigen Beispielen kann(können) das(die) Modell(e) für maschinelles Lernen 108 unter Verwendung von Annotierungen für Spuren und Begrenzungen auf einer Straße ohne Spur- oder Begrenzungsmarkierungen trainiert werden. In einem derartigen Beispiel können Straßenbegrenzungen als Bezeichnungen 308 (z.B. Linien 512 und 514) auf Straßen annotiert werden, wo keine Markierungen sichtbar sind. Dies kann dem(den) Modell(en) für maschinelles Lernen 108 ermöglichen, eine Vielzahl von Mustern für Straßenbegrenzungen, Spurmarkierungen und/oder andere Merkmale zu lernen.
In einigen Beispielen können Straßenbegrenzungen als Polygone unter Verwendung des mit Bezug auf 5A beschriebenen Prozesses annotiert werden, sogar wenn es widersprüchliche Spurmarkierungen in den Bildern gibt. Beispielsweise können Begrenzungen annotiert werden, wenn es eine durchgezogene gelbe oder durchgezogene weiße Linie am Ende der Straße gibt oder wenn andere Linien sehr nahe in den Bildern sind. Dies kann dem(den) Modell(en) für maschinelles Lernen 108 ermöglichen, unterschiedliche Muster zu lernen, und die Spurhaltung auf einer Straße mit inkorrekten Spurmarkierungen zu ermöglichen, was auf lokalen Straßen und/oder Landstraßen (z.B. Oberflächenstraßen) üblicher sein kann.
Eine Vielzahl von Annotierungen kann während des Trainings verwendet werden, um das(die) Modell(e) für maschinelles Lernen 108 zu trainieren, um verdeckte Spurmarkierungen und Begrenzungen zusätzlich zu denen, die hier umfasst sind, genau zu erfassen. Beispielsweise kann(können) das(die) Modell(e) für maschinelles Lernen 108 unter Verwendung von Annotierungen trainiert werden, um Spuren über oder durch ein Fahrzeug oder ein anderes Objekt auf der Fahroberfläche zu verlängern, das mindestens einen Abschnitt der Spurmarkierung, eine Begrenzung und/oder ein anderes Merkmal verdecken kann. Das(die) Modell(e) für maschinelles Lernen 108 kann(können) ebenfalls unter Verwendung von Bildern und Bezeichnungen trainiert werden, die Spuren und Begrenzungen annotieren, die als Ergebnis von Wetter- oder Straßenbedingungen, wie beispielsweise während Regen und/oder wenn Schnee die Fahroberfläche abdeckt, verdeckt sind. Als solches kann das aktuelle System in der Lage sein, Spuren und Begrenzungen in Echtzeit sogar mit weniger als idealem Wetter- und/oder Straßenbedingungen genau zu erfassen
Bezugnehmend nun auf 5C umfasst jeder Block des hier beschriebenen Verfahrens 540 einen Rechenprozess, der unter Verwendung einer beliebigen Kombination von Hardware, Firmware und/oder Software durchgeführt werden kann. Beispielsweise können verschiedene Funktionen von einem Prozessor ausgeführt werden, der in einem Speicher gespeicherte Anweisungen ausführt. Das Verfahren kann ebenfalls als computerverwendbare Anweisungen verkörpert sein, die auf Computerspeichermedien gespeichert sind. Das Verfahren kann durch eine eigenständige Anwendung, einen Dienst oder gehosteten Dienst (eigenständig oder in Kombination mit einem anderen gehosteten Dienst) oder ein Plug-in für ein anderes Produkt bereitgestellt werden, um nur einige zu nennen. Außerdem wird das Verfahren 540 beispielhaft mit Bezug auf das Fahrzeug 800 und den Prozess 500 beschrieben. Diese Verfahren können jedoch zusätzlich oder alternativ von einem beliebigen einzelnen System oder einer beliebigen Kombination von Systemen ausgeführt werden, einschließlich, jedoch nicht beschränkt auf, den hier beschriebenen.
5C ist ein Ablaufdiagramm, das ein Verfahren 540 zum Annotieren von Straßenbegrenzungen zur Ground-Truth-Erzeugung gemäß einigen Ausführungsformen der vorliegenden Offenbarung zeigt. Bei Block B452 umfasst das Verfahren 540 das Empfangen von Bilddaten, die ein Bild einer Umgebung darstellen. Beispielsweise können Bilddaten empfangen werden, die ein oder mehrere Bilder einer physischen Umgebung einschließlich einer Fahroberfläche(n) darstellen.
Bei Block B544 umfasst das Verfahren 540 das Erzeugen eines Polygons. Beispielsweise können die Polygone 520 unter Verwendung der hier beschriebenen Blöcken B544A-B544E, erzeugt werden.
Bei Block B544A umfasst das Verfahren 540 das Kennzeichnen erster Eckpunkte, die einer Begrenzung innerhalb der Umgebung entsprechen. Beispielsweise können die ersten Eckpunkte 502 identifiziert werden. Die Identifikation kann ein Ergebnis der Erzeugung der ersten Eckpunkte 502 unter Verwendung eines oder mehrerer Programme, ein Ergebnis des Empfangens von Daten, die Orte der ersten Eckpunkte 502 darstellen, und/oder eines anderen Verfahrens sein.
Bei Block B544B umfasst das Verfahren 540 das Erzeugen von Polylinien zwischen benachbarten ersten Eckpunkten. Beispielsweise können die ersten Polylinien 516 durch Verlängern von Liniensegmenten zwischen jedem der benachbarten Eckpunkte 502A und 502B, 502B und 503C und 502C und 502D und so weiter erzeugt werden.
Bei Block B544C umfasst das Verfahren 540 das Erzeugen zweiter Eckpunkte benachbart den ersten Eckpunkten, die entlang einer Richtung senkrecht zu der ersten Polylinie beabstandet sind. Beispielsweise können die zweiten Eckpunkte 504 benachbart der ersten Eckpunkte erzeugt werden und können von den ersten Eckpunkten 502 entlang einer Richtung senkrecht zu den ersten Polylinien 516 beabstandet sein.
Bei Block B544D umfasst das Verfahren 540 das Erzeugen einer zweiten Polylinie, die sich zwischen den zweiten Eckpunkten erstreckt. Beispielsweise können zweite Polylinien 522 erzeugt werden, die sich zwischen jedem der benachbarten zweiten Eckpunkte 504 erstrecken.
Bei Block B544E umfasst das Verfahren 540 das Erzeugen dritter Polylinien, die sich zwischen entsprechenden ersten Eckpunkten und zweiten Eckpunkten erstrecken. Beispielsweise können die dritten Polylinien 524 erzeugt werden, um sich zwischen benachbarten ersten Eckpunkten 502 und zweiten Eckpunkten 504 zu erstrecken.
Bezugnehmend auf 6A, ist 6A ist ein Diagramm, das eine beispielhafte Fußgängerüberweg- und Kreuzungsannotierung gemäß einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Das(die) Modell(e) für maschinelles Lernen 108 kann(können) trainiert werden, um kombinierte Fußgängerüberwege und Kreuzungen zu erfassen, indem die dem Fußgängerüberweg und der Kreuzung entsprechenden Regionen getrennt annotiert werden. Beispielsweise kann der Fußgängerüberweg mit einem/einer „Fußgängerüberweg“-Bezeichnung/Klasse unter Verwendung der durchgezogenen Linien 602A-602E (die z.B. Polygone sein können, die auf ähnliche Weise zu dem Prozess von 5A-5C erzeugt wurden) annotiert werden, welche die Fußgängerüberwegmarkierungen in dem Bild umgeben. Andererseits kann die Kreuzung mit einem/einer „Kreuzung“-Bezeichnung/Klasse unter Verwendung von gepunkteten oder gestrichelten Linien 604A-604D (die z.B. Polygone sein können, die auf ähnliche Weise zu dem Prozess von 5A-5C erzeugt wurden) getrennt von den Fußgängerüberweg-Annotierungslinien 602A-602E annotiert werden. In einigen Beispielen kann jede Kreuzungslinie individuell bezeichnet werden. Beispielsweise können 604A und 604B als eine Kreuzungsklasse und 604C und 604D als eine andere Kreuzungsklasse bezeichnet werden. In einem anderen Beispiel kann eine Überquerungskreuzung (z.B. Kreuzung bei Gegenverkehr) als eine separate „Querstraßenkreuzung“-Klasse als eine Durchgangs- oder Gegenverkehrskreuzung bezeichnet werden. Als solches kann(können) das(die) Modell(e) für maschinelles Lernen 108 trainiert werden, um zu lernen, mehrere Spur- und Begrenzungsmarkierungen zu erfassen, sogar wenn mehr als eine in dem gleichen allgemeinen Bereich mit auf ähnliche Weise funktionierenden Bezeichnungen existiert. Obwohl 6A eine Fußgängerüberweg- und Kreuzung-Bezeichnung veranschaulicht, ist dies lediglich für Beispielzwecke und ist nicht bestimmt, einschränkend zu sein.
Bezugnehmend nun auf 6B und 6C, sind 6B und 6C Diagramme, die beispielhafte Zusammenführungspur-Annotierungen gemäß einigen Ausführungsformen der vorliegenden Offenbarung veranschaulichen. Das(die) Modell(e) für maschinelles Lernen 108 kann(können) trainiert werden, um Zusammenführungspunkte durch Zuordnen eines Zusammenführungspunkts 622C und/oder 624B zu einer Polygonannotierung an dem Zusammenführungspunkt zu erfassen. Die Zusammenführungspunkte 622C und 624B können den Punkt bezeichnen, wo die Zusammenführung beginnt (z.B. wo sich Spurmarkierungen 622A und 622B mit Bezug auf 6B treffen und wo die Spurmarkierung 624A mit Bezug auf 6C endet). Ein Polygon kann unter Verwendung des Verfahrens 5C erzeugt werden, das die Zusammenführungspunkte umfasst. Der Zusammenführungspunkt kann den entsprechenden Polygonen 622C und 624B zugeordnet sein. Das(die) Modell(e) für maschinelles Lernen 108 kann(können) lernen, Zusammenführungspunkte in Echtzeit zu erfassen, indem unter Verwendung derartiger Annotierungen trainiert wird.
Bezugnehmend nun auf 6D und 6E, sind 6D und 6E Diagramme, die beispielhafte Aufteilungsspurannotierungen gemäß einigen Ausführungsformen der vorliegenden Offenbarung veranschaulichen. Das(die) Modell(e) für maschinelles Lernen 108 (kann)können trainiert werden, um Aufteilungspunkte durch Zuordnen eines Aufteilungspunkts 626C und/oder 628C zu einer Polygonannotierung an dem Aufteilungspunkt zu erfassen. Die Aufteilungspunkte 626C und 628C können den Punkt bezeichnen, wo die Aufteilung stattfindet (z.B., wo die Spurmarkierungen 626A und 626B mit Bezug auf 6D zusammengeführt werden und wo die Spurmarkierung 628A mit Bezug auf 6E endet). Ein Polygon kann unter Verwendung des Verfahrens 5C erzeugt werden, das die Aufteilungspunkte umfasst. Der Aufteilungspunkt kann den entsprechende Polygonen 626C und 628C zugeordnet sein. Das(die) Modell(e) für maschinelles Lernen 108 kann(können) lernen, Aufteilungspunkte in Echtzeit zu erfassen, indem unter Verwendung derartiger Annotierungen trainiert wird.
Leistungskennzahlen (KPIs; Key Performance Indicators)
Die durchgehende Leistung (end-to-end performance) einer Spurhaltung kann mittels einer Metrik des mittleren autonomen Abstands (MAD; mean autonomous distance)) bewertet werden. Die MAD-Metrik ist der durchschnittliche Abstand, den ein autonomes Fahrzeug fahren kann, ohne einen menschlichen Eingriff zu erfordern. Die MAD-Metrik kann gemessen werden, indem das Fahren auf mehreren Routen simuliert wird und der Abstand, der ohne einen menschlichen Eingriff gefahren ist, durch die Anzahl von Systemausfällen geteilt wird. In einigen Beispielen kann die MAD-Metrik als eine KPI für die Systeme der vorliegenden Offenbarung verwendet werden. Das aktuelle System kann KPIs für eine oder mehrere unterschiedliche Zwischenkomponenten oder Module verwenden, um das Isolieren von Ausfällen oder Problemen, das Quantifizieren von Verbesserungen und schnelle Systemiterationen zu ermöglichen.
Bezugnehmend beispielsweise auf 7A, ist 7A ein Diagramm für eine beispielhafte Leistungsberechnung an unterschiedlichen Regionen innerhalb eines Sichtfelds eines Sensors, wie durch ein Bild 700 dargestellt. Eine für ein Modell für maschinelles Lernen ausgegebene Basisleistungsmetrik ist ein F-Maß der endgültigen Ausgabe. 7A veranschaulicht eine Region-F-Maß-Metrik, die von dem aktuellen System durchgeführt werden kann, um F-Maße für unterschiedliche Regionen innerhalb einer Ausgabe des(der) Modell(e) für maschinelles Lernen 108 zu bestimmen (z.B. unterschiedliche Regionen der ausgegebenen Segmentierungsmaske(n) 110). Die Leistung des(der) Modells(e) für maschinelles Lernen 108 kann(können) an einer beliebigen Anzahl von unterschiedlichen Regionen berechnet werden, wobei das Beispiel von 7A jedoch drei unterschiedliche Regionen umfasst. Die drei Regionen können eine Nahansichtregion 702A, eine Mittelansichtregion 70A und ein Fernansichtregion 706 umfassen. Dies ermöglicht dem System, die Genauigkeit mit Abstand früher in der Pipeline als herkömmliche Systeme zu messen. Gemäß einer vorgegebenen Spezifikation einer Kameralinse von Sensoren des Fahrzeugs 800, kann der Zeilenindex der Segmentierungsmaske(en) 110 in eine perspektivische Ansicht in der Entfernung in Weltkoordinaten (e.g., dreidimensionale Realweltkoordinaten) übersetzt werden. Die Segmentierungsmaske(n) 110 kann(können) in Regionen 702A, 704A und 706 in einer Vielzahl von Arten und Weisen geteilt werden. Beispielsweise kann(können) die Segmentierungsmaske(en) 110 in Regionen um die Fluchtpunkte, mit Bezug auf den Mittelteil der Straße, mit Bezug auf die Seiten der Straße, ROI-Regionen usw. geteilt werden. Zwei oder mehrere Teilungsverfahren können kombiniert werden, um die Segmentierungsmaske(en) 110 ebenfalls in Regionen zu teilen. Ein F-Maß jeder Region kann getrennt auf Genauigkeit berechnet werden.
Nicht bezugnehmend auf 7B, ist 7B ist ein Diagramm, das eine aus Spurerfassung und Ground-Truth-Polylinienpunkten gemessene zweidimensionale (2D) KPI gemäß einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Die 2D-KPI kann mit Bezug auf Präzision, Recall und durchschnittlichen nächstgelegenen Punktabstand definiert werden, die zwischen Erfassungspolylinienpunkte und Ground-Truth-Polylinienpunkte für jede Bezeichnung in Bezeichnungen 308 gemessen wird. Die Erfassungspunkte können durch Neuabtastung 112 der Segmentierungsmaske(n) 110 erzeugt werden. Die Ground-Truth-Polylinienpunkte können Punkte sein, die über Online-Datenvermehrung 316 erzeugt werden. Eine Abstandsschwellenfunktion kann benutzt werden, um den nächstgelegenen Punktabstand zu bestimmen. In einem Beispiel kann die Abstandsschwellenfunktion ein Algorithmus sein, der als eine Funktion einer Bilderreihe definiert ist. Für jede Region 702A, 704A und 706 kann der durchschnittliche nächstgelegene Punktabstand zwischen entsprechenden Pixeln von Polylinien im Ground-Truth(z.B. 722A, 722D) und der Erfassung (z.B. 722B, 722C) berechnet werden. Wenn der durchschnittliche nächstgelegene Punktabstand geringer als eine Abstandsschwelle ist (z.B. 724A, 724B, 724C und 724D), die unter Verwendung der Abstandsschwellenfunktion berechnet wird, kann die Präzisionsprüfung bestimmt werden, erfolgreich zu sein. Wenn der durchschnittliche nächstgelegene Punktabstand jedoch mehr als die Abstandsschwelle ist, kann die Präzisionsprüfung bestimmt werden, nicht erfolgreich zu sein. Dieser gleichen Prozedur kann gefolgt werden, um Recall mit einer Abstandsschwelle basierend auf einem Recall-Abstand auf der Ground-Truth-Seite zu berechnen. Die Präzision- und Recall-Prüfungen können in jeder der drei Regionen des(der) Bildes(er) durchgeführt werden.
Bezugnehmend auf 7C, ist 7C ein Datenflussdiagramm, das eine aus Spurerfassung und Ground-Truth-Polylinieneckpunkten (oder Punkten) gemessene dreidimensionale (3D) KPI gemäß einigen Ausführungsformen der vorliegenden Offenbarung veranschaulicht. Die 2D-Pixelorte in sowohl der Ground-Truth-Maske 744 (e.g. 414, 418, 426 usw.) als auch den Erfassungsmasken 732 können in 3D-Realweltkoordinaten (z.B. GPS-Koordinaten, GNSS-Koordinaten usw.) konvertiert werden. Eine mittlere Mindestabstandsmetrik kann verwendet werden, um KPIs in den drei Regionen der Spurerfassungsmasken zu messen. Die mittlere Abstandsmetrik kann die Relativität von übereinstimmenden Pixelpunkten (oder Eckpunkten) in Ground-Truth und Vorhersage angeben. Zur Zeit des Konvertierens der 2D-Pixelorte in 3D-Realweltkoordinaten können die Ground-Truth-Polylinien-Eckpunkte und Vorhersage-Polylinien-Eckpunkte durch Linien - wie beispielsweise einer Polynomlinie oder Klothoiden-Kurven - verbunden werden. Beispielsweise kann das entsprechende Paar von Ground-Truth-Eckpunkten und Vorhersageeckpunkten von nah bis fern entlang des Abstands in den Masken über Spur-KPI-Berechnung 748 gescannt werden. Wenn die Scanlinie kurz ist, was bedeutet, dass die entsprechenden Punkte nahe beieinander sind, wie beispielsweise innerhalb eines bestimmten Schwellenabstands, kann das Paar bestimmt werden, eine erfolgreiche Erfassung zu sein. Wenn eine Ground-Truth-Kreuzung mit einer Scanlinie gefunden ist, die Vorhersagekreuzung jedoch nicht gefunden ist, kann der Ground-Truth-Punkt bestimmt werden, eine falsche Erfassung zu sein. Die Spur-KPI-Berechnung 748 kann Algorithmen umfassen, um KPI-Ausgaben 750 mit Bezug auf den Abstand zu erzeugen. In einigen Beispielen können eines oder mehrere von MMD 750A, Erfolgsrate 750B und Fehlschlagrate 750C mit Bezug auf den Abstand bestimmt werden, wie in KPI-Ausgaben 750 veranschaulicht. Die Erfolgsrate 750B kann als ein Prozentsatz von erfolgreichen Spurerfassungspunkten berechnet werden. Die Fehlschlagrate 750C kann als ein Prozentsatz von versäumten oder fehlerhaften Spurerfassungspunkten berechnet werden. In einem nicht einschränkenden Beispiel können diese KPI-Ausgaben 750 für jede der drei Regionen erzeugt werden. Dies kann Leistungsberechnungen in einer Vielzahl von Weisen ermöglichen, um Ausfälle der separaten Komponenten des Spurerfassungssystems früh und genau zu bestimmen.
Beispielhaftes Autonomes Fahrzeug 8A ist eine Veranschaulichung eines Beispiels eines autonomen Fahrzeugs 800 gemäß einigen Ausführungsformen der vorliegenden Offenbarung. Das autonome Fahrzeug 800 (alternativ hier als das „Fahrzeug 800“ bezeichnet) kann ein Personenkraftwagen, wie beispielsweise ein Pkw, ein Lastwagen, ein Bus und/oder ein anderes Fahrzeug, das einen oder mehrere Fahrgäste aufnehmen kann oder nicht, umfassen. Autonome Fahrzeuge werden im Allgemeinen hinsichtlich Automatisierungsgrade beschrieben, die von der National Highway Traffic Safety Administration (NHTSA), einer Abteilung des US Department of Transportation, und dem Standard „Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles“ der Society of Automotive Engineers (SAE) (Standard Nr. J3016-201806, veröffentlicht am 15. Juni 2018, Standard Nr. J3016-201609, veröffentlicht am 30. September 2016, und frühere und zukünftige Versionen dieser Norm) definiert wird. Das Fahrzeug 800 kann in Übereinstimmung mit einer oder mehreren der autonomen Fahrstufen 3-5 funktionsfähig sein. Beispielsweise kann das Fahrzeug 800 je nach Ausführungsform in der Lage sein, eine bedingte Automatisierung (Stufe 3), eine hohe Automatisierung (Stufe 4) und/oder eine vollständige Automatisierung (Stufe 5) durchzuführen.
Das Fahrzeug 800 kann Komponenten wie ein Fahrgestell, eine Fahrzeugkarosserie, Räder (z.B. 2, 4, 6, 8, 18 usw.), Reifen, Achsen und andere Komponenten eines Fahrzeugs umfassen. Das Fahrzeug 800 kann ein Antriebssystem 850, wie beispielsweise einen Verbrennungsmotor, eine Hybrid-Elektroanlage, einen vollelektrischen Motor und/oder eine andere Art eines Antriebssystems umfassen. Das Antriebssystem 850 kann mit einem Antriebsstrang des Fahrzeugs 800 verbunden sein, der ein Getriebe umfassen kann, um den Antrieb des Fahrzeugs 800 zu ermöglichen. Das Antriebssystem 850 kann als Reaktion auf ein Empfangen von Signalen von der Drossel/dem Beschleuniger 852 gesteuert werden.
Ein Lenksystem 854, das ein Lenkrad umfassen kann, kann verwendet werden, um das Fahrzeug 800 zu lenken (z.B. auf einem gewünschten Weg oder Route), wenn das Antriebssystem 850 in Betrieb ist (z.B., wenn das Fahrzeug in Bewegung ist). Das Lenksystem 854 kann Signale von einem Lenkaktuator 856 empfangen. Das Lenkrad kann für die Funktionalität der Vollautomatisierung (Stufe 5) optional sein.
Das Bremssensorsystem 846 kann verwendet werden, um die Fahrzeugbremsen als Reaktion auf Empfangssignale von den Bremsaktuatoren 848 und/oder Bremssensoren zu betätigen.
Der(die) Controller 836, der(die) ein oder mehrere Systeme on Chips (SoCs) 804 (8C) und/oder GPU(s) umfassen kann(können), kann(können) Signale (z.B. welche Befehle repräsentieren) an eine oder mehrere Komponenten und/oder Systeme des Fahrzeugs 800 bereitstellen. Der(die) Controller kann(können) beispielsweise Signale zum Betätigen der Fahrzeugbremsen über ein oder mehrere Bremsaktuatoren 848, zum Betätigen des Lenksystems 854 über ein oder mehrere Lenkaktuatoren 856, zum Betätigen des Antriebssystems 850 über ein oder mehrere Drosseln/Beschleuniger 852 senden. Der(die) Controller 836 kann(können) eine oder mehrere eingebaute (z.B. integrierte) Rechenvorrichtungen (z.B. Supercomputer) umfassen, die Sensorsignale verarbeiten, und Betriebsbefehle (z.B. Signale, die Befehle repräsentieren) ausgeben, um autonomes Fahren zu ermöglichen und/oder einen menschlichen Fahrer beim Fahren des Fahrzeugs 800 zu unterstützen.
Der(die) Controller 836 kann(können) einen ersten Controller 836 für autonome Fahrfunktionen, einen zweiten Controller 836 für funktionale Sicherheitsfunktionen, einen dritten Controller 836 für Funktionen der künstlichen Intelligenz (z.B. Computervision), einen vierten Controller 836 für Infotainment-Funktionen, einen fünften Controller 836 für Redundanz bei Notfällen und/oder andere Controller umfassen. In einigen Beispielen kann ein einzelner Controller 836 zwei oder mehr der oben genannten Funktionalitäten, zwei oder mehr Controller 836 können eine einzelne Funktionalität und/oder eine beliebige Kombination davon handhaben.
Der(die) Controller 836 kann(können) die Signale zum Steuern einer oder mehrerer Komponenten und/oder Systeme des Fahrzeugs 800 als Reaktion auf Sensordaten bereitstellen, die von einem oder mehreren Sensoren (z.B. Sensoreingaben) empfangen werden. Die Sensordaten können beispielsweise und ohne Beschränkung von einem bzw. mehreren Sensor(en) von globalen Navigationssatellitensystemen 858 (z.B. Global Positioning System Sensor(en)), RADAR-Sensor(en) 860, Ultraschallsensor(en) 862, LIDAR-Sensor(en) 864, Inertial Measurement Unit (IMU) Sensor(en) 886 (z.B. Beschleunigungssensor(en), Gyroskop(e), Magnetkompass(e), Magnetometer(e), usw.), Mikrophon(e) 896, Stereokamera(s) 868, Weitwinkelkamera(s) 870 (z.B. Fischaugenkameras), Infrarot-Kamera(s) 872, Surround-Kamera(s) 874 (z.B. 360-Grad-Kameras), Lang- und/oder Mittelbereichskamera(s) 898, Geschwindigkeitssensor(en) 644 (z.B. zur Messung der Geschwindigkeit des Fahrzeugs 800), Vibrationssensor(en) 842, Lenksensor(en) 840, Bremssensor(en) (z.B. als Teil des Bremssensorsystems 846) und/oder anderen Sensortypen empfangen werden.
Einer oder mehrere der Controller 836 können Eingaben (repräsentiert durch Eingabedaten) von einer Instrumentengruppe 832 des Fahrzeugs 800 empfangen und Ausgaben (repräsentiert durch Ausgabedaten, Anzeigedaten usw.) über eine Anzeige einer Mensch-Maschine-Schnittstelle (HMI) 634, eine hörbare Meldevorrichtung, einen Lautsprecher und/oder über andere Komponenten des Fahrzeugs 800 bereitstellen. Die Ausgaben können Informationen wie Fahrzeuggeschwindigkeit, Geschwindigkeit, Zeit, Kartendaten (z.B. die HD-Karte 822 von 8C), Standortdaten (z.B. den Standort des Fahrzeugs, z.B. auf einer Karte), Richtung, Standort anderer Fahrzeuge (z.B. ein Belegungsgitter), Informationen über Objekte und Status von Objekten, wie sie von dem(den) Controllern 836 wahrgenommen werden, usw. umfassen. Beispielsweise kann die HMI-Anzeige 634 Informationen über das Vorhandensein eines oder mehrerer Objekte (z.B. ein Straßenschild, Warnschild, Ampeländerung usw.) und/oder Informationen über Fahrmanöver, die das Fahrzeug durchführte, gerade durchführt oder durchführen wird (z.B. Wechseln von Spuren sofort, Nehmen einer Ausfahrt 34B in zwei Meilen, usw.), anzeigen.
Das Fahrzeug 800 umfasst ferner eine Netzwerkschnittstelle 824, die eine oder mehrere drahtlose Antenne(n) 826 und/oder Modem(s) zur Kommunikation über ein oder mehrere Netzwerke verwenden kann. Beispielsweise kann die Netzwerkschnittstelle 824 imstande sein, über LTE, WCDMA, UMTS, GSM, CDMA2000 usw. kommunizieren. Die drahtlose(n) Antenne(n) 826 kann(können) auch die Kommunikation zwischen Objekten in der Umgebung (z.B. Fahrzeugen, mobilen Vorrichtungen usw.) unter Verwendung von einem Lokalbereichsnetzwerk(en), wie beispielweise Bluetooth, Bluetooth LE, Z-Wave, ZigBee usw. und/oder einem Weitbereichsnetzwerk(en) mit geringer Leistung (LPWANs), wie beispielsweise LoRaWAN, SigFox usw. ermöglichen.
8B ist ein Beispiel von Kamerastandorten und Sichtfeldern für das Beispiel eines autonomen Fahrzeugs 800 von 8A gemäß einigen Ausführungsformen der vorliegenden Offenbarung. Die Kameras und jeweilige Sichtfelder sind eine Beispielausführungsform und sind nicht bestimmt, einschränkend zu sein. Beispielsweise können zusätzliche und/oder alternative Kameras umfasst sein und/oder die Kameras können an verschiedenen Stellen an dem Fahrzeug 800 lokalisiert sein.
Die Kameratypen für die Kameras können Digitalkameras umfassen, sind jedoch nicht beschränkt darauf, die für eine Verwendung mit den Komponenten und/oder Systemen des Fahrzeugs 800 angepasst sein können. Die Kamera(s) kann(können) bei dem Automotive Safety Integrity Level (ASIL) B und/oder bei einem anderen ASIL arbeiten. Die Kameratypen können abhängig von der Ausführungsform für jede Bildaufnahmerate in, z.B. 60 Bilder pro Sekunde (fps), 820 fps, 240 fps, usw. abhängig von der Umgebung fähig sein. Die Kameras können in der Lage sein, rollende Verschlüsse, globale Verschlüsse, eine andere Art von Verschluss oder eine Kombination davon zu verwenden. In einigen Beispielen kann ein Farbfilterarray der Kameras ein red clear (RCCC) Farbfilterarray, ein red blue (RCCB) Farbfilterarray, ein red blue green clear (RBGC) Farbfilterarray, ein Foveon X3 Farbfilterarray, ein Bayer-Sensoren (RGGB) Farbfilterarray, ein monochromes Sensorfarbfilterarray und/oder eine andere Art von Farbfilterarray umfassen. In einigen Ausführungsformen können klare Pixelkameras, wie beispielsweise Kameras mit einem RCCC- , einem RCCB- und/oder einem RBGC-Farbfilterarray, in einem Bemühen verwendet werden, die Lichtempfindlichkeit zu erhöhen.
In einigen Beispielen kann(können) eine oder mehrere der Kameras verwendet werden, um ADAS-Funktionen (Advanced Driver Assistance Systems) durchzuführen (z.B. als Teil eines redundanten oder ausfallsicheren Designs). Beispielsweise kann eine Multifunktion-Monokamera installiert werden, um Funktionen bereitzustellen, die Spurabweichungswarnung, Verkehrszeichenunterstützung und intelligente Scheinwerfersteuerung bereitstellt. Eine oder mehrere der Kameras (z.B. alle Kameras) können Bilddaten (z.B. Video) gleichzeitig aufzeichnen und bereitstellen.
Eine oder mehrere der Kameras können in einer Montagebaugruppe, wie beispielsweise einer kundenspezifischen (3D-gedruckten) Baugruppe, angebracht werden, um Streulicht und Reflexionen aus dem Fahrzeuginneren (z.B. Reflexionen vom Armaturenbrett, die in den Spiegeln der Windschutzscheibe reflektiert werden) abzubauen, welche die Fähigkeiten der Bilddatenerfassung der Kamera beeinträchtigen können. In Bezug auf die Montagebaugruppen der Außenspiegel können die Außenspiegelbaugruppen individuell in 3D gedruckt werden, so dass die Kameramontageplatte der Form des Außenspiegels entspricht. In einigen Beispielen kann(können) die Kamera(s) in dem Außenspiegel integriert werden. Bei Seitensichtkameras kann(können) die Kamera(s) auch in die vier Säulen an jeder Ecke der Kabine integriert werden.
Kameras mit einem Sichtfeld, das Teile der Umgebung vor dem Fahrzeug 800 umfasst (z.B. nach vorne gerichtete Kameras), können für eine Rundumsicht verwendet werden, um nach vorne gerichtete Wege und Hindernisse zu identifizieren, sowie mit Hilfe einer oder mehreren Controllern 836 und/oder Steuer-SoCs dabei zu unterstützen, wichtige Informationen zum Erzeugen eines Belegungsgitters und/oder zum Bestimmen der bevorzugten Fahrzeugwege bereitzustellen. Nach vorne gerichtete Kameras können verwendet werden, um viele der gleichen ADAS-Funktionen wie LIDAR, einschließlich Notbremsung, Fußgängererfassung und Kollisionsvermeidung, durchzuführen. Nach vorne gerichtete Kameras können auch für ADAS-Funktionen und -Systeme, einschließlich Spurhaltewarnungen (LDW; Lane Departure Warnings), autonome Geschwindigkeitsregelung (ACC; Autonomous Cruise Control) und/oder andere Funktionen, wie beispielsweise Verkehrszeichenerfassung, verwendet werden.
Eine Vielzahl von Kameras kann in einer nach vorne gerichteten Konfiguration verwendet werden, die beispielsweise eine monokulare Kameraplattform umfasst, die einen CMOS (complementary metal oxide semiconductor) Farbbildgeber umfasst. Ein weiteres Beispiel kann(können) eine Weitwinkelkamera(s) 870 sein, die verwendet werden kann(können), um Objekte wahrzunehmen, die von der Peripherie in Sicht kommen (z.B. Fußgänger, Kreuzverkehr oder Fahrräder). Obwohl nur eine Weitwinkelkamera in 8B veranschaulicht ist, kann sich am Fahrzeug 800 eine beliebige Anzahl von Weitwinkelkameras 870 befinden. Außerdem können Fernbereichskameras 898 (z.B. ein Langsicht-Stereokamerapaar) zur tiefenbasierten Objekterfassung insbesondere für Objekte verwendet werden, für die ein neuronales Netzwerk noch nicht trainiert wurde. Die Fernbereichskameras 898 können auch zur Objekterfassung und -klassifizierung sowie auch zur einfachen Objektverfolgung eingesetzt werden.
Eine oder mehrere Stereokameras 868 können ebenfalls in einer nach vorne gerichteten Konfiguration umfasst sein. Die Stereokamera(s) 868 kann(können) eine integrierte Steuereinheit umfassen, die eine skalierbare Verarbeitungseinheit umfasst, die eine programmierbare Logik, (FPGA) und einen Mehrkernmikroprozessor mit einem integrierten CAN- oder Ethernet-Schnittstelle auf einem einzigen Chip bereitstellen kann. Eine derartige Einheit kann verwendet werden, um eine 3D-Karte der Umgebung des Fahrzeugs zu erzeugen, die eine Abstandsschätzung für alle Punkte im Bild umfasst. Eine alternative Stereokamera(s) 868 kann(können) einen kompakten Stereosichtsensor(en) umfassen, der zwei Kameraobjektive (je eine links und rechts) und einen Bildverarbeitungschip umfassen kann, der den Abstand von dem Fahrzeug zu dem Zielobjekt messen und die erzeugten Information (z.B. Metadaten) verwenden kann, um die autonomen Funktionen der Notbremsung und Spurhaltewarnung zu aktivieren. Andere Arten einer(von) Stereokamera(s) 868 können zusätzlich zu oder alternativ zu den hier beschriebenen verwendet werden.
Kameras mit einem Sichtfeld, das Teile der Umgebung seitlich des Fahrzeugs 800 umfasst (z.B. Seitensichtkameras), können für die Surround-Ansicht verwendet werden und Informationen bereitstellen, die zum Erzeugen und Aktualisieren des Belegungsgitters sowie auch zum Erzeugen von Seitenaufprallwarnungen verwendet werden. Beispielsweise kann(können) die Surround-Kamera(s) 874 (z.B. vier Surround-Kameras 874, wie in 8B veranschaulicht) auf dem Fahrzeug 800 positioniert werden. Die Surround-Kamera(s) 874 kann(können) Weitwinkelkamera(s) 870, Fischaugenkamera(s), 360-Grad-Kamera(s) und/oder dergleichen umfassen. Beispielsweise können vier Fischaugenkameras an der Vorderseite, am Heck und an den Seiten des Fahrzeugs positioniert werden. In einer alternativen Anordnung kann das Fahrzeug drei Surround-Kameras 874 (z.B. links, rechts und hinten) verwenden und kann eine oder mehrere andere Kameras (z.B. eine nach vorne gerichtete Kamera) als eine vierte Surround-View-Kamera wirksam einsetzen.
Kameras mit einem Sichtfeld, das Teile der Umgebung am Heck des Fahrzeugs 800 umfasst (z.B. Rückfahrkameras), können für eine Einparkhilfe, eine Rundumsicht, Warnungen vor Heckkollision sowie zum Erzeugen und Aktualisieren des Belegungsgitters verwendet werden. Eine weite Vielzahl von Kameras kann verwendet werden, einschließlich, jedoch nicht beschränkt auf, Kameras, die auch als nach vorne gerichtete Kameras geeignet sind (z.B. Lang- und/oder Mittelbereichskameras 898, Stereokameras 868), Infrarotkameras 872, usw.), wie hier beschrieben.
8C ist ein Blockdiagramm eines Beispiels einer Systemarchitektur für das Beispiel eines autonomen Fahrzeugs 800 von 8A gemäß einigen Ausführungsformen der vorliegenden Offenbarung. Es sei zu verstehen, dass diese und andere hier beschriebene Anordnungen nur als Beispiele dargelegt sind. Andere Anordnungen und Elemente (z.B. Maschinen, Schnittstellen, Funktionen, Reihenfolgen, Gruppierungen von Funktionen usw.) können zusätzlich oder anstelle derjenigen verwendet werden, die gezeigt werden, und einige Elemente können ganz weggelassen werden. Ferner sind viele der hier beschriebenen Elemente funktionale Entitäten, die als diskrete oder verteilte Komponenten oder in Verbindung mit anderen Komponenten und in jeder geeigneten Kombination und jedem geeigneten Ort implementiert werden können. Verschiedene Funktionen, die hier als von Einheiten ausgeführt beschrieben werden, können durch Hardware, Firmware und/oder Software ausgeführt werden. Beispielsweise können verschiedene Funktionen von einem Prozessor ausgeführt werden, der im Speicher gespeicherte Anweisungen ausführt.
Jede der Komponenten, Merkmale und Systeme des Fahrzeugs 800 in 8C wird als über den Bus 802 verbunden veranschaulicht. Der Bus 802 kann eine Controller Area Network (CAN)-Datenschnittstelle (alternativ hier als ein „CAN-Bus“ bezeichnet) umfassen. Ein CAN kann ein Netzwerk innerhalb des Fahrzeugs 800 sein, das verwendet wird, um bei der Steuerung verschiedener Merkmale und der Funktionalität des Fahrzeugs 800 zu helfen, wie z.B. Betätigung von Bremsen, Beschleunigung, Bremsen, Lenkung, Scheibenwischern, usw. Ein CAN-Bus kann konfiguriert sein, Dutzende oder sogar Hunderte von Knoten jeweils mit seinem eigenen eindeutigen Identifikator (z.B. einer CAN-ID) aufzuweisen. Der CAN-Bus kann ausgelesen werden, um Lenkradwinkel, Bodengeschwindigkeit, Motordrehzahlen pro Minute (U/min), Schalterpositionen und/oder andere Fahrzeugstatusanzeigen zu ermitteln. Der CAN-Bus kann ASIL B-konform sein.
Obwohl der Bus 802 hier beschrieben ist, ein CAN-Bus zu sein, ist dies nicht bestimmt, einschränkend zu sein. Beispielsweise kann zusätzlich zu oder alternativ der CAN-Bus, FlexRay, und/oder Ethernet verwendet werden. Außerdem ist, obwohl eine einzige Leitung zur Darstellung des Busses 802 verwendet wird, dies nicht bestimmt, einschränkend zu sein. Es kann beispielsweise eine beliebige Anzahl von Bussen 802 geben, die einen oder mehrere CAN-Busse, einen oder mehrere FlexRay-Busse, einen oder mehrere Ethernet-Busse und/oder einen oder mehrere andere Arten von Bussen mit einem anderen Protokoll umfassen können. In einigen Beispielen können zwei oder mehr Busse 802 verwendet werden, um verschiedene Funktionen auszuführen und/oder für Redundanz verwendet werden. Beispielsweise kann ein erster Bus 802 für eine Kollisionsvermeidungsfunktionalität und ein zweiter Bus 802 für eine Betätigungssteuerung verwendet werden. In jedem Beispiel kann jeder Bus 802 mit einer der Komponenten des Fahrzeugs 800 kommunizieren, und zwei oder mehr Busse 802 können mit den gleichen Komponenten kommunizieren. In einigen Beispielen kann jedes SoC 804, jede Steuerung 836 und/oder jeder Computer im Fahrzeug Zugriff auf die gleichen Eingabedaten haben (z.B. Eingaben von Sensoren des Fahrzeugs 800) und mit einem gemeinsamen Bus, wie beispielsweise dem CAN-Bus, verbunden sein.
Das Fahrzeug 800 kann einen oder mehrere Controller 836 umfassen, wie beispielsweise jene, die hier in Bezug auf 8A beschrieben sind. Der(die) Controller 836 kann(können) für eine Vielzahl von Funktionen verwendet werden. Der(die) Controller 836 kann(können) mit einer der verschiedenen anderen Komponenten und Systeme des Fahrzeugs 800 gekoppelt werden und kann(können) zur Steuerung des Fahrzeugs 800, der künstlichen Intelligenz des Fahrzeugs 800, des Infotainments für das Fahrzeug 800 und/oder dergleichen verwendet werden.
Das Fahrzeug kann ein System(e) auf einem Chip SoC 804 umfassen. Das SoC 804 kann CPUs 806, GPU(s) 808, Cache-Speicher 812, Beschleuniger 814, Datenspeicher 816 und/oder andere nicht veranschaulichte Komponenten und Merkmale umfassen. Das(die) SoC(s) 804 kann(können) zur Steuerung des Fahrzeugs 800 in einer Vielzahl von Plattformen und Systemen verwendet werden. Beispielsweise kann(können) das(die) SoC(s) 804 in einem System (z.B. dem System des Fahrzeugs 800) mit einer HD-Karte 822 kombiniert werden, die über eine Netzwerkschnittstelle 824 von einem oder mehreren Servern (z.B. Server(n) 878 der 8D) Kartenaktualisierungen und/oder Updates erhalten kann.
Die CPU(s) 806 kann(können) einen CPU-Cluster oder CPU-Komplex (alternativ hier als „CCPLEX“ bezeichnet) umfassen. Die CPU(s) 806 kann(können) mehrere Kerne und/oder L2-Caches umfassen. Beispielsweise kann(können) in einigen Ausführungsformen die CPU(s) 806 acht Kerne in einer kohärenten Multiprozessor-Konfiguration umfassen. In einigen Ausführungsformen kann(können) die CPU(s) 806 vier Dual-Core-Cluster umfassen, wobei jeder Cluster einen dedizierten L2-Cache (z.B. einen 2 MB L2-Cache) aufweist. Die CPU(s) 806 (z.B. der CCPLEX) kann(können) so konfiguriert sein, dass sie einen simultanen Clusterbetrieb unterstützen, wobei eine beliebige Kombination der Cluster der CPU(s) 806 zu einem gegebenen Zeitpunkt aktiv sein kann.
Die CPU(s) 806 kann(können) Energieverwaltungsfähigkeiten implementieren, die eine oder mehrere der folgenden Merkmale umfassen: Einzelne Hardwareblöcke können durch Clock-Gating automatisch im Leerlauf gesteuert werden, um dynamische Leistung zu sparen; jeder Kerntakt kann durch Gating gesteuert werden, wenn der Kern aufgrund der Ausführung von WFI/WFE-Befehlen keine aktiven Anweisungen ausführt; jeder Kern kann unabhängig durch Power-Gating gesteuert werden; jeder Kerncluster kann durch Clock-Gating unabhängig gesteuert werden, wenn alle Kerne durch Clock-Gating oder Power-Gating gesteuert werden; und/oder jeder Kerncluster kann unabhängig durch Power-Gating gesteuert werden, wenn alle Kerne durch Power-Gating gesteuert werden. Die CPU(s) 806 kann(können) ferner einen erweiterten Algorithmus zur Verwaltung von Leistungszuständen implementieren, bei dem zulässige Leistungszustände und erwartete Aufwachzeiten spezifiziert werden, und die Hardware/der Mikrocode bestimmt den besten Leistungszustand, der für den Kern, den Cluster und den CCPLEX einzugeben ist. Die Verarbeitungskerne können vereinfachte Eingangssequenzen für den Leistungszustand in der Software unterstützen, wobei die Arbeit auf einen Mikrocode abgeladen wird.
Die GPU(s) 808 kann(können) eine integrierte GPU(s) umfassen (alternativ hier als „iGPU“ bezeichnet). Die GPU(s) 808 kann(können) programmierbar und für parallele Arbeitslasten effizient sein. Die GPU(s) 808 kann(können) in einigen Beispielen einen erweiterten Tensorbefehlssatz verwenden. Die GPU(s) 808 kann(können) einen oder mehrere Streaming-Mikroprozessoren umfassen, wobei jeder Streaming-Mikroprozessor einen L1-Cache (z.B. einen L1-Cache mit mindestens 96KB Speicherkapazität) umfassen kann, und zwei oder mehr der Streaming-Mikroprozessoren sich einen L2-Cache (z.B. einen L2-Cache mit einer Speicherkapazität von 512 KB) teilen können. In einigen Ausführungsformen kann(können) die GPU(s) 808 mindestens acht Streaming-Mikroprozessoren umfassen. Der(die) GPU(s) 808 kann(können) eine Anwendungsprogrammierschnittstelle(n) (API(s); Application Programming Interface(s)) verwenden. Außerdem kann(können) die GPU(s) 808 eine oder mehrere parallele Computerplattformen und/oder Programmiermodelle (z.B. NVIDIAs CUDA) verwenden.
Die GPU(s) 808 kann(können) zur besten Leistung in Automobil- und Eingebetteten-Anwendungsfällen leistungsoptimiert sein. Beispielsweise kann(können) die GPU(s) 808 auf einem Fin-Feldeffekttransistor(FinFET) hergestellt werden. Dies ist jedoch nicht als Einschränkung bestimmt und die GPU(s) 808 kann(können) mit anderen Halbleiterherstellungsverfahren hergestellt werden. Jeder Streaming-Mikroprozessor kann eine Reihe von gemischt-präzisen Verarbeitungskernen umfassen, die in mehrere Blöcke unterteilt sind. Beispielsweise und ohne Einschränkung können 64 PF32-Kerne und 32 PF64-Kerne in vier Verarbeitungsblöcke unterteilt werden. In einem derartigen Beispiel kann jedem Verarbeitungsblock 16 FP32-Kerne, 8 FP64-Kerne, 16 INT32-Kerne, zwei NVIDIA TENSOR COREs mit gemischter Präzision für Deep-Learning-Matrix-Arithmetik, ein L0-Befehlscache, ein Warp-Scheduler, eine Dispositionseinheit und/oder eine 64 KB-Registerdatei zugeteilt werden. Außerdem können die Streaming-Mikroprozessoren unabhängige parallele Ganzzahl- und Gleitkommadatenpfade umfassen, um eine effiziente Ausführung von Arbeitslasten mit einer Mischung aus Berechnung und Adressierungsberechnungen zu gewährleisten. Die Streaming-Mikroprozessoren können eine unabhängige Thread-Scheduling-Funktionalität umfassen, um eine feinere Synchronisation und Zusammenarbeit zwischen parallelen Threads zu ermöglichen. Die Streaming-Mikroprozessoren können einen kombinierten Ll-Daten-Cache und eine gemeinsame Speichereinheit umfassen, um die Leistung zu verbessern und gleichzeitig die Programmierung zu vereinfachen.
Die GPU(s) 808 kann(können) einen Speicher mit hoher Bandbreite (HBM; High Bandwidth Memory) und/oder ein 16 GB HBM2-Speichersubsystem umfassen, um in einigen Beispielen eine Spitzenspeicherbandbreite von etwa 900 GB/Sekunde bereitzustellen. In einigen Beispielen kann zusätzlich zum oder alternativ vom HBM-Speicher ein synchroner Graphik-Random-Access-Speicher (SGRAM) verwendet werden, wie beispielsweise fünf synchrone Graphik-Doppel-Datenraten-Speicher (Graphics Double Data Rate Type Five Synchronous Random-Access Memory, GDDR5).
Die GPU(s) 808 kann(können) eine Unified Memory-Technologie einschließlich Zugriffszählern umfassen, um eine genauere Migration von Speicherseiten zu dem Prozessor zu ermöglichen, der am häufigsten auf sie zugreift, wodurch die Effizienz der zwischen den Prozessoren geteilten Speicherbereiche verbessert wird. In einigen Beispielen kann die Unterstützung von Adressübersetzungsdiensten (Address Translation Services; ATS) verwendet werden, um der(den) GPU(s) 808 zu ermöglichen, direkt auf die Seitentabellen der CPU(s) 806 zugreifen kann(können). In derartigen Beispielen kann, wenn die Speicherverwaltungseinheit (MMU) der GPU(s) 808 einen Fehlzugriff erfährt, eine Adressübersetzungsanforderung an die CPU(s) 806 gesendet werden. Als Antwort darauf kann(können) die CPU(s) 806 in ihren Seitentabellen nach der virtuellphysikalischen Mapping für die Adresse suchen und die Übersetzung zurück an die GPU(s) 808 senden. Als solche kann die Unified Memory-Technologie einen einzigen einheitlichen virtuellen Adressraum für den Speicher sowohl der CPU(s) 806 als auch der GPU(s) 808 ermöglichen, wodurch die Programmierung und Portierung von Anwendungen auf die GPU(s) 808 vereinfacht wird.
Außerdem kann(können) die GPU(s) 808 einen Zugriffszähler umfassen, der die Häufigkeit eines Zugriffs der GPU(s) 808 auf den Speicher anderer Prozessoren nachverfolgen kann. Der Zugriffszähler kann dazu beitragen, dass Speicherseiten in den physischen Speicher des Prozessors verschoben werden, der am häufigsten auf die Seiten zugreift.
Der(die) SoC(s) 804 kann(können) eine beliebige Anzahl von Cache(s) 812 umfassen, einschließlich der hier beschriebenen. Beispielsweise kann(können) der(die) Cache(s) 812 einen L3-Cache umfassen, der sowohl für die CPU(s) 806 als auch für die GPU(s) 808 verfügbar ist (z.B. der(die) sowohl mit der/den CPU(s) 806 und der/den GPU(s) 808 verbinden ist bzw. sind). Der(die) Cache(s) 812 kann(können) einen Write-Back-Cache umfassen, der den Zustand der Leitungen nachverfolgt, wie beispielsweise durch Verwendung eines Cache-Kohärenzprotokolls (z.B. MEI, MESI, MSI, usw.). Der L3-Cache kann abhängig von der Ausführungsform 4 MB oder mehr umfassen, obwohl kleinere Cachegrößen verwendet werden können.
Das(die) SoC(s) 804 kann(können) einen oder mehrere Beschleuniger 814 umfassen (z.B. Hardwarebeschleuniger, Softwarebeschleuniger oder eine Kombination davon). Beispielsweise kann(können) die SoC(s) 804 einen Hardwarebeschleunigungscluster umfassen, der optimierte Hardwarebeschleuniger und/oder einen großen On-Chip-Speicher umfassen kann. Der große On-Chip-Speicher (z.B. 4 MB SRAM) kann es dem Hardwarebeschleunigungscluster ermöglichen, neuronale Netzwerke und andere Berechnungen zu beschleunigen. Der Hardwarebeschleunigungscluster kann verwendet werden, um die GPU(s) 808 zu ergänzen und einige der Aufgaben der GPU(s) 808 auszulagern (z.B. um mehr Zyklen der GPU(s) 808 für die Ausführung anderer Aufgaben freizugeben). Als Beispiel kann(können) der(die) Beschleuniger 814 für gezielte Arbeitslasten (z.B. Wahrnehmung, faltende neuronale Netzwerke (CNNs; Convolutional Neural Networks), usw.) verwendet werden, die für eine Beschleunigung stabil genug sind. Der Begriff „CNN“, wie hier verwendet, kann alle Arten von CNNs umfassen, einschließlich Regionen-basierter oder regionaler faltender neuronaler Netzwerke (regional Convolutional Neural Networks; RCNNs) und Fast RCNNs (z.B. wie zur Objekterfassung verwendet).
Der(die) Beschleuniger 814 (z.B. der Hardwarebeschleunigungscluster) kann(können) einen Beschleuniger für tiefes Lernen (DLA(s); Deep Learning Accelerator(s)) umfassen. Die DLA(s) kann(können) eine oder mehrere Tensor-Verarbeitungseinheiten (TPUs; Tensor Processing Units) umfassen, die konfiguriert sein können, um zusätzliche zehn Billionen Operationen pro Sekunde für Deep Learning-Anwendungen und Inferenzieren bereitzustellen. Die TPUs kann(können) Beschleuniger sein, die für die Durchführung von Bildverarbeitungsfunktionen konfiguriert und optimiert sind (z.B. für CNNs, RCNNs usw.). Der(die) DLA(s) kann(können) weiter für einen bestimmten Satz von neuronalen Netzwerktypen und Gleitkommaoperationen sowie für Inferenzierung optimiert werden. Die Ausgestaltung der DLA(s) kann mehr Leistung pro Millimeter bieten als ein Universal-Graphikprozessor und übersteigt bei weitem die Leistung einer CPU. Die TPU(s) kann(können) mehrere Funktionen ausführen, einschließlich einer Einzelinstanz-Faltungsfunktion, die beispielsweise Merkmale und Gewichtungen bei den Datentypen INT8, INT16 und FP16 sowie auch Postprozessorfunktionen unterstützt.
Der(die) DLA(s) kann(können) neuronale Netzwerke, insbesondere CNNs, schnell und effizient an verarbeiteten oder unverarbeiteten Daten für eine Vielzahl von Funktionen ausführen, einschließlich beispielsweise und ohne Einschränkung: ein CNN zur Objektidentifikation und -erfassung unter Verwendung von Daten von Kamerasensoren; ein CNN zur Abstandsschätzung unter Verwendung von Daten von Kamerasensoren; ein CNN zur Fahrzeugerfassung und - identifikation und -erfassung unter Verwendung von Daten aus Mikrophonen; ein CNN zur Gesichtserfassung und Fahrzeughalteridentifikation unter Verwendung von Daten von Kamerasensoren; und/oder ein CNN für Sicherheit und/oder sicherheitsbezogene Ereignisse.
Der(die) DLA(s) kann(können) jede beliebige Funktion der GPU(s) 808 ausführen und durch die Verwendung eines Inferenzbeschleunigers kann ein Designer beispielsweise für jede Funktion entweder die DLA(s) oder die GPU(s) 808 ansprechen. Beispielsweise kann sich der Designer auf die Verarbeitung von CNNs und Gleitkommaoperationen auf dem(den) DLA(s) konzentrieren und andere Funktionen dem(den) GPU(s) 808 und/oder einem anderem(anderen) Beschleuniger(n) 814 überlassen.
Der(die) Beschleuniger 814 (z.B. der Hardwarebeschleunigungscluster) kann(können) einen programmierbaren Visionsbeschleuniger (PVA; Programmable Vision Accelerator) umfassen, der hier alternativ als Computer Vision Accelerator bezeichnet werden kann. Der(die) PVA(s) kann(können) so ausgestaltet und konfiguriert sein, dass sie die Bildverarbeitungsalgorithmen für die Anwendungen der fortgeschrittene Fahrerassistenzsysteme (ADAS; Advanced Driver Assistance Systems), autonomen Fahrens und/oder der Augmented Reality (AR) und/oder Virtual Reality (VR) beschleunigen. Der(die) PVA(s) kann(können) ein Gleichgewicht zwischen Leistung und Flexibilität bieten. Jede(r) PVA(s) kann(können) beispielsweise ohne Einschränkung eine beliebige Anzahl von Computerprozessor mit reduziertem Befehlssatzkernen (RISC cores; Reduced Instruction Set Computer cores), Direktzugriffsspeicher (DMA; Direct Memory Access) und/oder eine beliebige Anzahl von Vektorprozessoren umfassen.
Die RISC-Kerne können mit Bildsensoren (z.B. den Bildsensoren einer der hier beschriebenen Kameras), Bildsignalprozessor(en) und/oder dergleichen wechselwirken. Jeder der RISC-Kerne kann eine beliebige Menge an Speicher umfassen. Die RISC-Kerne können je nach Ausführungsform eines einer Anzahl von Protokollen verwenden. In einigen Beispielen können die RISC-Kerne ein Echtzeitbetriebssystem (Real-time Operating System; RTOS) ausführen. Die RISC-Kerne können mit einer oder mehreren integrierten Schaltungsvorrichtungen, anwendungsspezifischen integrierten Schaltungen (Application Specific Integrated Circuits; ASICs) und/oder Speichervorrichtungen implementiert werden. Beispielsweise können die RISC-Kerne einen Befehls-Cache und/oder einen eng gekoppelten RAM umfassen.
Der DMA kann Komponenten des(der) PVA(s) ermöglichen, unabhängig von der(den) CPU(s) 806 auf den Systemspeicher zuzugreifen. Der DMA kann eine beliebige Anzahl von Merkmalen unterstützen, die zur Optimierung des PVA verwendet werden, einschließlich, jedoch nicht beschränkt auf, der Unterstützung multidimensionaler Adressierung und/oder zirkulärer Adressierung. In einigen Beispielen kann der DMA bis zu sechs oder mehr Dimensionen der Adressierung unterstützen, welche die Blockbreite, Blockhöhe, Blocktiefe, horizontale Blockstufen, vertikale Blockstufen und/oder Tiefenstufen umfassen können.
Die Vektorprozessoren können programmierbare Prozessoren sein, die ausgestaltet sein können, dass sie die Programmierung für Computer-Vision-Algorithmen effizient und flexibel durchführen und Signalverarbeitungsfähigkeiten bereitstellen. In einigen Beispielen kann der PVA einen PVA-Kern und zwei Vektorverarbeitungs-Subsystem-Partitionen umfassen. Der PVA-Kern kann ein Prozessorsubsystem, ein DMA-Engine(s) (z.B. zwei DMA-Engines) und/oder andere Peripheriegeräte umfassen. Das Vektorverarbeitungs-Subsystem kann als das primäre Verarbeitungs-Engine des PVA fungieren und kann eine Vektorverarbeitungseinheit (VPU; Vector Processing Unit), einen Befehls-Cache und/oder einen Vektorspeicher (z.B. VMEM; Vector Memory) umfassen. Ein VPU-Kern kann einen digitalen Signalprozessor umfassen, wie beispielsweise einen digitalen Signalprozessor mit mehreren Daten (SIMD; Single Instruction, Multiple Data) und einem sehr langen Befehlswort (VLIW; Very Long Instruction Word). Die Kombination von SIMD und VLIW kann den Durchsatz und die Geschwindigkeit erhöhen.
Jeder der Vektorprozessoren kann einen Befehls-Cache umfassen und mit einem dedizierten Speicher gekoppelt sein. Als Ergebnis kann in einigen Beispielen jeder der Vektorprozessoren konfiguriert sein, um unabhängig von den anderen Vektorprozessoren ausführen zu können. In anderen Beispielen können die Vektorprozessoren, die in einem bestimmten PVA umfasst sind, konfiguriert sein, um Datenparallelität anzuwenden. Beispielsweise können in einigen Ausführungsformen mehrere, in einem einzigen PVA enthaltene Vektorprozessoren den gleichen Computer-Vision-Algorithmus ausführen, jedoch auf verschiedenen Bereichen eines Bildes. In anderen Beispielen können die in einem bestimmten PVA enthaltenen Vektorprozessoren gleichzeitig verschiedene Computer-Vision-Algorithmen für dasselbe Bild ausführen oder sogar verschiedene Algorithmen an sequentiellen Bildern oder Teile eines Bildes ausführen. Unter anderem können beliebig viele PVAs in dem Hardwarebeschleunigungscluster und beliebig viele Vektorprozessoren in jedem der PVAs eingebunden werden. Außerdem kann(können) die PVA(s) zusätzlichen ECC-(Error Correcting Code)-Speicher umfassen, um die Gesamtsystemsicherheit zu erhöhen.
Der(die) Beschleuniger 814 (z.B. der Hardwarebeschleunigungscluster) kann(können) ein On-Chip-Computer-Vision-Netzwerk und SRAM umfassen, um ein SRAM mit hoher Bandbreite und niedriger Latenz für den/die Beschleuniger 814 bereitzustellen. In einigen Beispielen kann der On-Chip-Speicher mindestens 4 MB SRAM umfassen, der beispielsweise aus acht feldkonfigurierbaren Speicherblöcken besteht, die sowohl für den PVA als auch für den DLA zugänglich sind. Jedes Speicherblockpaar kann eine erweiterte APB-Schnittstelle (Advanced Peripheral Bus interface), Konfigurationsschaltungen, einen Controller und einen Multiplexer umfassen. Es kann eine beliebige Art von Speicher verwendet werden. Der PVA und DLA kann über ein Backbone auf den Speicher zugreifen, das dem PVA und DLA einen Hochgeschwindigkeitszugriff auf den Speicher bereitstellt. Das Backbone kann ein On-Chip Computer-Vision-Netzwerk umfassen, das das PVA und das DLA mit dem Speicher (z.B. unter Verwendung des APB) verbindet.
Das On-Chip-Computer-Vision-Netzwerk kann eine Schnittstelle umfassen, die vor der Übertragung irgendwelcher Steuersignalen/Adressen/Daten bestimmt, dass sowohl der PVA als auch der DLA bereite und gültige Signale bereitstellen. Eine derartige Schnittstelle kann getrennte Phasen und getrennte Kanäle für die Übertragung von Steuersignalen/Adressen/Daten sowie eine Burst-Kommunikation für den kontinuierlichen Datentransfer vorsehen. Diese Art von Schnittstelle kann den Normen ISO 26262 oder IEC 61508 entsprechen, obwohl auch andere Normen und Protokolle verwendet werden können.
In einigen Beispielen kann(können) das(die) SoC(s) 804 einen Echtzeit-Raytracing-Hardwarebeschleuniger umfassen, wie beispielweise in der U.S. Patentanmeldung Nr. 16/101,232 , eingereicht am 10. August 2018, beschrieben ist. Der Echtzeit-Raytracing-Hardwarebeschleuniger kann verwendet werden, um schnell und effizient die Positionen und Ausmaße von Objekten (z.B. innerhalb eines Weltmodells) zu bestimmen, um Echtzeit-Visualisierungssimulationen zur RADAR-Signalinterpretation, zur Schallausbreitungssynthese und/oder -analyse, zur Simulation von SONAR-Systemen, zur Simulation einer allgemeinen Wellenausbreitung, zum Vergleich mit LIDAR-Daten zum Zwecke der Lokalisierung und/oder andere Funktionen und/oder für andere Anwendungen zu erzeugen.
Der(die) Beschleuniger 814 (z.B. der Hardwarebeschleuniger-Cluster) weist(weisen) eine breite Anordnung von Verwendungen für autonomes Fahren auf. Der PVA kann ein programmierbarer Vision-Beschleuniger sein, der für wichtige Verarbeitungsstufen in ADAS und autonomen Fahrzeugen verwendet werden kann. Die Fähigkeiten des PVA sind eine gute Anpassung für algorithmische Domänen, die eine vorhersagbare Verarbeitung bei geringer Leistungsaufnahme und geringer Latenzzeit benötigen. Mit anderen Worten kann der PVA bei semidichtem oder dichtem regulärem Rechnen selbst bei kleinen Datensätzen gut arbeiten, die vorhersagbare Laufzeiten mit geringer Latenz und geringer Leistung benötigen. Somit können die PVAs im Kontext von Plattformen für autonome Fahrzeuge so ausgestaltet sein, um klassische Computer-Vision-Algorithmen auszuführen, da sie typischerweise bei der Objekterfassung effizient sind und mit ganzzahliger Mathematik arbeiten.
Zum Beispiel wird gemäß einer Ausführungsform der Technologie der PVA verwendet, um Computer-Stereo-Vision durchzuführen. In einigen Beispielen kann ein semiglobaler Abgleich-basierter Algorithmus verwendet werden, der jedoch nicht bestimmt ist, einschränkend zu sein. Viele Anwendungen für autonomes Fahren der Stufe 3-5 erfordern eine Bewegungsschätzung/on-the-fly Stereoabgleich (z.B. Struktur aus Bewegung, Fußgängererfassung, Spurerfassung usw.). Der PVA kann eine Computer-Stereo-Vision-Funktion an Eingaben von zwei Monokularkameras ausführen.
In einigen Beispielen kann der PVA zur Durchführung von dichtem optischem Fluss verwendet werden, um demgemäß rohe RADAR-Daten (z.B. unter Verwendung einer 4D Fast Fourier Transformation) zu verarbeiten, um verarbeiteten RADAR bereitzustellen. In anderen Beispielen wird der PVA für die Time-of-Flight-Tiefenverarbeitung verwendet, indem Rohdaten von Flugdaten verarbeitet werden, um beispielsweise verarbeitete Flugzeitdaten bereitzustellen.
Der DLA kann verwendet werden, um jede Art von Netzwerk zu betreiben, um die Kontrolle und Fahrsicherheit zu erhöhen, einschließlich beispielsweise eines neuronalen Netzwerks, das ein Maß an Vertrauen für jede Objekterfassung ausgibt. Ein derartiger Vertrauenswert kann als Wahrscheinlichkeit oder als Bereitstellung einer relativen „Gewichtung“ jeder Erfassung im Vergleich zu anderen Erfassungen interpretiert werden. Dieser Vertrauenswert kann von dem System verwendet werden, um weitere Entscheidungen hinsichtlich dessen zu treffen, welche Erfassungen als echt positive Erfassungen und nicht als falsch positive Erfassungen zu betrachten sind. Das System kann beispielsweise einen Schwellenwert für das Vertrauen festlegen und nur die den Schwellenwert übersteigenden Erfassungen als echt positive Erfassungen betrachten. In einem automatischen Notbremssystem (Automatic Emergency Braking system, AEB system) würden falsch positive Erfassungen dazu führen, dass das Fahrzeug automatisch eine Notbremsung durchführt, was offensichtlich unerwünscht ist. Daher sollten nur die vertrauensvollsten Erfassungen als Auslöser für die AEB betrachtet werden. Der DLA kann ein neuronales Netzwerk zur Regression des Vertrauenswerts betreiben. Das neuronale Netzwerk kann mindestens eine Teilmenge von Parametern als seine Eingabe verwenden, wie beispielsweise Abmessungen eines Begrenzungskastens, einer Schätzung der Bodenebene (z.B. von einem anderen Subsystem erhalten), eine Ausgabe eines Sensors 866 der Trägheitsmesseinheit (IMU), die mit der Orientierung des Fahrzeugs 800 korreliert, einen Abstand, 3D-Positionsschätzungen des Objekts, die von dem neuronalen Netzwerk und/oder von anderen Sensoren (z.B. LIDAR-Sensor(en) 864 oder RADAR-Sensor(en) 860) stammen.
Der(die) SoC(s) 804 kann(können) Datenspeicher 816 (z.B. Speicher) umfassen. Der(die) Datenspeicher 816 kann(können) ein On-Chip-Speicher des(der) SoC(s) 804 sein, der neuronale Netzwerke speichern kann, die auf der GPU und/oder dem DLA ausgeführt werden sollen. In einigen Beispielen kann(können) der(die) Datenspeicher 816 in der Kapazität groß genug sein, um mehrere Instanzen neuronaler Netzwerke für Redundanz und Sicherheit zu speichern. Der(die) Datenspeicher 812 kann(können) einen L2- oder L3-Cache(s) 812 umfassen. Die Bezugnahme auf den(die) Datenspeicher 816 kann eine Bezugnahme auf den Speicher umfassen, der dem PVA, DLA und/oder einem anderen Beschleuniger(n) 814 zugeordnet ist, wie hier beschrieben.
Das(die) SoC(s) 804 kann(können) einen oder mehrere Prozessor(en) 810 (z.B. eingebettete Prozessoren) umfassen. Der(die) Prozessor(en) 810 kann(können) einen Boot- und Power-Management-Prozessor umfassen, der ein dedizierter Prozessor und ein Subsystem sein kann, um Boot-Power- und Management-Funktionen und die damit assoziierte Sicherheitserzwingung zu handhaben. Der Boot- und Power-Management-Prozessor kann ein Teil der Boot-Sequenz des(der) SoC(s) 804 sein und zur Laufzeit Power-Management-Dienste bereitstellen. Der Boot-Power- und Management-Prozessor kann Takt- und Spannungsprogrammierung, Unterstützung bei Systemübergängen mit niedrigem Leistungsverbrauch, Verwaltung von Thermik- und Temperatursensoren von SoC(s) 804 und/oder Verwaltung der Leistungszustände von SoC(s) 804 bereitstellen. Jeder Temperatursensor kann als Ringoszillator implementiert werden, dessen Ausgangsfrequenz proportional zur Temperatur ist, und das(die) SoC(s) 804 kann(können) die Ringoszillatoren verwenden, um Temperaturen der CPU(s) 806, GPU(s) 808 und/oder Beschleuniger 814 zu erfassen. Wenn festgestellt wird, dass die Temperaturen einen Schwellenwert überschreiten, kann der Boot- und Power-Management-Prozessor in eine Temperaturfehlerroutine eintreten und das(die) SoC(s) 804 in einen niedrigeren Leistungszustand versetzen und/oder das Fahrzeug 800 in einen Chauffeur-zu-sicheren-Stoppmodus versetzen (z.B. das Fahrzeug 800 zu einem sicheren Halt bringen).
Der(die) Prozessor(en) 810 kann(können) ferner eine Reihe von eingebetteten Prozessoren umfassen, die als eine Audioverarbeitungs-Engine dienen können. Die Audioverarbeitungs-Engine kann ein Audiosubsystem sein, das eine vollständige Hardwareunterstützung für Mehrkanal-Audio über mehrere Schnittstellen und eine breite und flexible Palette von Audio-E/A-Schnittstellen ermöglicht. In einigen Beispielen ist die Audioverarbeitungsmaschine ein dedizierter Prozessorkern mit einem Digitalsignalprozessor mit dediziertem RAM.
Der(die) Prozessor(en) 810 kann(können) ferner eine Always-On-Prozessor-Engine umfassen, die notwendige Hardware-Merkmale bereitstellen kann, um die Verwaltung von Sensoren mit niedriger Leistung und Aufwachanwendungen zu unterstützen. Die Always-On-Prozessor-Engine kann einen Prozessorkern, ein eng gekoppeltes RAM, die Unterstützung von Peripherievorrichtungen (z.B. Zeitgeber und Interrupt-Controller), verschiedene E/A-Controller-Peripheriegeräte und Routinglogik umfassen.
Der(die) Prozessor(en) 810 kann(können) ferner eine Sicherheits-Cluster-Engine umfassen, die ein dediziertes Prozessorsubsystem für das Sicherheitsmanagement für Automobilanwendungen umfasst. Die Sicherheits-Cluster-Engine kann zwei oder mehr Prozessorkerne, ein eng gekoppeltes RAM, Unterstützung von Peripherievorrichtungen (z.B. Zeitgeber, Interrupt-Controller usw.) und/oder Routinglogik umfassen. In einem Sicherheitsmodus können die zwei oder mehr Kerne in einem Lockstep-Modus arbeiten und als einzelner Kern mit Vergleichslogik fungieren, um jegliche Unterschiede zwischen ihren Operationen zu erfassen.
Der(die) Prozessor(en) 810 kann(können) ferner eine Echtzeit-Kamera-Engine umfassen, die ein dediziertes ProzessorSubsystem für die Handhabung des Echtzeit-Kamera-Managements umfassen kann.
Der(die) Prozessor(en) 810 kann(können) weiter einen Signalprozessor mit hohem Dynamikbereich umfassen, der einen Bildsignalprozessor umfassen kann, der eine Hardware-Engine ist, die Teil der Kameraverarbeitung-Pipeline ist.
Der(die) Prozessor(en) 810 kann(können) einen Videobild-Compositor umfassen, der ein Verarbeitungsblock sein kann (z.B. auf einem Mikroprozessor implementiert), der Funktionen zur Videonachbearbeitung implementiert, die von einer Videowiedergabeanwendung benötigt werden, um das endgültige Bild für das Player-Fenster zu erzeugen. Der Videobild-Compositor kann eine Objektivverzerrungskorrektur an Weitwinkelkameras 870, Surround-Kameras 874 und/oder an Kamerasensoren in der Fahrgastkabine durchführen. Die kabineninternen Überwachungskamerasensoren werden vorzugsweise von einem neuronalen Netzwerk überwacht, das auf einer anderen Instanz des Advanced SoC läuft und konfiguriert ist, um Ereignisse in der Kabine zu identifizieren und entsprechend zu reagieren. Ein Kabinensystem kann Lippenlesen durchführen, um den Mobilfunk zu aktivieren und einen Anruf zu tätigen, EMails zu diktieren, das Ziel des Fahrzeugs zu ändern, das Infotainmentsystem und die Einstellungen des Fahrzeugs zu aktivieren oder zu ändern oder sprachaktiviertes Internetsurfen anzubieten. Bestimmte Funktionen stehen dem Fahrer nur zur Verfügung, wenn das Fahrzeug in einem autonomen Modus betrieben wird, und sind andernfalls deaktiviert.
Der Videobild-Compositor kann eine verbesserte zeitliche Rauschunterdrückung für sowohl räumliche als auch zeitliche Rauschunterdrückung umfassen. Wenn beispielsweise eine Bewegung in einem Video stattfindet, kann die Rauschunterdrückung räumliche Information dementsprechend gewichten und das Gewicht der von benachbarten Einzelbildern bereitgestellten Information verringern. Wenn ein Bild oder ein Teil eines Bildes keine Bewegung umfasst, kann die vom Videobild-Compositor durchgeführte zeitliche Rauschunterdrückung Information aus dem vorherigen Bild verwenden, um das Rauschen im aktuellen Bild zu reduzieren.
Der Videobild-Compositor kann ebenfalls konfiguriert sein, um eine Stereogleichrichtung für Eingangs-Stereolinseneinzelbilder durchzuführen. Der Videobild-Compositor kann ferner für eine Zusammensetzung der Benutzeroberfläche verwendet werden, wenn der Desktop des Betriebssystems verwendet wird und die GPU(s) 808 nicht erforderlich ist(sind), um kontinuierlich neue Oberflächen darzustellen. Selbst wenn die GPU(s) 808 eingeschaltet und aktiv ist(sind) und 3D-Rendering durchführt/durchführen, kann der Videobild-Compositor verwendet werden, um die GPU(s) 808 zu entlasten und die Leistung und Reaktionsfähigkeit zu verbessern.
Das(die) SoC(s) 804 kann(können) ferner eine serielle MIPI-Kameraschnittstelle (Mobile Industry Processor Interface) zum Empfangen von Video und Eingaben von Kameras, eine Hochgeschwindigkeitsschnittstelle und/oder einen Videoeingangsblock umfassen, der für Kamera- und zugehörige Pixeleingabefunktionen verwendet werden kann. Das(die) SoC(s) 804 kann(können) ferner einen Eingabe-/Ausgabe-Controller umfassen, der(die) durch Software gesteuert werden kann(können) und zum Empfangen von E/A-Signalen verwendet werden kann(können), die nicht an eine spezifische Rolle gebunden sind.
Das(die) SoC(s) 804 kann(können) ferner einen breiten Bereich von Peripherieschnittstellen umfassen, um die Kommunikation mit Peripherievorrichtungen, Audiocodecs, Power Management und/oder anderen Vorrichtungen zu ermöglichen. Das(die) SoC(s) 804 kann(können) verwendet werden, um Daten von Kameras (z.B. über Gigabit Multimedia Serial Link und Ethernet verbunden), Sensoren (z.B. LIDAR-Sensor(en) 864, RADAR-Sensor(en) 860, usw., die über Ethernet verbunden sein können), Daten von Bus 802 (z.B. Fahrzeuggeschwindigkeit 800, Lenkradposition usw.), Daten von GNSS-Sensor(en) 858 (z.B. über Ethernet oder CAN-Bus verbunden) zu verarbeiten. Das (die) SoC(s) 804 kann(können) ferner dedizierte Hochleistungs-Massenspeicher-Controller umfassen, die ihre eigenen DMA-Engines umfassen können und die verwendet werden können, um die CPU(s) 806 von Routinedatenverwaltungsaufgaben zu entlasten.
Das (die) SoC(s) 804 kann(können) eine Ende-zu-Ende Plattform mit einer flexiblen Architektur sein, die sich über die Automatisierungsstufen 3-5 erstreckt und somit eine umfassende funktionale Sicherheitsarchitektur bereitstellt, die Computer-Vision- und ADAS-Techniken für Diversität und Redundanz nutzt und effizient einsetzt, eine Plattform für einen flexiblen, zuverlässigen Treiber-Software-Stapel zusammen mit Deep-Learning-Mechanismen darstellt. Das(die) SoC(s) 804 kann(können) schneller, zuverlässiger, energieeffizienter und platzsparender sein als herkömmliche Systeme. Beispielsweise kann(können) der(die) Beschleuniger 814 in Kombination mit der(den) CPU(s) 806, der(den) GPU(s) 808 und dem(den) Datenspeicher(n) 816 eine schnelle, effiziente Plattform für autonome Fahrzeuge der Stufe 3-5 bieten.
Die Technologie stellt somit Fähigkeiten und eine Funktionalität bereit, die mit herkömmlichen Systemen nicht erreicht werden können. Beispielsweise können Computer-Vision-Algorithmen auf CPUs ausgeführt werden, die mit einer hochrangigen Programmiersprache, wie der Programmiersprache C, konfiguriert sein können, um eine weite Vielzahl von Verarbeitungsalgorithmen mit einer weiten Vielzahl von visuellen Daten auszuführen. Allerdings sind CPUs oft nicht in der Lage, die Leistungsanforderungen vieler Bildverarbeitungsanwendungen zu erfüllen, wie beispielsweise jene bezogen auf Ausführungszeit und Leistungsverbrauch. Insbesondere sind viele CPUs nicht in der Lage, komplexe Objekterfassungsalgorithmen in Echtzeit auszuführen, was für ADAS-Anwendungen im Fahrzeug und für praktische autonome Fahrzeuge der Stufe 3-5 erforderlich sein kann.
Im Gegensatz zu herkömmlichen Systemen ermöglicht die hier beschriebene Technologie durch Bereitstellen eines CPU-Komplexes, eines GPU-Komplexes und eines Hardwarebeschleunigungsclusters, dass mehrere neuronale Netzwerke gleichzeitig und/oder sequentiell verwendet werden können und die Ergebnisse zusammen kombiniert werden, um eine autonome Fahrfunktionalität der Stufe 3-5 zu ermöglichen. Beispielsweise kann ein CNN, das auf dem DLA oder der dGPU ausgeführt wird (z.B. der GPU(s) 820), eine Text- und Worterfassung umfassen, so dass der Supercomputer Verkehrszeichen lesen und verstehen kann, einschließlich Zeichen, für die das neuronale Netzwerk nicht speziell trainiert wurde. Das DLA kann ferner ein neuronales Netzwerk umfassen, das in der Lage ist, das Zeichen zu identifizieren, zu interpretieren und semantisch zu verstehen und dieses semantische Verständnis an die auf dem CPU-Komplex laufenden Wegplanungsmodule weiterzugeben.
Als weiteres Beispiel können mehrere neuronale Netzwerke gleichzeitig ausgeführt werden, wie es für das Fahren auf Stufe 3, 4 oder 5 erforderlich ist. Beispielsweise kann ein Warnzeichen bestehend aus „Vorsicht: Blinklichter zeigen eisige Zustände an“ zusammen mit einer elektrischen Lichtquelle von mehreren neuronalen Netzen unabhängig oder gemeinsam interpretiert werden. Das Schild selbst kann durch ein erstes eingesetztes neuronales Netzwerk (z.B. ein neuronales Netzwerk, das trainiert wurde) als Verkehrszeichen identifiziert werden, der Text „Blinklichter zeigen eisige Zustände an“ kann durch ein zweites eingesetztes neuronales Netzwerk interpretiert werden, das die Wegplanungssoftware des Fahrzeugs (vorzugsweise auf dem CPU-Komplex) darüber informiert, dass bei Erfassung von blinkenden Lichtern eisige Bedingungen vorliegen. Das blinkende Licht kann identifiziert werden, indem ein drittes eingesetztes neuronales Netzwerk über mehrere Einzelbilder betrieben wird, das die Wegplanungssoftware des Fahrzeugs über das Vorhandensein (oder Fehlen) von blinkenden Lichtern informiert. Alle drei neuronalen Netzwerke können z.B. innerhalb des DLA und/oder auf der GPU(s) 808 gleichzeitig ausgeführt werden.
In einigen Beispielen kann ein CNN zur Gesichtserfassung und Fahrzeughalteridentifikation Daten von Kamerasensoren verwenden, um die Anwesenheit eines autorisierten Fahrers und/oder eines Eigentümers des Fahrzeugs 800 zu identifizieren. Die Always-On Sensor-Verarbeitungs-Engine kann verwendet werden, um das Fahrzeug zu entriegeln, wenn sich der Eigentümer der Fahrertür nähert, und die Lichter einzuschalten, und um das Fahrzeug im Sicherheitsmodus zu deaktivieren, wenn der Eigentümer das Fahrzeug verlässt. Auf diese Weise bietet(bieten) die SoC(s) 804 Schutz vor Diebstahl und/oder Fahrzeugraub.
In einem weiteren Beispiel kann ein CNN zur Erfassung und Identifizierung von Rettungsfahrzeugen Daten aus den Mikrophonen 896 verwenden, um Sirenen von Rettungsfahrzeugen zu erfassen und zu identifizieren. Im Gegensatz zu herkömmlichen Systemen, die allgemeine Klassifizierer verwenden, um Sirenen zu erfassen und Merkmale manuell zu extrahieren, verwendet(verwenden) das(die) SoC(s) 804 das CNN zur Klassifizierung von Umwelt- und Stadtgeräuschen sowie zur Klassifizierung visueller Daten. In einer bevorzugten Ausführungsform wird das CNN, das auf dem DLA läuft, trainiert, um die relative Annäherungsgeschwindigkeit des Einsatzfahrzeugs zu identifizieren (z.B. durch Verwendung des Doppler-Effekts). Das CNN kann ebenfalls trainiert werden, um Rettungsfahrzeuge zu identifizieren, die spezifisch für das lokale Gebiet sind, in dem das Fahrzeug eingesetzt wird, wie durch GNSS-Sensor(en) 858 identifiziert. So wird beispielsweise das CNN beim Arbeiten in Europa versuchen, europäische Sirenen zu erfassen, und wenn es in den Vereinigten Staaten ist, wird das CNN versuchen, nur nordamerikanische Sirenen zu identifizieren. Sobald ein Rettungsfahrzeug erfasst ist, kann ein Steuerprogramm verwendet werden, um eine Notfallroutine für die Fahrzeugsicherheit auszuführen, das Fahrzeug zu verlangsamen, an den Straßenrand zu fahren, das Fahrzeug zu parken und/oder das Fahrzeug mit Hilfe von Ultraschallsensoren 862 im Leerlauf zu halten, bis das(die) Rettungsfahrzeug(e) vorbeifährt(vorbeifahren).
Das Fahrzeug kann eine CPU(s) 818 (z.B. diskrete CPU(s) oder dCPU(s)) umfassen, die über eine Hochgeschwindigkeitsverbindung (z.B. PCIe) mit dem(den) SoC(s) 804 gekoppelt werden kann(können). Die CPU(s) 818 kann(können) beispielsweise einen X86-Prozessor umfassen. Die CPU(s) 818 kann(können) beispielsweise verwendet werden, um eine Vielzahl von Funktionen auszuführen, einschließlich der Arbitrierung potenziell inkonsistenter Ergebnisse zwischen ADAS-Sensoren und dem(den) SoC(s) 804 und/oder der beispielhaften Überwachung von Status und Gesundheitszustand des(der) Controller 836 und/oder des Infotainment-SoC 830.
Das Fahrzeug 800 kann eine GPU(s) 820 (z.B. diskrete GPU(s) oder dGPU(s)) umfassen, die über eine Hochgeschwindigkeitsverbindung (z.B. NVIDIAs NVLINK) mit dem(den) SoC(s) 804 gekoppelt werden kann(können). Die GPU(s) 820 kann(können) eine zusätzliche Funktionalität künstlicher Intelligenz beispielsweise durch die Ausführung redundanter und/oder verschiedener neuronaler Netzwerke bereitstellen, und können verwendet werden, um neuronale Netzwerke basierend auf Eingaben (z.B. Sensordaten) von Sensoren des Fahrzeugs 800 zu trainieren und/oder zu aktualisieren.
Das Fahrzeug 800 kann ferner die Netzwerkschnittstelle 824 umfassen, die eine oder mehrere drahtlose Antennen 826 umfassen kann (z.B. eine oder mehrere drahtlose Antennen für unterschiedliche Kommunikationsprotokolle, wie beispielsweise eine Mobilfunkantenne, eine Bluetooth-Antenne usw.). Die Netzwerkschnittstelle 824 kann verwendet werden, um eine drahtlose Verbindung über das Internet mit der Cloud (z.B. mit dem(den) Server(n) 878 und/oder anderen Netzwerkvorrichtungen), mit anderen Fahrzeugen und/oder mit Rechenvorrichtungen (z.B. Client-Vorrichtungen von Fahrgästen) zu ermöglichen. Um mit anderen Fahrzeugen zu kommunizieren, kann eine direkte Verbindung zwischen den beiden Fahrzeugen und/oder eine indirekte Verbindung (z.B. über Netzwerke und über das Internet) hergestellt werden. Direkte Verbindungen können über eine Fahrzeug-zu-Fahrzeug-Kommunikationsverbindung bereitgestellt werden. Die Fahrzeug-zu-Fahrzeug-Kommunikationsverbindung kann dem Fahrzeug 800 Information über Fahrzeuge in der Nähe des Fahrzeugs 800 bereitstellen (z.B. Fahrzeuge vor, auf der Seite und/oder hinter dem Fahrzeug 800). Diese Funktionalität kann Teil einer kooperativen adaptiven Geschwindigkeitsregelungsfunktion des Fahrzeugs 800 sein.
Die Netzwerkschnittstelle 824 kann ein SoC umfassen, das Modulations- und Demodulationsfunktionalität bereitstellt und dem(den) Controller(n) 836 eine Kommunikation über drahtlose Netzwerke ermöglicht. Die Netzwerkschnittstelle 824 kann ein Hochfrequenz-Frontend für eine Aufwärtskonvertierung von einem Basisband zur Hochfrequenz und eine Abwärtskonvertierung von der Hochfrequenz in das Basisband umfassen. Die Frequenzumwandlungen können durch wohlbekannte Verfahren und/oder durch Superheterodyn-Verfahren durchgeführt werden. In einigen Beispielen kann die Radiofrequenz-Frontend-Funktionalität durch einen separaten Chip bereitgestellt werden. Die Netzwerkschnittstelle kann drahtlose Funktionen für die Kommunikation über LTE, WCDMA, UMTS, GSM, CDMA2000, Bluetooth, Bluetooth LE, Wi-Fi, Z-Wave, ZigBee, LoRaWAN und/oder andere drahtlose Protokolle umfassen.
Das Fahrzeug 800 kann ferner Datenspeicher 828 umfassen, die auch Off-Chip-Speicher (z.B. außerhalb des(der) SoC((s) 804) Speichers) umfassen können. Der(die) Datenspeicher 828 können ein oder mehrere Speicherelemente einschließlich RAM, SRAM, DRAM, VRAM, Flash, Festplatten und/oder andere Komponenten und/oder Vorrichtungen umfassen, die mindestens ein Bit Daten speichern können.
Das Fahrzeug 800 kann ferner einen oder mehrere GNSS-Sensoren 858 umfassen. Der(die) GNSS-Sensor(en) 858 (z.B. GPS- und/oder assistierte GPS-Sensoren) hilft(helfen) bei der Kartierung, Wahrnehmung, Belegungsgittererzeugung und/oder der Wegplanungsfunktionen. Es kann eine beliebige Anzahl von GNSS-Sensoren 858 verwendet werden, einschließlich beispielsweise und ohne Einschränkung eines GPS mit einem USB-Anschluss und einer Ethernet-Seriell-(RS-232)-Brücke.
Das Fahrzeug 800 kann ferner einen RADAR-Sensor(en) 860 umfassen. Der(die) RADAR-Sensor(en) 860 kann(können) von dem Fahrzeug 800 zur Fahrzeugerfassung mit großer Reichweite selbst bei Dunkelheit und/oder extremen Wetterbedingungen verwendet werden. Die funktionalen Sicherheitsstufen von RADAR können ASIL B sein. Der(die) RADAR-Sensoren 860 können den CAN- und/oder den Bus 802 verwenden (z.B. um Daten zu übertragen, die von den RADAR-Sensoren 860 erzeugt werden), zur Steuerung und zum Zugriff auf Objektverfolgungsdaten, in einigen Beispielen mit Zugriff auf Ethernet zum Zugriff auf Rohdaten. Es können eine weite Vielzahl von RADAR-Sensortypen verwendet werden. Beispielsweise kann(können) der(die) RADAR-Sensor(en) 860 ohne Einschränkung für den vorderen, hinteren und seitlichen RADAR-Einsatz geeignet sein. In einigen Beispielen wird(werden) ein Puls-Doppler-RADAR-Sensor(en) verwendet.
Der(die) RADAR-Sensor(en) 860 kann(können) verschiedene Konfigurationen umfassen, wie z.B. eine große Reichweite mit engem Sichtfeld, eine kurze Reichweite mit breitem Sichtfeld, eine seitliche Abdeckung mit kurzer Reichweite usw. In einigen Beispielen kann das RADAR mit großer Reichweite für eine adaptive Geschwindigkeitsregelungsfunktion verwendet werden. Die RADAR-Systeme mit großer Reichweite können ein breites Sichtfeld bereitstellen, das durch zwei oder mehr unabhängige Scans erreicht wird, wie beispielsweise innerhalb einer Reichweite von 250 m. Der(die) RADAR-Sensor(en) 860 kann(können) helfen, zwischen statischen und beweglichen Objekten zu unterscheiden, und kann(können) von ADAS-Systemen zur Notbremsunterstützung und Vorwärtskollisionswarnung verwendet werden. RADAR-Sensoren mit großer Reichweite können monostatische multimodale RADAR-Sensoren mit mehreren (z.B. sechs oder mehr) festen RADAR-Antennen und einer schnellen CAN- und FlexRay-Schnittstelle umfassen. In einem Beispiel mit sechs Antennen können die zentralen vier Antennen ein fokussiertes Strahlmuster erzeugen, das ausgelegt ist, die Umgebungen des Fahrzeugs 800 bei höheren Geschwindigkeiten mit minimalen Störungen durch den Verkehr in benachbarten Spuren aufzunehmen. Die beiden anderen Antennen können das Sichtfeld erweitern, so dass es möglich ist, Fahrzeuge, die in die Spur des Fahrzeugs 800 eintreten oder diese verlassen, schnell erkannt werden können.
RADAR-Systeme mit mittlerer Reichweite können beispielsweise eine Reichweite von bis zu 860 m (vorne) oder 80 m (hinten) und ein Sichtfeld von bis zu 42 Grad (vorne) oder 850 Grad (hinten) umfassen. RADAR-Systeme mit kurzer Reichweite können ohne Einschränkung RADAR-Sensoren umfassen, die für die Installation an beiden Enden der hinteren Stoßstange ausgestaltet sind. Bei Installation an beiden Enden der hinteren Stoßstange kann ein derartiges RADAR-Sensorsystem zwei Strahlen erzeugen, die den toten Winkel im Heck und neben dem Fahrzeug ständig überwachen.
RADAR-Systeme mit kurzer Reichweite können in einem ADAS-System zur Erfassung des toten Winkels und/oder zur Spurwechselassistenz verwendet werden.
Das Fahrzeug 800 kann ferner einen oder mehrere Ultraschallsensoren 862 umfassen. Der(die) Ultraschallsensor(en) 862, der(die) vorne, hinten und/oder an den Seiten des Fahrzeugs 800 positioniert werden kann(können), kann(können) für eine Einparkhilfe und/oder zum Erzeugen und Aktualisieren eines Belegungsgitters verwendet werden. Eine weite Vielzahl von Ultraschallsensoren 862 kann verwendet werden, und unterschiedliche Ultraschallsensoren 862 können für verschiedene Erfassungsbereiche (z.B. 2,5 m; 4 m) verwendet werden. Der(die) Ultraschallsensor(en) 862 kann(können) bei den funktionalen Sicherheitsstufen von ASIL B arbeiten.
Das Fahrzeug 800 kann ein oder mehrere LIDAR-Sensoren 864 umfassen. Der(die) LIDAR-Sensor(en) 864 können zur Objekt- und Fußgängererfassung, Notbremsung, Kollisionsvermeidung und/oder für andere Funktionen verwendet werden. Der(die) LIDAR-Sensor(en) können Von Funktionssicherheitsniveau ASIL B sein. In einigen Beispielen kann das Fahrzeug 800 mehrere LIDAR-Sensoren 864 (z.B. zwei, vier, sechs usw.) umfassen, die Ethernet verwenden können (z.B. um Daten an einen Gigabit-Ethernet-Schalter zu liefern).
In einigen Beispielen kann(können) der(die) LIDAR-Sensor(en) 864 in der Lage sein, eine Liste von Objekten und deren Abstände für ein 360-Grad-Sichtfeld bereitzustellen. Handelsübliche LIDAR-Sensoren 864 können beispielsweise eine beworbene Reichweite von ungefähr 800 m mit einer Genauigkeit von 2 cm-3 cm und einer Unterstützung für eine 800 Mbit/s Ethernet-Verbindung aufweisen. In einigen Beispielen können ein oder mehrere nicht vorstehende LIDAR-Sensoren 864 verwendet werden. In derartigen Beispielen kann(können) der(die) LIDAR-Sensor(en) 864 als kleine Vorrichtung implementiert werden, die in die Vorderseite, dem Heck, den Seiten und/oder Ecken des Fahrzeugs 800 eingebettet sein kann. Der(die) LIDAR-Sensoren) 864 kann(können) in derartigen Beispielen ein horizontales Sichtfeld von bis zu 820 Grad und ein vertikales Sichtfeld von 35 Grad mit einer Reichweite von 200 m sogar für Objekte mit geringer Reflexion bereitstellen. Der(die) vorderseitig montierte(n) LIDAR-Sensor(en) 864 kann(können) für ein horizontales Sichtfeld zwischen 45 Grad und 135 Grad konfiguriert sein.
In einigen Beispielen können LIDAR-Technologien, wie beispielsweise 3D-Flash-LIDAR, ebenfalls verwendet werden. 3D-Flash-LIDAR verwendet einen Laserblitz als eine Übertragungsquelle, um die Fahrzeugumgebung bis zu etwa 200 m zu beleuchten. Eine Flash-LIDAR-Einheit umfasst einen Rezeptor, der die Laserpulslaufzeit und das reflektierte Licht auf jedem Pixel erfasst, was wiederum der Reichweite von dem Fahrzeug bis zu den Objekten entspricht. Flash-LIDAR kann ermöglichen, dass mit jedem Laserblitz hochpräzise und verzerrungsfreie Bilder der Umgebung erzeugt werden. In einigen Beispielen können vier Flash-LIDAR-Sensoren eingesetzt werden, einer auf jeder Seite des Fahrzeugs 800. Verfügbare 3D-Flash-LIDAR-Systeme umfassen eine 3D-Festkörper-LIDAR-Kamera mit feststehender Anordnung ohne bewegliche Teile außer einem Lüfter (z.B. eine nicht abtastende LIDAR-Vorrichtung). Das Flash-LIDAR-Gerät kann einen Laser der Klasse I (augensicher) mit Pulsen von 5 Nanosekunden pro Bild verwenden und das reflektierte Laserlicht in Form von 3D-Reichweitenpunktwolken und gemeinsam registrierten Intensitätsdaten erfassen. Durch die Verwendung von Flash-LIDAR und weil Flash-LIDAR eine Festkörper-Vorrichtung ohne bewegliche Teile ist, kann der(die) LIDAR-Sensor(en) 864 weniger anfällig für Bewegungsunschärfe, Vibrationen und/oder Stöße sein.
Das Fahrzeug kann ferner einen oder mehrere IMU-Sensor(en) 866 umfassen. Der(die) IMU-Sensor(en) 866 kann(können) in einigen Beispielen in der Mitte der Hinterachse des Fahrzeugs 800 lokalisiert sein. Der(die) IMU-Sensor(en) 866 kann(können) beispielsweise und ohne Einschränkung einen(mehrere) Beschleunigungssensor(en), Magnetometer, Gyroskop(e), Magnetkompass(e) und/oder andere Sensortypen umfassen. In einigen Beispielen, wie beispielsweise in sechsachsigen Anwendungen, kann(können) der(die) IMU-Sensor(en) 866 Beschleunigungssensoren und Gyroskope umfassen, während in neunachsigen Anwendungen der(die) IMU-Sensor(en) 866 Beschleunigungssensoren, Gyroskope und Magnetometer umfassen können.
In einigen Ausführungsformen kann(können) der(die) IMU-Sensor(en) 866 als miniaturisiertes, leistungsstarkes GPSgestütztes Trägheitsnavigationssystem (GPS/INS) implementiert werden, das Trägheitssensoren mikro-elektromechanische Systeme (MEMS), einen hochempfindlichen GPS-Empfänger und erweiterte Kalman-Filteralgorithmen kombiniert, um Schätzungen von Position, Geschwindigkeit und Höhe bereitzustellen. Als solches kann(können) der(die) IMU-Sensor(en) 866 in einigen Beispielen es dem Fahrzeug 800 ermöglichen, die Fahrtrichtung abzuschätzen, ohne dass eine Eingabe von einem Magnetsensor erforderlich ist, indem die Geschwindigkeitsänderungen vom GPS zum IMU-Sensor(en) 866 direkt beobachtet und korreliert werden. In einigen Beispielen kann(können) der(die) IMU-Sensor(en) 866 und der(die) GNSS-Sensor(en) 858 in einer einzigen integrierten Einheit kombiniert sein.
Das Fahrzeug kann ein oder mehrere Mikrophone 896 umfassen, die sich im und/oder um das Fahrzeug 800 herum befinden. Das(die) Mikrophon(e) 896 kann(können) unter anderem zur Erfassung und Identifizierung von Rettungsfahrzeugen verwendet werden.
Das Fahrzeug kann ferner eine beliebige Anzahl von Kameratypen umfassen, einschließlich Stereokamera(s) 868, Weitwinkelkamera(s) 870, Infrarotkamera(s) 872, Surround-Kamera(s) 874, Kamera(s) 898 mit großer und/oder mittlerer Reichweite und/oder andere Kameratypen. Die Kameras können zum Erfassen von Bilddaten über den gesamten Umfang des Fahrzeugs 800 verwendet werden. Die verwendeten Kameratypen hängen von den Ausführungsformen und Anforderungen an das Fahrzeug 800 ab, und eine beliebige Kombination von Kameratypen kann verwendet werden, um die erforderliche Abdeckung rund um das Fahrzeug 800 bereitzustellen. Außerdem kann die Anzahl der Kameras abhängig von der Ausführungsform unterschiedlich sein. Beispielsweise kann das Fahrzeug sechs Kameras, sieben Kameras, zehn Kameras, zwölf Kameras und/oder eine andere Anzahl von Kameras umfassen. Die Kameras können beispielsweise und ohne Einschränkung Gigabit Multimedia Serial Link (GMSL) und/oder Gigabit Ethernet unterstützen. Jede der Kameras wird hier ausführlicher mit Bezug auf 8A und 8B beschrieben.
Das Fahrzeug 800 kann ferner einen Vibrationssensor(en) 842 umfassen. Der(die) Vibrationssensor(en) 842 kann(können) die Vibrationen von Komponenten des Fahrzeugs, wie beispielsweise der Achse(n), messen. Beispielsweise können Änderungen in Vibrationen auf eine Veränderung in der Straßenoberfläche hinweisen. In einem weiteren Beispiel können, wenn zwei oder mehr Vibrationssensoren 842 verwendet werden, die Unterschiede zwischen den Schwingungen verwendet werden, um die Reibung oder den Schlupf der Straßenoberfläche zu bestimmen (z.B., wenn die Schwingungsdifferenz zwischen einer angetriebenen Achse und einer frei rotierenden Achse besteht).
Das Fahrzeug 800 kann ein ADAS-System 838 umfassen. Das ADAS-System 838 kann in einigen Beispielen einen SoC umfassen. Das ADAS-System 838 kann einen autonomen/adaptiven/automatischen Geschwindigkeitsregler (ACC), einen kooperativen adaptiven Geschwindigkeitsregler (CACC), eine Vorwärts-Zusammenstoßwarnung (FCW), eine automatische Notbremsung (AEB), Spurhaltemeldungen (LDW), einen Spurhalteassistenten (LKA), eine Tote-Winkel-Warnung (BSW), eine hintere Querverkehrswarnung (RCTW), Kollisionswarnsysteme (CWS), eine Spurzentrierung (LC) und/oder andere Merkmale und Funktionen umfassen.
Die ACC-Systeme können RADAR-Sensoren 860, LIDAR-Sensoren 864 und/oder eine oder mehrere Kameras verwenden. Die ACC-Systeme können ein längs gerichtetes ACC und/oder ein seitwärts gerichtetes ACC umfassen. Das längs gerichtete ACC überwacht und steuert den Abstand zum Fahrzeug unmittelbar vor dem Fahrzeug 800 und passt die Fahrzeuggeschwindigkeit automatisch an, um einen Sicherheitsabstand zu den vorausfahrenden Fahrzeugen einzuhalten. Das seitwärts gerichtete ACC führt eine Abstandshaltung durch und empfiehlt dem Fahrzeug 800, bei Bedarf die Spur zu wechseln. Das seitwärts gerichtete ACC ist mit anderen ADAS-Anwendungen, wie beispielsweise Spurwechselassistenz (Lane Change Assistance; LCA) und Kollisionswarnsystem (Collision Warning System; CWS assoziiert.
CACC verwendet Informationen von anderen Fahrzeugen, die über die Netzwerkschnittstelle 824 und/oder die drahtlose(n) Antenne(n) 826 von anderen Fahrzeugen über eine drahtlose Verbindung oder indirekt über eine Netzwerkverbindung (z.B. über das Internet) empfangen werden können. Direkte Verbindungen können über eine Kommunikationsverbindung zwischen Fahrzeug-zu-Fahrzeug (V2V) bereitgestellt werden, während indirekte Verbindungen eine Kommunikationsverbindung zwischen Infrastruktur-zu-Fahrzeug (I2V) sein können. Im Allgemeinen kann das V2V-Kommunikationskonzept Information über die unmittelbar vorausfahrenden Fahrzeuge (z.B. Fahrzeuge unmittelbar vor und in der gleichen Spur wie das Fahrzeug 800), während das I2V-Kommunikationskonzept Information über den weiter entfernten Verkehr liefern kann. CACC-Systeme können eine oder beide der I2V- und V2V-Informationsquellen umfassen. Bei gegebener Information der vor dem Fahrzeug 800 fahrenden Fahrzeuge kann CACC mit dem Potenzial zuverlässiger sein, die Verkehrsflussglätte zu verbessern und Staus auf der Straße zu verringern.
FCW-Systeme sind ausgestaltet, um den Fahrer vor einer Gefahr zu warnen, so dass der Fahrer Korrekturmaßnahmen ergreifen kann. FCW-Systeme können eine nach vorne gerichtete Kamera und/oder RADAR-Sensoren 860 umfassen, die mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind, der elektrisch mit einer Fahrerrückkopplung, wie beispielsweise einer Anzeige, Lautsprecher und/oder Vibrationskomponente, gekoppelt ist. FCW-Systeme können eine Warnung, wie beispielweise in Form von Schall, optischer Warnung, Vibration und/oder einem schnellen Bremsimpuls bereitstellen.
AEB-Systeme können eine drohende Vorwärtskollision mit einem anderen Fahrzeug oder einem anderen Objekt erfassen und können die Bremsen automatisch betätigen, wenn der Fahrer innerhalb eines bestimmten Zeit- oder Abstandsparameters keine Korrekturmaßnahmen ergreift. AEB-Systeme können nach vorne gerichtete Kameras und/oder Radarsensoren 860 verwenden, die mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind. Wenn das AEB-System eine Gefahr erkennt, kann es den Fahrer zunächst darauf aufmerksam machen, um Korrekturmaßnahmen zur Vermeidung der Kollision zu ergreifen, und wenn der Fahrer keine Korrekturmaßnahmen ergreift, kann das AEB-System automatisch die Bremsen in einem Bemühen betätigen, um die Auswirkungen der vorhergesagten Kollision zu verhindern oder zumindest zu mildern. AEB-Systeme können Techniken, wie beispielsweise dynamische Bremsunterstützung und/oder Bremsen bei drohender Kollision, umfassen.
LDW-Systeme können visuelle, akustische und/oder taktile Warnungen bereitstellen, wie beispielsweise Lenkrad- oder Sitzvibrationen, um den Fahrer zu warnen, wenn das Fahrzeug 800 Fahrbahnmarkierungen überquert. Ein LDW-System kann nicht aktiviert werden, wenn der Fahrer ein absichtliches Verlassen der Spur, wie beispielsweise durch Aktivieren eines Blinkers, angibt. LDW-Systeme können nach vorne/seitlich gerichtete Kameras verwenden, die mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind, der elektrisch mit einer Fahrerrückkopplung gekoppelt ist, wie beispielsweise einer Anzeige, einem Lautsprecher und/oder einer Vibrationskomponente.
LKA-Systeme können eine Variante von LDW-Systemen sein. LKA-Systeme können Lenkeingaben oder Bremsen bereitstellen, um das Fahrzeug 800 zu korrigieren, wenn das Fahrzeug 800 beginnt, die Spur zu verlassen.
BSW-Systeme können den Fahrer von Fahrzeugen im toten Winkel eines Fahrzeugs erfassen und warnen. BSW-Systeme können einen visuellen, akustischen und/oder taktilen Alarm bereitstellen, um anzugeben, dass das Zusammenführen oder Wechseln von Spuren unsicher ist. Das System kann eine zusätzliche Warnung ausgeben, wenn der Fahrer einen Blinker benutzt. BSW-Systeme können rückwärts-seitlich gerichtete Kameras und/oder RADAR-Sensoren 860 verwenden, die mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind, der elektrisch mit einer Fahrerrückkopplung gekoppelt ist, wie beispielsweise einer Anzeige, einem Lautsprecher und/oder einer Vibrationskomponente.
RCTW-Systeme können eine visuelle, akustische und/oder taktile Benachrichtigung liefern, wenn ein Objekt außerhalb des Rückfahrkamerabereichs erkannt wird, wenn das Fahrzeug 800 rückwärtsfährt. Einige RCTW-Systeme umfassen AEB, um sicherzustellen, dass die Fahrzeugbremsen betätigt werden, um einen Unfall zu vermeiden. RCTW-Systeme können einen oder mehrere nach hinten gerichtete RADAR-Sensoren 860 verwenden, die mit einem dedizierten Prozessor, DSP, FPGA und/oder ASIC gekoppelt sind, der elektrisch mit einer Fahrerrückkopplung, wie beispielsweise einer Anzeige, einem Lautsprecher und/oder einer Vibrationskomponente, gekoppelt ist.
Herkömmliche ADAS-Systeme können für falsch positive Ergebnissen anfällig sein, die für einen Fahrer lästig und störend sein können, jedoch typischerweise nicht katastrophal sind, da die ADAS-Systeme den Fahrer warnen und es dem Fahrer ermöglichen, zu entscheiden, ob eine Sicherheitsbedingung tatsächlich vorliegt, und entsprechend zu handeln. Bei einem autonomen Fahrzeug 800 kann das Fahrzeug 800 jedoch bei widersprüchlichen Ergebnissen selbst entscheiden, ob es das Ergebnis von einem Primärcomputer oder einem Sekundärcomputer (z.B. einem ersten Controller 836 oder einem zweiten Controller 836) beachtet. Beispielsweise kann das ADAS-System 838 in einigen Ausführungsformen ein Backup- und/oder Sekundärcomputer sein, um einem Rationalitätsmodul des Backup-Computers Wahrnehmungsinformationen zur Verfügung zu stellen. Der Rationalitätsmonitor des Backup-Computers kann eine redundante, diverse Software auf Hardwarekomponenten ausführen, um Fehler in der Wahrnehmung und dynamischen Fahraufgaben zu erfassen. Ausgaben von dem ADAS-System 838 können einer Supervisor-MCU bereitgestellt werden. Wenn Ausgaben von dem primären Computer und dem sekundären Computer miteinander kollidieren, kann die Supervisor-MCU bestimmen, wie der Konflikt zu lösen ist, um einen sicheren Betrieb zu gewährleisten.
In einigen Beispielen kann der Primärcomputer konfiguriert sein, um der Supervisor-MCU einen Vertrauenswert zu liefern, der das Vertrauen des Primärcomputers in das gewählte Ergebnis anzeigt. Wenn der Vertrauenswert einen Schwellenwert überschreitet, kann die Supervisor-MCU der Richtung des Primärcomputers unabhängig davon folgen, ob der Sekundärcomputer ein widersprüchliches oder inkonsistentes Ergebnis liefert. Wenn der Vertrauenswert den Schwellenwert nicht erreicht und wenn der primäre und der sekundäre Computer unterschiedliche Ergebnisse angeben (z.B. den Konflikt), kann die Supervisor-MCU zwischen den Computern vermitteln, um das angemessene Ergebnis zu bestimmen.
Die Supervisor-MCU kann konfiguriert sein, um ein oder mehrere neuronale Netzwerke zu betreiben, die trainiert und konfiguriert sind, um basierend auf den Ergebnissen des primären Computers und des sekundären Computers Bedingungen zu bestimmen, unter denen der sekundäre Computer Fehlalarme liefert. Somit kann(können) das(die) neuronale(n) Netzwerk(e) in der Supervisor-MCU lernen, wenn der Ausgabe des Sekundärcomputers vertraut werden kann und wenn nicht. Wenn der Sekundärcomputer beispielsweise ein RADAR-basiertes FCW-System ist, kann(können) ein neuronales Netzwerk(e) in der Supervisor-MCU lernen, wenn das FCW-System metallische Objekte identifiziert, die in Wirklichkeit keine Gefahren sind, wie beispielsweise ein Drainagerost oder eine Schachtabdeckung, die einen Alarm auslöst. Auf ähnliche Weise kann, wenn der Sekundärcomputer ein kamerabasiertes LDW-System ist, ein neuronales Netzwerk in der Supervisor-MCU lernen, das LDW zu übersteuern, wenn Radfahrer oder Fußgänger anwesend sind und ein Verlassen der Spur tatsächlich das sicherste Manöver ist. In Ausführungsformen, die ein neuronales Netzwerk(e) umfassen, die auf der Supervisor-MCU ausgeführt werden, kann die Supervisor-MCU mindestens eine von einer DLA oder einer GPU umfassen, die zum Ausführen des/der neuronalen Netzwerke mit zugehörigem Speicher geeignet ist. In einigen Ausführungsformen kann die Supervisor-MCU ein SoC(s) umfassen und/oder als ein Bestandteil des/der SoC(s) 804 enthalten sein.
In anderen Beispielen kann das ADAS-System 838 einen sekundären Computer umfassen, der die ADAS-Funktionalität nach den herkömmlichen Regeln der Computer-Vision ausführt. Somit kann der Sekundärcomputer klassische Computer-Vision-Regeln verwenden (Wenn-Dann), und das Vorhandensein eines oder mehrerer neuronaler Netzwerke in der Supervisor-MCU kann die Zuverlässigkeit, Sicherheit und Leistung verbessern. Beispielsweise kann die vielfältige Implementierung und absichtliche Nicht-Identität das Gesamtsystem insbesondere gegenüber Fehlern fehlertoleranter machen, die durch die Funktionalität von Software (oder einer Software-Hardware-Schnittstelle) verursacht werden. Wenn es beispielsweise einen Software-Bug oder Fehler in der auf dem primären Computer ausgeführten Software gibt und der nicht-identische Softwarecode, der auf dem sekundären Computer ausgeführt wird, das gleiche Gesamtergebnis liefert, kann die Supervisor-MCU eine größere Sicherheit aufweisen, dass das Gesamtergebnis korrekt ist, und der Bug in der Software oder Hardware auf dem primären Computer keinen wesentlichen Fehler verursacht.
In einigen Beispielen kann die Ausgabe des ADAS-Systems 838 in den Wahrnehmungsblock des Primärcomputers und/oder in den dynamischen Fahraufgabenblock des Primärcomputers eingespeist werden. Wenn das ADAS-System 838 beispielsweise eine Vorwärts-Zusammenstoß-Warnung aufgrund eines unmittelbar vorausgehenden Objekts anzeigt, kann der Wahrnehmungsblock diese Information beim Identifizieren von Objekten verwenden. In anderen Beispielen kann der Sekundärcomputer sein eigenes neuronales Netzwerk aufweisen, das trainiert wird und somit das Risiko von Fehlalarmen reduziert, wie hier beschrieben.
Das Fahrzeug 800 kann ferner das Infotainment-SoC 830 umfassen (z.B. ein Infotainmentsystem (IVI) im Fahrzeug). Obwohl als SoC veranschaulicht und beschrieben, ist das Infotainmentsystem möglicherweise kein SoC und kann zwei oder mehr diskrete Komponenten umfassen. Das Infotainment-SoC 830 kann eine Kombination aus Hardware und Software umfassen, die verwendet werden kann, um Audio (z.B. Musik, einen persönlichen digitalen Assistenten, Navigationsanweisungen, Nachrichten, Radio, usw.), Video (z.B. TV, Filme, Streaming, usw.), Telefon (z.B. Freisprechfunktion), Netzwerkkonnektivität (z.B. LTE, WiFi usw.) und/oder Informationsdienste (z.B. Navigationssysteme, Rückfahrhilfen, ein Funkdatensystem, fahrzeugbezogene Information wie Kraftstoffstand, Gesamtstrecke, Bremskraftstoffstand, Ölstand, Tür auf/zu, Luftfilterinformation usw.) für das Fahrzeug 800 bereitzustellen. Beispielsweise kann das Infotainment-SoC 830 Radios, Diskettenspieler, Navigationssysteme, Videoplayer, USB- und Bluetooth-Konnektivität, Carputer, In-Car-Entertainment, WiFi, Lenkrad-Audiosteuerungen, Freisprechfunktion, eine Head-Up-Display (HUD), eine HMI-Display 634, ein Telematikgerät, ein Bedienfeld (z.B. zur Steuerung und/oder Wechselwirkung mit verschiedenen Komponenten, Merkmalen und/oder Systemen) und/oder andere Komponenten umfassen. Das Infotainment-SoC 830 kann ferner verwendet werden, um einem Benutzer(n) des Fahrzeugs Informationen (z.B. visuell und/oder akustisch), wie z. B. Informationen aus dem ADAS-System 838, autonome Fahrinformationen wie geplante Fahrzeugmanöver, Trajektorien, Umgebungsinformationen (z. B. Kreuzungsinformationen, Fahrzeuginformationen, Straßeninformationen, usw.) und/oder andere Informationen bereitzustellen.
Das Infotainment-SoC 830 kann eine GPU-Funktionalität umfassen. Das Infotainment-SoC 830 kann über den Bus 802 (z.B. CAN-Bus, Ethernet, usw.) mit anderen Vorrichtungen, Systemen und/oder Komponenten des Fahrzeugs 800 kommunizieren. In einigen Beispielen kann das Infotainment-SoC 830 mit einer Supervisor-MCU gekoppelt sein, so dass die GPU des Infotainmentsystems einige Selbstfahrfunktionen übernehmen kann, falls der(die) primäre(n) Controller 836 (z.B. die primären und/oder Backup-Computer des Fahrzeugs 800) ausfällt/ausfallen. In einem derartigen Beispiel kann das Infotainment-SoC 830 das Fahrzeug 800 in einen sicheren Stoppmodus versetzen, wie hier beschrieben.
Das Fahrzeug 800 kann ferner eine Instrumentengruppe 832 umfassen (z.B. ein digitales Armaturenbrett, eine elektronische Instrumentengruppe, ein digitales Instrumentenbrett usw.). Das Instrumentengruppe 832 kann einen Controller und/oder einen Supercomputer (z.B. eine diskrete Steuerung oder einen Supercomputer) umfassen. Die Instrumentengruppe 832 kann einen Satz von Instrumenten umfassen, wie beispielsweise Geschwindigkeitsmesser, Kraftstoffstand, Öldruck, Drehzahlmesser, Kilometerzähler, Blinker, Schaltpositionsanzeige, Sicherheitsgurtwarnleuchte(n), Feststellbremswarnleuchte(n), Motorstörungsleuchte(n), Airbag (SRS)-Systeminformationen, Beleuchtungssteuerungen, Sicherheitssystemsteuerungen, Navigationsinformationen usw. In einigen Beispielen können Informationen zwischen dem Infotainment-SoC 830 und dem Instrumentengruppe 832 angezeigt und/oder ausgetauscht werden. Mit anderen Worten kann die Instrumentengruppe 832 als Teil des Infotainment-SoC 830 integriert sein oder umgekehrt.
8D ist ein Systemdiagramm für die Kommunikation zwischen einem Cloud-basierten Server(n) und dem Beispiel eines autonomen Fahrzeugs 800 von 8A gemäß einigen Ausführungsformen der vorliegenden Offenbarung. Das System 876 kann einen oder mehrere Server 878, ein oder mehrere Netzwerke 890, sowie Fahrzeuge, einschließlich des Fahrzeugs 800, umfassen. Der(die) Server 878 können mehrere GPUs 884(A)-884(H) (hier zusammenfassend als GPUs 884 bezeichnet), PCIe-Schalter 882(A)-882(H) (hier zusammenfassend als PCIe-Schalter 882 bezeichnet) und/oder CPUs 880(A)-880(B) (hier zusammenfassend als CPUs 880 bezeichnet) umfassen. Die GPUs 884, die CPUs 880 und die PCIe-Schalter können mit Hochgeschwindigkeit-Interconnects, wie beispielsweise und ohne Einschränkung NVLink-Schnittstellen 888, die von NVIDIA entwickelt wurden, und/oder PCIe-Anschlüssen 886 verbunden sein. In einigen Beispielen sind die GPUs 884 über NVLink und/oder NVSwitch SoC verbunden und die GPUs 884 und die PCIe-Schalter 882 sind über PCIe-Interconnects verbunden. Obwohl acht GPUs 884, zwei CPUs 880 und zwei PCIe-Schalter veranschaulicht sind, ist dies nicht bestimmt, einschränkend zu sein. Abhängig von der Ausführungsform kann jeder (der) Server 878 eine beliebige Anzahl von GPUs 884, CPUs 880 und/oder PCIe-Schalter umfassen. Beispielsweise kann(können) der(die) Server 878 jeweils acht, sechzehn, zweiunddreißig und/oder mehr GPUs 884 umfassen.
Der(die) Server 878 können über das(die) Netzwerk(e) 890 und von den Fahrzeugen Bilddaten empfangen, die Bilder repräsentieren, die unerwartete oder veränderte Straßenbedingungen zeigen, wie beispielsweise kürzlich begonnene Straßenarbeiten. Der(die) Server 878 können über das(die) Netzwerk(e) 890 und an die Fahrzeuge neuronale Netzwerke 892, aktualisierte neuronale Netzwerke 892 und/oder Karteninformation 894 übertragen, einschließlich Information über Verkehrs- und Straßenzustände. Die Aktualisierungen der Karteninformationen 894 können Aktualisierungen für die HD-Karte 822 umfassen, wie beispielsweise Information über Baustellen, Schlaglöcher, Umwege, Überschwemmungen und/oder anderen Hindernisse. In einigen Beispielen können die neuronalen Netzwerke 892, die aktualisierten neuronalen Netzwerke 892 und/oder die Karteninformationen 894 aus einem erneuten Trainieren und/oder aus Erfahrungen, die durch Daten aus einer beliebigen Anzahl von Fahrzeugen in der Umgebung repräsentiert werden, und/oder basierend auf einem in einem Rechenzentrum durchgeführten Training (z.B. unter Verwendung des/der Server 878 und/oder eines anderen/anderer Server) entstanden sein.
Der(die) Server 878 kann(können) verwendet werden, um Modelle für maschinelles Lernen (z.B. neuronale Netzwerke) basierend auf Trainingsdaten zu trainieren. Die Trainingsdaten können von den Fahrzeugen erzeugt und/oder in einer Simulation (z.B. mit einer Game-Engine) erzeugt werden. In einigen Beispielen werden die Trainingsdaten mit einer Kennzeichnung versehen (z.B. wenn das neuronale Netzwerk durch überwachtes Lernen profitiert) und/oder eine andere Vorverarbeitung durchläuft, während in anderen Beispielen die Trainingsdaten nicht identifiziert und/oder vorverarbeitet werden (z.B. wenn das neuronale Netzwerk kein überwachtes Lernen erfordert). Sobald die Modelle für maschinelles Lernen trainiert sind, können die Modelle für maschinelles Lernen von den Fahrzeugen verwendet werden (z.B. übermittelt an die Fahrzeuge über das/die Netzwerk(e) 890 und/oder die Modelle für maschinelles Lernen können von dem(den) Server(n) 878 verwendet werden, um die Fahrzeuge aus der Ferne zu überwachen.
In einigen Beispielen kann(können) der(die) Server 878 Daten von den Fahrzeugen empfangen und die Daten auf aktuelle neuronale Echtzeit-Netzwerke für intelligente Echtzeit-Inferenzierung anwenden. Der(die) Server 878 kann(können) Deep-Learning-Supercomputer und/oder von einer GPU(s) 884 angetriebene dedizierte KI-Computer umfassen, wie beispielsweise DGX- und DGX-Station-Maschinen, die von NVIDIA entwickelt wurden. In einigen Beispielen kann(können) der(die) Server 878 jedoch eine Deep-Learning-Infrastruktur umfassen, die nur CPU-betriebene Rechenzentren verwendet.
Die Deep-Learning-Infrastruktur des(der) Servers 878 kann in der Lage sein, schnell und in Echtzeit zu inferenzieren, und kann diese Fähigkeit nutzen, um den Zustand der Prozessoren, der Software und/oder der zugehörigen Hardware im Fahrzeug 800 zu bewerten und zu überprüfen. Beispielsweise kann die Deep-Learning-Infrastruktur periodische Aktualisierungen vom Fahrzeug 800 erhalten, wie beispielsweise eine Folge von Bildern und/oder Objekten, die sich das Fahrzeug 800 in dieser Folge von Bildern lokalisiert hat (z.B. durch Computer-Vision und/oder andere Techniken des maschinellen Lernens zur Klassifizierung von Lernobjekten). Die Deep-Learning-Infrastruktur kann ihr eigenes neuronales Netzwerk betreiben, um die Objekte zu identifizieren und mit den vom Fahrzeug 800 identifizierten Objekten zu vergleichen, und wenn die Ergebnisse nicht übereinstimmen und die Infrastruktur zu dem Schluss kommt, dass die KI im Fahrzeug 800 nicht funktioniert, können die Server 878 ein Signal an das Fahrzeug 800 senden, das einen ausfallsicheren Computer des Fahrzeugs 800 anweist, die Steuerung zu übernehmen, die Fahrgäste zu benachrichtigen und ein sicheres Parkmanöver durchzuführen.
Für die Inferenzierung können die Server 878 die GPU(s) 884 und einen oder mehrere programmierbare Inferenzbeschleuniger (z.B. NVIDIAs TensorRT 3) umfassen. Die Kombination aus GPUangetrieben Servern und Inferenzbeschleunigung kann eine Echtzeit-Reaktionsfähigkeit möglich machen. In anderen Beispielen, in denen beispielsweise die Leistung weniger kritisch ist, können Server, die von CPUs, FPGAs und anderen Prozessoren betrieben werden, zur Inferenzierung verwendet werden
Beispielhafte Computervorrichtung 9 ist ein Blockdiagramm einer beispielhaften Computervorrichtung 900, die geeigneten zur Verwendung bei der Implementierung einiger Ausführungsformen der vorliegenden Offenbarung geeignet ist. Die Computervorrichtung 900 kann einen Bus 902 umfassen, der direkt oder indirekt die folgenden Vorrichtungen koppelt: Speicher 904, eine oder mehrere Zentralverarbeitungseinheiten (CPUs) 906, eine oder mehrere Graphikverarbeitungseinheiten (GPUs) 908, eine Kommunikationsschnittstelle 910, Ein-/Ausgabe (I/O)-Ports 912, Eingabe-/Ausgabe-Komponenten 914, eine Leistungsversorgung 916 und eine oder mehreren Präsentationskomponenten 918 (z.B. Anzeige(n)) .
Obwohl die verschiedenen Blöcke von 9 als über den Bus 902 mit Leitungen verbunden gezeigt sind, ist dies nicht bestimmt, einschränkend zu sein, und dient nur der Klarheit. Beispielsweise kann in einigen Ausführungsformen eine Präsentationskomponente 918, wie beispielsweise eine Anzeigevorrichtung, als eine I/O-Komponente 914 betrachtet werden (z.B., wenn die Anzeige ein Touchscreen ist). Als weiteres Beispiel können die CPUs 906 und/oder die GPUs 908 Speicher umfassen (z.B. kann der Speicher 904 für eine Speichervorrichtung zusätzlich zu dem Speicher der GPUs 908, der CPUs 906 und/oder anderer Komponenten repräsentativ sein). Mit anderen Worten ist die Computervorrichtung von 9 lediglich veranschaulichend. Es wird nicht zwischen derartigen Kategorien wie „Arbeitsstation“, „Server“, „Laptop“, „Desktop“, „Tablet“, „Client-Vorrichtung“, „mobile Vorrichtung“, „Handheld-Vorrichtung“, „Spielkonsole“, „elektronische Steuereinheit (ECU)“, „Virtual-Reality-System“, und/oder anderen Vorrichtungs- oder Systemarten unterschieden, wie sie alle innerhalb des Umfangs der Computervorrichtung von 9 denkbar sind.
Der Bus 902 kann einen oder mehrere Busse darstellen, wie beispielsweise einen Adressbus, einen Datenbus, einen Steuerbus oder eine Kombination davon. Der Bus 902 kann eine oder mehrere Busarten umfassen, wie beispielsweise einen Industrie-Standard-Architektur (ISA)-Bus, einen erweiterten Industrie-Standard-Architektur (EISA)-Bus, einen Video Electronics Standards Association (VESA)-Bus, einen Peripheral Component Interconnect (PCI)-Bus, einen Peripheral Component Interconnect Express (PCIe)-Bus und/oder eine andere Art von Bus.
Der Speicher 904 kann beliebige einer Vielzahl von computerlesbaren Medien umfassen. Die computerlesbaren Medien können beliebige verfügbare Medien sein, auf die von der Computervorrichtung 900 zugegriffen werden kann. Die computerlesbaren Medien können sowohl flüchtige als auch nichtflüchtige Medien und entfernbare als auch nicht entfernbare Medien umfassen. Beispielsweise und nicht beschränkend können die computerlesbaren Medien Computer-Speichermedien und Kommunikationsmedien umfassen.
Die Computer-Speichermedien können sowohl flüchtige als auch nichtflüchtige Medien und/oder entfernbare als auch nicht entfernbare Medien umfassen, die in einem beliebigen Verfahren oder einer beliebigen Technologie zur Speicherung von Informationen, wie beispielsweise computerlesbaren Anweisungen, Datenstrukturen, Programmmodulen und/oder anderen Datenarten, implementiert sind. Beispielsweise kann der Speicher 904 computerlesbare Anweisungen (z.B. solche, die ein Programm(e) und/oder ein Programmelement(e), wie beispielsweise ein Betriebssystem darstellen) speichern. Computer-Speichermedien können umfassen, sind jedoch nicht begrenzt auf, RAM, ROM, EEPROM, Flash-Speicher oder andere Speichertechnologien, CD-ROM, Digital Versatile Disks (DVD) oder andere optische Plattenspeicher, Magnetkassetten, Magnetbänder, magnetische Plattenspeicher oder andere magnetische Speichervorrichtungen oder jedes andere Medium, das verwendet werden kann, um die erwünschten Informationen zu speichern, und auf das von der Computervorrichtung 900 zugegriffen werden kann. Wie hier verwendet, umfassen Computerspeichermedien keine Signale per se.
Die Kommunikationsmedien können computerlesbare Anweisungen, Datenstrukturen, Programmmodule und/oder andere Datenarten in einem modulierten Datensignal, wie beispielsweise einer Trägerwelle oder einem anderen Transportmechanismus, verkörpern und beliebige Information-liefernde Medien umfassen. Der Begriff „moduliertes Datensignal“ kann sich auf ein Signal beziehen, das eine oder mehrere seiner Eigenschaften eingestellt oder auf eine derartige Art und Weise geändert hat, um Informationen in dem Signal zu codieren. Beispielhaft und nicht einschränkend können die Kommunikationsmedien drahtgebundene Medien, wie beispielsweise ein drahtgebundenes Netzwerk oder eine direktverdrahtete Verbindung sowie drahtlosen Medien, wie beispielsweise akustische, HF-, Infrarot- und andere drahtlose Medien, umfassen. Kombinationen aus beliebigem des Obigen sollten ebenfalls innerhalb des Umfangs von computerlesbaren Medien umfasst sein.
Die CPU(s) 906 kann/können konfiguriert sein, um die computerlesbaren Anweisungen auszuführen, um eine oder mehrere Komponenten der Computervorrichtung 900 zu steuern, um eines oder mehrere der hier beschriebenen Verfahren und/oder Prozesse durchzuführen. Die CPU(s) 906 kann(können) jeweils einen oder mehrere Kerne (z.B. ein, zwei, vier, acht, achtundzwanzig, zweiundsiebzig usw.) umfassen, die in der Lage sind, eine Vielzahl von Software-Threads gleichzeitig zu verarbeiten. Die CPU(s) 906 kann(können) jede Art von Prozessor umfassen und kann(können) unterschiedliche Arten von Prozessoren abhängig von der Art der implementierten Computervorrichtung 900 umfassen (z.B. Prozessoren mit weniger Kernen für mobile Vorrichtungen und Prozessoren mit mehr Kernen für Server). Beispielsweise kann der Prozessor abhängig von der Art von Computervorrichtung 900 ein ARM-Prozessor sein, der unter Verwendung des Reduced Instruction Set Computing (RISC) implementiert ist, oder ein x86-Prozessor sein, der unter Verwendung des Complex Instruction Set Computing (CISC) implementiert ist. Die Computervorrichtung 900 kann eine oder mehrere CPUs 906 zusätzlich zu einem oder mehreren Mikroprozessoren oder zusätzliche Co-Prozessoren, wie beispielsweise mathematische Co-Prozessoren, umfassen.
Die GPU(s) 908 kann(können) von der Computervorrichtung 900 verwendet werden, um Graphiken (z.B. 3D-Graphiken) zu rendern. Die GPU(s) 908 kann(können) Hunderte oder Tausende von Kernen umfassen, die in der Lage sind, Hunderte oder Tausende von Software-Threads gleichzeitig zu handhaben. Die GPU(s) 908 kann(können) Pixeldaten für Ausgabebilder als Antwort auf Rendering-Befehle erzeugen (z.B. Rendering-Befehle von der(den) CPU(s) 906, die über eine Host-Schnittstelle empfangen werden). Die GPU(s) 908 kann(können) Graphikspeicher, wie beispielsweise Anzeigespeicher, zum Speichern von Pixeldaten umfassen. Der Anzeigespeicher kann als Teil des Speichers 904 umfasst sein. Die GPU(s) 908 kann(können) zwei oder mehr GPUs umfassen, die in parallel (z.B. über eine Verbindung) arbeiten. Wenn zusammen kombiniert, kann jede GPU 908 Pixeldaten für unterschiedliche Abschnitte eines Ausgabebildes oder für unterschiedliche Ausgabebilder erzeugen (z.B. eine erste GPU für ein erstes Bild und eine zweite GPU für ein zweites Bild). Jede GPU kann ihren eigenen Speicher umfassen oder kann sich Speicher mit anderen GPUs teilen.
In Beispielen, in denen die Computervorrichtung 900 die GPU(s) 908 nicht umfasst(umfassen), kann(können) die CPU(s) 906 verwendet werden, um Graphiken zu rendern.
Die Kommunikationsschnittstelle 910 kann einen oder mehrere Empfänger, Sender und/oder Sender-Empfänger umfassen, die es der Computervorrichtung 900 ermöglichen, mit anderen Computervorrichtungen über ein elektronisches Kommunikationsnetzwerk, einschließlich drahtgebundener und/oder drahtloser Kommunikation, zu kommunizieren. Die Kommunikationsschnittstelle 910 kann Komponenten und Funktionalität umfassen, um Kommunikation über ein beliebiges einer Anzahl von unterschiedlichen Netzwerken, wie beispielsweise drahtlose Netzwerke (z.B. Wi-Fi, Z-Wave, Bluetooth, Bluetooth LE, ZigBee usw.), drahtgebundene Netzwerke (z.B. Kommunikation über Ethernet), Low-Power-Weitbereichsnetzwerke (z.B. LoRaWAN, SigFox usw.) und/oder das Internet zu ermöglichen.
Die I/O-Ports 912 können es der Computervorrichtung 900 ermöglichen, logisch mit anderen Vorrichtungen, einschließlich der I/O-Komponenten 914, der Präsentationskomponente(n) 918 und/oder anderen Komponenten, von denen einigen in die Computervorrichtung 900 eingebaut (z.B. integriert) sein können, gekoppelt zu sein. Veranschaulichende I/O-Komponenten 914 umfassen ein Mikrophon, eine Maus, eine Tastatur, einen Joystick, ein Gamepad, einen Spielecontroller, eine Satellitenschüssel, einen Scanner, einen Drucker, eine drahtlose Vorrichtung usw. Die I/O-Komponenten 914 können eine natürliche Benutzer-Schnittstelle (NUI) bereitstellen, die Luftgesten, Sprache oder andere physiologische Eingaben, die von einem Benutzer erzeugt werden, verarbeitet. In einigen Fällen können Eingaben zur weiteren Verarbeitung an ein geeignetes Netzwerkelement übertragen werden. Eine NUI kann jede beliebige Kombination aus Spracherkennung, Styluserkennung, Gesichtserkennung, biometrischer Erkennung, Gestenerkennung sowohl auf dem Bildschirm als auch neben dem Bildschirm, Luftgesten, Kopf- und Augenverfolgung und Berührungserkennung (wie nachstehend ausführlicher beschrieben), einer Anzeige der Computervorrichtung 900 zugeordnet sind. Die Computervorrichtung 900 kann Tiefenkameras umfassen, wie beispielsweise stereoskopische Kamerasysteme, Infrarotkamerasysteme, RGB-Kamerasysteme, Touchscreen-Technologie und Kombinationen davon zur Gestenerfassung und -erkennung. Zusätzlich kann die Computervorrichtung 900 Beschleunigungssensoren oder Gyroskope (z.B. als Teil einer Trägheitsmesseinheit (IMU)) umfassen, die die Erfassung von Bewegungen ermöglichen. In einigen Beispielen kann die Ausgabe der Beschleunigungssensoren oder Gyroskope von der Computervorrichtung 900 dazu verwendet werden, immersive erweiterte Realität oder virtuelle Realität zu rendern.
Die Leistungsversorgung 916 kann eine fest verdrahtete Leistungsversorgung, eine Batterieleistungsversorgung oder eine Kombination davon umfassen. Die Leistungsversorgung 916 kann e Leistung an die Computervorrichtung 900 liefern, um den Betrieb der Komponenten der Computervorrichtung 900 zu ermöglichen.
Die Präsentationskomponente(n) 918 kann(können) eine Anzeige (z.B. einen Monitor, einen Touchscreen, einen Fernsehbildschirm, eine Heads-up-Anzeige (HUD), andere Anzeigearten oder ein Kombination davon), Lautsprecher und/oder andere Präsentationskomponenten umfassen. Die Präsentationskomponente(n) 918 kann(können) Daten von anderen Komponenten (z.B. den GPU(s) 908, den CPU(s) 906 usw.) empfangen und die Daten (z.B. als Bild, Video, Ton usw.) ausgeben.
Die Offenbarung kann im allgemeinen Kontext von Computercode oder maschinenverwendbaren Anweisungen, einschließlich computerausführbaren Anweisungen, wie beispielsweise Programmmodulen, die von einem Computer oder einer anderen Maschine, wie beispielsweise einem Assistenten für personenbezogene Daten oder einer anderen handgehaltenen Vorrichtung, ausgeführt werden, beschrieben werden. Allgemein beziehen sich Programmodule, einschließlich Routinen, Programme, Objekte, Komponenten, Datenstrukturen usw., auf einen Code, der bestimmte Aufgaben ausführt oder bestimmte abstrakte Datentypen implementiert. Die Offenbarung kann in einer Vielfalt von Systemkonfigurationen praktiziert werden, die handgehaltene Vorrichtungen, Unterhaltungselektronik, Universalcomputer, spezialisiertere Computervorrichtungen usw. umfassen. Die Offenbarung kann auch in verteilten Computerumgebungen praktiziert werden, in denen Aufgaben von entfernten Verarbeitungsvorrichtungen, die über ein Kommunikationsnetzwerk verbunden sind, ausgeführt werden.
Wie hier verwendet, sollte eine Angabe von „und/oder“ in Bezug auf zwei oder mehr Elemente so interpretiert werden, dass nur ein Element oder eine Kombination von Elementen gemeint ist. Beispielsweise kann „Element A, Element B und/oder Element C“ nur Element A, nur Element B, nur Element C, Element A und Element B, Element A und Element C, Element B und Element C oder Elemente A, B und C umfassen. Darüber hinaus kann „zumindest eines von Element A oder Element B“ zumindest eines von Element A, zumindest eines von Element B oder zumindest eines von Element A und zumindest eines von Element B umfassen. Weiterhin kann „zumindest eines von Element A und Element B“ zumindest eines von Element A, zumindest eines von Element B oder zumindest eines von Element A und zumindest eines von Element B umfassen.
Der Gegenstand der vorliegenden Offenbarung ist hier spezifisch beschrieben, um gesetzlichen Anforderungen zu entsprechen. Die Beschreibung selbst soll jedoch den Umfang dieser Offenbarung nicht einschränken. Vielmehr haben die Erfinder ins Auge gefasst, dass der beanspruchte Gegenstand auch auf andere Weisen verkörpert sein könnte, um unterschiedliche Schritte oder Kombinationen von Schritten ähnlich zu denen in diesem Dokument beschriebenen in Verbindung mit anderen gegenwärtigen oder zukünftigen Technologien zu umfassen. Außerdem sollten, obwohl die Begriffe „Schritt“ und/oder „Block“ hier verwendet werden können, um verschiedene Elemente der verwendeten Verfahren zu benennen, sollten die Begriffe nicht so interpretiert werden, dass sie eine bestimmte Reihenfolge unter oder zwischen den verschiedenen hier offenbarten Schritten bedeuten, es sei denn, dass die Reihenfolge der einzelnen Schritte ausdrücklich beschrieben wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 16101232 [0183]

Claims

Verfahren, umfassend: Empfangen, von mindestens einem Sensor eines Fahrzeugs, von Sensordaten, die für ein Bild eines Sichtfelds des mindestens einen Sensors repräsentativ sind; Anwenden der Sensordaten auf ein neuronales Netzwerk; Berechnen, durch das neuronale Netzwerk und basierend mindestens teilweise auf den Sensordaten, einer Segmentierungsmaske, die für Abschnitte des Bildes repräsentativ ist, die den Spurmarkierungen einer Fahroberfläche in dem Sichtfeld entsprechen; Zuweisen von Spurmarkierungsarten zu jeder der Spurmarkierungen basierend mindestens teilweise auf der Segmentierungsmaske; basierend mindestens teilweise auf der Segmentierungsmaske, Durchführen einer Kurvenanpassung auf den Spurmarkierungen, die jeder der Spurmarkierungsarten entsprechen, um Spurbegrenzungen zu erzeugen, die für jede der Spurmarkierungsarten repräsentativ sind; und Senden von Daten, die für die Spurbegrenzungen repräsentativ sind, an eine Komponente des Fahrzeugs mindestens zur Verwendung durch das Fahrzeug beim Navigieren der Fahroberfläche.
Verfahren gemäß Anspruch 1, wobei das Anwenden der Sensordaten auf das neuronale Netzwerk umfasst: Batching einer ersten Version des Bildes der Sensordaten mit einer zweiten Version des Bildes der Sensordaten, um einen Batch zu erzeugen; und Anwenden des Batch auf das neuronale Netzwerk, so dass die erste Version des Bildes und die zweite Version des Bildes zusammen auf das neuronale Netzwerk angewandt werden.
Verfahren gemäß Anspruch 1, wobei die Abschnitte des Bildes Pixel sind und die Segmentierungsmaske ferner für Spurklassen oder Objektklassen repräsentativ ist, die jedem der Pixel des Bildes entsprechen, das den Spurmarkierungen entspricht.
Verfahren gemäß Anspruch 1, wobei die Segmentierungsmaske mindestens eine von einer Binärmaske oder einer Mehrklassenmaske ist.
Verfahren gemäß Anspruch 1, wobei die Abschnitte des Bildes, die durch die Segmentierungsmaske dargestellt sind, Punkte sind, und das Zuweisen der Spurmarkierungsarten zu jeder der Spurmarkierungen umfasst: in einer unilateralen Richtung, Analysieren jedes Punkts der Punkte der Segmentierungsmaske, die den Spurmarkierungen entspricht, durch Bestimmen, ob ein benachbarter Punkt von einer gleichen Spurmarkierungsart wie der Punkt ist; und Gruppieren der Punkte der gleichen Spurmarkierungsart.
Verfahren gemäß Anspruch 1, wobei die durch die Segmentierungsmaske dargestellten Abschnitte des Bildes Punkte sind, und das Zuweisen der Spurmarkierungsarten zu jeder der Spurmarkierungen umfasst: in einer unilateralen Richtung, Analysieren jedes Punkts der Punkte der Segmentierungsmaske, die den Spurmarkierungen entspricht, durch Bestimmen, ob ein benachbarter Punkt von einer gleichen Spurerscheinung wie der Punkt ist; und Gruppieren der Punkte der gleichen Spurerscheinung.
Verfahren gemäß Anspruch 1, wobei die Abschnitte Punkte sind und das Zuweisen der Spurmarkierungsarten zu jeder der Spurmarkierungen umfasst: Bestimmen signifikanter Punkte der Punkte durch Analysieren der Punkte der Segmentierungsmaske, die den Spurmarkierungen entsprechen, basierend mindestens teilweise auf ihren entsprechenden Vertrauenswerten, wie durch das neuronale Netzwerk berechnet; Bestimmen eines Konnektivitätswerts zwischen Paaren der signifikanten Punkte; basierend mindestens teilweise auf dem Konnektivitätswert für jedes der Paare, Identifizieren von Kandidatenrändern, die den Spurmarkierungen entsprechen; und Bestimmen von Spurmarkierungsrändern der Kandidatenrändern basierend mindestens teilweise auf einem oder mehreren Clustering-Algorithmen.
Verfahren gemäß Anspruch 1, wobei das Durchführen der Kurvenanpassung auf den Spurmarkierungen, die jeder der Spurmarkierungsarten entsprechen, das Durchführen mindestens eines von einer Polylinienanpassung, einer Polynomanpassung oder einer Klotoidenanpassung.
Verfahren gemäß Anspruch 1, wobei das neuronale Netzwerk mehrere Faltungsschichten und mindestens eine Ausgabeschicht umfasst, wobei die mindestens eine Ausgabeschicht eine Entfaltungsschicht umfasst.
Verfahren gemäß Anspruch 1, wobei die Sensordaten ferner für ein zusätzliches Bild repräsentativ sind, wobei das zusätzliche Bild eine beschnittene Version des Bildes umfasst.
Verfahren gemäß Anspruch 1, wobei: das Bild eine abwärtsabgetastete Version eines ursprünglichen Bildes umfasst und die Sensordaten ferner für ein zusätzliches Bild repräsentativ sind, wobei das zusätzliche Bild eine beschnittene Version des ursprünglichen Bildes umfasst.
Verfahren gemäß Anspruch 1, wobei die Segmentierungsmaske ferner für Vertrauenswerte repräsentativ ist, die einer Wahrscheinlichkeit von jeder der Abschnitte entspricht, die mindestens einer Spurklasse oder einer Objektklasse entsprechen.
Verfahren gemäß Anspruch 1, wobei das neuronale Netzwerk unter Verwendung einer Regionen-basierten gewichteten Verlustfunktion trainiert wird.
Verfahren gemäß Anspruch 13, wobei die Regionen-basierte gewichtete Verlustfunktion zu Rückpropagation von mehr Fehler bei weiteren Abständen führt.
Verfahren, umfassend: Empfangen von Bilddaten, die für ein Bild einer Umgebung repräsentativ sind; und Erzeugen eines dem Bild zugeordneten Polygons durch: Identifizieren ersten Eckpunkte, die einer Begrenzung innerhalb der Umgebung entsprechen; Erzeugen einer ersten Polylinie, die sich zwischen benachbarten ersten Eckpunkten erstreckt; und basierend mindestens teilweise auf der ersten Polylinie, Erzeugen zweiter Eckpunkte benachbart der ersten Eckpunkte, wobei die zweiten Eckpunkte von den ersten Eckpunkten entlang einer Richtung senkrecht zu der ersten Polylinie beabstandet sind; Erzeugen einer zweiten Polylinie, die sich zwischen den zweiten Eckpunkten erstreckt; und Erzeugen einer dritten Polylinie, die sich zwischen entsprechenden ersten Eckpunkten und zweiten Eckpunkten erstreckt.
Verfahren gemäß Anspruch 15, wobei eine Beabstandung zwischen den zweiten Eckpunkten und den ersten Eckpunkten des Polygons mindestens teilweise auf einem Abstand der ersten Eckpunkte von der Unterseite des Bildes basiert.
Verfahren gemäß Anspruch 15, wobei die zweiten Eckpunkte basierend mindestens teilweise auf einem Abstand der ersten Eckpunkte von der Unterseite des Bildes erzeugt werden, so dass die zweiten Eckpunkte näher zu den ersten Eckpunkten beabstandet sind, wenn der Abstand der ersten Eckpunkte von der Unterseite des Bildes zunimmt.
Verfahren gemäß Anspruch 15, wobei jeder der zweiten Eckpunkte mindestens teilweise basierend auf einer Steigung einer vorherigen ersten Polylinie erzeugt wird.
Verfahren gemäß Anspruch 15, ferner umfassend: Erzeugen eines Liniensegmente von jedem Polygon; Ausmaskieren des Liniensegments, um ein ausmaskiertes Liniensegment zu erzeugen; und Verwenden des Bildes mit dem ausmaskiertes Liniensegment als Ground-Truth-Daten, um ein neuronales Netzwerk zu trainieren.
Verfahren, umfassend: Empfangen von Bilddaten, die für ein Bild einer Fahroberfläche repräsentativ sind; Empfangen von Annotierungen, die Orte von mindestens einer der Spurmarkierungen oder Begrenzungen der Fahroberfläche entsprechen; Anwenden einer oder mehrerer erster Transformationen auf das Bild, um ein transformiertes Bild zu erzeugen; Anwenden einer oder mehrerer zweiter Transformationen, die der einen oder mehreren ersten Transformationen entsprechen, auf jede der Annotierungen, um transformierte Annotierungen zu erzeugen; und unter Verwendung des Bildes, der Annotierungen, des transformierten Bildes und der transformierten Annotierungen als Ground-Truth-Daten, ein neuronales Netzwerk trainieren, um Pixel innerhalb der Bilder zu identifizieren, die mindestens einer der Spurmarkierungen oder der Begrenzungen entsprechen.
Verfahren gemäß Anspruch 20, wobei die eine oder die mehreren ersten Transformationen eine oder mehrere einer räumlichen Transformation oder einer Farbtransformation umfassen.
Verfahren gemäß Anspruch 20, wobei die mindestens eine erste Transformation und die mindestens eine zweite Transformation eine gleiche Transformation sind.