DE102018131477A1

DE102018131477A1 - Künstliches neuronales netz zum klassifizieren und lokalisieren von fahrspurmerkmalen

Info

Publication number: DE102018131477A1
Application number: DE102018131477.9A
Authority: DE
Inventors: Guangyu J. Zou
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2017-12-11
Filing date: 2018-12-08
Publication date: 2019-06-13
Also published as: CN109902552A; CN109902552B; US10528824B2; US20190180115A1

Abstract

Systeme und Verfahren werden zum Steuern eines Fahrzeugs bereitgestellt. In einer Ausführungsform beinhaltet ein Verfahren zum Steuern eines Fahrzeugs das Empfangen von Bilddaten von jeder der Vielzahl von am Fahrzeug angebrachten Kameras über den mindestens einen Prozessor. Das Verfahren beinhaltet das Zusammensetzen der Bilddaten von jeder der Vielzahl von Kameras über den mindestens einen Prozessor, um zusammengesetzte Bilddaten zu bilden. Das Verfahren beinhaltet das Klassifizieren und Lokalisieren von Fahrspurmerkmalen unter Verwendung eines künstlichen neuronalen Netzes, basierend auf den zusammengesetzten Bilddaten, um klassifizierte und lokalisierte Fahrspurdaten zu erzeugen. Das Verfahren beinhaltet das Durchführen eines Datenfusionsprozesses über den mindestens einen Prozessor, basierend auf den klassifizierten und lokalisierten Fahrspurdaten, wodurch fusionierte Fahrspurmerkmalsdaten erzeugt werden. Das Verfahren beinhaltet das Steuern des Fahrzeugs über den mindestens einen Prozessor, basierend zum Teil auf den Daten der fusionierten Fahrspurmerkmale.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft im Allgemeinen Fahrzeuge, Systeme und Verfahren, die ein künstliches neuronales Netz zur Merkmalswahrnehmung verwenden, und insbesondere Fahrzeuge, Systeme und Verfahren, die ein künstliches neuronales Netz zum Klassifizieren und Lokalisieren von Fahrspurmerkmalen beinhalten.
EINLEITUNG
Autonome und teilautonome Fahrzeuge sind in der Lage, ihre Umgebung zu erfassen und basierend auf der erfassten Umgebung zu navigieren. Diese Fahrzeuge erfassen ihre Umgebung unter Verwendung von Sensorvorrichtungen, wie beispielsweise Radar, Lidar, Bildsensoren und dergleichen. Einige Fahrzeugsysteme nutzen weiterhin Informationen von globalen Positioniersystem-(GPS)-Technologien, Navigationssystemen, Fahrzeug-Fahrzeug-Kommunikationen, Fahrzeug-Infrastruktur-Technologien und/oder Drive-by-Wire-Systemen, um das Fahrzeug zu navigieren.
Die Fahrzeugautomatisierung wurde kategorisiert nach nummerischen Ebenen von null, entsprechend keiner Automatisierung mit voller menschlicher Kontrolle, bis Fünf, entsprechend der vollen Automatisierung ohne menschliche Kontrolle. Verschiedene automatisierte Fahrerassistenzsysteme, wie beispielsweise Geschwindigkeitsregelung, adaptive Geschwindigkeitsregelung und Parkassistenzsysteme, entsprechen niedrigeren Automatisierungsebenen, während echte „fahrerlose“ Fahrzeuge mit höheren Automatisierungsebenen übereinstimmen. Einige automatisierte Fahrzeugsysteme klassifizieren und lokalisieren Fahrspurmerkmale, wie beispielsweise Bordsteine, Straßenränder, Fahrspurmarkierungen und andere Straßenmarkierungen. Einige Fahrzeuge, die automatisierte Fahrzeugmerkmale beinhalten, verfügen über eine Vielzahl von optischen Kameras, um eine Umgebung um das Fahrzeug herum abzubilden.
Dementsprechend ist es wünschenswert, Systeme und Verfahren bereitzustellen, die Bildmerkmale rechnerisch effizient und genau klassifizieren und lokalisieren. Es ist ferner wünschenswert, Verfahren und Systeme bereitzustellen, die Bildmerkmale von mehreren Kameras klassifizieren und lokalisieren, während die rechnerische Effizienz erhalten bleibt. Ferner werden andere wünschenswerte Funktionen und Merkmale der vorliegenden Erfindung aus der nachfolgenden ausführlichen Beschreibung und den beigefügten Ansprüchen, in Verbindung mit den beigefügten Zeichnungen, sowie mit dem vorangehenden technischen Gebiet und Hintergrund ersichtlich offensichtlich.
KURZDARSTELLUNG
Es werden Systeme und Verfahren zur Klassifizierung und Lokalisierung von Fahrspurmerkmalen bereitgestellt.
In einer Ausführungsform beinhaltet ein Verfahren zum Steuern eines Fahrzeugs das Empfangen von Bilddaten von jeder der mehreren am Fahrzeug angebrachten Kameras über einen Prozessor. Das Verfahren beinhaltet das Zusammensetzen der Bilddaten von jeder der mehreren Kameras über den Prozessor, um zusammengesetzte Bilddaten zu bilden. Das Verfahren beinhaltet das Klassifizieren und Lokalisieren von Fahrspurmerkmalen unter Verwendung eines künstlichen neuronalen Netzes, basierend auf den zusammengesetzten Bilddaten, um klassifizierte und lokalisierte Fahrspurdaten zu erzeugen. Das Verfahren beinhaltet das Durchführen eines Datenfusionsprozesses über den Prozessor, basierend auf den klassifizierten und lokalisierten Fahrspurdaten, wodurch fusionierte Fahrspurmerkmalsdaten erzeugt werden. Das Verfahren beinhaltet das Steuern des Fahrzeugs über den Prozessor, basierend zum Teil auf den Daten der fusionierten Fahrspurmerkmale.
In den Ausführungsformen beinhaltet das Verfahren das Durchführen, über den Prozessor, einer Bildraum-zu-Realraum-Transformation basierend auf den klassifizierten und lokalisierten Fahrspurdaten, um Realraum-Fahrspur-Merkmalsdaten bereitzustellen. In den Ausführungsformen ist die Bildraum-zu-Realraum-Transformation konfiguriert, um Bild-zu-Realraum-Kalibrierungsdaten für jede der mehreren Kameras zu empfangen, und verwendet die entsprechenden Kalibrierungsdaten für jeden Teil der klassifizierten und lokalisierten Fahrspurdaten, die einer bestimmten aus der Vielzahl von Kameras entsprechen.
In den Ausführungsformen erfolgt die Umwandlung vor dem Fusionieren.
In den Ausführungsformen weist eine Vielzahl von Kameras ein anderes, aber sich überlappendes Sichtfeld auf, und die Fusion beinhaltet die Konsolidierung überlappender Sichtfelder.
In den Ausführungsformen definieren die klassifizierten und lokalisierten Fahrspurdaten Liniensegmente.
In den Ausführungsformen wird die Kurvenanpassung basierend auf den Liniensegmenten durchgeführt, um die klassifizierten und lokalisierten Fahrspurkurvendaten zu erzeugen. In den Ausführungsformen wird das Daten-Clustering basierend auf den Liniensegmenten durchgeführt, um gebündelte Daten zu erzeugen, während die Kurvenanpassung basierend auf den gebündelten Daten durchgeführt wird.
In den Ausführungsformen beinhaltet das Verfahren das Definieren von Ankerpunkten entlang jedes der Liniensegmente über den Prozessor. In den Ausführungsformen beinhaltet das Verfahren das Ausführen eines Daten-Clustering-Algorithmus auf den Ankerpunkten über den Prozessor, zum Erzeugen von gebündelten Ankerpunkten. In den Ausführungsformen beinhaltet das Verfahren die Kurvenanpassung der gebündelten Ankerpunkte über den Prozessor, um klassifizierte und lokalisierte Fahrbahnkurvendaten zu erzeugen.
In den Ausführungsformen beinhaltet das Verfahren das Durchführen, über den Prozessor, einer Bildraum-zu-Realraum-Transformation basierend auf den klassifizierten und lokalisierten Fahrspurkurvendaten, um Realraum-Fahrspur-Merkmalsdaten bereitzustellen, sowie das Durchführen des Datenfusionsprozesses basierend auf den Realraum-Fahrspur-Merkmalsdaten, wodurch die fusionierten Fahrspur-Merkmalsdaten erzeugt werden. In den Ausführungsformen wird der Datenfusionsprozess auf Daten durchgeführt, die von der Vielzahl der Kameras erhalten wurden.
In einer weiteren Ausführungsform ist ein System zum Lokalisieren und Klassifizieren von linienbasierten Merkmalen vorgesehen. Das System beinhaltet einen Prozessor, der zum Empfangen von Bilddaten von jeder der Vielzahl von Kameras konfiguriert ist. Das Verfahren ist zum Zusammensetzen der Bilddaten von jeder der Vielzahl von Kameras konfiguriert, um zusammengesetzte Bilddaten zu bilden. Das System beinhaltet ein künstliches neuronales Netz, das zum Klassifizieren und Lokalisieren von Bildmerkmalen basierend auf den zusammengesetzten Bilddaten konfiguriert ist, um klassifizierte und lokalisierte Liniendaten zu erzeugen. Der Prozessor ist konfiguriert, um einen Datenfusionsprozess basierend auf den klassifizierten und lokalisierten Leitungsdaten durchzuführen, wodurch fusionierte linienbasierte Merkmalsdaten erzeugt werden.
Durch die Verarbeitung der zusammengesetzten Datenbilddaten ist ein höherer Wirkungsgrad des künstlichen neuronalen Netzes möglich.
In den Ausführungsformen ist das künstliche neuronale Netz konfiguriert, um linienbasierte Fahrspurmerkmale zu klassifizieren und zu lokalisieren. Die linienbasierten Fahrspurmerkmale beinhalten Fahrspurmarkierungen, Straßenmarkierungen, Fahrspurbegrenzungen und/oder Straßenbegrenzungen.
In den Ausführungsformen ist das System ein Fahrzeugsystem und der Prozessor ist konfiguriert, um das Fahrzeug teilweise basierend auf den fusionierten Fahrspurmerkmalsdaten zu steuern.
In einer weiteren Ausführungsform ist ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes vorgesehen. Das Verfahren beinhaltet das Empfangen von Bilddaten und Merkmalskennzeichnungen über das künstliche neuronale Netz, wobei jede Merkmalskennzeichnung eine Merkmalsklassifizierung und eine lokalisierte Linie (gerade, gekrümmt oder beides) beinhaltet. Das Verfahren beinhaltet das Abgrenzen eines Interessenbereichs zwischen zwei Linien, die außerhalb der Begrenzungen eines interessierenden Merkmals positioniert sind. Das Verfahren beinhaltet den Betrieb des künstlichen neuronalen Netzes unter Verwendung der Bilddaten als Eingangsschicht, um klassifizierte und lokalisierte Ausgabedaten einschließlich Ausgabeklassifizierungs- und Lokalisierungsparameter zu erzeugen. Das Verfahren beinhaltet das Auswerten einer Kostenfunktion über das künstliche neuronale Netz, die Ausgabeklassifizierungs- und Lokalisierungsparameter mit entsprechenden, innerhalb des interessierenden Bereichs definierten Nominalparametern vergleicht, worin die Nominalparameter basierend auf den Merkmalskennzeichnungen definiert sind und als Lernziel für die Kostenfunktion dienen. Das Verfahren beinhaltet das Trainieren des künstlichen neuronalen Netzes basierend auf der Kostenfunktion.
In den Ausführungsformen beinhalten die Nenngrößen eine Klassenwahrscheinlichkeit, einen orthogonalen Offset und eine tangentiale Ausrichtung an den Begrenzungen des interessierenden Merkmals, die aus den Merkmalskennzeichnungen übertragen werden.
In den Ausführungsformen ist das künstliche neuronale Netz ein faltungsneuronales Netz.
In den Ausführungsformen beinhaltet das Verfahren das Erzeugen von erweiterten Bilddaten über einen Prozessor zum Trainieren des künstlichen neuronalen Netzes durch Umwandeln der Bilddaten einschließlich der zugehörigen Merkmalskennzeichnungen unter Verwendung eines Bildtransformationseffekts.
In den Ausführungsformen beinhaltet der Bildtransformationseffekt eine Änderung von Perspektive, Maßstab, Seitenverhältnis usw.
In den Ausführungsformen beinhaltet der Bildtransformationseffekt eine Auswahl aus: Änderung des Lichteffekts, Änderung des Witterungseffekts, Bildrauscheffekte, Änderung des Fokusseffekts und des Weißabgleichseffekts.
In den Ausführungsformen beinhaltet jede Merkmalskennzeichnung erste und zweite lokalisierte Linien, worin das Verfahren das Verlängern des durch die ersten und zweiten Linien abgegrenzten Interessenbereichs (ROI) über einen Prozessor nach außen von der Marge beinhaltet, Bewerten der Kostenfunktion über das künstliche neuronale Netz, wobei die Kostenfunktion, die Kostenfunktion die Ausgabeklassifizierungs- und Lokalisierungsparameter und die entsprechenden innerhalb des ROI definierten Nennparametern vergleicht und als Lernziel dient.
In den Ausführungsformen beinhalten die Ausgabelokalisierungsparameter Liniensegmente. In den Ausführungsformen beinhalten die Ausgabelokalisierungsparameter einen Winkel jedes Liniensegments.
In den Ausführungsformen beinhaltet das Verfahren die Verwendung des künstlichen neuronalen Netzes zum Bestimmen von Fahrspurmerkmalen und das Steuern eines Fahrzeugs basierend auf den Fahrspurmerkmalen.
In einer weiteren Ausführungsform ist ein System zum Trainieren eines künstlichen neuronalen Netzes vorgesehen. Das System beinhaltet ein künstliches neuronales Netz, das zum Empfangen von Bilddaten mit zugehörigen Merkmalskennzeichnungen konfiguriert ist, wobei die einzelnen Merkmalskennzeichnungen eine Merkmalsklassifizierung und mindestens eine lokalisierte Linie beinhalten. Ein Prozessor des Systems ist konfiguriert, um mindestens eine Marge in Form mindestens einer Linie zu definieren, die angrenzend an jede mindestens eine lokalisierte Linie angeordnet ist. Das künstliche neuronale Netz ist konfiguriert, um die Bilddaten als Eingangsschicht zu verwenden, um klassifizierte und lokalisierte Ausgabedaten einschließlich Ausgabeklassifizierungs- und Lokalisierungsparameter zu erzeugen. Das künstliche neuronale Netz ist konfiguriert, um eine Kostenfunktion zu bewerten, die Ausgabeklassifizierungs- und Lokalisierungsparameter in einem interessierenden Bereich vergleicht, der basierend auf der mindestens einen Marge definiert ist, worin nominale Klassifizierungs- und Lokalisierungsparameter innerhalb des interessierenden Bereichs als Lernziel für die Kostenfunktion dienen. In den Ausführungsformen ist das künstliche neuronale Netz konfiguriert, um mindestens eine Schicht davon basierend auf der Bewertung der Kostenfunktion anzupassen und dadurch das künstliche neuronale Netz zu trainieren.
In einer anderen Ausführungsform wird ein Fahrzeug bereitgestellt. Das Fahrzeug beinhaltet eine Vielzahl von Kameras, die Bilddaten bereitstellen, und einen Prozessor, der konfiguriert ist, um: die Bilddaten von jeder der Kameras zu empfangen, die Bilddaten von jeder der Vielzahl von Kameras zusammenzustellen, um zusammengesetzte Bilddaten zu bilden, Fahrspurmerkmale zu klassifizieren und zu lokalisieren, wobei ein künstliches neuronales Netz basierend auf den zusammengesetzten Bilddaten verwendet wird, um klassifizierte und lokalisierte Fahrspurdaten zu erzeugen, einen Datenfusionsprozess basierend auf den klassifizierten und lokalisierten Fahrspurdaten durchzuführen, wodurch fusionierte Fahrspurfunktionsdaten erzeugt werden, und das Fahrzeug zum Teil basierend auf den fusionierten Fahrspurfunktionsdaten zu steuern.
In den Ausführungsformen ist der Prozessor konfiguriert, um eine Bildraum-zu-Realraum-Transformation basierend auf den klassifizierten und lokalisierten Fahrspurdaten durchzuführen, um Realraum-Fahrspur-Funktionsdaten bereitzustellen.
In den Ausführungsformen weist eine Vielzahl von Kameras ein anderes, aber sich überlappendes Sichtfeld auf, und die Fusion umfasst die Konsolidierung überlappender Sichtfelder.
In den Ausführungsformen definieren die klassifizierten und lokalisierten Fahrspurdaten Liniensegmente. In den Ausführungsformen ist der Prozessor konfiguriert, um die Kurvenanpassung der Liniensegmente vorzunehmen und die klassifizierten und lokalisierten Fahrspurkurvendaten zu erzeugen. In den Ausführungsformen ist der Prozessor konfiguriert, um die Liniensegmente zu bündeln, um gebündelte Daten zu erzeugen und die gebündelten Daten an die Kurven anzupassen. In den Ausführungsformen ist der Prozessor konfiguriert, um Ankerpunkte entlang jedes der Liniensegmente zu definieren. In den Ausführungsformen ist der Prozessor konfiguriert, um die Ankerpunkte zu bündeln, um gebündelte Ankerpunkte zu erzeugen. In den Ausführungsformen ist der Prozessor konfiguriert, um die Kurvenanpassung an die gebündelten Ankerpunkte vorzunehmen und klassifizierte und lokalisierte Fahrspurkurvendaten zu erzeugen.
In den Ausführungsformen ist der Prozessor konfiguriert, um eine Bildraum-zu-Realraum-Transformation basierend auf den klassifizierten und lokalisierten Fahrspurkurvendaten durchzuführen, um Realraum-Fahrspurfunktionsdaten bereitzustellen, und um den Datenfusionsprozess basierend auf den Realraum-Fahrspurfunktionsdaten durchzuführen, wodurch die fusionierten Fahrspurfunktionsdaten erzeugt werden
Figurenliste
Die exemplarischen Ausführungsformen werden nachfolgend in Verbindung mit den folgenden Zeichnungen beschrieben, worin gleiche Bezugszeichen gleiche Elemente bezeichnen, und worin gilt:

1 ist ein Funktionsblockdiagramm, das ein autonomes oder teilautonomes Fahrzeugsystem mit einem Klassifizierungs- und Ortungssystem gemäß verschiedenen Ausführungsformen veranschaulicht;
2 ist ein Funktionsblockdiagramm, das ein Transportsystem mit einem oder mehreren autonomen Fahrzeugen aus 1 gemäß verschiedenen Ausführungsformen darstellt;
3 ist ein Datenflussdiagramm, das ein autonomes Antriebssystem veranschaulicht, das ein Klassifizierungs- und Ortungssystem gemäß verschiedenen Ausführungsformen beinhaltet,
4 ist ein Datenflussdiagramm, das ein Klassifizierungs- und Ortungssystem gemäß verschiedenen Ausführungsformen veranschaulicht;
Die 5(A) und 5(B) sind exemplarische Bilder von verschiedenen Fahrzeugkameras gemäß verschiedenen Ausführungsformen;
6 ist ein schematisches Diagramm eines künstlichen neuronalen Netzes zum Klassifizieren und Lokalisieren von Bildmerkmalen und Datenflüssen eines damit verbundenen Trainingssystems gemäß verschiedenen Ausführungsformen;
Die 7(A) bis 7(D) veranschaulichen die Erweiterung von beschrifteten Bildern gemäß verschiedener Ausführungsformen;
8 veranschaulicht schematisch Daten-Clustering und Kurvenanpassungsprozesse, die an Liniensegmenten durchgeführt werden, die von einem künstlichen neuronalen Netz ausgegeben werden, gemäß verschiedenen Ausführungsformen;
9 ist ein Flussdiagramm, das ein Steuerverfahren zum Steuern eines Fahrzeugs mit autonomen Merkmalen gemäß verschiedenen Ausführungsformen veranschaulicht; und
10 ist ein Flussdiagramm, das ein Trainingsverfahren für ein künstliches neuronales Netz gemäß verschiedenen Ausführungsformen veranschaulicht.

AUSFÜHRLICHE BESCHREIBUNG
Die folgende ausführliche Beschreibung dient lediglich als Beispiel und soll die Anwendung und Verwendung in keiner Weise einschränken. Weiterhin besteht keine Absicht, im vorstehenden technischen Bereich, Hintergrund, der Kurzzusammenfassung oder der folgenden ausführlichen Beschreibung an eine ausdrücklich oder implizit vorgestellte Theorie gebunden zu sein. Der hierin verwendete Begriff „Modul“ bezieht sich auf alle Hardware-, Software-, Firmwareprodukte, elektronische Steuerkomponenten, auf die Verarbeitungslogik und/oder Prozessorgeräte, einzeln oder in Kombinationen, unter anderem umfassend, eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder gruppiert) und einen Speicher, der ein oder mehrere Software- oder Firmwareprogramme, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten ausführt, die die beschriebene Funktionalität bieten.
Ausführungsformen der vorliegenden Offenbarung können hierin als funktionale und/oder logische Blockkomponenten und verschiedene Verarbeitungsschritte beschrieben sein. Es ist zu beachten, dass derartige Blockkomponenten aus einer beliebigen Anzahl an Hardware-, Software- und/oder Firmware-Komponenten aufgebaut sein können, die zur Ausführung der erforderlichen Funktionen konfiguriert sind. Zum Beispiel kann eine Ausführungsform der vorliegenden Offenbarung eines Systems oder einer Komponente verschiedene integrierte Schaltungskomponenten, beispielsweise Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Wertetabellen oder dergleichen, einsetzen, die mehrere Funktionen unter der Steuerung eines oder mehrerer Mikroprozessoren oder anderer Steuervorrichtungen durchführen können. Zudem werden Fachleute auf dem Gebiet erkennen, dass die exemplarischen Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer beliebigen Anzahl an Systemen eingesetzt werden können, und dass das hierin beschriebene System lediglich eine exemplarische Ausführungsform der vorliegenden Offenbarung darstellt.
Der Kürze halber sind konventionelle Techniken in Verbindung mit der Signalverarbeitung, Datenübertragung, Signalgebung, Steuerung und weiteren funktionalen Aspekten der Systeme (und den einzelnen Bedienelementen der Systeme) hierin ggf. nicht im Detail beschrieben. Weiterhin sollen die in den verschiedenen Figuren dargestellten Verbindungslinien exemplarische Funktionsbeziehungen und/oder physikalische Verbindungen zwischen den verschiedenen Elementen darstellen. Es sollte beachtet werden, dass viele alternative oder zusätzliche funktionale Beziehungen oder physikalische Verbindungen in einer Ausführungsform der vorliegenden Offenbarung vorhanden sein können.
Unter Bezugnahme auf 1 ist ein bei 100 allgemein dargestelltes Fahrzeugsystem mit einem Fahrzeug 10 gemäß verschiedenen Ausführungsformen assoziiert. Im Allgemeinen beinhaltet das Fahrzeugsystem 100 ein Klassifizierungs- und Lokalisierungssystem 200, das Fahrspurmerkmale klassifiziert und lokalisiert, die von einem Antriebssystem mit einem automatisierten Merkmal unter Verwendung von Fahrspurwahrnehmungsfähigkeiten verwendet werden. Das hierin beschriebene Klassifizierungs- und Ortungssystem 200 stellt verschiedene Bilder zusammen, führt die zusammengestellten Bilder durch ein künstliches neuronales Netz zum Klassifizieren und Lokalisieren von Fahrspurmerkmalen, bearbeitet die Ausgabeschicht nach und vereinigt anschließend die Ergebnisse.
Die vorliegende Beschreibung beschreibt in erster Linie die Verwendung des Lokalisierungs- und Klassifizierungssystems 200 im Kontext der Klassifizierung und Lokalisierung von Fahrspurmerkmalen zur Verwendung in Automobilanwendungen. Es sollte jedoch verstanden werden, dass das Klassifizierungs- und Lokalisierungssystem 200 zum Klassifizieren und Lokalisieren von linienbasierten Bildmerkmalen für andere Anwendungen verwendet werden kann.
Wie in 1 abgebildet, beinhaltet das Fahrzeug 10 im Allgemeinen ein Fahrgestell 12, eine Karosserie 14, Vorderräder 16 und Hinterräder 18. Die Karosserie 14 ist auf dem Fahrgestell 12 angeordnet und umhüllt im Wesentlichen die anderen Komponenten des Fahrzeugs 10. Die Karosserie 14 und das Fahrgestell 12 können gemeinsam einen Rahmen bilden. Die Räder 16-18 sind jeweils mit dem Fahrgestell 12 in der Nähe einer jeweiligen Ecke der Karosserie 14 drehbar verbunden.
In einigen Ausführungsformen ist das Fahrzeug 10 ein autonomes Fahrzeug und das Lokalisierungssystem 200 ist in das autonome Fahrzeug 10 (nachfolgend als das autonome Fahrzeug 10 bezeichnet) integriert. Die vorliegende Beschreibung konzentriert sich auf eine exemplarische Anwendung in autonomen Fahrzeuganwendungen. Es sollte jedoch verstanden werden, dass das hierin beschriebene Klassifizierungs- und Lokalisierungssystem 200 zur Verwendung in teilautonomen Kraftfahrzeugen vorgesehen ist, einschließlich Fahrerassistenzsystemen, die Fahrspurwahrnehmungsinformationen nutzen, wie beispielsweise Spurhaltewarnsysteme und Spurhalteassistenzsysteme.
Das autonome Fahrzeug 10 ist beispielsweise ein Fahrzeug, das automatisch gesteuert wird, um Passagiere von einem Ort zum anderen zu befördern. Das Fahrzeug 10 ist in der veranschaulichten Ausführungsform als Pkw dargestellt, es sollte jedoch beachtet werden, dass auch jedes andere Fahrzeug, einschließlich Motorräder, Lastwagen, Sportfahrzeuge (SUVs), Freizeitfahrzeuge (RVs), Schiffe, Flugzeuge usw. verwendet werden können. In einer exemplarischen Ausführungsform ist das autonome Fahrzeug 10 ein sogenanntes Level-Vier oder Level-Fünf Automatisierungssystem. Ein Level-Vier-System zeigt eine „hohe Automatisierung“ unter Bezugnahme auf die Fahrmodus-spezifische Leistung durch ein automatisiertes Fahrsystem aller Aspekte der dynamischen Fahraufgabe an, selbst wenn ein menschlicher Fahrer nicht angemessen auf eine Anforderung einzugreifen, reagiert. Ein Level-Fünf-System zeigt eine „Vollautomatisierung“ an und verweist auf die Vollzeitleistung eines automatisierten Fahrsystems aller Aspekte der dynamischen Fahraufgabe unter allen Fahrbahn- und Umgebungsbedingungen, die von einem menschlichen Fahrer verwaltet werden können.
Wie dargestellt, beinhaltet das autonome Fahrzeug 10 im Allgemeinen ein Antriebssystem 20, ein Übertragungssystem 22, ein Lenksystem 24, ein Bremssystem 26, ein Sensorsystem 28, ein Stellantriebsystem 30, mindestens einen Datenspeicher 32, mindestens eine Steuerung 34 und ein Kommunikationssystem 36. Das Antriebssystem 20 kann in verschiedenen Ausführungsformen einen Verbrennungsmotor, eine elektrische Maschine, wie beispielsweise einen Traktionsmotor und/oder ein Brennstoffzellenantriebssystem, beinhalten. Das Übertragungssystem 22 ist dazu konfiguriert, Leistung vom Antriebssystem 20 zu den Fahrzeugrädern 16-18 gemäß den wählbaren Übersetzungen zu übertragen. Gemäß verschiedenen Ausführungsformen kann das Getriebesystem 22 ein Stufenverhältnis-Automatikgetriebe, ein stufenlos verstellbares Getriebe oder ein anderes geeignetes Getriebe beinhalten. Das Bremssystem 26 ist dazu konfiguriert, den Fahrzeugrädern 16-18 ein Bremsmoment bereitzustellen. Das Bremssystem 26 kann in verschiedenen Ausführungsformen Reibungsbremsen, Brake-by-Wire, ein regeneratives Bremssystem, wie beispielsweise eine elektrische Maschine und/oder andere geeignete Bremssysteme beinhalten. Das Lenksystem 24 beeinflusst die Position der Fahrzeugräder 16-18. Während in einigen Ausführungsformen innerhalb des Umfangs der vorliegenden Offenbarung zur Veranschaulichung als ein Lenkrad dargestellt, kann das Lenksystem 24 kein Lenkrad beinhalten.
Das Sensorsystem 28 beinhaltet eine oder mehrere Sensorvorrichtungen 40a-40n, die beobachtbare Zustände der äußeren Umgebung und/oder der inneren Umgebung des autonomen Fahrzeugs 10 erfassen. Die Sensorvorrichtungen 40a-40n können Radargeräte, Lidare, globale Positionierungssysteme, optische Kameras 140a-140n, Wärmebildkameras, Ultraschallsensoren und/oder andere Sensoren beinhalten, sind aber nicht darauf beschränkt. Die optischen Kameras 140a-140n sind am Fahrzeug 10 montiert und zum Aufnehmen von Bildern (z. B. eine Folge von Bildern in Form eines Videos) einer das Fahrzeug 10 umgebenden Umgebung angeordnet. In der veranschaulichten Ausführungsform sind zwei Frontkameras 140a, 140b angeordnet, um jeweils einen Weitwinkel, ein Nahsichtfeld und einen engen Winkel, ein Weitsichtfeld abzubilden. Darüber hinaus sind links- und rechtsseitige Kameras 140c, 140e und eine Rückfahrkamera 140d veranschaulicht. Die Anzahl und Position der verschiedenen Kameras 140a-140n ist lediglich exemplarisch und es werden andere Anordnungen in Betracht gezogen. In verschiedenen Ausführungsformen weisen eine oder mehrere der Kameras 140a-140n ein überlappendes Sichtfeld mit dem Sichtfeld einer oder mehrerer anderer Kameras 140a-140n auf. Das Stellantriebssystem 30 beinhaltet eine oder mehrere Stellgliedvorrichtungen 42a-42n, die ein oder mehrere Fahrzeugmerkmale, wie zum Beispiel das Antriebssystem 20, das Getriebesystem 22, das Lenksystem 24 und das Bremssystem 26, steuern, jedoch nicht darauf beschränkt sind. In verschiedenen Ausführungsformen können die Fahrzeugmerkmale ferner Innen- und/oder Außenfahrzeugmerkmale, wie beispielsweise Türen, einen Kofferraum und Innenraummerkmale, wie z. B. Luft, Musik, Beleuchtung usw., beinhalten, sind jedoch nicht auf diese beschränkt (nicht nummeriert).
Die Datenspeichervorrichtung 32 speichert Daten zur Verwendung beim automatischen Steuern des autonomen Fahrzeugs 10. In verschiedenen Ausführungsformen speichert die Datenspeichervorrichtung 32 definierte Landkarten der navigierbaren Umgebung. In verschiedenen Ausführungsformen werden die definierten Landkarten vordefiniert und von einem entfernten System (in weiteren Einzelheiten in Bezug auf 2 beschrieben) erhalten. So können beispielsweise die definierten Landkarten durch das entfernte System zusammengesetzt und dem autonomen Fahrzeug 10 (drahtlos und/oder drahtgebunden) mitgeteilt und in der Datenspeichervorrichtung 32 gespeichert werden. Wie ersichtlich, kann die Datenspeichervorrichtung 32 ein Teil der Steuerung 34, von der Steuerung 34 getrennt, oder ein Teil der Steuerung 34 und Teil eines separaten Systems sein.
Die Steuerung 34 beinhaltet mindestens einen Prozessor 44 und eine computerlesbare Speichervorrichtung oder Medien 46. Der Prozessor 44 kann eine Spezialanfertigung oder ein handelsüblicher Prozessor sein, eine Zentraleinheit (CPU), eine Grafikprozessoreinheit (GPU) unter mehreren Prozessoren verbunden mit der Steuerung 34, ein Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chip-Satzes), ein Makroprozessor, eine Kombination derselben oder allgemein jede beliebige Vorrichtung zur Ausführung von Anweisungen. Die computerlesbare Speichervorrichtung oder Medien 46 können flüchtige und nicht-flüchtige Speicher in einem Nur-Lese-Speicher (ROM), einem Speicher mit direktem Zugriff (RAM) und einem Keep-Alive-Memory (KAM) beinhalten. KAM ist ein persistenter oder nicht-flüchtiger Speicher, der verwendet werden kann, um verschiedene Betriebsvariablen zu speichern, während der Prozessor 44 ausgeschaltet ist. Die computerlesbare Speichervorrichtung oder Medien 46 können unter Verwendung einer beliebigen einer Anzahl an bekannten Speichervorrichtungen, wie beispielsweise PROMs (programmierbarer Nur-Lese-Speicher), EPROMs (elektrische PROM), EEPROMs (elektrisch löschbarer PROM), Flash-Speicher oder beliebige andere elektrischen, magnetischen, optischen oder kombinierten Speichervorrichtungen implementiert werden, die Daten speichern können, von denen einige ausführbare Anweisungen darstellen, die von der Steuerung 34 beim Steuern des autonomen Fahrzeugs 10 verwendet werden.
Die Anweisungen können ein oder mehrere separate Programme beinhalten, von denen jede eine geordnete Auflistung von ausführbaren Anweisungen zum Implementieren von logischen Funktionen umfasst. Die Anweisungen empfangen und verarbeiten, wenn diese vom Prozessor 44 ausgeführt werden, Signale vom Sensorsystem 28, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zur automatischen Steuerung der Komponenten des autonomen Fahrzeugs 10 durch und erzeugen Steuersignale an das Stellantriebssystem 30, um die Komponenten des autonomen Fahrzeugs 10 basierend auf der Logik, den Berechnungen, den Verfahren und/oder Algorithmen automatisch zu steuern. Obwohl in 1 nur eine Steuerung 34 dargestellt ist, können Ausführungsformen des autonomen Fahrzeugs 10 eine beliebige Anzahl an Steuerungen 34 beinhalten, die über ein geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und zusammenwirken, um die Sensorsignale zu verarbeiten, Logiken, Berechnungen, Verfahren und/oder Algorithmen durchzuführen, und Steuersignale zu erzeugen, um die Funktionen des autonomen Fahrzeugs 10 automatisch zu steuern.
In verschiedenen Ausführungsformen sind eine oder mehrere Anweisungen der Steuerung 34 im Klassifizierungs- und Lokalisierungssystem 200 verkörpert und, wenn sie durch den Prozessor 44 ausgeführt werden, konfiguriert, um Bilder von mehreren Kameras 140a-140n zusammenzustellen, die Bilder durch ein einzelnes künstliches neuronales Netz laufen zu lassen, Klassifizierungs- und Lokalisierungsparameter für jedes der Bilder zu erhalten und die Bilder zu vereinigen, um fusionierte klassifizierte und lokalisierte Daten in realen Koordinaten zu erhalten. Die fusionierten Daten werden in einem Antriebssystem mit einem oder mehreren automatisierten Merkmalen verwendet.
Das Kommunikationssystem 36 ist konfiguriert, um Informationen drahtlos an und von anderen Einheiten 48, wie beispielsweise, jedoch nicht beschränkt auf andere Fahrzeuge („V2V“-Kommunikation,) Infrastruktur („V2I“-Kommunikation), entfernte Systeme und/oder persönliche Vorrichtungen (in Bezug auf 2 näher beschrieben), zu übermitteln. In einer exemplarischen Ausführungsform ist das drahtlose Kommunikationssystem 36 dazu konfiguriert, über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung des IEEE 802.11-Standards, über Bluetooth oder mittels einer mobilen Datenkommunikation zu kommunizieren. Im Geltungsbereich der vorliegenden Offenbarung werden jedoch auch zusätzliche oder alternative Kommunikationsverfahren, wie beispielsweise ein dedizierter Nahbereichskommunikations-(DSRC)-Kanal, berücksichtigt. DSRC-Kanäle beziehen sich auf Einweg- oder Zweiwege-Kurzstrecken- bis Mittelklasse-Funkkommunikationskanäle, die speziell für den Automobilbau und einen entsprechenden Satz von Protokollen und Standards entwickelt wurden.
Mit weiterem Bezug auf 2 in verschiedenen Ausführungsformen kann das autonome Fahrzeug 10, das mit Bezug auf 1 beschrieben ist, für den Einsatz im Rahmen eines Taxi- oder Shuttle-Unternehmens in einem bestimmten geografischen Gebiet (z. B. einer Stadt, einer Schule oder einem Geschäftscampus, einem Einkaufszentrum, einem Vergnügungspark, einem Veranstaltungszentrum oder dergleichen) geeignet sein. So kann beispielsweise das autonome Fahrzeug 10 einem autonomen fahrzeugbasierten Transportsystem zugeordnet sein. 2 veranschaulicht eine exemplarische Ausführungsform einer Betriebsumgebung, die im Allgemeinen bei 50 dargestellt ist und ein autonomes fahrzeugbasiertes Transportsystem 52 beinhaltet, das, wie mit Bezug auf 1 beschrieben, einem oder mehreren autonomen Fahrzeugen 10a-10n zugeordnet ist. In verschiedenen Ausführungsformen beinhaltet die Betriebsumgebung 50 ferner eine oder mehrere Benutzervorrichtungen 54, die mit dem autonomen Fahrzeug 10 und/oder dem entfernten Transportsystem 52 über ein Kommunikationsnetzwerk 56 kommunizieren.
Das Kommunikationsnetzwerk 56 unterstützt die Kommunikation zwischen Geräten, Systemen und Komponenten, die von der Betriebsumgebung 50 unterstützt werden (z. B. über physische Kommunikationsverbindungen und/oder drahtlose Kommunikationsverbindungen). So kann beispielsweise das Kommunikationsnetzwerk 56 ein drahtloses Trägersystem 60 beinhalten, wie beispielsweise ein Mobiltelefonsystem, das eine Vielzahl von Mobilfunktürmen (nicht dargestellt), eine oder mehrere Mobilvermittlungsstellen (MSCs) (nicht dargestellt) sowie alle anderen Netzwerkkomponenten beinhalten, die zum Verbinden des drahtlosen Trägersystems 60 mit dem Festnetz erforderlich sind. Jeder Mobilfunkturm beinhaltet Sende- und Empfangsantennen und eine Basisstation, wobei die Basisstationen verschiedener Mobilfunktürme mit den MSC verbunden sind, entweder direkt oder über Zwischenvorrichtungen, wie beispielsweise eine Basisstationssteuerung. Das Drahtlosträgersystem 60 kann jede geeignete Kommunikationstechnologie implementieren, beispielsweise digitale Technologien, wie CDMA (z. B. CDMA2000), LTE (z. B. 4G LTE oder 5G LTE), GSM/GPRS oder andere aktuelle oder neu entstehende drahtlose Technologien. Andere Mobilfunkturm/Basisstation/MSC-Anordnungen sind möglich und könnten mit dem Mobilfunkanbietersystem 60 verwendet werden. So könnten sich beispielsweise die Basisstation und der Mobilfunkturm an derselben Stelle oder entfernt voneinander befinden, jede Basisstation könnte für einen einzelnen Mobilfunkturm zuständig sein oder eine einzelne Basisstation könnte verschiedene Mobilfunktürme bedienen, oder verschiedene Basisstationen könnten mit einer einzigen MSC gekoppelt werden, um nur einige der möglichen Anordnungen zu nennen.
Abgesehen vom Verwenden des drahtlosen Trägersystems 60 kann ein zweites drahtloses Trägersystem in Form eines Satellitenkommunikationssystems 64 verwendet werden, um unidirektionale oder bidirektionale Kommunikation mit dem autonomen Fahrzeug 10a-10n bereitzustellen. Dies kann unter Verwendung von einem oder mehreren Kommunikationssatelliten (nicht dargestellt) und einer aufwärts gerichteten Sendestation (nicht dargestellt) erfolgen. Die unidirektionale Kommunikation kann beispielsweise Satellitenradiodienste beinhalten, worin programmierte Inhaltsdaten (Nachrichten, Musik usw.) von der Sendestation empfangen werden, für das Hochladen gepackt und anschließend zum Satelliten gesendet werden, der die Programmierung an die Teilnehmer ausstrahlt. Die bidirektionale Kommunikation kann beispielsweise Satellitentelefondienste beinhalten, die den Satelliten verwenden, um Telefonkommunikationen zwischen dem Fahrzeug 10 und der Station weiterzugeben. Die Satellitentelefonie kann entweder zusätzlich oder anstelle des Mobilfunkanbietersystems 60 verwendet werden.
Ein Festnetz-Kommunikationssystem 62 kann ein konventionelles Festnetz-Telekommunikationsnetzwerk beinhalten, das mit einem oder mehreren Festnetztelefonen verbunden ist und das drahtlose Trägersystem 60 mit dem entfernten Transportsystem 52 verbindet. So kann beispielsweise das Festnetz-Kommunikationssystem 62 ein Fernsprechnetz (PSTN) wie jenes sein, das verwendet wird, um festverdrahtetes Fernsprechen, paketvermittelte Datenkommunikationen und die Internetinfrastruktur bereitzustellen. Ein oder mehrere Segmente des Festnetz-Kommunikationssystems 62 könnten durch Verwenden eines normalen drahtgebundenen Netzwerks, eines Lichtleiter- oder eines anderen optischen Netzwerks, eines Kabelnetzes, von Stromleitungen, anderen drahtlosen Netzwerken, wie drahtlose lokale Netzwerke (WLANs) oder Netzwerke, die drahtlosen Breitbandzugang (BWA) bereitstellen oder jeder Kombination davon implementiert sein. Weiterhin muss das entfernte Transportsystem 52 nicht über das Festnetz-Kommunikationssystem 62 verbunden sein, sondern könnte Funktelefonausrüstung beinhalten, sodass sie direkt mit einem drahtlosen Netzwerk, wie z. B. dem drahtlosen Trägersystem 60, kommunizieren kann.
Obwohl in 2 nur eine Benutzervorrichtung 54 dargestellt ist, können Ausführungsformen der Betriebsumgebung 50 eine beliebige Anzahl an Benutzervorrichtungen 54, einschließlich mehrerer Benutzervorrichtungen 54 unterstützen, die das Eigentum einer Person sind, von dieser bedient oder anderweitig verwendet werden. Jede Benutzervorrichtung 54, die von der Betriebsumgebung 50 unterstützt wird, kann unter Verwendung einer geeigneten Hardwareplattform implementiert werden. In dieser Hinsicht kann das Benutzergerät 54 in einem gemeinsamen Formfaktor realisiert werden, darunter auch in: einen Desktop-Computer; einem mobilen Computer (z. B. einem Tablet-Computer, einem Laptop-Computer oder einem Netbook-Computer); einem Smartphone; einem Videospielgerät; einem digitalen Media-Player; einem Bestandteil eines Heimunterhaltungsgeräts; einer Digitalkamera oder Videokamera; einem tragbaren Computergerät (z. B. einer Smart-Uhr, Smart-Brille, Smart-Kleidung); oder dergleichen. Jede von der Betriebsumgebung 50 unterstützte Benutzervorrichtung 54 ist als computerimplementiertes oder computergestütztes Gerät mit der Hardware-, Software-, Firmware- und/oder Verarbeitungslogik realisiert, die für die Durchführung der hier beschriebenen verschiedenen Techniken und Verfahren erforderlich ist. So beinhaltet beispielsweise die Benutzervorrichtung 54 einen Mikroprozessor in Form einer programmierbaren Vorrichtung, die eine oder mehrere in einer internen Speicherstruktur gespeicherte Anweisungen beinhaltet und angewendet wird, um binäre Eingaben zu empfangen und binäre Ausgaben zu erzeugen. In einigen Ausführungsformen beinhaltet die Benutzervorrichtung 54 ein GPS-Modul, das GPS-Satellitensignale empfangen und GPS-Koordinaten basierend auf diesen Signalen erzeugen kann. In weiteren Ausführungsformen beinhaltet die Benutzervorrichtung 54 eine Mobilfunk-Kommunikationsfunktionalität, sodass die Vorrichtung Sprach- und/oder Datenkommunikationen über das Kommunikationsnetzwerk 56 unter Verwendung eines oder mehrerer Mobilfunk-Kommunikationsprotokolle durchführt, wie hierin erläutert. In verschiedenen Ausführungsformen beinhaltet die Benutzervorrichtung 54 eine visuelle Anzeige, wie zum Beispiel ein grafisches Touchscreen-Display oder eine andere Anzeige.
Das entfernte Transportsystem 52 beinhaltet ein oder mehrere Backend-Serversysteme, die an dem speziellen Campus oder dem geografischen Standort, der vom Transportsystem 52 bedient wird, Cloud-basiert, netzwerkbasiert oder resident sein können. Das entfernte Transportsystem 52 kann mit einem Live-Berater, einem automatisierten Berater oder einer Kombination aus beidem besetzt sein. Das entfernte Transportsystem 52 kann mit den Benutzervorrichtungen 54 und den autonomen Fahrzeugen 10a-10n kommunizieren, um Fahrten zu planen, autonome Fahrzeuge 10a-10n zu versetzen und dergleichen. In verschiedenen Ausführungsformen speichert das entfernte Transportsystem 52 Kontoinformationen, wie zum Beispiel Teilnehmerauthentisierungsdaten, Fahrzeugkennzeichen, Profilaufzeichnungen, Verhaltensmuster und andere entsprechende Teilnehmerinformationen.
Gemäß einem typischen Anwendungsfall-Arbeitsablauf kann ein registrierter Benutzer des entfernten Transportsystems 52 über die Benutzervorrichtung 54 eine Fahrtanforderung erstellen. Die Fahrtanforderung gibt typischerweise den gewünschten Abholort des Fahrgastes (oder den aktuellen GPS-Standort), den gewünschten Zielort (der einen vordefinierten Fahrzeugstopp und/oder ein benutzerdefiniertes Passagierziel identifizieren kann) und eine Abholzeit an. Das entfernte Transportsystem 52 empfängt die Fahrtanforderung, verarbeitet die Anforderung und sendet ein ausgewähltes der autonomen Fahrzeuge 10a-10n (wenn und sofern verfügbar), um den Passagier an dem vorgesehenen Abholort und zu gegebener Zeit abzuholen. Das Transportsystem 52 kann zudem eine entsprechend konfigurierte Bestätigungsnachricht oder Benachrichtigung an die Benutzervorrichtung 54 erzeugen und senden, um den Passagier zu benachrichtigen, dass ein Fahrzeug unterwegs ist.
Wie ersichtlich, bietet der hierin offenbarte Gegenstand bestimmte verbesserte Eigenschaften und Funktionen für das, was als ein standardmäßiges oder Basislinien autonomes Fahrzeug 10 und/oder ein autonomes fahrzeugbasiertes Transportsystem 52 betrachtet werden kann. Zu diesem Zweck kann ein autonomes fahrzeugbasiertes Transportsystem modifiziert, erweitert oder anderweitig ergänzt werden, um die nachfolgend näher beschriebenen zusätzlichen Funktionen bereitzustellen. Der hierin beschriebene Gegenstand des Klassifizierungs- und Lokalisierungssystems 200 ist nicht nur auf autonome Fahranwendungen anwendbar, sondern auch auf andere Antriebssysteme mit einem oder mehreren automatisierten Merkmalen, die Fahrbahnklassifizierungs- und Lokalisierungsmerkmale nutzen. Darüber hinaus ist das Klassifizierungs- und Lokalisierungssystem 200 in anderen Anwendungen als dem Automobilbereich zum Klassifizieren und Lokalisieren von linienbasierten Bildmerkmalen einsetzbar.
Gemäß einer exemplarischen autonomen Fahranwendung implementiert die Steuerung 34 ein autonomes Antriebssystem (ADS) 70, wie in 3 dargestellt. Das heißt, dass geeignete Soft- und/oder Hardwarekomponenten der Steuerung 34 (z. B. der Prozessor 44 und die computerlesbare Speichervorrichtung 46) verwendet werden, um ein autonomes Antriebssystem 70 bereitzustellen, das in Verbindung mit dem Fahrzeug 10 verwendet wird.
In verschiedenen Ausführungsformen können die Anweisungen des autonomen Antriebssystem 70 je nach Funktion, Modul oder System gegliedert sein. Das autonome Antriebssystem 70 kann beispielsweise, wie in 3 dargestellt, ein Computer-Sichtsystem 74, ein Positionierungssystem 76, ein Leitsystem 78 und ein Fahrzeugsteuersystem 80 beinhalten. Wie ersichtlich ist, können die Anweisungen in verschiedenen Ausführungsformen in beliebig viele Systeme (z. B. kombiniert, weiter unterteilt usw.) gegliedert werden, da die Offenbarung nicht auf die vorliegenden Beispiele beschränkt ist.
In verschiedenen Ausführungsformen synthetisiert und verarbeitet das Computer-Sichtsystem 74 Sensordaten und prognostiziert Anwesenheit, Standort, Klassifizierung und/oder Verlauf von Objekten und Merkmalen der Umgebung des Fahrzeugs 10. In verschiedenen Ausführungsformen kann das Computer-Sichtsystem 74 Informationen von mehreren Sensoren beinhalten, einschließlich, aber nicht beschränkt auf Kameras, Lidare, Radare und/oder eine beliebige Anzahl anderer Arten von Sensoren.
Das Positioniersystem 76 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Position (z. B. eine lokale Position in Bezug auf eine Karte, eine exakte Position in Bezug auf die Fahrspur einer Straße, Fahrzeugrichtung, Geschwindigkeit usw.) des Fahrzeugs 10 in Bezug auf die Umgebung zu ermitteln. Das Leitsystem 78 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Strecke zu ermitteln, dem das Fahrzeug 10 folgen soll. Das Fahrzeugsteuerungssystem 80 erzeugt Steuersignale zum Steuern des Fahrzeugs 10 entsprechend der ermittelten Strecke.
In verschiedenen Ausführungsformen implementiert die Steuerung 34 maschinelle Lerntechniken, um die Funktionalität der Steuerung 34 zu unterstützen, wie z. B. Merkmalerkennung/Klassifizierung, Hindernisminderung, Routenüberquerung, Kartierung, Sensorintegration, Boden-Wahrheitsbestimmung und dergleichen.
Wie vorstehend kurz erwähnt, ist das Klassifizierungs- und Lokalisierungssystem 200 von 1 (und 4) innerhalb des ADS 70 in autonomen Fahranwendungen beinhaltet, zum Beispiel als Teil des Computer-Sichtsystems 200. Das autonome Antriebssystem 200 ist konfiguriert, um Fahrspurmerkmalsdaten einschließlich Fahrspurmerkmalsklassifizierungen und Fahrspurmerkmalslokalisierungen zu bestimmen. Derartige Fahrspurmerkmalsdaten sind durch das Leitsystem 78 nutzbar, das Fahrspurbegrenzungen, Straßenbegrenzungen und andere klassifizierte Straßenmarkierungen (z. B. Halte- und Parklinien) berücksichtigt, um eine Trajektorie für das Fahrzeug 10 zu bestimmen. Das Fahrzeugsteuerungssystem 80 arbeitet mit dem Stellgliedsystem 80 zusammen, um eine derartige Trajektorie zu durchlaufen.
Wie beispielsweise in Bezug auf 4 und unter fortgesetzter Bezugnahme auf 3 ausführlich dargestellt, beinhaltet das Klassifizierungs- und Lokalisierungssystem 200 einen Bild-Assembler 110 zum Empfangen und Zusammenzusetzen von Bildern in Form von Bilddaten 108a bis 108n von den Kameras 140a bis 140n, ein künstliches neuronales Netz 118 zum Klassifizieren und Lokalisieren zusammengesetzter Bilder in Form von zusammengesetzten Bilddaten 112 und verschiedene Nachbearbeitungsmodule zum Erhalten von fusionierten Fahrspurmerkmalsdaten 140 zur Verwendung durch ein Antriebssystem 202, wie beispielsweise ein Fahrassistenzsystem oder das in Bezug auf 3 beschriebene autonome Antriebssystem 200.
Im Einzelnen und gemäß den Ausführungsformen beinhaltet das Klassifizierungs- und Lokalisierungssystem 200 einen Pre-Prozessor 104. Der Pre-Prozessor 104 ist konfiguriert, um Rohbilddaten 102a bis 102n zu empfangen, die Bilder darstellen, die von den jeweiligen Kameras 140a bis 140n erhalten wurden, wobei die Kameras auf einem Fahrzeug 10 (das autonom oder teilautonom sein kann) in Automobilanwendungen montiert sind. Die Kameras 140a bis 140n erzeugen im Allgemeinen eine Reihe von Pixelwerten, welche die Rohbilddaten 102a bis 102n ergeben. Der Pre-Prozessor 104 ist konfiguriert, um Bildartefakte, wie beispielsweise Verzerrungen, zu entfernen. Zu diesem Zweck ist der Pre-Prozessor 104 konfiguriert, um die Kamerakalibrierungsdaten 106 von der Speichervorrichtung 32 zu empfangen. Der Pre-Prozessor 104 ist konfiguriert, um einen Verzerrungsentfernungsprozess und optional weitere Bildkorrekturprozesse unter Verwendung der Kalibrierdaten 106 durchzuführen. Der Pre-Prozessor 104 ist konfiguriert, um entsprechende vorverarbeitete Bilddaten 108a bis 108n entsprechend den Rohbilddaten 102a bis 102n in einer bildgerechten Form auszugeben.
Das Klassifizierungs- und Lokalisierungssystem 200 beinhaltet einen Bild-Assembler 110, der konfiguriert ist, um die vorverarbeiteten Bilddaten 108a bis 108n zusammenzusetzen. In verschiedenen Ausführungsformen beinhaltet der Zusammensetzungsprozess das Verketten oder anderweitige Zusammenfügen jeder Reihe von vorverarbeiteten Bilddaten 108a bis 108n. Die vorverarbeiteten Bilddaten 108a bis 108n werden so zusammengesetzt, dass jeder Satz der vorverarbeiteten Bilddaten 108a bis 108n in den zusammengesetzten Bilddaten 112 erhalten bleibt. In einem Beispiel wird jede Anordnung von vorverarbeiteten Bilddaten 108a bis 108n in einer Zeilenrichtung angeordnet. In einem weiteren Beispiel wird jede Anordnung von vorverarbeiteten Bilddaten 108a bis 108n in einer Spaltenrichtung angeordnet. In einem weiteren Beispiel werden die Anordnungen von vorverarbeiteten Bilddaten 108a bis 108n in einer zweidimensionalen Anordnung zusammengeführt, die sich sowohl in Spalten- als auch in Zeilenrichtung erstreckt. In verschiedenen Ausführungsformen werden Füllreihen und/oder Spalten verwendet, wenn Größenunterschiede in den Eingabefeldern der vorverarbeiteten Bilddaten 108a bis 108n vorliegen. Der Bild-Assembler 110 ist konfiguriert, um eine einzelne Anordnung von zusammengesetzten Bilddaten 112 aus der Vielzahl der eingehenden Reihen von vorverarbeiteten Bilddaten 108a bis 108n zu konstruieren. Die Abmessungen der zusammengesetzten Bilddaten 112 in Form von Zeilen und Spalten von Pixeln werden in Ausführungsformen vom Bild-Assembler 110 vorgegeben. In Ausführungsformen beinhalten die zusammengesetzten Bilddaten 112 mehrere Bilder, die mit verschiedenen Kameras 140a bis 140e aus verschiedenen Perspektiven aufgenommen wurden.
Unter kurzer Bezugnahme auf die 5(a) und 5(b) werden jeweils Rohbilder von der vorwärts gerichteten Surround-View-Kamera, wie beispielsweise der Kamera 140a, und der linken Surround-View-Kamera, wie beispielsweise der Kamera 140c, angezeigt. Das Bild der vorwärts gerichteten Surround-View-Kamera 140a zeigt Fahrspurmarkierungen mit einer Stoppstange 212 und doppelten gelben Linien 210. Das Bild der vorwärts gerichteten Surround-Kamera 140a zeigt auch Fahrspurmerkmale, darunter die ersten und zweiten Bordsteine 206, 208. Das Bild der linken Surround-View-Kamera zeigt eine weiß gestrichelte Linie 214 und einen Bordstein 216. Das hierin beschriebene Klassifizierungs- und Lokalisierungssystem 200 stellt eine Architektur bereit, die ein einzelnes künstliches neuronales Netz 118 zum parallelen Klassifizieren und Lokalisieren dieser Fahrspurmerkmale verwendet.
Das Klassifizierungs- und Lokalisierungssystem 200 beinhaltet ein künstliches neuronales Netz 118, das konfiguriert ist, um Fahrspurmerkmale in den zusammengesetzten Bilddaten 112 zu klassifizieren und zu lokalisieren, um klassifizierte und lokalisierte Fahrspurdaten 120 zu erzeugen. Durch den Betrieb mit zusammengesetzten Bilddaten 112 wird das Klassifizieren und Lokalisieren von Fahrspurmerkmalen parallel an Bildern von mehreren verschiedenen Fahrzeugkameras 140a bis 140e mit jeweils unterschiedlichen Umgebungsperspektiven durchgeführt. In verschiedenen Ausführungsformen ist das künstliche neuronale Netz 118 eine tiefe neuronale Netzwerkarchitektur, die ein einzelnes künstliches neuronales Netz 118 verwendet, um Fahrspurmerkmale in Bildern von mehreren Fahrzeugkameras 140a bis 140e zu erkennen. Das künstliche neuronale Netz 118 ist konfiguriert, um eine dichte mehrstufige Fahrspurbegrenzung (z. B. Bordsteine, Straßenränder, Fahrspurmarkierungen) bei der Klassifizierung und Lokalisierung zu unterstützen. In einem Beispiel ist das künstliche neuronale Netz 118 ein bildbasiertes, nach vorne gerichtetes, tiefes neuronales Netz, wie beispielsweise ein faltungsneuronales Netz.
Unter Bezugnahme auf 6 und unter fortgesetzter Bezugnahme auf 4 ist eine exemplarische Architektur für das künstliche neuronale Netz 118 veranschaulicht. Das künstliche neuronale Netz umfasst die Faltungsschichten 114, die Poolschichten 115 und die vollständig verbundenen Schichten 116. Die vollständig verbundenen Schichten 116 sind in den Ausführungsformen unterteilt in Erkennungsnetzwerk 117 und Regressionsnetzwerk 119 Zweige. Im Beispiel starten die Faltungs- und Poolschichten 114, 115 die zusammengesetzten Bilddaten 112, um Merkmalskarten 121 zu erzeugen. Die Merkmalskarten 121 werden sowohl an das Erkennungsnetzwerk 117 als auch an das Regressionsnetzwerk 119 gesendet. Das Erkennungsnetzwerk 117 und das Lokalisierungsnetzwerk 119 beinhalten jeweils die Erkennungs- und Regressionskostenfunktionen C₁ , C₂ . Optional können die Erkennungs- und Regressionskostenfunktionen C₁ , C₂ zu einer Gesamtkostenfunktion C₃ _kombiniert _werden.
In den Ausführungsformen ist das Erkennungsnetzwerk 117 konfiguriert, um basierend auf den Merkmalskarten die Klassifizierungen der Fahrspurmerkmale {c₀ , c₁ , ..., c_n} 370 auszugeben, die verschiedene mögliche Fahrspurmerkmale darstellen. Die verschiedenen möglichen Fahrspurmerkmale beinhalten Fahrspurbegrenzungsmarkierungen (z. B. weiße Strichmarkierungen, weiße Vollmarkierungen, gelbe Strichmarkierungen, einfache gelbe Vollmarkierungen, doppelte gelbe Markierungen usw.), andere Fahrbahnmarkierungen (z. B. Stopplinien, Fuhrparkspuren usw.) oder Fahrspurmerkmale (z. B. Bordsteine, Schranken usw.). Die vom Erkennungsnetzwerk 117 erzeugten Klassifizierungen von Fahrspurmerkmalen beziehen sich im Allgemeinen auf linienbasierte Merkmale, z. B. gekrümmte oder gerade (oder beide) linienbasierte Fahrspurmerkmale.
In den Ausführungsformen ist das Regressionsnetzwerk 119 konfiguriert, um basierend auf den Merkmalskarten 121 Lokalisierungsparameter {r₀ , r₁ , l₀ , l₁ , γ} 372 zu erzeugen, die die räumliche Lage von Fahrspurmerkmalen im Bildraum darstellen. Unter Bezugnahme auf 8 ist das Regressionsnetzwerk 119 in einigen Ausführungsformen konfiguriert, um Lokalisierungsparameter 372 zu erzeugen, die für die Liniensegmente 204 repräsentativ sind. In Beispielen erzeugt das Regressionsnetzwerk Lokalisierungsparameter, die ein erstes Liniensegment 204, das einen Teil einer äußeren Begrenzung eines interessierenden Fahrspurmerkmals darstellt, und ein zweites Liniensegment 204, das einen Teil einer inneren Begrenzung des interessierenden Fahrspurmerkmals darstellt. Die Architektur des neuronalen Netzes 118, insbesondere der Poolschichten 115, führt dazu, dass die Zellen 359 durch die Merkmalskarte definiert werden. Die ersten und zweiten Liniensegmente 204 werden durch ein Aufnahmefeld einer aktuellen Zelle 359 auf der Merkmalskarte 121 begrenzt. Die AusgabeLokalisierungsparameter 372 (r₀ , l₀ ) bezeichnen einen Offset von der Mitte eines Aufnahmefeldes einer Zelle auf der Merkmalskarte 121 zum nächsten Punkt an einer entsprechenden Außengrenze des interessierenden Merkmals. Die AusgabeLokalisierungsparameter 372 (r₁ , l₁ ) bezeichnen einen Offset von der gleichen Mitte zu einer entsprechenden inneren Begrenzung und γ bezeichnet den Winkel in Bezug auf eine Referenzachse. Diese Lokalisierungsparameter 372 repräsentieren somit erste und zweite Liniensegmente, die Teil der inneren und äußeren Begrenzungen eines interessierenden Merkmals sind. Basierend auf den Abmessungen, z. B. dem Durchmesser der Zelle 359, sind die Lokalisierungsparameter in ein erstes und zweites Liniensegment konvertierbar. Die Lokalisierungsparameter 372 werden in Form von zweidimensionalen Bildraumkoordinaten in den Ausführungsformen bereitgestellt.
In den Ausführungsformen ist das künstliche neuronale Netz 118 konfiguriert, um klassifizierte und lokalisierte Fahrspurdaten 120 einschließlich der Fahrspurmerkmal-Klassifizierungsparameter {c₀ , c₁ , ..., c_n } 370 zur Identifizierung verschiedener gekrümmter (d. h. linienbasierter) Fahrspurmerkmale und Lokalisierungsparameter {r₀ , r₁ , l₀ , l₁ , γ} 372, die die Lage der Fahrspurmerkmale definiert (z.B. in Form von vielen Liniensegmenten 202). Das Klassifizierungs- und Lokalisierungssystem 200 beinhaltet Nachbearbeitungsmodule (einschließlich Daten-Clusterer 122, Intraklassen-Konsolidierer 126 und Kurvenanpasser 130, in einigen Ausführungsformen) zum Zusammenführen einer Population von Liniensegmenten 204, die in den klassifizierten und lokalisierten Fahrspurdaten 120 enthalten sind, zu kohärenten Fahrspurkurvendaten.
In einigen Ausführungsformen und unter zusätzlicher Bezugnahme auf 8 wird der Daten-Clusterer 122 konfiguriert, um jedes Liniensegment 204 in eine Gruppe von Ankerpunkten 220 umzuwandeln, die entlang eines gegebenen Liniensegments 204 positioniert sind. Im Beispiel von 8 wird jedes Liniensegment 204 in fünf Ankerpunkte 220 umgewandelt, die sich linear zwischen Start- und Endpunkt jedes Liniensegments erstrecken. Es kann eine größere oder kleinere Anzahl von Ankerpunkten 220 als fünf gewählt werden. Der Daten-Clusterer 122 ist konfiguriert, um die Ankerpunkte 220 unter Verwendung eines Daten-Clustering-Algorithmus zu bündeln. Für die Gruppierung der Ankerpunkte 220 stehen viele Daten-Clustering-Algorithmen zur Verfügung. Die Ankerpunkte 220 werden basierend auf der Klassifizierung und der räumlichen Nähe gebündelt, die beide aus Klassifizierungs- und Lokalisierungsergebnissen bekannt sind, die in den klassifizierten und lokalisierten Fahrspurdaten 120 enthalten sind. Der Daten-Clustering-Algorithmus dient zusätzlich dazu, Rauschen und Ausreißer-Ankerpunkte zu entfernen. In einigen Ausführungsformen wird ein dichtebasierter Daten-Clustering-Algorithmus verwendet, wie beispielsweise das dichtebasierte räumliche Clustering von Anwendungen mit Rauschen (DBSCAN). Der Daten-Clusterer 122 erzeugt gebündelte Ankerpunktdaten 124. Für ein bestimmtes Fahrspurmerkmal oder eine Fahrspurentität, wie beispielsweise eine Straßenmarkierung, kann mehr als ein Cluster in den gebündelten Ankerpunktdaten 124 vorhanden sein.
In verschiedenen Ausführungsformen ist der Intra-Klassen-Konsolidierer 126 konfiguriert, um Cluster zu kombinieren, die zu derselben Fahrspurentität der gleichen Klasse zählen. Eine Fahrspurentität ist ein einzelnes, separat identifizierbares Fahrspurmerkmal einer bestimmten Klasse. In jedem gegebenen Bild können mehrspurige Entitäten in einer Fahrspurmerkmalsklasse vorhanden sein. Wenn beispielsweise zwei doppelte gelbe Linien auf gegenüberliegenden Seiten einer Fahrspur vorhanden sind, gehört jede doppelte gelbe Linie zur gleichen Klasse, wobei es sich jedoch um unterschiedliche Entitäten handelt. Daher werden die doppelten gelben Linien vom Intra-Klassen-Konsolidierer 126 separat konsolidiert, um zu gewährleisten, dass gegebenenfalls zwei Fahrspurentitäten identifiziert werden. Falls mehr als ein Cluster für eine Fahrspurentität vorhanden ist, werden diese Cluster zusammengeführt. Der Intra-Klassen-Konsolidierer 126 ist konfiguriert, um eine Logik zu implementieren, die verschiedene Hinweise wie die Nähe von Clustern und die Ausrichtung von Clustern als Hinweis darauf berücksichtigt, dass zwei oder mehrere Cluster zu einem einzelnen Cluster kombiniert werden sollten, der der gleichen Fahrspurentität entspricht. Der Daten-Clusterer 126 ist zum Ausgeben von konsolidierten und geclusterten Ankerpunktdaten 128 konfiguriert.
In den Ausführungsformen ist der Kurvenanpasser 130 konfiguriert, um einen Kurvenanpassungsalgorithmus für jeden konsolidierten Cluster von Ankerpunkten 220, die zur gleichen Fahrspurentität gehören, in den konsolidierten und gebündelten Ankerpunktdaten 128 durchzuführen. Es können verschiedene Kurvenanpassungsalgorithmen, wie beispielsweise die polynome Regression und die Spline-Anpassung, verwendet werden. Ein exemplarischer Kurvenanpassungsalgorithmus ist die Bezier-Kurvenanpassung. 8 veranschaulicht eine exemplarische Kurve 222, die an gebündelten Ankerpunkten 220 derselben Entität befestigt ist. Der Kurvenanpasser 130 gibt klassifizierte und lokalisierte Fahrspurkurvendaten 132 aus, die jede identifizierte Fahrspurentität, eine lokalisierte Kurve für jede Fahrspurentität und eine zugehörige Klassifizierungskennung und Fahrspurentitätskennung definieren. Wenn beispielsweise auf jeder Seite einer Straße doppelte gelbe Linien identifiziert wurden, beinhalten die klassifizierten und lokalisierten Fahrspurkurvendaten 132 Kurvenlokalisierungsdaten, das Klassifizieren (d. h. doppelte gelbe Linie) und eine Fahrspurentitätskennung (z.B. doppelte gelbe Linie 1, doppelte gelbe Linie 2).
Die klassifizierten und lokalisierten Fahrspurkurvendaten 132 beinhalten Kurvenlokalisierungsdaten im Bildraum. Zudem sind die Bilder und die daraus resultierenden klassifizierten und lokalisierten Kurven nicht in der richtigen Reihenfolge angeordnet, da das künstliche neuronale Netz 118 mit zusammengesetzten Bildern gearbeitet hat, die in den zusammengesetzten Bilddaten 112 beinhaltet sind. Möglicherweise können sich die Bilder auch überschneiden, wenn die Kameras 140a bis 140e überlappende Sichtfelder aufweisen. Um die Fahrspurmerkmale in den realen Wortraum mit allen Überschneidungen konsolidiert zu ordnen, werden Transformations- und Fusionsprozesse über einen Bild-zu-Realraum-Transformator 134 und ein Fusionsmodul 138 implementiert.
In verschiedenen Ausführungsformen ist der Bild-zu-Realraum-Transformator 106 konfiguriert, um die Kamerakalibrierungsparameter 106 für jede der Kameras 140a bis 140n von der Speichervorrichtung 32 zu empfangen und entsprechende Teile der klassifizierten und lokalisierten Fahrspurkurvendaten 132 zu einem gemeinsamen realen Referenzrahmen in Bezug auf das Fahrzeug 10 anzuordnen. Auf diese Weise werden die zusammengestellten Daten von jeder Kamera zerlegt und angeordnet, als Vorläufer eines Fusionsprozesses. Jede Kamera 140a bis 140n bildet im Allgemeinen eine andere Perspektive der Umgebung ab und weist in einigen Beispielen unterschiedliche Größen der Sichtfelder auf. Somit ist jede Kamera 140a bis 140n im Allgemeinen einem anderen Kalibrierdatensatz zugeordnet, der in den Kamerakalibrierdaten 106 verkörpert ist, um die in den klassifizierten und lokalisierten Fahrspurkurvendaten 132 enthaltenen Bildraumlokalisierungsdaten in den Real-Welt-Raum zu transformieren. Der Bild-zu-Realraum-Transformator 106 ist konfiguriert, um die Realraum-Fahrspur-Merkmalsdaten 136 auszugeben, indem er die zugehörige Realraum-zu-Bildraum-Transformation berechnet.
In verschiedenen Ausführungsformen beinhaltet das Klassifizierungs- und Lokalisierungssystem 200 ein Fusionsmodul 138, das zum Zusammenführen der Realraum-Fahrspur-Merkmalsdaten 136 konfiguriert ist. Die Realraum-Fahrspur-Merkmalsdaten 136 können überlappende oder redundante Fahrspurmerkmale, wie beispielsweise überlappende Fahrspurmarkierungen, als Folge von überlappenden Sichtfeldern der Kameras 140a bis 140n beinhalten. Das Fusionsmodul 138 ist konfiguriert, um derartige redundante Fahrspurmerkmale zu fusionieren (z. B. durch einen Mittelungsprozess oder durch Entfernen eines der redundanten Fahrspurmerkmale), um fusionierte Fahrspurmerkmalsdaten 140 zu erzeugen. Die fusionierten Fahrspurmerkmalsdaten 140 beinhalten klassifizierte Fahrspurmerkmale und lokalisierte Kurvendaten für jedes der im Realraum im Verhältnis zum Fahrzeug 10 angeordneten Merkmale. Die Fahrspurmerkmale wurden klassifiziert und lokalisiert, indem mehrere Bilder von mehreren Kameras 140a bis 140n parallel über ein künstliches neuronales Netz 118 ausgeführt wurden, wodurch Verarbeitungs- und Hardwareanforderungen eingespart wurden. Ferner wird die Nachbearbeitung zum Cluster und zur Kurvenanpassung an den zusammengetragenen Daten durchgeführt, die während der Transformations- und Fusionsprozesse zerlegt und fusioniert werden, um einen konsolidierten und kohärenten Satz von realitätsnahen lokalisierten und klassifizierten Fahrspurmerkmalen als Teil der fusionierten Fahrspurmerkmalsdaten 140 zu erzeugen.
In den Ausführungsformen ist das Antriebssystem 202 konfiguriert, um die Daten der fusionierten Fahrspurmerkmale 140 zum Implementieren verschiedener automatisierter Fahrfunktionen zu verwenden. So ist beispielsweise ein automatisiertes Fahrspurzentriersystem, das im Antriebssystem 202 beinhaltet ist, konfiguriert, um Fahrspurbegrenzungsdaten zu verwenden, die in den fusionierten Fahrspurmerkmalsdaten 140 beinhaltet sind, um das Fahrzeug 10 zentriert in der Fahrspur zu halten. In vollautomatisierten Ausführungsformen ist das autonome Antriebssystem 70 (siehe 3 und die vorstehende Beschreibung) im Antriebssystem 202 beinhaltet und verwendet verschiedene Fahrspurmerkmale in fusionierten Fahrspurmerkmalsdaten 140 (einschließlich Bordsteindaten, Fahrspurbegrenzungsdaten, Stopplinien, Parkliniendaten usw.), um das Fahrzeug 10 zu steuern, während es automatisch eine Strecke zu einem Ziel durchfährt.
Unter jetziger Bezugnahme auf 9 und unter fortgesetzter Bezugnahme auf die 1-8, veranschaulicht ein Flussdiagramm ein Steuerverfahren 300, das durch das Klassifizierungs- und Lokalisierungssystem 200 von 4 gemäß der vorliegenden Offenbarung ausgeführt werden kann. Wie angesichts der Offenbarung zu erkennen ist, ist die Abfolge der Vorgänge innerhalb der Verfahrens nicht auf die sequenzielle Ausführung beschränkt, wie in 9 dargestellt, sondern kann in einer oder mehreren variierenden anwendbaren Reihenfolgen gemäß der vorliegenden Offenbarung durchgeführt werden. In verschiedenen Ausführungsformen kann das Verfahren 300 basierend auf einem oder mehreren vordefinierten Ereignissen zur Ausführung geplant werden und/oder kontinuierlich während des Betriebs des autonomen Fahrzeugs 10 ausgeführt werden.
Bei 302 werden die Rohbilddaten 102a bis 102n der jeweiligen Kameras 140a bis 140e vom Klassifizierungs- und Lokalisierungssystem 200 empfangen. In den Ausführungsformen werden die Rohbilddaten 102a bis 102n über den Pre-Prozessor 104, basierend auf kameraspezifischen Kalibrierdaten 106, vorverarbeitet, um Verzerrungseffekte und andere Bildartefakte zu entfernen.
Bei 304 werden die vorverarbeiteten Bilddaten 108a bis 108n über den Bild-Assembler 110 zusammengesetzt, um zusammengesetzte Bilddaten 112 zu erzeugen. Der Bild-Assembler 110 ist konfiguriert, um entsprechende Bildanordnungen, die die vorverarbeiteten Bilddaten 108a bis 108n bilden, zu einer einzelnen, zusammengesetzten Bildanordnung zu verketten, welche die zusammengesetzten Bilddaten 112 bildet.
Bei 306 wird das künstliche neuronale Netz 118 mit den zusammengesetzten Bilddaten 112 zum Klassifizieren und Lokalisieren von Bildmerkmalen, insbesondere linienbasierten Fahrspurmerkmalen, betrieben. In verschiedenen Ausführungsformen werden die zusammengesetzten Bilddaten 112 dazu geführt, die Faltungsschichten 114 und die Poolschichten 115 zu durchlaufen. Eine Merkmalskarte 121, die von den Faltungs- und Poolschichten 114, 115 erzeugt wird, wird sowohl durch ein Erkennungsnetzwerk 117 zum Klassifizieren verschiedener Fahrspurmerkmale als auch durch ein Regressionsnetzwerk 119 zum Lokalisieren von Fahrspurmerkmalen geführt. Das künstliche neuronale Netz 118 erzeugt somit Klassifizierungsparameter 370 und Lokalisierungsparameter 372, die in die klassifizierten und lokalisierten Ausgabedaten 120 einfließen. Die Lokalisierungsparameter 372 definieren in Ausführungsformen eine Population von Liniensegmenten. Die Merkmalskarte 121 ist im Allgemeinen so beschaffen, dass innere und äußere Begrenzungen von interessierenden Fahrspurmerkmalen erzeugt und als Teil der Lokalisierungsparameter 372 ausgegeben werden.
Bei 308 wird das Daten-Clustering über den Daten-Clusterer 122 an den klassifizierten und lokalisierten Daten 120 durchgeführt, was das Platzieren von Ankerpunkten 220 entlang jedes der Liniensegmente beinhaltet. Die Ankerpunkte 220 werden basierend auf der Klassifizierung und Nähe gebündelt, um gebündelte Ankerpunktdaten 124 bereitzustellen. Bei 310 wird die Intra-Klassen-Konsolidierung über den Intra-Klassen-Konsolidierer 126 durchgeführt, um Cluster der gleichen Klasse zu gruppieren, die zu derselben Fahrspurentität zu gehören scheinen, beispielsweise aufgrund der Nähe und Ausrichtung jedes Clusters.
Bei 312 wird die Kurvenanpassung über den Kurvenanpasser 130 an konsolidierten und gebündelten Ankerpunkten 128 durchgeführt, die vom Daten-Clusterer 122 bereitgestellt werden. Die Kurvenanpassung berechnet eine Kurve 222, die durch die Population der Ankerpunkte 220 verläuft, die für jede konsolidierte und gebündelte Fahrspurentität existieren, die in den konsolidierten und gebündelten Ankerpunktdaten 128 bereitgestellt wird. Auf diese Weise werden klassifizierte und lokalisierte Fahrspurkurvendaten 132 bereitgestellt, die lokalisierte und klassifizierte Fahrspurentitäten beinhalten, die jeweils Kurven definieren.
Bei 314 wird die Bildraum-zu-Realraum-Transformation über den Bild-zu-Realraum-Transformator 134 an den klassifizierten und lokalisierten Fahrspurkurvendaten 132 durchgeführt, um jedes Fahrspurmerkmal oder jede Fahrspurentität in Bezug auf das Fahrzeug 10 zu lokalisieren. Es kann zu einer gewissen Überschneidung von Spurmerkmalen in den resultierenden realen Fahrspurmerkmalsdaten 136 kommen, die durch die Fusion von Fahrspurmerkmalsdaten bei Schritt 316 über das Fusionsmodul 138 entfernt werden, wodurch fusionierte Fahrspurmerkmalsdaten 140 erzeugt werden.
Bei 318 wird die automatisierte Fahrfunktionssteuerung über das Antriebssystem 202 ausgeführt, basierend auf Fahrspurmerkmalen, die in den fusionierten Fahrspurmerkmalsdaten 140 enthalten sind. Das Antriebssystem 202 beinhaltet in verschiedenen Ausführungsformen das autonome Antriebssystem 70.
Die hierin beschriebenen Systeme und Verfahren ermöglichen auch ein effektives Training des künstlichen neuronalen Netzes 118, das in Bezug auf die 4 und 6 gemäß den verschiedenen Ausführungsformen beschrieben wurde. Unter Bezugnahme auf 6 wird ein System 350 zum Trainieren des künstlichen neuronalen Netzes 118 veranschaulicht. Das System 350 beinhaltet das vorstehend beschriebene künstliche neuronale Netz 118 und einen Bildverstärker 230. Das System 350 ist konfiguriert, um Kennzeichnungsmerkmalsdaten 352 zu empfangen, einschließlich der inneren und äußeren Kennzeichnungen 241b, 241a, die jedem interessierenden Fahrspurmerkmal zugeordnet sind.
Im Beispiel von 6 dient eine gekennzeichnete Linie, die sich entlang einer Kante eines Bordsteins erstreckt, als innere gekennzeichnete Linie 241b und eine gekennzeichnete Linie, die sich entlang einer anderen Kante des gleichen Bordsteins erstreckt, als äußere gekennzeichnete Linie 241a. Hier wird „innere“ und „äußere“ mit Bezug auf die Kamera 140a bis 140e verwendet, die das Bild aufnimmt, wobei sich „äußeres“ in einer Richtung weiter entfernt liegt von der Kamera 140a bis 140e als „innere“. Jedes Fahrspurmerkmal ist mit inneren und äußeren gekennzeichneten Linien gekennzeichnet, um nicht nur die Richtung der Verlängerung und Position des gekennzeichneten Fahrspurmerkmals im Bild, sondern auch die Dicke des Fahrspurmerkmals im Bild anzuzeigen. Da jedes gekennzeichnete Merkmal eine Längsrichtung der Verlängerung aufweist, werden innere und äußere gekennzeichnete Linien verwendet, um die Längskanten des Fahrspurmerkmals zu abzugrenzen. In den Ausführungsformen werden die Linien von einem menschlichen Bediener eines Bildkennzeichnungssystems gekennzeichnet (nicht dargestellt) und die Merkmalskennzeichnungsdaten 352 werden aus den vom Menschen gekennzeichneten Linien extrahiert. Die inneren und äußeren Längskanten der einzelnen interessierenden Fahrspurmerkmale werden in eine Bilderpopulation eingefügt, um einen gekennzeichneten Trainingsbildsatz für das künstliche neuronale Netz 118 zu bilden.
Weitere Beispiele für gekennzeichnete Fahrspurmerkmale finden sich in den 5(a), 5(b) und 7(a) bis 7(d). 5(A) beinhaltet ein Kennzeichen für den Bordstein 1, das innere und äußere gekennzeichnete Linien 247b, 247a für die jeweiligen Kanten des Bordsteins 1 beinhaltet. 5(A) beinhaltet den gekennzeichneten Bordstein 2 mit den inneren und äußeren gekennzeichneten Linien 248b, 248a, eine doppelte gelbe Linienkennzeichnung mit den inneren und äußeren gekennzeichneten Linien 249b, 249a entsprechend den Kanten der doppelten gelben Linie und eine gekennzeichnete Stoppleiste mit den inneren und äußeren gekennzeichneten Linien 246b, 246a an den jeweiligen Kanten der Stoppleiste. 5(B) beinhaltet innere und äußere gekennzeichnete Linien 245b, 245a einer gestrichelten weißen Linie. 7(A) beinhaltet innere und äußere gekennzeichnete Linien 240b, 240a, die jeweilige Längskanten (im Bild) eines Bordsteins auf einer Straßenseite definieren, und innere und äußere gekennzeichnete Linien 244b, 244a eines Bordsteins auf einer gegenüberliegenden Straßenseite. Ebenso ist in 7(A) eine doppelte gelbe Linie mit inneren und äußeren gekennzeichneten Linien 242b, 242a gekennzeichnet, die sich entlang der jeweiligen Längskanten der doppelten gelben Linie erstrecken.
Unter Bezugnahme auf das Trainingssystem von 6 wird ein Bildverstärker 230 gemäß verschiedenen Ausführungsformen bereitgestellt. Der Bildverstärker 230 beinhaltet prozessor- und computerausführbare Anweisungen zum Durchführen von Bildtransformationen. Wie zu erkennen ist, wird die Genauigkeit und Anpassungsfähigkeit des künstlichen neuronalen Netzes 118 durch eine größere Anzahl und Vielfalt von Bildern in einem gekennzeichneten Trainingssatz erhöht. Der Bildverstärker 230 ist konfiguriert, um Bildtransformationen zum Erzeugen von mehreren erweiterten Merkmalskennzeichnungsdaten 354 zur Verwendung beim Training des künstlichen neuronalen Netzes 118 durchzuführen. Der Bildverstärker 230 arbeitet mit den bereits von einem Menschen gekennzeichneten Merkmalskennzeichnungsdaten 352 und extrahiert erweiterte Merkmalskennzeichnungen basierend auf den menschlichen Kennzeichnungen aus den transformierten Bildern. Es können verschiedene Bildtransformationseffekte genutzt werden, darunter Änderung des Lichteffekts, Änderung von Wettereffekten, Bildrauscheffekte, Änderung des Fokuseffekts, Änderung des perspektivischen Effekts, Änderung der Skala, Änderung des Seitenverhältnisses und des Weißabgleichseffekts. Insbesondere Wettersimulationen, Perspektivwechsel, simulierte Beleuchtungsänderungen und simulierte Verschattungen reflektieren die Bedingungen, denen ein Laufzeit-Fahrzeug 10 ausgesetzt ist. Bildtransformationen zum Erzeugen derartiger Effekte sind verfügbar.
Unter Bezugnahme auf die 7(a) bis 7(d) wird ein Beispiel zum Erzeugen von gekennzeichneten Bildern mit unterschiedlichen Perspektiven aus einem ersten Bild ( 7(A)) 374 mit einer ersten Perspektive bereitgestellt. In 7(B) wird eine weitere nach vorne gerichtete Perspektive dargestellt. In 7(C) ist eine weitere Vorwärts- und Linksperspektive vorgesehen. In 7(D) ist eine weitere Vorwärts- und Rechtsperspektive vorgesehen. Mindestens eines der gekennzeichneten Bildmerkmale aus dem ersten Bild
In Ausführungsformen verwendet der Bildverstärker 230 unter anderem geometrische Transformationen zum Erzeugen von erweiterten Merkmalskennzeichnungsdaten 354. Es stehen verschiedene geometrische Transformationen zur Verfügung, einschließlich Skalierung, Übersetzung, Rotation, perspektivische Transformation, allgemeine affine Transformation, usw.
In verschiedenen Ausführungsformen werden die Merkmalskennzeichnungsdaten 352 und die erweiterten Merkmalskennzeichnungsdaten 354 vom künstlichen neuronalen Netz 118 als Trainingsbildsatz für das künstliche neuronale Netz 118 verwendet. Das künstliche neuronale Netz 118 ist konfiguriert, um die Merkmalskennzeichnungsdaten 352 und die erweiterten Merkmalskennzeichnungsdaten 354 als Klassifizierungs- und Lokalisierungslernziele für die Erkennungs- und Regressionskostenfunktionen C₁ , C₂ des Erkennungsnetzwerks 117 bzw. des Regressionsnetzwerks 119 zu verwenden. Die Klassifizierungs- und Lokalisierungslernziele werden in einem Lernzielbereich 358 definiert, wie in 6 schematisch dargestellt. Der Lernzielbereich 358 beinhaltet die inneren und äußeren Margenbereiche 360b, 360a, die durch Linien begrenzt sind, die sich angrenzend an die inneren und äußeren gekennzeichneten Linien 241a, 241b entlang der inneren und äußeren Längskanten eines interessierenden gekennzeichneten Fahrspurmerkmals (das im Beispiel von 6 ein Bordstein ist) erstrecken. Die inneren und äußeren Margenbereiche 360a, 360b stellen einen erweiterten Zielbereich bereit, der an anderer Stelle hierin als ein interessierender Bereich bezeichnet wird, auf beiden Seiten des Bereichs, der zwischen den inneren und äußeren gekennzeichneten Linien 241a, 241b definiert ist, wodurch ein großzügig proportionierter Lernzielbereich 358 für die Erkennungs- und Regressionskostenfunktionen C₁ bzw. C₂ bereitgestellt wird. Auf diese Weise wird ein effizienter und effektiver Trainingsprozess für das künstliche neuronale Netz 118 gewährleistet.
In den Ausführungsformen ist das Trainingssystem 350 konfiguriert, um computererzeugte Versionen der erweiterten Merkmalskennzeichnungsdaten 354 und der manuell markierten Merkmalskennzeichnungsdaten 352 während des Trainingsprozesses auszuführen. Die Erkennungs- und Regressionsnetzwerke 117, 119 des künstlichen neuronalen Netzes 118 erzeugen jeweils Klassifizierungs- und Lokalisierungsparameter 370, 372, wenn die nicht gekennzeichneten Bilddaten 352' und die erweiterten nicht gekennzeichneten Bilddaten 354' durch das künstliche neuronale Netz 118 hindurchlaufen. Die Erkennungs- und Regressionskostenfunktionen C₁ , C₂ dienen dazu, innerhalb des interessierenden Bereichs 358 eine Differenz zwischen den Klassifizierungs- und Lokalisierungsparametern 370, 372 und den erwarteten Ausgaben zu messen, die in den erweiterten und gekennzeichneten Bildmerkmalsdaten 352, 354 als Trainingsdatensatz definiert sind. Im Falle des Regressionsnetzwerks 119 misst die Regressionskostenfunktion C₂ eine Differenz zwischen Ausgabelokalisierungsparametern und den entsprechenden Kennzeichnungen im Lernzielbereich 358. In den Ausführungsformen erfolgt das Training durch Minimieren der Erkennungs- und Regressionskostenfunktionen C₁ , C₂ und Anpassen von Gewichtungen und Vorspannungen der verschiedenen Schichten 114, 115, 116 des künstlichen neuronalen Netzes 118 durch Berechnen eines Gradientenvektors der Erkennungs- und Regressionskostenfunktionen C₁ , C₂ (z. B. durch Rückpropagierung). In den Ausführungsformen treten Falschmeldungen auf, wenn die Zentren der Zellen 359 nicht in den erweiterten Interessensbereich 358 einbezogen sind, was durch ein Ergebnis der Auswertung der Kostenfunktion C₂ angezeigt wird, was zu einer Anpassung der Gewichtungen und Vorspannungen einer oder mehrerer der verschiedenen Schichten 114, 115, 116 des künstlichen neuronalen Netzes 118 führt, um das Ergebnis der Kostenfunktion C₂ zu minimieren.
Unter nunmehriger Bezugnahme auf 10 und unter fortgesetzter Bezugnahme auf die 1-8 veranschaulicht ein Flussdiagramm ein Trainingsverfahren 400 für ein künstliches neuronales Netz 118, das durch das Trainingssystem 350 von 6 gemäß der vorliegenden Offenbarung ausgeführt werden kann. Wie angesichts der Offenbarung zu erkennen ist, ist die Abfolge der Vorgänge innerhalb der Verfahrens 400 nicht auf die sequenzielle Ausführung beschränkt, wie in 10 dargestellt, sondern kann in einer oder mehreren variierenden anwendbaren Reihenfolgen gemäß der vorliegenden Offenbarung durchgeführt werden.
Bei 402 werden die Merkmalskennzeichnungsdaten 352 vom Trainingssystem 350 empfangen. In den Ausführungsformen werden die Merkmalskennzeichnungsdaten 352 aus Straßenbildern abgeleitet, die durch einen menschlichen Kennzeichnungsbeauftragten gekennzeichnet wurden. Jedes interessierende Fahrspurmerkmal wird klassifiziert und es sind innen- und außenliegende Linienkennzeichnungen (z. B. 241a, 241b), die sich in Längsrichtung entlang jedes Fahrspurmerkmals erstrecken, integriert, um die interessierenden Fahrspurmerkmale zu lokalisieren.
Bei 404 werden die Merkmalskennzeichnungsdaten 352 gemäß verschiedenen Ausführungsformen über den Bildverstärker 230 verarbeitet, um erweiterte Merkmalskennzeichnungsdaten 354 zu erzeugen. Jedes der Bilder, aus denen die Merkmalskennzeichnungsdaten 352 abgeleitet werden, wird mit dem Bildverstärker 230 durch verschiedene Transformationseffekte multipliziert. In verschiedenen Ausführungsformen erzeugt der Bildverstärker 230 Bilder mit unterschiedlichen Perspektiven, lokalisierten Schattierungen, Lichtänderungen, Fokusänderungen, Weißabgleichsänderungen, Skalenänderungen, Seitenverhältnisänderungen, Rauscheffekten usw.
Bei 406 wird ein Lernzielbereich oder ein Interessensbereich 358 durch einen Prozessor des Trainingssystems 350 definiert. Zwischen den inneren und äußeren gekennzeichneten Linien 241a, 241b ist bereits ein Längsbereich beinhaltet, der jedes interessierende Merkmal abgrenzt. Dieser Längsbereich wird beidseitig durch die inneren und äußeren Margenbereiche 360a, 360b erweitert. Die Margenbereiche 360a, 360b sind durch einen Konstruktionsparameter des Trainingssystems 350 in verschiedenen Ausführungsformen bestimmbar. Eine Domäne der Kostenfunktionen C₁ , C₂ wird basierend auf dem Interessensbereich 358 definiert.
Bei 408 wird das künstliche neuronale Netz 118 auf nicht gekennzeichneten Versionen der Eingangsbilddaten 352 und der erweiterten Bilddaten 354 betrieben. Das künstliche neuronale Netz 118 gibt die Klassifizierungsparameter 370 und die Lokalisierungsparameter 372 aus dem Erkennungsnetzwerk 117 bzw. dem Regressionsnetzwerk 119 aus.
Bei 410 werden die Erkennungs- und Regressionskostenfunktionen C₁ , C₂ für das Erkennungsnetzwerk 117 bzw. das Regressionsnetzwerk 119 bewertet. Die Erkennungskostenfunktion C₁ bestimmt einen Fehler zwischen den Ausgabeklassifizierungsparametern 370 und den durch die Merkmalskennzeichnungsdaten 352 und die erweiterten Merkmalskennzeichnungsdaten 354 definierten Lernziel-Klassifizierungsparametern (Nominalparameter innerhalb des Interessensbereichs 358). Die Regressionskostenfunktion C₂ bestimmt einen Fehler zwischen den Ausgabelokalisierungsparametern 372 und den Nominalparametern (eingeschränkt durch den Interessensbereich 358), die durch die erweiterten Merkmalskennzeichnungsdaten 354 und die Merkmalskennzeichnungsdaten 352 definiert sind.
Bei 412 wird das künstliche neuronale Netz trainiert, um das Ergebnis der Auswertung der Erkennungs- und Regressionskostenfunktionen C₁ , C₂ zu minimieren, z. B. den Fehler zwischen den Lernzielen (Nominalparameter innerhalb des Interessenbereichs 358) und den Parametern 370, 372, die aus dem künstlichen neuronalen Netz 118 ausgegeben werden. Im Allgemeinen beinhaltet der Trainingsprozess das Berechnen von partiellen Ableitungen der Erkennungs- und Regressionskostenfunktionen C₁ , C₂ und das Anpassen von Gewichtungen und Vorspannungen der Schichten des künstlichen neuronalen Netzes 118.
Obwohl das Trainingssystem 350 und das zugehörige Trainingsverfahren hierin mit Bezug auf Automobilanwendungen beschrieben wurden, ist zu verstehen, dass die offenbarten Systeme und Verfahren zum Trainieren anderer künstlicher neuronaler Netze zum Lokalisieren und Klassifizieren von linienbasierten Merkmalen in Bildern geeignet sind.
Während mindestens eine exemplarische Ausführungsform in der vorstehenden ausführlichen Beschreibung dargestellt wurde, versteht es sich, dass es eine große Anzahl an Varianten gibt. Es versteht sich weiterhin, dass die exemplarische Ausführungsform oder die exemplarischen Ausführungsformen lediglich Beispiele sind und den Umfang, die Anwendbarkeit oder die Konfiguration dieser Offenbarung in keiner Weise einschränken sollen. Die vorstehende ausführliche Beschreibung stellt Fachleuten auf dem Gebiet vielmehr einen zweckmäßigen Plan zur Implementierung der exemplarischen Ausführungsform bzw. der exemplarischen Ausführungsformen zur Verfügung. Es versteht sich, dass verschiedene Veränderungen an der Funktion und der Anordnung von Elementen vorgenommen werden können, ohne vom Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren rechtlichen Entsprechungen aufgeführt ist, abzuweichen.

Claims

Verfahren zur Steuerung eines Fahrzeugs, umfassend: Empfangen von Bilddaten von jeder der Vielzahl von Kameras, die am Fahrzeug montiert sind, über mindestens einen Prozessor; Zusammensetzen der Bilddaten von jeder der Vielzahl von Kameras über den mindestens einen Prozessor, um zusammengesetzte Bilddaten zu bilden; Klassifizieren und Lokalisieren von Fahrspurmerkmalen unter Verwendung eines künstlichen neuronalen Netzes, basierend auf den zusammengesetzten Bilddaten, um klassifizierte und lokalisierte Fahrspurdaten zu erzeugen; Durchführen eines Datenfusionsprozesses über den mindestens einen Prozessor, basierend auf den klassifizierten und lokalisierten Fahrspurdaten, wodurch fusionierte Fahrspurmerkmalsdaten erzeugt werden; Steuern des Fahrzeugs über den mindestens einen Prozessor, basierend zum Teil auf den Daten der fusionierten Fahrspurmerkmale.
Verfahren nach Anspruch 1, das über den mindestens einen Prozessor eine Bildraum-zu-Realraum-Transformation basierend auf den klassifizierten und lokalisierten Fahrspurdaten durchführt, um Realraum-Fahrspur-Funktionsdaten bereitzustellen.
Verfahren nach Anspruch 2, worin das Transformieren vor dem Zusammenführen erfolgt.
Verfahren nach Anspruch 1, worin eine Vielzahl der Kameras ein unterschiedliches, aber überlappendes Sichtfeld aufweist und die Fusion das Zusammenführen überlappender Sichtfelder umfasst.
Verfahren nach Anspruch 1, worin die klassifizierten und lokalisierten Fahrspurdaten Liniensegmente definieren.
Verfahren zum Trainieren eines künstlichen neuronalen Netzes, wobei das Verfahren Folgendes umfasst: Empfangen von Bilddaten über das künstliche neuronale Netz, einschließlich zugehöriger Merkmalskennzeichnungen, wobei jede Merkmalskennzeichnung eine Merkmalsklassifizierung und mindestens eine lokalisierte Linie beinhaltet; Definieren mindestens einer Marge in Form mindestens einer Linie, die angrenzend an jede mindestens eine lokalisierte Linie angeordnet ist; Definieren eines Interessenbereichs basierend auf der mindestens einen Marge; Betreiben des künstlichen neuronalen Netzes unter Verwendung der Bilddaten als Eingangsschicht, um klassifizierte und lokalisierte Ausgangsdaten einschließlich Ausgabeklassifizierungs- und Lokalisierungsparameter zu erzeugen; Auswerten, über das künstliche neuronale Netzwerk, einer Kostenfunktion, die Ausgabeklassifizierungs- und Lokalisierungs- und Klassifikationsparameter innerhalb des interessierenden Bereichs vergleicht, worin die nominalen Klassifizierungs- und Lokalisierungsparameter die mindestens eine lokalisierte Linie darstellen und als Lernziel für die Kostenfunktion dienen; Trainieren des künstlichen neuronalen Netzes basierend auf der Kostenfunktion.
Verfahren nach Anspruch 6, worin das künstliche neuronale Netz ein faltungsneuronales Netzwerk ist, das einen Klassifizierungserkennungs- und einen Lokalisierungsregressionszweig beinhaltet.
Verfahren nach Anspruch 6, das über mindestens einen Prozessor erweiterte Bilddaten zum Trainieren des künstlichen neuronalen Netzes durch Transformieren der Bilddaten und der zugehörigen Merkmalskennzeichnungen unter Verwendung mindestens eines Bildtransformationseffekts und Ableiten von erweiterten Merkmalskennzeichnungen aus den erweiterten Bilddaten zum Trainieren des künstlichen neuronalen Netzes erzeugt.
Verfahren nach Anspruch 6, worin jede Merkmalskennzeichnung erste und zweite lokalisierte Linien beinhaltet, worin das Verfahren das Definieren, über mindestens einen Prozessor, erster und zweiter Margen in Form von ersten und zweiten Linien, die angrenzend an die ersten und zweiten Linien angeordnet sind, beinhaltet, wobei der Interessensbereich den Bereich innerhalb der ersten und zweiten Linien beinhaltet, das Bewerten, über das künstliche neuronale Netz, der Kostenfunktion, der Kostenfunktion zum Vergleichen der Ausgabelokalisierungsparameter und der Nennparameter innerhalb des Interessenbereichs, wobei die Nennparameter als Lernziel dienen.
System zum Lokalisieren und Klassifizieren von linienbasierten Bildmerkmalen, worin das System Folgendes umfasst: mindestens einen Prozessor, der konfiguriert ist, um: Bilddaten von jeder der Vielzahl von Kameras zu empfangen; und Zusammensetzen der Bilddaten von jeder der Vielzahl von Kameras, um zusammengesetzte Bilddaten zu bilden; und ein künstliches neuronales Netz, das konfiguriert ist, um: linienbasierte Bildmerkmale basierend auf den zusammengesetzten Bilddaten zu klassifizieren und zu lokalisieren, um klassifizierte und lokalisierte Liniendaten zu erzeugen; worin der mindestens eine Prozessor konfiguriert ist, um einen Datenfusionsprozess basierend auf den klassifizierten und lokalisierten Liniendaten durchzuführen, wodurch fusionierte linienbasierte Merkmalsdaten erzeugt werden.