DE102021102785A1

DE102021102785A1 - Verfahren und vorrichtung zur spurerkennung auf einer fahrzeugfahrfläche

Info

Publication number: DE102021102785A1
Application number: DE102021102785.3A
Authority: DE
Inventors: Netalee Efrat Sela; Max Bluvstein; Dan Levi; Noa Garnett; Bat El Shlomo
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2020-03-03
Filing date: 2021-02-05
Publication date: 2021-09-09
Also published as: CN113343746B; US20210276574A1; CN113343746A; US11731639B2

Abstract

Ein Fahrzeug mit einem Bildsensor, der so angeordnet ist, dass er ein Sichtfeld (FOV) überwacht, das eine Fahrfläche in der Nähe des Fahrzeugs umfasst, wird beschrieben. Das Erkennen der Fahrspur umfasst das Erfassen eines FOV-Bildes eines sichtbaren Bereichs der Fahrfläche. Das FOV-Bild wird über ein künstliches neuronales Netzwerk in eine Vielzahl von Merkmalskarten umgewandelt. Die Merkmalskarten werden über einen Algorithmus für die inverse perspektivische Abbildung auf ein orthografisches BEV-Gitter projiziert. Die Merkmalskarten enthalten Fahrspursegmente und Merkmalseinbettungen, und die Fahrspursegmente werden als Liniensegmente dargestellt. Die Liniensegmente werden für die Vielzahl von Gitterabschnitten basierend auf den Merkmalseinbettungen verkettet, um eine vorhergesagte Fahrspur zu bilden. Die Verkettung bzw. das Clustering wird über die Merkmalseinbettungen durchgeführt.

Description

EINLEITUNG
Fahrzeuge, einschließlich solcher mit fortschrittlichen Fahrerassistenzsystemen (ADAS) und autonomen Systemen, können Informationen über die Lage der Fahrspuren nutzen, um einen Bediener zu informieren und/oder um die Betriebssteuerung eines oder mehrerer Systeme des Fahrzeugs zu steuern. Fahrzeugsteuerungssysteme können von Informationen zur dynamischen Lokalisierung von Fahrspuren profitieren und können diese Informationen als Eingabe für die Steuerung eines oder mehrerer Systeme wie Bremsen, Kurvenfahren und Beschleunigen verwenden.
Die genaue Erkennung von Fahrspuren spielt beim autonomen Fahren aus mehreren Gründen eine entscheidende Rolle. Dazu gehören die Bereitstellung von Hinweisen auf verfügbare Manöver des Fahrzeugs, die genaue Lokalisierung des Fahrzeugs in Bezug auf eine digitalisierte Karte und die Ermöglichung der automatischen Erstellung von Karten in Verbindung mit der genauen Lokalisierung des Fahrzeugs. Es besteht also ein Bedarf an einer genauen dreidimensionalen Fahrspurerkennung und Lokalisierung von Fahrspuren. Darüber hinaus ist es wünschenswert, Fahrspuren einer Fahrfläche, die sich in einer Trajektorie eines Fahrzeugs befinden, unter Verwendung von Informationen eines bildgebenden Sensors schnell, genau und präzise erkennen, überwachen und darauf reagieren zu können.
KURZFASSUNG
Ein Verfahren, eine Vorrichtung und ein System sind in der Lage, eine dreidimensionale digitale Fahrspurdarstellung bereitzustellen, die verschiedene Fahrspurtopologien umfasst, einschließlich, aber nicht beschränkt auf urbane Situationen, Verzweigungen, Zusammenführungen usw., die auf ungesehene Kameras und Szenen verallgemeinert werden können. Dies umfasst ein Fahrzeug mit einem Bildsensor und einem Steuergerät, wobei der Bildsensor, als nicht einschränkende Beispiele, eine Kamera oder einen LiDAR-Sensor umfasst. Der Bildsensor ist so angeordnet, dass er ein Sichtfeld (FOV) überwacht, das eine Fahrfläche in der Nähe des Fahrzeugs umfasst. Ein Verfahren und ein zugehöriges System zum Erkennen einer Fahrspur in der Nähe des Fahrzeugs werden beschrieben und umfassen das Erfassen eines FOV-Bildes eines sichtbaren Bereichs der Fahrfläche über den Bildsensor. Das FOV-Bild wird über ein künstliches neuronales Netzwerk in eine Vielzahl von Merkmalskarten umgewandelt. Die Merkmalskarten werden über einen Algorithmus für die inverse perspektivische Abbildung auf ein orthografisches BEV-Gitter projiziert, wobei das orthografische BEV-Gitter eine Vielzahl von Gitterabschnitten enthält, die die Ground Truth der Fahrfläche darstellen. Die Merkmalskarten enthalten Fahrspursegmente und Merkmalseinbettungen, die in der Vielzahl von Gitterabschnitten des orthografischen BEV-Gitters dargestellt werden, und die Fahrspursegmente werden als Liniensegmente in der Vielzahl von Gitterabschnitten dargestellt. Die Liniensegmente werden für die Vielzahl von Gitterabschnitten basierend auf den Merkmalseinbettungen verkettet, um eine vorhergesagte Fahrspur im orthografischen BEV-Gitter zu bilden. Die Verkettung bzw. das Clustering wird über die Merkmalseinbettungen durchgeführt. Die Merkmalseinbettungen jedes Gitterabschnitts sind Vektoren zugeordnet, die so gelernt wurden, dass Vektoren, die zur gleichen Spur gehören, nahe in einem eingebetteten Raum eingebettet sind, und Vektoren, die zu verschiedenen Spuren gehören, weit entfernt im eingebetteten Raum eingebettet sind. Auf diese Vektoren kann Clustering angewendet werden, um eine Trennung zu verschiedenen Fahrspuren zu erreichen.
Der Betrieb des Fahrzeugs wird auf der Grundlage der vorhergesagten Fahrspur im orthografischen BEV-Gitter gesteuert. Dies kann beispielsweise die Steuerung des Betriebs des Fahrzeugs, die Steuerung der Navigation und der Routenplanung des Fahrzeugs, die Übermittlung der vorhergesagten Fahrspur an nahe gelegene Fahrzeuge und die Aktualisierung der fahrzeuginternen Kartendaten und/oder der fahrzeugexternen Kartendaten auf dieser Grundlage umfassen. Die Steuerung des Betriebs des Fahrzeugs auf der Grundlage der vorhergesagten Fahrspur umfasst die Steuerung eines Antriebssystems, eines Lenksystems oder eines Bremssystems über ein fortschrittliches Fahrerassistenzsystem.
Ein Aspekt der Offenlegung beinhaltet, dass jedes der Liniensegmente als Normalenvektor parametrisiert ist, der in Bezug auf einen Mittelpunkt des Gitterabschnitts definiert ist, wobei der Normalenvektor durch einen Betrag, eine Richtung und eine Höhe in Bezug auf den Mittelpunkt des Gitterabschnitts definiert ist.
Ein weiterer Aspekt der Offenlegung beinhaltet, dass die Fahrspursegmente als geradlinige Segmente in der Vielzahl von Gitterabschnitten dargestellt werden, und wobei jede der vorhergesagten Fahrspuren einen verketteten Satz der geradlinigen Segmente in benachbarten der Vielzahl von Gitterabschnitten umfasst.
Ein weiterer Aspekt der Offenlegung beinhaltet, dass die Fahrspursegmente als nicht-lineare Liniensegmente in der Vielzahl von Gitterabschnitten dargestellt werden, und wobei jede der vorhergesagten Fahrspuren einen verketteten Satz der nicht-linearen Liniensegmente in benachbarten der Vielzahl von Gitterabschnitten umfasst.
Ein weiterer Aspekt der Offenlegung beinhaltet die Verkettung der Fahrspursegmente für die Vielzahl von Gitterabschnitten durch Clustering der Merkmalseinbettungen, um eine Trennung zu einzelnen Fahrspuren zu erreichen.
Ein weiterer Aspekt der Offenlegung umfasst die Erfassung des Bildes des Sichtfeldes (FOV) des sichtbaren Bereichs, der die vor dem Fahrzeug liegende Fahrfläche umfasst.
Die obigen Merkmale und Vorteile sowie andere Merkmale und Vorteile der vorliegenden Lehre sind aus der folgenden detaillierten Beschreibung einiger der besten Modi und anderer Ausführungsformen zur Ausführung der vorliegenden Lehre, wie in den beigefügten Ansprüchen definiert, leicht ersichtlich, wenn sie in Verbindung mit den begleitenden Zeichnungen betrachtet werden.
Figurenliste
Eine oder mehrere Ausführungsformen werden nun beispielhaft unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, in denen:

1 zeigt schematisch eine Seitenansicht eines Fahrzeugs, das ein Raumüberwachungssystem umfasst, wobei das Fahrzeug gemäß der Offenbarung auf einer Fahrfläche angeordnet ist.
2-1 zeigt ein Bild des Sichtfeldes (FOV) einer Fahrfläche mit einer ebenen, mehrspurigen Straßenoberfläche gemäß der Offenlegung.
2-2 zeigt bildlich eine Darstellung der Fahrfläche aus der Vogelperspektive (BEV) einschließlich der ebenen, mehrspurigen Straßenoberfläche, die unter Bezugnahme auf 2-1 gezeigt wird, gemäß der Offenbarung.
2-3 veranschaulicht grafisch ein orthografisches BEV-Gitter der ebenen mehrspurigen Straßenoberfläche, die unter Bezugnahme auf 2-1 gezeigt wird, einschließlich der orthografischen Abbildung einer Vielzahl von Fahrbahnrändern, gemäß der Offenbarung.
3 zeigt bildlich ein FOV-Bild einer Fahrfläche mit einer nicht ebenen, gekrümmten mehrspurigen Straßenoberfläche gemäß der Offenlegung.
4 zeigt schematisch ein Verfahren zur Verarbeitung von Bildern eines fahrzeugseitigen Bildsensors, um eine oder mehrere vorhergesagte Fahrspuren zu bilden, die eine Fahrzeugfahrfläche digital darstellen, in Übereinstimmung mit der Offenbarung.
5 zeigt schematisch ein Beispiel eines orthografischen BEV-Gitters, das mit einem Beispiel-FOV-Bild verbunden ist, einschließlich einer Explosionsansicht eines orthografisch angeordneten Gitterabschnitts, der ein Fahrspursegment enthält, das einen Teil einer Fahrspurkante umfasst, gemäß der Offenbarung.
6 zeigt schematisch einen Teil eines Verfahrens zur Verarbeitung von Bildern eines fahrzeugseitigen Bildsensors, um eine oder mehrere vorhergesagte Fahrspuren zu bilden, die eine Fahrzeugfahrfläche digital darstellen, einschließlich einer Schicht eines künstlichen neuronalen Netzes (ANN) einschließlich eines ANN-Klassifizierungsschritts mit einer Vielzahl von Faltungsschichten und verbundenen Schichten, gemäß der Offenbarung.
7 zeigt schematisch ein Beispiel für eine BEV-Merkmalskarte, die eine Vielzahl von vorhergesagten Fahrspuren enthält, gemäß der Offenlegung.
8 zeigt bildlich ein orthografisches BEV-Gitter, entsprechende dreidimensionale Cluster, die eingebettete Merkmale darstellen, und entsprechende Fahrspuren eines beispielhaften FOV-Bildes gemäß der Offenlegung.

Es sollte verstanden werden, dass die beigefügten Zeichnungen nicht unbedingt maßstabsgetreu sind und eine etwas vereinfachte Darstellung verschiedener bevorzugter Merkmale der vorliegenden Offenbarung darstellen, wie sie hierin offenbart sind, einschließlich z. B. bestimmter Abmessungen, Ausrichtungen, Positionen und Formen. Details, die mit solchen Merkmalen verbunden sind, werden zum Teil durch die jeweilige beabsichtigte Anwendung und Einsatzumgebung bestimmt.
DETAILLIERTE BESCHREIBUNG
Die Komponenten der offengelegten Ausführungsformen, wie hierin beschrieben und dargestellt, können in einer Vielzahl unterschiedlicher Konfigurationen angeordnet und ausgeführt werden. Daher soll die folgende detaillierte Beschreibung den Umfang der beanspruchten Offenbarung nicht einschränken, sondern ist lediglich repräsentativ für mögliche Ausführungsformen davon. Darüber hinaus werden in der folgenden Beschreibung zwar zahlreiche spezifische Details aufgeführt, um ein umfassendes Verständnis der hier offengelegten Ausführungsformen zu ermöglichen, doch können einige Ausführungsformen auch ohne einige dieser Details ausgeführt werden. Darüber hinaus wurde aus Gründen der Klarheit auf eine detaillierte Beschreibung bestimmter technischer Sachverhalte, die im verwandten Fachgebiet selbstverständlich sind, verzichtet, um die Offenbarung nicht unnötig zu verkomplizieren. Darüber hinaus sind die Zeichnungen in vereinfachter Form und nicht maßstabsgetreu dargestellt. Aus Gründen der Übersichtlichkeit und Klarheit können in den Zeichnungen Richtungsbegriffe wie oben, unten, links, rechts, oben, über, über, unter, unter, hinter und vor verwendet werden. Diese und ähnliche Richtungsbegriffe sind nicht so auszulegen, dass sie den Umfang der Offenbarung einschränken. Darüber hinaus kann die Offenbarung, so wie sie hierin dargestellt und beschrieben ist, auch ohne ein Element, das hierin nicht speziell offenbart ist, ausgeführt werden. Wie hierin verwendet, kann sich der Begriff „System“ auf eine oder eine Kombination von mechanischer und elektrischer Hardware, Sensoren, Steuerungen, anwendungsspezifischen integrierten Schaltungen (ASIC), kombinatorischen Logikschaltungen, Software, Firmware und/oder anderen Komponenten beziehen, die so angeordnet sind, dass sie die beschriebene Funktionalität bieten.
Die hier beschriebenen Konzepte bieten eine Fahrspurdarstellung, die das Lernen allgemeiner dreidimensionaler (3D) Fahrspursegmente aus der BEV-Perspektive ermöglicht. Dies ergibt eine interpretierbare Zwischendarstellung für die Fahrspurvorhersage, ermöglicht eine effiziente und genaue Vorhersage einer hochaufgelösten Fahrspurkurve unter Verwendung eines niedrig aufgelösten BEV-Gitters, ermöglicht eine robuste Fahrspurvorhersage auch bei neuen, ungesehenen Szenarien und erlaubt eine durchgängige Vorhersage ganzer Fahrspurkurven in einer lernfähigen Weise durch Merkmalseinbettungen. Dies ermöglicht auch eine bessere Fusion mit anderen Modalitäten und Aufgaben wie LiDAR und dem freien Raum, der als Belegungsraster dargestellt werden kann. Zusätzlich zu der oben beschriebenen Draufsicht-Darstellung der Segmente wird in jedem Gitterausschnitt auch die Höhe der Segmente relativ zur Bodenebene ausgegeben. Daraus ergibt sich die Darstellung der Fahrspurpunkte in 3D, d. h. die (x,y,z)-Lage des Fahrspurpunkts und die Orientierung des durch diesen Punkt verlaufenden Fahrbahnsegments.
Unter Bezugnahme auf die Zeichnungen, in denen gleiche Bezugsziffern gleichen oder ähnlichen Komponenten in den verschiedenen Figuren entsprechen, zeigt 1 in Übereinstimmung mit den hierin offenbarten Ausführungsformen schematisch ein Fahrzeug 100, das auf einer Fahrfläche 10 angeordnet ist, wobei das Fahrzeug 100 ein Antriebssystem 15, ein Lenksystem 16, ein Radbremssystem 17, ein fortschrittliches Fahrerassistenzsystem (ADAS) 20, ein Raumüberwachungssystem 30 und ein Navigationssystem 40 umfasst. Dargestellt ist eine Seitenansicht des Fahrzeugs 100. Das Fahrzeug 100 ist auf einer Fahrfläche 10, z. B. einer befestigten Straße, angeordnet und kann diese befahren.
Die Fahrfläche 10 kann als einspurige Fahrbahn, zweispurige Autobahn oder mehrspurige geteilte Autobahn konfiguriert sein und kann ohne Einschränkung Einfahrtsrampen, Ausfahrtsrampen, Abzweigungen, Zusammenführungen, Kreuzungen, Kreisverkehre usw. enthalten. Das Fahrzeug 100 und die Fahrfläche 10 definieren ein dreidimensionales Koordinatensystem mit einer Längs- oder y-Achse 11, einer Quer- oder x-Achse 12 und einer Längsachse oder z-Achse 13. Die Längsachse 11 ist so definiert, dass sie einer Fahrtrichtung des Fahrzeugs 100 auf der Fahrfläche 10 entspricht. Die Querachse 12 ist so definiert, dass sie orthogonal zur Fahrtrichtung des Fahrzeugs 10 auf der Fahrfläche 10 verläuft. Die Längsachse 13 ist so definiert, dass sie orthogonal zu einer Ebene verläuft, die durch die Längsachse 11 und die Querachse 12 definiert ist, d.h. dass sie an der aktuellen Position des Fahrzeugs 100 senkrecht zur Fahrfläche 10 verläuft. Andere fahrzeuginterne Systeme können, als nicht einschränkende Beispiele, ein computerlesbares Speichergerät oder - medium (Speicher), das eine digitalisierte Fahrbahnkarte enthält, ein Telematiksystem 60, einen GNSS-Sensor (Global Navigation Satellite System) 52 und ein HMI-Gerät (Human/Machine Interface) 55 umfassen. Die hierin beschriebenen Konzepte können auf verschiedenen Systemen eingesetzt werden, die von Informationen profitieren können, die von einer Ausführungsform des räumlichen Überwachungssystems 30 in einer hierin beschriebenen Weise ermittelt werden. Das Fahrzeug 10 kann eine mobile Plattform in Form eines Nutzfahrzeugs, eines Industriefahrzeugs, eines landwirtschaftlichen Fahrzeugs, eines Personenkraftwagens, eines Flugzeugs, eines Wasserfahrzeugs, eines Zugs, eines Geländewagens, eines persönlichen Bewegungsgeräts, eines Roboters und dergleichen umfassen, ist aber nicht darauf beschränkt, um die Zwecke dieser Offenbarung zu erfüllen.
In einer Ausführungsform und wie hierin beschrieben, umfasst das räumliche Überwachungssystem 30 einen Bildsensor 32, der ein Sichtfeld (FOV) eines sichtbaren Bereichs 34 aufweist, der eine Fahrfläche umfasst, die sich in der Nähe und vor dem Fahrzeug 100 befindet, und der mit einer räumlichen Überwachungssteuerung 35 in Verbindung steht. Alternativ oder zusätzlich hat der Bildsensor 32 ein Sichtfeld (FOV) eines sichtbaren Bereichs 34, der eine Fahrfläche 10 umfasst, die sich neben und oder hinter dem Fahrzeug 100 befindet. Der Bildsensor 32 kann eine 2D-Digitalkamera, eine 3D-Digitalkamera oder ein Lichterkennungs- und Radargerät (LiDAR) sein. Der Bildsensor 32 hat eine fahrzeugseitige Position und Ausrichtung, die charakterisiert werden kann, einschließlich Höhe h_Nocken 36 und Winkel θ_Nocken 37, die relativ zur Längsachse 13 definiert sind. Es können ein oder mehrere Bildsensoren 32 verwendet werden. Die hier beschriebenen Konzepte können bei verschiedenen Systemen eingesetzt werden, die von den Informationen profitieren können, die von einer Ausführungsform des räumlichen Überwachungssystems 30 ermittelt werden. In Kombination mit den Informationen des GNSS-Sensors 52 bestimmt die Raumüberwachungssteuerung 30 die räumlichen Positionen von Objekten, die sich im sichtbaren Bereich 34 des Fahrzeugs 100 befinden. Das räumliche Überwachungssystem 30 kann andere räumliche Sensoren und Systeme enthalten, die so angeordnet sind, dass sie den sichtbaren Bereich 34 vor dem Fahrzeug 100 überwachen, z. B. eine Umgebungskamera oder einen Radarsensor, die verwendet werden können, um räumliche Informationen, die vom Bildsensor 32 erzeugt werden, zu ersetzen, zu ergänzen oder zu vervollständigen. Jeder der räumlichen Sensoren ist im Fahrzeug angeordnet, um den sichtbaren Bereich 34 zu überwachen, um nahe gelegene, entfernte Objekte zu erkennen, wie z. B. Straßenmerkmale, Fahrbahnmarkierungen, Gebäude, Fußgänger, Straßenschilder, Verkehrsampeln und -zeichen, andere Fahrzeuge und geografische Merkmale, die sich in der Nähe des Fahrzeugs 100 befinden. Die Raumüberwachungssteuerung 35 kann Eingaben von den Raumsensoren auswerten, um eine lineare Reichweite, eine relative Geschwindigkeit und eine Trajektorie des Fahrzeugs 100 im Hinblick auf jedes nahe gelegene entfernte Objekt zu bestimmen. Die räumlichen Sensoren können sich an verschiedenen Stellen des Fahrzeugs 100 befinden, einschließlich der vorderen Ecken, hinteren Ecken, hinteren Seiten und mittleren Seiten. Die räumlichen Sensoren können in einer Ausführungsform einen vorderen Radarsensor und eine Kamera umfassen, obwohl die Offenbarung nicht so beschränkt ist. Die Platzierung der räumlichen Sensoren ermöglicht es dem räumlichen Überwachungssteuergerät 35, den Verkehrsfluss einschließlich nahegelegener Fahrzeuge, Kreuzungen, Fahrbahnmarkierungen und anderer Objekte um das Fahrzeug 100 herum zu überwachen. Wie hier verwendet, beziehen sich die Begriffe „nahe“, „nahe“ und verwandte Begriffe auf stationäre und mobile Objekte, die sich in der Nähe des Fahrzeugs 100 befinden, so dass sie von einem oder mehreren der räumlichen Sensoren, die mit dem räumlichen Überwachungssteuergerät 35 einschließlich des räumlichen Überwachungssystems 30 verbunden sind, erkannt werden können.
Das Telematiksystem 60 bietet fahrzeugexterne Kommunikation, einschließlich der Kommunikation mit einem Kommunikationsnetzwerksystem, das drahtlose und drahtgebundene Kommunikationsfähigkeiten umfassen kann. Das Telematiksystem 60 umfasst einen Telematik-Controller, der zu einer fahrzeugexternen Kommunikation fähig ist, die eine Vehicle-to-Everything (V2X)-Kommunikation umfasst. Die V2X-Kommunikation umfasst die Fahrzeug-zu-Fahrzeug-Kommunikation (V2V) mit kurzer Reichweite und die Kommunikation mit einer oder mehreren straßenseitigen Einheiten, wodurch eine lokalisierte Kommunikation zwischen einer Vielzahl von Fahrzeugen in ähnlicher Lage ermöglicht wird. Alternativ oder zusätzlich ist das Telematiksystem 60 in der Lage, eine drahtlose Kurzstrecken-Kommunikation mit einem Handgerät, z. B. einem Mobiltelefon, einem Satellitentelefon oder einem anderen Telefongerät, durchzuführen. In einer Ausführungsform ist das Handgerät mit einer Softwareanwendung geladen, die ein drahtloses Protokoll zur Kommunikation mit dem Telematik-Controller enthält, und das Handgerät führt die fahrzeugexterne Kommunikation aus, einschließlich der Kommunikation mit einem Off-Board-Controller über ein Kommunikationsnetzwerk. Alternativ oder zusätzlich führt das Telematiksystem 60 die fahrzeugexterne Kommunikation direkt aus, indem es über das Kommunikationsnetzwerk mit dem bordungebundenen Steuergerät kommuniziert.
Das ADAS 20 ist so angeordnet, dass es Fahrerunterstützungsfunktionen bereitstellt, indem es eines oder mehrere der Antriebssysteme 15, das Lenksystem 16 und das Bremssystem 17 mit wenig oder keiner direkten Interaktion des Fahrzeugführers steuert. Das ADAS 20 umfasst ein Steuergerät und ein oder mehrere Subsysteme, die Bedienerunterstützungsfunktionen bereitstellen, einschließlich eines oder mehrerer adaptiver Geschwindigkeitsregelungssysteme (ACC), eines Spurhaltekontrollsystems (LKY), eines Spurwechselkontrollsystems (LCC), eines autonomen Brems-/Kollisionsvermeidungssystems und/oder anderer Systeme, die so konfiguriert sind, dass sie den autonomen Fahrzeugbetrieb getrennt von oder in Verbindung mit Bedieneranforderungen befehlen und steuern. Das ADAS 20 kann mit einer bordeigenen Kartendatenbank interagieren und auf diese zugreifen, um die Route zu planen und den Betrieb des Fahrzeugs 100 über das Spurhaltesystem, das Spurzentriersystem und/oder andere Systeme zu steuern, die so konfiguriert sind, dass sie den autonomen Fahrzeugbetrieb befehlen und steuern. Autonome Betriebsbefehle können erzeugt werden, um das ACC-System, das LKY-System, das LCC-System, das autonome Brems-/Kollisionsvermeidungssystem und/oder die anderen Systeme zu steuern. Der Fahrzeugbetrieb umfasst den Betrieb in einem Antriebsmodus als Reaktion auf gewünschte Befehle, die Anforderungen des Bedieners und/oder Anforderungen des autonomen Fahrzeugs umfassen können. Der Fahrzeugbetrieb, einschließlich des autonomen Fahrzeugbetriebs, umfasst Beschleunigen, Bremsen, Lenken, stationäres Fahren, Ausrollen und Leerlauf. Bedieneranforderungen können auf der Grundlage von Bedienereingaben an einem Gaspedal, einem Bremspedal, einem Lenkrad, einem Getriebebereichswahlschalter, dem ACC-System usw. erzeugt werden.
Der Begriff „Controller“ und verwandte Begriffe wie Mikrocontroller, Steuereinheit, Prozessor und ähnliche Begriffe beziehen sich auf eine oder verschiedene Kombinationen von anwendungsspezifischen integrierten Schaltungen (ASICs), feldprogrammierbaren Gate-Arrays (FPGAs), elektronischen Schaltungen, Zentraleinheiten, z. B. Mikroprozessoren und zugehörigen nichttransitorischen Speicherkomponenten in Form von Speicher- und Speichervorrichtungen (Nur-Lese-, programmierbare Nur-Lese-, Direktzugriffs-, Festplattenvorrichtungen usw.). Die nichttransitorische Speicherkomponente ist in der Lage, maschinenlesbare Befehle in Form von einem oder mehreren Software- oder Firmware-Programmen oder -Routinen, kombinatorischen Logikschaltungen, Eingangs-/Ausgangsschaltungen und -vorrichtungen, Signalkonditionierung, Pufferung und anderen Komponenten zu speichern, auf die ein oder mehrere Prozessoren zugreifen und sie ausführen können, um eine beschriebene Funktionalität bereitzustellen. Zu den Eingangs-/Ausgangsschaltungen und -geräten gehören Analog/Digital-Wandler und verwandte Geräte, die Eingänge von Sensoren überwachen, wobei solche Eingänge mit einer voreingestellten Abtastfrequenz oder als Reaktion auf ein auslösendes Ereignis überwacht werden. Software, Firmware, Programme, Anweisungen, Steuerroutinen, Code, Algorithmen und ähnliche Begriffe bezeichnen von Controllern ausführbare Befehlssätze, einschließlich Kalibrierungen und Look-up-Tabellen. Jeder Controller führt Steuerroutine(n) aus, um gewünschte Funktionen bereitzustellen. Die Routinen können in regelmäßigen Abständen ausgeführt werden, z. B. alle 100 Mikrosekunden im laufenden Betrieb. Alternativ können die Routinen als Reaktion auf das Auftreten eines auslösenden Ereignisses ausgeführt werden. Die Kommunikation zwischen Controllern, Aktoren und/oder Sensoren kann über eine direkt verdrahtete Punkt-zu-Punkt-Verbindung, eine vernetzte Kommunikationsbusverbindung, eine drahtlose Verbindung oder eine andere geeignete Kommunikationsverbindung erfolgen. Die Kommunikation umfasst den Austausch von Datensignalen in geeigneter Form, z. B. elektrische Signale über ein leitendes Medium, ein elektromagnetisches Signal über Luft, optische Signale über Lichtwellenleiter und dergleichen. Die Datensignale können diskrete, analoge oder digitalisierte analoge Signale umfassen, die Eingänge von Sensoren, Aktuatorbefehle und die Kommunikation zwischen Steuerungen darstellen. Der Begriff „Signal“ bezieht sich auf einen physikalisch wahrnehmbaren Indikator, der Informationen übermittelt, und kann eine geeignete Wellenform sein (z. B. elektrisch, optisch, magnetisch, mechanisch oder elektromagnetisch), wie Gleichstrom, Wechselstrom, Sinuswelle, Dreieckswelle, Rechteckwelle, Vibration und dergleichen, die sich durch ein Medium ausbreiten kann. Ein Parameter ist definiert als eine messbare Größe, die eine physikalische Eigenschaft eines Geräts oder eines anderen Elements darstellt, die mit einem oder mehreren Sensoren und/oder einem physikalischen Modell erkennbar ist. Ein Parameter kann einen diskreten Wert haben, z. B. entweder „1“ oder „0“, oder er kann einen stufenlos veränderlichen Wert haben.
2-1 zeigt bildlich ein FOV-Bild 200 eines sichtbaren Bereichs 34, der von einer Ausführungsform des Bildsensors 32 einer Ausführungsform des Fahrzeugs 100 von 1 erfasst wurde, das auf einer mehrspurigen Straßenoberfläche 210 fährt, die in der x- und y-Dimension planar ist. Tatsächliche Fahrbahnränder 212, 214, 216, 218 und 220 und erfasste Fahrbahnränder 222, 224, 226, 228 und 230 sind angezeigt.
2-2 zeigt bildlich ein Bild 240 aus der Vogelperspektive (BEV), das durch die Durchführung einer inversen perspektivischen Abbildung auf das FOV-Bild 200 des sichtbaren Bereichs 34 von 2-1 erzeugt wird.
2-3 zeigt grafisch eine orthografische der tatsächlichen Fahrspurkanten, wobei die Linien 252, 254, 256, 258 und 260 die detektierten Fahrspurkanten 222, 224, 226, 228 bzw. 230 darstellen, die in 2-1 gezeigt sind und aus dem BEV-Bild 240 abgeleitet sind, das in 2-2 gezeigt ist. Da die mehrspurige Straßenoberfläche 210 in der x- und y-Dimension flach ist, gibt es keine Verformung der orthografischen Abbildung der erkannten Fahrspurkanten 222, 224, 226, 228 und 230 in Bezug auf die tatsächlichen Fahrspurkanten 212, 214, 216, 218 und 220.
3 zeigt bildlich ein FOV-Bild 300 eines sichtbaren Bereichs 34, der von einer Ausführungsform des Bildsensors 32 einer Ausführungsform des Fahrzeugs 100 von 1 erfasst wurde, das auf einer mehrspurigen Straßenoberfläche 310 fährt, wobei die mehrspurige Straßenoberfläche 310 einen Höhenunterschied aufweist und/oder gekrümmt ist, d. h. sich entweder in der x-Dimension oder in der y-Dimension oder in beiden Dimensionen ändert. Die tatsächlichen Fahrspurkanten 322, 324, 326 und 328 und die erkannten Fahrspurkanten 312, 314, 316 und 318 werden jeweils angezeigt. Dieses Ergebnis zeigt an, dass zumindest ein Teil der erkannten Fahrspurkanten 312, 314, 316, 318 relativ zu den tatsächlichen Fahrspurkanten 322, 324, 326, 328 verzerrt sind. Die tatsächlichen Fahrspurkanten 322, 324, 326 und 328 stellen die Ground Truth dar.
Die perspektivische Abbildung, die eine Ebene annimmt, verformt die Fahrspur so, wie sie auf dem Bild erscheint. Wenn eine Fahrspur nicht in der Ebene liegt, kann die deformierte Wahrnehmungsprojektion verwendet werden, um eine 3D-Perspektive abzuleiten und die Position der Fahrspur in 3D vorherzusagen.
Unter fortgesetzter Bezugnahme auf 1 wird nun in 4 ff. ein Fahrspurerkennungsverfahren 400 zur Verarbeitung von FOV-Bildern 33 des fahrzeugeigenen Bildsensors 32 des Fahrzeugs 100 beschrieben, um eine oder mehrere vorhergesagte Fahrspuren zu bilden, die die Fahrfläche 10, die sich in der Nähe des Fahrzeugs 100 befindet, digital darstellen. Die vorhergesagten Fahrspuren können für die Fahrzeugsteuerung, die Kartierung und andere Zwecke verwendet werden. Das Fahrspurerkennungsverfahren 400 umfasst ein Konzept, einen Rahmen, Methoden und Algorithmen zur Verarbeitung von FOV-Bildern 33, die vom fahrzeugseitigen Bildsensor 32 erfasst werden. Der Bildsensor 32 ist so angeordnet, dass er den sichtbaren Bereich 34 überwacht, der die Fahrfläche 10 in der Nähe des Fahrzeugs 100 umfasst, und periodisch die FOV-Bilder 33 erfasst. Das Erkennen einer Fahrspur in der Nähe des Fahrzeugs 100 umfasst das Erfassen eines FOV-Bildes 33 der Fahrfläche 10 vor dem Fahrzeug 100 über den Bildsensor 32 und das Umwandeln des FOV-Bildes 33 in eine Vielzahl von Merkmalskarten, die der Fahrfläche 10 zugeordnet sind, über ein künstliches neuronales Netzwerk. Die Merkmalskarten werden über einen Algorithmus zur inversen perspektivischen Abbildung auf ein orthografisches BEV-Gitter projiziert, wobei das orthografische BEV-Gitter eine Vielzahl von Gitterabschnitten enthält, die die Ground Truth darstellen. Ein Beispiel für ein BEV-Orthografiegitter ist in 5 dargestellt. Die Merkmalskarten enthalten Fahrspursegmente, die in der Vielzahl von Gitterabschnitten des orthografischen BEV-Gitters dargestellt sind, und die Fahrspursegmente werden in einer Ausführungsform als gerade Liniensegmente in der Vielzahl von Gitterabschnitten dargestellt. Alternativ können die Fahrspursegmente als eine andere parametrische Funktion in der Vielzahl der Gitterabschnitte dargestellt werden, beispielsweise durch eine Polynomgleichung zweiten Grades. Jedes der Geradensegmente kann als Normalenvektor parametrisiert werden, der in Bezug auf einen Mittelpunkt des orthografischen Gitterausschnitts definiert ist, wobei der Normalenvektor durch einen Betrag, eine Richtung und eine Höhe in Bezug auf den Mittelpunkt des orthografischen Gitterausschnitts definiert ist. Die geraden Liniensegmente werden für die mehreren orthographischen Gitterabschnitte verkettet, um eine oder mehrere vorhergesagte Fahrspuren in dem orthographischen BEV-Gitter zu bilden, wobei die Verkettung über gelernte Merkmalseinbettungen erfolgt. Das Verketten der Liniensegmente beinhaltet das Verbinden von Fahrspursegmentkanten, die in benachbarten orthografischen Gitterabschnitten identifiziert wurden. Der Betrieb des Fahrzeugs 100 wird auf der Grundlage der vorhergesagten Fahrspur(en) im orthografischen BEV-Gitter gesteuert. Dies kann beispielsweise die Steuerung des Betriebs des Fahrzeugs 100, die Steuerung der Navigation und der Routenplanung des Fahrzeugs 100, die Übermittlung der vorhergesagten Fahrspur(en) an nahe gelegene Fahrzeuge, die Aktualisierung der fahrzeuginternen Kartendaten und/oder der fahrzeugexternen Kartendaten auf der Grundlage dieser Daten und die Erzeugung einer neuen Karte auf der Grundlage dieser Daten umfassen.
Wieder Bezug nehmend auf 4 ist das Fahrspurerkennungsverfahren 400 in einer Ausführungsform als Backbone-Architektur angeordnet, die eine Trainingsphase 410 für ein künstliches neuronales Netzwerk (ANN) und eine ANN-Inferenzphase 450 umfasst, die ein ANN 460 zur Extraktion von BEV-Merkmalskarten aus den Bildern verwendet. Die ANN-Inferenzphase 450 beinhaltet die Identifizierung von geraden Liniensegmenten in orthografischen Gitterabschnitten der BEV-Merkmalskarten. Die geraden Liniensegmente werden verkettet, um Fahrspurkanten in den orthografischen BEV-Rastern zu bilden.
Die ANN-Trainingsphase 410 umfasst die Umwandlung, über ein künstliches neuronales Trainingsnetzwerk 420, jedes einer Vielzahl von Trainingsbildern 415 in eine Vielzahl von Merkmalskarten 430 und die Projektion, über einen inversen perspektivischen Mapping-Algorithmus, der Vielzahl von Merkmalskarten 430 auf ein entsprechendes orthografisches BEV-Gitter, das im Kontext der Ground Truth definiert ist. Die Implementierung und Ausführung eines inversen perspektivischen Mapping-Algorithmus ist selbstverständlich und wird hier nicht im Detail beschrieben.
Die Merkmalskarten 430 enthalten eine erste Merkmalskarte 431, die eine Segmentbewertung für jeden der Gitterabschnitte des orthografischen BEV-Gitters enthält.
Die Merkmalskarten 430 umfassen eine zweite Merkmalskarte 432, die für jeden der Gitterabschnitte des orthografischen BEV-Gitters eine Größe (Länge) der orthogonalen Linie enthält, z. B. eine Offset-Größe 517 einer orthogonalen Linie 515 in Bezug auf einen Mittelpunkt 512, der in 5 dargestellt ist.
Die Merkmalskarten 430 umfassen eine dritte Merkmalskarte 433, die für jeden der Gitterabschnitte des orthografischen BEV-Gitters eine Orientierung (Winkel) der orthogonalen Linie enthält, z. B. den Winkel 516 der orthogonalen Linie 515 in Bezug auf die x-Achse 11, die in 5 dargestellt ist.
Die Merkmalskarten 430 umfassen eine vierte Merkmalskarte 434, die für jeden der Gitterabschnitte des orthografischen BEV-Gitters eine Höhe (z-Achsen-Höhe) des Fahrspursegments enthält, z. B. eine Höhe des Fahrspursegments 520, das in 5 dargestellt ist.
Die Merkmalskarten 430 enthalten eine fünfte Merkmalskarte 435, die für jeden der Gitterabschnitte des orthografischen BEV-Gitters einen Wahrscheinlichkeitswert enthält, der eine Wahrscheinlichkeit angibt, dass eine Kante des Fahrspursegments durch den jeweiligen orthografischen Gitterabschnitt verläuft. Die Merkmalseinbettung wird so trainiert, dass Gitterabschnitte desselben Fahrspursegments Merkmale aufweisen, die in einem eingebetteten Raum eng und entfernt von Merkmalen von Gitterabschnitten liegen, die zu einer anderen Fahrspur in dem eingebetteten Raum gehören. Dies wird unter Bezugnahme auf 8 beschrieben.
Die Trainingsbilder 415 und die Merkmalskarten 430 können zum Trainieren des künstlichen neuronalen Netzes 420 verwendet werden, das eine Vielzahl von Koeffizienten 425 erzeugt, die in die ANN-Inferenzphase 450 übertragen werden. In einer Ausführungsform kann ein Bildanalyseprozess auf einer Bildverarbeitung basieren, die einen Ansatz zur manuellen Merkmalsanalyse umfasst, der das manuelle Extrahieren von Merkmalen und dann das separate Training von Klassifikatoren auf der Grundlage von maschinellem Lernen beinhalten kann. Alternativ oder zusätzlich kann ein Deep-Learning-Ansatz verwendet werden, um den Merkmalsextraktionsprozess und den Klassifizierungsschritt durch mehrere Schichten eines künstlichen neuronalen Netzes zu vereinen, z. B. das trainierende künstliche neuronale Netz 420. Während der Ausführung eines Trainingsprozesses für ein künstliches neuronales Netz können die Koeffizienten 425 des künstlichen neuronalen Netzes gelernt werden, und dann wird das FOV-Bild 33 in Echtzeit in ein trainiertes künstliches neuronales Netz in Form der ANN-Inferenzphase 450 eingespeist. Offline-Training und Online-Analyse basieren auf einem gemeinsamen Ansatz, der das Training zum Erlernen der unbekannten Parameter umfasst, wobei die Online-Analyse ausgeführt wird, um Bilder in den Parameter-gelernten Ansatz zur Klassifizierung einzuspeisen.
5 zeigt schematisch ein Beispiel eines orthografischen BEV-Gitters 500, das mit einem Beispiel-FOV-Bild 33 verbunden ist, und veranschaulicht Merkmale, die für jeden Gitterabschnitt 510 gelernt werden. Das orthografische BEV-Gitter 500 stellt ein Sichtfeld dar, das sich vor dem Fahrzeug 100 befindet, und umfasst eine erste und eine zweite vorhergesagte Spur 502 bzw. 504, die durch eine erste, eine zweite und eine dritte Spurkante 501, 503 und 505 abgegrenzt sind. Das orthografische BEV-Gitter 500 umfasst eine Vielzahl von orthografisch angeordneten Gitterabschnitten 510, die die Bodenwahrheit darstellen, die relativ zur x-Achse 12 und zur y-Achse 11 definiert werden kann. Jedes FOV-Bild 33 wird ausgewertet, um Informationen zu extrahieren, einschließlich Fahrspurabschnitten, die durch Fahrspurmarkierungen, Farblinien usw. angezeigt werden, die eine der Fahrspurkanten anzeigen können, z. B. eine der ersten, zweiten und dritten Fahrspurkanten 501, 503 und 505, die zur Bildung der ersten und zweiten vorhergesagten Fahrspur 502, 504 verwendet werden. Abschnitte der ersten, zweiten und dritten Fahrspurkanten 501, 503 und 505 werden in entsprechenden Gitterabschnitten 510 erfasst.
Einer der orthografisch angeordneten Gitterabschnitte 510, der mit der Ziffer 510' gekennzeichnet ist, ist in einer Explosionsansicht dargestellt und umfasst ein Fahrspursegment 520, das, wie dargestellt, ein Teil der dritten Fahrspurkante 505 ist. Der orthografische Gitterabschnitt 510' enthält einen Mittelpunkt 512, und das Fahrspursegment 520 ist als gerades Liniensegment dargestellt. Eine orthogonale Linie 515 ist vom Mittelpunkt 512 zum Fahrspursegment 520 angegeben. Die orthogonale Linie 515 ist ein Liniensegment, das orthogonal zum Fahrspursegment 520 ist und den Mittelpunkt 512 enthält. Die orthogonale Linie 515 kann Merkmale enthalten, die einen Winkel 516 in Bezug auf die x-Achse 12 und eine Versatzgröße 517 in Bezug auf den Mittelpunkt 512 umfassen. Das Fahrspursegment 520 kann Merkmale enthalten, die eine z-Achsenhöhe 518 in Bezug auf eine z-Achsenhöhe des Fahrzeugs 100 umfassen. Das Fahrspursegment 520 kann auch Merkmale enthalten, die einen Parameter 519 umfassen, der eine Wahrscheinlichkeit angibt, dass eine der Fahrspuren durch den jeweiligen Gitterabschnitt 510' verläuft. Die vorgenannten Merkmale können in einer Vielzahl von Merkmalskarten erfasst werden.
Eine allgemeine Kurvendarstellung wird für Fahrspurerkennungs- und -lokalisierungsaufgaben eingesetzt. Dabei werden zwei Pfadarchitekturen verwendet, um das Eingangsbild zu einer Bird's-Eye-View-Darstellung (BEV) zu verarbeiten, wobei das BEV-Gitter in grobe Gitterabschnitte unterteilt ist und die Parameter jedes Fahrbahnsegments, das durch diese Gitterabschnitte verläuft, regressiert werden.
Diese Darstellung ist sowohl kompakt und ermöglicht Echtzeitberechnungen, als auch eine genaue Fahrspurlokalisierung durch Regression der exakten Fahrspurposition innerhalb jedes Gitterausschnitts. Darüber hinaus ist sie robust gegenüber ungesehenen Kameras und Szenen mit unterschiedlichen Fahrspurtopologien und -geometrien. Die Kamera-Robustheit wird durch die Verwendung des BEV erreicht, das sowohl die Kamera-Interna als auch -Externa normalisiert und die Robustheit gegenüber verschiedenen Topologien und Geometrien erreicht, da die Fahrspursegmente über verschiedene Gitterabschnitte unabhängig voneinander gelernt werden. Dies erhöht die Größe der Trainingsmenge, da die Stapelgröße auf der Grundlage der Anzahl der Fahrspursegmente bestimmt wird. Im Extremfall ist die Aufgabe der Fahrspurerkennung als semantische Segmentierung in diesem Sinne robuster, jedoch wird durch die Arbeit auf größeren Gitterabschnitten sowohl eine schnellere Berechnung als auch ein höheres Verständnis für das Wesen der Fahrspurlinie erreicht. So kann jeder der orthografisch angeordneten Gitterabschnitte 510 des orthografischen BEV-Gitters 500 durch einen Mittelpunkt, ein lineares Fahrspursegment, eine orthogonale Linie zwischen dem linearen Fahrspursegment und dem Mittelpunkt, wobei die orthogonale Linie Merkmale eines Winkels und eines Versatzbetrags aufweist, eine z-Achsenhöhe und eine Wahrscheinlichkeit, dass das Fahrspursegment durch sie hindurchgeht, gekennzeichnet sein.
Wiederum Bezug nehmend auf 4 beinhaltet die ANN-Inferenzphase 450 die Umwandlung jedes FOV-Bildes 33 über das ANN 460 in eine Vielzahl von BEV-Merkmalskarten 470, die über die inverse perspektivische Abbildungsroutine auf ein orthografisches BEV-Gitter 500 projiziert werden, wovon ein Beispiel in 5 gezeigt wird.
Die ANN-Inferenzphase 450 verwendet das ANN 460 und die Vielzahl von Koeffizienten 425, um BEV-Merkmalskarten 470 aus den FOV-Bildern 33 zu extrahieren, indem die Vielzahl von Merkmalskarten über die inverse perspektivische Abbildungsroutine auf das orthografische BEV-Gitter projiziert wird. Die Gitterabschnitte des BEV-Orthographiegitters der BEV-Merkmalskarten werden interpretiert, um gerade Liniensegmente (471) zu konstruieren, die geclustert und verkettet (472) werden, um über gelernte Merkmale vorhergesagte Fahrspur(en) 475 in den BEV-Orthographiegittern zu bilden. Ein Beispiel für eine BEV-Merkmalskarte 500, die eine Vielzahl von vorhergesagten Fahrspuren 502, 504 enthält, ist schematisch mit Bezug auf 5 dargestellt.
8 zeigt bildlich ein BEV-Orthografiegitter 800, analog zum BEV-Orthografiegitter 500, das unter Bezugnahme auf 5 gezeigt wird. Das BEV-Orthografiegitter 800 enthält eine Vielzahl von orthografisch angeordneten Gitterabschnitten, die die Ground Truth darstellen. Jeder der Gitterabschnitte enthält einen Merkmalsvektor, der in einer dritten Dimension dargestellt ist. Ein Element des Lernprozesses wird mit Bezug auf die ANN-Trainingsphase 410 von 4 dargestellt und beschrieben. Die Merkmalsvektoren, die dem orthografischen BEV-Gitter 800 zugeordnet sind, werden als Cluster 811, 812, 813 bzw. 814 dargestellt, und die Cluster 811, 812, 813 und 814 entsprechen den Spuren 821, 822, 823 bzw. 824 des Beispiel-FOV-Bildes 820.
Die Verkettung der Fahrspursegmente für die Vielzahl der orthografischen Gitterabschnitte beinhaltet das Clustern der Merkmalseinbettungen, um eine Trennung zu einzelnen Fahrspuren zu erreichen. Der Lernprozess steuert die Vektoren der Gitterabschnitte, die zur gleichen Fahrspur gehören, in den eingebetteten Raum in die Nähe und die Vektoren der Gitterabschnitte, die zu unterschiedlichen Fahrspuren gehören, in den eingebetteten Raum in die Ferne. Dies wird durch die Cluster 811, 812, 813 und 814 des dreidimensionalen Elements 810 veranschaulicht, das drei Hauptkomponenten darstellt, die einer linearen Zerlegung wie einer Hauptkomponentenanalyse (PCA) der Kachel-Merkmalsvektoren unterzogen werden. Die Hauptkomponentenanalyse (PCA) ist ein statistisches Verfahren, das eine orthogonale Transformation verwendet, um einen Satz von Beobachtungen möglicherweise korrelierter Variablen in einen Satz von Werten linear unkorrelierter Variablen, die Hauptkomponenten genannt werden, umzuwandeln. Die Dimension des Merkmalsvektors beträgt in einer Ausführungsform 16 und ist eine Designwahl. Drei der Hauptkomponenten sind abgebildet.
Das FOV-Bild 820 zeigt auch die Cluster 811, 812, 813 und 814, die jeweils auf die Fahrspuren 821, 822, 823 und 824 projiziert werden. Ein Clustering-Algorithmus kann auf die Einbettungen angewendet werden, wobei Clustering eine Technik des maschinellen Lernens ist, die eine Gruppierung von Datenpunkten beinhaltet. Bei einer Menge von Datenpunkten klassifiziert ein Clustering-Algorithmus jeden Datenpunkt in eine bestimmte Gruppe. Das Clustering, d. h. die Verkettung, setzt voraus, dass die Gitterabschnitte proximal, aber nicht notwendigerweise benachbart zueinander sind. Die Merkmalsvektoren lassen sich also durch Bildung entsprechender Cluster 811, 812, 813 bzw. 814 aus den Fahrspuren 821, 822, 823 bzw. 824 ableiten.
In einer Ausführungsform kann ein Bildanalyseprozess auf einer Bildverarbeitung basieren, die einen Ansatz zur manuellen Merkmalsanalyse umfasst, der die manuelle Extraktion von Merkmalen und das anschließende separate Training von Klassifikatoren auf Basis von maschinellem Lernen beinhalten kann. Alternativ oder zusätzlich kann ein Deep-Learning-Ansatz verwendet werden, um den Merkmalsextraktionsprozess und den Klassifizierungsschritt durch mehrere Schichten des künstlichen neuronalen Netzes zu vereinen. Während der Ausführung eines Trainingsprozesses für ein künstliches neuronales Netz werden die Parameter des künstlichen neuronalen Netzes gelernt, und dann wird das Echtzeitbild in das trainierte künstliche neuronale Netz eingespeist. Offline-Training und Online-Analyse basieren auf einem gemeinsamen Ansatz, der das Training zum Erlernen der unbekannten Parameter umfasst, wobei die Online-Analyse ausgeführt wird, um Bilder in den Parameter-gelernten Ansatz zur Klassifizierung einzuspeisen.
Die vorhergesagte(n) Fahrspur(en) 475, die von der ANN-Inferenzphase 450, die unter Bezugnahme auf 4 beschrieben wird, ausgegeben werden, können an die Fahrzeugsteuerung 50 übermittelt werden, die die vorhergesagte(n) Fahrspur(en) 475 zur Erzeugung von Warn- oder Beratungsinformationen oder zur dynamischen Fahrzeugsteuerung in Bezug auf Beschleunigung, Bremsen und Kurvenfahrt verwenden kann. Die vorausberechnete(n) Fahrspur(en) 475 kann/können auch über die Mensch-Maschine-Schnittstelle (HMI) 55 an den Fahrzeugführer übermittelt werden.
Die vorhergesagte(n) Fahrspur(en) 475 kann/können auch an das Telematiksystem 60 für die Kurzstrecken-Kommunikation von Fahrzeug zu Fahrzeug (V2V), die Kommunikation mit einem intelligenten Autobahnsystem oder die Kommunikation mit einem anderen fahrzeugexternen System übermittelt werden.
Bei einer Ausführungsform des Fahrzeugs 100 mit autonomer Funktionalität können die Ergebnisse der vorhergesagten Fahrspur(en) 475 vom ADAS 20 verwendet werden, um die Fahrzeugbremsen autonom zu betätigen. Darüber hinaus können die vorhergesagte(n) Fahrspur(en) 475 aus der ANN-Inferenzphase 450 vom ADAS 20 verwendet werden, um ein Traktionskontrollsystem autonom zu betätigen, um die Bildung von Kondenswasser an den Fahrzeugbremsen zu vermindern. Darüber hinaus kann die vorhergesagte(n) Fahrspur(en) 475 über das Telematiksystem 60 an andere Fahrzeuge kommuniziert werden. Darüber hinaus können die vorhergesagte(n) Fahrspur(en) 475 vom ADAS 20 und dem HMI-Gerät 55 verwendet werden, um einen Fahrer zu warnen.
6 zeigt schematisch eine Ausführungsform eines Fahrspurerkennungsverfahrens 650, analog zu dem Fahrspurerkennungsverfahren 400, das unter Bezugnahme auf 4 beschrieben ist. Das Fahrspurerkennungsverfahren 650 wird für die Verarbeitung von BEV-Bildern 633 beschrieben, die als FOV-Bilder von dem fahrzeugseitigen Bildsensor 32 des Fahrzeugs 100 stammen. Das Fahrspurerkennungsverfahren 650 ist für die allgemeine Fahrspurerkennung und -lokalisierung in drei Dimensionen ausgelegt, zusammen mit der Vorhersage der Positionsunsicherheit jedes Fahrspurpunkts. Die Eingabe in das System ist ein einzelnes FOV-Bild von einem nach vorne gerichteten Bildgebungsgerät, das die in 4 dargestellte ANN-Architektur verwendet. Jedes Bild wird durch einen Kodierer geleitet, wobei die Merkmalskarten mit Hilfe der inversen perspektivischen Abbildung auf eine Bird-Eye-View-Perspektive (BEV) projiziert werden, um das BEV-Bild 633 (gekennzeichnet durch 632) zu bilden. Die Ausgabe des Fahrspurerkennungsverfahrens 650 ist eine Merkmalskarte in der Draufsicht in einer groben Auflösung, die eine herunterskalierte Version des BEV-Bildes in voller Auflösung ist. Jedes Pixel in der groben Merkmalskarte wird als Gitterabschnitt bezeichnet und hat reale Abmessungen in Metern.
Die Dual-Pathway-Architektur verwendet einen Encoder und ein inverses perspektivisches Mapping, um die Feature-Maps auf das BEV in realen Dimensionen zu projizieren. Das Netzwerk umfasst zwei Hauptverarbeitungspipelines, eine in der FOV-Bildansicht und die andere im BEV.
Der Bildansichts-Encoder besteht aus Residualnetz- (Resnet-) Blöcken C1 - C5 660, wobei jeder Resnet-Block die Anzahl der Kanäle seines vorherigen Blocks multipliziert. Der BEV-Backbone enthält projizierte Bildansichts-Merkmalskarten und verkettet jede projizierte Bildansichts-Merkmalskarte mit der gefalteten Merkmalskarte aus dem früheren Block. Die endgültige BEV-Merkmalskarte ist die Eingabe für den Fahrspurvorhersagekopf (670). Die Fahrspurerkennungsmethode 650 approximiert ein Fahrspursegment, das durch einen der BEV-Gitterabschnitte verläuft, als eine Gerade mit Parametern, die regressiert werden können. Die regressierten Parameter sind offset (in der xy-Ebene), Winkel und Höhe (z offset) des Segments relativ zu den Mittelpunkten des Gitters und werden miteinander verkettet. Ein Beispiel für die BEV-Merkmalskarte 700, die eine Vielzahl von vorhergesagten Fahrspuren 712, 714, 716 und 718 enthält, ist schematisch mit Bezug auf 7 dargestellt.
Segment Offsets Die Vorhersage umfasst Folgendes. Für jeden Gitterabschnitt werden Fahrbahnpunkte gefunden, die in den jeweiligen Gitterabschnitt fallen. Die Gerade, die durch diese Punkte verläuft, wird parametriert und ihr Abstand vom Gitterabschnittszentrum extrahiert. Dieser Abstand ist der Betrag der Normalen des Segments zur Gitterabschnittsmitte ||Nxy| und wird als r bezeichnet. Die Höhe offset Δz wird relativ zur BEV-Ebene berechnet, die mit den Merkmalskarten verknüpft ist, die eine Funktion des Neigungswinkels und der Höhe des Bildsensors ist. Diese Eigenschaft ermöglicht die Robustheit des Systems gegenüber differenten Kameras, da die Fahrspurhöhe relativ zur Kameramontagehöhe hcam und Orientierung θcam ausgegeben wird. Der Verlust für die Offsets-Vorhersage ist wie folgt: $L_{o f f s e t s} = ‖ \hat{r} - r ‖ 1 + ‖ \hat{Δ} z - Δ z ‖ 1$
wobei ^. das geschätzte Attribut bezeichnet.
Die Vorhersage der Segmentorientierung beinhaltet Folgendes. Die einfache Regression eines Winkelwertes ist aufgrund der zyklischen Natur von kontinuierlichen Winkeln nicht trivial. Eine weitere herausfordernde Eigenschaft für die Winkelvorhersage ist die Tatsache, dass die Winkelverteilung normalerweise multimodal ist. Die Ansätze zur Winkelschätzung reichen von der Regression von sin und cos des Winkels bis hin zur Darstellung des Problems als Klassifikationsproblem [3]. Aufgrund der multimodalen Eigenschaft des Winkels wird ein Klassifizierungsverfahren verwendet, bei dem der Winkel θseg in einem von vier Bins mit dem Zentrum α = (0, π , π, 3π) klassifiziert wird und ein offset relativ zum gewählten Bin-Zentrum regressiert wird. Die Winkel-Bin-Schätzung wird mithilfe eines weichen Multi-Label-Ziels optimiert, und die Ground Truth wird als die Winkelnähe des Segments zu den α-Bin-Zentren berechnet, z. B. für θseg = 0 wäre der Klassenwahrscheinlichkeitsvektor der Ground Truth pα = (1, 0, 0, 0) und für θseg = π wäre der Wahrscheinlichkeitsvektor pα = (0,5, 0,5, 0, 0). Die offsets δα werden zwischen dem Ground Truth-Winkel und den Bin-Mitten berechnet. Die Winkel-Offsets werden nicht nur auf dem Ground-Truth-Winkel-Bin überwacht, sondern auch auf den Bins, die daran angrenzen. Dadurch wird sichergestellt, dass selbst bei einer fehlerhaften Vorhersage der Bin-Klasse das Delta-offset in der Lage wäre, diese zu korrigieren. Der Winkelverlust ist die Summe der Klassifizierungs- und Offset-Regressionsverluste, die wie folgt ermittelt wird: $L_{a n g l e} = \sum_{a} [p_{a} \cdot l o g S (\hat{p_{a}}) + (1 - p_{a}) \cdot log (1 - S (\hat{p_{a}})) + m_{a} \cdot ‖ \hat{δ_{a}} - δ_{a} ‖_{_{1}}]$
wobei S(p^a) die sigmoide Funktion und mα die Indikatorfunktion ist, die nur die relevanten Bins maskiert, für die das offset gelernt werden soll.
Kacheln Punktevorhersage:

Zusätzlich zu den Offsets und der Orientierung wird für jeden Gitterabschnitt auch die Wahrscheinlichkeit ausgegeben, dass eine Fahrspur diesen Gitterabschnitt durchläuft. Der Verlust für dieses Attribut ist der binäre Kreuzentropieverlust, wie folgt:

L_{E r g e b n i s} = l \cdot log P_{F a \hat{h r s p} u r} + (1 - l) \cdot log1 - P_{F a \hat{h r s p} u r}

P_{F a \hat{h r s p} u r}

Der Netzabschnittsverlust ist die Summe über alle Netzabschnitte im BEV-Netz und kann wie folgt ermittelt werden: $L_{t i l e s} = \sum_{i = 1}^{h_{b e v}} \sum_{j = 1}^{w_{b e v}} (L_{s c o r e}^{i j} + l_{i j} \cdot L_{a n g l e}^{i j} + l_{i j} \cdot L_{o f f s e t s}^{i j})$
wobei hbev, wbev die dezimierte BEV-Gitterhöhe bzw. -breite sind und
wobei der Fahrspur-Gitterabschnittsindikator l,f die Winkel- und Offsets-Verluste multipliziert, weil sie nur auf Fahrspur-Gitterabschnitten überwacht werden.
Von Gitterabschnitten zu Punkten
Um von der Vorhersage des Segment-Scores, der offsets und der Orientierung in jedem Gitterabschnitt zu den Fahrspurpunkten zu gelangen, werden die Gitterabschnitts-Scores einem Schwellenwert unterworfen, um nur die Fahrspur-Gitterabschnitte zu identifizieren. Die polaren Terme r̂ und $θ_{\hat{s e g}}$
werden in kartesische Koordinaten umgewandelt und die Punkte aus der BEV-Ebene werden in das Kamerakoordinatensystem transformiert, indem man h_Nocken und Rotation um -θ_cam wie folgt transformiert. $[\begin{matrix} \hat{x} \\ \hat{y} \\ \hat{z} \end{matrix}] = [\begin{matrix} 1 & 0 & 0 \\ 0 & cos θ_{c a m} & sin θ_{c a m} \\ 0 & -sin θ_{c a m} & cos θ_{c a m} \end{matrix}] \cdot [\begin{matrix} \hat{r} \cdot cos θ_{\hat{s e g}} \\ \hat{r} \cdot sin θ_{\hat{s e g}} \\ \hat{Δ} z - h_{c a m} \end{matrix}]$
Die bisherige Darstellung der Gitterabschnitte geht davon aus, dass es keine Beziehung zwischen verschiedenen Gitterabschnitten gibt. Die räumlichen Beziehungen sind jedoch in den Daten vorhanden und werden durch das rezeptive Feld aufgenommen, und jeder Gitterabschnitt wird unabhängig gelernt. Dennoch besteht die Notwendigkeit, die einzelnen Fahrspur-Gitterabschnitte zu ganzen Fahrspureinheiten zu clustern. Ein Clustering-Mechanismus kann direkt auf den Fahrspursegmenten angewendet werden, oder es kann stattdessen ein anderes heuristisches Clustering verwendet werden. Eine andere Möglichkeit ist die Verwendung von gelernten Merkmalen, die zwischen Gitterabschnitten unterscheiden, die zu verschiedenen Fahrspuren gehören. In einer Ausführungsform wird eine diskriminierende Verlustfunktion verwendet, die die Merkmale von Gitterabschnitten, die zur gleichen Fahrspur gehören, in einem eingebetteten Raum näher zusammenzieht, während sie die Merkmale von Gitterabschnitten, die zu unterschiedlichen Fahrspuren gehören, in diesem Raum weiter voneinander wegschiebt. Der Unterscheidungsverlust auf dem dezimierten Gitterabschnittsgitter erfordert weit weniger Berechnungen als bei der Arbeit auf Pixelebene. In Anbetracht des gelernten Merkmals wird ein einfacher Mittelwertverschiebungsalgorithmus verwendet, um die Gitterabschnitte zu extrahieren, die zu einzelnen Fahrspuren gehören. Der Verlust kann wie folgt formalisiert werden. $L_{e i n b e t t e n} = L_{v a r} + L_{d i s t}$
wobei Lvar die ziehende Kraft und Ldist die drückende Kraft ist.
Diese Begriffe werden wie folgt festgelegt: $L_{v a r} = \frac{1}{C} \sum_{c = 1}^{C} \frac{1}{C} \sum_{i = 1}^{h_{b e v}} \sum_{j = 1}^{w_{b e v}} {[‖ μ_{c} - l_{i j}^{c} \cdot f_{i j} ‖ - δ_{v}]}_{+}^{2}$
$L_{d i s t} = \frac{1}{C (C - 1)} \sum_{c_{A} = 1}^{C} {\sum_{c_{B} = 1}^{C} c_{A} \neq c_{B} [δ_{d} - ‖ μ_{c A} - μ_{c B} ‖]}_{+}^{2}$
wobei:

C ist die Anzahl der Fahrspuren, die variieren kann;
Nc ist die Anzahl der Gitterabschnitte, die zur Fahrspur c gehören, und
lcij gibt die zur Fahrspur c gehörenden Gitterabschnitte an, so dass die folgende Beziehung gilt:

\sum_{c = 1}^{C} \frac{1}{C} \sum_{i = 1}^{h_{b e v}} \sum_{j = 1}^{w_{b e v}} l_{i j}^{c} = N c

Die Verluste erzwingen, dass die Abstände bis zu δv und der Kreuzclusterabstand größer als δd sind.
Das Ergebnis ist eine neue Fahrspurdarstellung, die zu einer genauen und robusten Fahrspurerkennung und -lokalisierung führt.
Die hier beschriebenen Konzepte bieten ein Verfahren zur Bestimmung einer Darstellung für eine genaue allgemeine 3D-Spurerkennung, einschließlich gekrümmter Fahrspuren. Die Darstellung verwendet Gitterabschnitte, die auf einem Bird's Eye View (BEV)-Gitter positioniert sind, das in einer Ausführungsform eine Bestimmung enthält, dass die Fahrspur lokal in jedem Gitterabschnitt linear im BEV ist. Alternativ kann bestimmt werden, dass die Fahrspur im BEV nicht linear ist, z.B. dargestellt durch eine parametrische Gleichung wie ein Polynom zweiten Grades. Dies führt zur Ableitung einer kompakten und effizienten Fahrspurdarstellung pro Gitterabschnitt. Dies ermöglicht eine insgesamt effiziente, niedrig aufgelöste Darstellung, die die Feinauflösung für die Fahrspurdarstellung beibehält.
Die Blockdiagramme in den Flussdiagrammen veranschaulichen die Architektur, die Funktionalität und den Betrieb möglicher Implementierungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen der vorliegenden Offenlegung. In dieser Hinsicht kann jeder Block in den Blockdiagrammen ein Modul, ein Segment oder einen Teil des Codes darstellen, der eine oder mehrere ausführbare Anweisungen zur Implementierung der angegebenen logischen Funktion(en) enthält. Es wird auch darauf hingewiesen, dass jeder Block in den Blockdiagrammen und/oder Flussdiagrammdarstellungen und Kombinationen von Blöcken in den Blockdiagrammen und/oder Flussdiagrammdarstellungen durch Hardware-basierte Systeme mit dedizierter Funktion, die die angegebenen Funktionen oder Handlungen ausführen, oder durch Kombinationen von Hardware mit dedizierter Funktion und Computeranweisungen implementiert werden können. Diese Computerprogrammanweisungen können auch in einem computerlesbaren Medium gespeichert sein, das einen Computer oder ein anderes programmierbares Datenverarbeitungsgerät anweisen kann, in einer bestimmten Weise zu funktionieren, so dass die in dem computerlesbaren Medium gespeicherten Anweisungen einen Herstellungsgegenstand erzeugen, der die in dem Flussdiagramm und/oder dem Blockdiagrammblock oder den Blöcken angegebene Funktion/Aktion implementiert.
Die ausführliche Beschreibung und die Zeichnungen oder Figuren sind unterstützend und beschreibend für die vorliegende Lehre, aber der Umfang der vorliegenden Lehre wird ausschließlich durch die Ansprüche definiert. Während einige der besten Modi und andere Ausführungsformen zur Ausführung der vorliegenden Lehre im Detail beschrieben wurden, existieren verschiedene alternative Konstruktionen und Ausführungsformen zur Durchführung der in den beigefügten Ansprüchen definierten vorliegenden Lehre.

Claims

Verfahren zum Erkennen einer Fahrspur in der Nähe eines Fahrzeugs, wobei das Verfahren umfasst: Erfassen eines Sichtfeld- (FOV-) Bildes eines sichtbaren Bereichs, der eine Fahrfläche umfasst, über einen Bildsensor; Umwandlung des FOV-Bildes über ein künstliches neuronales Netz in eine Vielzahl von Merkmalskarten; Projizieren der Vielzahl von Merkmalskarten über eine inversperspektivische Abbildungsroutine auf ein orthografisches Gitter aus der Vogelperspektive (BEV), wobei das orthografische BEV-Gitter eine Vielzahl von Gitterabschnitten enthält, die eine Ground Truth der Fahrfläche darstellen, wobei die Merkmalskarten Fahrbahnsegmente und Merkmalseinbettungen in der Vielzahl von Gitterabschnitten des orthografischen Gitters in der BEV umfassen; Verknüpfen der Fahrspursegmente für die Vielzahl von Gitterabschnitten auf der Grundlage der Merkmalseinbettungen, um eine vorhergesagte Fahrspur in dem orthografischen BEV-Gitter zu bilden, wobei die vorhergesagte Fahrspur mit der Fahrspur in der Nähe des Fahrzeugs assoziiert ist; und Steuerung des Betriebs des Fahrzeugs auf der Grundlage der vorhergesagten Fahrspur.
Verfahren nach Anspruch 1, wobei das Verknüpfen der Fahrspursegmente das Verbinden der Fahrspursegmente umfasst, die in benachbarten der Gitterabschnitte umfasst sind.
Verfahren nach Anspruch 1, wobei die Fahrspursegmente als geradlinige Segmente in der Vielzahl von Gitterabschnitten dargestellt werden, und wobei jede der vorhergesagten Fahrspuren einen verketteten Satz der geradlinigen Segmente in benachbarten der Vielzahl von Gitterabschnitten umfasst.
Verfahren nach Anspruch 1, wobei die Fahrspursegmente als nichtlineare Liniensegmente in der Vielzahl von Gitterabschnitten dargestellt werden, und wobei jede der vorhergesagten Fahrspuren einen verketteten Satz der nichtlinearen Liniensegmente in benachbarten der Vielzahl von Gitterabschnitten umfasst.
Verfahren nach Anspruch 1, wobei das Verketten der Fahrspursegmente für die Vielzahl von Gitterabschnitten das Clustern der Merkmalseinbettungen umfasst, um eine Trennung zu einzelnen Fahrspuren zu erreichen.
Verfahren nach Anspruch 1, wobei jedes der Fahrspursegmente als Normalenvektor parametriert ist, der in Bezug auf einen Mittelpunkt des Gitterabschnitts definiert ist, wobei der Normalenvektor durch einen Betrag, eine Richtung und eine Höhe in Bezug auf den Mittelpunkt des Gitterabschnitts definiert ist.
Verfahren nach Anspruch 1, wobei die Steuerung des Betriebs des Fahrzeugs auf der Grundlage der vorhergesagten Fahrspur die Steuerung eines von einem Antriebssystem, einem Lenksystem oder einem Bremssystem über ein fortschrittliches Fahrerassistenzsystem umfasst.
Verfahren nach Anspruch 1, wobei das Steuern des Betriebs des Fahrzeugs auf der Grundlage der vorhergesagten Fahrspur das Aktualisieren einer fahrzeuginternen Karte auf der Grundlage der vorhergesagten Fahrspur umfasst.
Verfahren nach Anspruch 1, wobei die Steuerung des Betriebs des Fahrzeugs auf der Grundlage der vorhergesagten Fahrspur die Steuerung eines fahrzeugeigenen Navigationssystems auf der Grundlage der vorhergesagten Fahrspur umfasst.
Verfahren nach Anspruch 1, wobei das Erfassen des Bildes des Sichtfeldes (FOV) des sichtbaren Bereichs, der die Fahrfläche umfasst, das Erfassen des Bildes des Sichtfeldes (FOV) des sichtbaren Bereichs umfasst, der die Fahrfläche umfasst, die sich vor dem Fahrzeug befindet.