DE102021117227A1

DE102021117227A1 - Analysieren eines Kreisverkehrs

Info

Publication number: DE102021117227A1
Application number: DE102021117227.6A
Authority: DE
Inventors: Akhilesh Kumar Malviya; Arindam Das; Senthil Kumar Yogamani
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2021-07-05
Filing date: 2021-07-05
Publication date: 2023-01-05
Also published as: WO2023280819A1

Abstract

Zum Analysieren eines Kreisverkehrs (9) wird wenigstens eine initiale Merkmalskarte durch Anwenden eines Merkmalsencodermoduls (10) eines neuronalen Netzwerks (6) auf ein Eingangsbild erzeugt. Ein Klassifikatormodul (11) wird auf die wenigstens eine initiale Merkmalskarte angewendet, wobei eine Ausgabe des Klassifikatormoduls (11) einen Straßenbereich im Eingangsbild darstellt. Ein Radiusschätzmodul (12, 13) wird auf die wenigstens eine initiale Merkmalskarte angewendet, wobei eine Ausgabe des Radiusschätzmoduls (12, 13) von einem inneren Radius (14a) des Kreisverkehrs (9) und einem äußeren Radius (14b) des Kreisverkehrs (9) abhängt. Wenigstens ein Eintrittspunkt (15a, 15b, 15c, 15d) und/oder wenigstens ein Austrittspunkt (16a, 16b, 16c, 16d) des Kreisverkehrs (9) werden in Abhängigkeit von den Ausgaben des Klassifikatormoduls (11) und des Radiusschätzmoduls (12, 13) bestimmt.

Description

Die vorliegende Erfindung ist auf ein computerimplementiertes Verfahren zum Analysieren eines Kreisverkehrs in einer Umgebung eines Fahrzeugs, ein computerimplementiertes Verfahren zum Planen einer Bahn für ein Fahrzeug, ein elektronisches Fahrzeugführungssystem und ein Computerprogrammprodukt gerichtet.
Algorithmen zum computerbasierten Sehen können in verschiedenen Weisen für autonome oder halbautonome Fahraufgaben sowie für Fahrerassistenzsysteme verwendet werden. In diesem Zusammenhang ist eine genaue Bahnplanung aus einem funktionalen Gesichtspunkt und aus einem Sicherheitsgesichtspunkt wichtig. Bahnen für Fahrzeuge können aus verschiedenen Gründen geplant werden. Zum vollautonomen Fahren kann beispielsweise eine Bahn geplant werden, um das Fahrzeug von einem Startort zu einem Ziel zu führen. Im Zusammenhang mit Notbremssystemen, Fahrspurassistenzsystemen und so weiter werden ebenfalls Bahnen mit verschiedenen Längen durch eine Recheneinheit des jeweiligen Fahrzeugs geplant.
Eine herausfordernde Situation für menschliche Fahrer ebenso wie für automatische oder halbautomatische Systeme sind Kreisverkehre, die auch als Rondelle oder Kreisel bezeichnet werden. Bekannte Planungsalgorithmen können eine Bahn für ein Fahrzeug planen, um das Fahrzeug zu einem Austrittspunkt des Kreisverkehrs zu führen, wenn das Fahrzeug im Kreisverkehr fährt, oder von einem Eintrittspunkt zu einem Austrittspunkt des Kreisverkehrs, wenn das Fahrzeug noch nicht im Kreisverkehr fährt. Solche Bahnplanungsalgorithmen können, beispielsweise neben einer Vielzahl von weiteren Eingaben, einen Ort eines Eintrittspunkts, an dem das Fahrzeug in den Kreisverkehr eingefahren ist oder in den Kreisverkehr einfahren wird, und/oder einen Ort eines Austrittspunkts, an dem das Fahrzeug den Kreisverkehr verlässt, verwenden. Insbesondere wenn Kamerabilder als Basis für die Bahnplanungsalgorithmen verwendet werden, kann ein solcher Algorithmus eine jeweilige Position des Eingangs- und/oder Austrittspunkts im Kamerabild oder in einem Bild, das durch Verarbeiten des Kamerabildes erhalten wird, zu jeder gegebenen Zeit erfordern.
Das Dokument US 2020/0211379 A1 beschreibt ein Kreisverkehrassistenzsystem. Dabei wird ein Navigationssystem verwendet, um den Kreisverkehr auf einer Route für ein primäres Objekt, wie zum Beispiel ein Fahrzeug, das gleich in den Kreisverkehr einfährt, zu identifizieren. Das System kann sekundäre Objekte im Kreisverkehr detektieren und verfolgen, um das primäre Objekt zu informieren, wenn es sicher ist, in den Kreisverkehr einzufahren. Dabei kann ein neuronales Netzwerk für die Fahrzeugdetektion verwendet werden und Algorithmen zum computerbasierten Sehen können für detektierte Objekten eingesetzt werden, um relevante Metriken, wie zum Beispiel Position, Fahrtrichtung und Geschwindigkeit, zu berechnen.
Es ist ein Ziel der vorliegenden Erfindung, eine Möglichkeit bereitzustellen, einen Kreisverkehr automatisch zu analysieren und Eingangsdaten automatisch bereitzustellen, die für die Verwendung durch einen anschließenden Bahnplanungsalgorithmus geeignet sind.
Dieses Ziel wird durch den jeweiligen Gegenstand der unabhängigen Ansprüche erreicht. Weitere Implementierungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Die Erfindung basiert auf der Idee, ein Eingangsbild, das den Kreisverkehr darstellt, mittels eines trainierten künstlichen neuronalen Netzwerks zu codieren und die codierten initialen Merkmale zu verwenden, um wenigstens einen Eintrittspunkt und/oder wenigstens einen Austrittspunkt des Kreisverkehrs zu bestimmen.
Gemäß einem ersten Aspekt der Erfindung wird ein computerimplementiertes Verfahren zum Analysieren eines Kreisverkehrs in einer Umgebung eines Fahrzeugs bereitgestellt. Dabei wird wenigstens eine initiale Merkmalskarte durch Anwenden eines Merkmalsencodermoduls eines trainierten künstlichen neuronalen Netzwerks auf ein Eingangsbild erzeugt, wobei das Eingangsbild den Kreisverkehr wenigstens teilweise darstellt. Ein Klassifikatormodul des trainierten künstlichen neuronalen Netzwerks wird auf die wenigstens eine initiale Merkmalskarte angewendet, wobei eine Ausgabe des Klassifikatormoduls einen Straßenbereich im Eingangsbild darstellt, wobei der Straßenbereich im Bild, insbesondere einen entsprechenden Straßenbereich in der Umgebung darstellt. Ein Radiusschätzmodul des trainierten künstlichen neuronalen Netzwerks wird auf die wenigstens eine initiale Merkmalskarte angewendet, wobei eine Ausgabe des Radiusschätzmoduls von einem inneren Radius des Kreisverkehrs und einem äußeren Radius des Kreisverkehrs abhängt. Wenigstens ein Eintrittspunkt und/oder wenigstens ein Austrittspunkt des Kreisverkehrs werden in Abhängigkeit von der Ausgabe des Klassifikatormoduls und in Abhängigkeit von der Ausgabe des Radiusschätzmoduls bestimmt.
Hier und im Folgenden können alle Schritte eines computerimplementierten Verfahrens durch eine oder mehrere Recheneinheiten, insbesondere des Fahrzeugs, ausgeführt werden, wenn nicht anders angegeben. Insbesondere können die eine oder die mehreren Recheneinheiten eine oder mehrere zentrale Prozessoreinheiten, CPUs, eines oder mehrere elektronische Steuergeräte, ECUs, des Fahrzeugs, eine oder mehrere digitale Signalverarbeitungseinheiten, DSPs, eine oder mehrere Graphikprozessoreinheiten, GPUs, eines oder mehrere Einchipsysteme, SoCs, und so weiter aufweisen.
Das Eingangsbild kann beispielsweise auf der Basis von wenigstens einem Kamerabild erzeugt werden. Insbesondere kann das wenigstens eine Kamerabild zwei oder mehr Kamerabilder aufweisen, die beispielsweise durch jeweilige Kameras erzeugt werden können, die am Fahrzeug montiert sind und verschiedene Sichtfelder aufweisen, die jeweilige verschiedene Abschnitte der Umgebung des Fahrzeugs abdecken. Die wenigstens eine Kamera kann beispielsweise eine vordere Kamera, eine hintere Kamera, eine linke Kamera und/oder eine rechte Kamera aufweisen, die in jeweiligen Positionen und mit jeweiligen Orientierungen am Fahrzeug montiert sind. Das Eingangsbild kann beispielsweise einer Kombination von jeweiligen Bildern von den wenigstens zwei Kameras, beispielsweise einem zusammengefügten oder zusammengeführten Bild der jeweiligen Kamerabilder, entsprechen. Die Kamerabilder können beispielsweise in eine Draufsicht umgewandelt oder transformiert werden und die umgewandelten Kamerabilder können dann zusammengefügt werden, um das Eingangsbild zu erzeugen.
Ein Kreisverkehr kann beispielsweise als Kreuzung von zwei oder mehr Straßen mit einer Insel in der Mitte des Kreisverkehrs verstanden werden, wobei der Straßenverkehr von einem Eintrittspunkt des Kreisverkehrs zu einem Austrittspunkt des Kreisverkehrs um die Insel fahren soll. Der Kreisverkehr weist insbesondere wenigstens zwei Eintrittspunkte und wenigstens zwei Austrittspunkte auf. Die geometrische Form der Insel kann ungefähr kreisförmig sein. Dann kann der befahrbare Bereich des Kreisverkehrs beispielsweise durch einen Ring mit einem inneren Ringradius, der dem inneren Radius des Kreisverkehrs entspricht, und einem äußeren Ringradius, der dem äußeren Radius des Kreisverkehrs entspricht, angenähert werden.
Im Folgenden wird angenommen, dass der Kreisverkehr wenigstens näherungsweise durch einen solchen Ring beschrieben werden kann. Insbesondere können auch hexagonale oder oktogonale Inseln und entsprechend geformte befahrbare Bereiche Kreisverkehre bilden, die näherungsweise durch einen kreisförmigen Ring beschrieben werden können.
Dass der Kreisverkehr in der Umgebung des Fahrzeugs vorhanden ist, kann beispielsweise derart verstanden werden, dass der Kreisverkehr auf einer Straße angeordnet ist, auf der das Fahrzeug gegenwärtig fährt, oder dass das Fahrzeug bereits im Kreisverkehr fährt.
Das trainierte künstliche neuronale Netzwerk, das im Folgenden auch als neuronales Netzwerk bezeichnet wird, kann eine Vielzahl von Blöcken oder Modulen, einschließlich des Merkmalsencodermoduls, des Radiusschätzmoduls und des Klassifikatormoduls, aufweisen. Ein Modul kann auch eines oder mehrere Untermodule aufweisen. Ein Modul oder Untermodul kann trainierbar sein oder nicht. Insbesondere weisen das Klassifikatormodul und das Radiusschätzmodul jeweils trainierbare Parameter auf. Wenn das computerimplementierte Verfahren ausgeführt wird, wurden diese Parameter bereits trainiert.
Das Merkmalsencoderuntermodul kann insbesondere eine oder mehrere Faltungsschichten aufweisen, so dass die räumlichen Dimensionen der wenigstens einen Merkmalskarte im Allgemeinen von den räumlichen Dimensionen des Eingangsbildes verschieden sind. Das Merkmalsencodermodul kann beispielsweise dazu ausgelegt sein, die räumliche Dimension des Eingangsbildes zu verringern. Abgesehen von der einen oder den mehreren Faltungsschichten können weitere Schichten wie zum Beispiel Pooling-Schichten, Dropout-Schichten und so weiter von dem Merkmalsencodermodul umfasst sein.
Gemäß einigen Implementierungen des Verfahrens kann ein bekanntes vortrainiertes Merkmalsencodermodul verwendet werden, beispielsweise ein VGG-Encoder, ein ResNet-Encoder, ein Inception-Encoder und so weiter.
Das Klassifikatormodul wird verwendet, um seine Ausgabe zu erzeugen, die den Straßenbereich im Eingangsbild enthält oder darstellt. Der Straßenbereich entspricht einem oder mehreren verbundenen Bereichen des Eingangsbildes, die einen entsprechenden Teil der Straße in der Umgebung darstellen. Dazu kann das Klassifikatormodul das Eingangsbild auf Pixelebene oder auf höherer Ebene klassifizieren. Das Klassifikatormodul kann beispielsweise als Decodermodul mit einer oder mehreren Rückfaltungsschichten ausgelegt sein, um die wenigstens eine Merkmalskarte auf die räumliche Dimension des Eingangsbildes zurück heraufzusetzen. Insbesondere kann die Anzahl von Rückfaltungsschichten des Klassifikatormoduls gleich der Anzahl von Faltungsschichten des Merkmalsencodermoduls sein. Außerdem kann das Klassifikatormodul auch weitere Schichten wie zum Beispiel Pooling-Schichten, Dropout-Schichten und so weiter aufweisen.
Das Klassifikatormodul kann ein binärer Klassifikator sein, der jedem Pixel oder Bereich im Eingangsbild eine Wahrscheinlichkeit für zwei vordefinierte Klassen zuweist. Eine der Klassen kann der Situation entsprechen, dass das entsprechende Pixel oder der entsprechende Bereich ein Teil des Straßenbereichs ist, die andere Klasse kann der Situation entsprechen, dass das Pixel oder der Bereich kein Teil des Straßenbereichs ist. Komplexere Klassifikatormodule können jedoch auch verwendet werden und mehr als nur zwei Klassen können berücksichtigt werden. Wenigstens eine der Klassen entspricht jedoch einer Straßenklasse und der Straßenbereich entspricht den Bereichen im Eingangsbild oder den Pixeln des Eingangsbildes, denen das Klassifikatormodul die Straßenklasse zugewiesen hat, insbesondere mit einer Wahrscheinlichkeit oder einem Konfidenzwert, der größer ist als ein vordefinierter minimaler Wert.
Wenn das Merkmalsencodermodul auf das Eingangsbild angewendet wird, wird das Eingangsbild als Eingabe für das Merkmalsencodermodul verwendet und das Merkmalsencodermodul erzeugt eine Ausgabe mit der wenigstens einen initialen Merkmalskarte in Reaktion auf diese Eingabe. Wenn das Klassifikatormodul auf die wenigstens eine initiale Merkmalskarte angewendet wird, verwendet das Klassifikatormodul analog die wenigstens eine initiale Merkmalskarte als Eingabe und erzeugt die Ausgabe, die den Straßenbereich darstellt. Wenn das Radiusschätzmodul auf die wenigstens eine initiale Merkmalskarte angewendet wird, wird analog die wenigstens eine initiale Merkmalskarte als Eingabe für das Radiusschätzmodul verwendet, das dann die Ausgabe in Abhängigkeit von dem inneren Radius des Kreisverkehrs und dem äußeren Radius des Kreisverkehrs erzeugt, wie im Eingangsbild dargestellt und in der wenigstens einen initialen Merkmalskarte codiert.
Dass die Ausgabe des Radiusschätzmoduls vom inneren Radius und vom äußeren Radius des Kreisverkehrs abhängt und die Ausgabe des Klassifikatormoduls den Straßenbereich darstellt, kann derart verstanden werden, dass die Ausgabe des Radiusschätzmoduls Informationen aufweist, die den inneren und den äußeren Radius des Kreisverkehrs definieren oder beschreiben, und die Ausgabe des Klassifikatormoduls Informationen aufweist, die den Straßenbereich definieren oder darstellen. Diese Informationen können beispielsweise in Form von jeweiligen Merkmalskarten, die durch das Radiusschätzmodul beziehungsweise das Klassifikatormodul erzeugt werden, oder von rekonstruierten Bildern, die beispielsweise durch dementsprechendes Decodieren der codierten wenigstens einen initialen Merkmalskarte erzeugt werden können, vorliegen.
Insbesondere werden, wenn der wenigstens eine Eintrittspunkt und/oder der wenigstens eine Austrittspunkt in Abhängigkeit von den Ausgaben des Klassifikatormoduls und des Radiusschätzmoduls bestimmt wird, alle Eintrittspunkte des Kreisverkehrs und alle Austrittspunkte des Kreisverkehrs bestimmt. Hier und im Folgenden kann das Bestimmen eines Punkts, insbesondere eines Eintrittspunkts oder eines Austrittspunkts, derart verstanden werden, dass ein jeweiliger Ort des Punkts im Eingangsbild bestimmt wird oder mit anderen Worten bestimmt wird, welches Pixel oder welche Pixelgruppe des Eingangsbildes den entsprechenden Punkt darstellt.
Der wenigstens eine Eintrittspunkt oder der wenigstens eine Austrittspunkt wird insbesondere durch eines oder mehrere weitere Module des trainierten neuronalen Netzwerks mit wenigstens einem weiteren trainierbaren Modul bestimmt.
Mittels des computerimplementierten Verfahrens zum Analysieren des Kreisverkehrs wird die wenigstens eine initiale Merkmalskarte, die auf der Basis des Eingangsbildes erzeugt wird, insbesondere parallel verwendet, um die Straßen in der Umgebung und auch die Abmessungen des Kreisverkehrs hinsichtlich des inneren und des äußeren Radius zu charakterisieren. Diese Analyse dient als Basis zum Bestimmen des wenigstens einen Eintrittspunkts und des wenigstens einen Austrittspunkts. Folglich können der wenigstens eine Eintrittspunkt und der wenigstens eine Austrittspunkt oder, wie vorstehend beschrieben, ihre jeweiligen Orte im Eingangsbild als Ergebnis oder Teil eines Ergebnisses des computerimplementierten Verfahrens aufgefasst werden.
Der wenigstens eine Eingangspunkt und/oder der wenigstens eine Austrittspunkt kann für verschiedene Fahrerassistenzfunktionen oder autonome Fahrfunktionen verwendet werden, insbesondere für die Bahnplanung für das Fahrzeug. Das computerimplementierte Verfahren kann beispielsweise wiederholt für aufeinanderfolgende Kameraeinzelbilder und entsprechende aufeinanderfolgende weitere Eingangsbilder ausgeführt werden. In dieser Weise kann der Ort des wenigstens einen Eintrittspunkts und/oder des wenigstens einen Austrittspunkts über die Zeit verfolgt werden, was eine wertvolle Eingabe für die Bahnplanung erzeugt. Zu einer gegebenen anfänglichen Zeit, bevor das Fahrzeug in den Kreisverkehr einfährt, kann beispielsweise der Bahnplanungsalgorithmus einen anfänglichen Ursprungspunkt, der einem der der wenigstens einen Eintrittspunkte des Kreisverkehrs entspricht, und einen anfänglichen Zielpunkt für das Fahrzeug, der einem der wenigstens einen Austrittspunkte des Kreisverkehrs entspricht, bestimmt haben. Die Bahn für das Fahrzeug kann beispielsweise das Fahrzeug von dem anfänglichen Ursprungspunkt zu dem anfänglichen Zielpunkt führen. Mittels des computerimplementierten Verfahrens zum Analysieren des Kreisverkehrs kann der Ort der Ursprungs- und Zielpunkte danach verfolgt werden, insbesondere während das Fahrzeug in dem Kreisverkehr fährt.
In einigen Implementierungen des computerimplementierten Verfahrens wird eine Fahrzeugposition des Fahrzeugs in Abhängigkeit von der Ausgabe des Klassifikatormoduls und in Abhängigkeit von der Ausgabe des Radiusschätzmoduls bestimmt.
Wie für die Eingangs- und Austrittspunkte des Kreisverkehrs beschrieben, entspricht auch die Fahrzeugposition einem Ort im Eingangsbild. Die Fahrzeugposition kann zusätzlich zum wenigstens einen Eintrittspunkt und zum wenigstens einen Austrittspunkt für die Bahnplanung verwendet werden.
Gemäß mehreren Implementierungen werden zwei oder mehr Kamerabilder in ein gemeinsames Draufsichtsbild umgewandelt, um das Eingangsbild zu erzeugen. Mit anderen Worten, das Draufsichtsbild entspricht dem Eingangsbild.
Die Umwandlung der zwei oder mehr Kamerabilder kann als Vorverarbeitungsschritt vor dem Analysieren des Eingangsbildes mittels des trainierten künstlichen neuronalen Netzwerks betrachtet werden.
Jedes der zwei oder mehr Kamerabilder wird durch eine unterschiedliche jeweilige Fahrzeugkamera erzeugt, die am Fahrzeug montiert ist. Jede der zwei oder mehr Kameras weist ein unterschiedliches Sichtfeld auf, wobei die unterschiedlichen Sichtfelder teilweise überlappen können. In einigen Implementierungen weisen die zwei oder mehr Kameras eine vordere Kamera, eine hintere Kamera, eine linke Kamera und eine rechte Kamera des Fahrzeugs auf. Die vordere Kamera weist ein nach vorn gewandtes Sichtfeld mit Bezug auf das Fahrzeug auf, die hintere Kamera weist ein nach hinten gewandtes Sichtfeld auf, die linke Kamera weist ein nach links gewandtes Sichtfeld auf und die rechte Kamera weist ein nach rechts gewandtes Sichtfeld mit Bezug auf das Fahrzeug auf.
Zum Erzeugen des gemeinsamen Draufsichtsbildes kann die Recheneinheit die individuellen Kamerabilder auf individuelle Draufsichtsbilder abbilden, beispielsweise durch Anwenden eines inversen perspektivischen Abbildungsalgorithmus, und dann individuelle Draufsichtsbilder zusammenfügen, um das gemeinsame Draufsichtsbild und folglich das Eingangsbild zu erhalten.
Gemäß mehreren Implementierungen empfängt ein Entscheidungsfindungsmodul das Eingangsbild oder das Kamerabild der vorderen Kamera und detektiert die Anwesenheit des Kreisverkehrs in der Umgebung des Fahrzeugs in Abhängigkeit von dem Eingangsbild oder Kamerabild der vorderen Kamera. Wenn die Anwesenheit des Kreisverkehrs detektiert wurde, aktiviert das Entscheidungsfindungsmodul ein Kreisverkehranalysatormodul, das das trainierte künstliche neuronale Netzwerk aufweist. Wenn das Kreisverkehranalysatormodul aktiviert wurde, werden die Schritte des Erzeugens der wenigstens einen initialen Merkmalskarte, des Anwendens des Klassifikatormoduls und des Radiusschätzmoduls und des Bestimmens des wenigstens einen Eintrittspunkts und/oder des wenigstens einen Austrittspunkts ausgeführt. Insbesondere werden, wenn das Kreisverkehranalysatormodul nicht aktiviert wird, die Verfahrensschritte nicht ausgeführt.
In dieser Weise können Rechenressourcen für andere Zwecke gespart werden, wenn kein Kreisverkehr vorhanden ist. Dabei kann die Anwesenheit des Kreisverkehrs beispielsweise der Tatsache entsprechen, dass der Kreisverkehr in einem Abstand vom Fahrzeug liegt, der gleich oder kleiner als ein vordefinierter minimaler Abstand ist.
Gemäß mehreren Implementierungen weist die Ausgabe des Klassifikatormoduls ein segmentiertes Bild auf, wobei der Straßenbereich Bildpunkte, insbesondere alle Bildpunkte, des segmentierten Bildes aufweist, die durch Anwenden des Klassifikatormoduls auf die wenigstens eine initiale Merkmalskarte einer Straßenklasse zugewiesen werden.
Das segmentierte Bild weist insbesondere dieselben räumlichen Dimensionen wie das Eingangsbild auf oder, mit anderen Worten, jeder Bildpunkt des Eingangsbildes entspricht einem jeweiligen Bildpunkt des segmentierten Bildes. Die Anzahl von Rückfaltungsschichten des Klassifikatormoduls ist daher gleich der Anzahl von Faltungsschichten des Merkmalsencodermoduls.
Das Klassifikatormodul kann auch als Segmentierungsmodul bezeichnet werden, da es das segmentierte Bild erzeugt. Das segmentierte Bild besteht aus einer Anzahl von Segmenten, wobei jedes Segment einem verbundenen Bereich im segmentierten Bild und folglich im Eingangsbild entspricht, der derselben zugewiesenen Klasse, beispielsweise der Straßenklasse, entspricht.
Das Klassifikatormodul kann als binärer Klassifikator implementiert sein, der dazu trainiert ist, das Eingangsbild beziehungsweise die Bildpunkte des Eingangsbildes entweder in die Straßenklasse oder eine Nicht-Straßen-Klasse zu klassifizieren.
In diesem Fall kann das segmentierte Bild als Merkmalskarte mit einem ersten Kanal mit den Informationen über die Straßenklasse und einem zweiten Kanal mit den Informationen über die Nicht-Straßen-Klasse betrachtet werden. Insbesondere kann der erste Kanal eine Wahrscheinlichkeit für jeden Bildpunkt des segmentierten Bildes aufweisen, dass der jeweilige Bildpunkt der Straßenklasse entspricht, und der zweite Kanal kann eine jeweilige Wahrscheinlichkeit aufweisen, dass der Bildpunkt nicht zur Straßenklasse gehört.
Gemäß mehreren Implementierungen weist die Ausgabe des Radiusschätzmoduls ein Maskenbild auf, das einen Ring mit einem inneren Radius, der den inneren Radius des Kreisverkehrs annähert, und mit einem äußeren Ringradius, der den äußeren Radius des Kreisverkehrs annähert, definiert.
Dabei weist das Maskenbild dieselben räumlichen Dimensionen wie das Eingangsbild auf, oder, mit anderen Worten, das Radiusschätzmodul weist eine Anzahl von Rückfaltungsschichten auf, die gleich der Anzahl von Faltungsschichten des Merkmalsencodermoduls ist.
Das Maskenbild kann als binäres Bild oder Schwarz-Weiß-Bild betrachtet werden, wobei alle Bildpunkte des Maskenbildes zwischen dem inneren Ringradius und dem äußeren Ringradius einen ersten Wert aufweisen und die restlichen Bildpunkte des Maskenbildes einen zweiten Wert aufweisen. Die Bildpunkte mit dem ersten Wert können beispielsweise als weiße Pixel und die Bildpunkte mit dem zweiten Wert als schwarze Pixel betrachtet werden oder umgekehrt.
Mit anderen Worten stellt das Maskenbild den Teil des Eingangsbildes dar oder definiert den Teil des Eingangsbildes, der dem kreisförmigen Straßenteil oder ungefähr kreisförmigen Straßenteil des Kreisverkehrs entspricht.
Gemäß mehreren Implementierungen weist das Radiusschätzmodul ein Radiusregressionsuntermodul und ein Maskierungsuntermodul auf. Das Radiusregressionsuntermodul kann eine Radiusmerkmalskarte in Abhängigkeit von der wenigstens einen initialen Merkmalskarte erzeugen und das Maskierungsuntermodul kann dann den inneren Ringradius und den äußeren Ringradius in Abhängigkeit von der Radiusmerkmalskarte identifizieren und dementsprechend das Maskenbild erzeugen.
Gemäß mehreren Implementierungen beinhaltet das Anwenden des Radiusschätzmoduls auf die wenigstens eine initiale Merkmalskarte das Anwenden des Radiusregressionsuntermoduls auf die wenigstens eine initiale Merkmalskarte und eine Ausgabe des Radiusregressionsuntermoduls weist die Radiusmerkmalskarte auf. Die Radiusmerkmalskarte weist einen ersten Kanal auf mit einer Wahrscheinlichkeit für jeden Bildpunkt des Eingangsbildes, dass der jeweilige Bildpunkt einem Mittelpunkt des Kreisverkehrs entspricht. Die Radiusmerkmalskarte weist einen zweiten Kanal auf mit einem Regressionswert für den inneren Radius des Kreisverkehrs für jeden Bildpunkt des Eingangsbildes und die Radiusmerkmalskarte weist einen dritten Kanal auf mit einem Regressionswert für den äußeren Radius des Kreisverkehrs für jeden Bildpunkt des Eingangsbildes.
Mit anderen Worten, betrachtet man einen bestimmten Punkt in dem Eingangsbild als Mittelpunkt des Kreisverkehrs, so stellt der erste Kanal die jeweilige Wahrscheinlichkeit dar, dass dies tatsächlich der Fall ist, und der zweite und der dritte Kanal liefern den jeweiligen inneren und äußeren Radius.
Gemäß mehreren Implementierungen beinhaltet das Anwenden des Radiusschätzmoduls auf die wenigstens eine initiale Merkmalskarte das Anwenden des Maskierungsuntermoduls auf die Radiusmerkmalskarte und das Bestimmen des inneren Ringradius und des äußeren Ringradius als Ausgabe des Maskierungsuntermoduls.
Gemäß mehreren Implementierungen wird ein globales Maximum des ersten Kanals der Radiusmerkmalskarte durch das Maskierungsuntermodul bestimmt. Der innere Ringradius wird durch das Maskierungsuntermodul als Regressionswert für den inneren Radius des Kreisverkehrs, der dem globalen Maximum entspricht, bestimmt. Der äußere Ringradius wird durch das Maskierungsuntermodul als Regressionswert für den äußeren Radius des Kreisverkehrs, der dem globalen Maximum entspricht, bestimmt.
Das globale Maximum des ersten Kanals stellt die globale maximale Wahrscheinlichkeit dafür, dass die Bildpunkte des Eingangsbildes der Mittelpunkt des Kreisverkehrs sind, dar. Entsprechend definiert das globale Maximum einen Bildpunkt, der die höchste Wahrscheinlichkeit aufweist, dass er tatsächlich der Mittelpunkt des Kreisverkehrs ist. Der innere Ringradius und der äußere Ringradius werden dann als Werte des zweiten und des dritten Kanals der Radiusmerkmalskarte, die dem Bildpunkt mit dem globalen Maximum entsprechen, bestimmt.
Gemäß mehreren Implementierungen wird ein Straßenregressionsmodul des trainierten neuronalen Netzwerks auf eine Kombination des segmentierten Bildes und des maskierten Bildes angewendet und eine Ausgabe des Straßenregressionsmoduls weist eine Straßenpunktemerkmalskarte auf. Der wenigstens eine Eintrittspunkt und/oder der wenigstens eine Austrittspunkt werden in Abhängigkeit von der Straßenpunktemerkmalskarte bestimmt.
Die Kombination des segmentierten Bildes und des maskierten Bildes kann beispielsweise einem gestapelten Bild entsprechen, das durch einen Stapel des segmentierten Bildes und des maskierten Bildes gegeben ist. Mit anderen Worten, das segmentierte Bild und das maskierte Bild können durch Anwenden eines Stapelmoduls des trainierten künstlichen neuronalen Netzwerks auf das segmentierte Bild und das maskierte Bild verkettet werden. Das gestapelte Bild weist insbesondere dieselben räumlichen Dimensionen wie das segmentierte Bild und das maskierte Bild auf und die Anzahl von Kanälen des gestapelten Bildes ist durch die Anzahl von Kanälen des segmentierten Bildes plus die Anzahl von Kanälen des maskierten Bildes gegeben. Das maskierte Bild und das segmentierte Bild können beispielsweise jeweils nur einen Kanal aufweisen, so dass das gestapelte Bild in diesem Fall zwei Kanäle aufweist. Dann kann das Straßenregressionsmodul auf das gestapelte Bild angewendet werden, um die Straßenpunktemerkmalskarte zu erzeugen.
Gemäß mehreren Implementierungen weist die Straßenpunktemerkmalskarte einen ersten Kanal mit einer Wahrscheinlichkeit für jeden Bildpunkt des gestapelten Bildes und folglich des Eingangsbildes, dass der jeweilige Bildpunkt einem Eintrittspunkt oder einem Austrittspunkt entspricht, auf.
Die Werte des ersten Kanals der Straßenpunktemerkmalskarte können beispielsweise zwischen 0 und 1 liegen, wobei 1 der höchsten Wahrscheinlichkeit entspricht, dass der entsprechende Bildpunkt entweder einen Eintrittspunkt oder einen Austrittspunkt des Kreisverkehrs darstellt, und 0 der niedrigsten Wahrscheinlichkeit dass der entsprechende Bildpunkt entweder einen Eintrittspunkt oder einen Austrittspunkt des Kreisverkehrs darstellt oder, mit anderen Worten, der höchsten Wahrscheinlichkeit, dass der Bildpunkt weder ein Eintrittspunkt noch ein Austrittspunkt ist, entspricht. Insbesondere wird der wenigstens eine Eintrittspunkt und/oder der wenigstens eine Austrittspunkt in Abhängigkeit von dem ersten Kanal bestimmt.
Gemäß mehreren Implementierungen weist die Straßenpunktemerkmalskarte einen zweiten Kanal mit einer Wahrscheinlichkeit für jeden Bildpunkt des Eingangsbildes, dass der jeweilige Bildpunkt einem Eintrittspunkt entspricht, auf.
Gemäß mehreren Implementierungen weist die Straßenpunktemerkmalskarte einen dritten Kanal mit einer Wahrscheinlichkeit für jeden Bildpunkt des Eingangsbildes, dass der jeweilige Bildpunkt einem Austrittspunkt entspricht, auf.
Insbesondere wird der wenigstens eine Eintrittspunkt und/oder der wenigstens eine Austrittspunkt in Abhängigkeit von dem zweiten Kanal und/oder dem dritten Kanal der Straßenpunktemerkmalskarte bestimmt.
Jede Straße, die mit dem Kreisverkehr verbunden ist, ist entweder eine Straße zum Einfahren in den Kreisverkehr oder eine Straße zum Ausfahren aus dem Kreisverkehr. Folglich entspricht ein Eintrittspunkt des Kreisverkehrs einem Punkt, an dem eine Straße zum Einfahren in den Kreisverkehr auf den Ring trifft, der den Kreisverkehr näherungsweise definiert. Analog entspricht ein Austrittspunkt einem Punkt, an dem eine Straße zum Verlassen des oder Ausfahren aus dem Kreisverkehr auf den Ring trifft.
Hinsichtlich der Straßenpunktemerkmalskarte teilt der erste Kanal mit, ob ein Bildpunkt entweder einem Austrittspunkt oder einem Eintrittspunkt entspricht. Wenn die Wahrscheinlichkeit hoch genug ist, insbesondere wenn die Wahrscheinlichkeit gleich oder größer als ein vordefinierter Schwellenwert ist, stellen der zweite und/oder der dritte Kanal den Typ der Straße dar. Zum Bestimmen der Werte des zweiten und/oder des dritten Kanals kann ein Klassifikationsalgorithmus verwendet werden.
Gemäß mehreren Implementierungen wird wenigstens ein lokales Maximum des ersten Kanals der Straßenpunktemerkmalskarte durch ein Punktextraktionsmodul des trainierten künstlichen neuronalen Netzwerks bestimmt. Der wenigstens eine Eintrittspunkt und/oder der wenigstens eine Austrittspunkt werden durch das Punktextraktionsmodul in Abhängigkeit von dem wenigstens einen lokalen Maximum bestimmt.
Insbesondere werden nur lokale Maxima mit einem Wert des ersten Kanals jenseits des vordefinierten Schwellenwerts berücksichtigt. Mit anderen Worten, der Wert des ersten Kanals ist gleich oder größer als der vordefinierte Schwellenwert für jedes des wenigstens einen lokalen Maximums, das durch das Punktextraktionsmodul bestimmt werden.
Mit anderen Worten, das Punktextraktionsmodul, das ein nicht trainierbares Modul sein kann, findet das wenigstens eine lokale Maximum im ersten Kanal und entscheidet dann gemäß dem zweiten und/oder dritten Kanal, ob der jeweilige Punkt einem Eintrittspunkt oder einem Austrittspunkt entspricht. In dieser Weise können alle Austrittspunkte und alle Eintrittspunkte des Kreisverkehrs bestimmt werden.
Gemäß alternativen Implementierungen weist der erste Kanal der Straßenpunktemerkmalskarte eine Wahrscheinlichkeit für jeden Bildpunkt des Eingangsbildes, dass der jeweilige Bildpunkt einem Eintrittspunkt entspricht, auf und/oder der zweite Kanal der Straßenpunktemerkmalskarte weist eine Wahrscheinlichkeit für jeden Bildpunkt des Eingangsbildes, dass der jeweilige Bildpunkt einem Austrittspunkt entspricht, auf.
Gemäß mehreren Implementierungen weist der wenigstens eine Eintrittspunkt wenigstens zwei Eintrittspunkte auf und der wenigstens eine Austrittspunkt weist wenigstens zwei Austrittspunkte auf.
Gemäß mehreren Implementierungen werden die wenigstens zwei Austrittspunkte und die wenigstens zwei Eintrittspunkte des Kreisverkehrs in Abhängigkeit von der Ausgabe des Klassifikatormoduls und in Abhängigkeit von der Ausgabe des Radiusschätzmoduls, insbesondere wie vorstehend beschrieben, bestimmt. Ein Ursprungspunkt der wenigstens zwei Eintrittspunkte und ein Zielpunkt der wenigstens zwei Austrittspunkte werden durch ein rekurrentes neuronales Netzwerksmodul, RNN-Modul, des trainierten künstlichen neuronalen Netzwerks in Abhängigkeit von einem vordefinierten anfänglichen Ursprungspunkt für das Fahrzeug und einem vordefinierten anfänglichen Zielpunkt für das Fahrzeug bestimmt.
Der anfängliche Ursprungspunkt und der anfängliche Zielpunkt können beispielsweise sofort bei oder vor dem Start des Kreisverkehranalysatormoduls, beispielsweise auf der Basis von digitalen Kartendaten, bestimmt werden. Das RNN-Modul kann dann den Ursprungspunkt und den Zielpunkt verfolgen.
Zusätzlich zum vordefinierten anfänglichen Ursprungspunkt und zum vordefinierten anfänglichen Zielpunkt kann ein anfänglicher Ort des Fahrzeugs dem RNN-Modul als Eingabe bereitgestellt werden und die Ausgabe des RNN-Moduls kann den Ursprungspunkt, den Zielpunkt und einen aktuellen Ort des Fahrzeugs aufweisen.
In mehreren Implementierungen weist das RNN-Modul ein Netzwerk mit langem Kurzzeitgedächtnis, LSTM, auf. LSTM-Netzwerke sind besonders geeignet, um das sogenannte Langzeitabhängigkeitsproblem zu vermeiden. Daher können sie sich Informationen für eine relativ lange Zeitdauer merken. Folglich können mittels des RNN-Moduls und insbesondere des LSTM der Ursprungspunkt, der Zielpunkt und der Ort des Fahrzeugs zuverlässig verfolgt werden.
Gemäß einem weiteren Aspekt der Erfindung wird ein computerimplementiertes Verfahren zum Planen einer Bahn für ein Fahrzeug bereitgestellt. Dazu wird ein computerimplementiertes Verfahren zum Analysieren eines Kreisverkehrs in einer Umgebung des Fahrzeugs gemäß einer Implementierung der Erfindung wie vorstehend beschrieben ausgeführt. Die Bahn für das Fahrzeug wird durch die Recheneinheit in Abhängigkeit von dem wenigstens einen Eintrittspunkt und/oder dem wenigstens einen Austrittspunkt des Kreisverkehrs geplant.
Insbesondere wird die Bahn in Abhängigkeit von dem Ursprungspunkt und dem Zielpunkt, und gegebenenfalls in Abhängigkeit von dem Ort des Fahrzeugs geplant.
Insbesondere kann das Planen der Bahn das Erzeugen einer Trajektorie oder Route, die das Fahrzeug vom Ursprungspunkt zum Zielpunkt führt, umfassen. Algorithmen für die Bahnplanung sind an sich bekannt und hängen von weiteren Eingaben wie digitalen Karteninformationen, GPS-Daten, Objektdetektionsergebnissen und so weiter ab. Gemäß der Erfindung können der Ursprungs- und der Zielpunkt kontinuierlich verfolgt und automatisch dem Bahnplanungsalgorithmus bereitgestellt werden.
Gemäß mehreren Implementierungen wird die Bahn für das Fahrzeug in Abhängigkeit von der Radiusmerkmalskarte geplant. Insbesondere weist eine Eingabe für die Bahnplanung den wenigstens eine Eintrittspunkt, insbesondere den Ursprungspunkt, den wenigstens einen Austrittspunkt, insbesondere den Zielpunkt, und die Radiusmerkmalskarte auf.
Gemäß einem weiteren Aspekt der Erfindung wird auch ein Verfahren zum wenigstens teilweise automatischen Führen eines Fahrzeugs bereitgestellt. Dazu wird ein Verfahren zum Planen einer Bahn, wie beschrieben, durch eine Recheneinheit des Fahrzeugs ausgeführt. Wenigstens ein Steuersignal zum wenigstens teilweise automatischen Führen des Fahrzeugs wird in Abhängigkeit von der geplanten Bahn, insbesondere durch eine Steuereinheit des Fahrzeugs, erzeugt.
Gemäß einem weiteren Aspekt der Erfindung wird ein elektronisches Fahrzeugführungssystem bereitgestellt. Das elektronische Fahrzeugführungssystem weist eine Recheneinheit auf, die dazu eingerichtet ist, wenigstens ein Kamerabild von wenigstens einer Kamera des Fahrzeugs zu empfangen und eine Bahn für das Fahrzeug in Abhängigkeit von dem wenigstens einen Kamerabild zu planen. Das elektronische Fahrzeugführungssystem weist eine Steuereinheit auf, die dazu eingerichtet ist, wenigstens ein Steuersignal zum wenigstens teilweise automatischen Führen eines Fahrzeugs in Abhängigkeit von der geplanten Bahn zu erzeugen. Die Recheneinheit ist dazu eingerichtet, ein Eingangsbild für ein trainiertes künstliches neuronales Netzwerk in Abhängigkeit von dem wenigstens einen Kamerabild zu erzeugen, wobei das Eingangsbild einen Kreisverkehr in der Umgebung des Fahrzeugs darstellt. Die Recheneinheit ist dazu eingerichtet, wenigstens eine initiale Merkmalskarte durch Anwenden eines Merkmalsencodermoduls des trainierten künstlichen neuronalen Netzwerks auf das Eingangsbild zu erzeugen und ein Klassifikatormodul des trainierten künstlichen neuronalen Netzwerks auf die wenigstens eine initiale Merkmalskarte anzuwenden. Eine Ausgabe des Klassifikatormoduls stellt einen Straßenbereich im Eingangsbild dar. Die Recheneinheit ist dazu eingerichtet, ein Radiusschätzmodul des trainierten künstlichen neuronalen Netzwerks auf die wenigstens eine initiale Merkmalskarte anzuwenden, wobei eine Ausgabe des Radiusschätzmoduls von einem inneren Radius des Kreisverkehrs und von einem äußeren Radius des Kreisverkehrs abhängt. Die Recheneinheit ist dazu eingerichtet, wenigstens einen Eintrittspunkt und/oder wenigstens einen Austrittspunkt des Kreisverkehrs in Abhängigkeit von der Ausgabe des Klassifikatormoduls und in Abhängigkeit von der Ausgabe des Radiusschätzmoduls zu bestimmen. Die Recheneinheit ist dazu eingerichtet, die Bahn in Abhängigkeit von dem wenigstens einen Eintrittspunkt und/oder in Abhängigkeit von dem wenigstens einen Austrittspunkt zu planen.
Ein elektronisches Fahrzeugführungssystem kann als elektronisches System verstanden werden, das dazu eingerichtet ist, ein Fahrzeug in einer vollständig automatisierten oder einer vollautonomen Weise und insbesondere, ohne dass ein manueller Eingriff oder eine Steuerung durch einen Fahrer oder Benutzer des Fahrzeugs erforderlich ist, zu führen. Das Fahrzeug führt automatisch alle erforderlichen Funktionen aus, wie zum Beispiel Lenkmanöver, Verlangsamungsmanöver und/oder Beschleunigungsmanöver sowie die Überwachung und Aufzeichnung des Straßenverkehrs und entsprechende Reaktionen. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollautomatischen oder vollautonomen Fahrmodus gemäß der Stufe 5 der Klassifikation SAE J3016 implementieren. Ein elektronisches Fahrzeugführungssystem kann auch als Fahrerassistenzsystem, ADAS, implementiert sein, das einen Fahrer beim teilweise automatischen oder teilweise autonomen Fahren unterstützt. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilweise automatischen oder teilweise autonomen Fahrmodus gemäß den Stufen 1 bis 4 der Klassifikation SAE J3016 implementieren. Hier und im Folgenden bezieht sich SAE J3016 auf den jeweiligen auf Juni 2018 datierten Standard.
Weitere Implementierungen des elektronischen Fahrzeugführungssystems folgen direkt aus den verschiedenen Implementierungen des computerimplementierten Verfahrens zum Analysieren eines Kreisverkehrs, des computerimplementierten Verfahrens zum Planen einer Bahn und des Verfahrens zum wenigstens teilweise automatischen Führen eines Fahrzeugs und jeweils umgekehrt. Insbesondere ist ein elektronisches Fahrzeugführungssystem gemäß der Erfindung dazu eingerichtet ist, ein computerimplementiertes Verfahren oder ein Verfahren gemäß der Erfindung auszuführen, oder es führt ein solches Verfahren aus.
Gemäß einem weiteren Aspekt der Erfindung wird ein Computerprogramm mit Befehlen bereitgestellt. Wenn die Befehle durch ein Computersystem, insbesondere durch die Recheneinheit eines elektronischen Fahrzeugführungssystems gemäß der Erfindung, ausgeführt werden, bewirken die Befehle, dass das Computersystem ein computerimplementiertes Verfahren zum Analysieren eines Kreisverkehrs gemäß der Erfindung oder ein computerimplementiertes Verfahren zum Planen einer Bahn für ein Fahrzeug gemäß der Erfindung ausführt.
Gemäß einem weiteren Aspekt der Erfindung wird ein weiteres Computerprogramm mit weiteren Befehlen bereitgestellt. Wenn die weiteren Befehle durch ein elektronisches Fahrzeugführungssystem gemäß der Erfindung, insbesondere durch die Recheneinheit des elektronischen Fahrzeugführungssystems, ausgeführt werden, bewirken die weiteren Befehle, dass das elektronische Fahrzeugführungssystem ein Verfahren zum wenigstens teilweise automatischen Führen eines Fahrzeugs gemäß der Erfindung ausführt.
Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Speichermedium, das ein Computerprogramm und/oder ein weiteres Computerprogramm gemäß der Erfindung speichert, bereitgestellt.
Das Computerprogramm, das weitere Computerprogramm und das computerlesbare Speichermedium können als jeweilige Computerprogrammprodukte mit den Befehlen beziehungsweise den weiteren Befehlen bezeichnet werden.
Weitere Merkmale der Erfindung sind aus den Ansprüchen, den Figuren und der Figurenbeschreibung ersichtlich. Die vorstehend in der Beschreibung erwähnten Merkmale und Merkmalskombinationen sowie die nachstehend in der Figurenbeschreibung erwähnten und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen können von der Erfindung nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen umfasst sein. Folglich sind Implementierungen der Erfindung umfasst und offenbart, die nicht explizit in den Figuren gezeigt oder erläutert sein können, aber aus separierten Merkmalskombinationen aus den erläuterten Implementierungen hervorgehen und erzeugt werden können. Implementierungen und Merkmalskombinationen, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen, können von der Erfindung umfasst sein. Überdies können Implementierungen und Merkmalskombinationen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder davon abweichen, von der Erfindung umfasst sein.
In den Figuren zeigen:

1 schematisch ein Fahrzeug mit einer beispielhaften Implementierung eines elektronischen Fahrzeugführungssystems gemäß der Erfindung;
2 schematisches Blockdiagramm eines Kreisverkehranalysatormoduls zur Verwendung in einer beispielhaften Implementierung eines computerimplementierten Verfahrens zum Analysieren eines Kreisverkehrs gemäß dem verbesserten Konzept; und
3 schematisch einen Kreisverkehr aus einer perspektivischen Ansicht.

In 1 ist ein Fahrzeug 1 gezeigt, beispielsweise ein selbstfahrendes Fahrzeug, ein autonomes Auto oder ein anderes Kraftfahrzeug, das wenigstens teilweise automatisch führbar oder fahrbar ist. Das Fahrzeug 1 weist eine beispielhafte Implementierung eines elektronischen Fahrzeugführungssystems 2 gemäß der Erfindung auf. Das elektronische Fahrzeugführungssystem 2 weist eine Recheneinheit 3 und eine Steuereinheit 4 auf. Die Recheneinheit 3 sowie die Steuereinheit 4 können eine oder mehrere jeweilige Untereinheiten aufweisen, die auch räumlich verteilt sein können.
Das elektronische Fahrzeugführungssystem 2 weist ferner Kameras 5a, 5b, 5c, 5d auf, die beispielsweise eine vordere Kamera 5a, eine hintere Kamera 5c, eine linke Kamera 5b und eine rechte Kamera 5d mit jeweiligen Sichtfeldern aufweisen können, die sich voneinander unterscheiden und teilweise überlappen können oder nicht.
Die Kameras 5a, 5b, 5c, 5d erzeugen Kamerabilder gemäß ihrem jeweiligen Sichtfeld und stellen sie der Recheneinheit 3 bereit. Die Recheneinheit 3 kann ein Eingangsbild in Abhängigkeit von den Kamerabildern erzeugen, das beispielsweise einem gemeinsamen Draufsichtsbild oder Vogelperspektivenbild entsprechen kann, wobei eine Blickrichtung zu einer Straßenoberfläche senkrecht ist.
Die Recheneinheit 3 ist dazu eingerichtet, eine Bahn für das Fahrzeug 1 in Abhängigkeit von dem Eingangsbild zu planen, und die Steuereinheit 4 ist dazu eingerichtet, Steuersignale zum wenigstens teilweise automatischen Führen des Fahrzeugs 1 in Abhängigkeit von der geplanten Bahn zu erzeugen. Insbesondere kann die Steuereinheit 4 die Steuersignale entsprechenden Aktuatoren (nicht gezeigt) des Kraftfahrzeugs 1 oder zum Führen des Fahrzeugs bereitstellen.
Um die Bahn zu planen, ist die Recheneinheit 3 dazu eingerichtet, ein computerimplementiertes Verfahren zum Analysieren eines Kreisverkehrs gemäß der Erfindung auszuführen.
2 zeigt eine Blockdiagrammdarstellung eines Softwaresystems der Recheneinheit 3, um ein solches computerimplementiertes Verfahren auszuführen. Die in 2 gezeigten Blöcke können beispielsweise als Kreisverkehranalysatormodul betrachtet werden. Das Kreisverkehranalysatormodul kann durch ein Entscheidungsfindungsmodul (nicht gezeigt) der Recheneinheit 3 aktiviert werden, falls das Entscheidungsfindungsmodul auf der Basis eines Kamerabildes der vorderen Kamera 5a bestimmt, dass ein Kreisverkehr in der Umgebung des Fahrzeugs 1 vorhanden ist und einen Abstand vom Fahrzeug 1 aufweist, der gleich oder kleiner als ein vordefinierter maximaler Abstand ist. Wenn das Entscheidungsfindungsmodul feststellt, dass der Kreisverkehr nahe genug ist, um durch das Kreisverkehranalysatormodul analysiert zu werden, kann es ein entsprechendes Auslösesignal erzeugen, das bewirkt, dass die Recheneinheit 3 das Kreisverkehranalysatormodul aktiviert.
Das Kreisverkehranalysatormodul verwendet die Kamerabilder 7 aller Kameras 5a, 5b, 5c, 5d für ein gegebenes Einzelbild und wandelt das Kamerabild 7 in das Draufsichtsbild oder Vogelperspektivenbild als Eingangsbild für ein trainiertes künstliches neuronales Netzwerk 6 um. Dabei stellt das durch die Kamerabilder 7 dargestellte Szenario einen Kreisverkehr 9 dar, wie schematisch in 3 gezeigt. Folglich stellt auch das Eingangsbild den Kreisverkehr 9 dar.
Ein Vorverarbeitungsmodul 27 kann beispielsweise ein inverses perspektivisches Abbildungsmodul 28 und ein Zusammenfügungsmodul 29 aufweisen. Das inverse perspektivische Abbildungsmodul 28 kann die Kamerabilder 7 in individuelle Draufsichtsbilder umwandeln und das Zusammenfügungsmodul 29 kann die individuellen Draufsichtsbilder zum Eingangsbild kombinieren. Dabei wendet das inverse perspektivische Abbildungsmodul 28 einen bekannten inversen perspektivischen Abbildungsalgorithmus an, um jedes der Kamerabilder in ein jeweiliges Draufsichtsbild umzuwandeln, und das Zusammenfügungsmodul 29 wendet einen bekannten Zusammenfügungsalgorithmus an, um die individuellen Draufsichtsbilder zum Eingangsbild zu kombinieren.
Die Verwendung eines Draufsichtsbildes als Eingangsbild ermöglicht ein besseres automatisiertes Verständnis der Umgebung und hilft insbesondere, die Position des Fahrzeugs 1 in der vollständigen Szene zu verstehen und Entscheidungen für Manöver wie zum Beispiel Parken, Wenden des Fahrzeugs 1 und so weiter zu treffen.
Jede der Kameras 5a, 5b, 5c, 5d weist entsprechende Kameraparameter auf, die durch zwei Matrizen, eine intrinsische Matrix und eine extrinsische Matrix, beschrieben werden können. Die extrinsische Matrix kann die Koordinaten der realen Welt in die jeweiligen Kamerakoordinaten umwandeln und die intrinsische Matrix kann die Kamerakoordinaten in jeweilige Bildkoordinaten umwandeln. Mit anderen Worten, die extrinsische Matrix hängt von der Lage der jeweiligen Kamera mit Bezug auf das Fahrzeugkoordinatensystem oder das Koordinatensystem der realen Welt ab und die intrinsische Matrix hängt von der Abbildungsfunktion der jeweiligen Kamera ab. Die Abbildungsfunktion kann insbesondere eine nicht-geradlinige oder nicht-gnomonische Funktion sein, beispielsweise falls die Kameras 5a, 5b, 5c, 5d Fischaugenkameras sind.
Das künstliche neuronale Netzwerk 6 kann ein trainiertes Merkmalsencodermodul 10 aufweisen, das auch als Basisencoder bezeichnet werden kann und beispielsweise eine Reihe von Faltungsschichten für eine tiefe Merkmalsextraktion aufweisen kann. Das Merkmalsencodermodul 10 erhält das Eingangsbild und gibt wenigstens eine initiale Merkmalskarte aus. Grob gesagt, je tiefer das Merkmalsencodermodul 10 ist, mit anderen Worten, je mehr Faltungsschichten es aufweist, desto besser sind die Merkmale. Mit der Anzahl von Faltungsschichten werden jedoch auch die Komplexität des neuronalen Netzwerks 6 und die Rechenlast für die Recheneinheit 3 erhöht. Das Merkmalsencodermodul 10 kann auf der Basis von entsprechenden Einschränkungen der verfügbaren Rechenressourcen ausgewählt werden. Das Merkmalsencodermodul 10 kann aus einer Standardencoderfamilie wie zum Beispiel ResNet, VGG, Inception und so weiter ausgewählt werden.
Das künstliche neuronale Netzwerk 6 weist auch ein trainiertes Klassifikatormodul 11 auf, das als Straßensegmentierungsdecoder ausgelegt sein kann. Das Klassifikatormodul 11 kann auch als vortrainierter Decoder des Standes der Technik gewählt sein, um ein segmentiertes Bild aus der wenigstens einen initialen Merkmalskarte zu erzeugen, wobei das segmentierte Bild einen Straßenbereich im Eingangsbild darstellt. Insbesondere entspricht das segmentierte Bild einer Zwei-Kanal-Merkmalskarte. Ein Kanal stellt die Informationen über die Straße bereit und der andere Kanal stellt die Informationen von allem anderen außer der Straße bereit. Mit anderen Worten, jeder Bildpunkt des segmentierten Bildes wird einer Straßenklasse oder einer Nicht-Straßen-Klasse zugewiesen. Das Klassifikatormodul 11 kann daher eine Reihe von Rückfaltungsschichten aufweisen, um das segmentierte Bild auf der Basis der wenigstens einen initialen Merkmalskarte zu rekonstruieren. Die Anzahl von Rückfaltungsschichten des Klassifikatormoduls 11 ist gleich der Anzahl von Faltungsschichten des Merkmalsencodermoduls 10.
Das künstliche neuronale Netzwerk 6 weist ferner ein trainiertes Radiusschätzmodul 12 auf, das auch als Decodermodul ausgelegt ist. Auch das Radiusschätzmodul 12 weist eine Reihe von Rückfaltungsschichten auf, die auf die wenigstens eine initiale Merkmalskarte angewendet werden sollen. Die Anzahl von Rückfaltungsschichten des Radiusschätzmoduls 12 ist gleich der Anzahl von Faltungsschichten des Merkmalsencodermoduls 10.
Wie in 3 angegeben, weist der Kreisverkehr 9 einen ringförmigen Straßenabschnitt auf, der durch einen inneren Radius 14a und einen äußeren Radius 14b des Kreisverkehrs 9 definiert ist. Das Radiusschätzmodul 12 versteht den Kreisverkehr 9 aus der wenigstens einen initialen Merkmalskarte und erzeugt eine Radiusmerkmalskarte 17 als Ausgabe, die drei Kanäle 19a, 19b, 19c aufweist. Der erste Kanal 19a weist die Wahrscheinlichkeit für jeden der Bildpunkte, dass er der Mittelpunkt des Kreisverkehrs 9 ist, auf. In Anbetracht eines bestimmten Bildpunkts als Mittelpunkt stellen der zweite und der dritte Kanal 19b, 19c die Regressionswerte für den inneren beziehungsweise den äußeren Radius 14a, 14b bereit.
Das künstliche neuronale Netzwerk 6 weist ferner ein trainiertes Maskierungsmodul 13 auf, das die Radiusmerkmalskarte 17 als Eingabe empfängt und ein maskiertes Bild ausgibt. In dem maskierten Bild ist der Kreisverkehr 9 in einer binären Weise, beispielsweise als schwarze und weiße Pixel, dargestellt. Dabei können Pixel zwischen dem inneren Radius 14a und dem äußeren Radius 14b beispielsweise als weiße Pixel dargestellt werden und die andere Bildpunkte können als schwarze Pixel dargestellt werden. Dazu kann das Maskierungsmodul 13 den ersten Kanal 19a der Radiusmerkmalskarte 17 abtasten, um das globale Maximum der Wahrscheinlichkeit dafür, dass es der Mittelpunkt ist, zu finden. Der Bildpunkt mit dem globalen Maximum wird als Mittelpunkt des Kreisverkehrs 9 betrachtet. Der zweite und dritte Kanalwert dieses Punkts werden als Näherungen für den inneren Radius 14a und den äußeren Radius 14b des Kreisverkehrs 9 betrachtet. Auf der Basis dessen wird das maskierte Bild erzeugt.
Das künstliche neuronale Netzwerk 6 weist ferner ein Stapelmodul 20 auf, das beispielsweise ein nicht trainierbares Modul ist. Das segmentierte Bild, das sich aus dem Klassifikatormodul 11 ergibt, und das maskierte Bild, das durch das Maskierungsmodul 13 erzeugt wird, werden als Eingabe dem Stapelmodul 20 bereitgestellt und das Stapelmodul 20 stapelt oder verkettet sie entlang der Tiefenrichtung oder Kanalrichtung. Die räumlichen Dimensionen des resultierenden gestapelten Bildes sind dieselben wie die räumlichen Dimensionen des segmentierten Bildes beziehungsweise des maskierten Bildes.
Der Kreisverkehr 9 weist zwei Arten von Straßen auf, die auf den Ringabschnitt treffen. Eine Art von Straße dient zum Einfahren in den Kreisverkehr 9 und die andere Art von Straße dient zum Ausfahren aus dem Kreisverkehr 9. Punkte, an denen die Straßen für das Einfahren in den Ring auf den Ring treffen, werden als Eintrittspunkte 15a, 15b, 15c, 15d bezeichnet und Punkte, an denen die Straßen für das Ausfahren aus dem Ring auf den Ring treffen, werden als Austrittspunkte 16a, 16b, 16c, 16d bezeichnet, wie in 3 gezeigt. Um den Kreisverkehr 9 zu verstehen, wird ein trainiertes Straßenregressionsmodul 21 des künstlichen neuronalen Netzwerks 6 verwendet, das das gestapelte Bild als Eingabe empfängt. Das Straßenregressionsmodul 21 erzeugt eine Straßenpunktemerkmalskarte 24 als Ausgabe in Abhängigkeit von dem gestapelten Bild. Insbesondere weist die Straßenpunktemerkmalskarte 24 drei Kanäle 25a, 25b, 25c auf. Der erste Kanal 25a gibt die Wahrscheinlichkeit, dass der jeweilige Bildpunkt entweder ein Eintrittspunkt 15a, 15b, 15c, 15d oder ein Austrittspunkt 16a, 16b, 16c, 16d ist.
Wenn die Wahrscheinlichkeit eines jeweiligen Bildpunkts gemäß dem ersten Kanal 25a hoch genug ist, mit anderen Worten, wenn der jeweilige Wert des ersten Kanals 25a größer als oder gleich einer vordefinierten minimalen Wahrscheinlichkeit ist, stellen der zweite und der dritte Kanal 25b, 25c die Art der Straße dar, und insbesondere ob der Punkt einem Austrittspunkt 16a, 16b, 16c, 16d oder einem Eintrittspunkt 15a, 15b, 15c, 15d entspricht. Um die Werte für den zweiten und den dritten Kanal 25b, 25c zu bestimmen, kann ein Klassifikationsverfahren verwendet werden.
Das künstliche neuronale Netzwerk 6 weist ferner ein Punktextraktionsmodul 22 auf, das insbesondere ein nicht trainierbares Modul ist. Das Punktextraktionsmodul 22 nimmt als Eingabe die Straßenpunktemerkmalskarte 24 und extrahiert die Eintrittspunkte 15a, 15b, 15c, 15d sowie die Austrittspunkte 16a, 16b, 16c, 16d hinsichtlich von Bildkoordinaten. Dazu tastet das Punktextraktionsmodul 22 den ersten Kanal 25a der Straßenpunktemerkmalskarte 24 ab und bestimmt alle lokalen Maxima der jeweiligen Wahrscheinlichkeit, die einen Wert aufweisen, der größer ist als eine vordefinierte minimale Wahrscheinlichkeit. Diese Punkte werden als entweder einen Austrittspunkt 16a, 16b, 16c, 16d oder einen Eintrittspunkt 15a, 15b, 15c, 15d des Kreisverkehrs 9 darstellend angesehen. Der zweite und der dritte Kanal 25b, 25c werden verwendet, um die Art der Punkte dementsprechend zu klassifizieren. Folglich erzeugt das Punktextraktionsmodul 22 alle Eintrittspunkte 15a, 15b, 15c, 15d und alle Austrittspunkte 16a, 16b, 16c, 16d des Kreisverkehrs 9 als Ausgabe.
Ferner weist das künstliche neuronale Netzwerk 6 ein trainiertes RNN-Modul 23 auf, das insbesondere als LSTM implementiert sein kann. Das RNN-Modul 23 kann verwendet werden, um einen Ursprungspunkt 15a, einen Zielpunkt 16c und einen aktuellen Ort des Fahrzeugs 1 über aufeinander folgende Einzelbilder der Kamera zu verfolgen. Dabei entspricht der Ursprungspunkt 15a einem der Eintrittspunkte 15a, 15b, 15c, 15d und der Zielpunkt 16c entspricht einem der Austrittspunkte 16a, 16b, 16c, 16d. Insbesondere führt eine Bahn 8 (siehe 3) für das Fahrzeug 1 vom Ursprungspunkt 15a zum Zielpunkt 16c. Wenn das Kreisverkehranalysatormodul durch das Entscheidungsfindungsmodul aktiviert wird, können eine anfängliche Position des Ursprungspunkts 15a im Eingangsbild, eine anfängliche Position des Zielpunkts 16c im Eingangsbild und eine anfängliche Position des Fahrzeugs 1 im Eingangsbild aus einer digitalen Karte der realen Welt bestimmt werden. Sobald das Kreisverkehranalysatormodul läuft, kann das RNN-Modul 23 den Ursprungspunkt 15a und den Zielpunkt 16c sowie die Fahrzeugposition im Eingangsbild verfolgen. Eine Ausgabe des RNN-Moduls 23 weist den aktuellen Ursprungspunkt 15a, den aktuellen Zielpunkt 16c und den aktuellen Fahrzeugort im Eingangsbild auf.
Gemäß einer beispielhaften Implementierung eines computerimplementierten Verfahrens zum Planen einer Bahn 8 für das Fahrzeug 1 können der aktuelle Ursprungspunkt 15a, der aktuelle Zielpunkt 16c und der aktuelle Fahrzeugort als Eingabe einem Bahnschätzmodul 26 bereitgestellt werden. Das Bahnschätzmodul 26 kann auch die Radiusmerkmalskarte 16 direkt als weitere Eingabe empfangen. Ferner kann das Bahnschätzmodul 26 eine Vielfalt von weiteren Eingaben von weiteren Softwarealgorithmen, Algorithmen zum computerbasierten Sehen und/oder Fahrzeugsensoren empfangen, um die Bahn 8 zu planen.
Wie erwähnt, können das Stapelmodul 20 und das Bahnschätzmodul 22 nicht trainierbare Module sein. Das Merkmalsencodermodul 10 und das Klassifikatormodul 11 können vortrainiert sein. Die restlichen trainierten Module, insbesondere das Radiusschätzmodul 12, das Straßenregressionsmodul 21 und das RNN-Modul 23, können mittels einer gemeinsamen Verlustfunktion trainiert werden. Der Trainingsdatensatz für das gemeinsame Training weist beispielsweise mehrere erfasste Kamerabilder und die entsprechende Weltkarte auf, die die gewünschte Bahn als Annotation zeigt. Alle anderen Parameter, gegen die die Regression ausgeführt wird, können auch ein Teil der Annotationen sein.
Die vorhergesagte Radiusmerkmalskarte kann beispielsweise als y = [P_r, R_in, R_out] und ihre entsprechende Ground Truth als y' = [P'_r, R'_in, R'_out] ausgedrückt werden. Ein Standardkreuzentropieverlust für die Wahrscheinlichkeitskarte und einen mittleren quadratischen Fehler kann verwendet werden, um die Radiusmerkmalskarte zu erhalten: $L 1_{p} = \sum_{i = 0}^{n = 1} {(P_{r}^{l})}^{i} log [{(P_{r})}^{i}]$
$L 1_{r} = \sum_{i = 0}^{n} {(y^{i} - {(y^{l})}^{i})}^{2} / n$
Die vorhergesagte Straßenpunktemerkmalskarte kann als y = [P_rp, L_out, L_in] und ihre entsprechende Ground Truth als [P'_rp, L'_out, L'_in] ausgedrückt werden. Zwei separate Kreuzentropieverluste können für die Wahrscheinlichkeitskarte und die Straßenklassifikation verwendet werden: $L 2_{p} = \sum_{i = 0}^{n = 1} {(P_{r p}^{l})}^{i} log [{(P_{r p})}^{i}]$
$L 2_{r} = \sum_{i = 0}^{n = 1} a_{t}^{i} log {(a_{p})}^{i}$
wobei a_p die vorhergesagte Verfügbarkeit ist und a_t ihre entsprechende Ground Truth ist.
Hinsichtlich des LSTM können der Ursprungspunkt, der Zielpunkt und die aktuelle Fahrzeugposition durch y = [P_src, P_dst, P_cur] bezeichnet werden, ihre entsprechende Ground Truth durch y' = [P'_src, P'_dst, P'_cur]. Ein mittlerer quadratischer Fehler kann für die Regression der Ausgabe des LSTM verwendet werden: $L_{l s t m} = \sum_{i = 0}^{n} {(y^{i} - {(y^{l})}^{i})}^{2} / n$
Folglich kann die Gesamtverlustfunktion L gegeben sein durch: $L = L 1_{p} + L 1_{r} + L 2_{p} + L 2_{r} + L_{l s t m} .$
Wie insbesondere mit Bezug auf die Figuren beschrieben, stellt die Erfindung ein verbessertes Konzept für eine Kreisverkehrwahrnehmung auf CNN-Basis und ein entsprechendes Planungssystem unter Verwendung von Rundumsichtkameras bereit. Eine durchgehende Echtzeitmodellierung der Kreisverkehrsdetektion für mehrere Kameraeingaben und ein Mechanismus für die Bahnplanung zum Ausgang des Kreisverkehrs können bereitgestellt werden. Insbesondere können Nahfelderfassungsfähigkeiten von Rundumsichtkameras für Kreisverkehrszenarios ausgenutzt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 20200211379 A1 [0004]

Claims

Computerimplementiertes Verfahren zum Analysieren eines Kreisverkehrs (9) in einer Umgebung eines Fahrzeugs (1), dadurch gekennzeichnet, dass - wenigstens eine initiale Merkmalskarte durch Anwenden eines Merkmalsencodermoduls (10) eines trainierten neuronalen Netzwerks (6) auf ein Eingangsbild, das den Kreisverkehr (9) darstellt, erzeugt wird; - ein Klassifikatormodul (11) des trainierten neuronalen Netzwerks (6) auf die wenigstens eine initiale Merkmalskarte angewendet wird, wobei eine Ausgabe des Klassifikatormoduls (11) einen Straßenbereich in dem Eingangsbild darstellt; - ein Radiusschätzmodul (12, 13) des trainierten neuronalen Netzwerks (6) auf die wenigstens eine initiale Merkmalskarte angewendet wird, wobei eine Ausgabe des Radiusschätzmoduls (12, 13) von einem inneren Radius (14a) des Kreisverkehrs (9) und einem äußeren Radius (14b) des Kreisverkehrs (9) abhängt; und - wenigstens ein Eintrittspunkt (15a, 15b, 15c, 15d) und/oder wenigstens ein Austrittspunkt (16a, 16b, 16c, 16d) des Kreisverkehrs (9) in Abhängigkeit von der Ausgabe des Klassifikatormoduls (11) und in Abhängigkeit von der Ausgabe des Radiusschätzmoduls (12, 13) bestimmt werden.
Computerimplementiertes Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Ausgabe des Klassifikatormoduls (11) ein segmentiertes Bild aufweist, wobei der Straßenbereich Bildpunkte des segmentierten Bildes aufweist, die durch Anwenden des Klassifikatormoduls (11) auf die wenigstens eine initiale Merkmalskarte einer Straßenklasse zugewiesen werden.
Computerimplementiertes Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Ausgabe des Radiusschätzmoduls (12, 13) ein Maskenbild aufweist, das einen Ring mit einem inneren Ringradius, der den inneren Radius (14a) des Kreisverkehrs (9) annähert, und mit einem äußeren Ringradius, der den äußeren Radius (14b) des Kreisverkehrs (9) annähert, definiert.
Computerimplementiertes Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass - das Anwenden des Radiusschätzmoduls (12, 13) auf die wenigstens eine initiale Merkmalskarte das Anwenden eines Radiusregressionsuntermoduls (12) des Radiusschätzmoduls (12, 13) auf die wenigstens eine initiale Merkmalskarte aufweist und eine Ausgabe des Radiusregressionsuntermoduls (12) eine Radiusmerkmalskarte (17) aufweist; - die Radiusmerkmalskarte (17) einen ersten Kanal (19a) mit einer Wahrscheinlichkeit für jeden Bildpunkt des Eingangsbildes, dass der jeweilige Bildpunkt einem Mittelpunkt des Kreisverkehrs (9) entspricht, aufweist; - die Radiusmerkmalskarte (17) einen zweiten Kanal (19b) mit einem Regressionswert für den inneren Radius des Kreisverkehrs (9) für jeden Bildpunkt des Eingangsbildes aufweist; und - die Radiusmerkmalskarte (17) einen dritten Kanal (19c) mit einem Regressionswert für den äußeren Radius des Kreisverkehrs (9) für jeden Bildpunkt des Eingangsbildes aufweist.
Computerimplementiertes Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass - ein globales Maximum des ersten Kanals (19a) der Radiusmerkmalskarte (17) durch ein Maskierungsuntermodul (13) des Radiusschätzmoduls (12, 13) bestimmt wird; und - der innere Ringradius durch das Maskierungsuntermodul (13) als Regressionswert für den inneren Radius des Kreisverkehrs (9), der dem globalen Maximum entspricht, bestimmt wird; und - der äußere Ringradius durch das Maskierungsuntermodul (13) als Regressionswert für den äußeren Radius des Kreisverkehrs (9), der dem globalen Maximum entspricht, bestimmt wird.
Computerimplementiertes Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass - ein Straßenregressionsmodul (21) des trainierten neuronalen Netzwerks (6) auf eine Kombination des segmentierten Bildes und des maskierten Bildes angewendet wird und eine Ausgabe des Straßenregressionsmoduls (21) eine Straßenpunktemerkmalskarte (24) aufweist; und - der wenigstens eine Eintrittspunkt (15a, 15b, 15c, 15d) und/oder der wenigstens eine Austrittspunkt (16a, 16b, 16c, 16d) in Abhängigkeit von der Straßenpunktemerkmalskarte (24) bestimmt werden.
Computerimplementiertes Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Straßenpunktemerkmalskarte (24) einen ersten Kanal (25a) mit einer Wahrscheinlichkeit für jeden Bildpunkt des Eingangsbildes, dass der jeweilige Bildpunkt einem Eintrittspunkt (15a, 15b, 15c, 15d) oder einem Austrittspunkt (16a, 16b, 16c, 16d) entspricht, aufweist.
Computerimplementiertes Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass - die Straßenpunktemerkmalskarte (24) einen zweiten Kanal (25b) mit einer Wahrscheinlichkeit für jeden Bildpunkt des Eingangsbildes, dass der jeweilige Bildpunkt einem Eintrittspunkt (15a, 15b, 15c, 15d) entspricht, aufweist; und/oder - die Straßenpunktemerkmalskarte (24) einen dritten Kanal (25c) mit einer Wahrscheinlichkeit für jeden Bildpunkt des Eingangsbildes, dass der jeweilige Bildpunkt einem Austrittspunkt (16a, 16b, 16c, 16d) entspricht, aufweist.
Computerimplementiertes Verfahren nach einem der Ansprüche 7 oder 8, dadurch gekennzeichnet, dass - wenigstens ein lokales Maximum des ersten Kanals (25a) der Straßenpunktemerkmalskarte (24) durch ein Punktextraktionsmodul (22) des trainierten neuronalen Netzwerks (6) bestimmt wird; - der wenigstens eine Eintrittspunkt (15a, 15b, 15c, 15d) und/oder der wenigstens eine Austrittspunkt (16a, 16b, 16c, 16d) durch das Punktextraktionsmodul (22) in Abhängigkeit von dem wenigstens einen lokalen Maximum bestimmt wird.
Computerimplementiertes Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass - die Straßenpunktemerkmalskarte (24) einen ersten Kanal mit einer Wahrscheinlichkeit für jeden Bildpunkt des Eingangsbildes, dass der jeweilige Bildpunkt einem Eintrittspunkt (15a, 15b, 15c, 15d) entspricht, aufweist; und/oder - die Straßenpunktemerkmalskarte (24) einen zweiten Kanal mit einer Wahrscheinlichkeit für jeden Bildpunkt des Eingangsbildes, dass der jeweilige Bildpunkt einem Austrittspunkt (16a, 16b, 16c, 16d) entspricht, aufweist.
Computerimplementiertes Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass - wenigstens zwei Eintrittspunkte (15a, 15b, 15c, 15d) und wenigstens zwei Austrittspunkte (16a, 16b, 16c, 16d) des Kreisverkehrs (9) in Abhängigkeit von der Ausgabe des Klassifikatormoduls (11) und in Abhängigkeit von der Ausgabe des Radiusschätzmoduls (12, 13) bestimmt werden; - ein Ursprungspunkt (15a) der wenigstens zwei Eintrittspunkte (15a, 15b, 15c, 15d) und ein Zielpunkt (16c) der wenigstens zwei Austrittspunkte (16a, 16b, 16c, 16d) durch ein rekurrentes neuronales Netzwerksmodul (23) des trainierten neuronalen Netzwerks (6) in Abhängigkeit von einem vordefinierten anfänglichen Ursprungspunkt und einem vordefinierten anfänglichen Zielpunkt für das Fahrzeug (1) bestimmt werden.
Computerimplementiertes Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zwei oder mehr Kamerabilder (7) in ein gemeinsames Draufsichtsbild umgewandelt werden, um das Eingangsbild zu erzeugen.
Computerimplementiertes Verfahren zum Planen einer Bahn (8) für ein Fahrzeug (1), dadurch gekennzeichnet, dass - ein computerimplementiertes Verfahren zum Analysieren eines Kreisverkehrs (9) in einer Umgebung des Fahrzeugs (1) nach einem der vorangehenden Ansprüche ausgeführt wird; und - die Bahn (8) für das Fahrzeug (1) in Abhängigkeit von dem wenigstens einen Eintrittspunkt (15a, 15b, 15c, 15d) und/oder wenigstens einen Austrittspunkt (16a, 16b, 16c, 16d) des Kreisverkehrs (9) geplant wird.
Elektronisches Fahrzeugführungssystem (2), aufweisend - eine Recheneinheit (3), die dazu eingerichtet ist, wenigstens ein Kamerabild (7) von wenigstens einer Kamera (5a, 5b, 5c, 5d) des Fahrzeugs (1) zu empfangen und eine Bahn (8) für das Fahrzeug (1) in Abhängigkeit von dem wenigstens einen Kamerabild (7) zu planen; und - eine Steuereinheit (4), die dazu eingerichtet ist, wenigstens ein Steuersignal zum wenigstens teilweise automatischen Führen eines Fahrzeugs (1) in Abhängigkeit von der geplanten Bahn (8) zu erzeugen; dadurch gekennzeichnet, dass die Recheneinheit (3) dazu eingerichtet ist, - ein Eingangsbild für ein trainiertes neuronales Netzwerk (6) in Abhängigkeit von dem wenigstens einen Kamerabild (7) zu erzeugen, wobei das Eingangsbild einen Kreisverkehr (9) in einer Umgebung des Fahrzeugs (1) darstellt; - wenigstens eine initiale Merkmalskarte durch Anwenden eines Merkmalsencodermoduls (10) des trainierten neuronalen Netzwerks (6) auf das Eingangsbild zu erzeugen; - ein Klassifikatormodul (11) des trainierten neuronalen Netzwerks (6) auf die wenigstens eine initiale Merkmalskarte anzuwenden, wobei eine Ausgabe des Klassifikatormoduls (11) einen Straßenbereich in dem Eingangsbild darstellt; - ein Radiusschätzmodul (12, 13) des trainierten neuronalen Netzwerks (6) auf die wenigstens eine initiale Merkmalskarte anzuwenden, wobei eine Ausgabe des Radiusschätzmoduls (12, 13) von einem inneren Radius (14a) des Kreisverkehrs (9) und einem äußeren Radius (14b) des Kreisverkehrs (9) abhängt; - wenigstens einen Eintrittspunkt (15a, 15b, 15c, 15d) und/oder wenigstens einen Austrittspunkt (16a, 16b, 16c, 16d) des Kreisverkehrs (9) in Abhängigkeit von der Ausgabe des Klassifikatormoduls (11) und in Abhängigkeit von der Ausgabe des Radiusschätzmoduls (12, 13) zu bestimmen; und - die Bahn (8) in Abhängigkeit von dem wenigstens einen Eintrittspunkt (15a, 15b, 15c, 15d) und/oder dem wenigstens einen Austrittspunkt (16a, 16b, 16c, 16d) zu planen.
Computerprogrammprodukt mit Befehlen, die, wenn sie durch ein Computersystem ausgeführt werden, bewirken, das Computersystem veranlassen, ein computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 13 auszuführen.