DE102019127223A1

DE102019127223A1 - Verfahren und Vorrichtung zur Ermittlung des Freiraums für ein Fahrzeug

Info

Publication number: DE102019127223A1
Application number: DE102019127223.8A
Authority: DE
Inventors: Fabian Netzler; Horst KLOEDEN; Felix Klanner
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2019-10-10
Filing date: 2019-10-10
Publication date: 2021-04-15

Abstract

Es wird eine Vorrichtung zur Ermittlung eines für eine Bewegung eines Fahrzeugs innerhalb einer Verkehrssituation verfügbaren Freiraums beschrieben. Die Vorrichtung ist eingerichtet, den verfügbaren Freiraum auf Basis von Bilddaten einer Kamera und auf Basis eines Wertes zumindest eines Situationsparameters der Verkehrssituation zu ermitteln.

Description

Die Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung, die es ermöglichen, den verfügbaren Freiraum für ein Fahrzeug in präziser Weise zu ermitteln, insbesondere auf Basis von Bilddaten einer Bildkamera.
Ein Fahrzeug kann ein oder mehrere Umfeldsensoren, insbesondere ein oder mehrere Kameras, umfassen, die eingerichtet sind, Sensordaten in Bezug auf das Umfeld des Fahrzeugs zu erfassen. Die Sensordaten der ein oder mehrere Umfeldsensoren können ausgewertet werden, um den Freiraum zu ermitteln, in dem sich das Fahrzeug kollisionsfrei bewegen kann.
Das Fahrzeug kann ggf. nur eine Kamera, insbesondere nur eine Mono-Kamera, zur Verfügung haben, um den verfügbaren Freiraum für das Fahrzeug zu ermitteln. Diese Situation kann z.B. auftreten, wenn keine anderen Typen von Umfeldsensoren (z.B. ein Radarsensor oder ein Lidarsensor) verbaut wurden, oder wenn diese anderen Typen von Umfeldsensoren einen Defekt aufweisen.
Die Entfernungsschätzung auf Basis der Bilddaten einer Kamera, insbesondere auf Basis eines Monokamerabildes, weist typischerweise relativ hohe Messabweichungen auf. Das vorliegende Dokument befasst sich daher mit der technischen Aufgabe, in effizienter Weise eine präzise Schätzung des verfügbaren Freiraums auf Basis von Bilddaten einer Kamera zu ermöglichen.
Die Aufgabe wird durch jeden der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.
Gemäß einem Aspekt wird eine Vorrichtung zur Ermittlung eines für eine Bewegung eines Fahrzeugs (insbesondere eines Kraftfahrzeugs) innerhalb einer Verkehrssituation verfügbaren Freiraums beschrieben. Die Vorrichtung kann eingerichtet sein (z.B. mittels einer Kamera des Fahrzeugs), Bilddaten in Bezug auf die Verkehrssituation zu ermitteln.
Die Vorrichtung kann eingerichtet sein, einen Wert zumindest eines Situationsparameters der Verkehrssituation zu ermitteln. Ein Situationsparameter kann dabei eine Eigenschaft der Verkehrssituation bzw. eines an der Verkehrssituation beteiligten Objektes (insbesondere eines Verkehrsteilnehmers) beschreiben. Beispielhafte Situationsparameter sind: ein Typ des an der Verkehrssituation beteiligten Objektes, insbesondere des Verkehrsteilnehmers (aus einer Menge von Verkehrsteilnehmer-Typen, wie z.B. ein Personenkraftwagen, ein Lastkraftwagen, ein Bus und/oder ein Motorrad); die Geschwindigkeit des Fahrzeugs; die Unterbodenhöhe des an der Verkehrssituation beteiligten Verkehrsteilnehmers; die Neigung des Fahrzeugs; und/oder die Neigung des an der Verkehrssituation beteiligten Objektes, insbesondere des Verkehrsteilnehmers. Insbesondere kann der Situationsparameter einen Unterschied bzw. ein Verhältnis zwischen der Neigung des Fahrzeugs und der Neigung des an der Verkehrssituation beteiligten Objektes anzeigen. Beispielhafte Objekte sind neben einem anderen Verkehrsteilnehmer statische Hindernisse.
Die Vorrichtung kann eingerichtet sein, den verfügbaren Freiraum auf Basis der Bilddaten und auf Basis des Wertes des Situationsparameters zu ermitteln. Der verfügbare Freiraum kann dabei insbesondere mittels eines im Vorfeld angelernten neuronalen Netzes ermittelt werden, wobei das neuronale Netz ausgebildet ist, die Bilddaten und den Wert des Situationsparameters als Eingangswerte aufzunehmen. Der verfügbare Freiraum kann dann als Ausgangswert bereitgestellt werden. Durch die Berücksichtigung eines Situationsparameters kann der Freiraum (ggf. allein auf Basis der Bilddaten) mit erhöhter Genauigkeit ermittelt werden.
Die Vorrichtung kann eingerichtet sein, auf Basis der Bilddaten der Kamera (insbesondere einer Monokamera) des Fahrzeugs einen Bilddaten-basierten Freiraum zu schätzen. Die Bilddaten können eine zeitliche Sequenz von Bildern in Bezug auf das Umfeld des Fahrzeugs umfassen (insbesondere in Bezug auf das Umfeld in Fahrtrichtung vor dem Fahrzeug). Es kann dann auf Basis der einzelnen Bilder jeweils ein aktualisierter Bilddaten-basierter Freiraum ermittelt werden. Der Bilddaten-basierte Freiraum kann dabei ggf. allein auf Basis der Bilddaten (ohne Verwendung von Sensordaten von ein oder mehreren anderen Umfeldsensoren des Fahrzeugs und/oder ohne Verwendung des Wertes des Situationsparameters) ermittelt werden.
Insbesondere kann die Vorrichtung eingerichtet sein, auf Basis (ggf. allein auf Basis) der Bilddaten ein Bilddaten-basiertes Belegungsraster zu ermitteln, das eine Vielzahl von Zellen umfasst. Das Bilddaten-basierte Belegungsraster kann dabei für jede Zelle anzeigen, ob die Zelle belegt oder frei ist. Der Bilddaten-basierte Freiraum kann dann den als frei markierten Zellen des Bilddaten-basierten Belegungsrasters entsprechen.
Des Weiteren kann die Vorrichtung eingerichtet sein, den Bilddaten-basierten Freiraum in Abhängigkeit von dem Wert des Situationsparameters anzupassen, um einen korrigierten Freiraum zu ermitteln. Insbesondere kann die Vorrichtung eingerichtet sein, das Bilddaten-basierte Belegungsraster in Abhängigkeit von dem Wert des Situationsparameters anzupassen, um ein korrigiertes Belegungsraster zu ermitteln, das den korrigierten Freiraum anzeigt.
Durch die Berücksichtigung von zusätzlicher Information in Bezug auf die Verkehrssituation kann der für das Fahrzeug verfügbare (ggf. korrigierte) Freiraum mit erhöhter Genauigkeit ermittelt werden. Insbesondere kann durch die Berücksichtigung von Information in Bezug auf einen anderen Verkehrsteilnehmer (wie z.B. den Typ des Verkehrsteilnehmers und/oder die Unterbodenhöhe des Verkehrsteilnehmers), der den Freiraum des Fahrzeugs begrenzt, die Schätzgüte des Freiraums erhöht werden.
Die Vorrichtung kann eingerichtet sein, das Fahrzeug zumindest teilweise automatisiert in Abhängigkeit von dem ermittelten (ggf. korrigierten) Freiraum längs- und/oder querzuführen. Durch die erhöhte Genauigkeit des geschätzten Freiraums kann somit die Sicherheit eines Fahrzeugs erhöht werden.
Die Vorrichtung kann eingerichtet sein, auf Basis des Wertes des Situationsparameters (insbesondere auf Basis des Typs eines an der Verkehrssituation beteiligten Verkehrsteilnehmers und/oder auf Basis der Unterbodenhöhe des Verkehrsteilnehmers) einen Korrekturwert zu ermitteln. Dabei steigt der Korrekturwert typischerweise mit steigender Unterbodenhöhe des Verkehrsteilnehmers an. Der Bilddaten-basierte Freiraum kann dann mittels des Korrekturwertes angepasst werden, um den korrigierten Freiraum zu ermitteln. Durch den Korrekturwert kann z.B. eine Verschiebung und/oder eine Skalierung des Bilddaten-basierten Freiraums bewirkt werden. So kann der korrigierte Freiraum in besonders effizienter und präziser Weise ermittelt werden.
Die Vorrichtung kann eingerichtet sein, den Bilddaten-basierten Freiraum unter Verwendung eines im Vorfeld angelernten künstlichen neuronalen Netzes anzupassen, um den korrigierten Freiraum zu ermitteln. Dabei kann das neuronale Netz ausgebildet sein, auf Basis des Wertes des Situationsparameters einen Korrekturwert zur Korrektur des Bilddaten-basierten Freiraums als Ausgangswert des neuronalen Netzes bereitzustellen. Das neuronale Netz kann auf Basis von Trainingsdaten mit einer Vielzahl von Trainings-Datensätzen angelernt worden sein. Dabei können die einzelnen Trainings-Datensätze ggf. jeweils einen gemessenen Wert des Situationsparameters und einen entsprechenden gemessenen Korrekturwert zur Korrektur des Bilddaten-basierten Freiraums umfassen. Durch die Verwendung eines im Vorfeld angelernten künstlichen neuronalen Netzes kann der korrigierte Freiraum in besonders effizienter und zuverlässiger Weise ermittelt werden.
Die Vorrichtung kann eingerichtet sein, auf Basis der Bilddaten ein an der Verkehrssituation beteiligtes Objekt, insbesondere einen an der Verkehrssituation beteiligten Verkehrsteilnehmer, zu detektieren. Insbesondere kann die Vorrichtung eingerichtet sein, auf Basis der Bilddaten und unter Verwendung von semantischer Segmentierung einen an der Verkehrssituation beteiligten Verkehrsteilnehmer zu detektieren, und ggf. den Typ des Verkehrsteilnehmers aus der Menge von Verkehrsteilnehmer-Typen zu ermitteln.
Als Wert des Situationsparameters kann (z.B. auf Basis der Bilddaten) der Wert der Steigung der Fahrbahn ermittelt werden, auf der sich das Objekt, insbesondere der Verkehrsteilnehmer, befindet. Des Weiteren kann die Vorrichtung eingerichtet sein, einen durch die Bilddaten angezeigten Punkt des Objektes, insbesondere des Verkehrsteilnehmers, (z.B. den Punkt, der dem Fahrzeug am nächsten ist) lotrecht in Bezug auf den ermittelten Wert der Steigung (d.h. lotrecht zu der Oberfläche der Fahrbahn) auf die Fahrbahn zu projizieren, um einen projizierten Punkt zu ermitteln. Der korrigierte Freiraum kann dann in besonders präziser Weise auf Basis des projizierten Punktes ermittelt werden. So kann insbesondere zuverlässig vermieden werden, dass der Unterboden eines anderen Fahrzeugs als Freiraum detektiert wird.
Gemäß einem weiteren Aspekt wird ein (Straßen-)Kraftfahrzeug (insbesondere ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus oder ein Motorrad) beschrieben, das die in diesem Dokument beschriebene Vorrichtung umfasst.
Gemäß einem weiteren Aspekt wird ein (Computer-implementiertes) Verfahren zur Ermittlung eines für eine Bewegung eines Fahrzeugs innerhalb einer Verkehrssituation verfügbaren Freiraums beschrieben. Das Verfahren kann das Ermitteln von Bilddaten in Bezug auf die Verkehrssituation, sowie das Ermitteln eines Wertes zumindest eines Situationsparameters der Verkehrssituation umfassen (wobei der Situationsparameter eine Eigenschaft der Verkehrssituation und/oder eines Teilnehmers der Verkehrssituation beschreibt). Des Weiteren kann das Verfahren das Ermitteln des verfügbaren Freiraums auf Basis der Bilddaten und auf Basis des Wertes des Situationsparameters umfassen.
Insbesondere kann das Verfahren das Schätzen eines Bilddaten-basierten Freiraums auf Basis der Bilddaten umfassen. Des Weiteren kann das Verfahren das Anpassen des Bilddaten-basierten Freiraums in Abhängigkeit von dem Wert des Situationsparameters umfassen, um einen korrigierten Freiraum zu ermitteln.
Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Steuergerät eines Fahrzeugs) ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können j egliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden.
Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen

1a eine beispielhafte Fahrsituation;
1b ein beispielhaftes Belegungsraster;
2a ein beispielhaftes neuronales Netz;
2b ein beispielhaftes Neuron; und
3 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Ermittlung einer Freiraumzone für ein Fahrzeug.

Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der präzisen Schätzung des Freiraums bzw. der Freiraumzone für ein Fahrzeug, auf Basis der Bilddaten einer Kamera, insbesondere allein auf Basis der Bilddaten einer Kamera. In diesem Zusammenhang zeigt 1a eine beispielhafte Fahrsituation mit einem Fahrzeug 100, in diesem Dokument auch als Ego-Fahrzeug bezeichnet, das hinter einem Vorder-Fahrzeug 110 (als Beispiel für einen anderen Verkehrsteilnehmer) auf einer Fahrbahn 115 fährt. Das Ego-Fahrzeug 100 umfasst eine Kamera 102, insbesondere eine Monokamera, die eingerichtet ist, Bilddaten in Bezug auf das Vorder-Fahrzeug 110 zu erfassen. Die Kamera 102 kann einen bestimmten Erfassungsbereich 106 (z.B. das Umfeld vor dem Fahrzeug 100) aufweisen. Die Kamera 102 kann z.B. an der Windschutzscheibe des Ego-Fahrzeugs 100 angeordnet sein. Die Bilddaten können eine zeitliche Sequenz von Bildern in Bezug auf das Vorder-Fahrzeug 110 umfassen.
Eine Auswerte- und/oder Steuereinheit 101 des Fahrzeugs 100 (im Folgenden kurz Steuereinheit) kann eingerichtet sein, die Bilddaten auszuwerten, z.B. anhand von ein oder mehreren Bildverarbeitungsalgorithmen, um das Vorder-Fahrzeug 110 innerhalb der Bilddaten zu erkennen. Zu diesem Zweck kann z.B. eine semantische Segmentierung der Bilddaten durchgeführt werden. Des Weiteren kann die Steuereinheit 101 eingerichtet sein, auf Basis der Bilddaten ein Belegungsraster 150 zu ermitteln (siehe 1b), das für eine Vielzahl von Zellen 151 jeweils anzeigt, ob die jeweilige Zelle 151 frei ist oder durch ein Objekt, insbesondere durch einen anderen Verkehrsteilnehmer 110, belegt ist. Dabei zeigt 1b beispielhaft den durch das Vorder-Fahrzeug 110 belegten Bereich 161 des Rasters 150. Des Weiteren zeigt 1b den sich daraus ergebenden Freiraum 121 zwischen dem Ego-Fahrzeug 100 und dem Vorder-Fahrzeug 110.
Die Steuereinheit 101 kann ferner eingerichtet sein, ein oder mehrere Längs- und/oder Querführungsaktoren 104 (z.B. einen Antriebsmotor, eine Bremsvorrichtung, eine Lenkvorrichtung, etc.) in Abhängigkeit von dem ermittelten Freiraum 121 zu betreiben. Insbesondere kann durch die Steuereinheit 101 ein zumindest teilweise automatisiertes Fahren des Ego-Fahrzeugs 100 ermöglicht werden.
Wie aus 1a ersichtlich ist, kann es bei der Bestimmung des verfügbaren Freiraums 121 zu einem Fehler kommen, da die Bilddaten der Kamera 102 ggf. zumindest teilweise den Unterboden 111 des Vorder-Fahrzeugs 110 als nicht belegten Bereich vor dem Ego-Fahrzeug 100 anzeigen können. Also Folge daraus, kann es vorkommen, dass der auf Basis der Bilddaten der Kamera 102 ermittelte Freiraum 121 (d.h. der Bilddaten-basierte Freiraum), der zumindest einen Teil des Unterbodens 111 des Vorder-Fahrzeugs 110 umfasst, größer ist als der tatsächliche Freiraum 122, aus dem der Unterboden 111 des Vorder-Fahrzeugs 110 ausgenommen ist.
Die Steuereinheit 101 kann eingerichtet sein, den auf Basis der Bilddaten ermittelten Freiraum 121 zu korrigieren, um einen korrigierten Freiraum 122 zu ermitteln, der insbesondere nicht den Unterboden 111 eines Vorder-Fahrzeugs 110 umfasst. Zu diesem Zweck kann z.B. eine Lot-Bildung eines Punktes am Heck des Vorder-Fahrzeugs 110 auf die Fahrbahn 115 erfolgen. Dabei kann die bei der Lotbildung die Steigung der Fahrbahn 115 berücksichtig werden (die z.B. aus der zeitlichen Sequenz von Bildern ermittelt werden kann).
In einem bevorzugten Beispiel kann mittels eines künstlichen neuronalen Netzes ein Korrekturwert ermittelt werden, mit dem der auf Basis der Bilddaten ermittelte Freiraum 121 korrigiert werden kann, und den korrigierten Freiraum 122 zu ermitteln. Das neuronale Netz kann zu diesem Zweck im Vorfeld angelernt worden sein.
2a und 2b zeigen beispielhafte Komponenten eines neuronalen Netzes 200, insbesondere eines Feedforward-Netzes. Das Netz 200 umfasst in dem dargestellten Beispiel zwei Eingangs-Neuronen bzw. Eingabe-Knoten 202, die zu einem bestimmten Zeitpunkt t jeweils einen aktuellen Wert einer Eingangsgröße als Eingangswert 201 aufnehmen. Die ein oder mehrere Eingangs-Knoten 202 sind Teil einer Eingangs-Schicht 211.
Das neuronale Netz 200 umfasst ferner Neuronen 220 in ein oder mehreren verdeckten Schichten 212 des neuronalen Netzes 200. Jedes der Neuronen 220 kann als Eingangswerte die einzelnen Ausgangswerte der Neuronen der vorhergehenden Schicht 212, 211 aufweisen (oder zumindest einen Teil davon). In jedem der Neuronen 220 erfolgt eine Verarbeitung, um in Abhängigkeit von den Eingangswerten einen Ausgangswert des Neurons 220 zu ermitteln. Die Ausgangswerte der Neuronen 220 der letzten verdeckten Schicht 212 können in einem Ausgangs-Neuron bzw. Ausgabe-Knoten 220 einer Ausgangs-Schicht 213 verarbeitet werden, um die ein oder mehreren Ausgangswerte 203 des neuronalen Netzes 200 zu ermitteln.
2b veranschaulicht die beispielhafte Signalverarbeitung innerhalb eines Neurons 220, insbesondere innerhalb der Neuronen 202 der ein oder mehreren verdeckten Schichten 212 und/oder der Ausgangs-Schicht 213. Die Eingangswerte 221 des Neurons 220 werden mit individuellen Gewichten 222 gewichtet, um in einer Summeneinheit 223 eine gewichtete Summe 224 der Eingangswerte 221 zu ermitteln (ggf. unter Berücksichtigung eines Bias bzw. Offsets 227). Durch eine Aktivierungsfunktion 225 kann die gewichtete Summe 224 auf einen Ausgangswert 226 des Neurons 220 abgebildet werden. Dabei kann durch die Aktivierungsfunktion 225 z.B. eine Begrenzung des Wertebereichs erfolgen. Für ein Neuron 220 kann z.B. eine Sigmoid-Funktion oder eine Tangens hyperbolicus (tanh)-Funktion oder eine Rectified Linear Unit (ReLU), z.B. f(x) = max(0, x) als Aktivierungsfunktion 225 verwendet werden. Ggf. kann der Wert der gewichteten Summe 224 mit einem Offset 227 verschoben werden.
Ein Neuron 220 weist somit Gewichte 222 und/oder ggf. einen Offset 227 als Neuron-Parameter auf. Die Neuron-Parameter der Neuronen 220 eines neuronalen Netzes 200 können in einer Trainingsphase angelernt werden, um zu bewirken, dass das neuronale Netz 200 eine bestimmte Funktion approximiert und/oder ein bestimmtes Verhalten modelliert.
Das Anlernen eines neuronalen Netzes 200 kann z.B. anhand des Backpropagation-Algorithmus erfolgen. Zu diesem Zweck können in einer ersten Phase einer q^ten Epoche eines Lern-Algorithmus für die Eingangswerte 201 an den ein oder mehreren Eingangs-Knoten 202 des neuronalen Netzes 200 entsprechende Ausgangswerte 203 an dem Ausgang der ein oder mehreren Ausgangs-Neuronen 220 ermittelt werden. Auf Basis der Ausgangswerte 203 kann der Wert einer Optimierungs- bzw. Fehlerfunktion ermittelt werden.
In einer zweiten Phase der q^ten Epoche des Lern-Algorithmus erfolgt eine Rückpropagation des Fehlers bzw. des Fehlerwertes von dem Ausgang zum Eingang des neuronalen Netzes, um schichtweise die Neuron-Parameter der Neuronen 220 zu verändern. Dabei kann die ermittelte Fehlerfunktion am Ausgang partiell nach jedem einzelnen Neuron-Parameter des neuronalen Netzes 200 abgeleitet werden, um ein Ausmaß und/oder eine Richtung zur Anpassung der einzelnen Neuron-Parameter zu ermitteln. Dieser Lern-Algorithmus kann iterativ für eine Vielzahl von Epochen wiederholt werden, bis ein vordefiniertes Konvergenz- und/oder Abbruchkriterium erreicht wird.
In dem vorliegenden Fall können als Eingangsparameter 201 Werte von ein oder mehreren Situationsparameters verwendet werden, wobei die Situationsparameter die vorliegende Verkehrssituation beschreiben. Beispielhafte Situationsparameter sind

• eine Neigung des Ego-Fahrzeugs 100 und/oder eine Neigung des Vorder-Fahrzeugs 110;
• eine Differenz und/oder ein Verhältnis der Neigung des Ego-Fahrzeugs 100 und der Neigung des Vorder-Fahrzeugs 110;
• ein Typ des Vorder-Fahrzeugs 110, z.B. ein Lastkraftwagen, ein Personenkraftwagen, ein Motorrad, ein Sportwagen, ein Sport Utility Vehicle (SUV), etc.;
• die Unterbodenhöhe des Vorder-Fahrzeugs 110;
• ein Ort der Verkehrssituation; und/oder
• Witterungsbedingungen.

Das neuronale Netz 200 kann dann eingerichtet sein, in Abhängigkeit von den ein oder mehreren Eingangswerten 201 an einem bestimmten Zeitpunkt einen Korrekturwert zur Korrektur des geschätzten Freiraums 121 als Ausgangswert 203 an dem bestimmten Zeitpunkt bereitzustellen.
Zum Anlernen des neuronalen Netzes 200 können Trainingsdaten mit einer Vielzahl von Trainings-Datensätzen verwendet werden. Ein Trainings-Datensatz kann dabei Trainingswerte für ein oder mehrere Situationsparameter und einen entsprechenden Trainings-Korrekturwert umfassen, wobei die Trainingswerte und der Trainings-Korrekturwert z.B. im Rahmen von tatsächlichen Verkehrssituationen gemessen worden sein können.
Die Steuereinheit 101 kann eingerichtet sein, auf Basis des ermittelten Korrekturwertes einen korrigierten Freiraum 121 zu ermitteln. Des Weiteren können das Raster 150, insbesondere der durch das Vorder-Fahrzeug 110 belegte Bereich 161, korrigiert werden (dargestellt durch den Bereich 162). Des Weiteren kann die Steuereinheit 101 eingerichtet sein, die ein oder mehreren Aktoren 104 des Ego-Fahrzeugs 100 in Abhängigkeit von dem korrigierten Freiraum 122 zu betreiben. So kann die Sicherheit des Betriebs des Ego-Fahrzeugs 100 erhöht werden.
Das Ego-Fahrzeug 100 kann ein oder mehrere Fahrzeugsensoren 103 umfassen, die eingerichtet sind, Sensordaten in Bezug auf eine Zustandsgröße des Ego-Fahrzeugs 100 zu erfassen. Die Steuereinheit 101 kann eingerichtet sein, die Werte der ein oder mehreren Situationsparameter zumindest teilweise auf Basis der Sensordaten der ein oder mehreren Fahrzeugsensoren 103 zu ermitteln.
Des Weiteren kann das Ego-Fahrzeug 100 ein oder mehrere weitere Umfeldsensoren 105 umfassen (z.B. einen Radarsensor und/oder einen Lidarsensor). Die Sensordaten der ein oder mehreren Umfeldsensoren 105 können dazu verwendet werden, den korrigierten Freiraum 122 mit einer weiter erhöhten Genauigkeit zu ermitteln.
Die Bilddaten einer Kamera 102 eines Ego-Fahrzeugs 100 können somit unter Verwendung von semantischer Segmentierung ausgewertet werden, um eine Fahrbahn 115 zu erkennen und um die Straßengeometrie der von dem Ego-Fahrzeug 100 befahrenen Fahrbahn 115 zu bestimmen. Dabei kann eine Zusammenführung der semantischen Segmentierung und der Schätzung von 3D Punkten in einem Monokamerabild erfolgen. Des Weiteren kann eine systematische Abweichung der Freiraumschätzung durch eine Kamera 102 erkannt und kompensiert werden, so dass die Güte einer auf der Freiraumschätzung aufbauenden Fahrerassistenzfunktion erhöht werden kann.
Auf Basis einer Punktwolke von Punkten innerhalb eines Rasters 150, wobei die Punkte mögliche Objekte im Umfeld des Ego-Fahrzeug 100 darstellen, kann eine semantische Segmentierung durchgeführt werden, um ein oder mehrere Objekte 110 zu detektieren. Die semantische Segmentierung kann dabei anhand von verschiedenen Parametern, die insbesondere die 3D- Position, die Punktedichte und/oder die Punktefarbe umfassen, jedem Punkt eine Kategorie zuordnen, z.B. Fahrzeug, Straße, Randbebauung, etc. Auf den kategorisierten Punkten kann dann ein Clusterverfahren mit einer unbekannten Anzahl an Centroiden, beispielsweise mittels der Methoden DBSCAN oder Agglomerative Hierarchical Clustering, vorgenommen werden. Dabei können beispielsweise Objekte 110 anhand verschiedener Kategorien der Punkte und/oder anhand unterschiedlicher 3D Positionen voneinander unterschieden werden. Dabei kann die Information aus einem zweidimensionalen (2D) Kamerabild verwendet werden, welche Bounding Boxes um erkannte Objekte 110 im Sichtbereich der Kamera 102 liefert. Das Ergebnis ist eine Beobachtung von 3D-Objekten und der Geometrie der Straßenoberfläche.
Die Menge der erkannten Objekte 110 kann dann lotrecht auf die Menge der Straßenpunkte projiziert werden. Daraus ergibt sich eine Menge an Punkten, die für die Freiraumschätzung genutzt werden kann. Es kann somit eine Art virtueller Schatten der ein oder mehreren erkannten Objekte 110 im Einfallwinkel 90° zum Verlauf der Fahrbahn 115 bestimmt werden.
Die semantische Segmentierung ist typischerweise relativ rechenintensiv. Zur Reduzierung der Rechenintensität kann der Fehler der Kamera-basierten Freiraumschätzung über der Zeit beobachtet und in Abhängigkeit von Situationsparametern wie Geschwindigkeit, Ort, Typ des erkannten Objekts 110, etc. angelernt werden. Das angelernte Wissen in Bezug auf den Fehler der Kamera-basierten Freiraumschätzung kann dann direkt als Systemwissen in die Freiraumschätzung im Fahrzeug 100 mit einfließen, so dass es nicht mehr erforderlich ist, während des Betriebs des Fahrzeugs 100 eine semantische Segmentierung vorzunehmen.
Ferner kann ein weiteres komplementäres Messprinzip verwendet werden, beispielsweise ein LIDAR Sensor 105, um die Ermittlung des Distanzfehlers einer Kamera 102 zu verbessern.
3 zeigt ein Ablaufdiagramm eines beispielhaften (Computer-implementierten) Verfahrens 300 zur Ermittlung eines für eine Bewegung eines Fahrzeugs 100 innerhalb einer Verkehrssituation verfügbaren Freiraums 122. Das Verfahren 300 kann durch eine Auswerte- und/oder Steuereinheit 101 des Fahrzeugs 100 ausgeführt werden. An der Verkehrssituation können ein oder mehrere Verkehrsteilnehmer 110, insbesondere ein oder mehrere andere Fahrzeuge, beteiligt sein.
Das Verfahren 300 umfasst das Schätzen 301 eines Bilddaten-basierten Freiraums 121 auf Basis von, insbesondere allein auf Basis von, Bilddaten einer Kamera 102 (insbesondere eine Monokamera) des Fahrzeugs 100. Insbesondere kann auf Basis der Bilddaten ein Belegungsraster 150 ermittelt werden, aus dem sich der Bilddaten-basierte Freiraum 121 ergibt (als die ein oder mehrere Bereiche des Belegungsrasters 150, die nicht durch ein Objekt belegt sind). Der Freiraum 121 kann z.B. einen Abstand zu einem Vorder-Fahrzeug 110 anzeigen. Der auf Basis der Bilddaten ermittelte Abstand zu dem Vorder-Fahrzeug 110 kann dabei ggf. durch den Unterboden 111 des Vorder-Fahrzeugs 110 verfälscht sein.
Des Weiteren umfasst das Verfahren 300 das Ermitteln 302 eines Wertes zumindest eines Situationsparameters der Verkehrssituation. Der Situationsparameter kann dabei beschreibend in Bezug auf die Verkehrssituation sein. Insbesondere kann der Situationsparameter einen Aspekt der Verkehrssituation und/oder eine Eigenschaft eines an der Verkehrssituation beteiligten Verkehrsteilnehmers 110 beschreiben bzw. spezifizieren. Der Situationsparameter kann z.B. den Typ des an der Verkehrssituation beteiligten Verkehrsteilnehmer 110 anzeigen (z.B. ein PKW, ein LKW oder ein Bus), und/oder die Unterbodenhöhe des Unterbodens 111 des Verkehrsteilnehmers 110 anzeigen.
Das Verfahren 300 umfasst ferner das Anpassen 303 des Bilddaten-basierten Freiraums 121 in Abhängigkeit von dem Wert des Situationsparameters, um einen korrigierten Freiraum 122 zu ermitteln. Die durch den Wert des Situationsparameters angezeigte Eigenschaft der Verkehrssituation kann somit dazu verwendet werden, die auf Basis der Bilddaten ermittelte Freiraumschätzung anzupassen. So kann die Güte der Freiraumschätzung erhöht werden.
Durch die in diesem Dokument beschriebenen Maßnahmen kann der verfügbare Freiraum 122 eines Fahrzeugs 100 in präziser und effizienter Weise auf Basis von Bilddaten einer Kamera 102 ermittelt werden.
Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.

Claims

Vorrichtung (101) zur Ermittlung eines für eine Bewegung eines Fahrzeugs (100) innerhalb einer Verkehrssituation verfügbaren Freiraums (122); wobei die Vorrichtung (101) eingerichtet ist, - Bilddaten in Bezug auf die Verkehrssituation mittels einer Kamera (102) des Fahrzeugs (100) zu ermitteln; - einen Wert zumindest eines Situationsparameters der Verkehrssituation zu ermitteln; und - den verfügbaren Freiraum (122) auf Basis der Bilddaten und auf Basis des Wertes des Situationsparameters zu ermitteln.
Vorrichtung (101) gemäß Anspruch 1, wobei die Vorrichtung (101) eingerichtet ist, - auf Basis der Bilddaten der Kamera (102) des Fahrzeugs (100) einen Bilddaten-basierten Freiraum (121) zu schätzen; und - den Bilddaten-basierten Freiraum (121) in Abhängigkeit von dem Wert des Situationsparameters anzupassen, um einen korrigierten Freiraum (122) zu ermitteln.
Vorrichtung (101) gemäß Anspruch 2, wobei die Vorrichtung (101) eingerichtet ist, - auf Basis des Wertes des Situationsparameters einen Korrekturwert zu ermitteln, und - den Bilddaten-basierten Freiraum (121) mittels des Korrekturwertes anzupassen, insbesondere zu verkleinern, um den korrigierten Freiraum (122) zu ermitteln.
Vorrichtung (101) gemäß einem der Ansprüche 2 bis 3, wobei die Vorrichtung (101) eingerichtet ist, den Bilddaten-basierten Freiraum (121) unter Verwendung eines im Vorfeld angelernten künstlichen neuronalen Netzes (200) anzupassen, um den korrigierten Freiraum (122) zu ermitteln.
Vorrichtung (101) gemäß Anspruch 4, wobei das neuronale Netz (200) ausgebildet ist, auf Basis des Wertes des Situationsparameters einen Korrekturwert zur Korrektur des Bilddaten-basierten Freiraums (121) als Ausgangswert (203) des neuronalen Netzes (200) bereitzustellen.
Vorrichtung (101) gemäß einem der Ansprüche 4 bis 5, wobei - das neuronale Netz (200) auf Basis von Trainingsdaten mit einer Vielzahl von Trainings-Datensätzen angelernt wurde; und - ein Trainings-Datensatz einen gemessenen Wert des Situationsparameters und einen entsprechenden gemessenen Korrekturwert zur Korrektur des Bilddaten-basierten Freiraums (121) umfasst.
Vorrichtung (101) gemäß einem der vorhergehenden Ansprüche, wobei der Situationsparameter umfasst, - einen Typ eines an der Verkehrssituation beteiligten Objektes, insbesondere Verkehrsteilnehmers (110); - eine Geschwindigkeit des Fahrzeugs (100); - eine Neigung des Fahrzeugs (100); - eine Neigung des an der Verkehrssituation beteiligten Objektes, insbesondere Verkehrsteilnehmers (110); und/oder - eine Differenz und/oder ein Verhältnis der Neigung des Fahrzeugs (100) und der Neigung des an der Verkehrssituation beteiligten Objektes.
Vorrichtung (101) gemäß einem der vorhergehenden Ansprüche, wobei die Vorrichtung (101) eingerichtet ist, - auf Basis der Bilddaten ein an der Verkehrssituation beteiligtes Objekt (110) zu detektieren; - als Wert des Situationsparameters einen Wert einer Steigung einer Fahrbahn (115) zu ermitteln, auf der sich das Objekt (110) befindet; - einen durch die Bilddaten angezeigten Punkt des Objektes (110) lotrecht in Bezug auf den ermittelten Wert der Steigung auf die Fahrbahn (115) zu projizieren, um einen projizierten Punkt zu ermitteln, und - den Freiraum (122) auf Basis des projizierten Punktes zu ermitteln.
Vorrichtung (101) gemäß einem der vorhergehenden Ansprüche, wobei die Vorrichtung (101) eingerichtet ist, auf Basis der Bilddaten und unter Verwendung von semantischer Segmentierung einen an der Verkehrssituation beteiligten Verkehrsteilnehmer (110) zu detektieren, und einen Typ des Verkehrsteilnehmers (110) aus einer Vielzahl von Verkehrsteilnehmer-Typen zu ermitteln.
Vorrichtung (101) gemäß Anspruch 9, wobei die Vielzahl von Verkehrsteilnehmer-Typen umfasst: einen Personenkraftwagen, einen Lastkraftwagen und/oder ein Motorrad.
Vorrichtung (101) gemäß einem der vorhergehenden Ansprüche, wobei - die Vorrichtung (101) eingerichtet ist, auf Basis der Bilddaten ein Bilddaten-basiertes Belegungsraster (150) zu ermitteln, das eine Vielzahl von Zellen (151) umfasst; - das Bilddaten-basierte Belegungsraster (150) für jede Zelle (151) anzeigt, ob die Zelle (151) belegt oder frei ist; und - die Vorrichtung (101) eingerichtet ist, das Bilddaten-basierte Belegungsraster (150) in Abhängigkeit von dem Wert des Situationsparameters anzupassen, um ein korrigiertes Belegungsraster (150) zu ermitteln, das einen korrigierten Freiraum (122) anzeigt.
Vorrichtung (101) gemäß einem der vorhergehenden Ansprüche, wobei die Vorrichtung (101) eingerichtet ist, das Fahrzeug (100) zumindest teilweise automatisiert in Abhängigkeit von dem ermittelten Freiraum (122) längs- und/oder querzuführen.
Vorrichtung (101) gemäß einem der vorhergehenden Ansprüche, wobei die Vorrichtung (101) eingerichtet ist, den Freiraum (122) mittels eines im Vorfeld angelernten neuronalen Netzes (200) zu ermitteln, das ausgebildet ist, die Bilddaten und den Wert des Situationsparameters als Eingangswerte (201) aufzunehmen.
Verfahren (300) zur Ermittlung eines für eine Bewegung eines Fahrzeugs (100) innerhalb einer Verkehrssituation verfügbaren Freiraums (122); wobei das Verfahren (300) umfasst, - Ermitteln von Bilddaten in Bezug auf die Verkehrssituation; - Ermitteln eines Wertes zumindest eines Situationsparameters der Verkehrssituation; und - Ermitteln des verfügbaren Freiraums (122) auf Basis der Bilddaten und auf Basis des Wertes des Situationsparameters.