-
Stand der Technik
-
Die vorliegende Erfindung betrifft ein Verfahren zur Verarbeitung von Sensordaten für ein Fahrassistenzsystem eines Fahrzeugs sowie eine zugehörige Vorrichtung.
-
Bestehende Fahrerassistenzsysteme nutzen zur longitudinalen Regelung heute i.d.R. Radar-Sensoren. Das zugrundeliegende Messprinzip ermöglicht die präzise Bestimmung der Entfernung von Objekten. Für die sich anschließende Fahrzeugregelung muss aus mehreren Objekten das relevante Zielobjekt ausgewählt werden. Diese Auswahl des Zielfahrzeugs findet im 3D-Raum statt, da dies der native Messraum des Radar-Sensors ist.
-
Für automatisierte Fahrfunktionen sind darüber hinaus komplexe Umgebungsmodelle notwendig. Diese werden typischerweise im 3D-Raum abgebildet, um eine vollständige Situationsanalyse durchführen zu können. Diese Repräsentation wird stark durch 3D Sensoren wie Radar, LiDAR aber auch Karteninformationen geprägt, die nativ Informationen in Weltkoordinaten messen und zur Verfügung stellen.
-
Die Auswahl des Zielfahrzeugs wird bei einer Einzelsensor-Strategie aus den Radar-Daten ohne Kenntnisse des Verlaufs der Fahrbahnmarkierungen durch zeitliche Verfolgung der Objekte abgeleitet. Bei einem System mit einem Radar und einem Video-Sensor mit videobasierter Markierungserkennung wird die Fahrspurinformation in den Messraum des Radar-Sensors (3D-Raum) transformiert. Die Transformation vom 2D-Bildraum des Video-Sensors in den 3D-Raum ist mehrdeutig und rauschbehaftet. Für eine videobasierte Einzelsensor-Strategie wird die Messung des Bildsensors aktuell ebenfalls mit den genannten Nachteilen in den 3D-Raum projiziert. Allgemein können bestehende Systeme Fahrzeuge in wesentlich größeren Entfernungen detektieren, als eine Erkennung von Spurmarkierungen möglich ist.
-
Bei der Transformation von im 2D-Raum erkannten Fahrspurmarkierungen in den 3D-Raum können zahlreiche Fehler auftreten bzw. Modellannahmen verletzt werden. Dies resultiert z.B. in fehlerhaft abgebildeten 3D-Fahrspuren.
-
Diese Fehler wachsen typischerweise mindestens quadratisch mit der Entfernung, was für Fahrfunktionen im Fahrerassistenzbereich relevant ist. Die daran anschließende Auswahl der für die Fahrfunktion relevanten Fahrzeuge kann allerdings nur begrenzt Ausreißer und starkes Rauschen kompensieren. Dies führt dazu, dass falsche oder keine Objekte ausgewählt werden und resultiert letztlich in einer fehlerhaften Fahrfunktion oder falsch-positiven oder falsch-negativen Entscheidung. Insbesondere in größeren Entfernungen ist die Auswirkung der genannten Probleme besonders stark. Das liegt zum einen an der im Verhältnis zur Fahrzeugdetektion begrenzten Reichweite der Markierungserkennung. Zum anderen steigt das Rauschen der Transformation vom 2D-Raum in den 3D-Raum bei Videosensoren exponentiell mit der Entfernung an.
-
Im Folgenden werden einige problematische Beispiele aufgeführt, die mit dem aktuellen Stand der Technik auftreten.
-
Ein naheliegendes Beispiel ist, dass im Falle eines Stauendes zwar die stehenden Fahrzeuge sehr früh detektiert werden aber keiner Fahrspur zugeordnet werden. Dadurch ist ein eventuell notwendiger Eingriff häufig nicht mehr komfortabel realisierbar.
-
Für falsch-positive Brems-Auslösungen können die im 3D-Raum schwierig zur Fahrspur zu assoziierenden Objekte durch Betrachtung im 2D-Raum eindeutig einer Fahrspur zugeordnet werden. Dadurch kann situativ aufgelöst werden, dass Objekte nicht relevant sind, die bei Betrachtungen basierend auf einer Time-to-collision (TTC) zu einer falsch-positiven Auslösung führen würden.
-
Auch für komplexere Fahrfunktionen wie z.B. einen automatisierten Fahrspurwechsel ist eine 3D-Zuordnung der Videoobjekte problematisch. Hier ist sowohl in strukturierten als auch unstrukturierten Umgebung relevant, auf welchen Spuren relativ zum Egofahrzeug sich Objekte bewegen. Daraus abgeleitet kann ein Spurwechsel nur durchgeführt werden, wenn die entsprechenden Spuren und die darin geplante Trajektorie kollisionsfrei sind. Bei einer falschen Spurzuordnung der Objekte, kann wird der Nutzen einer solchen Funktion entsprechend limitiert.
-
Offenbarung der Erfindung
-
Das erfindungsgemäße Verfahren für eine Verarbeitung von Sensordaten für ein Fahrassistenzsystem eines Fahrzeugs umfasst ein Erfassen von ersten Umfeldinformationen durch einen zweidimensionalen Sensor, wobei ein von dem zweidimensionalen Sensor erfasstes Umfeld in einer Bildebene abgebildet wird, ein Erfassen von zweiten Umfeldinformationen, durch welche das von dem zweidimensionalen Sensor erfasste Umfeld zumindest teilweise abgebildet wird, wobei die zweiten Umfeldinformationen Tiefeninformationen umfassen, ein Zuordnen von Objektinformationen, welche auf den erfassten Tiefeninformationen basieren, zu einem Objektbereich der Bildebene, wobei die dem zugeordneten Objektinformationen zugrundeliegenden Tiefeninformationen und der Objektbereich der Bildebene einen gemeinsamen Bereich des Umfeldes abbilden, und ein Ausführen einer Analyse der Umgebung des Fahrzeugs in der Bildebene, basierend auf den ersten Umfeldinformationen und den zugeordneten Objektinformationen.
-
Die erfindungsgemäße Vorrichtung für eine Verarbeitung von Sensordaten für ein Fahrassistenzsystem eines Fahrzeuges umfasst einen zweidimensionalen Sensor, einen optionalen dreidimensionalen Sensor und eine Recheneinheit, wobei die Recheneinheit dazu eingerichtet ist, erste Umfeldinformationen von dem zweidimensionalen Sensor zu empfangen, wobei ein von dem zweidimensionalen Sensor erfasstes Umfeld in einer Bildebene abgebildet wird, zweite Umfeldinformationen zu empfangen, durch welche das von dem zweidimensionalen Sensor erfasste Umfeld zumindest teilweise abgebildet wird, wobei die zweiten Umfeldinformationen Tiefeninformationen umfassen, Objektinformationen, welche auf den erfassten Tiefeninformationen basieren, einem Objektbereich der Bildebene zuzuordnen, wobei die den zugeordneten Objektinformationen zugrundeliegenden Tiefeninformationen und der Objektbereich der Bildebene einen gemeinsamen Bereich des Umfeldes abbilden und eine Analyse der Umgebung des Fahrzeuges in der Bildebene basierend auf dem ersten Umfeld Informationen und den zugeordneten Objektinformationen auszuführen.
-
Es werden dabei basierend auf Sensorinformationen solche Informationen erzeugt, die einem Fahrassistenzsystem bereitgestellt werden können. Stehen die zweiten Umfeldinformationen nicht zur Verfügung, wird die Situationsanalyse im zweidimensionalen Raum nicht beeinträchtigt, sondern es gibt lediglich Auswirkungen auf Signalgüte der Regelgrößen für das Fahrerassistenzsystem.
-
Ein zweidimensionaler Sensor ist ein Sensor, durch welchen das Umfeld nicht räumlich abgetastet wird, sondern in eine Bildebene projiziert wird. Der zweidimensionale Sensor ist somit insbesondere eine Kamera, wobei die Kamera für einen beliebigen Frequenzbereich geeignet sein kann. Die Kamera kann somit insbesondere auch eine Infrarot- oder Wärmebildkamera sein. Der zweidimensionale Sensor arbeitet in einem 2D-Raum.
-
Es erfolgt ein Zuordnen von Objektinformationen, welche auf den erfassten Tiefeninformationen basieren, zu einem Objektbereich der Bildebene, wobei die den zugeordneten Objektinformationen zugrundeliegenden Tiefeninformationen und der Objektbereich der Bildebene einen gemeinsamen Bereich des Umfeldes abbilden. Das bedeutet mit anderen Worten, dass dreidimensionale Informationen auf die Bildebene projiziert werden. Es werden also Informationen aus dem 3D-Raum in den 2D-Raum übertragen.
-
Für die Bildebene liegen somit zumindest abschnittsweise nicht nur die von dem zweidimensionalen Sensor erfassten Informationen vor, sondern es liegen zusätzlich solche Informationen vor, welche beispielsweise mittels eines dreidimensionalen Sensors erfasst wurden. Diese Informationen werden auch als Objektinformationen bezeichnet. Dies ist daher der Fall, da die Objektinformationen bzw. die zugrundeliegenden Tiefeninformationen auf einen Objektbereich der Bildebene projiziert werden, der das gleiche Objekt abbildet, welches auch mit den Tiefeninformationen abgebildet wird. Dies ist vorteilhaft, da eine Konversion von dreidimensionalen Sensordaten in den zweidimensionalen Bereich eindeutig definiert ist. Im umgekehrten Falle, also bei der Projektion von zweidimensionalen Sensordaten in den dreidimensionalen Bereich kann es zu Mehrdeutigkeiten kommen. Dies wird durch das erfindungsgemäße Zuordnen von Objektinformationen aus dem dreidimensionalen Bereich in den zweidimensionalen Bereich vermieden.
-
Es erfolgt ein Ausführen einer Analyse der Umgebung des Fahrzeuges der Bildebene basierend auf den ersten Umfeldinformationen und den zugeordneten Objektinformationen. Es wird somit eine Bildverarbeitung in der Bildebene ausgeführt, welche durch die Information unterstützt wird, welche mit den zweiten Umfeldinformationen von dem dreidimensionalen Sensor erfasst wurden. Es ist daher nicht notwendig, dass nicht verifizierte Annahmen getroffen werden, um die von dem zweidimensionalen Sensor erfassten Informationen derart zu transformieren, dass diese für eine Analyse in dem dreidimensionalen Raum geeignet sind.
-
Es wird somit auch eine Fusion von Sensordaten ermöglicht, wobei beispielsweise die Informationen von bereits verfügbaren Kamerasystemen mit den Informationen von dreidimensionalen Sensorsystemen kombiniert werden können. So kann beispielsweise ein bestehendes System, welches bislang ausschließlich die Informationen einer Kamera auswertet, dahingehend verbessert werden, dass dieses zusätzliche Tiefeninformationen nutzt, welche zu der Analyse in den zweidimensionalen Raum umgerechnet werden, was durch das erfindungsgemäße Zuordnen von Objektinformationen erfolgt.
-
Prinzipiell sind eine Vielzahl von Fahrfunktionen mit Nutzung mindestens eines zweidimensionalen Sensors denkbar (z.B. Lanekeeping, Trajektorienplanung etc.). Die vorgeschlagene Erfindung löst unter Anderem das Problem einzelne Detektionen (z.B. Objekte und oder Fahrspuren) zueinander in Beziehung zu setzen. Diese Relationen und damit die Beschreibung des Umfelds sind für nachfolgende Schritte der Verarbeitungskette notwendig, um entsprechende Fahrfunktionen wie ACC (Adaptive Cruise Control) oder AEB (Notbremsassistent) zu realisieren.
-
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
-
Bevorzugt werden die zweiten Umfeldinformationen durch einen dreidimensionalen Sensor erfasst, durch welchen das von dem zweidimensionalen Sensor erfasste Umfeld zumindest teilweise erfasst wird, wobei für das von dem dreidimensionalen Sensor erfasste Umfeld die Tiefeninformationen erfasst werden. Das bedeutet, dass die zweiten Umfeldinformationen von dem dreidimensionalen Sensor bereitgestellt werden. Der dreidimensionale Sensor ist insbesondere ein Sensor, durch welchen Informationen generiert werden, aus denen auf Tiefeninformationen geschlossen werden kann oder durch den Tiefeninformationen direkt gemessen werden. Der dreidimensionale Sensor ist insbesondere ein Sensor, durch welchen primär Tiefeninformationen generiert werden.
-
Der dreidimensionale Sensor ist ein Sensor, durch welchen das Umfeld des Fahrzeuges dreidimensional erfasst wird. Dazu werden beispielsweise für jeden Abtastpunkt Tiefenwerte hinterlegt. Der dreidimensionale Sensor ist dabei insbesondere ein LiDAR-System, ein Radar-System und/oder ein Ultraschall-System. Auch ist es vorteilhaft, wenn der dreidimensionale Sensor ein Stereokamerasystem oder ein anderes Kamerasystem mit mehreren Kameras oder einer einzelnen bewegten Kamera ist, welches dazu geeignet ist, räumliche Informationen zu erfassen. Der dreidimensionale Sensor arbeitet in einem 3D-Raum.
-
Durch den zweidimensionalen Sensor werden somit zweidimensionale Informationen erfasst und durch den dreidimensionalen Sensor werden dreidimensionale Informationen erfasst. Die beiden Sensoren weisen somit unterschiedliche Sensorräume auf.
-
Bevorzugt ist der zweidimensionale Sensor eine Kamera und/oder der dreidimensionale Sensor umfasst ein LiDAR-System, ein Radar-System, ein Ultraschall-System oder eine Stereokamera-System. Als Stereokamera-System werden dabei nicht nur solche Kamerasysteme angesehen, in dem zwei Kameras parallel zueinander ausgerichtet sind, sondern auch solche Systeme, bei denen Tiefeninformationen aus mehreren Einzelbildern ermittelt werden, die aus einer unterschiedlichen Perspektive erfasst wurden. Dies umfasst Systeme, die beliebig ausgerichtete Kameras mit überschneidenden Bildbereichen umfassen oder die eine einzelne bewegte Kamera umfassen. Die genannten Systeme sind daher vorteilhaft, da diese typischerweise für eine Verwendung von Fahrassistenzsystemen oftmals bereits an Fahrzeugen verbaut sind.
-
Auch ist es vorteilhaft, wenn die Objektinformationen den Tiefeninformationen entsprechen und einzelne Bildpunkte in den Objektbereich ein jeweils zugehöriger Tiefenwert zugeordnet wird, welcher einen Abstand des durch den jeweiligen Bildpunkt abgebildeten Punktes in dem Umfeld zu dem zweidimensionalen Sensor beschreibt. Weiter ist es vorteilhaft, wenn die Objektinformation ein Vorliegen eines in den zweiten Umfeldinformationen detektierten Objekts beschreiben, wobei das detektierte Objekt in dem Objektbereich abgebildet ist, wobei die Objektinformationen insbesondere eine Bounding-Box beschreibt. Es werden somit insbesondere die Tiefeninformationen, welche durch die zweiten Umfeldinformationen erfasst wurden, auf die Bildebene projiziert und zusammen mit dem jeweiligen Bildpunkt gespeichert, der das Objekt abbildet, dessen Abstand durch die Tiefeninformation beschrieben wird. Alternativ dazu wird durch die Objektinformation ein Vorliegen eines in den zweiten Umfeldinformationen detektierten Objektes beschrieben. So wird die zweite Umfeldinformation optional bereits dahingehend ausgewertet, ob ein bestimmtes Objekt in diesen erfasst wird. Beispielhafte Objekte sind beispielsweise ein Fahrzeug, ein Verkehrsschild oder eine Straßenbegrenzung. Eine solche Analyse kann optional ausschließlich basierend auf den zweiten Umfeldinformationen erfolgen. Auch diese Information kann in dem zweidimensionalen Raum projiziert werden und somit einem bestimmten Bereich in der Bildebene, hier dem sog. Objektbereich, zugeordnet werden, indem das detektierte Objekt zu finden ist. Hierzu wird beispielsweise eine sog. Bounding-Box genutzt, welche einen Bereich umschließt, indem ein detektiertes Objekt sich befindet. Es ist somit sowohl ermöglicht, die mit den zweiten Umfeldinformationen bereitgestellten Tiefenwerte in der Bildebene zu speichern und für eine folgende Bildverarbeitung zu nutzen oder aber vorab eine Analyse der zweiten Umfeldinformation auszuführen und das Ergebnis der Analyse in der Bildebene zu hinterlegen.
-
Bevorzugt wird bei dem Ausführen der Analyse der Umgebung des Fahrzeuges in der Bildebene eine Lage eines aus den ersten Umfeldinformationen erkannten Objektes gegenüber dem Objektbereich ermittelt. Das bedeutet, dass beispielsweise basierend auf den ersten Umfeldinformationen, insbesondere durch eine Bildanalyse, erkannt wird, an welcher Stelle in der Bildebene ein bestimmtes Objekt gelegen ist. Basierend auf den zweiten Umfeldinformationen wird die Lage eines weiteren Objektes erkannt und es wird ein Objektbereich zugeordnet, in dem das weitere Objekt sich in der Bildebene befindet. Durch das Ermitteln der Lage der beiden Objekte in der Bildebene kann erkannt werden, ob es zu Überschneidungen kommt. So kann beispielsweise festgestellt werden, ob eine mit den zweiten Umfeldinformationen als Objekt erkannte Ampel sich über einem durch die ersten Umfeldinformationen erkannten Fahrbahn befindet.
-
Es ist ferner vorteilhaft, wenn das Verfahren ferner ein Definieren einer relativen Position des zweidimensionalen Sensors gegenüber dem dreidimensionalen Sensor umfasst, wobei das Zuordnen von Objektinformationen basierend auf der relativen Position erfolgt. Es wird bevorzugt ein Kalibriervorgang ausgeführt, durch den die Position der unterschiedlichen Sensoren in einem gemeinsamen dreidimensionalen Raum definiert werden. Diese relative Position kann genutzt werden, um zu berechnen, wo in den ersten Umfeldinformationen, also wo in der Bildebene ein Objekt abgebildet wird, abhängig davon, an welcher Position das Objekt durch den dreidimensionalen Sensor erfasst wurde.
-
Auch ist es vorteilhaft, wenn bei der Analyse der Umgebung des Fahrzeuges basierend auf der ersten Umfeldinformation eine Fahrspur einer Straße und/oder ein Farbkorridor gemäß einer voraussichtlichen Trajektorie des Fahrzeugs ermittelt wird. Die ersten Umfeldinformationen sind dafür besonders geeignet, da sowohl eine Fahrspur als auch ein Fahrkorridor typischerweise in einer Fahrbahnebene liegen und somit in einfacher Weise aus den ersten Umfeldinformationen mittels einer Bildanalyse auf ein Vorliegen einer Fahrspur oder eine mögliche Fahrbahn, also einen möglichen Fahrkorridor, geschlossen werden kann. Da der Fahrkorridor gemäß der voraussichtlichen Trajektorie abhängig von einer Entscheidung des Fahrers sein kann, ist es vorteilhaft, wenn bei dem Ermitteln der voraussichtlichen Trajektorie des Fahrzeuges eine Situationsanalyse basierend auf den ersten Umfeldinformationen und/oder den zweiten Umfeldinformationen erfolgt, um eine vorliegende Verkehrssituation in dem Umfeld des Fahrzeuges zu ermitteln. So kann beispielsweise basierend auf den ersten Umfeldinformationen ermittelt werden, ob ein vorausfahrendes Fahrzeug durch einen Blinker einen Spurwechsel ankündigt, welcher einen Fahrbahnwechsel für das Ego-Fahrzeug notwendig macht.
-
Auch ist es vorteilhaft, wenn basierend auf den Objektinformationen eine relative Position zwischen einem durch die Objektinformation beschriebenen Objekt und der ermittelten Fahrspur oder dem ermittelten Fahrkorridor berechnet wird. So kann in einfacher Weise ermittelt werden, ob ein bestimmtes Objekt sich in einem Bereich befindet, der von dem Fahrzeug in naher Zukunft befahren werden soll. Solche Informationen können in einem Fahrassistenzsystem bereitgestellt werden und für weitere Entscheidungen herangezogen werden, beispielsweise ob ein Bremsvorgang einzuleiten ist oder nicht.
-
Die vorstehend genannten Vorteile gelten in entsprechender Weise auch für ein Computerprogramm zur Ausführung auf einem Computer oder einer Vorrichtung nach einer der vorgenannten Ausführungsformen, wobei das Computerprogramm ausgebildet und/oder eingerichtet ist, bei seiner Ausführung wenigstens einen der Schritte der vorgenannten Verfahren auszuführen und/oder zu implementieren.
-
Ferner gelten die vorstehend genannten Vorteile in entsprechender Weise auch für ein Speichermedium, wobei das zuvor genannte Computerprogramm auf dem Speichermedium gespeichert ist.
-
Kurze Beschreibung der Zeichnungen
-
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist:
- 1 ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens gemäß einer Ausführungsform der Erfindung,
- 2 eine schematische Darstellung eines Fahrzeugs, welches eine erfindungsgemäße Vorrichtung umfasst,
- 3 eine beispielhafte Abbildung erster Umfeldinformationen in der Bildebene, und
- 4 ein Flussdiagramm, welches einen Datenfluss in der erfindungsgemäßen Vorrichtung beschreibt.
-
Ausführungsformen der Erfindung
-
1 zeigt ein Ablaufdiagramm für ein erfindungsgemäßes Verfahren 100 zur Verarbeitung von Sensordaten für einen Fahrassistenzsystem eines Fahrzeuges 1. In 2 ist ein zugehöriges Fahrzeug 1 dargestellt, welches eine Vorrichtung umfasst, welche dazu eingerichtet ist, das erfindungsgemäße Verfahren 100 auszuführen.
-
An dem Fahrzeug 1 sind ein zweidimensionaler Sensor 2, ein dreidimensionaler Sensor 3 und eine Recheneinheit 8 angeordnet, durch welche das Verfahren 100 ausgeführt wird. Der zweidimensionale Sensor 2 ist eine Kamera, welche in Richtung einer Fahrzeugfront gerichtet ist, um ein Umfeld vor dem Fahrzeug 1 zu erfassen. Der dreidimensionale Sensor 3 ist ein LiDAR-Sensor eines LiDAR-Systems. Alternativ dazu ist der dreidimensionale Sensor 3 ein Sensor eines Radar-Systems, eines Stereokamera-Systems oder eines Ultraschall-Systems. Auch der dreidimensionale Sensor 3 ist in Richtung einer Fahrzeugfront ausgerichtet, um das Umfeld vor dem Fahrzeug 1 zu erfassen. Durch den zweidimensionalen Sensor 2 und dem dreidimensionalen Sensor 3 wird somit ein im Wesentlichen gleicher Bereich vor dem Fahrzeug 1 erfasst. Es wird jedoch darauf hingewiesen, dass das erfindungsgemäße Verfahren 100 auch angewendet werden kann, wenn sich der von dem zweidimensionalen Sensor 2 und dem dreidimensionalen Sensor 3 erfasste Bereich lediglich überschneidet.
-
In einem ersten Schritt 101 des Verfahrens 100 erfolgt ein Erfassen von ersten Umfeldinformationen durch den zweidimensionalen Sensor 2, wobei ein von dem zweidimensionalen Sensor 2 erfasstes Umfeld in einer Bildebene 4 abgebildet wird. Das bedeutet, dass von der Kamera, welche den zweidimensionalen Sensor 2 bildet, ein Bild erfasst wird, welches in der Bildebene 4 abgebildet wird. Ein solches Bild ist beispielhaft in 3 dargestellt. Es ist ersichtlich, dass sich vor dem Fahrzeug 1 eine zweispurige Straße befindet, auf welcher ein vorausfahrendes Fahrzeug 7 befindlich ist.
-
In einem zweiten Schritt des Verfahrens 102, welcher bevorzugt zeitgleich mit dem ersten Schritt 101 ausgeführt wird, erfolgt ein Erfassen von zweiten Umfeldinformationen durch den dreidimensionalen Sensor 3. Da die Sichtbereiche des zweidimensionalen Sensors 2 und des dreidimensionalen Sensors 3 einander im Wesentlichen entsprechen, wird durch den dreidimensionalen Sensor 3 auch das von dem zweidimensionalen Sensor 2 erfasste Umfeld erfasst. Durch den dreidimensionalen Sensor 3 werden Tiefeninformationen erfasst, welche die zweiten Umfeldinformationen bilden.
-
In einem dritten Schritt 103 folgt ein Zuordnen von Objektinformationen, welche auf den erfassten Tiefeninformationen basieren, zu einem Objektbereich 5 der Bildebene 4. Die den zugeordneten Objektinformationen zugrundeliegenden Tiefeninformationen und der Objektbereich 5 der Bildebene bilden einen gemeinsamen Bereich des Umfeldes des Fahrzeugs 1 ab. Die Objektinformationen beschreiben beispielsweise ein Vorliegen eines in den zweiten Umfeldinformationen detektierten Objekts. So ist in 3 beispielhaft dargestellt, dass der Objektbereich 5 anzeigt, dass an dieser Stelle das vorausfahrende Fahrzeug 7 befindlich ist. Das vorausfahrende Fahrzeug 7 wurde dabei basierend auf den zweiten Umfeldinformationen, also aus den Sensordaten des dreidimensionalen Sensors 3 erkannt. Das in den zweiten Umfeldinformationen erkannte vorausfahrende Fahrzeug 7 wird nun dem Objektbereich 5 der Bildebene 4 zugeordnet. Da die den Objektinformationen zugrundeliegenden Tiefeninformationen und der Objektbereich 5 der Bildebene 4 einen gemeinsamen Bereich des Umfeldes abbilden, wird durch die Objektinformation 5 ein Bereich in der Bildebene 4 angezeigt, in dem das vorausfahrende Fahrzeug 7 auch durch den zweidimensionalen Sensor 2 abgebildet wird. Die Objektinformation ist hierbei als eine sog. Bounding-Box gewählt, welche basierend auf den zweiten Umfeldinformationen in ihrer Lage und Dimension ermittelt wird und einem entsprechenden Bereich in der Bildebene 4 zugeordnet wird.
-
Es wird darauf hingewiesen, dass in alternativen Ausführungsformen die Analyse der zweiten Umfeldinformationen zum Erkennen von Objekten nicht zwingend erfolgen muss. So können die Objektinformationen auch den Tiefeninformationen entsprechen. Dabei werden einzelnen Bildpunkten in der Bildebene 4 und somit auch in dem Objektbereich 5 ein jeweils zugehöriger Tiefenwert zugeordnet. Der Tiefenwert beschreibt dabei einen Abstand des durch den jeweiligen Bildpunkt in der Bildebene 4 abgebildeten Punktes in dem Umfeld des Fahrzeuges 1 zu dem zweidimensionalen Sensor 2. Das Auswerten der zugeordneten Tiefeninformationen erfolgt in diesem Falle zu einem späteren Zeitpunkt des Verfahrens. So sind diese Informationen besonders dazu geeignet, zu verifizieren, ob ein in den ersten Umfeldinformationen, also ein durch eine Bilderkennung erkanntes Objekt, tatsächlich in dem erkannten Bereich vorhanden ist.
-
Das Zuordnen von Objektinformationen, welche aus dem dreidimensionalen Bereich stammen, der durch den dreidimensionalen Sensor 3 erfasst wurde, zu dem Objektbereich 5 der Bildebene 4 kann durch einfache mathematische Berechnungen erfolgen. Dazu ist es vorteilhaft, wenn eine relative Position des zweidimensionalen Sensors 2 gegenüber dem dreidimensionalen Sensor 3 definiert ist, wodurch alle geometrischen Positionen vorhandene sind, die benötigt werden um zu berechnen, wo ein von dem dreidimensionalen Sensor 3 erfasster Gegenstand in der Bildebene 4 abgebildet wird. Das Zuordnen der Objektinformationen zu dem Objektbereich 5 der Bildebene 4 erfolgt somit bevorzugt basierend auf der relativen Position.
-
In einem vierten Verfahrensschritt 104 erfolgt ein Ausführen einer Analyse der Umgebung des Fahrzeugs 1 in der Bildebene 4. Dies erfolgt basierend auf den ersten Umfeldinformationen, also den durch den zweidimensionalen Sensor 2 bereitgestellten Bildinformationen, und den zugeordneten Objektinformationen. Dabei erfolgt bevorzugt keine weitere Transformation der in der Bildebene 4 vorliegenden Daten in einen dreidimensionalen Raum. Das Ausführen der Analyse sei beispielhaft dafür geeignet, um eine Fahrspur einer Straße oder einen Fahrkorridor gemäß einer voraussichtlichen Trajektorie des Fahrzeugs 1 zu ermitteln. Ein Fahrkorridor ist dabei ein Bereich auf einer Fahrbahnoberfläche, über den sich das Fahrzeug 1 voraussichtlich bewegt, wenn dieses der voraussichtlichen Trajektorie folgt.
-
In 4 ist beispielhaft dargestellt, wie eine Fahrspur einer Straße basierend auf den ersten Umfeldinformationen ermittelt wird. So werden beispielsweise die in der Bildebene 4 dargestellten Fahrbahnbegrenzungen und Markierungen durch eine Bildanalyse erfasst und die Fahrspur wird durch ein Polygon 6 in der Bildebene 4 markiert. Im Rahmen des Verfahrens 100 soll nun erkannt werden, ob sich ein Objekt auf der detektierten Fahrspur befindet und somit ein potentielles Hindernis für das Fahrzeug 1 darstellt. Dazu wird eine Lage eines aus den ersten Umfeldinformationen erkannten Objektes, hier der Fahrspur, gegenüber dem Objektbereich 5 ermittelt, durch welchen die Position des vorausfahrendes Fahrzeuges 7 angezeigt wird. Um zu erkennen, ob das voranfahrende Fahrzeug 7 sich auf der Fahrspur 6 befindet, wird geprüft, ob und optional auch wie weit eine untere Kante der Bounding-Box mit dem die Fahrspur repräsentierenden Polygon 6 überlappt. Dieser Vergleich erfolgt in der Bildebene 4, wobei lediglich die Lage des Polygons 6 und der Bounding-Box 5, welche den Objektbereich 5 beschreibt, verglichen wird. Es sind somit keine aufwendigen Berechnungen im dreidimensionalen Bereich notwendig. Jegliche dreidimensionalen Informationen, also jegliche zweite Umfeldinformationen, werden basierend auf einfachen Berechnungen eindeutig in die Bildebene 4 transformiert. In dieser Bildebene 4 erfolgt die weitere Analyse.
-
Insbesondere wenn eine voraussichtliche Trajektorie des Fahrzeugs ermittelt wird, um einen Fahrkorridor zu ermitteln, kann es oftmals vorkommen, dass dieser nicht einer Fahrspur der Straße entspricht. Daher ist es vorteilhaft, wenn auch weitere Informationen in die Analyse einfließen, um diese möglichst präzise zu gestalten. So kann beispielsweise eine Situationsanalyse ausgeführt werden, welche basierend auf den ersten Umfeldinformationen und/oder den zweiten Umfeldinformationen erfolgt, um eine vorliegende Verkehrssituation in dem Umfeld des Fahrzeuges 1 zu ermitteln. So kann beispielsweise basierend auf den ersten Umfeldinformationen festgestellt werden, ob das vorausfahrende Fahrzeug 7 einen Blinker gesetzt hat, um in die Fahrspur vor dem Fahrzeug 1 einzufahren. Abhängig von einem Abstand zu dem vorausfahrenden Fahrzeug 7 und einer Geschwindigkeit des Ego-Fahrzeuges, also des Fahrzeuges 1, kann entschieden werden, ob die voraussichtliche Trajektorie zu einem Überholvorgang und somit zu einem Spurwechsel führt. Dabei ist beispielsweise nur der Objektbereich 5 in der Bildebene 4 zu analysieren, um einen gesetzten Blinker zu erkennen, da durch den Objektbereich 5 beschrieben ist, wo sich vorausfahrende Fahrzeug 7 in der Bildebene 4 befindet.
-
4 zeigt einen beispielhaften Signalfluss in der erfindungsgemäßen Vorrichtung. So werden durch die Analyse der Umgebung des Fahrzeuges 1 beispielsweise Objekte 21, Linien oder Fahrbahnmarkierungen 22 und eine Eigenbewegung 23 des Fahrzeuges 1 ermittelt. Diese werden von einer Objekt-Korridor-Assoziation 24 in Relation zueinander gesetzt und der geschätzte Output an die anfragende Zielfunktion oder das anfragende Fahrassistenzsystem zur funktionalen Umsetzung weitergeleitet. So werden beispielsweise Informationen an ein ACC-System 25 (adaptiv cruise control) oder an ein AEB-System 26 (auto emergency brake) weitergegeben und von diesen genutzt. Gerade für solche Systeme ist es nützlich, wenn detektiert wird, ob sich vorausfahrende Fahrzeuge oder andere Objekte in einer Fahrspur oder einem Fahrkorridor des Fahrzeuges 1 befinden.
-
Es erfolgt also eine Auswertung einer Szenerie im nativen Messraum des Video-Sensors/der Kamera (d.h. direkt in der Bildebene 4). Dies ermöglicht eine Fusion verschiedener Algorithmen zur Objekt- und Korridorschätzung zur Robustifizierung des Gesamtsystems. Es erfolgt z.B. eine Fusion verschiedener Algorithmen zu Bestimmung eines Fahrkorridors im nativen Sensormessraum zur robusteren Objekt-Korridor-Assoziation im Gesamtsystem und/oder eine Fusion von Objekten aus einem Klassifikations- und generischen Detektionsergebnis. Es wird zudem ein zentrales Modul geschaffen, um verschiedene nachgelagerte Funktionen mit unterschiedlichen Anforderungen aus dem nativen Messraum des Sensors zu bedienen. Auch wird eine Rückführung des funktionalen Ergebnisses zur Plausibilisierung des Algorithmus im nativen Sensormessraum ermöglicht.
-
Die vorgeschlagene Erfindung nutzt insbesondere eine Monokamera zur Umfelderfassung. Dabei werden nur in die Bildebene 4 projizierten Informationen gemessen, für die keine Weltkoordinaten nativ verfügbar sind. Um die ungenauen und latenzbehafteten Schätzungen der Weltkoordinaten zu mitigieren, arbeitet das vorgeschlagene System direkt im nativen Messraum der Monokamera (Bildebene 4). Hier ist der Pixelfehler aller Detektionen typischerweise konstant und damit nicht entfernungsabhängig. Diese Eigenschaft wird von der vorgeschlagenen Erfindung vorteilhaft ausgenutzt. Die betrachteten Funktionen für ACC und AEB benötigen vor allem eine Auswertung der Relation zwischen Objektposition und möglichen Fahrkorridoren. Damit werden für die Funktionen relevante Objekte bezogen auf die Trajektorie des Egofahrzeugs bewertet. Bisherige Systeme nutzen zur Lösung des Problems die in den 3D-Raum zurück projizierten Kameradetektionen. Diese sind mit der Entfernung mit steigender Unsicherheit behaftet, so dass eine eindeutige Zuordnung der Objekte zur einer Spur oder auch von Objekten zu anderen Objekten nicht mehr möglich ist. Dieses Problem ist strukturell dem Messprinzip geschuldet und kann lediglich durch vergrößerte Hardware (Kameraauflösung, Multikamera System) abgeschwächt werden. Dieses Problem wird in der vorgeschlagenen Erfindung im Gegensatz zu bestehenden Ansätzen im Bildraum gelöst, um die Problematik durch Fehlerfortpflanzung bei der Rückprojektion zu minimieren. Das vorgehen wird im Folgenden anhand der Zuordnung von Objekten zu Fahrspuren diskutiert.
-
Gegeben sind Detektionen der relevanten Fahrspuren (z.B. Egofahrspur, linke und rechte Nachbarfahrspur) in Bildkoordinaten und Bounding Boxen von Detektionen relevanter Objekte ebenfalls in Bildkoordinaten. Die Zuordnung der einzelnen Objekte zu den betrachteten Spuren findet anstelle in 3D Koordinaten im Bildraum statt. Dafür wird die Überlappung der Bounding Boxen mit den Spuren berechnet, wie dies beispielhaft in 3 dargestellt ist. Das kann z.B. durch die Berechnung eines Overlaps (Intersection over Union - loU) erfolgen. Das Ergebnis dieser Zuordnung liefert für jede Bounding-Box einen Zahlenwert zwischen 0 und 1, der die Größe des Überlaps der Bounding-Box mit der Spur beschreibt und in dahinterliegenden Funktionen ausgewertet werden kann. Durch die kontinuierliche Schätzung kann so eine Relevanz in den Zielfunktionen ausgewertet werden. Prinzipiell kann das Verfahren dahingehend erweitert werden, dass andere Größen aus dem Bildraum als Ähnlichkeitsmaß herangezogen werden. Denkbar ist z.B. eine Time-to-contact.
-
Das Verfahren kann auch für eine reine Objekt-zu-Objektzuordnung verwendet werden (Objektfusion). Dabei werden mehrere Detektionsergebnisse unterschiedlicher Algorithmen als Bounding-Boxen angenommen. Auch hier wird deren Überlappung im Bildbereich z.B. mit einer loU bestimmt und darüber die Zuordnung realisiert.
-
Das Ergebnis der vorgeschlagenen Objekt-Korridor-Assoziationen liefert für nachfolgende Funktionen die Auswertung benötigter Relationen zur Durchführung der Fahr- bzw. Assistenzaufgabe aus dem nativen Messraum des Sensors. Eine ACC Funktion kann dadurch z.B. das nächstgelegene Objekt in der Egofahrspur als Zielobjekt auswählen. Eine Funktion eines Notbremsassistenten z.B. in einer Kurve Objekte auf der Nachbarspur als nichtrelevant verwerfen. Für beide Funktionen gilt, dass die Fusion mehrere Objektdetektionen in einen konsolidierten Output das Gesamtsystem robuster macht, da unter Ausnutzung des besten Fehlerverhaltens eine gemeinsame Objekthypothese für die nachgelagerte funktionale Bewertung von großem Vorteil ist.
-
Das besprochene 1-Sensor System kann beliebige Sensorsysteme, die auch Anteile von 3D-Sensoren (z.B. Radar), welche in den 2D-Raum verlustfrei rückprojiziert werden können, enthalten. Über die diskutierten Funktionen hinaus sind beliebig weitere Fahrfunktionen, z.B. Emergency-Lane-Keeping, Road Sign Function oder Ampel-zu-Spurzuordnung denkbar. Mit dem vorgestellten System ist auch eine Erweiterung um eine Signalrückführung denkbar. Aus einer komplexeren Situationsanalyse könnte z.B. das Verhalten des Fahrers oder anderer Verkehrsteilnehmer (z.B. Umfahren einer Verkehrsinsel, Durchfahrt durch einen Kreisverkehr, Abbiegeintention o.ä.) in die Entscheidungsfindung der Objekt-Korridor-Assoziation einfließen.
-
Nebst obenstehender Offenbarung wird explizit auf die Offenbarung der 1 bis 4 verwiesen.
