DE102022204086A1

DE102022204086A1 - Verfahren zur Ermittlung einer dynamischen Fremdobjekt-Fahrkorridor-Assoziation

Info

Publication number: DE102022204086A1
Application number: DE102022204086.4A
Authority: DE
Inventors: Philip Lenz; Matthias Christof Lamparter; Daniel Stopper; Alexander Lengsfeld
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-04-27
Filing date: 2022-04-27
Publication date: 2023-11-02
Also published as: CN116946117A; US20230351771A1

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Ermittlung einer dynamischen Fremdobjekt-Fahrkorridor-Assoziation mittels eines Bildsensors (2) eines Egofahrzeugs (1), wobei mittels des Bildsensors (2) Bilder (4) der Umgebung des Egofahrzeugs (1) erzeugt werden.Eine erhöhte Sicherheit Robustheit ergeben sich dadurch, dass mittels der Bilder (4) im nativen Messraum des Bildsensors (2) aus Fahrbahninformationen und/oder mittels der Odometrie des Egofahrzeugs (1) ein Fahrkorridor (5) des Egofahrzugs (1) ermittelt, Fremdobjekte (6) detektiert und für zumindest eines der Fremdobjekte (6) zumindest eine kinematische Größe ermittelt werden, wobei anhand der zumindest einen kinematischen Größe und des Fahrkorridors (5) zumindest eine dynamische Fremdobjekt-Fahrkorridor-Assoziation zur lateralen Bewegung des Fremdobjekts (6) relativ zum Fahrkorridor (5) ermittelt wird.Die Erfindung betrifft des Weiteren ein zum Ausführen des Verfahrens ausgestaltetes Computerprogrammprodukt.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Ermittlung einer dynamischen Fremdobjekt-Fahrkorridor-Assoziation mittels eines Bildsensors eines Egofahrzeugs. Die Erfindung betrifft des Weiteren ein Computerprogrammprodukt, welches zur Ausführung des Verfahrens ausgestaltet ist.
Die Umfelderkennung von Kraftfahrzeugen spielt eine zunehmend wichtige Rolle. Dies ist insbesondere wichtig, um einem Fahrzeugführer des Egofahrzeugs beim Fahren zu assistieren und/oder das Kraftfahrzeug zumindest teilautonom zu fahren.
Die Erkennung des Umfelds des Kraftfahrzeugs sowie deren Analyse erfolgt üblicherweise mithilfe von Sensoren des Egofahrzeugs. Zu diesen gehören gewöhnlich Bildsensoren und/oder radarbasierte Sensoren.
Aus der US 2019/0122559 A1 ist es bekannt, mit Bildsensoren und mittels Klassifikationsmethoden und neuronaler Netze neben Fremdobjekten auch optische Fahrbahnmarkierungen und Fahrbahnbegrenzungen zu erkennen.
Aus der DE 10 2019 208 507 A1 ist es bekannt, mit einem Bildsensor eines Egofahrzeugs Bilder der Umgebung des Egofahrzeugs zu erzeugen und die Umgebung des Egofahrzeugs im nativen Messraum des Bildsensors zu analysieren.
Die vorliegende Erfindung beschäftigt sich mit der Aufgabe für ein Verfahren zur Analyse der Umgebung eines Egofahrzeugs sowie für ein Computerprogrammprodukt zur Ausführung des Verfahrens verbesserte oder zumindest andere Ausführungsformen anzugeben, welche insbesondere Nachteile aus dem Stand der Technik beseitigen. Insbesondere beschäftigt sich die vorliegende Erfindung mit der Aufgabe, für das Verfahren und für das Computerprogrammprodukt Ausführungsformen anzugeben, welche sich durch eine erhöhte Sicherheit und/oder Robustheit auszeichnen.
Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Die vorliegende Erfindung beruht demnach auf dem allgemeinen Gedanken, zur Analyse der Umgebung eines Egofahrzeugs ein Bildsensor einzusetzen und mittels der Bilder sowie im nativen Messraum des Bildersensors und somit der Bilder dynamische Verhalten von Fremdobjekte relativ zur Umgebungstopologie zu ermitteln. Die Berücksichtigung von dynamischen Verhalten der Fremdobjekte führt zu einer insgesamt verbesserten Gesamtanalyse der Umgebung, wobei Bewegungen von Fremdobjekten relativ zum Egofahrzeug zumindest mit reduziertem Aufwand erkannt werden. Dies führt zu einer erhöhten Sicherheit im Betrieb des Egofahrzeugs. Die Durchführung des Verfahrens im nativen Messraum des Bildsensors, das heißt in der zweidimensionalen Bildebene der Bilder, führt dazu, dass Transformationen von dem nativen Messraum in andere Koordinaten, beispielsweise in dreidimensionalen Koordinaten, entfallen oder zumindest reduziert sind, sodass hiermit verbundene Fehler und Ungenauigkeiten ebenfalls entfallen oder zumindest reduziert sind. Dies führt zu einer erhöhten Robustheit und somit Zuverlässigkeit der Analyse der Umgebung des Egofahrzeugs.
Dem Erfindungsgedanken entsprechend wird bei der Analyse der Umgebung mittels Bildern des Bildsensors eine dynamische Assoziation zwischen einem Fahrkorridor des Egofahrzeugs und zumindest einem Fremdobjekt ermittelt. Diese dynamische Assoziation wird nachfolgend auch als dynamische Fremdobjekt-Fahrkorridor-Assoziation bezeichnet. Dabei werden mittels des Bildsensors Bilder der Umgebung des Egofahrzeugs erzeugt. Zudem werden mittels der Bilder und/oder der Odometrie des Egofahrzeugs und im nativen Messraum des Bildsensors aus Fahrbahninformationen ein Fahrkorridor des Egofahrzugs, entlang welchem sich das Egofahrzugs bewegen wird, ermittelt. Ferner werden mittels der Bilder und im nativen Messraum des Bildsensors Fremdobjekte detektiert. Zudem wird mittels der Bilder und im nativen Messraum des Bildsensors für zumindest eines der Fremdobjekte zumindest eine kinematische Größe ermittelt. Anhand der zumindest einen kinematischen Größe und des Fahrkorridors wird dabei zumindest eine dynamische Fremdobjekt-Fahrkorridor-Assoziation zur lateralen Bewegung des Fremdobjekts relativ zum Fahrkorridor ermittelt.
Die dynamische Fremdobjekt-Fahrkorridor-Assoziation beschreibt und/oder beinhaltet zweckmäßig die laterale Bewegung des Fremdobjekts relativ zum Fahrkorridor.
Die dynamische Fremdobjekt-Fahrkorridor-Assoziation beinhaltet zweckmäßig auch eine statische Assoziation zwischen Fremdobjekten und dem Fahrkorridor. Dies liegt insbesondere dann vor, wenn keine relative Bewegung zwischen dem Fahrkorridor und dem Fremdobjekt vorliegt. Beispielsweise kann eine solche statische Assoziation bei einem relativ zum Egofahrzeug statischen, insbesondere mit gleicher Geschwindigkeit vorausfahrenden, Fremdfahrzeug vorliegen.
Der Fahrkorridor des Egofahrzeugs wird, wie vorstehend erläutert, anhand von Fahrbahninformationen ermittelt. Zu diesen Fahrbahninformationen gehören beispielsweise optische Begrenzungen einer üblicherweise statischen Fahrbahn und/oder die Fahrbahn begrenzende seitliche Begrenzungsobjekte, wie beispielsweise Leitplanken, welche nachfolgend allgemein als Begrenzungen bezeichnet werden.
Vorzugsweise kommen zur Ermittlung des Fahrkorridors des Egofahrzeugs die Bilder und die Odometrie des Egofahrzeugs zum Einsatz. Das heißt, dass vorzugsweise mittels der Bilder und im nativen Messraum des Bildsensors aus Fahrbahninformationen sowie mittels der Odometrie des Egofahrzeugs der Fahrkorridor des Egofahrzugs ermittelt wird. Dies führt zu einer genaueren Ermittlung des Fahrkorridors und erlaubt es ferner, einen Fahrkorridor zu ermitteln, wenn benötigte Fahrbahninformationen temporär nicht oder in unzureichendem Umfang und/oder in unzureichender Qualität vorliegen. Somit wird also die Robustheit des Verfahrens erhöht.
Die Fahrbahninformationen, insbesondere der Fahrkorridor, können prinzipiell im nativen Messraum auf beliebige Weise vorliegen.
Vorteilhaft liegen Eingangsdaten für Fahrbahninformationen und folglich auch für den Fahrkorridor in Punktlisten bzw. Polygonzügen, auch unter der Bezeichnung „Splines“ geläufig, vor, welche den Fahrbahnverlauf und somit auch den Fahrkorridor entsprechend in Bildkoordinaten beschreiben. Diese Informationen spiegeln gewöhnlich die statische Fahrbahntopologie wider. Somit werden die Fahrbahninformationen und insbesondere der Fahrkorridor auf einfache Weise im nativen Messraum des Bildsensors bereitgestellt. Dies führt zu einer Reduzierung möglicher Fehler bei der Analyse, insbesondere bei der Ermittlung der dynamischen Assoziation, sowie zu einer vereinfachten, ressourcenschonenden Ausführung des Verfahrens.
Fremdobjekte können solche beliebiger Art sein.
Vorteilhaft werden solche Fremdobjekte detektiert, welche eigenbewegt sind. Hierzu gehören insbesondere andere Verkehrsteilnehmer, wie beispielsweise Fremdfahrzeuge und Personen, insbesondere Fußgänger.
Die Detektion von Fremdobjekten kann prinzipiell auf beliebige Weise erfolgen. Vorstellbar ist es, zur Detektion von Fremdobjekten neuronale Netze und/oder Objektklassifikationen einzusetzen.
Information zur Fremdobjekten können in nativen Messraum auf beliebige Weise vorliegen.
Vorteilhaft werden Fremdobjekte über sogenannte Bounding-Boxen dargestellt, welche die Position und Ausdehnung des zugehörigen Fremdobjekts in Bildkoordinaten zur Verfügung stellten. Somit werden die Fremdobjekte auf einfache Weise im nativen Messraum des Bildsensors bereitgestellt. In der Folge werden mögliche Fehler bei der Analyse, insbesondere bei der Ermittlung der dynamischen Assoziation, reduziert. Zudem wird auf diese Weise die Ausführung des Verfahrens auf ressourcenschonende Weise vereinfacht.
Alternativ oder zusätzlich ist es vorstellbar, Fremdobjekte unter Nutzung von Methoden der semantischen Segmentierung mittels ihrer Formen zu erkennen und/oder darzustellen.
Die zumindest eine kinematische Größe des Fremdobjekts kann prinzipiell eine solche beliebiger Art sein.
Bevorzugt wird als kinematische Größe des Fremdobjekts eine Geschwindigkeit des Fremdobjekts relativ zum Egofahrzeug ermittelt. Vorzugsweise wird als kinematische Größe des Fremdobjekts eine laterale Geschwindigkeit des Fremdobjekts relativ zum Fahrkorridor des Egofahrzeugs ermittelt. Die laterale Geschwindigkeit ist dabei insbesondere die Geschwindigkeit quer oder geneigt zum Fahrkorridor, insbesondere zu einer Begrenzung des Fahrkorridors.
Vorteilhaft wird als kinematische Größe des Fremdobjekts ein Abstand des Fremdobjekts zum Fahrkorridor, insbesondere zur optischen Begrenzungen des Fahrkorridors, wie beispielsweise Fahrbahnmarkierungen, ermittelt. Dabei kann es sich um den lateralen Abstand des Fremdobjekts zum Fahrkorridor, insbesondere zur Begrenzung des Fahrkorridors, handeln.
Die Ermittlung des Abstands kann durch die Messung des Abstandes in Pixeln zwischen den erfassten Polygonzügen bzw. Splines und der Bounding-Box des zugehörigen Fremdobjekts erfolgen. Somit ist eine Ressourcenschonende, einfache sowie robuste Ermittlung des Abstandes gegeben.
Vorteilhaft wird mit dem ermittelten Abstand des jeweiligen Fremdobjekts sowie basierend auf deren absoluten Positionen im Bild eine statische Assoziation im nativen Messraum für alle erfasste Fremdobjekte ermittelt. Kerngröße kann dabei die Berechnung eines zwischen 0 und 1 normierten Überlappmaßes der Bounding-Boxen mit einem Fahrkorridor sein, wie dies in der der DE 10 2019 208 507 A1 beschrieben ist.
Vorteilhaft wird als kinematische Größe des Fremdobjekts eine Bewegungsrichtung des Fremdobjekts ermittelt. Vorzugsweise wird dabei insbesondere die laterale Bewegung des Fremdobjekts relativ zum Fahrkorridor, insbesondere zu einer Begrenzung des Fahrkorridors, ermittelt.
Eine vereinfachte und robuste Ermittlung der lateralen Geschwindigkeit lässt sich dadurch erreichen, dass die Bewegung der dem Fremdobjekt zugehörigen Bounding-Box zeitlich verfolgt und aus der Bewegung die laterale Geschwindigkeit des Fremdobjekts zum Fahrkorridor ermittelt wird.
In analoger Weise lässt sich durch die zeitliche Verfolgung der Bounding-Box die Bewegungsrichtung des Fremdobjekts auf einfache und robuste Weise ermitteln.
Alternativ oder zusätzlich ist es möglich, zum Ermitteln zumindest einer der wenigstens einen kinematischen Größen den optischen Flusses, insbesondere der zugehörigen Bounding-Box, zu verwenden.
Als vorteilhaft gelten Ausführungsformen, bei welchen zur Ermittlung zumindest einer der wenigstens einen kinematischen Größen und/oder zumindest einer der wenigstens einen dynamischen Assoziationen eine Eigenbewegung des Egofahrzeugs berücksichtigt wird. Dies führt zu einer erhöhten Robustheit und somit Zuverlässigkeit bei der Ermittlung der kinematischen Größen und/oder der dynamischen Assoziation.
Die Eigenbewegung des Egofahrzeugs umfasst dabei bevorzugt sowohl translatorische als auch rotatorische Bewegungen des Egofahrzeugs.
Bevorzugt wird die Eigenbewegung des Egofahrzeugs mittels der Bilder und im nativen Messraum des Bildsensors und/oder mittels der Odometrie des Egofahrzeugs ermittelt. Dies führt zu einer weiteren Reduzierung möglicher Fehler und somit zu einer erhöhten Robustheit. Ferner lässt sich das Verfahren auf diese Weise vereinfacht und ressourcenschonend ausführen.
Zumindest eine kinematische Größe, wie beispielsweise der Geschwindigkeit und/oder der Bewegungsrichtung, des Fremdobjekts wird im nativen Messraum bevorzugt dadurch ermittelt, dass aus der Bewegung der dem Fremdobjekt zugehörigen Bounding-Box in der Bildebene und somit im nativen Messraum über die Zeit ein Geschwindigkeitssignal abgeleitet wird. Unter Herausrechnung der Eigenbewegung des Egofahrzeuges wird anschließend die relative Bewegungen des Fremdobjekts zum Fahrkorridor, insbesondere zu Begrenzungen des Fahrkorridors, ermittelt.
Eine dynamische Fremdobjekts-Fahrkorridor-Assoziation ist vorteilhaft eine Dauer, bei welcher ein sich außerhalb des Fahrkorridors befindendes Fremdobjekt in den Fahrkorridor eintritt. Diese Dauer wird nachfolgend auch als Eintrittsdauer bezeichnet und ist auch unter der englischen Bezeichnung „Time-to-enter-corridor“ oder kurz „TTEC“ geläufig.
Zur Ermittlung der Eintrittsdauer wird bevorzugt der Abstand des Fremdobjekts zum Fahrkorridor mit der Geschwindigkeit des Fremdobjekts, vorzugsweise mit der lateralen Geschwindigkeit, in Verhältnis gesetzt. Bei einer einfachen und gleichmäßigen Bewegung des Fremdobjekts ergibt sich somit für die Eintrittsdauer $TTEC = \frac{d}{v_{l}},$
wobei d der Abstand des Fremdobjekts zum Fahrkorridor und v_l die laterale Geschwindigkeit des Fremdobjekts ist. Dies führt zu einer einfachen und robusten Ermittlung der Eintrittsdauer als dynamische Fremdobjekts-Fahrkorridor-Assoziation.
Eine dynamische Fremdobjekts-Fahrkorridor-Assoziation ist vorteilhaft eine Dauer, bei welcher ein sich innerhalb des Fahrkorridors befindendes Fremdobjekt aus dem Fahrkorridor tritt. Diese Dauer wird nachfolgend auch als Austrittsdauer bezeichnet, welche auch unter der englischen Bezeichnung „Time-to-leave-corridor“ oder kurz „TTLC“ geläufig ist.
Zur Ermittlung der Austrittsdauer wird, analog zur Ermittlung der Eintrittsdauer, vorzugsweise der Abstand des Fremdobjekts zum Fahrkorridor mit der Geschwindigkeit, bevorzugt mit der lateralen Geschwindigkeit, des Fremdobjekts in Verhältnis gesetzt. Bei einer einfachen und gleichmäßigen Bewegung des Fremdobjekts ergibt sich somit für die Austrittsdauer $TTLC = \frac{d}{v_{l}},$
wobei wiederum d der Abstand des Fremdobjekts zum einer Begrenzung des Fahrkorridors und v_l die laterale Geschwindigkeit ist. Somit wird die Austrittsdauer als dynamische Fremdobjekts-Fahrkorridor-Assoziation auf einfache und robuste Weise ermittelt.
Vorstellbar ist es, aus zumindest einer der wenigstens einen dynamischen Assoziationen oder als eine solche dynamische Assoziation eine Wahrscheinlichkeit abzuleiten.
Vorstellbar ist es insbesondere, aus der Eintrittsdauer eine Eintrittswahrscheinlichkeit des Fremdobjekts in den Fahrkorridor und/oder aus der Austrittsdauer eine Austrittswahrscheinlichkeit des Fremdobjekts aus dem Fahrkorridor zu ermitteln.
Bevorzugt werden zum Ermitteln der Wahrscheinlichkeit weitere Informationen, insbesondere zum Fremdobjekt und/oder zur Verkehrssituation herangezogen.
Insbesondere wird zumindest eine geometrische Größe des Fremdobjekts, wie beispielsweise ein Winkel zwischen einer prädizierten Objekttrajektorie des Fremdobjekts und dem Fahrkorridor, insbesondere Begrenzungen des Fahrkorridors, herangezogen.
Vorstellbar ist es, die jeweilige Wahrscheinlichkeit, insbesondere die Eintrittswahrscheinlichkeit und/oder die Austrittswahrscheinlichkeit, einer Plausibilitätsprüfung zu unterziehen. Die Plausibilitätsprüfung berücksichtigt dabei vorteilhaft Verkehrsteilnehmerintentionen, wie beispielsweise die Nutzung eines Blinkersignals eines Fremdfahrzeugs und dergleichen.
Die zumindest eine ermittelte kinematische Größe und/oder dynamische Fremdobjekt-Fahrkorridor-Assoziation wird vorteilhaft einem Fahrassistenzsystem des Egofahrzeugs zur Verfügung gestellt. Das Fahrassistenzsystem berücksichtigt dabei bei der Entscheidungsfindung zur Fahrzeugassistenz die zumindest eine kinematische Größe und/oder dynamische Assoziation.
Das Fahrzeugassistenzsystem kann hierbei sowohl zur Unterstützung eines Fahrzeugführers als auch zum zumindest teilautonomen Fahren des Egofahrzeugs eingesetzt werden, insbesondere ausgestaltet sein.
Das Fahrzeugassistenzsystem kann beispielsweise einen adaptiven Abstandstempomat und/oder eine autonome Notbremsfunktion umfassen.
Insgesamt kann beim Verfahren eine Auswertung der Szenerie im nativen Messraum des Bildsensors durchgeführt werden. Dazu gehören detektierbare Fremdobjekte inklusive der Ermittlung zumindest einer kinematischen Größe wenigstens eines Fremdobjekts. Ferner gehört hierzu die Bestimmung von Spuren und Begrenzungen des befahrbaren Bereiches. Bevorzugt wird durch die Fusion verschiedener Algorithmen die gesamte Fahrbahntopologie inklusive des Fahrkorridors im nativen Messraum des Bildsensors ermittelt.
Vorteilhaft wird zum Detektieren von Fremdobjekten eine Fusion von Objekten aus einem klassifikations- und generischen Detektionsergebnis eingesetzt.
Vorteilhaft erfolgt anschließend eine Fusion der Fremdobjekte und des Fahrkorridors zur statischen Assoziation zwischen dem Fahrkorridor und den Fremdobjekten im nativen Messraum des Bildsensors.
Bevorzugt erfolgt die Ermittlung von zumindest einer dynamischen Fremdobjekts-Fahrkorridor-Assoziation im nativen Messraum des Bildsensors. Zu diesen gehören beispielsweise die Eintrittsdauer oder kurz TTEC zur frühzeitigen Erkennung von Fremdobjekten, welche voraussichtlich in den Fahrkorridor eintreten werden. Alternativ oder zusätzlich gehört zu diesen die Austrittsdauer oder kurz TTLC zur frühzeitigen Erkennung von Fremdobjekten, welche voraussichtlich den Fahrkorridor verlassen werden.
Auch können Eintrittswahrscheinlichkeit und/oder Austrittswahrscheinlichkeiten ermittelt werden.
Vorstellbar ist es, ein Fusionsmodul einzusetzen, um nachgelagerte Funktionen, wie beispielsweise das Fahrzeugassistenzsystem, mit unterschiedlichen Anforderungen mit benötigten Informationen zu versorgen.
Vorstehend ist der Einfachheit halber angenommen, dass das Egofahrzeug einen einzigen Bildsensor umfasst. Es versteht sich, dass das Egofahrzeug auch zwei oder mehr Bildsensoren umfassen kann, welche jeweils Bilder erzeugen, wobei das Verfahren mit den Bildern der zwei oder mehr Bildsensoren in analoger Weise durchgeführt wird.
Der jeweilige Bildsensor ist gewöhnlich Bestandteil einer Kamera des Egofahrzeugs.
Ferner ist klar, dass das Egofahrzeug auch weitere Sensoren, wie beispielsweise zumindest einen Radarsensor aufweisen kann, wobei das Verfahren dann entsprechend erweitert werden kann.
Es versteht sich, dass die ermittelten Größen und/oder Assoziationen, insbesondere bei Vorhandensein von im dreidimensionalen arbeitenden Sensoren, wie beispielsweise Radarsensoren, einer Transformation unterzogen und beispielsweise in einem dreidimensionalem Raum angewendet werden können.
Das erfindungsgemäße Verfahren wird vorteilhaft mittels eines Computerprogramprodukts ausgeführt, welches entsprechend ausgestaltet ist.
Das Computerprogrammprodukt enthält vorteilhaft durch ein Computersystem auslesbare Anweisungen, derart, dass das Computersystem beim Ausführen des Computerprogrammprodukts das Verfahren ausführt.
Das Computerprogrammprodukt ist vorteilhaft auf ein zumindest einem nichtflüchtigen Speicher aufweisenden Speichersystem gespeichert.
Das Computerprogrammprodukt enthält vorteilhaft Befehle, die bewirken, dass das Egofahrzeug, insbesondere die Steuereinrichtung, das Verfahren ausführt.
Das Computerprogrammprodukt kann dabei zumindest teilweise im Egofahrzeug hinterlegt sein. Zum Durchführen des Computerprogramprodukts kann das Egofahrzeug eine entsprechend ausgestaltete Steuereinrichtung aufweisen.
Es versteht sich, dass auch das Computerprogrammprodukt zum Umfang dieser Erfindung gehört.
Weitere wichtige Merkmale und Vorteile der Erfindung ergeben sich aus den Unteransprüchen, aus den Zeichnungen und aus der zugehörigen Figurenbeschreibung anhand der Zeichnungen.
Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Bevorzugte Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden in der nachfolgenden Beschreibung näher erläutert, wobei sich gleiche Bezugszeichen auf gleiche oder ähnliche oder funktional gleiche Komponenten beziehen.
Es zeigen, jeweils schematisch

1 eine stark vereinfachte Darstellung eines Kraftfahrzeugs mit einem Bildsensor,
2 ein mittels des Bildsensors aufgenommenes Bild,
3 ein Flussdiagramm zu Erläuterung eines Verfahrens zur Ermittlung einer dynamischen Fremdobjekt-Fahrkorridor-Assoziation mittels mit dem Bildsensor erzeugten Bildern.

Ein Kraftfahrzeug 1, wie es in 1 vereinfacht dargestellt ist, weist zumindest einen Bildsensor 2 auf. Bei dem in 1 gezeigten Ausführungsbeispiel ist der Einfachheit halber angenommen, dass das Kraftfahrzeug 1 einen einzigen solchen Bildsensor 2 aufweist. Im gezeigten Ausführungsbeispiel ist der Bildsensor 2 Bestandteil einer Kamera 3. Der Bildsensor 2 erzeugt im Betrieb Bilder 4 von der Umgebung des Kraftfahrzeugs 1 (vergleiche 2 und 3). Mittels dieser Bilder 4 wird gemäß dem nachfolgend beschriebenen Verfahren eine dynamische Assoziation zwischen einem Fahrkorridor 5 des Kraftfahrzeugs 1 und Fremdobjekten 6 ermittelt. Bei dem Kraftfahrzeug 1 handelt es sich somit um das Egofahrzeug 1. Die dynamische Assoziation wird nachfolgend auch als dynamische Fremdobjekt-Fahrkorridor-Assoziation bezeichnet.
2 zeigt ein Bild 4 des Bildsensors 2, in welcher zusätzlich Informationen eingezeichnet sind. 3 zeigt ein Flussdiagramm zu Erläuterung des Verfahrens.
Wie den 2 und 3 entnommen werden kann, werden zur Ermittlung der dynamischen Fremdobjekts-Fahrkorridor-Assoziation die Bilder 4 herangezogen, wobei in 3 ein solches Bild 4 symbolisch und gestrichelt angedeutet ist. Dabei erfolgen das Detektieren von Fremdobjekten 6 sowie die Ermittlung des Fahrkorridors 5 sowie der Kinemathek der Fremdobjekte 6 mittels der Bilder 4 und im nativen Messraum des Bildsensors 2 und somit in der zweidimensionalen Bildebene. Zur Ermittlung der dynamischen Assoziation werden dabei mittels der Bilder 4 des Bildsensors 2 und im nativen Messraum des Bildsensors 2 aus Fahrbahninformationen der Fahrkorridor 5 des Egofahrzugs 1 ermittelt. Der Fahrkorridor 5 ist derjenige Korridor 5, entlang welchem sich das Egofahrzugs 1 bewegen wird. Üblicherweise ist der Fahrkorridor 5 durch nicht gezeigte Fahrbahnbegrenzungen als Fahrbahninformationen begrenzt und/oder kann aus der kinematischen Bewegung des Egofahrzeugs 1 und somit der Odometrie des Egofahrzeugs 1 geschätzt werden. Zudem werden mittels der Bilder 4 des Bildsensors 2 und im nativen Messraum des Bildsensors 2 Fremdobjekte 6 detektiert. In dem in 2 gezeigten Beispiel ist der Einfachheit halber ein einziges Fremdobjekt 6 zu sehen. Zudem wird nachfolgend der Einfachheit halber angenommen, dass in den Bildern 4 dieses einzigen Fremdobjekt 6 detektiert wird. Bei dem Fremdobjekt handelt es sich um ein eigenbewegtes Fremdobjekt 6. Dabei handelt es sich bei dem Fremdobjekt 6 rein beispielhaft um eine Person 7. Ebenso kann ein nicht gezeigtes Fremdfahrzeug ein Fremdobjekts 6 sein. Ferner wird mittels der Bilder 4 des Bildsensors 2 und im nativen Messraum des Bildsensors 2 für zumindest eines der Fremdobjekte 6, im gezeigten Ausführungsbeispiel für das einzige Fremdobjekt 6, zumindest eine kinematische Größe ermittelt. Anhand der zumindest einen kinematischen Größe und des Fahrkorridors 5 wird dann zumindest eine dynamische Fremdobjekt-Fahrkorridor-Assoziation zur lateralen Bewegung des Fremdobjekts 6 relativ zum Fahrkorridor 5 ermittelt. Die dynamische Fremdobjekt-Fahrkorridor-Assoziation beschreibt und/oder beinhaltet also die laterale Bewegung des Fremdobjekts 6 relativ zum Fahrkorridor 5. Zweckmäßig beinhaltet die dynamische Fremdobjekt-Fahrkorridor-Assoziation auch eine statische Assoziation zwischen Fremdobjekten 6 und dem Fahrkorridor 5. Unter statische Assoziation ist dabei die Zuordnung von relativ zum Fahrkorridor 5 statischen Fremdobjekten 6 zu verstehen.
Die Fahrbahninformationen können in Punktlisten bzw. Polygonzüge, auch als Splines bekannt, vorliegen, welche den Fahrbahnverlauf und den Fahrkorridor 5 entsprechend in Bildkoordinaten beschreiben. Wie in 2 angedeutet, können Fremdobjekte 6 über zugehörige sogenannte Bounding-Boxen 8 dargestellt werden, welche Position und Ausdehnung des zugehörigen Fremdobjekts 6 in Bildkoordinaten zur Verfügung stellten.
Das Verfahren zur Ermittlung der dynamischen Assoziation wird nachfolgend mit Bezug auf 3 beispielhaft erläutert. Dabei wird das Verfahren vorteilhaft mit einem entsprechend ausgestalteten Computerprogrammprodukt ausgeführt.
Wie in 3 gestrichelt angedeutet, werden fortlaufend mit dem Bildsensor 2 erzeugte Bilder 4 bereitgestellt. In einer Verfahrensmaßnahme 100 werden die Bilder 4 herangezogen und, wie vorstehend erläutert, im nativen Messraum der Fahrkorridor 5 zu ermitteln. Die Verfahrensmaßnahme 100 wird nachfolgend auch als Spurenmaßnahme 100 bezeichnet. Die Spurenmaßnahme 100 umfasst vorteilhaft neben der Ermittlung des Fahrkorridors 5 auch die Ermittlung den gesamten befahrbaren Bereich sowie deren Topologie. In einer weiteren Verfahrensmaßnahmen 101 werden die Bilder 4 herangezogen und, wie vorstehend erläutert, im nativen Messraum Fremdobjekte 6 detektiert. Diese Verfahrensmaßnahme 101 wird nachfolgend auch als Fremdobjekt-Maßnahme 101 bezeichnet. Für die Fremdobjekte 6 wird ferner mittels der Bilder 4 und im nativen Messraum in einer Verfahrensmaßnahme 102 zumindest eine kinematische Größe ermittelt. Diese Verfahrensmaßnahme 102 wird nachfolgend auch als Kinematik-Maßnahme 102 bezeichnet. In dem gezeigten Ausführungsbeispiel wird ferner mittels der Bilder 4 und im nativen Messraum in einer Verfahrensmaßnahme 103 die Eigenbewegung des Egofahrzeugs 1 ermittelt. Diese Verfahrensmaßnahme 103 wird nachfolgend auch als Eigenbewegung-Maßnahme 103 bezeichnet. Die Eigenbewegung-Maßnahme 103 umfasst vorteilhaft die Ermittlung von translatorischen und rotatorischen Eigenbewegungen des Egofahrzeugs 1. Dabei wird in der Kinematik-Maßnahme 102 das Ergebnis der Eigenbewegung-Maßnahme 103 berücksichtigt. Das heißt, dass die zumindest eine kinematische Größe im nativen Messraum ermittelt wird, wobei zu diesem Zweck die Eigenbewegung des Egofahrzeugs 1 berücksichtigt wird. Die Ergebnisse der Verfahrensmaßnahmen 100 bis 103 werden einer nachfolgenden Verfahrensmaßnahme 104 zur Verfügung gestellt, um, wie vorstehend erläutert, zumindest eine dynamische Fremdobjekt-Fahrkorridor-Assoziation zu ermitteln. Die Verfahrensmaßnahme 104 wird nachfolgend auch als Assoziationsmaßnahme 104 bezeichnet. Das Ergebnis der Assoziationsmaßnahme 104 umfasst, wie vorstehend erläutert und in 3 mit zwei Feldern innerhalb der Assoziationsmaßnahme 104 angedeutet, sowohl die Assoziation von sich relativ zum Fahrkorridor 5 bewegenden Fremdobjekten 6 als auch die statische Assoziation. Wie in 3 angedeutet, kann das Ergebnis der Assoziationsmaßnahme 104 einem Fahrassistenzsystem 9 des Egofahrzeugs 1 zur Verfügung gestellt werden. Mit dem Fahrassistenzsystem 9 kann sowohl eine Unterstützung eines Fahrzeugführers (nicht gezeigt) als auch ein zumindest teilautonomes Fahren des Egofahrzeugs 1 umgesetzt werden. Das Fahrassistenzsystem 9 kann beispielsweise einen adaptiven Abstandstempomat und/oder eine autonome Notbremsfunktion umfassen.
Zumindest eine der ermittelten kinematischen Größen ist vorteilhaft die laterale Geschwindigkeit des Fremdobjekts 6 relativ zum Fahrkorridor 5, vorzugsweise zu einer Begrenzung des Fahrkorridors 5. Das heißt, dass mittels der Bilder 4 und im nativen Messraum eine Geschwindigkeit des Fremdobjekts 6 quer oder geneigt zum Fahrkorridor 5 ermittelt wird. Die Ermittlung der lateralen Geschwindigkeit erfolgt vorteilhaft dadurch, dass aus der Bewegung der dem Fremdobjekt 6 zugehörigen Bounding-Box 8 in der Bildebene über die Zeit ein Geschwindigkeitssignal abgeleitet wird. Unter Berücksichtigung der Eigenbewegung des Egofahrzeugs 1 kann anschließend die relative Bewegung des Fremdobjekts 6 zum Fahrkorridor 5, insbesondere Begrenzungen des Fahrkorridors 5, und somit die laterale Geschwindigkeit ermittelt werden. In gleicherweise lässt sich eine Bewegungsrichtung 10 (siehe 2) des Fremdobjekts 6 als kinematische Größe ermitteln. Vorteilhaft wird als weitere kinematische Größe ein Abstand des Fremdobjekts 6 zum Fahrkorridor 5, insbesondere zur Begrenzungen des Fahrkorridors 5 ermitteln. Dies erfolgt beispielsweise dadurch, dass der Abstand in Pixeln zwischen den Splines und der zugehörigen Bounding-Box 8 gemessen wird. Dabei kann es sich um den lateralen Abstand des Fremdobjekts 6 zur Begrenzung des Fahrkorridors 5 handeln. Mittels des Abstandes lässt sich insbesondere auch die statische Assoziation vereinfacht umsetzen. Alternativ oder zusätzlich ist es möglich, kinematische Größen mittels des optischen Flusses zu ermitteln.
Die jeweilige dynamische Assoziation kann eine solche beliebiger Art sein, sofern sie eine dynamische Relation zwischen dem Fahrkorridor 5 und dem zugehörigen Fremdobjekts 6 beschreibt und/oder beinhaltet.
Beim in 2 gezeigten Ausführungsbeispiel wird als dynamische Assoziation eine Eintrittsdauer ermittelt, bei welcher das Fremdobjekts 6 in den Fahrkorridor 5 eintritt. Die Eintrittsdauer ist auch unter ihrer englischen Bezeichnung „Time-to-enter-corridor“ oder kurz „TTEC“ geläufig. Dabei befindet sich das Fremdobjekts 6 außerhalb des Fahrkorridors 5. Als Eintrittsdauer entspricht dabei im einfachen Fall einer gleichmäßigen Bewegung des Fremdobjekts 6 dem Verhältnis zwischen dem Abstand des Fremdobjekts 6 zu einer Begrenzung des Fahrkorridors 5 und der lateralen Geschwindigkeit: $TTEC = \frac{d}{v_{l}},$
wobei d der Abstand und v_l die laterale Geschwindigkeit sind. In analoger Weise lässt sich für ein sich innerhalb des Fahrkorridors 5 befindendes Fremdobjekt 6 (nicht gezeigt) eine Austrittsdauer ermittelt, bei welcher das Fremdobjekt 6 aus dem Fahrkorridor 5 austritt. Die Austrittsdauer ist auch unter ihrer englischen Bezeichnung „Time-to-leave-corridor“ oder kurz „TTLC“ geläufig.
Vorteilhaft werden anhand der Eintrittsdauer bzw. Austrittsdauer Wahrscheinlichkeiten für den Eintritt des Fremdobjekts 6 in den Fahrkorridor 5 bzw. den Austritt des Fremdobjekts 6 aus dem Fahrkorridor 5 ermittelt. Zu diesem Zweck wird vorteilhaft zumindest eine geometrische Größe des Fremdobjekts 6 herangezogen, wobei mittels der zumindest einen geometrischen Größe und der Eintrittsdauer eine Eintrittswahrscheinlichkeit des Fremdobjekts 6 in den Fahrkorridor 5 ermittelt wird, und/oder wobei mittels der zumindest einen geometrischen Größe und der Austrittsdauer eine Austrittswahrscheinlichkeit des Fremdobjekts 6 aus dem Fahrkorridor 5 ermittelt wird. Eine solche geometrischen Größe ist beispielsweise der Winkel zwischen der prädizierter Objekttrajektorie des Fremdobjekts 6 und dem Fahrkorridor 5, insbesondere einer Begrenzung des Fahrkorridors 5.
Zusätzlich kann eine Plausibilitätsprüfung für den Eintritt oder Austritt des Fremdobjekts 6 herangezogen werden. Eine solche Plausibilitätsprüfung umfasst vorteilhaft weitere Informationen zum Fremdobjekt 6, wie beispielsweise ein Blinkersignal eines Fremdfahrzeugs (nicht gezeigt) als Fremdobjekt 6.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 20190122559 A1 [0004]
DE 102019208507 A1 [0005, 0026]

Claims

Verfahren zur Ermittlung einer dynamischen Fremdobjekt-Fahrkorridor-Assoziation mittels eines Bildsensors (2) eines Egofahrzeugs (1), - wobei mittels des Bildsensors (2) Bilder (4) der Umgebung des Egofahrzeugs (1) erzeugt werden, - wobei mittels der Bilder (4) im nativen Messraum des Bildsensors (2) • aus Fahrbahninformationen und/oder mittels der Odometrie des Egofahrzeugs (1) ein Fahrkorridor (5) des Egofahrzugs (1), entlang welchem sich das Egofahrzugs (1) bewegen wird, ermittelt wird, • Fremdobjekte (6) detektiert werden, • für zumindest eines der Fremdobjekte (6) zumindest eine kinematische Größe ermittelt wird, - anhand der zumindest einen kinematischen Größe und des Fahrkorridors (5) zumindest eine dynamische Fremdobjekt-Fahrkorridor-Assoziation zur lateralen Bewegung des Fremdobjekts (6) relativ zum Fahrkorridor (5) ermittelt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als kinematische Größe eine laterale Geschwindigkeit des Fremdobjekts (6) relativ zum Fahrkorridor (5) ermittelt wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, - dass dem Fremdobjekt (6) im nativen Messraum eine Bounding Box (8) zugeordnet wird, - dass die Bewegung der Bounding Box (8) zeitlich verfolgt und aus der Bewegung die laterale Geschwindigkeit des Fremdobjekts (6) zum Fahrkorridor (5) ermittelt wird.
Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass eine Eigenbewegung des Egofahrzeugs (1) herangezogen und anhand der Geschwindigkeit eine relative Bewegung des Fremdobjekts (6) zum Fahrkorridor (5) als dynamische Fremdobjekt-Fahrkorridor-Assoziation ermittelt wird.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass als kinematische Größe ein Abstand des Fremdobjekts (6) zum Fahrkorridor (5) ermittelt wird.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, - dass im nativen Messraum Fremdobjekte (6) detektiert werden, welche sich außerhalb des Fahrkorridors (5) befinden, - dass als dynamische Fremdobjekt-Fahrkorridor-Assoziation eine Eintrittsdauer ermittelt wird, bei welcher das Fremdobjekts (6) in den Fahrkorridor (5) eintritt.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, - dass im nativen Messraum Fremdobjekte (6) detektiert werden, welche sich innerhalb des Fahrkorridors (5) befinden, - dass als dynamische Fremdobjekt-Fahrkorridor-Assoziation eine Austrittsdauer ermittelt wird, bei welcher das Fremdobjekts (6) aus dem Fahrkorridor (5) austritt.
Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass als Eintrittsdauer oder Austrittsdauer das Verhältnis zwischen dem Abstand des Fremdobjekts (6) zu einer Begrenzung des Fahrkorridors (5) und der lateralen Geschwindigkeit ermittelt wird.
Verfahren nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, - dass zumindest eine geometrische Größe des Fremdobjekts (6) herangezogen wird, • dass mittels der zumindest einen geometrischen Größe und der Eintrittsdauer eine Eintrittswahrscheinlichkeit des Fremdobjekts (6) in den Fahrkorridor (5) ermittelt wird, und/oder • dass mittels der zumindest einen geometrischen Größe und der Austrittsdauer eine Austrittswahrscheinlichkeit des Fremdobjekts (6) aus dem Fahrkorridor (5) ermittelt wird.
Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die zumindest eine dynamische Fremdobjekt-Fahrkorridor-Assoziation einem Fahrassistenzsystem (9) des Egofahrzeugs (1) zur Verfügung gestellt wird.
Computerprogrammprodukt, welches zur Ausführung des Verfahrens nach einem der Ansprüche 1 bis 10 ausgestaltet ist.