-
Die Erfindung betrifft ein Verfahren und eine entsprechende Verarbeitungseinheit zur Erkennung und/oder zur Verfolgung von Objekten auf Basis von Sensordaten von Umfeldsensoren eines Fahrzeugs.
-
Ein Fahrzeug umfasst typischerweise eine Mehrzahl von unterschiedlichen Umfeldsensoren, die eingerichtet sind, unterschiedliche Sensordaten bezüglich eines Umfelds des Fahrzeugs zu erfassen. Beispielhafte Umfeldsensoren sind Radarsensoren, Ultraschallsensoren, Lidar-Sensoren, Bildsensoren, etc. Auf Basis der Sensordaten der ein oder mehreren Umfeldsensoren eines Fahrzeugs können ein oder mehrere Objekte (z.B. ein oder mehrere andere Fahrzeuge) in einem Umfeld des Fahrzeugs detektiert werden.
-
Das vorliegende Dokument befasst sich mit der technischen Aufgabe, ein Verfahren und eine entsprechende Verarbeitungseinheit bereitzustellen, durch die in präziser und robuster Weise ein Objekt im Umfeld eines Fahrzeugs detektiert und nachverfolgt werden kann.
-
Die Aufgabe wird durch die Merkmale der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.
-
Gemäß einem Aspekt wird ein Verfahren zur Detektion und/oder zur Nachverfolgung eines Objektes (z.B. eines anderen Verkehrsteilnehmers, etwa eines anderen Fahrzeugs) in einem Umfeld eines Fahrzeugs beschrieben. Bei dem Objekt kann es sich insbesondere um ein dynamisches bzw. ein sich bewegendes Objekt handeln. Das Verfahren kann durch eine Verarbeitungseinheit (z.B. durch ein Steuergerät) des Fahrzeugs ausgeführt werden. Das Fahrzeug kann ein Straßenkraftfahrzeug, wie z.B. einen Personenkraftwagen, einen Lastkraftwagen, einen Bus oder ein Motorrad, umfassen.
-
Das Verfahren umfasst das Ermitteln an einem ersten Zeitpunkt, auf Basis von Sensordaten von ein oder mehreren Umfeldsensoren des Fahrzeugs, von Messdaten bezüglich einer Vielzahl von Zellen eines Rasters des Umfelds des Fahrzeugs. Die Messdaten für eine erste Zelle der Vielzahl von Zellen zeigen dabei eine Objekt-Wahrscheinlichkeit dafür an, dass die erste Zelle durch ein Objekt belegt ist. Außerdem zeigen die Messdaten für die erste Zelle eine Zellgeschwindigkeit der ersten Zelle an.
-
Das Verfahren umfasst ferner das Ermitteln einer Belegungs-Wahrscheinlichkeit dafür, dass die erste Zelle durch ein Objekt belegt wird, das bereits an einem vorhergehenden Zeitpunkt detektiert war. Die Belegungs-Wahrscheinlichkeit wird dabei auf Basis eines Zustands des Objekts an dem vorhergehenden Zeitpunkt ermittelt. Außerdem umfasst das Verfahren das Zuweisen der ersten Zelle zu dem Objekt in Abhängigkeit von der Objekt-Wahrscheinlichkeit und in Abhängigkeit von der Belegungs-Wahrscheinlichkeit.
-
Gemäß einem weiteren Aspekt wird ein Verfahren zur Detektion eines Objektes in einem Umfeld eines Fahrzeugs beschrieben. Das Verfahren umfasst das Ermitteln, auf Basis von Sensordaten von ein oder mehreren Umfeldsensoren des Fahrzeugs, einer Menge von dynamischen Zellen eines Rasters des Umfelds des Fahrzeugs. Dabei zeigen die Sensordaten Zellgeschwindigkeiten von Zellen des Rasters an. Das Verfahren umfasst ferner das Bilden eines Zell-Clusters aus der Menge von dynamischen Zellen in Abhängigkeit von einem Clustermaß, wobei das Clustermaß von der Zellgeschwindigkeit der dynamischen Zellen des Zell-Clusters abhängt. Außerdem umfasst das Verfahren das Erweitern des Zell-Clusters mit ein oder mehreren Zellen aus einer unmittelbaren Nachbarschaft des Zell-Clusters, ohne Berücksichtigung der Zellgeschwindigkeit der ein oder mehreren Zellen. Des Weiteren umfasst das Verfahren das Detektieren eines Objektes auf Basis des Zell-Clusters.
-
Gemäß einem weiteren Aspekt wird ein Verfahren zur Detektion eines Objektes in einem Umfeld eines Fahrzeugs beschrieben. Das Verfahren umfasst das Ermitteln, auf Basis von Sensordaten von ein oder mehreren Umfeldsensoren des Fahrzeugs, von Zellen eines Rasters des Umfelds des Fahrzeugs, die zu einem Objekt gehören. Dabei zeigen die Sensordaten Zellgeschwindigkeiten von Zellen des Rasters an. Außerdem umfasst das Verfahren das Ermitteln einer Orientierung des Objekts auf Basis der Zellgeschwindigkeiten der Zellen des Objekts. Das Verfahren umfasst ferner das Ermitteln einer Breite und einer Länge des Objekts unter Berücksichtigung der ermittelten Orientierung des Objekts.
-
Gemäß einem weiteren Aspekt wird eine Verarbeitungseinheit beschrieben, die eingerichtet ist, eines oder mehrere der in diesem Dokument beschriebenen Verfahren auszuführen.
-
Gemäß einem weiteren Aspekt wird ein Fahrzeug (z.B. ein Personenkraftwagen, ein Lastkraftwagen oder ein Motorrad) beschrieben, das die in diesem Dokument beschriebene Auswerteeinheit umfasst.
-
Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Steuergerät eines Fahrzeugs) ausgeführt zu werden, und um dadurch zumindest eines der in diesem Dokument beschriebenen Verfahren auszuführen.
-
Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch zumindest eines der in diesem Dokument beschriebenen Verfahren auszuführen.
-
Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden.
-
Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen
- 1 ein beispielhaftes Fahrzeug mit einer Mehrzahl von unterschiedlichen Umfeldsensoren;
- 2 ein beispielhaftes Raster einer Umgebung eines Fahrzeugs; und
- 3 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Detektion und/oder zur Nachverfolgung eines Objektes in einem Umfeld eines Fahrzeugs;
- 4 ein Ablaufdiagramm eines weiteren beispielhaften Verfahrens zur Detektion eines Objektes in einem Umfeld eines Fahrzeugs; und
- 5 ein Ablaufdiagramm eines weiteren beispielhaften Verfahrens zur Detektion eines Objektes in einem Umfeld eines Fahrzeugs.
-
Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der Detektion und der Nachverfolgung zumindest eines Objektes auf Basis von Sensordaten von ein oder mehreren Umfeldsensoren eines Fahrzeugs. In diesem Zusammenhang zeigt 1 ein Fahrzeug 100 mit ein oder mehreren Umfeldsensoren 111 zur Erfassung von Sensordaten. Das Fahrzeug 100 umfasst weiter eine Verarbeitungseinheit 101, die eingerichtet ist, auf Basis der Sensordaten ein Objekt 150 im Umfeld des Fahrzeugs 100 zu detektieren. Ein detektiertes Objekt 150 kann dann in einer Fahrzeugfunktion 102 (z.B. für das teilautomatisierte oder hochautomatisierte Fahren des Fahrzeugs 100) verwendet werden.
-
2 zeigt ein beispielhaftes Raster 200 einer Umgebung des Fahrzeugs 100 mit einer Vielzahl von Rasterzellen oder kurz Zellen 201. Das Raster 200 kann die Umgebung bzw. das Umfeld des Fahrzeugs 100 in die Vielzahl von zwei- oder drei-dimensionalen Zellen 201 aufteilen. Eine zwei-dimensionale Zelle 201 kann dabei eine Rechteckform aufweisen (beispielsweise mit einer Kantenlänge von 10cm, 5cm, 2cm, 1cm oder weniger).
-
Die Verarbeitungseinheit
101 kann eingerichtet sein, auf Basis der Sensordaten für ein oder mehrere der Zellen
201 (insbesondere für jede Zelle
201) Messdaten z
c zu ermitteln. Dabei zeigen die Messdaten z
c für eine Zelle c 201 z.B. an
wobei m(S) eine Evidenz dafür ist, dass die Zelle c 201 durch ein statisches Objekt
150 belegt ist (und somit eine statische (belegte) Zelle
201 ist), wobei m(D) eine Evidenz dafür ist, dass die Zelle c 201 durch ein dynamisches Objekt
150 belegt ist (und somit eine dynamische (belegte) Zelle
201 ist), wobei m({S,D}) eine Evidenz dafür ist, dass die Zelle c 201 durch ein Objekt
150 belegt ist, das nicht eindeutig als statisch oder dynamisch erkannt werden kann (und somit eine nicht klassifizierbare belegte Zelle
201 ist), und wobei m(F) eine Evidenz dafür ist, dass die Zelle c 201 frei ist, und somit nicht durch ein Objekt
150 belegt ist (und somit eine freie Zelle
201 ist). Die Evidenz dafür, dass die Zelle
201 durch eine Objekt
150 belegt ist (insbesondere m(S), m(D), m({S,D})), kann als Objekt-Wahrscheinlichkeit dafür betrachtet werden, dass die Zelle
201 durch ein Objekt
150 belegt ist (insbesondere im Sinne der Dempster-Shafer Theorie). Des Weiteren kann auf Basis der Sensordaten eine (gerichtete) Zellgeschwindigkeit v
c ermittelt werden, d.h. es kann der Betrag der Geschwindigkeit und ggf. die Bewegungsrichtung der Zelle c 201 ermittelt werden. Aus der Bewegungsrichtung kann typischerweise auch auf die Orientierung der Zelle
201 geschlossen werden.
-
Diese Messdaten können an einem Ausgangs-Zeitpunkt t0 für zumindest einige der Zellen 201 des Rasters 200 ermittelt werden. Es können dann, auf Basis der Messdaten z.B. durch Verwendung eines Cluster-Algorithmus, ein oder mehrere Objekte 251, 252, 255 detektiert werden. Beispielsweise können benachbarte Zellen c 201, die eine relativ hohe Evidenz für das Vorliegen eines dynamischen Objektes 150 und die eine relativ ähnliche Geschwindigkeit vc aufweisen, zu einem Objekt 251, 252 zusammengefasst werden. Ein Objekt τ 251, 252 kann dabei durch eine (z.B. rechteckige) Box mit Zellen 201 dargestellt werden. Des Weiteren kann eine Objektgeschwindigkeit vτ (mit einem Betrag und einer Richtung) ermittelt werden, insbesondere auf Basis der Zellgeschwindigkeiten vc der in dem Objekt τ 251, 252 enthaltenen Zellen 201.
-
Die an einem Ausgangs-Zeitpunkt t0 detektierten ein oder mehreren (dynamischen) Objekte τ 251, 252 können bei der Zuordnung von Zellen 201 zu einem Objekt τ 251, 252 an einem nachfolgenden ersten Zeitpunkt t1 berücksichtigt werden. So kann die Robustheit und Zuverlässigkeit der Objekterkennung und/oder der Objektverfolgung erhöht werden. Außerdem können so Geschwindigkeitsänderungen eines Objektes (insbesondere das Stehenbleiben eines dynamischen Objektes) zuverlässig erkannt und berücksichtigt werden.
-
An dem ersten Zeitpunkt t1 können auf Basis der Sensordaten der ein oder mehreren Umfeldsensoren 111 aktualisierte Messdaten zc für Zellen 201 des Rasters 200 ermittelt werden. Es kann somit für eine beispielhafte erste Zelle 205 an dem ersten Zeitpunkt t1 die Objekt-Evidenz und/oder die Objekt-Wahrscheinlichkeit dafür ermittelt werden, dass die erste Zelle 205 an dem ersten Zeitpunkt t1 durch ein (ggf. dynamisches) Objekt belegt ist. Des Weiteren kann die Zellgeschwindigkeit vc der ersten Zelle 205 ermittelt werden.
-
Die ein oder mehreren (ggf. dynamischen) Objekte 251, 252 des Ausgangs-Zeitpunkt t0 können auf den ersten Zeitpunkt t1 transformiert werden. Mit anderen Worten, es kann prädiziert werden, insbesondere auf Basis der Objektgeschwindigkeit vτ eines Objektes 251, 252, welche Zellen 201 des Rasters 200 an dem ersten Zeitpunkt t1 durch das Objekt 251, 252 belegt werden. Insbesondere kann, (ggf. allein) auf Basis des Zustands eines Objektes 251, 252 am Ausgangs-Zeitpunkt t0, für die erste Zelle 205 die Belegungs-Wahrscheinlichkeit αo (c, τ) dafür ermittelt werden, dass die erste Zelle c 205 durch ein Objekt τ 251, 252 belegt ist. Die Belegungs-Wahrscheinlichkeit αo (c, τ) ist dabei bevorzugt unabhängig von den Messdaten für die Zellen 201 des Rasters 200 (insbesondere für die erste Zelle 205) am ersten Zeitpunkt t1.
-
Des Weiteren kann eine Assoziations-Wahrscheinlichkeit αv(zc, τ) dafür ermittelt werden, dass die erste Zelle 205 mit einem Objekt τ 251, 252 assoziiert ist, d.h. zu dem Objekt τ 251, 252 gehört. Zu diesem Zweck können insbesondere die Zellgeschwindigkeit vc der ersten Zelle 205 an dem ersten Zeitpunkt t1 mit der (prädizierten) Objektgeschwindigkeit vτ des Objekts τ 251, 252 an dem ersten Zeitpunkt t1 verglichen werden. Eine ähnliche Zell- bzw. Objektgeschwindigkeit führt typischerweise zu einer relativ hohen Assoziations-Wahrscheinlichkeit.
-
Die Assoziations-Wahrscheinlichkeit αv(zc, τ) und die Belegungs-Wahrscheinlichkeit αo(c, τ) können für mehrere infrage kommende Objekte τ 251, 252 ermittelt werden. Es kann ein erstes Objekt 251 als mögliches Objekt 252 für die erste Zelle 205 selektiert werden, das eine maximale (gewichtete) Kombination aus der Assoziations-Wahrscheinlichkeit αv(zc, τ) und der Belegungs-Wahrscheinlichkeit αo (c, τ) ermöglicht.
-
Die erste Zelle 205 kann dem selektierten ersten Objekt 251 ggf. nur dann zugewiesen werden, wenn die Objekt-Evidenz und/oder die Objekt-Wahrscheinlichkeit dafür, dass die erste Zelle 205 an dem ersten Zeitpunkt t1 Teil eines (dynamischen) Objekts 251, 252 ist, eine bestimmten Mindestwert bzw. einen bestimmten Objekt-Schwellenwert überschreitet. Dabei kann der Mindestwert von der Kombinations-Wahrscheinlichkeit aus der Assoziations-Wahrscheinlichkeit αv(zc, τ) und der Belegungs-Wahrscheinlichkeit αo(c, τ) abhängen. Typischerweise steigt der Mindestwert mit sinkender Kombinations-Wahrscheinlichkeit (und umgekehrt).
-
Es wird somit ermöglicht, in robuster Weise Zellen 205 zu bereits zuvor detektierten Objekten 251, 252 zuzuordnen.
-
Auch nach Zuordnen von ein oder mehreren Zellen 205 zu ein oder mehreren Objekten 251, 252 können die Messdaten für den ersten Zeitpunkt t1 noch ein oder mehrere Zellen 201 anzeigen, die zu einem (noch nicht detektierten) Objekt 253 gehören. Auf Basis der Messdaten kann eine Menge von dynamischen Zellen 206 ermittelt werden, d.h. Zellen 206, die eine relativ hohe Evidenz bzw. Wahrscheinlichkeit dafür aufweisen, dass die jeweilige Zelle 206 durch ein dynamisches Objekt 253 belegt ist, und/oder Zellen 206, die eine relative hohe Zellgeschwindigkeit vc aufweisen.
-
Aus der Menge von dynamischen Zellen 206 kann ein Zell-Cluster gebildet werden, wobei bei der Bildung der Zell-Cluster ein Clustermaß verwendet werden kann, dass
- • die Abstände und/oder die Positionsdichte von mehreren dynamischen Zellen 206 und/oder den Abstand einer dynamischen Zelle 206 von einem Cluster-Mittelpunkt berücksichtigt, und ggf. auf einem maximal zulässigen Abstand begrenzt; und/oder
- • die Relativgeschwindigkeit zwischen zwei dynamischen Zellen 206 und/oder die Relativgeschwindigkeit einer dynamischen Zelle 206 zu einer Geschwindigkeit des Clusters berücksichtigt, und ggf. auf eine maximal zulässige Relativgeschwindigkeit begrenzt; und/oder
- • eine Evidenz bzw. Wahrscheinlichkeit dafür berücksichtigt, dass Zellen zwischen zwei dynamischen Zellen 206 eines Clusters frei sind, und ggf. auf eine maximal zulässige Freiraum-Evidenz begrenzt.
-
Es kann somit aus der Menge von dynamischen Zellen 206 zumindest ein Zell-Cluster gebildet werden, dass das o.g. Clustermaß erfüllt.
-
Bei der Bildung eines Zell-Clusters können ein oder mehrere Zellen 201, 206, insbesondere dynamische Zellen 206 aus der Menge von dynamischen Zellen 206, unberücksichtigt bleiben, wobei die Zellen 201,206 an das Zell-Cluster angrenzen. Dies kann insbesondere durch fehlerhafte Schätzungen der Zellgeschwindigkeiten (insbesondere der Bewegungsrichtung) verursacht werden (z.B. bei relativ langgezogenen Objekten 253). Es kann daher eine Erweiterung eines ermittelten Zell-Clusters durch ein oder mehrere benachbarte Zellen 201, 206 vorgenommen werden. Bei einer benachbarten Zelle 201, 206 kann es sich um eine dynamische Zelle 206 aus der Menge von dynamischen Zellen 206 handeln, die aber ggf. eine andere Zellgeschwindigkeit aufweist als die Zellen des Zell-Clusters. Alternativ kann eine benachbarte Zelle 201, 206 eine statische (belegte) bzw. eine nicht klassifizierbare belegte Zelle 201 sein. Es kann somit jede belegte Zelle 201, 206 (mit relativ hohen Evidenzen m(S), m(D), m({S,D})) in der Nachbarschaft des Zell-Clusters berücksichtigt werden. Bei der Erweiterung eines ermittelten Zell-Clusters können somit die Zellgeschwindigkeiten der ein oder mehreren Zellen 201, 206 unberücksichtigt bleiben. Es kann somit allein auf Basis von geometrischen Gesichtspunkten ein erweitertes Zell-Cluster gebildet werden.
-
Durch eine derartige Erweiterung eines Zell-Clusters kann überprüft werden, ob ein Zell-Cluster mit dynamischen Zellen 206 z.B. an ein oder mehrere statische (belegte) Zellen 201 und/oder an ein oder mehrere dynamische Zellen 206 mit einer anderen Zellgeschwindigkeit angrenzt. Wenn dies der Fall ist, so kann ggf. detektiert werden, dass das ursprüngliche Zell-Cluster mit dynamischen Zellen 206 eine fehlerhafte Geschwindigkeits- und/oder Dynamikschätzung enthält und/oder dass das ursprüngliche Zell-Cluster gar kein dynamisches Objekt 253 darstellt.
-
Zur weiteren Untersuchung des ggf. erweiterten Zell-Clusters kann die Varianz der Geschwindigkeit des erweiterten Zell-Clusters (bevorzugt in Bezug auf die mittlere Geschwindigkeit des ursprünglichen, nicht erweiterten Zell-Clusters) ermittelt werden. Liegt eine relativ hohe Varianz der Geschwindigkeit eines erweiterten Zell-Clusters vor, so kann angenommen werden, dass es sich bei dem Zell-Cluster nicht um ein einheitliches Objekt 253 handelt. Andererseits kann das erweiterte Zell-Cluster als neues Objekt 253 betrachtet und in einer Sequenz von nachfolgenden Zeitpunkten nachverfolgt werden. Zudem kann aus der Varianz der Geschwindigkeit des erweiterten Zell-Clusters eine (ggf. initiale) Existenzwahrscheinlichkeit für ein neues Objekt 253 abgeleitet werden, wobei sich aus einer niedrigeren Varianz der Geschwindigkeit einer höheren Existenzwahrscheinlichkeit für eine neues Objekt 253 ergibt (und umgekehrt).
-
Wie bereits oben dargelegt, kann ein Objekt 251, 252, 253 durch ein Box-Modell beschrieben werden, so dass der Zustand des Objekts 251, 252, 253 beschrieben werden kann, beispielsweise durch
- • die Position (xτ, yτ) eines Referenzpunktes des Objekts;
- • dem Betrag der Objektgeschwindigkeit vτ;
- • der Orientierung ϕτ des Objekts;
- • der Breite wτ und der Länge lτ des Objekts;
- • der Beschleunigung ατ des Objekts; und/oder
- • der Drehrate ωτ des Objekts.
-
Der Betrag der Objektgeschwindigkeit vτ und die Orientierung ϕτ eines Objekts 253 an dem Zeitpunkt t1 können aus den Zellgeschwindigkeiten vc der Zellen 206 des Objekts 253 an dem Zeitpunkt t1 ermittelt werden.
-
Zur Ermittlung der Breite wτ und der Länge lτ des Objekts 253 kann die geometrische Anordnung der Zellen 206 in dem Raster 200 berücksichtigt werden. Des Weiteren kann die zuvor ermittelte Orientierung ϕτ des Objekts 253 berücksichtigt werden. Bei der Ermittlung der Kanten des rechteckigen Box-Modells des Objekts 253 kann die Evidenz dafür berücksichtigt werden, dass direkt benachbarte Zellen 201 des Objekts 253 frei sind. So können die Konturen eines Objektes 253 in präziser Weise ermittelt werden.
-
Zu einem ersten Zeitpunkt t1 können somit
- • ein oder mehrere Zellen 205 eines Rasters 200 ein oder mehreren Objekten 251 zugeordnet werden, die bereits an einem vorhergehenden Zeitpunkt t0 detektiert wurden; dabei wird der Zustand der ein oder mehreren Objekte 251 am vorhergehenden Zeitpunkt t0 berücksichtigt;
- • verbliebene dynamische Zellen 206 des Rasters 200 zu einem Zell-Cluster zusammengefasst werden, um ein neues Objekts 253 zu detektieren;
- • durch ein Box-Modell ein definierter und präziser Zustand für die ein oder mehreren detektierten Objekte 251, 252, 253 ermittelt werden.
-
Es wird somit ein rekursives Verfahren zur Erkennung und zur Nachverfolgung von Objekten 251, 252, 253 in einer Umgebung eines Fahrzeugs ermöglicht, das an einer Sequenz von Zeitpunkten ausgeführt werden kann, um den Zustand der Objekte 251, 252, 253 in der Umgebung des Fahrzeugs an der Sequenz von Zeitpunkten zu beschreiben.
-
Die 3 bis 5 zeigen Ablaufdiagramme von beispielhaften Verfahren 300, 400, 500 zur Detektion und/oder zur Nachverfolgung eines Objektes 251, 253 in einem Umfeld eines Fahrzeugs 100. Die Verfahren 300, 400, 500 können separat oder in Kombination ausgeführt werden. Die Verfahren 300, 400, 500 können dabei von einer Verarbeitungseinheit 101 eines Fahrzeugs 100 ausgeführt werden.
-
Das Verfahren 300, 400, 500 umfasst das Ermitteln 301, an einem ersten Zeitpunkt t1 und auf Basis von Sensordaten von ein oder mehreren Umfeldsensoren 111 des Fahrzeugs 100, von Messdaten bezüglich einer Vielzahl von Zellen 201, 205, 206 eines Rasters 200 des Umfelds des Fahrzeugs 100. Das Umfeld des Fahrzeugs 100 kann in ein zweidimensionales (2D) Raster 200 mit Rasterzellen 201, 205, 206 unterteilt werden, wobei eine Rasterzelle 201, 205, 206 z.B. eine Größe von 1cm × 1cm oder von 10cm × 10cm aufweist.
-
Die Messdaten für eine erste Zelle
205 können den Zustand der ersten Zelle
205 anzeigen. Beispielsweise können die Messdaten ganz oder teilweise den Vektor
umfassen. Insbesondere können die Messdaten für die erste Zelle
205 eine Objekt-Wahrscheinlichkeit dafür anzeigen, dass die Zelle
201,
205,
206 durch ein (statisches und/oder dynamisches) Objekt
251,
253 belegt ist. Die Objekt-Wahrscheinlichkeit kann dabei von den Evidenzen bzw. Massen m(S), m(D) und/oder m({S,D}) abhängen. Außerdem können die Messdaten für die erste Zelle
205 eine Zellgeschwindigkeit v
c der ersten Zelle
205 anzeigen. Die Zellgeschwindigkeit kann dabei einen Betrag und eine Bewegungsrichtung aufweisen. In entsprechender Weise kann der Zustand für mehrere (insbesondere alle) Zellen
201 des Rasters
200 durch die Messdaten beschrieben werden.
-
Die ein oder mehreren Umfeldsensoren 111 können z.B. ein oder mehrere Radarsensoren, ein oder mehrere Ultraschallsensoren, ein oder mehrere Lidar-Sensoren, ein oder mehrere Bildsensoren, etc. umfassen. Die Sensordaten von mehreren Umfeldsensoren 111 können überlagert bzw. kombiniert werden, um den Zustand bzw. die Messdaten der Zellen 201 des Rasters 200 zu ermitteln.
-
Außerdem kann das Verfahren 300, 400, 500 das Ermitteln 302 einer Belegungs-Wahrscheinlichkeit dafür umfassen, dass die erste Zelle 205 durch ein Objekt 251, 252 belegt wird, wobei das Objekt 251, 252 bereits an einem vorhergehenden Zeitpunkt t0 detektiert war. Dabei wird die Belegungs-Wahrscheinlichkeit (ggf. allein) auf Basis eines Zustands des Objekts 251, 252 an dem vorhergehenden Zeitpunkt t0 ermittelt. Insbesondere können bei der Ermittlung der Belegungs-Wahrscheinlichkeit die Messdaten bzgl. der Zellen 201, 205, 206 des Rasters 200 für den ersten Zeitpunkt t1 unberücksichtigt bleiben.
-
Auf Basis der Messdaten für die Zellen 201 des Rasters 200 an dem vorhergehenden Zeitpunkt t0 kann der Zustand der Zellen 201 des Objektes 251, 252 an dem vorhergehenden Zeitpunkt t0 ermittelt worden sein. Aus dem Zustand der Zellen 201 des Objektes 251, 252 kann wiederum der Zustand des Objektes 251, 252 ermittelt worden sein. Der Zustand eines Objektes 251, 252 kann, wie oben dargelegt, durch ein oder mehrere der folgenden Zustandsparameter beschrieben werden: die Position (xτ, yτ) eines Referenzpunktes des Objekts 251, 252; der Betrag der Objektgeschwindigkeit vτ; die Orientierung ϕτ des Objekts 251, 252; die Breite wτ und die Länge lτ des Objekts 251, 252 (z.B. die Breite wτ und die Länge lτ eines Box-Modells des Objektes 251, 252); die Beschleunigung ατ des Objekts 251, 252; und/oder die Drehrate ωτ des Objekts 251, 252.
-
Der Zustand des Objekts 251, 252 an dem vorhergehenden Zeitpunkt t0 kann dazu genutzt werden, zu prädizieren, welche Zellen 201 des Rasters 200 an dem nachfolgenden ersten Zeitpunkt t1 belegt werden. Mit anderen Worten, es kann ermittelt werden, mit welcher Belegungs-Wahrscheinlichkeit αo (c, τ) das Objekt τ 251, 252 die erste Zelle c 205 belegt. Die Belegungs-Wahrscheinlichkeit αo(c, τ) der Zellen 201 des Rasters 200 durch das Objekt τ 251, 252 kann für mehrere Zellen 201 (ggf. für alle Zellen 201) des Rasters 200 ermittelt werden.
-
Das Verfahren 300, 400, 500 umfasst ferner das Zuweisen 304 der ersten Zelle 205 zu dem Objekt 251, 252, in Abhängigkeit von der Objekt-Wahrscheinlichkeit und in Abhängigkeit von der Belegungs-Wahrscheinlichkeit. Insbesondere kann die erste Zelle 205 dem Objekt 251, 252 zugewiesen werden, wenn die Objekt-Wahrscheinlichkeit eine relativ hohe Wahrscheinlichkeit dafür anzeigt, dass die erste Zelle 205 durch ein Objekt 251, 252 (im Allgemeinen) belegt ist, und wenn die Belegungs-Wahrscheinlichkeit eine relativ hohe Wahrscheinlichkeit dafür anzeigt, dass die die erste Zelle 205 durch ein spezifisches Objekt 251, 252 belegt ist.
-
Durch die Berücksichtigung des Zustands von ein oder mehreren bereits zuvor detektierten Objekten 251, 252 kann die Erkennung von Freiräumen und/oder die Erkennung von (dynamischen bzw. statischen) Objekten 251, 252 im Umfeld eines Fahrzeugs 100 verbessert werden. Insbesondere können so auch dynamische (d.h. bewegliche) Objekte 251, 252 detektiert werden, die sich nur vorübergehend im Stillstand befinden (z.B. an einer roten Ampel).
-
Das Verfahren 300, 400, 500 kann das Ermitteln 303 einer Assoziations-Wahrscheinlichkeit dafür umfassen, dass die erste Zelle 205 Teil des Objekts 251, 252 ist. Die Assoziations-Wahrscheinlichkeit kann auf Basis der Zellgeschwindigkeit der ersten Zelle 205 und auf Basis einer Objektgeschwindigkeit des Objekts 251, 252 ermittelt werden.
-
Wie bereits oben dargelegt, kann der Zustand eines Objekts 251, 252 an einem vorhergehenden Zeitpunkt t0 den Betrag und/oder die Orientierung bzw. Richtung der Objektgeschwindigkeit vτ an dem vorhergehenden Zeitpunkt t0 umfassen. (Ggf. allein) aus dem Zustand des Objekts 251, 252 an dem vorhergehenden Zeitpunkt t0 kann die Objektgeschwindigkeit vτ an dem ersten Zeitpunkt t1 prädiziert werden. Die prädizierte Objektgeschwindigkeit vτ an dem ersten Zeitpunkt t1 kann dann mit der Zellgeschwindigkeit vc der ersten Zelle 205 an dem ersten Zeitpunkt t1 verglichen werden, um die Assoziations-Wahrscheinlichkeit αv(zc, τ) zu ermitteln. Die Assoziations-Wahrscheinlichkeit αv(zc, τ) steigt dabei typischerweise mit steigender Übereinstimmung von Betrag und/oder Richtung der Geschwindigkeiten an bzw. sinkt mit sinkender Übereinstimmung von Betrag und/oder Richtung der Geschwindigkeiten.
-
Die erste Zelle 205 kann dann dem Objekt 251, 252 auch in Abhängigkeit von der Assoziations-Wahrscheinlichkeit zugewiesen werden. Durch Berücksichtigung der Assoziations-Wahrscheinlichkeit kann die Genauigkeit der Erkennung und der Nachverfolgung von Objekten 251, 252 weiter erhöht werden.
-
Es können die Belegungs-Wahrscheinlichkeit und die Assoziations-Wahrscheinlichkeit für eine Mehrzahl von Objekten 251, 252 ermittelt werden, die an dem vorhergehenden Zeitpunkt t0 bereits detektiert waren. Es kann dann eine Mehrzahl von Kombinations-Wahrscheinlichkeiten für die Mehrzahl von Objekten 251, 252 aus der jeweiligen Belegungs-Wahrscheinlichkeit und aus der jeweiligen Assoziations-Wahrscheinlichkeit ermittelt werden. Insbesondere kann ein gewichteter Mittelwert aus der Belegungs-Wahrscheinlichkeit und der Assoziations-Wahrscheinlichkeit als Kombinations-Wahrscheinlichkeit für ein Objekt 251, 252 ermittelt werden. Eine relativ hohe Kombinations-Wahrscheinlichkeit eines Objektes 251, 252 zeigt dabei eine relativ hohe Wahrscheinlichkeit dafür an, dass die erste Zelle 205 durch das Objekt 251, 252 belegt ist. Andererseits zeigt eine relativ niedrige Kombinations-Wahrscheinlichkeit eines Objektes 251, 252 eine relativ niedrige Wahrscheinlichkeit dafür an, dass die erste Zelle 205 durch das Objekt 251, 252 belegt ist.
-
Das Verfahren 300, 400, 500 kann das Selektieren eines ersten Objektes 251 aus der Mehrzahl von Objekten 251, 252 auf Basis der Mehrzahl von Kombinations-Wahrscheinlichkeiten umfassen. Insbesondere kann das erste Objekt 251 aus der Mehrzahl von Objekten 251, 252 selektiert werden, das die höchste Kombinations-Wahrscheinlichkeit aufweist.
-
Die erste Zelle 205 kann dann dem ersten Objekt 251 in Abhängigkeit von der Objekt-Wahrscheinlichkeit und in Abhängigkeit von der Kombinations-Wahrscheinlichkeit des ersten Objektes 251 zugewiesen werden. Durch die Berücksichtigung von mehreren Objekten 251, 252 und deren Kombinations-Wahrscheinlichkeiten kann die Erkennung und die Nachverfolgung von Objekten 251, 252 weiter verbessert werden.
-
Die erste Zelle 205 kann einem Objekt 251, 252 zugewiesen werden, wenn die Objekt-Wahrscheinlichkeit der ersten Zelle 205 größer als oder gleich wie ein Objekt-Schwellenwert ist. Dabei kann der Objekt-Schwellenwert von der Belegungs-Wahrscheinlichkeit und/oder von der Assoziations-Wahrscheinlichkeit des Objektes 251, 252 abhängen. Der Objekt-Schwellenwert steigt typischerweise mit sinkender Belegungs-Wahrscheinlichkeit und/oder Assoziations-Wahrscheinlichkeit. Andererseits sinkt der Objekt-Schwellenwert typischerweise mit steigender Belegungs-Wahrscheinlichkeit und/oder Assoziations-Wahrscheinlichkeit. So wird eine zuverlässige Nachverfolgung von Objekten 251, 252 ermöglicht.
-
Das Verfahren 300, 400, 500 kann, wie in 4 dargestellt, das Ermitteln 401, auf Basis der Messdaten, einer Menge von dynamischen Zellen 206 umfassen. Beispielsweise kann an dem ersten Zeitpunkt t1 eine Menge von dynamischen Zellen 206 ermittelt werden, die keinem bereits zuvor detektieren Objekt 251, 252 zugeordnet werden kann. Die Menge von dynamischen Zellen 206 kann somit zumindest ein neues Objekt 253 anzeigen, das bisher noch nicht detektiert werden konnte (z.B. weil das neue Objekt 253 erst an dem ersten Zeitpunkt t1 in den Erfassungsbereich der ein oder mehreren Umfeldsensoren 111 des Fahrzeugs 100 gelangt ist).
-
Eine dynamische Zelle 206 kann dabei eine Zelle 201 des Rasters 200 sein, die eine Zellgeschwindigkeit aufweist, die größer als oder gleich wie ein Dynamik-Schwellenwert ist. Alternativ oder ergänzend kann eine dynamische Zelle 206 eine Zelle 201 des Rasters 200 sein, die eine Objekt-Wahrscheinlichkeit aufweist, die größer als oder gleich wie ein Objekt-Schwellenwert ist. Der Objekt-Schwellenwert kann dabei in diesem Fall ein konstanter Wert sein.
-
Außerdem umfasst das Verfahren 300, 400, 500 das Bilden 402 eines Zell-Clusters aus der Menge von dynamischen Zellen 206 in Abhängigkeit von einem Clustermaß. Dabei hängt das Clustermaß typischerweise von der Zellgeschwindigkeit der dynamischen Zellen 206 des Zell-Clusters ab. Insbesondere können auf Basis des Clustermaßes mehrere dynamische Zellen 206 zusammengefasst werden, die eine relativ ähnliche Zellgeschwindigkeit (in Bezug auf den Betrag und/oder die Richtung) aufweisen.
-
Das Verfahren 300, 400, 500 kann ferner das Erweitern 403 des Zell-Clusters mit ein oder mehreren Zellen 201, 206 aus einer unmittelbaren Nachbarschaft des Zell-Clusters umfassen. Das heißt, das Zell-Cluster kann mit ein oder mehreren Zellen 201, 206 erweitert werden, die direkt an das Zell-Cluster angrenzen. Dabei bleibt bei dem Erweitern 403 die Zellgeschwindigkeit der ein oder mehreren Zellen 201, 206 unberücksichtigt. Bei der Erweiterung können somit dynamische Zellen 206 und/oder statische belegte Zellen 201 und/oder nicht klassifizierbar belegte Zellen 201 berücksichtigt werden.
-
Es kann dann auf Basis des (erweiterten) Zell-Clusters an dem ersten Zeitpunkt t1 ein neues Objekt 253 detektiert werden, das an dem vorhergehenden Zeitpunkt t0 noch nicht detektiert war (Schritt 404). Durch das Erweitern des Zell-Clusters mit ein oder mehreren direkt benachbarten Zellen 201, 206 können Messfehler bei der Ermittlung der Zellgeschwindigkeit (die z.B. bei geradlinigen Objekten 255 vorliegen können) kompensiert werden. Es kann somit die Zuverlässigkeit der Objekterkennung erhöht werden.
-
Das Clustermaß kann u.a. ein oder mehrere der folgenden Komponenten umfassen bzw. von ein oder mehreren der folgenden Komponenten abhängen: ein Abstand einer dynamischen Zelle 206 zu einem Referenzpunkt (z.B. zu einem Mittelpunkt oder Schwerpunkt) des Zell-Clusters; einen Abstand zwischen zwei dynamischen Zellen 206; eine Dichte bzw. eine Positionsdichte an dynamischen Zellen 206 in einem bestimmten Bereich; eine Relativgeschwindigkeit der Zellgeschwindigkeit einer dynamischen Zelle 206 relativ zu einer Clustergeschwindigkeit des Zell-Clusters; eine Relativgeschwindigkeit zwischen zwei benachbarten dynamischen Zellen 206; und/oder einer Nicht-Belegungs-Wahrscheinlichkeit dafür, dass ein oder mehrere Zellen 201 zwischen der dynamischen Zelle 206 und dem Referenzpunkt des Zell-Clusters frei sind. Es kann dabei ein Zell-Cluster gebildet werden, so dass der Abstand der dynamischen Zellen 206 des Zell-Clusters einen bestimmten Grenz-Abstand nicht überschreitet, so dass die Relativgeschwindigkeit der dynamischen Zellen 206 des Zell-Clusters eine bestimmte Grenz-Geschwindigkeit nicht überschreitet und/oder so dass die Nicht-Belegungs-Wahrscheinlichkeit der dynamischen Zellen 206 des Zell-Clusters eine bestimmte Grenz-Wahrscheinlichkeit nicht überschreitet. So kann ein Zell-Cluster ermittelt werden, dass mit relativ hoher Wahrscheinlichkeit einem Objekt 253 entspricht.
-
Das Verfahren 300, 400, 500 kann das Ermitteln einer Varianz der Zellgeschwindigkeiten der dynamischen Zellen 206 des Zell-Clusters umfassen. Dabei kann eine mittlere Geschwindigkeit des (ggf. nicht erweiterten) Zell-Clusters berücksichtigt werden. Es kann dann in Abhängigkeit von der Varianz der Zellgeschwindigkeiten ein Objekt 253 detektiert werden. Insbesondere kann in Abhängigkeit von der Varianz der Zellgeschwindigkeiten entschieden werden, ob es sich bei dem Zell-Cluster um ein zusammenhängendes Objekt 253 handelt oder nicht. Beispielsweise kann die Varianz der Zellgeschwindigkeiten mit einem Varianz-Schwellenwert verglichen werden, um zu entscheiden, ob es sich bei dem Zell-Cluster um ein Objekt 253 handelt (z.B. kann es sich um ein Objekt 253 handeln, wenn die Varianz kleiner als oder gleich wie der Varianz-Schwellenwert ist).
-
Das Verfahren 300, 400, 500 kann das Ermitteln eines Zustands eines ersten Objekts 251 an dem ersten Zeitpunkt t1 umfassen. Dabei kann der Zustand des ersten Objekts 251 auf Basis der Messdaten der Zellen 205, 206 ermittelt werden, die dem ersten Objekt 251, 253 an dem ersten Zeitpunkt t1 zugewiesen sind. Des Weiteren kann der Zustand des ersten Objekts 251 an dem ersten Zeitpunkt t1 auf Basis des Zustands des ersten Objekts 251 an dem vorhergehenden Zeitpunkt t0 ermittelt werden (z.B. zur Ermittlung der Beschleunigung bzw. Verzögerung und/oder zur Ermittlung der Drehrate des ersten Objektes 251). Der Zustand des ersten Objekts 251 an dem ersten Zeitpunkt t1 kann dann dazu verwendet werden, die Position des ersten Objektes 251 an einem nachfolgenden zweiten Zeitpunkt t2 zu prädizieren. Des Weiteren kann der Zustand des ersten Objekts 251 an dem ersten Zeitpunkt t1 zur Ermittlung der Belegungs-Wahrscheinlichkeiten von ein oder mehreren Zellen 201 des Rasters 200 durch das erste Objekt 251 an dem nachfolgenden zweiten Zeitpunkt t2 verwendet werden.
-
Zur Ermittlung des Zustands des ersten Objekts 251 kann das Verfahren 300, 400, 500, wie in 5 dargestellt, das Ermitteln 502 eines Betrags einer Objektgeschwindigkeit und/oder einer Orientierung des ersten Objekts 251 auf Basis der Zellgeschwindigkeiten der dem ersten Objekt 251 zugewiesenen Zellen 205 umfassen. Die Breite und die Länge des ersten Objekts 251, insbesondere eines Box-Modells des ersten Objekts 251, kann dann unter Berücksichtigung der ermittelten Orientierung des ersten Objekts 251 ermittelt werden (Schritt 503). Durch die Berücksichtigung der Orientierung des ersten Objekts 251 an dem ersten Zeitpunkt t1 bei der Ermittlung der Breite und der Länge des ersten Objekts 251 an dem ersten Zeitpunkt t1 kann das erste Objekt 251 mit erhöhter Genauigkeit erkannt werden.
-
Das Verfahren 300, 400, 500 kann das Ermitteln einer Kante des ersten Objekts 251 umfassen. Bei der Erkennung einer Kante kann die Nicht-Belegungs-Wahrscheinlichkeit dafür berücksichtigt werden, dass ein oder mehrere direkt benachbarte Zellen 201 des ersten Objekts 251 frei sind. So können die Konturen des ersten Objekts 251 mit erhöhter Genauigkeit bestimmt werden.
-
4 zeigt ein Ablaufdiagramm eines beispielhaften Verfahrens 400 zur Detektion eines Objektes 251, 253 in einem Umfeld eines Fahrzeugs 100. Das Verfahren 400 umfasst das Ermitteln 401, auf Basis von Sensordaten von ein oder mehreren Umfeldsensoren 111 des Fahrzeugs 100, einer Menge von dynamischen Zellen 206 eines Rasters 200 des Umfelds des Fahrzeugs 100. Dabei zeigen die Sensordaten Zellgeschwindigkeiten von Zellen 201, 206 des Rasters 200 an.
-
Außerdem umfasst das Verfahren 400 das Bilden 402 eines Zell-Clusters aus der Menge von dynamischen Zellen 206 in Abhängigkeit von einem Clustermaß, wobei das Clustermaß von der Zellgeschwindigkeit der dynamischen Zellen 206 des Zell-Clusters abhängt. Des Weiteren umfasst das Verfahren 400 das Erweitern 403 des Zell-Clusters mit ein oder mehreren (belegten) Zellen 201, 206 aus einer unmittelbaren Nachbarschaft des Zell-Clusters, ohne Berücksichtigung der Zellgeschwindigkeit der ein oder mehreren Zellen 201, 206. Das Verfahren 400 umfasst ferner das Detektieren 404 eines Objektes 253 auf Basis des (erweiterten) Zell-Clusters. Durch die Erweiterung eines Zell-Clusters auf Basis der räumlichen Nähe und ohne Berücksichtigung der Zellgeschwindigkeit können Messfehler bzgl. der Zellgeschwindigkeit kompensiert werden. So können die Konturen eines Objektes mit erhöhter Genauigkeit ermittelt werden.
-
5 zeigt ein Ablaufdiagramm eines beispielhaften Verfahrens 500 zur Detektion eines Objektes 251, 253 in einem Umfeld eines Fahrzeugs 100. Das Verfahren 500 umfasst das Ermitteln 501, auf Basis von Sensordaten von ein oder mehreren Umfeldsensoren 111 des Fahrzeugs 100, einer Menge von Zellen 205 eines Rasters 200 des Umfelds des Fahrzeugs 100, die zu einem Objekt 251 gehören. Dabei zeigen die Sensordaten Zellgeschwindigkeiten von Zellen 201, 206 des Rasters 200 an.
-
Außerdem umfasst das Verfahren 500 das Ermitteln 502 eines Betrags einer Objektgeschwindigkeit und einer Orientierung des Objekts 251 auf Basis der Zellgeschwindigkeiten der Zellen 205 des Objekts 251. Das Verfahren 500 umfasst ferner das Ermitteln 503 einer Breite und einer Länge des Objekts 251 unter Berücksichtigung der ermittelten Orientierung des Objekts 251. So kann die Ermittlung der Konturen eines Objektes 251 verbessert werden.
-
Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.