-
Stand der Technik
-
Die
vorliegende Erfindung bezieht sich auf ein Verfahren gemäß Anspruch
1, ein Steuergerät gemäß Anspruch 13,
sowie ein Computerprogrammprodukt gemäß Anspruch
14.
-
Bekannt
sind rechenintensive Verfahren, die mittels Fusion von Stereo-Tiefenmessungen
und des optischen Flusses die 3D-Position und 3D-Geschwindigkeit
(3D = dreidimensional) interessanter Punkte bestimmen.
-
In
der Patentanmeldung
DE
10 2005 008 131 A1 wird ein solches Verfahren beschrieben.
Dessen Hauptmerkmal ist, dass es die 3D-Position und 3D-Geschwindigkeit
mittels wenigstens eines Filters für relevante Bildpunkte
ermittelt. Die Rechenintensivität des Verfahrens rührt
daher, dass pro Bildpunkt jeweils eine Filterinstanz, z. B. ein
extended Kalmanfilter oder ein Multihypothesen-Kalmanfilter, d.
h. insgesamt ein Verbund aus mehreren extended Kalmanfiltern, benötigt
wird.
-
Offenbarung der Erfindung
-
Vor
diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren
zur Bestimmung einer Bewegungsinformation eines sich in einem Umfeld
eines Fahrzeugs befindlichen Objekts, weiterhin ein Steuergerät,
das dieses Verfahren verwendet sowie schließlich ein entsprechendes
Computerprogrammprodukt gemäß den unabhängigen
Patentansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben
sich aus den jeweiligen Unteransprüchen und der nachfolgenden
Beschreibung.
-
Die
Erfindung hat zum Zweck, den 3D-Fluss einer Menge von relevanten
Bildpunkten effizient zu berechnen. Insbesondere kann die Berechnung
in einer Art und Weise erfolgen, dass sie auf einem kostengünstigen
Steuergerät ausgeführt werden kann. Der 3D-Fluss
beschreibt für einen gegebenen Zeitpunkt die 3D-Position
einer Menge von relevanten Bildpunkten sowie eine geschätzte
3D-Geschwindigkeit für jeden dieser Punkte. Bei der Position
kann es sich um eine direkt, z. B. anhand einer Disparitätskarte
gemessene und ungefilterte 3D-Koordinate in Relation zu einem Sensorkoordinatensystem
oder zu einem beliebigen Referenzkoordinatensystem, z. B. Fahrzeugkoordinatensystem
handeln. Der 3D-Geschwindigkeitsvektor kann in Relation zu demselben Koordinatensystem
anhand der zeitlich aufeinanderfolgenden ungefilterten 3D-Koordinaten,
durch die Anwendung eines geeigneten Filters ermittelt werden. Die
zeitliche Assoziation der 3D-Koordinaten kann über eine
Serie von Einzelbildern erfolgen, die von einem Kamerasystem bereitgestellt
werden können. Zum Zwecke der Verfolgung über
die Zeit können die 3D-Koordinaten in den Bildraum des
Kamerasystems projiziert werden, so dass 2D-Bildkoordinaten entstehen.
Deren Verschiebungsvektoren zwischen zwei aufeinanerfolgenden Bildern
können dann, z. B. durch die Bestimmung des optischen Flusses
ermittelt werden.
-
Der
erfindungsgemäße Ansatz ermöglicht eine
effiziente 3D-Fluss-Schätzung. Die Schätzung kann
auf einer rekursive Berechnung von 3D-Fluss-Vektoren durch direkte,
ungefilterte Messung von 3D-Koordinaten und einer Ableitung eines 3D-Geschwindigkeitsvektors,
der durch die Filterung der aufeinanderfolgenden 3D-Koordinaten
bestimmt werden kann, basieren.
-
Die
Differenzbildung zwischen 3D-Koordinaten ist eine einfache Methode,
die bereits gute Ergebnisse liefert. Ferner kann ein Filter eingesetzt
werden, der die Güte der Geschwindigkeitsvektoren deutlich
erhöhen kann. Erfindungsgemäß kann sowohl
der ungefilterten Fall als auf der gefilterten Fall verwendet werden,
um die Geschwindigkeitsvektoren zu ermitteln.
-
Anstatt
oder zusätzlich zu der Schätzung der 3D-Geschwindigkeit
kann eine Bestimmung des Kollisionszeitpunktes (Time-To-Contact)
mit dem beobachtenden Sensorsystem bzw. dem Gesamtsystem, dem der
Sensor angehört, z. B. des Ego-Fahrzeugs, pro 3D-Koordinate
durchgeführt werden. Ferner ist ein Verzicht auf die Filterung
zur Bestimmung der 3D-Geschwindigkeit möglich. Auch kann
eine Einbeziehung der Eigenbewegung des Sensorsystems in die 3D-Flussschätzung
zur Bestimmung von relevanten Bildpunkten, z. B. nur solche, die
sich über Grund bewegen, und/oder zur Verbesserung der
Geschwindigkeitsschätzung erfolgen.
-
Vorteilhafterweise
ist eine Reduzierung des Rechenaufwandes möglich, da eine
Filterung lediglich für die Geschwindigkeitsvektoren der
relevanten Bildpunkte erforderlich ist. Es erfolgt also eine Schätzung
eines 3D-Zustands. Erfindungsgemäß wird ein einfach
handhabbares System geschaffen, da wenige Stellgrößen
für die Parametrierung erforderlich sind, wie sie im Gegensatz
dazu, bei kombinierter Filterung von 3D-Position und 3D-Geschwindigkeit
erforderlich sind. Diese Tatsache rührt daher, dass bei einer
kombinierten Filterung i. d. R. ein physikalisch plausibles Bewegungsmodell
angewandt werden muss, um verlässliche Schätzgrößen
für Geschwindigkeit und Position zu erhalten. Üblicherweise
werden hierzu lineare Modelle verwendet, die eine Änderung
der (als gleichförmig angenommenen) Geschwindigkeit z.
B. durch ein (parametrierbares) Rauschen der Beschleunigung ermöglichen.
Das Rauschen kann dabei fest sein oder sich an die gegebenen Eingangsdaten
(z. B. die auszuwertenden Videobilder) anpassen. In beiden Fällen
sind i. d. R. 1 – N (eins bis n) Parameter erforderlich,
die das Rauschen der als konstant angenommen Komponenten des Bewegungsmodells
(z. B. die Beschleunigung) festlegen. Die Festlegung dieser Parameter
ist keineswegs trivial und oft auch nicht intuitiv und kann zudem
zu sehr unterschiedlichem Systemverhalten führen. Filtert
man hingegen lediglich die Geschwindigkeit, ist die Anwendung einfacherer
Filter bzw. deren gänzlicher Verzicht möglich,
da die insbesondere für Sicherheitsfunktionen relevante
Entfernung von Punktmessungen nicht mehr Teil eines Zustandsvektors
ist, der indirekt über Beobachtungen geschätzt wird.
So kann z. B. ein einfacher gleitender Mittelwert des Geschwindigkeitsvektors
bereits ausreichen, um eine grobe Schätzung für
einen Punkt vorzunehmen. Aus einer großen Menge solcher
Einzelschätzungen lassen sich dann auf Objektebene robuste
Schätzwerte für Geschwindigkeit und Position ableiten.
-
Die
direkte Abstandsmessung der Bildpunkte erhöht die Verlässlichkeit
bzgl. der tatsächlichen Position eines relevanten Bildpunktes.
Dies ist insbesondere bei Sicherheits-Systemen vorteilhaft.
-
Als
Ergebnis kann pro Zeitschritt ein 3D-Flussfeld bestimmt werden,
in dem jede Einzelmessung, bezüglich der 3D-Position und
3D-Geschwindigkeit eines relevanten Bildpunktes, mit einer hohen
Messunsicherheit versehen ist. Als Folge ist eine Ableitung robuster
Objekthypothesen durch eine Zusammenfassung vieler Einzelmessungen
zu Punktwolken und eine Bestimmung von Objektattributen anhand aussagekräftiger
statistischer Größen, z. B. Mittelwert und Varianz
möglich. Dadurch kann sich die Messunsicherheit gegenüber
den Einzelmessungen verringern. Prinzipiell kann eine Punktwolke,
die zu einem Objekt zusammengefasst wurde, mehrere statistische
Größen liefern. Die wichtigsten sind dabei der
Mittelwert des Geschwindigkeitsvektors und Varianz, die Objektentfernung
und Varianz, die Objektbreite und Varianz und die Objekthöhe
und Varianz.
-
Die
erfindungsgemäße 3D-Fluss-Schätzung kann
beispielsweise für Stereo-Video-basierte Fahrerassistenzsysteme
zum Einsatz kommen. Das Verfahren eignet sich insbesondere für
Sicherheits-Funktionen wie z. B. die Kollisionsvermeidende Bremsung.
Alle benötigten Eingabedaten für die 3D-Fluss-Schätzung
können beispielsweise von Fahrerassistenzsystemen mit existierenden
performanten FPGA-Implementierungen bereitgestellt werden, die eine
Schätzung des optischen Flusses, die bereits eine Detektion
relevanter Bildpunkte leistet, und die Berechnung von Disparitätskarten
ermöglichen.
-
Mittels
des erfindungsgemäßen Ansatzes kann die Reaktionsgeschwindigkeit,
mit der ein Objektdetektor auf plötzliche Bewegungsänderungen reagiert,
erhöht werden. Im Falle einer Vollbremsung eines direkt
vor dem Sensor vorausfahrenden Fahrzeugs, kann mittels des erfindungsgemäßen
Ansatzes zur 3D-Fluss-Schätzung die Position des vorausfahrenden
Fahrzeugs i. d. R. augenblicklich richtig geschätzt werden.
Die Geschwindigkeit kann, je nachdem ob ein Filter verwendet wird
oder nicht und je nach Filtereinstellung eine Einschwingphase durchlaufen.
-
Die
vorliegende Erfindung schafft ein Verfahren zur Bestimmung einer
Bewegungsinformation eines sich in einem Umfeld eines Fahrzeugs
befindlichen Objekts, das die folgenden Schritte umfasst: Empfangen
einer ersten ungefilterten 3D-Koordinate über eine Schnittstelle,
wobei die erste ungefilterte 3D-Koordinate eine Position eines Objektpunktes
innerhalb eines vorbestimmten Koordinatensystems zu einem ersten
Zeitpunkt definiert; Empfangen mindestens einer zweiten ungefilterten
3D-Koordinate über die Schnittstelle, wobei die mindestens
eine zweite ungefilterte 3D-Koordinate eine Position des Objektpunktes
innerhalb des vorbestimmten Koordinatensystems zu mindestens einem
zweiten Zeitpunkt definiert; und Bestimmen einer den Objektpunkt
betreffenden Geschwindigkeitsinformation, basierend auf der ersten
ungefilterten 3D-Koordinate und der mindestens einen zweiten ungefilterten
3D-Koordinate.
-
Das
erfindungsgemäße Verfahren kann beispielsweise
in einem Steuergerät eines Fahrzeugs umgesetzt werden.
Das Fahrzeug kann ein Umfelderfassendes-System aufweisen, mit dem
zumindest ein Ausschnitt des Umfelds des Fahrzeugs erfasst werden
kann. Bei dem Objekt kann es sich beispielsweise um einen Gegenstand,
ein weiteres Fahrzeug, eine Person oder ein Tier handeln. Insbesondere kann
sich um ein, bezogen auf das Umfeld, bewegtes Objekt handeln. Mittels
des erfindungsgemäßen Verfahrens können
Bewegungsinformationen bezüglich eines einzigen Objekts
oder mehreren Objekten bestimmt werden. Der Objektpunkt kann einen
Punkt im Umfeld des Fahrzeugs repräsentieren. Der Objektpunkt
kann durch das Umfelderfassende-System erfasst werden. Das erfindungsgemäße
Verfahren kann für alle erfassten Objektpunkte oder für
eine Auswahl von Objektpunkten durchgeführt werden. Beispielsweise
können aus allen erfassten Objektpunkten relevante Objektpunkte
ausgewählt werden. Bei den relevanten Objektpunkten kann
es sich um Objektpunkte handeln, die sich im Bezug auf das Umfeld
in Bewegung befinden. Insbesondere kann es sich um einen Punkt handeln,
der einem relevanten Objekt zugeordnet werden kann, das sich in
dem Umfeld befindet. Die 3D-Koordinaten können räumliche
Positionen des Objektpunktes zu unterschiedlichen Zeiten angeben.
Dazu kann ein Koordinatensystem aufgespannt werden und die 3D-Koordinaten können
eine x-, y-, und z-Position des Objektpunktes repräsentieren.
Die x- und y-Positionen können beispielweise durch eine
Abbildung des Objektpunktes auf eine Bildebene eines optischen Sensors
bestimmt werden. Die z-Position kann beispielsweise mittels einer
Stereo-Tiefenmessung bestimmt werden oder auch mittels anderer Systeme
wie Radarmessung, Navigationskarten oder C2X-Kommunikation ermittelt
werden. Andere Koordinatensysteme und Darstellungen der Position
des Objektpunktes sind ebenfalls möglich. Die 3D-Koordinaten
können direkt ermittelte Messwerte repräsentieren.
Das bedeutet, dass die 3D-Koordinaten ohne Verwendung einer Filtervorschrift
bestimmt werden können. Jede 3D-Koordinate kann somit ausschließlich
auf Messwerten basieren, die zu einem, der speziellen 3D-Koordinate
zugeordneten Zeitpunkt ermittelt worden sind. Beispielsweise kann
jede 3D-Koordinate aus Einzelbildern bestimmt werden, die von dem
Umfelderfassenden-System gleichzeitig oder innerhalb eines Erfassungszyklus,
erfasst wurden. Bei der Schnittstelle kann es sich um eine Schnittstelle
zu dem Umfelderfassenden-System oder einer entsprechenden Auswerte-
oder Vorverarbeitungseinrichtung handeln. Der zweite Zeitpunkt kann
zeitlich nach dem ersten Zeitpunkt liegen. In der zwischen dem ersten
und dem zweiten Zeitpunkt liegenden Zeitspanne kann sich der Objektpunkt
von der, durch die erste 3D-Koordinate bestimmten ersten Position,
zu der, durch die zweite 3D-Koordinate bestimmten zweiten Position
bewegt haben. Somit können aus den 3D-Koordinaten und den
jeweils zugeordneten Zeitpunkten eine Bewegungsgeschwindigkeit und eine
Bewegungsrichtung des Objektpunktes bestimmt werden. Die Geschwindigkeitsinformation oder
Bewegungsinformation kann sowohl die Bewegungsgeschwindigkeit als
auch die Bewegungsrichtung oder darauf basierende Werte umfassen.
Die Geschwindigkeitsinformation kann zur Weiterverarbeitung an eine
Schnittstelle bereitgestellt werden. Beispielsweise kann die Geschwindigkeitinformation an
ein Fahrerassistenzsystem bereitgestellt werden.
-
Gemäß einer
Ausführungsform kann die Geschwindigkeitsinformation aus
der ersten ungefilterten 3D-Koordinate und der mindestens einen
zweiten ungefilterten 3D-Koordinate als ein ungefilterter Wert bestimmt
werden. Dies bedeutet, dass die Geschwindigkeitsinformation ohne
Verwendung einer Filtervorschrift bestimmt werden kann. Somit kann
die Geschwindigkeitsinformation ausschließlich unter Verwendung
der ungefilterten 3D-Koordinate bestimmt werden. Dadurch kann die
Rechenintensität zur Bestimmung der Geschwindigkeitsinformation
sehr gering gehalten werden.
-
Alternativ
kann die Geschwindigkeitsinformation unter Einsatz einer Filtervorschrift
bestimmt werden. Beispielsweise kann ein Multimodellfilter, z. B.
ein Kalman-Filter, eingesetzt werden. Auf diese Weise kann die Genauigkeit
der Ge schwindigkeitsinformation erhöht werden.
-
Bei
der Geschwindigkeitsinformation kann es sich um einen 3D-Geschwindigkeitsvektor
handeln. Somit kann die Geschwindigkeitsinformation sowohl einen
Betrag der Geschwindigkeit als auch eine Richtung der Bewegung des
Objektpunktes angeben.
-
Alternativ
oder zusätzlich kann es sich bei der Geschwindigkeitsinformation
um eine Information über einen voraussichtlichen Kollisionszeitpunkt zwischen
dem Objektpunkt und dem Fahrzeug handeln. Der Kollisionszeitpunkt
kann beispielsweise von einem Fahrerassistenzsystem weiterverarbeitet werden.
-
Gemäß einer
Ausführungsform kann die Geschwindigkeitsinformation mittels
einer Differenzbildung aus der ersten ungefilterten 3D-Koordinate
und der mindestens einen zweiten ungefilterten 3D-Koordinate bestimmt
werden. Dies ermöglicht eine schnelle und unkomplizierte
Ermittlung der Geschwindigkeitsinformation.
-
Erfindungsgemäß können
für eine Mehrzahl von Objektpunkten eine Mehrzahl von ungefilterten 3D-Koordinaten
und eine Mehrzahl von Geschwindigkeitsinformationen bestimmt werden.
Eine Menge von Objektpunkten, aus der Mehrzahl von Objektpunkten,
kann basierend auf der Mehrzahl von ungefilterten 3D-Koordinaten
und der Mehrzahl von Geschwindigkeitsinformationen, einem Objekt
zugeordnet werden. Die Zuordnung kann basierend auf einer Zuordnungsvorschrift
erfolgen. Befinden sich eine Mehrzahl von relevanten Objekten im
Umfeld des Fahrzeugs, so kann die Mehrzahl von Objektpunkten entsprechen
auch auf mehrere unterschiedliche Objekte aufgeteilt werden. Die
Zuordnung der Menge von Objektpunkten kann ein Zusammenfassen von Objektpunkten
zu einer Objektwolke bewirken. Jede Objektwolke kann ein Objekt
repräsentieren. Das Objekt kann mittels eines geeigneten
Klassifizierungsverfahren aus der Objektwolke bestimmt werden kann.
Beispielsweise können benachbarte Objektpunkte, die eine
gemeinsame Bewegungsrichtung und Bewegungsgeschwindigkeit aufweisen,
einem Objekt zugeordnet werden. Somit ist eine Erkennung und Verfolgung
eines, sich in dem Umfeld des Fahrzeugs befindlichen Objekts möglich.
-
Gemäß einer
Ausführungsform kann eine statistische Größe
ermittelt werden, die der Menge von Objektpunkten zugeordnet sein
kann. Dabei kann es sich beispielsweise um einen Mittelwert oder um
eine Varianz entsprechender, den Objektpunkten zugeordneter, Werte
handeln. Beispielsweise kann die statistische Größe über
die Geschwindigkeitsinformationen der Objektpunkte bestimmt werden,
die einem Objekt zugeordnet sind. Mittels der statistischen Größen
können Messungenauigkeiten ausgeglichen werden.
-
Ferner
kann ein Objektattribut ermittelt werden, das der Menge von Objektpunkten
zugeordnet ist. Das Objektattribut kann beispielsweise eine Entfernung,
Breite oder Geschwindigkeit des Objekts darstellen. Das Objektattribut
kann durch eine Auswertung der 3D-Koordinaten sowie der Geschwindigkeitsinformationen
bestimmt werden. Das Objektattribut kann für eine Klassifizierung
oder Bewertung eines Objekts oder einer Objektbewegung eingesetzt werden.
-
Erfindungsgemäß können
die 3D-Koordinaten Informationen repräsentieren, die von
einem Umfeldertassenden-System bereitgestellt werden. Das Umfelderfassenden-System
kann eine Mehrzahl von Sensoren aufweisen. Dabei kann es sich um
optische Sensoren handeln, die ausgebildet sind, um das Umfeld des
Fahrzeugs zu erfassen und abzubilden. Beispielsweise kann es sich
bei dem Umfelderfassenden-System um eine Stereo-Kamera-Anordnung handeln.
Das Umfeldertassenden-System kann zur Ermittlung eines Abstandes
eines Objektpunktes eine Stereo-Tiefenmessung ermöglichen.
Alternativ oder zusätzlich können auch andere
geeignete Sensoren, Messverfahren oder Auswerteverfahren zur Ermittlung
der 3D-Koordinaten eingesetzt werden.
-
Dabei
kann das Umfelderfassende-System ausgebildet sein, um zu dem ersten
Zeitpunkt ein erstes Abbild des Umfelds und zu dem mindestens einem
zweiten Zeitpunkt ein zweites Abbild des Umfelds bereitzustellen.
Die erste 3D-Koordinate kann basierend auf dem ersten Abbild und
die mindestens eine zweite 3D-Koordinate kann basierend auf dem zweiten
Abbild ermittelt werden. Zur Auswertung der Abbilder können
bekannte Bildanalyseverfahren eingesetzt werden.
-
Gemäß einer
Ausführungsform kann ein Empfangen einer Information über
eine Eigenbewegung des Umfelderfassenden-Systems über eine Schnittstelle
erfolgen. Demnach kann die Geschwindigkeitsinformation ferner basierend
auf der Information über die Eigenbewegung bestimmt werden.
Auf diese Weise kann die Geschwindigkeitsinformation mit einer größeren
Genauigkeit bestimmt werden. Zudem wird die Ermittlung relevanter
Objektpunkte vereinfacht.
-
Die
vorliegende Erfindung schafft ferner ein Steuergerät, das
ausgebildet ist, um die Schritte des erfindungsgemäßen
Verfahrens durchzuführen bzw. umzusetzen. Auch durch diese
Ausführungsvariante der Erfindung in Form eines Steuergeräts
kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient
gelöst werden.
-
Unter
einem Steuergerät kann vorliegend ein elektrisches Gerät
verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit
davon Steuersignale ausgibt. Das Steuergerät kann eine
Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet
sein kann. Bei einer hardwaremäßigen Ausbildung
können die Schnittstellen beispielsweise Teil eines sogenannten
System-ASICs sein, der verschiedenste Funktionen des Steuergeräts
beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen
eigene, integrierte Schaltkreise sind oder zumindest teilweise aus
diskreten Bauelementen bestehen. Bei einer softwaremäßigen
Ausbildung können die Schnittstellen Softwaremodule sein,
die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen
vorhanden sind.
-
Von
Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der
auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher,
einem Festplattenspeicher oder einem optischen Speicher gespeichert
ist und zur Durchführung des Verfahrens nach einem der
vorstehend beschriebenen Ausführungsformen verwendet wird,
wenn das Programm auf einem Steuergerät ausgeführt
wird.
-
Die
Erfindung wird nachstehend anhand der beigefügten Zeichnungen
beispielhaft näher erläutert. Es zeigen:
-
1 ein
Ablaufdiagramm eines ersten Ausführungsbeispiels der vorliegenden
Erfindung; und
-
2 einen
Ablauf einer Schätzung eines Vektors des 3D-Fluss-Feldes,
gemäß einem Ausführungsbeispiel der vorliegenden
Erfindung.
-
In
der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele
der vorliegenden Erfindung werden für die in den verschiedenen
Figuren dargestellten und ähnlich wirkenden Elemente gleiche
oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte
Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt
ein Ablaufdiagramm eines Verfahrens zur Bestimmung einer Bewegungsinformation
eines, sich in einem Umfeld eines Fahrzeugs befindlichen Objekts,
gemäß einem Ausführungsbeispiel der vorliegenden
Erfindung.
-
In
einem ersten Schritt 102 kann für einen vorbestimmten
Objektpunkt eine erste ungefilterte 3D-Koordinate empfangen werden,
die einem ersten Zeitpunkt zugeordnet werden kann. Für
denselben vorbestimmten Objektpunkt kann in einem weiteren Schritt 104 eine
zweite ungefilterte 3D-Koordinate empfangen werden, die einem zweiten
Zeitpunkt zugeordnet werden kann. Bezüglich desselben Objektpunktes
können weitere 3D-Koordinaten empfangen werden, die weiteren
Zeitpunkten zugeordnet werden können. In einem weiteren
Schritt 106 kann aus den, bezüglich des einen
Objektpunktes empfangenen 3D-Koordinaten, eine Geschwindigkeitsinformation bestimmt
werden.
-
Entsprechende
Verfahrensschritte 102, 104, 106 können
zeitgleich oder zeitlich versetzt für weitere Objektpunkte
durchgeführt werden, so dass Geschwindigkeitsinformationen
für unterschiedliche Objektpunkte bestimmt werden können.
-
2 zeigt
einen Ablauf einer Schätzung eines Vektors eines 3D-Fluss-Feldes,
gemäß einem Ausführungsbeispiel der vorliegenden
Erfindung. Der Vektor kann der erfindungsgemäß bestimmbaren Geschwindigkeitsinformation
entsprechen.
-
Gezeigt
ist ein Koordinatensystem mit einer x-Achse, einer y-Achse und einer
z-Achse. Die x-Achse und die y-Achse spannen eine Bildebene 210 eines
optischen Sensors auf. Der optische Sensor kann an einem Fahrzeug
angeordnet sein, und ausgebildet sein, um ein Umfeld des Fahrzeugs
abzubilden. Ein Brennpunkt 212 des optischen Sensors ist
im Ursprung des Koordinatensystems angeordnet. Ferner ist eine Brennweite 214 gezeigt.
-
Ein
Objektpunkt befindet sich zu einem ersten Zeitpunkt an einer Position 221,
beispielsweise im Umfeld eines Fahrzeugs. Zu einem zweiten Zeitpunkt
befindet sich der Objektpunkt an einer Position 222 und
zu einem dritten Zeitpunkt an einer Position 223. Die Positionen 221, 222, 223 können
in Bezug auf das Koordinatensystem jeweils durch 3D-Koordinaten
definiert werden, die jeweils einen x-Wert, einen y-Wert und einen
z-Wert aufweisen. Entfernungen zwischen dem Brennpunkt 212 und
dem Objektpunkt an den Positionen 221, 222, 223 können
jeweils über eine Tiefenmessung, zum Beispiel durch Stereo-Video
ermittelt werden. Der Objektpunkt kann auf die Bildebene 210 abgebildet
werden. So kann der Objektpunkt zum ersten Zeitpunkt auf die Position 231,
zum zweiten Zeitpunkt auf die Position 232 und zum dritten
Zeitpunkt auf die Position 233 abgebildet werden. Auf der
Bildebene 210 können die Positionen 231, 232, 233 jeweils
durch eine x- und eine y-Koordinate beschrieben werden. Der Objektpunkt führt
zu einem ersten Zeitpunkt eine Bewegung aus, deren Richtung und
Größe durch einen ersten Geschwindigkeitsvektor 241 dargestellt
ist. Zum zweiten Zeitpunkt führt der Objektpunkt eine Bewegung
aus, die durch einen zweiten Geschwindigkeitsvektor 242 dargestellt
ist und zum dritten Zeitpunkt führt der Objektpunkt eine
Bewegung aus, die durch einen dritten Geschwindigkeitsvektor 243 dargestellt
ist. Die Bewegungen des Objektpunktes können auf die Bildebene 210 abgebildet
werden. So stellt ein Vektor 251 eine in der Bildebene 210 gelegene
2D-Trajektorie zwischen der Position 231 unter Position 232 dar.
In entsprechender Weise, stellt ein Vektor 252 eine 2D-Trajektorie
zwischen der Position 232 unter Position 233 dar.
Somit stellt der Vektor 252 eine Verschiebung des relevanten
Bildpunktes von (t – 1) nach (t) dar. Dies entspricht dem
optischen Fluss.
-
Die
Positionen 221, 222, 223 stellen somit 3D-Positionen
des Objektpunktes zu den jeweiligen Zeitpunkten dar. Der erste Geschwindigkeitsvektor 241 stellt
einen 3D-Flussvektor zum ersten Zeitpunkt (t – 2), der
zweite Geschwindigkeitsvektor 242 einen 3D-Flussvektor
zum zweiten Zeitpunkt (t – 1) und der dritte Geschwindigkeitsvektor 243 einen
3D-Flussvektor zum dritten Zeitpunkt (t) dar. Die Längen
der Geschwindigkeitsvektoren 241, 242, 243 stellen
jeweils 3D-Geschwindigkeiten dar. Somit stellen die Positionen 221, 223, 223 eine
3D-Trajektorie des relevanten Bildpunktes von (t – 2) nach
(t) dar.
-
Somit
können die realen Positionen 221, 222, 223 des
Objektpunktes durch 3D-Koordinaten dargestellt werden, die durch
die entsprechenden 2D-Positionen 231, 232, 233 und
zugeordnete Tiefenmessungen ermittelt werden können. Die jeweiligen
3D-Koordinaten können dabei direkt aus den jeweils entsprechenden
2D-Positionen 231, 232, 233 sowie den
jeweils entsprechenden Tiefenmessungen bestimmt werden, ohne das
dazu ein Filter eingesetzt wird oder zeitlich vorrangegangene oder
zeitlich nachfolgende 2D-Positionen oder Tiefenmessungen mit einfließen.
So kann eine der Positionen 221 entsprechende 3D-Koordinate
direkt aus der 2D-Position 231 und der Tiefenmessungen
ermittelt werden, die die den Abstand zwischen der Position 221 und dem
Brennpunkt 212 bereitstellt.
-
Aus
den 3D-Koordinaten kann eine 3D-Trajektorie ermittelt werden, die
eine reale Bewegung des Objektpunktes im Umfeld des Fahrzeugs repräsentiert.
-
Gemäß dem
in 2 gezeigten Ausführungsbeispiel kann
der 3D-Fluss einer Menge von relevanten Bildpunkten auf Grundlage
einer digitalen Bildsequenz und eines Abstandsmessenden Sensors
effizient bestimmt werden. Dabei werden zunächst innerhalb
der Bildsequenz relevante Bildpunkte ermittelt. Unter Ausnutzung
des Abstandsmessenden Sensors, z. B. eines Stereo-Kamera-Systems,
wird die 3D-Position eines relevanten Bildpunktes ermittelt. In
den darauf folgenden Zeitschritten wird der Bildpunkt mittels eines
geeigneten Verfahrens, z. B. eines KLT-Trackers, in der Bildsequenz
verfolgt und dann erneut 3-Dimensional vermessen. Auf diese Art
und Weise entsteht eine 3D-Trajektorie des relevanten Bildpunktes,
aus der sich ein Schätzwert für den 3D-Geschwindigkeitsvektor
ableiten lässt. Dies kann im einfachsten Falle durch eine
Differenzbildung zwei aufeinanderfolgender 3D-Positionen geschehen.
Die zurückgelegte Strecke kann dann, z. B. durch die Einbeziehung
der Zeit die zwischen der Beobachtung beider 3D-Positionen verstrichen
ist, in einen Geschwindigkeitsvektor überführt
werden. Für die Filterung des Geschwindigkeitsvektors sind
verschiedene Verfahren denkbar, wie z. B. ein 3-Dimensionaler Kalmanfilter.
Da die initiale Geschwindigkeit i. d. R. unbekannt ist, kann auch
ein Multihypothesen-Kalmanfilter oder allgemeiner ein Multimodellfilter
zum Einsatz kommen. Die Verlässlichkeit der Geschwindigkeitsschätzung sowie
die Auswahl der relevanten Bildpunkte kann erhöht werden,
wenn die Eigenbewegung des Sensorsystems in die Berechnung einfließt.
Die Eigenbewegung kann dabei von externen Sensoren, z. B. Odometrie
im Kfz, und/oder anhand der Messdaten des Sensorsystems selbst bestimmt
werden. Die Entfernungsmessung kann von einem beliebigen Sensor
stammen, z. B. von einem Stereo-Kamera-System oder einem MEMS-LIDAR,
dessen relative Orientierung zum Videosensor, der die digitale Bildsequenz
liefert, bekannt ist.
-
Das
3D-Flussfeld entsteht, indem das oben beschriebene Verfahren für
viele relevante Bildpunkte ausgeführt wird. Innerhalb des
Flussfeldes lassen sich 3D-Objekte in Form von bewegten 3D-Punktwolken
bestimmen. Zudem sind Objektattribute wie z. B. Entfernung, Breite
oder Geschwindigkeit ableitbar, wobei deren Güte i. d.
R. mit wachsender Anzahl zusammengefasster Bildpunkte steigt.
-
Die
beschriebenen und in den Figuren gezeigten Ausführungsbeispiele
sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele
können vollständig oder in Bezug auf einzelne
Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel
durch Merkmale eines weiteren Ausführungsbeispiels ergänzt
werden. Ferner können erfindungsgemäße
Verfahrensschritte wiederholt sowie in einer anderen als in der
beschriebenen Reihenfolge ausgeführt werden. Umfasst ein
Ausführungsbeispiel eine „und/oder” Verknüpfung
zwischen einem ersten Merkmal und einem zweiten Merkmal, so kann
dies so gelesen werden, dass das Ausführungsbeispiel gemäß einer
Ausführungsform sowohl das erste Merkmal als auch das zweite
Merkmal und gemäß einer weiteren Ausführungsform
entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - DE 102005008131
A1 [0003]
