-
Die Erfindung betrifft ein Verfahren zur kamerabasierten Ermittlung einer Eigenbewegung und/oder einer Drehbewegung um eine Fahrzeughochachse eines Fahrzeugs gemäß dem Oberbegriff des Anspruchs 1.
-
Aus der
DE 10 2008 061 060 A1 ist ein Verfahren zur Ermittlung einer Rotationsachse eines Fahrzeugs bekannt, wobei mittels einer in einem Außenspiegel des Fahrzeugs angeordneten und nach unten gerichteten Kamera Bilder erfasst werden und durch Auswertung dieser Bilder eine Rotationsachse des Fahrzeugs bestimmt wird. Dabei werden eine Geschwindigkeit und eine Bewegungsrichtung des Fahrzeugs mittels eines optischen Flusses bestimmt, welcher aus einem Vergleich von zwei zu verschiedenen Zeitpunkten aufgenommenen Bildern der Kamera ermittelt wird. Weiterhin wird eine Mehrzahl korrespondierender Punkte in zwei Bildern ermittelt, welche zu unterschiedlichen Aufnahmezeitpunkten von der Kamera aufgenommen wurden. Durch eine Bewegungsrichtung von Bewegungsvektoren zwischen den korrespondierenden Punkten wird die Bewegungsrichtung des Fahrzeugs ermittelt, wobei mittels einer Länge der Bewegungsvektoren und einer Zeitdifferenz zwischen den Aufnahmezeitpunkten die Geschwindigkeit des Fahrzeugs ermittelt wird. Aus einem Vergleich einer unterschiedlichen Länge und Bewegungsrichtung der Bewegungsvektoren in den Bildern, welche von zwei in den Außenspiegeln des Fahrzeugs angeordneten Kameras zum gleichen Aufnahmezeitpunkt erfasst wurden, wird die Rotationsachse des Fahrzeugs ermittelt.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur kamerabasierten Ermittlung einer Eigenbewegung und/oder einer Drehbewegung um eine Fahrzeughochachse eines Fahrzeugs anzugeben.
-
Die Aufgabe wird erfindungsgemäß mit einem Verfahren gelöst, welches die im Anspruch 1 angegebenen Merkmale aufweist.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In dem Verfahren zur kamerabasierten Ermittlung einer Eigenbewegung und/oder einer Drehbewegung um eine Fahrzeughochachse eines Fahrzeugs anhand eines optischen Flusses werden mittels zumindest einer in Richtung einer Fahrbahn gerichteten Kamera zeitlich nacheinander Bilder aufgenommen und in den zeitlich nacheinander aufgenommenen Bildern Korrespondenzen von Bildmerkmalen anhand von Flussvektoren ausgewertet.
-
Erfindungsgemäß wird ein zu einem definierten ersten Zeitpunkt aktuell erfasstes Bild als Referenzbild vorgegeben. Weiterhin werden Korrespondenzen zeitlich nach dem Referenzbild erfasster Bilder in Bezug auf das Referenzbild ermittelt und nach Zurücklegen eines vorgegebenen Wegs durch das Fahrzeug wird ein zu einem auf den ersten Zeitpunkt folgenden weiteren Zeitpunkt aktuell erfasstes weiteres Bild als Referenzbild vorgegeben.
-
Das Verfahren ermöglicht aufgrund der Referenzierung aktuell aufgenommener Bilder auf ein jeweils zugehöriges Referenzbild eine zumindest nahezu driftfreie Ermittlung der Eigenbewegung und/oder Drehbewegung um die Fahrzeughochachse, auch als Drehrate bezeichnet, bei langsamen Geschwindigkeiten und während eines Stillstands des Fahrzeugs. Hierbei treten beispielsweise aus Artefakten in einer Messung des optischen Flusses möglicherweise resultierende Fehler lediglich bei der Vorgabe des jeweiligen Referenzbilds auf, wohingegen bei aus dem Stand der Technik bekannten Verfahren, bei welchen die Korrespondenzen jeweils zwischen zeitlich unmittelbar nacheinander erfassten Bildern ermittelt werden, auftretende Fehler sich bei jeder Korrespondenzermittlung in jedem Zeitschritt aufsummieren.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
- 1 schematisch eine perspektivische Ansicht eines Außenspiegels eines Fahrzeugs mit einer Kamera,
- 2 schematisch eine Draufsicht auf ein Fahrzeug und mittels in Außenspiegeln des Fahrzeugs angeordneter Kameras erfasste Bilder,
- 3 schematisch die Draufsicht auf das Fahrzeug und die Bilder gemäß 2 und mittels einer Projektion der Bilder auf eine virtuelle Bodenebene erzeugte entzerrte Bilder,
- 4 schematisch die Draufsicht auf das Fahrzeug und die entzerrten Bilder gemäß 3 und optische Flüsse in den entzerrten Bildern,
- 5 schematisch eine perspektivische Ansicht des Fahrzeugs sowie einen Erfassungsbereich einer Kamera,
- 6 schematisch einen Vergleich einer Ermittlung von Korrespondenzen und optischen Flüssen gemäß dem Stand der Technik und einer referenzbildbasierten Ermittlung von Korrespondenzen und optischen Flüssen,
- 7 schematisch einen zeitlichen Verlauf eines anhand eines optischen Flusses ermittelten von einem Fahrzeug zurückgelegten Wegs nach dem Stand der Technik und
- 8 schematisch einen zeitlichen Verlauf eines anhand eines optischen Flusses und referenzbildbasiert ermittelter Korrespondenzen ermittelten von einem Fahrzeug zurückgelegten Wegs.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
In 1 ist eine perspektivische Ansicht eines Außenspiegels 1 eines in 2 gezeigten Fahrzeugs 2 dargestellt, wobei an einer Unterseite des Außenspiegels 1 eine in Richtung einer Fahrbahn gerichtete Kamera 3 angeordnet ist. Die folgende Beschreibung zur 1 und den weiteren 2 bis 6 ist dabei nicht auf die im Außenspiegel 1 des Fahrzeugs 2 angeordnete Kamera 3 beschränkt, sondern trifft analog auch auf andere am Fahrzeug 2 angeordnete, nicht näher dargestellte Kameras, beispielsweise Rückfahrkameras und Frontkameras, zu. Beispielsweise kann in nicht näher dargestellter Weise auch eine Kamera an einem Unterboden des Fahrzeugs 2 angeordnet sein, welche in Richtung der Fahrbahn gerichtet ist. Voraussetzung für alle Kameras ist jedoch, dass diese eingerichtet sind, eine feingranulare Bodentextur der Fahrbahn zu erfassen.
-
Die Kamera 3 ist zur Erfassung einer Fahrzeugumgebung vorgesehen und Bestandteil einer nicht gezeigten Fahrerassistenzvorrichtung zur Fahrspurerkennung, zur Erfassung einer Fahrdynamik des Fahrzeugs 2 und/oder zur Unterstützung eines Fahrers bei einem Einparkvorgang. Bei einer Verwendung der Kamera 3 zur Unterstützung des Fahrers bei einem Einparkvorgang sind mittels dieser insbesondere Bilddaten erzeugbar, welche zur Darstellung einer Fahrzeugumgebung aus einer Vogelperspektive, auch als Surroundview-Funktionalität bezeichnet, verwendet werden. Hierzu umfasst die Kamera 3 in nicht näher dargestellter Weise ein so genanntes Fischaugenobjektiv.
-
2 zeigt eine Draufsicht auf das Fahrzeug 2 und mittels in Außenspiegeln 1, 4 des Fahrzeugs 2 angeordneter Kameras 3, 5 erfasste Bilder B1, B2. Die im Außenspiegel 4 angeordnete Kamera 5 entspricht hinsichtlich ihrer Eigenschaften dabei insbesondere der in 1 beschriebenen Kamera 3.
-
Aufgrund der Ausbildung der Objektive der Kameras 3, 5 als Fischaugenobjektiv, weisen die Kameras 3, 5 einen verhältnismäßig großen Erfassungsbereich auf. Die Darstellungen der Fahrzeugumgebung in den erfassten Bildern B1, B2 sind jedoch aufgrund der optischen Eigenschaften der Fischaugenobjektive verzerrt.
-
Die Bilder B1, B2 zeigen dabei in verzerrter Weise die Fahrzeugumgebung im jeweiligen Erfassungsbereich der Kameras 3, 5, Abschnitte des Fahrzeugs 2 sowie Vorderräder 2.1, 2.2 und Hinterräder 2.3, 2.4 des Fahrzeugs 2.
-
In 3 sind die Draufsicht auf das Fahrzeug 2 und die Bilder B1, B2 gemäß 2 und aus den Bildern B1, B2 in einer Entzerrung erzeugte entzerrte Bilder EB1, EB2 dargestellt.
-
Die Entzerrung der Bilder B1, B2 erfolgt dabei in allgemein bekannter Weise anhand einer Projektion der Bilder B1, B2 auf eine virtuelle Bodenebene unter Berücksichtigung extrinsischer und intrinsischer Kameraparameter P1, P2, so dass sowohl das Fahrzeug 2 als auch dessen Fahrzeugumgebung entzerrt dargestellt sind.
-
4 zeigt die Draufsicht auf das Fahrzeug 2 und die entzerrten Bilder EB1, EB2 gemäß 3 und eine Ermittlung optischer Flüsse in den entzerrten Bildern EB1, EB2.
-
In 5 sind eine perspektivische Ansicht des Fahrzeugs 2 sowie ein Erfassungsbereich der Kamera 3 und auf der Fahrbahn gemessene optische Flüsse dargestellt.
-
Die auf der Fahrbahn gemessenen optischen Flüsse sind dabei im entzerrten Bild EB1 für mehrere korrespondierende Bildpunkte anhand von Flussvektoren V1.1 bis V1.n dargestellt. Im entzerrten Bild EB2 sind die optischen Flüsse für mehrere korrespondierende Bildpunkte anhand von Flussvektoren V2.1 bis V2.m dargestellt. Eine Verschiebung eines Bildpunktes im entzerrten Bild EB1, EB2 wird durch eine Verschiebung eines Abbildungsbereiches der entsprechenden Kamera 3, 5, hervorgerufen, welche wiederum durch die Bewegung des Fahrzeugs 2 hervorgerufen wird.
-
Das heißt, die Verschiebung, welche durch die entsprechenden Flussvektoren V1.1 bis V1.n, V2.1 bis V2.m zwischen den korrespondierenden Bildpunkten dargestellt ist, korrespondiert mit einer Bewegung des Außenspiegels 1, 4 des Fahrzeugs 2, an welchem die entsprechende Kamera 3, 5 angeordnet ist.
-
Eine jeweilige Richtung der Flussvektoren V1.1 bis V1.n, V2.1 bis V2.m stellt somit eine Bewegungsrichtung der zugehörigen Kamera 3, 5 dar und wird durch Raumkoordinaten und die Richtungswinkel beschrieben.
-
Durch Ermittlung einer Zeitdauer zwischen einem ersten Zeitpunkt und einem zweiten Zeitpunkt und durch Ermittlung einer Länge des entsprechenden Flussvektors V1.1 bis V1.n, V2.1 bis V2.m, welche mit einer Entfernung korrespondiert, welche die Kamera 3, 5 in dieser Zeitdauer zurückgelegt hat, sind die Geschwindigkeiten der Kameras 3, 5 ermittelbar.
-
Bei einem vollständig steifen Fahrzeug 2 wird bei einer Geradeausfahrt des Fahrzeugs 2 für die entzerrten Bilder EB1, EB2 der gleiche optische Fluss ermittelt. Bei einer Kurvenfahrt werden bei vollständig steifem Fahrzeug 2 für die entzerrten Bilder EB1, EB2 unterschiedliche optische Flüsse, jedoch mit gleichem Bewegungswinkel, insbesondere Rotationswinkel, ermittelt.
-
Das heißt, über eine Geometrie der optischen Flüsse können eine Eigenbewegung und eine Drehbewegung des Fahrzeugs 2 um eine Fahrzeughochachse, auch als Drehrate bezeichnet, ermittelt werden.
-
Zu einer solchen Ermittlung einer Eigenbewegung und einer Drehbewegung des Fahrzeugs 2 um die Fahrzeughochachse sind aus dem Stand der Technik verschiedene Verfahren bekannt.
-
6 zeigt einen Vergleich einer Ermittlung von Korrespondenzen und optischen Flüssen gemäß dem Stand der Technik (linke Darstellung) und einer referenzbildbasierten Ermittlung von Korrespondenzen und optischen Flüssen (rechte Darstellung) an einem Bildmerkmal M.
-
In dem Verfahren nach dem Stand der Technik werden in den zeitlich nacheinander aufgenommenen Bildern B1 Korrespondenzen von Bildmerkmalen M zum Zeitpunkt ti und ti+1, d. h. jeweils zwischen zeitlich unmittelbar nacheinander erfassten Bildern B1, ermittelt. Die Korrespondenzen und die daraus resultierenden Flussvektoren V1.1 bis V1.n, V2.1 bis V2.m sind proportional zu dem zwischen diesen beiden Zeitpunkten t0 bis ti zurückgelegten und in 7 näher dargestellten Weg d. Eine Geschwindigkeit des Fahrzeugs 2 wird daraus durch zeitliche Ableitung (dt = ti+1 - ti) ermittelt. Nachteilig ist jedoch, dass ein gegebenenfalls auftretender Fehler bei jeder Korrespondenzermittlung in jedem Zeitschritt aufsummiert wird. Dabei kann der Fehler sehr groß werden, wenn beispielsweise der Fehler nicht gleichverteilt auftritt, sondern eine Drift besitzt.
-
Das heißt, solche Verfahren, die aus dem optischen Fluss einen vom Fahrzeug 2 zurückgelegten Weg d berechnen, sind nicht driftfrei. Hierbei ist es möglich, dass sich beispielsweise ein stehendes Fahrzeug durch Artefakte in der Messung des optischen Flusses anscheinend sehr langsam weiterbewegt. Diese anscheinende Weiterbewegung beträgt beispielsweise 0,02 cm pro Bild B1, B2 bzw. Frame, so dass bei einer Framerate von 25 Bildern pro Sekunde eine scheinbare Bewegung von 0,5 cm pro Sekunde oder 30 cm pro Minute gemessen wird. Gründe für die Artefakte haben dabei beispielsweise softwaretechnische Ursachen, wie beispielsweise so genannte Rundungsartefakte, oder hardwaretechnische Ursachen, wie beispielsweise eine geringe Dekalibrierung der Kamera 3, 5 oder eine geringe Schrägstellung des Fahrzeugs 2.
-
Um eine driftfreie kamerabasierte Ermittlung der Eigenbewegung und der Drehbewegung um die Fahrzeughochachse des Fahrzeugs 2 zu ermöglichen, ist - wie die linke Darstellung der 6 zeigt - vorgesehen, dass im Gegensatz zum beschriebenen Stand der Technik ein zu einem definierten ersten Zeitpunkt t0 bis ti , im dargestellten Ausführungsbeispiel zum Zeitpunkt t0 aktuell erfasstes Bild B1 als Referenzbild RB vorgegeben wird. Korrespondenzen zeitlich nach dem Referenzbild RB erfasster Bilder B1 werden anschließend nicht in Bezug auf das zeitlich unmittelbar zuvor erfasste Bild B1, sondern immer in Bezug auf ein aktuell jeweils gültiges Referenzbild RB ermittelt. Ein dabei bis zu dem Referenzbild RB vom Fahrzeug 2 zurückgelegter Weg d wird gespeichert. Weiterhin wird der vom Fahrzeug 2 zwischen dem Referenzbild RB und einem aktuell erfassten Bild B1 zurückgelegte Weg d ermittelt, wobei sich dieser Weg d durch Addition mit dem gespeicherten Weg d ein bisher vom Fahrzeug 2 zurückgelegter Gesamtweg ergibt.
-
Nach Zurücklegen eines vorgegebenen Wegs d von beispielsweise 20 cm durch das Fahrzeug 2 wird ein zu einem auf den ersten Zeitpunkt t0 folgenden weiteren Zeitpunkt t1 bis ti, im dargestellten Ausführungsbeispiel ein zum Zeitpunkt t4, aktuell erfasstes weiteres Bild B1 als Referenzbild RB vorgegeben, wobei Korrespondenzen zeitlich nach dem neuen Referenzbild RB erfasster Bilder B1 anschließend in Bezug auf das neue Referenzbild RB ermittelt werden.
-
Diese Ermittlung wird analog auch für die vom Fahrzeug 2 durchgeführte Drehbewegung um die Fahrzeughochachse durchgeführt, wobei ausgehend von einer Ausgangsposition eine von dem Fahrzeug 2 bis zu einem jeweiligen Referenzbild RB ausgeführte Drehbewegung um die Fahrzeughochachse anhand der Flussvektoren V1.1 bis V1.n, V2.1 bis V2.m ermittelt und gespeichert wird. Weiterhin wird eine zwischen einem aktuell aufgenommenen Bild B1, B2 und dem zugehörigen Referenzbild RB von dem Fahrzeug 2 ausgeführte Drehbewegung um die Fahrzeughochachse anhand der Flussvektoren V1.1 bis V1.n, V2.1 bis V2.m ermittelt und gespeichert.
-
Hierdurch ergibt sich, dass ein möglicher Fehler ausschließlich beim Wechseln des Referenzbilds RB auftritt. Im Stand des Fahrzeugs 2 bleibt er „Null“.
-
In 7 ist ein zeitlicher Verlauf eines anhand eines optischen Flusses ermittelten zurückgelegten Wegs d nach dem Stand der Technik dargestellt, wobei sich der Messwert des Wegs d durch zeitliche Integration ergibt. Dabei bewegt sich das Fahrzeug 2 mit zumindest nahezu gleichbleibender Geschwindigkeit. Weiterhin ist ein Mittelwert dMW des Wegs d dargestellt. 8 zeigt einen zeitlichen Verlauf eines anhand eines optischen Flusses und referenzbildbasiert ermittelter Korrespondenzen ermittelten von einem Fahrzeug zurückgelegten Wegs d sowie dessen Mittelwert dMW .
-
Bei einem Vergleich der beiden zeitlichen Verläufe wird deutlich, dass die durch das Verfahren nach dem Stand der Technik ermittelten Messwerte des Wegs d durch einen Drift verfälscht sind, die referenzbildbasiert ermittelten Messwerte dagegen driftfrei sind.
-
Bezugszeichenliste
-
- 1
- Außenspiegel
- 2
- Fahrzeug
- 2.1
- Vorderrad
- 2.2
- Vorderrad
- 2.3
- Hinterrad
- 2.4
- Hinterrad
- 3
- Kamera
- 4
- Außenspiegel
- 5
- Kamera
- B1
- Bild
- B2
- Bild
- d
- Weg
- dMW
- Mittelwert
- EB1
- entzerrtes Bild
- EB2
- entzerrtes Bild
- M
- Bildmerkmal
- P1
- Kameraparameter
- P2
- Kameraparameter
- RB
- Referenzbild
- t
- Zeit
- t0 bis ti
- Zeitpunkt
- V1.1 bis V1.n
- Flussvektor
- V2.1 bis V2.m
- Flussvektor
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102008061060 A1 [0002]
