-
Die Erfindung betrifft ein Verfahren zum Bestimmen zumindest eines die Eigenbewegung eines Kraftfahrzeugs beschreibenden Bewegungsparameters. Der Bewegungsparameter wird anhand von Bildern eines Umgebungsbereiches des Kraftfahrzeugs bestimmt, welche mittels einer Kamera des Kraftfahrzeugs bereitgestellt werden. Die Erfindung betrifft außerdem ein Kamerasystem zum Durchführen eines solchen Verfahrens sowie ein Kraftfahrzeug mit einem solchen Kamerasystem.
-
Kamerasysteme für Kraftfahrzeuge sind bereits Stand der Technik und werden in Kraftfahrzeugen zur Bereitstellung unterschiedlicher Funktionalitäten verwendet. Zum einen können in Kraftfahrzeugen Kameras eingesetzt werden, um die Bilder der Umgebung des Kraftfahrzeugs auf einem Display im Innenraum anzuzeigen. Zum anderen können auch weitere Funktionalitäten anhand von Bildern bereitgestellt werden, welche den Fahrer beim Führen des Kraftfahrzeugs unterstützen. Zu diesen Funktionalitäten zählt beispielsweise die Detektion von Objekten in der Umgebung des Kraftfahrzeugs. Vorliegend richtet sich das Interesse auf die Bestimmung der Eigenbewegung des Kraftfahrzeugs in Abhängigkeit von Bildern, welche mittels einer Kamera bereitgestellt werden. Solche Verfahren zur Ermittlung der Bewegung des Kraftfahrzeugs anhand von Bilddaten sind bereits Stand der Technik.
-
Dass Bewegungsparameter eines Kraftfahrzeugs anhand von Bilddaten bestimmt werden können, ist beispielsweise aus den Dokumenten
US 8 213 706 B2 sowie
US 2011/0243390 A1 bekannt. Die bekannten Verfahren basieren auf probabilistischen Methoden, welche zur Verfolgung charakteristischer Punkte in der Sequenz von Bildern dienen. Diese probabilistischen Methoden sind jedoch insgesamt wenig genau, weil sich die extrahierten charakteristischen Merkmale der Bilder über der Zeit ändern können und die Erfassung der Bewegungsparameter des Kraftfahrzeugs somit ein relativ hohes Messrauschen aufweist.
-
Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, wie bei einem Verfahren der eingangs genannten Gattung der Bewegungsparameter des Kraftfahrzeugs präziser und robuster als im Stand der Technik bestimmt werden kann.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Kamerasystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
-
Ein erfindungsgemäßes Verfahren dient zum Bestimmen zumindest eines die Eigenbewegung eines Kraftfahrzeugs beschreibenden Bewegungsparameters. Der Bewegungsparameter wird anhand von Bildern eines Umgebungsbereiches des Kraftfahrzeugs bestimmt, welche mittels einer Kamera des Kraftfahrzeugs bereitgestellt werden. Und zwar wird der Bewegungsparameter anhand zumindest eines ersten und eines zweiten Bildes des Umgebungsbereiches bestimmt, wobei die beiden Bilder vorzugsweise eines nach dem anderen erfasst werden. In den Bildern wird ein Bildbereich bestimmt, in welchem ein Boden (beispielsweise eine Fahrbahn) abgebildet ist, auf welchem sich das Kraftfahrzeug bewegt. Insbesondere wird eine Annahme gemacht, dass das Fahrzeug koplanar zu der in den erfassten Bildern abgebildeten Bodenfläche ist. Jede Bewegung in den Bildern kann direkt auf die Bewegung des Kamerasystems und damit des Fahrzeugs zurückgeführt werden, weil der Boden als statisch für den Beobachter gilt. In dem genannten Bildbereich des ersten Bilds und in dem Bildbereich des zweiten Bilds wird dann jeweils eine Vielzahl von Bildmerkmalen ermittelt. Zu jedem Bildmerkmal werden dann jeweils Merkmalsdaten erzeugt, welche das jeweilige Bildmerkmal eindeutig beschreiben. Mit anderen Worten werden zu jedem Bildmerkmal jeweils Beschreibungsdaten ermittelt, welche charakteristisch für die Bildregion des jeweiligen Bildmerkmals sind und dieses Bildmerkmal von anderen Bildmerkmalen unterscheiden lassen. Die Merkmalsdaten können beispielsweise Helligkeitswerte von Bildpunkten umfassen. Dann erfolgt eine Zuordnung der Bildmerkmale des ersten Bildes zu jeweiligen Bildmerkmalen des zweiten Bildes anhand der charakteristischen Merkmalsdaten. Die Bildmerkmale des ersten Bildes werden somit zu denjenigen Bildmerkmalen des zweiten Bildes zugeordnet, welche ähnliche Merkmalsdaten aufweisen. Es entsteht somit eine Vielzahl von Paaren jeweils aus einem Bildmerkmal des ersten Bildes und dem zugeordneten Bildmerkmal des zweiten Bildes. Der Bewegungsparameter wird dann anhand zumindest eines Paares bestimmt.
-
Das erfindungsgemäße Verfahren ermöglicht die Bestimmung des Bewegungsparameters des Kraftfahrzeugs mit einer sehr hohen Präzision und somit deutlich genauer und robuster als die bekannten Methoden, welche auf der Verfolgung von irgendwelchen charakteristischen Merkmalen bzw. Bildpunkten beruhen. Es wird nämlich der Bildbereich bestimmt, in welchem der Boden abgebildet ist und welcher somit eine zum Fahrzeugkoordinatensystem koplanare Fläche darstellt. Dies hat den Vorteil, dass anhand des zumindest einen Merkmalspaares unmittelbar die Eigenbewegung des Kraftfahrzeugs bestimmt werden kann. Weil der Boden als Referenz für die Bestimmung des Bewegungsparameters genutzt wird, können auch Fehler bei der Bestimmung des Bewegungsparameters ausgeschlossen werden, welche beispielsweise durch bewegliche Objekte verursacht werden könnten.
-
Die Kamera ist bevorzugt eine Video-Kamera, welche eine Vielzahl und somit eine zeitliche Sequenz von Bildern pro Sekunde liefert. Der Bewegungsparameter kann dabei fortlaufend anhand der jeweils aktuellen Bilder angepasst werden. Die Kamera kann beispielsweise eine CCD-Kamera oder eine CMOS-Kamera sein.
-
Diese Zuordnung der Bildmerkmale zueinander bzw. die Merkmalsverfolgung kann beispielsweise mittels einer Zuordnung von Deskriptoren von robusten Merkmalen durchgeführt werden. Beispielsweise kann die Lucas-Kanade-Methode verwendet werden. Die Erfindung ist jedoch nicht auf diese Methode beschränkt.
-
In einer Ausführungsform ist vorgesehen, dass zur Bestimmung des zumindest einen Bewegungsparameters die Bildmerkmale des zumindest einen Paares aus einem Bildkoordinatensystem in ein dreidimensionales Fahrzeugkoordinatensystem transformiert werden. Es erfolgt somit eine Transformation der Bildmerkmale aus dem Koordinatensystem des Bildrahmens auf eine Ebene in dem dreidimensionalen Fahrzeugkoordinatensystem, wobei angenommen wird, dass die Ebene, auf welche die Merkmale transformiert worden sind, koplanar zu der Ebene z' = 0 des Fahrzeugskoordinatensystem ist. Eine solche Abbildung kann beispielsweise anhand der Epipolargeometrie und der Projektionstheorie bereitgestellt werden. Zu diesem Zwecke können optional auch die Kalibrierungsdaten der Kamera verwendet werden. Der Bewegungsparameter des Kraftfahrzeugs wird dann vorzugsweise in Abhängigkeit von einer Entfernung zwischen den beiden Bildmerkmalen in dem Fahrzeugkoordinatensystem bestimmt. Hierbei wird vorzugsweise zusätzlich auch die Zeitdauer zwischen den Zeitpunkten der Erfassung des ersten und des zweiten Bildes berücksichtigt, wenn als Bewegungsparameter die Geschwindigkeit des Kraftfahrzeugs in zumindest einer Richtung bestimmt werden soll. Eine solche Vorgehensweise ermöglicht die Bestimmung der aktuellen Geschwindigkeit des Kraftfahrzeugs mit einer besonders hohen Präzision.
-
Wie bereits ausgeführt, wird in den beiden Bildern jeweils eine Vielzahl von Bildmerkmalen ermittelt, und es werden Paare jeweils aus einem Bildmerkmal des ersten Bildes und dem zugeordneten Bildmerkmal des zweiten Bildes gebildet. Man erhält somit eine Vielzahl von Paaren aus jeweils einem Bildmerkmal des ersten Bildes und dem zugeordneten und gleichen Bildmerkmal des zweiten Bildes. Anhand dieser Vielzahl von Merkmalspaaren kann dann jeweils ein Zwischenwert für den zumindest Bewegungsparameter bestimmt werden, und der tatsächliche aktuelle Ist-Wert des Bewegungsparameters kann abhängig von dieser Vielzahl von Zwischenwerten berechnet werden. Auf diesem Wege gelingt es, den Bewegungsparameter noch genauer zu bestimmen, weil gegebenenfalls vorhandene Ausreißer aus dem Gesamtergebnis eliminiert werden können.
-
Beispielsweise kann der Ist-Wert des Bewegungsparameters durch eine – beispielsweise statistische – Filterung der Zwischenwerte bestimmt werden. Diese Filterung kann so aussehen, dass die genannten Ausreißer aus der Menge von Zwischenwerten herausgefiltert werden und zur Bestimmung des Ist-Werts des Bewegungsparameters nur diejenigen Zwischenwerte berücksichtigt werden, die eine geringe Abweichung untereinander aufweisen. Eine solche Vorgehensweise kann z. B. mit Hilfe eines Histogramms realisiert werden. Auch andere statistische Filter können angewendet werden.
-
Die Größe des genannten Bildbereiches, in welchem der Boden abgebildet ist, kann grundsätzlich beliebig eingestellt werden. In einer Ausführungsform kann diese Größe beispielsweise 60 × 60 Bildpunkte betragen. Diese Größe kann auch im Betrieb des Kraftfahrzeugs und somit „online” eingestellt werden, nämlich insbesondere in Abhängigkeit von dem aktuellen Wert des Bewegungsparameters, insbesondere der Geschwindigkeit des Kraftfahrzeugs.
-
In einer Ausführungsform ist somit vorgesehen, dass die Größe des Bildbereiches in Abhängigkeit von dem aktuellen Wert des Bewegungsparameters, insbesondere der aktuellen Geschwindigkeit des Kraftfahrzeugs, im Betrieb eingestellt wird. Somit kann der Algorithmus an die jeweils aktuelle Situation bedarfsgerecht angepasst werden.
-
Es können im Allgemeinen verschiedene Methoden angewendet werden, um charakteristische Merkmale aus dem Bild zu extrahieren. Zum Beispiel können die so genannten Harris-Punkte detektiert werden, oder es können auch weitere Methoden, wie SIFT, SURF, ORB oder dergleichen verwendet werden.
-
Es erweist sich als besonders vorteilhaft, wenn als Bildmerkmale invariante Merkmale extrahiert werden, insbesondere affine und/oder morphologische invariante Merkmale. Insbesondere können skaleninvariante Merkmale und/oder helligkeitsinvariante Merkmale und/oder rotationsinvariante Merkmale extrahiert werden. Durch Auffinden dieser sogenannten „robusten, hervorstechenden Merkmale” („robust salient features”) wird erreicht, dass sich diese Merkmale in ihren charakteristischen Merkmalsdaten über der Zeit nicht ändern und somit präzise zu den entsprechenden Merkmalen des anderen Bildes zugeordnet werden können. Diese Zuordnung und somit die Bestimmung des Bewegungsparameters weist somit ein deutlich geringeres Messrauschen als die Methoden gemäß dem Stand der Technik auf, bei denen beliebige Merkmale aus den Bildern extrahiert werden.
-
Anhand des zumindest einen Paares von Bildmerkmalen kann zumindest einer der folgenden Bewegungsparameter bestimmt wird: eine Positionsänderung des Kraftfahrzeugs in Fahrzeuglängsrichtung und/oder eine Positionsänderung des Kraftfahrzeugs in Fahrzeugquerrichtung und/oder eine Positionsänderung des Kraftfahrzeugs in Fahrzeughochrichtung und/oder eine Änderung des Rollwinkels und/oder eine Änderung des Gierwinkels und/oder eine Änderung des Nickwinkels. Es kann somit insgesamt die Eigenbewegung des Kraftfahrzeugs in sechs unterschiedlichen Freiheitsgraden bestimmt werden, und zu diesen Parametern kann optional auch die Geschwindigkeit in der jeweiligen Richtung ermittelt werden. Dabei wird das Zeitintervall zwischen den Zeitpunkten der Aufnahme der beiden Bilder berücksichtigt.
-
Die Erfindung betrifft außerdem ein Kamerasystem für ein Kraftfahrzeug, wobei das Kamerasystem zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet ist. Die Erfindung betrifft des Weiteren ein Kraftfahrzeug, insbesondere einen Personenkraftwagen, mit einem erfindungsgemäßen Kamerasystem. Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
-
Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
-
Es zeigen:
-
1 in schematischer Darstellung ein Kraftfahrzeug mit einem Kamerasystem gemäß einer Ausführungsform der Erfindung;
-
2 ein Flussdiagramm eines Verfahrens gemäß einer Ausführungsform der Erfindung;
-
3 und 4 zwei nacheinander mittels einer Kamera erfasste Bilder eines Umgebungsbereiches des Kraftfahrzeugs, wobei ein Verfahren gemäß einer Ausführungsform der Erfindung näher erläutert wird.
-
Ein in 1 dargestelltes Kraftfahrzeug 1 ist beispielsweise ein Personenkraftwagen. Das Kraftfahrzeug 1 umfasst ein Kamerasystem 2 mit einer Kamera 3 und einer elektronischen Auswerteeinrichtung 4. Im Ausführungsbeispiel ist die Auswerteeinrichtung 4 in die Kamera 3 integriert, sie kann jedoch auch eine von der Kamera 3 separate Komponente sein. Die Auswerteeinrichtung 4 ist beispielsweise als digitaler Signalprozessor ausgebildet.
-
Die Kamera 3 ist vorzugsweise eine Video-Kamera, welche eine Vielzahl von Bildern eines Umgebungsbereiches 5 vor dem Kraftfahrzeug 1 bereitstellt. Im Ausführungsbeispiel ist die Kamera 3 eine Frontkamera, welche beispielsweise hinter einer Windschutzscheibe 6 des Kraftfahrzeugs 1 angeordnet ist. Die Erfindung ist jedoch nicht auf eine solche Anordnung der Kamera 3 beschränkt; die Kamera 3 kann auch eine Rückwärtskamera sein, welche einen Umgebungsbereich hinter dem Kraftfahrzeug 1 erfasst. Es kann auch eine Kamera verwendet werden, welche in einen der Außenspiegel integriert ist.
-
Die Kamera 3 kann beispielsweise einen CCD-Bildsensor oder aber einen CMOS-Bildsensor umfassen. Ein Öffnungswinkel der Kamera 3 kann beispielsweise in einem Wertebereich von 90° bis 200° liegen.
-
Die Auswerteeinrichtung 4 ist zum Verarbeiten der Bilder ausgebildet. Und zwar kann die Auswerteeinrichtung 4 zumindest einen die Eigenbewegung des Kraftfahrzeugs 1 beschreibenden Bewegungsparameter anhand der Bilder bestimmen, nämlich insbesondere eine Positionsänderung des Kraftfahrzeugs 1 in sechs unterschiedlichen Freiheitsgraden: eine Positionsänderung des Kraftfahrzeugs in Fahrzeuglängsrichtung und/oder eine Positionsänderung des Kraftfahrzeugs in Fahrzeugquerrichtung und/oder eine Positionsänderung des Kraftfahrzeugs in Fahrzeughochrichtung und/oder eine Änderung des Rollwinkels und/oder eine Änderung des Gierwinkels und/oder eine Änderung des Nickwinkels. In jedem dieser Freiheitsgrade ist es auch möglich, die Geschwindigkeit des Kraftfahrzeugs 1 in der jeweiligen Richtung zu bestimmen.
-
Nachfolgend wird die Bestimmung der Eigenbewegung des Kraftfahrzeugs 1 anhand von zwei unmittelbar nacheinander erfassten Bildern der Kamera 3 unter Bezugnahme auf 2 näher erläutert. Es sei an dieser Stelle angemerkt, dass die Eigenbewegung des Kraftfahrzeugs 1 fortlaufend in Echtzeit anhand der jeweils aktuellen Bilder bestimmt wird. Die nachfolgende Beschreibung bezieht sich der Einfachheit halber lediglich auf zwei Bilder, das Verfahren wird jedoch auf eine Vielzahl von Bildpaaren angewendet.
-
Bezug nehmend nun auf 2 wird in einem ersten Schritt S1 ein erstes Bild B1 des Umgebungsbereiches 5 mit der Kamera 3 bereitgestellt. Danach wird in einem Schritt S2 ein zweites Bild B2 aufgenommen. In einem weiteren Schritt S3 wird in dem ersten Bild B1 ein Bildbereich aufgefunden, in welchem ausschließlich der Boden abgebildet ist, auf welchem sich das Kraftfahrzeug 1 bewegt. Entsprechend wird in einem Schritt S4 der gleiche Bildbereich in dem zweiten Bild B2 bestimmt. In den 3 und 4 sind dabei beispielhafte Bildbereiche 7 des ersten Bildes B1 (3) sowie des zweiten Bildes B2 (4) dargestellt. Die Bildbereiche 7 sind in den 3 und 4 lediglich beispielhaft und in höchst abstrakter Darstellung gezeigt.
-
Mit erneutem Bezug auf 2 werden in einem Schritt S5 robuste, hervorstechende Bildmerkmale in dem Bildbereich 7 des ersten Bildes B1 ermittelt. Zu jedem Bildmerkmal bzw. aus einer Bildregion um dieses Bildmerkmal werden jeweils charakteristische Unterscheidungsdaten bzw. Merkmalsdaten extrahiert, nämlich beispielsweise die Helligkeitswerte der Bildpunkte und/oder Farbinformationen der Bildpunkte. In 3 sind beispielhafte skaleninvariante Bildregionen 8a, 8b, 8c dargestellt, welche als skaleninvariante Merkmale jeweils eine Ecke einer Straßenmarkierung 9a, 9b umfassen.
-
In einem Schritt S6 wird entsprechend eine Vielzahl von Bildmerkmalen in dem Bildbereich 7 des zweiten Bildes B2 ermittelt. Auch zu diesen Bildmerkmalen werden charakteristische Unterscheidungsdaten erzeugt, welche für das jeweilige Merkmal charakteristisch sind. In 4 sind beispielhafte skaleninvariante Bildregionen 8a', 8b', 8c' des Bildbereiches 7 des zweiten Bildes B2 dargestellt. Wie aus den 3 und 4 insgesamt hervorgeht, haben sich die Positionen der Bildmerkmale in den beiden Bildern B1, B2 aufgrund der Fahrzeugbewegung verschoben.
-
In einem weiteren Schritt 87 werden dann die charakteristischen Merkmalsdaten der Bildmerkmale des ersten Bildes B1 mit den charakteristischen Merkmalsdaten der Bildmerkmale des zweiten Bildes B2 verglichen. Es erfolgt eine Zuordnung der Bildregionen (Bildmerkmale) 8a, 8b, 8c einerseits zu den korrespondierenden Bildregionen (Bildmerkmalen) 8a', 8b', 8c' des zweiten Bildes B2 andererseits. Es entstehen somit Paare von Merkmalen, nämlich ein erstes Paar 8a, 8a', ein zweites Paar 8b, 8b' und ein drittes Paar 8c, 8c'.
-
Jedes Paar wird dann in einem weiteren Schritt S8 aus einem Bildkoordinatensystem x, y in ein Fahrzeugkoordinatensystem x', y', z (1) projiziert. Diese Transformation wird anhand der Epipolargeometrie und der Projektionstheorie durchgeführt. Solche Verfahren gehören bereits zum Stand der Technik. Das Fahrzeugkoordinatensystem x', y', z' ist dreidimensional, so dass Höhenverschiebungen berücksichtigt werden.
-
In dem Fahrzeugkoordinatensystem x', y', z' wird dann in einem weiteren Schritt S9 ein dreidimensionaler Vektor zwischen den jeweiligen Bildmerkmalen eines jeden Paares in Fahrzeughochrichtung z', Fahrzeuglängsrichtung x' und Fahrzeugquerrichtung y' bestimmt. Es wird somit eine Verschiebung zwischen den Merkmalen 8a und 8a', eine Verschiebung zwischen den Merkmalen 8b und 8b' sowie eine Verschiebung zwischen den Merkmalen 8c und 8c' im Fahrzeugkoordinatensystem x', y', z' bestimmt. Abhängig von diesen Verschiebungen wird die Positionsänderung des Kraftfahrzeugs 1 bestimmt. Zusätzlich kann abhängig von der Zeitdauer zwischen der Erfassung des ersten Bildes B1 und der Erfassung des zweiten Bildes B2 die Geschwindigkeit in der jeweiligen Richtung bestimmt werden. Bei der Bestimmung des Bewegungsparameters werden dabei für jedes Paar von Bildmerkmalen jeweilige Zwischenwerte für diesen Parameter berechnet. Man erhält somit eine Vielzahl von Zwischenwerten, aus denen dann der tatsächliche Ist-Wert des Parameters berechnet wird. Für diese Berechnung kann beispielsweise ein statistisches Filter genutzt werden, mittels welchem Ausreißer aus den Zwischenwerten herausgefiltert werden. Dann können die Zwischenwerte beispielsweise gemittelt werden. Es kann an dieser Stelle zum Beispiel ein Histogramm genutzt werden.
-
Alternativ zu dem statistischen Ansatz für reine Verschiebungsschätzung nutzt der vorliegende Ansatz Punktwolken (mindestens 4 Punkte), um die Bewegung des Fahrzeugs in vollen sechs Freiheitsgraden mittels Mulitple-View-Geometry-Methoden einzuschätzen, wie einer homographischen oder fundamentalen Matrixextraktion und -zersetzung.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 8213706 B2 [0003]
- US 2011/0243390 A1 [0003]
