-
Stand der Technik
-
Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Bestimmen einer Fahrzeugbewegung eines Fahrzeugs, auf eine entsprechende Vorrichtung sowie auf ein entsprechendes Computerprogrammprodukt.
-
Zur Schätzung der Bewegung eines Straßenfahrzeugs aus bordeigener Sensorik sind zahlreiche Methoden bekannt. Abhängig von der gewünschten Genauigkeit werden hierfür in der Regel Kombinationen aus Beschleunigungssensoren, Drehratensensoren, Signalen der Raddrehzahlgeber und/oder Satellitenortung (GPS) verwendet.
-
Ist im Fahrzeug eine Videokamera verbaut, bietet diese eine weitere Möglichkeit, die Fahrzeugeigenbewegung sehr genau zu schätzen. Anhand der Verschiebung markanter Punkte im Bild kann unter Annahme einer starren, unbewegten Umgebung auf die Bewegung des Fahrzeugs geschlossen werden. Ein Beispiel für ein derartiges Verfahren ist z. B. in
A. Geiger, J. Ziegler, C. Stiller: StereoScan: Dense 3d Reconstruction in Real-time beschrieben. Dieses Verfahren zeichnet sich dadurch aus, dass es auch bei Verletzungen der Annahme einer starren Szene, beispielsweise durch andere bewegte Fahrzeuge, besonders robust ist. Der Grund hierfür ist die Verwendung eines robusten Schätzverfahrens, dem Random Sample Consensus (RANSAC), mit dessen Hilfe eine Hypothese für die Bewegung bestimmt wird, die von einer möglichst großen Zahl an markanten Bildpunkten unterstützt wird. Ein weiteres ähnliches Verfahren wird in
US 2009 0263009 A1 beschrieben (wobei die Verwendung von RANSAC zur Ausreißerunterdrückung bei der Bewegungsschätzung darin nicht neu ist; diese wurde bereits 2004 in
D. Nister, O. Naroditsky, J. Bergen: Visual Odometry veröffentlicht).
-
Diesen Verfahren liegt die Annahme zugrunde, dass die starre Szene einen möglichst großen Teil des Bildes einnimmt, andere bewegte Objekte dagegen nur einen geringen Teil des Bildes einnehmen. Dadurch entstehen Fehler bei der Bewegungsschätzung, wenn der Großteil des Bildes zu einem bewegten Objekt gehört, beispielsweise durch einen vorausfahrenden LKW. Dieses Problem kann gelöst werden, indem weitere Sensordaten wie Inertialsensoren, Raddrehzahlen oder GPS in die Bewegungsschätzung des Videosensors einbezogen werden.
J. Horn, A. Bachmann, T. Dang: Stereo Vision Based Ego-Motion Estimation with Sensor Supported Subset Validation beschreiben ein solches Verfahren, welches zur Validierung der videobasiert geschätzten Geschwindigkeit einen Sensor für die Geschwindigkeit über Grund verwendet. Ebenfalls bekannt sind Verfahren zur Schätzung der Bewegung von anderen Objekten im Bild einer bewegten Kamera, beispielsweise
WO 2009 024349 A1 oder
WO 2004 072901 A1 . Um die Bewegung anderer Objekte zu bestimmen, muss dabei zunächst die Fahrzeugeigenbewegung bestimmt und kompensiert werden. Dies erfolgt entweder über eine videobasierte Schätzung der Eigenbewegung oder über zusätzliche Sensorik. Verfahren, die zur Kompensation der Fahrzeugeigenbewegung eine videobasierte Eigenbewegungsschätzung mit zusätzlicher Sensorik kombinieren, sind nicht bekannt.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zum Bestimmen einer Fahrzeugbewegung eines Fahrzeugs, weiterhin eine Vorrichtung, die dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
-
Vorliegend wird ein Verfahren zum Bestimmen einer Fahrzeugbewegung eines Fahrzeugs vorgestellt, wobei das Verfahren die folgenden Schritte aufweist:
- – Einlesen von zumindest zwei Bildern einer Fahrzeugumgebung, wobei die Bilder zu zwei Zeitpunkten von einer oder mehreren Fahrzeugkameras aufgenommen wurden, wobei im Schritt des Einlesens ferner Fahrtdaten von einem Fahrzeugsensor eingelesen werden, wobei sich die Fahrtdaten von optischen Bilddaten unterscheiden;
- – Ermitteln eines Fahrzeugbewegungsschätzwertes und einer Anzahl von einander entsprechenden Bildpunkten in den zumindest zwei Bildern der Fahrzeugumgebung, wobei die Bildpunkte in einem ersten der Bilder nach einer Bewegung des Fahrzeugs mit dem Fahrzeugbewegungsschätzwert in die Bildpunkte in einem zweiten der Bilder abgebildet werden;
- – Bilden eines Gütewerts zum Bewerten des ermittelten Fahrzeugbewegungsschätzwertes, wobei der Gütewert von der Anzahl der einander entsprechenden Bildpunkte und den Fahrtdaten abhängig ist;
- – Vergleichen des Gütewerts mit einem Referenzwert; und
- – Ausgeben einer unter Verwendung des ermittelten Fahrzeugbewegungsschätzwertes bestimmten Fahrzeugbewegung, wenn der Gütewert in einer vorbestimmten Beziehung zu dem Referenzwert steht.
-
Ferner wird vorliegend eine Vorrichtung zum Bestimmen einer Fahrzeugbewegung eines Fahrzeugs vorgestellt, wobei die Vorrichtung die folgenden Merkmale aufweist:
- – eine Schnittstelle zum Einlesen von zumindest zwei Bildern einer Fahrzeugumgebung, wobei die Bilder zu zwei Zeitpunkten von zumindest einer Fahrzeugkamera aufgenommen wurden, wobei die Schnittstelle ausgebildet ist, um Fahrtdaten von einem Fahrzeugsensor einzulesen, wobei sich die Fahrtdten von optischen Bilddaten unterscheiden;
- – eine Einheit zum Ermitteln eines Fahrzeugbewegungsschätzwertes und einer Anzahl von einander entsprechenden Bildpunkten in den zumindest zwei Bildern der Fahrzeugumgebung, wobei die Bildpunkte in einem ersten der Bilder nach einer Bewegung des Fahrzeugs mit dem Fahrzeugbewegungsschätzwert in die Bildpunkte in einem zweiten der Bilder abgebildet werden;
- – eine Einheit zum Bilden eines Gütewerts zum Bewerten des ermittelten Fahrzeugbewegungsschätzwertes, wobei der Gütewert von der Anzahl der einander entsprechenden Bildpunkte und den Fahrtdaten abhängig ist;
- – eine Einheit zum Vergleichen des Gütewerts mit einem Referenzwert; und
- – eine Einheit zum Ausgeben einer unter Verwendung des ermittelten Fahrzeugbewegungsschätzwertes bestimmten Fahrzeugbewegung, wenn der Gütewert in einer vorbestimmten Beziehung zu dem Referenzwert steht.
-
Die vorliegende Erfindung schafft somit eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programmprodukt auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Somit wird vorliegend ein Computer-Programmprodukt mit Programmcode zur Durchführung des Verfahrens nach einer hier vorgestellten Variante vorgestellt, wenn das Programmprodukt auf einer Vorrichtung ausgeführt wird.
-
Unter einer Fahrzeugbewegung kann eine beliebige Bewegung des Fahrzeugs im Raum, insbesondere jedoch eine Gierbewegung des Fahrzeugs um eine Hochachse des Fahrzeugs verstanden werden. Insbesondere kann unter einer Fahrzeugbewegung eine Geschwindigkeit, insbesondere eine Giergeschwindigkeit verstanden werden. Unter einem Fahrzeug kann vorliegend beispielsweise ein Kraftfahrzeug wie ein Pkw, Lkw oder ähnliches Fahrzeug verstanden werden. Unter zu zwei Zeitpunkten aufgenommenen Bildern einer Fahrzeugumgebung können Bilder verstanden werden, die von mindestens einer Fahrzeugkamera zu zwei unterschiedlichen Zeitpunkten von einer unmittelbaren Umgebung des Fahrzeugs im Erfassungsbereich einer Fahrzeugkamera, insbesondere von einem Frontbereich des Fahrzeugs eingelesen werden. Unter Fahrtdaten können Informationen oder Daten verstanden werden, die von einem nicht-optischen Sensor bereitgestellt wurden, wobei die Fahrtdaten eine teilweise Information über die (aktuelle) Fahrzeugbewegung, beispielsweise eine Fahrzeuggeschwindigkeit, repräsentieren. Alternativ oder zusätzlich können die Fahrtdaten auch zumindest eine Teilinformation über eine weitere Fahrzeugbewegung beinhalten, z. B. könnten die Fahrtdaten eine Information über eine Längs- und/oder Querbeschleunigung oder eine Drehrate enthalten. Die Fahrtdaten können somit einen Parameter repräsentieren, der während der Fahrt des Fahrzeugs erfasst wird und sich insbesondere während der Fahrt des Fahrzeugs verändern kann. Unter einem Fahrzeugbewegungsschätzwert kann ein die Fahrzeugbewegung repräsentierender Wert verstanden werden, der zufällig bestimmt oder beispielsweise durch eine Analyse der Bilder der Fahrzeugumgebung geschätzt wird. Alternativ oder zusätzlich kann auch die Bewegungsschätzung möglicherweise auch von einem dritten Sensor geliefert werden – oder im Extremfall kann einfach der Fahrzeugbewegungsschätzwert (beispielsweise völlig zufällig oder systematisch) geschätzt oder erraten werden. Hierbei kann beispielsweise mit dem ermittelten Fahrzeugbewegungsschätzwert bei einer Auswahl von Objekte repräsentierenden Bildpunkten in einem ersten Bild abgeschätzt werden, wo (das heißt, an welcher Position) die die gleichen Objekte repräsentierenden Bildpunkte in einem zweiten Bild liegen müssten. Werden nun in dem zweiten Bild, welches zeitlich nach dem ersten Bild aufgenommen wurde, an den betreffenden Positionen tatsächlich Bildpunkte erkannt, welche die betreffenden Objekte aus dem ersten Bild repräsentieren, kann der Fahrzeugbewegungsschätzwert verifiziert oder plausibilisiert werden. In diesem Fall entsprechen für den angenommenen Fahrzeugbewegungsschätzwert die Bildpunkte im ersten Bild den Bildpunkten im zweiten Bild. Als besonders zuverlässig kann der Fahrzeugbewegungsschätzwert dann betrachtet werden, wenn eine bestimmte (möglichst große) Anzahl von Bildpunkten in den zumindest zwei Bildern der Fahrzeugumgebung vorhanden ist, die Bildpunktepaare (bzw. -tupel) bilden, die unter der Annahme einer Fahrzeugbewegung aufeinander abgebildet werden können, wenn das Fahrzeug sich mit einer tatsächlichen Fahrzeugbewegung bewegt, die dem Fahrzeugbewegungsschätzwert entspricht. Diese Bildpunkte der Bildpunktepaare können dann als „einander entsprechend“ bezeichnet werden. Unter einem Gütewert kann ein Parameter verstanden werden, der unter Anwendung eines vorbestimmten Algorithmus gebildet wird. Dieser Algorithmus kann als Eingangsvariablen beispielsweise die Anzahl der einander entsprechenden Bildpunkte für den betreffenden Fahrzeugbewegungsschätzwert, die Differenz zwischen angenommener und tatsächlicher Position der Bildpunkte im zweiten Bild sowie die Fahrtdaten oder hiervon abgeleitete Daten verwenden. Unter einem Referenzwert kann ein Wert verstanden werden, der bei einem Vergleich mit dem Gütewert eine Aussage über die Genauigkeit des Fahrzeugbewegungsschätzwerts ermöglicht.
-
Die vorliegende Erfindung basiert auf der Erkenntnis, dass nun eine Offsetdrift, wie sie bei der Erkennung einer Fahrzeugbewegung auf der alleinigen Basis von beispielsweise Beschleunigungssensoren, Drehzahlsensoren oder ähnlichen Messwertaufnehmern auftritt, durch die Verwertung der Bilder der Fahrzeugkamera kompensiert werden kann. Hierbei kann durch das Berücksichtigen des Gütewertes, welcher einerseits von Informationen aus Bildern der Fahrzeugkamera und andererseits aus den vorstehend genannten Fahrtdaten und das Vergleichen des Gütewertes mit dem Referenzwert ermöglicht werden, dass die Fahrzeuggeschwindigkeit im Wesentlichen auf der Basis der Kamerabilder bestimmt wird. Dabei kann jedoch sichergestellt werden, dass eine fehlerhafte Geschwindigkeitserkennung unter alleiniger Auswertung der Kamerabilder vermieden werden kann, wie sie beispielsweise durch große Objekte auftritt, die sich durch das Blickfeld der Kamera bewegen und eine Verfälschung der Geschwindigkeitsmessung bewirken.
-
Die vorliegende Erfindung bietet den Vorteil, dass die Fahrzeugbewegung des Fahrzeugs nun nicht mehr nur alleine aus Fahrzeugsensoren wie beispielsweise einem Beschleunigungssensor ermittelt wird, sondern dass Bilder von einer meist in modernen Fahrzeugen bereits serienmäßig verbauten Fahrzeugkamera mitgenutzt bzw. hauptsächlich genutzt werden können. Zugleich kann durch die Verwendung von Signalen von meist ebenfalls bereits serienmäßig verfügbaren Fahrzeugsensoren wie Beschleunigungssensoren, Drehzahlsensoren oder ähnlichen Sensoren sichergestellt werden, dass mit dem hier vorgestellten Ansatz eine plausible Fahrzeuggeschwindigkeit oder Fahrzeugbewegung bestimmt wird und Fehler vermieden werden können, die bei einer alleinigen Auswertung von Relativbewegungen von unterschiedlichen Objekten in den unterschiedlichen Bildern resultieren. Insofern kann durch den hier vorgestellten Ansatz, insbesondere durch die Datenfusion von Signalen aus einem optischen und einem nicht-optischen Sensor, erreicht werden, dass im Vergleich zu herkömmlichen Ansätzen eine Offsetdrift bei einer Erkennung der Fahrzeugbewegung vermieden oder zumindest deutlich reduziert werden kann.
-
Günstig ist eine Ausführungsform der vorliegenden Erfindung, bei der im Schritt des Bildens des Gütewerts eine Verknüpfung eines die Anzahl der einander entsprechenden Bildpunkten in den zumindest zwei Bildern repräsentierenden Wertes mit einem A-Priori-Wert erfolgt, wobei der A-Priori-Wert eine Ähnlichkeit zwischen dem Fahrzeugbewegungsschätzwert und der durch die Fahrtdaten repräsentierten (aktuellen) Fahrzeuggeschwindigkeit repräsentiert. Unter einer Verknüpfung kann beispielsweise eine mathematische Operation wie eine Addition, Multiplikation, Subtraktion und Division verstanden werden. Unter einer Ähnlichkeit zwischen dem Fahrzeugbewegungsschätzwert und der durch die Fahrtdaten repräsentierten Fahrzeuggeschwindigkeit kann eine Information verstanden werden, wie groß eine Differenz zwischen dem Fahrzeugbewegungsschätzwert und der durch die Fahrtdaten repräsentierten Fahrzeuggeschwindigkeit ist. Eine solche Ausführungsform der vorliegenden Erfindung bietet den Vorteil, einer effektiven Kopplung der Informationen aus den Bildern der Fahrzeugkamera mit der Information aus dem nicht-optischen Sensor, sodass die Signale aus dem oder den nicht-optischen Sensor(en) lediglich zur Überprüfung oder Validierung einer aus Kamerabildern geschätzten Geschwindigkeit verwendet werden. Ferner kann durch die Verwendung der Anzahl von einander entsprechenden Bildpunkten im Gütewert eine Information enthalten sein, wie zuverlässig die Fahrzeugbewegung aus den Kamerabildern geschätzt wurde.
-
Besonders vorteilhaft ist ferner eine Ausführungsform der vorliegenden Erfindung, bei der im Schritt des Ausgebens nicht der ursprünglich bestimmte Fahrzeugbewegungsschätzwert ausgegeben wird, sondern die Fahrzeugbewegung auf der Basis einer Vielzahl von einander entsprechenden Bildpunkten in den zumindest zwei Bildern der Fahrzeugumgebung erneut bestimmt wird. Unter einer Vielzahl voneinander entsprechenden Bildpunkten kann dabei die Menge aller Bildpunkte verstanden werden, die den ursprünglichen Fahrzeugbewegungsschätzwert bestätigen. Eine solche Ausführungsform der vorliegenden Erfindung bietet den Vorteil, dass die Bestimmung der Fahrzeugbewegung auf der Basis einer möglichst maximalen Anzahl von in Bezug auf den Fahrzeugbewegungsschätzwert einander entsprechenden Bildpunkten bestimmt wird. Hierdurch lässt sich die Fahrzeugbewegung sehr präzise, robust und sicher bestimmen.
-
Günstig ist es, wenn gemäß einer Ausführungsform der vorliegenden Erfindung im Schritt des Ausgebens die Fahrzeugbewegung dann bestimmt und ausgegeben wird, wenn der Gütewert einen größeren Parameterwert als der Referenzwert aufweist. Eine derartige Ausführungsform der vorliegenden Erfindung bietet den Vorteil, dass die Fahrzeugbewegung lediglich bei Vorliegen von vorbestimmten Bedingungen bestimmt wird und andernfalls nicht bestimmt werden braucht, sodass sich ein schaltungstechnischer oder numerischer Aufwand zur Bestimmung der Fahrzeugbewegung reduzieren lässt.
-
Gemäß einer anderen Ausführungsform der vorliegenden Erfindung kann im Schritt des Bildens der Gütewert derart gebildet werden, dass er einen umso größeren Parameterwert erhält, je größer die Anzahl der einander entsprechenden Bildpunkte und/oder je ähnlicher die durch die Fahrzeugdaten repräsentierte Fahrzeuggeschwindigkeit in Bezug auf den Fahrzeugbewegungsschätzwert ist. Eine solche Ausführungsform der vorliegenden Erfindung bietet den Vorteil einer besonders zuverlässigen Abschätzungsmöglichkeit für die Qualität des Fahrzeugbewegungsschätzwerts.
-
Vorteilhaft ist ferner eine Ausführungsform der vorliegenden Erfindung, bei der im Schritt des Ermittelns in einem ersten Teilschritt der Fahrzeugbewegungsschätzwert auf der Basis einer vordefinierten Zahl von zufällig ausgewählten einander entsprechenden Bildpunkten aus den zumindest zwei Bildern der Fahrzeugumgebung ausgewählt wird, wobei insbesondere in einem nachfolgenden Teilschritt als Anzahl der einander entsprechenden Bildpunkte diejenige Menge von einander entsprechenden Bildpunkten ermittelt wird, auf deren Basis bei einer Schätzung der Fahrzeuggeschwindigkeit der Fahrzeugbewegungsschätzwert erhalten wird. Eine solche Ausführungsform der vorliegenden Erfindung bietet den Vorteil, dass zunächst eine Schätzung der Fahrzeugbewegung auf der Basis einer geringen Menge von einander entsprechenden Bildpunkten möglich ist und hieran anschließend eine (möglichst große) Anzahl von einander entsprechenden Bildpunkten in den zumindest zwei Bildern der Fahrzeugumgebung ermittelt wird, die die geschätzten Fahrzeugbewegungen stützen. Auf diese Weise kann mit einer numerisch oder schaltungstechnisch einfachen Vorgehensweise schnell und zuverlässig eine relativ genaue Schätzung der Fahrzeugbewegung durchgeführt werden.
-
Um eine möglichst exakt bestimmte Fahrzeugbewegung zu erhalten, können gemäß einer Ausführungsform der vorliegenden Erfindung die Schritte des Ermittelns, des Bildens, des Vergleichens und des Ausgebens in mehreren Ausführungszyklen wiederholt ausgeführt werden, wobei in einem Ausführungszyklus im Schritt des Vergleichens als Referenzwert der Gütewert eines in einem Schritt des Bildens eines vorangegangenen Ausführungszyklus gebildeten Gütewertes verwendet wird, insbesondere wobei im Schritt des Ausgebens die Fahrzeuggeschwindigkeit auf der Basis desjenigen Fahrzeugbewegungsschätzwertes bestimmt wird, der dem gemäß einer vorbestimmten Beziehung optimierten Gütewert entspricht. Durch das iterative Wiederholen der Schritte des Ermittelns, des Bildens, des Vergleichens und des Ausgebens lässt sich somit eine weitere Verbesserung der bestimmten Fahrzeugbewegung gemäß einer weiteren Ausführungsform der vorliegenden Erfindung erreichen. Unter einem entsprechend einer vorbestimmten Beziehung optimierten Gütewert kann beispielsweise ein maximal erreichter Gütewert verstanden werden, der (über alle Ausführungszyklen betrachtet) in den Schritten des Bildens bestimmt wurde.
-
Insbesondere können kann gemäß einer besonders günstigen Ausführungsform der vorliegenden Erfindung die Schritte des Ermittelns, des Bildens, des Vergleichens und des Ausgebens in einer vorbestimmten Zahl von Ausführungszyklen wiederholt ausgeführt werden. Die Vorgabe einer vorbestimmten Zahl von Ausführungszyklen bietet einerseits den Vorteil einer numerischen Bestimmtheit des hier vorgeschlagenen Ansatzes, als auch andererseits eine Möglichkeit, die Bestimmung der Fahrzeugbewegung durch die wiederholte Ausführung der vorstehend genannten Schritte zu optimieren.
-
Gemäß einer besonders vorteilhaften Ausführungsform der vorliegenden Erfindung kann im Schritt des Einlesens als Fahrtdaten zumindest eine Information von einem Satellitenortungssystem, einem Raddrehzahlsensor und/oder einem Beschleunigungssensor eingelesen werden. Eine solche Ausführungsform der vorliegenden Erfindung bietet den Vorteil, mit zumindest einem meist bereits serienmäßig verbauten Sensor ein kostengünstiges und zugleich präzises Messergebnis zu erhalten, welches als Information und/oder als Fahrtdaten in dem hier vorgeschlagenen Ansatz zur Bestimmung der Fahrzeugbewegung verwendet werden kann.
-
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
-
1 ein Blockschaltbild eines Fahrzeugs mit einer Vorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
-
2 ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
-
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt ein Blockschaltbild eines Fahrzeugs 100 mit einer Vorrichtung 110 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Fahrzeug 100 umfasst eine Kamera 120, die ausgebildet ist, um zu unterschiedlichen Aufnahmezeitpunkten Bilder in einem Erfassungsbereich 125 aufzuzeichnen. Objekte 130, die sich in einer Zwischenzeit zwischen den Aufnahmezeitpunkten der Bilder im Erfassungsbereich 125 bewegen, werden somit in den einzelnen Bildern an unterschiedlichen Positionen abgebildet, wie dies in der 1 an der durchgezogenen Darstellung des Objekts 130 in einem ersten Bild und der gestrichelten Darstellung des Objekts 130 in einem nachfolgenden zweiten Bild dargestellt ist. Diese Bilder können nachfolgend als Bildsignale 132 an eine Einleseschnittstelle 135 der Vorrichtung 110 zum Bestimmen einer Fahrzeugbewegung übertragen werden. Insbesondere werden hierbei Bildpunkte 137a bzw. 137b analysiert oder berücksichtigt, die in den zumindest zwei unterschiedlichen Bildern eine gleiche Bewegung ausführen. Derartige Bildpunkte 137 können beispielsweise besonders ausgewählte Punkte wie beispielsweise Eckpunkte eines in den zwei Bildern 132 erkannten Objektes 130 sein. Dabei kann beispielsweise ein erster Bildpunkt 137a im ersten Bild einem ersten Bildpunkt 137a im zweiten Bild entsprechen und/oder ein zweiter Bildpunkt 137b im ersten Bild einem zweiten Bildpunkt 137b im zweiten Bild entsprechen. Durch Auswertung der Verschiebungsrichtung und des Verschiebungswegs der entsprechenden Bildpunkte 137 in den unterschiedlichen Bildern kann eine relative Geschwindigkeit abgeschätzt werden, mit der sich das Fahrzeug 100 in Bezug zum Objekt 130 bewegt.
-
Ferner umfasst das Fahrzeug 100 zumindest einen weiteren Sensor 140, der zumindest eine nicht-optische Messgröße erfasst und diese Messgröße als Fahrtdaten 145 an die Einleseschnittstelle 135 der Vorrichtung 110 zum Bestimmen der Fahrzeugbewegung übermittelt. Der Sensor 140, der beispielsweise einen Beschleunigungssensor, einen Raddrehzahlsensor, ein Sensor eines Satellitennavigationssystems oder Ähnliches darstellt, ist ausgebildet, als Fahrtdaten 145 eine Größe zu liefern, die mindestens einen Aspekt der Fahrzeugbewegung repräsentieret. Die Fahrtdaten 145 basieren dabei nicht auf der Auswertung von Signalen oder Bildern, die von einem optischen Sensor wie der Fahrzeugkamera 120 bereitgestellt wurden. Die Vorrichtung 110 zum Bestimmen der Fahrzeugbewegung eines Fahrzeugs umfasst ferner eine Einheit 150 zum Ermitteln eines Fahrzeugbewegungsschätzwertes beispielsweise unter Verwendung von einer Beziehung zwischen einer Anzahl von einander entsprechenden Bildpunkten in den zumindest zwei Bildern 132 der Fahrzeugumgebung 125. Hierbei kann in der Einheit 150 zum Ermitteln des Fahrzeugbewegungsschätzwertes 155 eine Bilddatenanalyse der zumindest zwei eingelesenen Bilder 132 erfolgen, wie sie nachfolgend noch näher beschrieben wird. Als Ergebnis wird der Fahrzeugbewegungsschätzwert 155 erhalten, der beispielsweise eine Bewegungshypothese für eine Gierbewegung des Fahrzeugs 100 (das heißt eine Bewegung und die Hochachse des Fahrzeugs) repräsentiert. Dieser Fahrzeugbewegungsschätzwert 150 wird dann einer Einheit 160 zum Bilden eines Gütewerts 165 zur Bewerten des ermittelten Fahrzeugbewegungsschätzwertes entsprechend einer nachfolgend näher beschriebenen Vorgehensweise übermittelt, wobei in dieser Einheit 160 der Gütewert unter Verwendung einer Anzahl von Bildpunkten, die einem dem ermittelten Fahrzeugbewegungsschätzwert entsprechen, und den Fahrtdaten 145 gebildet wird. Der Gütewert 165 wird dann einer Einheit 170 zum Vergleichen des Gütewerts 165 mit einem Referenzwert 175 zugeführt. Der Referenzwert 175 kann beispielsweise aus einem Speicher 180 ausgelesen werden. Der Referenzwert 175 kann beispielsweise der Gütewert 165 sein, der zu einem früheren Zeitpunkt, insbesondere einem vorherigen Durchlauf von der Einheit 160 zum Bilden des Gütewerts geliefert wurde. In der Einheit 170 zum Vergleichen kann beispielsweise überprüft werden, ob der Gütewert 165 größer oder kleiner ist, als der Referenzwert 175. Ein Ergebnis 185 des in der Einheit 170 zum Vergleichen ausgeführten Vergleichs kann nachfolgend einer Einheit 190 zum Ausgeben zugeführt werden, in der unter Verwendung des ermittelten Fahrzeugbewegungsschätzwertes 155 die Fahrzeugbewegung 192 gemäß einer nachfolgend noch detaillierter beschriebenen Vorgehensweise bestimmt wird, wenn der Gütewert in einer vorbestimmten Beziehung zu dem Referenzwert steht, oder, wenn der Gütewert nicht in einer vorbestimmten Beziehung zu dem Referenzwert steht, ein erneutes Bestimmen des Fahrzeugbewegungsschätzwerts 155 in der Einheit 150 und des Gütewerts 165 in der Einheit 160 unter Verwendung einer anderen Anzahl von einander entsprechenden Bildpunkten auslöst.
-
Die bestimmte Fahrzeugbewegung 192 kann nun beispielsweise von zumindest einer weiteren Komponente 195 des Fahrzeugs 100 (wie einem Navigationssystem) weiterverwendet werden, um eine Funktionalität auf der Basis einer sehr präzise abgeschätzten Fahrzeugbewegung bereitzustellen.
-
Die hier beispielhaft vorgeschlagene Vorrichtung 110 ermöglicht somit die Schätzung der Eigenbewegung eines Fahrzeugs (beispielsweise um eine Hochachse des Fahrzeugs 100) anhand der Bilder einer Fahrzeugkamera 120 sowie einer Information von zumindest einem zusätzlichen Sensor, beispielsweise einem lnertialsensor, einem Raddrehzahlsensor oder einem GPS-Sensor. Durch die Kombination von Signalen von mehreren Sensoren werden die Zuverlässigkeit und die Genauigkeit der Schätzung gegenüber den Informationen aus lediglich einzelnen Sensoren gesteigert. Darüber hinaus kann der hier vorgestellte Ansatz genutzt werden, um bewegte Objekte 130 im Sichtbereich der Kamera 120 zu detektieren und deren Eigenbewegung zu schätzen.
-
Ein wichtiger Aspekt des hier vorgestellten Ausführungsbeispiels der Erfindung ist ein neuartiges Verfahren zur videobasierten Schätzung der Fahrzeugeigenbewegung, welches die Information von zumindest einem zusätzlichen Sensor 140 als a-priori-Information verwendet. Hierfür wird eine modifizierte Variante des RANSAC-Algorithmus eingesetzt, welche bei der Auswahl der besten Bewegungshypothese nicht nur die Anzahl der unterstützenden Bildpunkte heranzieht, sondern auch eine gute Übereinstimmung mit der a-Priori-Bewegung berücksichtigt. Der Vorteil gegenüber bekannten RANSAC-basierten Verfahren zur videobasierten Bewegungsschätzung ist eine verbesserte Robustheit gegenüber anderen bewegten Objekten 130 im Bild 132. Gleichzeitig ist die erzielbare Genauigkeit bei der videobasierten Schätzung der Eigenbewegung deutlich höher als beispielsweise beim alleinigen Einsatz von kostengünstigen Inertialsensoren 140.
-
Daneben bietet eine RANSAC-basierte Eigenbewegungsschätzung die Möglichkeit, bewegte Objekte 130 im Kamerabild 132 zu erkennen und ihre Bewegung zu schätzen. Dazu muss die Bewegungsschätzung nach erstmaliger Ausführung lediglich mit allen Punktkorrespondenzen, die bei der Schätzung der Eigenbewegung verworfen wurden, und ohne a-Priori-Information erneut ausgeführt werden. Dies liefert die größte Menge an Punkten 137 im Kamerabild, die eine einheitliche Bewegung vollziehen, welche jedoch nicht mit der Bewegung des eigenen Fahrzeugs 100 übereinstimmt. Dies entspricht dem größten bewegten Objekt 130 im Kamerabild 132. Mehrmaliges erneutes Ausführen mit der jeweils verbleibenden Punktmenge liefert schließlich weitere Objekte.
-
2 zeigt ein Ablaufdiagramm eines Verfahrens 200 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
-
Zunächst wird einem ersten Schritt 205 das Verfahren 200 zum Bestimmen einer Fahrzeugbewegung gestartet. In einem hierauf folgenden Schritt 210 wird ein A-Priori-Schätzwert 211 einer Bewegung des Fahrzeugs 100 aus 1 auf der Basis von Sensordaten vorgenommen, wobei diese Sensordaten die Fahrtdaten 140 sind, die von einem oder mehreren Fahrzeugsensoren (beispielsweise einem die GPS-Sensor 212, einem Raddrehzahlsensor 213, einem Initialensensor 214 oder einem anderen Sensor 215) über die Einleseschnittstelle 135 eingelesen werden, wobei diese Fahrzeugsensoren die Fahrtdaten aus einem erfassten Messwert bereitstellen, der nicht auf optisch erfassten Bilddaten basiert, um von diesen somit unabhängig ist. Zeitgleich zum Schritt 210 oder zeitlich nach dem Schritt 210 erfolgt in einem weiteren Schritt 220 eine Suche nach Korrespondenzen in zeitlich aufeinanderfolgenden Kamerabildern 132, die ebenfalls über die Einleseschnittstelle 135 eingelesen wurden. Unter einer Korrespondenz kann hierbei ein Paar von einander entsprechenden Bildpunkten 137 im Sinne der vorstehenden Ausführungen betrachtet werden. In einem auf den Schritt 220 folgenden Schritt 230 wird nun eine Bewegungshypothese aus einer vordefinierten Anzahl von zufällig ausgewählten Korrespondenzen bestimmt. Unter einer solchen Bewegungshypothese kann beispielsweise der Fahrzeugbewegungsschätzwert 155 verstanden werden. In den Schritt 230 werden somit zunächst eine vorbestimmte Anzahl von einander zugeordneten Bildpunktpaaren ausgewählt und aus den ausgewählten Bildpunktpaaren eine hypothetische Relativbewegung zwischen dem Fahrzeug 100 und einem oder mehreren Objekten 130 bestimmt, wobei die hypothetische Relativbewegung dann als Fahrzeugbewegungsschätzwert bereitgestellt wird. In einem hierauf folgenden Schritt 240 erfolgt dann die Suche von beispielsweise sämtlichen Korrespondenzen, die die Bewegungshypothese unterstützen. Dies bedeutet, dass die beiden zur Verfügung stehenden Bilder der Kamera daraufhin analysiert werden, wie viele Korrespondenzen, das heißt einander entsprechende Bildpunktepaare sich der Bewegungshypothese zuordnen lassen. Die Anzahl 245 der im Schritt 240 gefundenen Bildpunktepaare bzw. Korrespondenzen wird nun in einem nachfolgenden Schritt 250 zusammen mit dem A-Priori-Schätzwert 211 verwendet, um den Gütewert 165 zu bilden, welcher für eine nachfolgende Verarbeitung bereitgestellt wird.
-
Der Gütewert 165 kann dabei ermittelt werden, indem eine Anzahl von die Bewegungshypothese (das heißt den Fahrzeugbewegungsschätzwert) unterstützenden Korrespondenzen oder einander entsprechenden Bildpunktepaaren und eine Ähnlichkeit zwischen einer Fahrzeugbewegung entsprechend der Bewegungshypothese und dem A-Priori-Schätzwert miteinander verknüpft werden.
-
In einem nachfolgenden Schritt 260 des Vergleichens wird nun der Gütewert 165 mit einem Referenzwert verglichen, beispielsweise uns überprüfen, ob der Gütewert 165 größer als der Referenzwert ist, oder kleiner als der Referenzwert ist. Als Referenzwert kann hierbei ein Gütewert 165 verwendet werden, der durch die Ausführung eines vorangegangenen Schritts 250 bestimmt wurde und der ein entsprechendes Kriterium erfüllt, beispielsweise der größer oder kleiner als alle Gütewerte ist, die durch vorangegangene Ausführungen des Schritts 250 erzielt wurden.
-
Wird im Schritt 260 festgestellt, dass der Gütewert 165 größer oder kleiner als der Referenzwert ist (das heißt, dass die durch den Gütewert 165 repräsentierte Güte der geschätzten Fahrzeugbewegung besser ist, als die Güte der geschätzten Fahrzeugbewegung, die dem Referenzwert entspricht) wird ein weiterer Schritt 270 ausgeführt, in dem eine Schätzung der Fahrzeugbewegung aus allen zur Bewegungshypothese passenden Korrespondenzen der zumindest zwei Bilder der Fahrzeugkamera durchgeführt wird. Hierdurch lässt sich der geschätzte Wert der Fahrzeugbewegung verifizieren bzw. präzisieren, sodass durch eine Vielzahl von berücksichtigten Korrespondenzen ein gegenüber dem im vorausgehenden Schritt 250 bestimmten Gütewert ein sehr präziser Fahrzeugbewegungsschätzwert bestimmt werden kann. Im Anschluss an den Schritt 270 wird in einem Überprüfungsschritt 280 überprüft, ob eine vorbestimmte Anzahl von zyklischen Ausführungen der Schritte 230, 240, 250 und 260 erreicht wurde oder eine bestimmte Güte der geschätzten Fahrzeugbewegung erreicht wurde.
-
Wird dagegen im Schritt 260 des Vergleichens erkannt, dass der Gütewert 165 kleiner als der Referenzwert ist, wird der Schritt 270 nicht ausgeführt und das Verfahren 200 direkt mit dem Überprüfungsschritt 280 fortgeführt. Wird nun in ihre Prüfungsschritt 280 erkannt, dass die vorbestimmte Anzahl von zyklisch Ausführungen der Schritte 230, 240, 250 und 260 nicht erreicht wurde, wird ein Teil des Verfahrens 200, nämlich die Schritte 230, 240, 250 und 260 (gegebenenfalls auch die Schritt 270) erneut ausgeführt. Wird dagegen in Überprüfungsschritt 280 erkannt, dass die vorbestimmte Anzahl von Ausführungen der Schritte 230, 240, 250, 260 oder eine bestimmte Güte der geschätzten Fahrzeugbewegung erreicht wurde, erfolgt ein Schritt 290 des Ausgebens der geschätzten Fahrzeugbewegung 192, damit beispielsweise eine weitere Komponente des Fahrzeugs diese geschätzte Fahrzeugbewegung 192 für eine Funktionalität verwenden kann.
-
Zusammenfassend ist anzumerken, dass in der 2 der schematische Ablauf der videobasierten Eigenbewegungsschätzung mit a-Priori-Information dargestellt ist. Zunächst werden aus einem oder mehreren aufeinanderfolgenden Bildern 132 der Kamera markante Punkte 137 bestimmt und einander zugeordnet.
-
Anhand der Verschiebung dieser Punkte in zeitlich aufeinanderfolgenden Bildern kann auf die Eigenbewegung der Kamera geschlossen werden. Im Wesentlichen kann hierfür das in A. Geiger, J. Ziegler, C. Stiller: StereoScan: Dense 3d Reconstruction in Real-time vorgestellte Verfahren verwendet werden; der Unterschied und die wesentliche Neuerung des hier vorgestellten Ansatzes liegt in der Verwendung eines modifizierten RANSAC-Verfahrens zur Ausreißerunterdrückung, wie es beispielhaft als Ablaufdiagramm in der 2 dargestellt ist.
-
Beim klassischen RANSAC-Verfahren werden aus den Punktkorrespondenzen zufällig einige Punkte ausgewählt und aus diesen eine Bewegungshypothese bestimmt. Anschließend wird für alle Punkte im ersten Kamerabild ihre theoretische Position im zweiten Kamerabild für diese Bewegungshypothese bestimmt und mit ihrer tatsächlichen Position verglichen. Ist die Differenz kleiner als ein vorgegebener Schwellwert, handelt es sich um einen sogenannten Inlier (auch als Korrespondenzen bzw. einander entsprechende Bildpunkte bezeichnet). Anschließend wird aus den Inliern ein Gütekriterium bzw. der Gütewert 165 bestimmt, beim klassischen RANSAC ist dies einfach die Anzahl der Inlier.
-
Die vorherigen Schritte werden so lange wiederholt, bis ein vorgegebenes Abbruchkriterium erfüllt ist, beispielsweise eine maximale Anzahl an Iterationen erreicht ist oder eine ausreichend gute Schätzung vorliegt. Anschließend wird aus allen Versuchen die Menge an Inliern ausgewählt, für die das Gütekriterium maximal wird und aus diesen die abschließende Schätzung der Eigenbewegung des Fahrzeugs vorgenommen.
-
Der hier vorgestellte Ansatz unterscheidet sich von bekannten Verfahren dadurch, dass anstelle der Anzahl der Inlier ein erweiterter Parameter für die Bestimmung des Gütewertes (d. h. das Gütekriterium) verwendet wird, welches die a-Priori-Schätzung der Bewegung aus zusätzlichen Sensoren einbezieht.
-
Dies kann beispielsweise das Verhältnis aus der Anzahl der Inlier zu der Geschwindigkeitsdifferenz aus Bewegungshypothese und a-Priori-Bewegung sein. Dieses Kriterium bevorzugt Hypothesen, welche mit der A-Priori-Bewegung gut übereinstimmen: Eine Hypothese mit doppelt so großer Geschwindigkeitsdifferenz müsste demnach die doppelte Anzahl an Inliern besitzen, um trotzdem als beste Hypothese ausgewählt zu werden.
-
Ebenfalls denkbar sind andere Gütemaße bzw. Gütewerte die beispielsweise auch den Abstand der Inlier zu ihrer vorhergesagten Position, ähnlich des MSAC-Verfahrens, berücksichtigen. Ist zusätzlich die Unsicherheit der a-Priori-Bewegung bekannt, lässt sich so eine vollständig probabilistische Schätzung der Fahrzeugeigenbewegung erreichen: Bei einem großen Abstand der Inlier zur Bewegungshypothese erhält die a-Priori-Bewegung höheres Gewicht, bei einer großen Unsicherheit der a-Priori-Bewegung ist dagegen die Anzahl und Güte der Inlier für die Bewegungsschätzung ausschlaggebend.
-
Anzumerken ist, dass die Verwendung von RANSAC zur Bewegungsschätzung aus Bildsequenzen bereits sehr gut funktioniert, sie hat jedoch den Nachteil, dass bei Vorhandensein einer weiteren Bewegung im Bild, z. B. durch einen vorausfahrenden LKW, nicht zwischen der unbewegten Szene und dem bewegten Objekt unterscheiden können und sich immer für die Hypothese mit den meisten Datenpunkten entscheidet, was häufig zu einer fehlerhaft geschätzten Bewegung führt. Der hier vorgestellte Ansatz behebt dieses Problem, indem eine zusätzliche Sensorinformation über die Fahrzeugbewegung als A-Priori-lnformation verwendet wird, um auch in diesen Fällen eine korrekte Bewegungsschätzung zu ermöglichen.
-
Ein besonderer Aspekt des hier vorgeschlagenen Ansatzes ist die Art der Einbindung der a-Priori-lnformation in das RANSAC-Verfahren. In herkömmlichen Ansätzen wird die A-Priori-Information anstelle der zufällig ausgewählten Hypothesen verwendet und so sicher gestellt, dass die geschätzte Bewegung nicht signifikant von der A-Priori-Hypothese abweicht. Hier liegt auch der Nachteil dieser Herangehensweise von herkömmlichen Ansätzen: Ist die Schätzung einmal falsch, haben solche Verfahren große Probleme, wieder zurück zu der korrekten Schätzung zu gelangen, da mit einem solchen Verfahren lediglich ein lokales Optimum in der Nähe der A-Priori-Hypothese gefunden werden kann. Der vorliegend beschriebene Ansatz der kamerabasierten Bewegungsschätzung unter Berücksichtigung von a-Priori-Information bezieht die a-Priori-Information erst bei der Bewertung der zufällig gewählten Hypothesen ein, indem ein modifiziertes Gütekriterium bzw. ein Gütemaß oder ein Gütewert verwendet wird, das die Abweichung zu der a-Priori-Schätzung berücksichtigt. Auf diese Weise wird jederzeit die global optimale Bewegungsschätzung (d. h. optimal im Sinne des gewählten Gütekriteriums bzw. Gütewertes) bestimmt.
-
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden.
-
Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 20090263009 A1 [0003]
- WO 2009024349 A1 [0004]
- WO 2004072901 A1 [0004]
-
Zitierte Nicht-Patentliteratur
-
- A. Geiger, J. Ziegler, C. Stiller: StereoScan: Dense 3d Reconstruction in Real-time [0003]
- D. Nister, O. Naroditsky, J. Bergen: Visual Odometry [0003]
- J. Horn, A. Bachmann, T. Dang: Stereo Vision Based Ego-Motion Estimation with Sensor Supported Subset Validation [0004]
- A. Geiger, J. Ziegler, C. Stiller: StereoScan: Dense 3d Reconstruction in Real-time [0040]
