DE102015112443A1

DE102015112443A1 - Verfahren zum Bestimmen einer Bewegung eines Kraftfahrzeugs mittels Fusion von Odometriedaten, Fahrerasistenzsystem sowie Kraftfahrzeug

Info

Publication number: DE102015112443A1
Application number: DE102015112443.2A
Authority: DE
Inventors: Sunil Chandra; Petros Kapsalas; Ciaran Hughes; Jonathan Horgan
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2015-07-30
Filing date: 2015-07-30
Publication date: 2017-02-02

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen einer Bewegung eines Kraftfahrzeugs (1), bei welchem innerhalb eines vorbestimmten Zeitraums mittels einer Kamera (4) zumindest zwei Bilder eines Umgebungsbereichs (8) des Kraftfahrzeugs (1) erfasst werden, in den zumindest zwei Bildern jeweils einander zugeordnete Bildmerkmale bestimmt werden und anhand eines Vergleichs der Bildmerkmale in den zumindest zwei Bildern Kamerabewegungsdaten bestimmt werden (S1) und die Bewegung des Kraftfahrzeugs (1) anhand der Kamerabewegungsdaten bestimmt wird, wobei anhand von Sensordaten zumindest eines Bewegungssensors (9) eine Geschwindigkeit (v) und/oder eine Drehrate des Kraftfahrzeugs (1) innerhalb des vorbestimmten Zeitraums bestimmt wird, anhand der bestimmten Geschwindigkeit (v) und/oder der Drehrate Sensorbewegungsdaten bestimmt werden (S2) und die Bewegung des Kraftfahrzeugs (1) anhand einer Fusion der Kamerabewegungsdaten und der Sensorbewegungsdaten bestimmt wird (S4), wobei die Kamerabewegungsdaten und der Sensorbewegungsdaten bei der Fusion mittels einer bestimmten Gewichtungsfunktion gewichtet werden (S3).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Bestimmen einer Bewegung eines Kraftfahrzeugs, bei welchem innerhalb eines vorbestimmten Zeitraums mittels einer Kamera zumindest zwei Bilder eines Umgebungsbereichs des Kraftfahrzeugs erfasst werden, in den zumindest zwei Bilder jeweils einander zugeordnete Bildmerkmale bestimmt werden und anhand eines Vergleichs der Bildmerkmale in den zumindest zwei Bildern Kamerabewegungsdaten bestimmt werden und die Bewegung des Kraftfahrzeugs anhand der Kamerabewegungsdaten bestimmt wird. Darüber hinaus betrifft die vorliegende Erfindung ein Fahrerassistenzsystem für ein Kraftfahrzeug. Schließlich betrifft die vorliegende Erfindung ein Kraftfahrzeug mit einem derartigen Fahrerassistenzsystem.
Das Interesse richtet sich vorliegend auf Fahrerassistenzsysteme für Kraftfahrzeuge. Derartige Fahrerassistenzsysteme können beispielsweise dazu genutzt werden, den Fahrer beim Führen des Kraftfahrzeugs zu unterstützen. Aus dem Stand der Technik sind Fahrerassistenzsysteme bekannt, die zumindest eine Kamera aufweisen. Mit dieser Kamera können Bilder einer Umgebung bzw. eines Umgebungsbereichs des Kraftfahrzeugs aufgenommen werden und auf einer Anzeige im Innenraum des Kraftfahrzeugs angezeigt werden.
Ferner können Kameras beispielsweise dazu genutzt werden, Bewegungsparameter des Kraftfahrzeugs zu bestimmen. Hierzu beschreibt die DE 10 2012 025 463 A1 ein entsprechendes Verfahren, bei dem in Bildern, die von einer Kamera bereitgestellt werden, Bildbereiche bestimmt werden, welche einen Boden abbilden. Zudem werden jeweils eine Vielzahl von Bildmerkmalen in dem Bildbereich der Bilder extrahiert, wobei zu jedem der Bildmerkmale jeweils Merkmalsdaten erzeugt werden. Ferner werden die Merkmale der Bilder einander zugeordnet und hieraus der Bewegungsparameter bestimmt.
Ferner ist es aus dem Stand der Technik bekannt, die Bewegung eines Kraftfahrzeugs mittels Odometrie zu bestimmen. Hierzu können beispielsweise mit einem entsprechenden Sensor die Umdrehungszahlen eines Rades des Kraftfahrzeugs bestimmt werden. Ferner kann hierzu beispielsweise mit einem entsprechenden Drehratensensor eine Drehrate des Kraftfahrzeugs bestimmt werden. Weiterhin ist es bekannt, die Daten eines Lenkwinkelsensors zu berücksichtigen, um die Bewegung des Kraftfahrzeugs zu bestimmen. Ferner ist es bekannt, die Bewegung des Kraftfahrzeugs über den Boden anhand der Daten eines Ultraschallsensors zu bestimmen.
Um die Odometriedaten, die von verschiedenen Quellen, bzw. von verschiedenen Sensoren stammen, zu verarbeiten, werden beispielsweise Kalman Filter verwendet. Um die Bewegung des Kraftfahrzeugs abschätzen zu können, werden unterschiedliche Modelle verwendet. Ein Modell ist beispielsweise das CTRV-Modell (CTRV – Constant Turn Rate and Velocity), bei welchem von einer Bewegung mit konstanter Geschwindigkeit und konstantem Kurvenradius ausgegangen wird. Ebenso ist das CTRA-Modell (CTRA – Constant Turn Rate and Accerleration) bekannt, bei dem von einer Bewegung mit konstanter Beschleunigung und konstantem Kurvenradius ausgegangen wird. Diese Modelle sind mathematisch komplex und daher nicht einfach zu implementieren. Grundsätzlich nutzen Modelle, dir auf Kalman Filtern basieren, ein Wahrscheinlichkeitsmodell, um den nächsten Zustand der Bewegung des Kraftfahrzeugs zu modellieren. Hierbei wird üblicherweise von einer Linearität zwischen aufeinanderfolgenden Stufen ausgegangen. Reale Bewegungen des Kraftfahrzeugs sind aber üblicherweise nicht linear. Ferner wird bei Kalmanfiltern das Rauschen gemäß einer Gauß-Verteilung modelliert. In der realen Natur ist das Rauschen aber nicht zwingend gaußförmig verteilt.
Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, wie die Bewegung eines Kraftfahrzeugs zuverlässiger bestimmt werden kann.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Ansprüche, der Beschreibung und der Figuren.
Ein erfindungsgemäßes Verfahren dient zum Bestimmen einer Bewegung eines Kraftfahrzeugs. Hierbei werden innerhalb eines vorbestimmten Zeitraums mittels einer Kamera zumindest zwei Bilder eines Umgebungsbereichs des Kraftfahrzeugs erfasst. In den zumindest zwei Bildern werden jeweils einander zugeordnete Bildmerkmale bestimmt und anhand eines Vergleichs der Bildmerkmale in den zumindest zwei Bildern werden Kamerabewegungsdaten bestimmt. Ferner wird die Bewegung des Kraftfahrzeugs anhand der Kamerabewegungsdaten bestimmt. Zudem ist es vorgesehen, dass anhand von Sensordaten zumindest eines Bewegungssensors eine Geschwindigkeit und/oder Drehrate des Kraftfahrzeugs innerhalb des vorbestimmten Zeitraums bestimmt wird und anhand der bestimmten Geschwindigkeit und/oder der Drehrate Sensorbewegungsdaten bestimmt werden. Die Bewegung des Kraftfahrzeugs wird anhand einer Fusion der Kamerabewegungsdaten und der Sensorbewegungsdaten bestimmt, wobei die Kamerabewegungsdaten und die Sensorbewegungsdaten bei der Fusion mittels einer bestimmten Gewichtungsfunktion gewichtet werden.
Mit dem Verfahren soll die Bewegung des Kraftfahrzeugs bzw. die Eigenbewegung des Kraftfahrzeugs bestimmt werden. Hierzu werden Odometriedaten bzw. Bewegungsdaten von unterschiedlichen Quellen genutzt. Zum einen werden Kamerabewegungsdaten genutzt, die auf Grundlage der Bilder einer Kamera, insbesondere einer Kamera des Kraftfahrzeugs, bestimmt werden. Zu diesem Zweck werden mit der Kamera innerhalb eines vorbestimmten Zeitraums bzw. Messintervalls zumindest zwei Bilder aufgenommen. Diese zumindest zwei Bilder beschreiben den Umgebungsbereich bzw. die Umgebung des Kraftfahrzeugs. In den jeweiligen Bildern werden Bildmerkmale bestimmt bzw. extrahiert. Zum Bestimmen der Bildmerkmale kann beispielsweise ein entsprechender Objekterkennungsalgorithmus, insbesondere ein dreidimensionaler Objektalgorithmus, verwendet werden. Beispielsweise kann in einem ersten Bild ein Bildmerkmal erkannt werden und einem Bildmerkmal in dem zumindest einen zweiten Bild zugeordnet werden. Daraufhin können die einander entsprechenden Bildmerkmale in den jeweiligen Bildern miteinander verglichen werden. Insbesondere kann untersucht werden, wie sich die Bildmerkmale zwischen den zumindest zwei Bildern verändern. Wenn sich beispielsweise eine Lage des jeweiligen Bildmerkmals ändert, kann die Bewegung des Kraftfahrzeugs hieraus abgeleitet werden. Diese Information kann dann in den Kamerabewegungsdaten bereitgestellt werden.
Ferner ist es vorgesehen, dass die Sensordaten von zumindest einem Bewegungssensor ausgewertet werden, welche eine Geschwindigkeit und/oder eine Drehrate des Kraftfahrzeugs beschreiben. Ein solcher Bewegungssensor kann beispielsweise dazu ausgebildet sein, die Radumdrehungen zumindest eines Rads des Kraftfahrzeugs zu bestimmen. Ferner kann der zumindest eine Bewegungssensor dazu ausgebildet sein, eine Drehrate des Kraftfahrzeugs zu bestimmen. In diesem Fall kann der zumindest eine Bewegungssensor beispielsweise als Drehratensensor ausgebildet sein. Zum Bestimmen der Drehrate des Kraftfahrzeugs kann ferner ein Lenkeinschlag des Kraftfahrzeugs bestimmt werden. In diesem Fall kann der zumindest eine Bewegungssensor beispielsweise als Lenkwinkelsensor ausgebildet sein. Aus den Sensordaten des zumindest einen Bewegungssensors können dann Sensorbewegungsdaten bestimmt werden, welche die Bewegung des Kraftfahrzeugs in dem vorbestimmten Zeitraum beschreiben.
Ferner ist es nun vorgesehen, dass die Kamerabewegungsdaten und die Sensorbewegungsdaten fusioniert werden. Mit anderen Worten wird eine Sensordatenfusion der Kamerabewegungsdaten, die mit der Kamera bereitgestellt werden, und der Sensorbewegungsdaten, die mit dem zumindest einen Bewegungssensor bereitgestellt werden, durchgeführt. Dabei erfolgt die Fusion anhand einer vorbestimmten Gewichtungsfunktion. Anhand der Gewichtungsfunktion kann bestimmt werden zu welchem Anteil die Kamerabewegungsdaten und die Sensorbewegungsdaten zum Bestimmen der Bewegung des Kraftfahrzeugs berücksichtigt werden. Während der Fusion können auch nur die Kamerabewegungsdaten oder nur die Sensorbewegungsdaten verwendet werden. Auf diese Weise kann die Bewegung des Kraftfahrzeugs bedarfsgerecht und somit besonders zuverlässig bestimmt werden.
Bevorzugt wird die Gewichtungsfunktion in Abhängigkeit von der Geschwindigkeit des Kraftfahrzeugs bestimmt. Hierzu kann beispielsweise die aktuelle Geschwindigkeit des Kraftfahrzeugs anhand der Sensordaten des zumindest einen Bewegungssensors bestimmt werden. Dem liegt die Erkenntnis zugrunde, dass abhängig von der Geschwindigkeit entweder die Kamerabewegungsdaten oder die Sensorbewegungsdaten zuverlässigere Informationen bezüglich der Bewegung des Kraftfahrzeugs liefern. Hierbei kann es auch vorgesehen sein, dass die Gewichtungsfunktion in Abhängigkeit von der Drehrate des Kraftfahrzeugs bestimmt wird. Dabei wird berücksichtigt, dass entweder die Sensorbewegungsdaten oder die Kamerabewegungsdaten in Abhängigkeit von der aktuellen Drehrate eine zuverlässigere Information bezüglich der Bewegung des Kraftfahrzeugs liefern. Somit kann die Bewegung des Kraftfahrzeugs abhängig von dem aktuellen Fahrzustand des Kraftfahrzeugs bestimmt werden.
In einer Ausführungsform wird die Bewegung des Kraftfahrzeugs nur anhand der Kamerabewegungsdaten bestimmt, falls die Geschwindigkeit des Kraftfahrzeugs einen ersten Schwellenwert unterschreitet, die Bewegung des Kraftfahrzeugs nur anhand der Sensordaten bestimmt wird, falls die Geschwindigkeit des Kraftfahrzeugs einen zweiten Schwellenwert überschreitet, und die Bewegung des Kraftfahrzeugs anhand der Fusion der Kamerabewegungsdaten und der Sensorbewegungsdaten bestimmt wird, falls die Geschwindigkeit des Kraftfahrzeugs zwischen dem ersten und dem zweiten Schwellenwert liegt. Hierbei wird berücksichtigt, dass der Vergleich der Bildmerkmale in den Bildern der Kamera nur bis zu einer bestimmten Geschwindigkeit zuverlässig erfolgen kann. Daher ist es vorgesehen, dass bis zu einem ersten Schwellenwert der Geschwindigkeit, der beispielsweise 2 km/h betragen kann, nur die Kamerabewegungsdaten berücksichtigt werden. Falls die Geschwindigkeit des Kraftfahrzeugs einen zweiten Schwellenwert für die Geschwindigkeit, der beispielsweise 8 km/h oder 10 km/h betragen kann, überschreitet, können nur die Sensorbewegungsdaten berücksichtigt werden. Zwischen dem ersten und dem zweiten Schwellenwert kann die Bewegung des Kraftfahrzeugs sowohl anhand der Kamerabewegungsdaten als auch anhand der Sensorbewegungsdaten zuverlässig bestimmt werden. Daher wird in diesem Bereich für die Geschwindigkeit eine Sensordatenfusion durchgeführt, um die Bewegung des Kraftfahrzeugs zu bestimmen. Grundsätzlich kann es auch vorgesehen sein, dass entsprechende Schwellwerte auch für die Drehrate des Kraftfahrzeugs vorgegeben werden.
Gemäß einer weiteren Ausführungsform wird für die Kamerabewegungsdaten und die Sensorbewegungsdaten jeweils eine Kovarianz bestimmt und die Gewichtungsfunktion wird anhand der bestimmten Kovarianzen bestimmt. Dabei wird eine Kovarianz für die Kamerabewegungsdaten und eine Kovarianz für die Sensorbewegungsdaten bestimmt. Die jeweilige Kovarianz beschreibt insbesondere eine räumliche Ungenauigkeit der Kamerabewegungsdaten bzw. der Sensorbewegungsdaten. Anhand der Kovarianzen kann mittels einer vorbestimmten Funktion die Gewichtungsfunktion bestimmt werden, mittels welcher die Kamerabewegungsdaten und die Sensorbewegungsdaten gewichtet werden. Somit kann die Gewichtung in Abhängigkeit von jeweiligen Kovarianzen bestimmt werden.
Weiterhin ist es vorteilhaft, wenn die Kamerabewegungsdaten und die Sensorbewegungsdaten jeweils erste Positionsänderungswerte, welche eine Änderung der Position des Kraftfahrzeugs in eine ersten Richtung beschreiben, zweite Positionsänderungswerte, welche eine Änderung der Position des Kraftfahrzeugs in eine zweite Richtung beschreiben, und/oder Drehratenänderungswerte, welche eine Änderung der Drehrate des Kraftfahrzeugs beschreiben, umfassen. Die Kamerabewegungsdaten können also erste Positionsänderungswerte, die eine Positionsänderung des Kraftfahrzeugs in eine erste Richtung beschreiben. Diese erste Richtung kann beispielsweise entlang der Querachse des Kraftfahrzeugs verlaufen. Ferner können die Kamerabewegungsdaten die zweiten Positionsänderungswerte umfassen, welche eine Änderung der Position des Kraftfahrzeugs in eine zweite Richtung, welche insbesondere zu der ersten Richtung senkrecht steht, beschreiben. Die zweite Richtung kann beispielsweise entlang der Längsachse des Kraftfahrzeugs verlaufen. Zudem umfassen die Kamerabewegungsdaten Drehratenänderungswerte, welche die Änderung der Drehrate des Kraftfahrzeugs beschreiben. Auch die Sensorbewegungsdaten umfassen jeweils erste Positionsänderungswerte, zweite Positionsänderungswerte und die Drehratenänderungswerte. Vorliegend wird die Bewegung des Kraftfahrzeugs nur in die zwei Raumrichtungen bestimmt, da das Kraftfahrzeug auf dem Boden bzw. der Fahrbahn bewegt wird. Somit kann anhand der Kamerabewegungsdaten und der Sensorbewegungsdaten die Änderung der Bewegung des Kraftfahrzeugs in dem vorbestimmten Zeitraum genau bestimmt werden.
In einer weiteren Ausführungsform wird beim Bestimmen der Gewichtungsfunktion jeweils ein Gewichtungswert für die ersten Positionsänderungswerte, die zweiten Positionsänderungswerte und/oder die Drehratenänderungswerte bestimmt. Es kann also für die ersten Positionsänderungswerte, die zweiten Positionsänderungswerte und die Drehratenänderungswerte der Kamerabewegungsdaten jeweils ein Gewichtungswert bestimmt werden. Zudem kann für die ersten Positionsänderungswerte, die zweiten Positionsänderungswerte und die Drehratenänderungswerte der Sensorbewegungsdaten jeweils ein Gewichtungswert bestimmt werden. Um die Gesamtbewegungsänderung in die erste Richtung zu bestimmen, können die ersten Positionsänderungswerte, die in den Kamerabewegungsdaten enthalten sind, und die ersten Positionsänderungswerte, die in den Sensorbewegungsdaten enthalten sind, und die jeweils mit einem Gewichtungswert gewichtet sind, addiert werden. Auf die gleiche Weise kann eine gesamte Änderung der Bewegung des Kraftfahrzeugs in die zweite Richtung und eine gesamte Änderung der Drehrate des Kraftfahrzeugs bestimmt werden.
In einer weiteren Ausgestaltung wird die Gewichtungsfunktion anhand einer quadratischen Regression für die ersten Positionsänderungswerte, die zweiten Positionsänderungswerte und/oder die Drehratenänderungswerte bestimmt. Dabei können beispielsweise zunächst die Residuen für die ersten Positionsänderungswerte, die zweiten Positionsänderungswerte und die Drehratenänderungswerte bestimmt werden. Die Residuen können beispielsweise mittels einer quadratischen Ausgleichsrechnung bestimmt werden. Mit einer vorbestimmten Funktion können anhand der Residuen die jeweiligen Gewichtungswerte für die ersten Positionsänderungswerte, die zweiten Positionsänderungswerte und/oder die Drehratenänderungswerte bestimmt werden. Damit kann auf einfache Weise eine Gewichtungsfunktion bestimmt werden.
In einer weiteren Ausgestaltung wird die Gewichtungsfunktion anhand einer linearen Regression für die ersten Positionsänderungswerte, die zweiten Positionsänderungswerte und/oder die Drehratenänderungswerte bestimmt. Zum Bestimmen der Gewichtungsfunktion kann beispielsweise ein Modell verwendet werden, das auf einer linearen Regression basiert. Ein solches Modell kann beispielsweise der sogenannte RANSAC-Algorithmus sein (RANSAC – Random Sample Consensus). Auf Grundlage dieses Modells können Korrelationskoeffizienten zwischen den Sensorbewegungsdaten und den Kamerabewegungsdaten bestimmt werden. Auf Grundlage dieser Korrelationskoeffizienten kann dann die Gewichtungsfunktion auf einfache und zuverlässige Weise bestimmt werden.
In einer weiteren Ausführungsform wird die Gewichtungsfunktion anhand einer zweiten zeitlichen Ableitung der ersten Positionsänderungswerte, der zweiten Positionsänderungswerte und/oder der Drehratenänderungswerte bestimmt. Die zweite Ableitung beschreibt insbesondere wie sich eine Änderungsrate einer Größe selbst ändert. Beispielsweise beschreibt die zweite Ableitung einer Position des Fahrzeugs in Abhängigkeit von der Zeit die aktuelle Beschleunigung des Fahrzeugs oder die Änderung mit welcher sich die Geschwindigkeit des Fahrzeugs ändert. Hierbei kann es auch vorgesehen sein, dass auf Grundlage der zweiten zeitlichen Ableitung Nulldurchgänge berücksichtigt werden.
Ein erfindungsgemäßes Fahrerassistenzsystem für ein Kraftfahrzeug ist zum Durchführen eines erfindungsgemäßen Verfahrens ausgelegt. Das Fahrerassistenzsystem kann beispielsweise zumindest eine Kamera umfassen, mittels welcher die Bilder des Umgebungsbereichs erfasst werden können. Bevorzugt kann das Fahrerassistenzsystem eine Vielzahl von Kameras umfassen, die verteilt an dem Kraftfahrzeug angeordnet sind. Ferner kann das Fahrerassistenzsystem zumindest einen Bewegungssensor umfassen, mit dem die aktuelle Geschwindigkeit und/oder die aktuelle Drehrate des Kraftfahrzeugs erfasst werden kann. Zudem kann das Fahrerassistenzsystem eine entsprechende Steuereinrichtung, die beispielsweise durch ein elektronisches Steuergerät des Kraftfahrzeugs gebildet ist, umfassen. Mit der Steuereinrichtung können die Kamerabewegungsdaten, die Sensorbewegungsdaten und die Gewichtungsfunktion zum Fusionieren der Kamerabewegungsdaten bestimmt werden. Das Fahrerassistenzsystem kann ferner dazu dienen, das Kraftfahrzeug in Abhängigkeit von der bestimmten Bewegung des Kraftfahrzeugs zu steuern. Das Fahrerassistenzsystem kann beispielsweise eine Einparkhilfe, ein Spurwechselassistent, ein System zur Totwinkelüberwachung oder dergleichen sein.
Ein erfindungsgemäßes Kraftfahrzeug umfasst ein erfindungsgemäßes Fahrerassistenzsystem. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen ausgebildet.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen.
Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
Dabei zeigen:
1 ein Kraftfahrzeug gemäß einer Ausführungsform der vorliegenden Erfindung, welches ein Fahrerassistenzsystem aufweist;
2 ein schematisches Ablaufdiagramm eines Verfahrens zum Bestimmen einer Bewegung des Kraftfahrzeugs gemäß einer ersten Ausführungsform;
3 eine Gewichtungsfunktion, welche einen Gewichtungswert in Abhängigkeit von einer Geschwindigkeit des Kraftfahrzeugs beschreibt; und
4 bis 9 Verfahren zum Bestimmen der Bewegung des Kraftfahrzeugs in unterschiedlichen Ausführungsformen.
In den Figuren werden gleiche und funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
1 zeigt ein Kraftfahrzeug 1 gemäß einer Ausführungsform der vorliegenden Erfindung in einer Draufsicht. Das Kraftfahrzeug 1 ist in dem vorliegenden Fall als Personenkraftwagen ausgebildet. Das Kraftfahrzeug 1 umfasst ein Fahrerassistenzsystem 2. Das Fahrerassistenzsystem 2 dient dazu, den Fahrer des Kraftfahrzeugs 1 beim Führen des Kraftfahrzeugs 1 zu unterstützen. Das Fahrerassistenzsystem 2 umfasst wiederum eine Steuereinrichtung 3, die beispielsweise durch ein elektronisches Steuergerät des Kraftfahrzeugs 1 gebildet sein kann.
Darüber hinaus umfasst das Fahrerassistenzsystem 2 zumindest eine Kamera 4. In dem vorliegenden Ausführungsbeispiel umfasst das Fahrerassistenzsystem 2 vier Kameras 4, die verteilt an dem Kraftfahrzeug 1 angeordnet sind. Vorliegend ist eine der Kameras 4 in einem Heckbereich 5 des Kraftfahrzeugs 1 angeordnet, eine der Kameras 4 ist in einem Frontbereich 7 des Kraftfahrzeugs 1 angeordnet und die übrigen zwei Kameras 4 sind in den jeweiligen Seitenbereichen 6, insbesondere in einem Bereich der Seitenspiegel, des Kraftfahrzeugs 1 angeordnet. Die Anzahl und Anordnung der Kameras 4 des Fahrerassistenzsystems 2 ist vorliegend rein beispielhaft zu verstehen.
Mit den Kameras 4 kann ein Umgebungsbereich 8 des Kraftfahrzeugs 1 erfasst werden. Die vier Kameras 4 sind bevorzugt baugleich ausgebildet. Insbesondere kann eine Bildsequenz oder Videodaten mit den Kameras 4 bereitgestellt werden, welche den Umgebungsbereich 8 beschreiben. Diese Bildsequenzen können von den Kameras 4 an die Steuereinrichtung 3 übertragen werden. Hierzu sind die Kameras 4 mittels entsprechender Datenleitungen mit der Steuereinrichtung 3 verbunden. Diese Datenleitungen sind vorliegend der Übersichtlichkeit halber nicht dargestellt.
Die Steuereinrichtung 3 ist dazu ausgelegt, anhand der Bilder, die mit den Kameras 4 aufgenommen werden, Kamerabewegungsdaten zu bestimmen, welche die Bewegung des Kraftfahrzeugs 1 beschreiben. Hierzu ist es vorgesehen, dass die Steuereinrichtung zumindest zwei Bilder auswertet, die innerhalb eines vorbestimmten Zeitraums aufgenommen wurden. Beispielsweise kann die Steuereinrichtung 3 ein erstes und zumindest ein zweites Bild auswerten. Dabei kann die Steuereinrichtung 3 einander zugeordnete Bildmerkmale in den jeweiligen Bildern bestimmen. Diese Bildmerkmale können beispielsweise vorbestimmte Objekte in dem Umgebungsbereich 8 des Kraftfahrzeugs 1 sein. Ferner kann die Steuereinrichtung 3 die Bildmerkmale in den Bildern miteinander vergleichen und somit – beispielsweise anhand einer Änderung der Lage der Bildmerkmale in den Bildern – die Bewegung des Kraftfahrzeugs 1 beschreiben. Diese Informationen werden dann als Kamerabewegungsdaten ausgegeben.
Ferner umfasst das Fahrerassistenzsystem 2 zumindest einen Bewegungssensor 9. Mittels des Bewegungssensors 9 kann eine Geschwindigkeit und/oder eine Drehrate des Kraftfahrzeugs 1 bestimmt werden. Es können auch mehrere Bewegungssensoren vorgesehen sein, mit denen die Geschwindigkeit und/oder die Drehrate des Kraftfahrzeugs 1 bestimmt wird. Der Bewegungssensor 9 kann beispielsweise dazu ausgebildet sein, Radumdrehungszahlen zu bestimmen. Anhand der bekannten Abmessungen des Rades kann dann die Bewegung des Kraftfahrzeugs 1 bestimmt werden. Der Bewegungssensor 9 kann auch dazu ausgelegt sein, eine Drehrate des Kraftfahrzeugs 1 und/oder einen Lenkwinkel des Kraftfahrzeugs 1 zu bestimmen. Die Sensordaten, die mit dem zumindest einen Bewegungssensor 9 bereitgestellt werden, werden ebenfalls an die Steuereinrichtung 3 übertragen. Die Sensordaten können von der Steuereinrichtung 3 insbesondere von einem Fahrzeugdatenbus, insbesondere einem CAN-Bus oder einem FlexRay-Bus abgegriffen werden. Die Steuereinrichtung 3 kann dann anhand der Sensordaten die Bewegung des Kraftfahrzeugs 1 in dem vorbestimmten Zeitraum bestimmen. Die Bewegung des Kraftfahrzeugs 1 wird dann in Form der Sensorbewegungsdaten ausgegeben.
2 zeigt ein schematisches Ablaufdiagramm eines Verfahrens zum Bestimmen einer Bewegung des Kraftfahrzeugs 1. Hierbei werden in einem Schritt S1 die Kamerabewegungsdaten bestimmt. Die Kamerabewegungsdaten werden anhand der Bilder der Kamera 4 mittels der Steuereinrichtung 3 bestimmt. Ferner werden in einem Schritt S2 die Sensorbewegungsdaten bestimmt. Die Sensorbewegungsdaten werden anhand der Sensordaten des Bewegungssensors 9 mittels der Steuereinrichtung 3 bestimmt. In einem anschließenden Schritt S3 werden die Kamerabewegungsdaten und die Sensorbewegungsdaten miteinander fusioniert. Dabei ist es vorgesehen, dass bei der Fusion der Kamerabewegungsdaten und der Sensorbewegungsdaten eine Gewichtungsfunktion verwendet wird, mit der die Kamerabewegungsdaten und die Sensorbewegungsdaten jeweils gewichtet werden. Schließlich wird in einem Schritt S4 die Bewegung des Kraftfahrzeugs 1 anhand der gewichteten Fusion bestimmt.
3 zeigt ein schematisches Ablaufdiagramm eines Verfahrens zum Bestimmen einer Bewegung des Kraftfahrzeugs 1 gemäß einer weiteren Ausführungsform. Hierbei ist es vorgesehen, dass die Gewichtungsfunktion in Abhängigkeit von der aktuellen Geschwindigkeit v des Kraftfahrzeugs 1 bestimmt wird. Hierbei wird berücksichtigt, dass die Bewegung des Kraftfahrzeugs 1 bei niedrigen Geschwindigkeiten v zuverlässig anhand der Kamerabewegungsdaten bestimmt werden kann. Bei höheren Fahrzeuggeschwindigkeiten v kann der Vergleich der Bildmerkmale in den einzelnen Bildern nicht mehr zuverlässig durchgeführt werden. Alternativ oder zusätzlich kann die Drehrate des Kraftfahrzeugs 1 berücksichtigt werden. Auch hier können beispielsweise die Kamerabewegungsdaten nur bis zu einer vorbestimmten Mindestdrehrate zuverlässig verwendet werden.
Bei dem Verfahren wird in einem Schritt S5 die aktuelle Drehrate des Kraftfahrzeugs 1 bestimmt. Zudem wird in einem Schritt S6 die aktuelle Geschwindigkeit v des Kraftfahrzeugs 1 bestimmt. Anschließend wird in einem Schritt S7 eine Fusionswahrscheinlichkeit P bestimmt. Die Fusionswahrscheinlichkeit P kann beispielsweise den Wert 1 aufweisen, wenn die Geschwindigkeit v des Kraftfahrzeugs 1 kleiner oder gleich einem ersten Schwellenwert v1 ist. Zudem kann die Fusionswahrscheinlichkeit P den Wert 0 aufweisen, falls die Geschwindigkeit v des Kraftfahrzeugs 1 einen zweiten Schwellenwert v2 überschreitet. Falls die Geschwindigkeit v des Kraftfahrzeugs 1 zwischen dem ersten Schwellenwert v1 und dem zweiten Schwellenwert v2 liegt, kann die Fusionswahrscheinlichkeit nach folgender Formel bestimmt werden: P = (v – v1) / (v2 – v1).
Anschließend wird in einem Schritt S8 die Gewichtungsfunktion 10 bestimmt. Ein Beispiel für die Gewichtungsfunktion 10 ist in 4 dargestellt. Dabei ist ein Gewichtungswert W in Abhängigkeit von der Geschwindigkeit v dargestellt. Falls die Geschwindigkeit v den ersten Schwellenwert v1 unterschreitet, weist der Gewichtungswert W den Wert 0 auf. Falls die Geschwindigkeit v den zweiten Schwellenwert v2 überschreitet, weist der Gewichtungswert W den Wert 1 auf. Der erste Schwellenwert v1 kann beispielsweise 2 km/h betragen und der zweite Schwellenwert v2 kann beispielsweise 8 km/h oder 10 km/h betragen. Wenn die Geschwindigkeit v des Kraftfahrzeugs 1 zwischen dem ersten Schwellenwert v1 und dem zweiten Schwellenwert v2 liegt, wird der Gewichtungswert gemäß einer vorbestimmten Funktion f(x) bestimmt. In dem vorliegenden Fall ist die vorbestimmte Funktion f(x), die sogenannten Sigmoid-Funktion, die nach folgender Formel berechnet werden kann:
Auf diese Weise kann sowohl für die Sensorbewegungsdaten ein Gewichtungswert W_CAN und für die Kamerabewegungsdaten ein Gewichtungswert W_VOM bestimmt werden. Diese können wie folgt bestimmt werden:
Die Kamerabewegungsdaten umfassen einen ersten Positionsänderungswert Δx_VOM, der die Änderung der Bewegung des Kraftfahrzeugs 1 in einer ersten Richtung, beispielsweise der Fahrzeugquerachse, innerhalb des vorbestimmten Zeitraums beschreibt. Zudem umfassen die Kamerabewegungsdaten einen zweiten Positionsänderungswert Δy_VOM, welcher die Änderung der Bewegung in entlang einer zweiten Richtung, insbesondere entlang der Fahrzeuglängsachse, innerhalb des Zeitraums beschreibt. Zudem umfassen die Kamerabewegungsdaten einen Drehratenänderungswert Δω_VOM, der die Änderung der Drehrate des Kraftfahrzeugs 1 während des vorbestimmten Zeitraums beschreibt. In gleicher Weise umfassen die Sensorbewegungsdaten einen ersten Positionsänderungswert Δx_CAN, einen zweiten Positionsänderungswert Δy_CAN und einen Drehratenänderungswert Δω_CAN.
Die ersten Positionsänderungswerte Δx_VOM, Δx_CAN, die zweiten Positionsänderungswerte Δy_VOM, Δy_CAN und die Drehratenänderungswerte Δω_VOM, Δω_CAN werden mit den jeweiligen Gewichtungswerten W_CAN und W_VOM gewichtet. Auf diese Weise kann die Änderung der Bewegung Δx_F des Kraftfahrzeugs 1 in die erste Richtung, die Änderung der Bewegung Δy_F in die zweite Richtung und die Änderung der Drehrate Δω_F des Kraftfahrzeugs wie folgt bestimmt werden: Δx_F = Δx_VOM·W_VOM + Δx_CAN + W_CAN, Δy_F = Δy_VOM·W_VOM + Δy_CAN + W_CAN und Δω_F = Δω_VOM·W_VOM + Δω_CAN + W_CAN.
5 zeigt ein schematisches Ablaufdiagramm eines Verfahrens zum Bestimmen der Bewegung des Kraftfahrzeugs 1 in einer weiteren Ausführungsform. Hierbei wird in einem Schritt S9 eine Kovarianz der Kamerabewegungsdaten bestimmt und in einem Schritt S9’ wird eine Kovarianz der Sensorbewegungsdaten bestimmt. Die Kovarianzen können beispielsweise dadurch bestimmt werden, dass ein vorbestimmtes Fenster entlang der Kamerabewegungsdaten und der Sensorbewegungsdaten bewegt wird. Wenn die Kovarianzen bestimmt wurden, kann in dem Schritt S8 die Gewichtungsfunktion bestimmt werden. Hierzu kann der jeweilige Mittelwert für die Positionsänderungswerte Δx, Δy und die Drehratenänderungswerte Δω bestimmt werden. Aus den Mittelwerten kann dann die Gewichtungsfunktion bzw. die jeweiligen Gewichtungswerte W_VOM und W_CAN gemäß einer sogenannten Softmax-Funktion bestimmt werden:
Die Änderungen der Positionen Δx_F und Δy_F sowie die Änderung der Drehrate Δω_F können dann wie zuvor beschrieben bestimmt werden.
6 zeigt ein schematisches Ablaufdiagramm eines Verfahrens zum Bestimmen der Bewegung des Kraftfahrzeugs 1 gemäß einer weiteren Ausführungsform. Hierbei wird die Gewichtungsfunktion anhand einer quadratischen Regression bestimmt. Hierzu können zunächst die Residuen der ersten Positionsänderungswerte Δx, Δy und der Drehratenänderungswerte Δω bestimmt werden. Hierzu kann eine quadratische Ausgleichsrechnung verwendet werden. In diesem Fall kann ebenfalls die sogenannte Softmax-Funktion genutzt werden um die Gewichtungsfunktion bzw. die Gewichtungswerte zu bestimmen. Diese können wie folgt bestimmt werden:
Hierbei gilt:
Die Änderung der Position in der ersten Richtung Δx_F, die Änderung der Position in der zweiten Richtung Δy_F sowie die Änderung der Drehrate Δω_F können wie zuvor erwähnt, berechnet werden.
7 zeigt ein schematisches Ablaufdiagramm eines weiteren Verfahrens zum Bestimmen der Bewegung des Kraftfahrzeugs 1. Dabei wird in einem Schritt S11 die Gewichtungsfunktion anhand einer linearen Regression bestimmt. Hierzu kann beispielsweise ein entsprechendes Modell, beispielsweise das RANSAC-Modell verwendet werden. Mit Hilfe des Modells können die Korrelationskoeffizienten für die Kamerabewegungsdaten und die Sensorbewegungsdaten bestimmt werden. Anhand dieser Korrelationskoeffizienten kann dann die Gewichtungsfunktion bestimmt werden und schließlich die Fusion durchgeführt werden. Die Änderung der Bewegungen in der ersten Richtung Δx_F, die Änderung der Bewegung in der zweiten Richtung Δy_F sowie die Änderung der Drehrate Δω_F können wie zuvor erwähnt, berechnet werden.
8 zeigt ein schematisches Ablaufdiagramm eines weiteren Verfahrens zum Bestimmen der Bewegung des Kraftfahrzeugs 1. Hierbei wird die zweite zeitliche Ableitung für die Kamerabewegungsdaten und die Sensorbewegungsdaten bestimmt. Dabei kann zunächst die erste zeitliche Ableitung D¹ und anschließend die zweite zeitliche Ableitung D² differenziell für eine bestimmte Zwischenspeichergröße bestimmt werden. Die erste Ableitung D¹ und die zweite Ableitung D² kann für den jeweiligen ersten Positionsänderungswert Δx, den zweiten Positionsänderungswert Δy und den Drehratenänderungswert Δω bestimmt werden. Die erste zeitliche Ableitung D¹ kann wie folgt bestimmt werden: D 1 / 1 = |Δx₂ – Δx₁| D 1 / 2 = |Δx₃ – Δx₂| D 1 / 3 = |Δx₄ – Δx₃|. ⋮ D 1 / n = |Δx_n – Δx_n-1|
Die zweite zeitliche Ableitung D² kann wie folgt bestimmt werden: D 2 / 1 = |D 2 / 1 – D 1 / 1| D 2 / 2 = |D 1 / 3 – D 1 / 3| D 2 / 3 = |D 1 / 4 – D 1 / 1|. ⋮ D 2 / n = |D 1 / n – D 1 / n-1|
Sobald die zweite Ableitung D² berechnet ist, werden die Werte der (n – 2) Elemente innerhalb des Zwischenspeichers summiert. Diese Summe wird auch als der zweite differenzielle Fehler für das erste Element des D² Zwischenspeichers bezeichnet. Dieser kann für die Kamerabewegungsdaten wie folgt bestimmt werden:
In gleicher Weise kann dieser für die Sensorbewegungsdaten bestimmt werden:
Die einzelnen Gewichtungswerte können wie folgt berechnet werden:
9 zeigt ein schematisches Ablaufdiagramm eines weiteren Verfahrens zum Bestimmen der Bewegung des Kraftfahrzeugs 1. Hierbei werden Nulldurchgänge anhand der zweiten Ableitung D² bestimmt. Im Unterschied zu dem Verfahren gemäß 8 werden die einfachen Differenzen anstelle der absoluten Differenzen berechnet: ∀i, E_Zero + 1 = 1, falls(D 2 / i, < 0&&D 2 / i > 0) und E_Zero + 0, falls(D 2 / i-1 > 0&&D 2 / i < 0).
Hierbei gilt, dass der Fehler E_Zero dem Fehler E_CAN ^Δx für den ersten Positionsänderungswert Δx der Sensorbewegungsdaten entspricht. Zudem entspricht der Fehler E_Zero dem Fehler E_VOM ^Δx für den ersten Positionsänderungswert Δx der Kamerabewegungsdaten. Die Gewichtungswerte können wie zuvor in Zusammenhang mit 8 beschrieben, berechnet werden. Auch die Änderung der Bewegungen in der ersten Richtung Δx_F, die Änderung der Bewegung in der zweiten Richtung Δy_F sowie die Änderung der Drehrate Δω_F können wie zuvor erwähnt, berechnet werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102012025463 A1 [0003]

Claims

Verfahren zum Bestimmen einer Bewegung eines Kraftfahrzeugs (1), bei welchem innerhalb eines vorbestimmten Zeitraums mittels einer Kamera (4) zumindest zwei Bilder eines Umgebungsbereichs (8) des Kraftfahrzeugs (1) erfasst werden, in den zumindest zwei Bildern jeweils einander zugeordnete Bildmerkmale bestimmt werden und anhand eines Vergleichs der Bildmerkmale in den zumindest zwei Bildern Kamerabewegungsdaten bestimmt werden (S1) und die Bewegung des Kraftfahrzeugs (1) anhand der Kamerabewegungsdaten bestimmt wird, dadurch gekennzeichnet, dass anhand von Sensordaten zumindest eines Bewegungssensors (9) eine Geschwindigkeit (v) und/oder eine Drehrate des Kraftfahrzeugs (1) innerhalb des vorbestimmten Zeitraums bestimmt wird, anhand der bestimmten Geschwindigkeit (v) und/oder der Drehrate Sensorbewegungsdaten bestimmt werden (S2) und die Bewegung des Kraftfahrzeugs (1) anhand einer Fusion der Kamerabewegungsdaten und der Sensorbewegungsdaten bestimmt wird (S4), wobei die Kamerabewegungsdaten und der Sensorbewegungsdaten bei der Fusion mittels einer bestimmten Gewichtungsfunktion gewichtet werden (S3).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Gewichtungsfunktion in Abhängigkeit von der Geschwindigkeit (v) des Kraftfahrzeugs (1) bestimmt wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Bewegung des Kraftfahrzeugs (1) nur anhand der Kamerabewegungsdaten bestimmt wird, falls die Geschwindigkeit (v) des Kraftfahrzeugs (1) einen ersten Schwellenwert (v1) unterschreitet, die Bewegung des Kraftfahrzeugs (1) nur anhand der Sensorbewegungsdaten bestimmt wird, falls die Geschwindigkeit (v) des Kraftfahrzeugs (1) einen zweiten Schwellenwert (v2) überschreitet, und die Bewegung des Kraftfahrzeugs (1) anhand der Fusion der Kamerabewegungsdaten und der Sensorbewegungsdaten bestimmt wird, falls die Geschwindigkeit (v) des Kraftfahrzeugs (1) zwischen dem ersten Schwellenwert (v1) und dem zweiten Schwellenwert (v2) liegt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für die Kamerabewegungsdaten und die Sensorbewegungsdaten jeweils eine Kovarianz bestimmt wird und die Gewichtungsfunktion anhand der jeweiligen bestimmen Kovarianzen bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kamerabewegungsdaten und die Sensorbewegungsdaten jeweils erste Positionsänderungswerte (Δx_VOM, Δx_CAN), welche eine Änderung der Position des Kraftfahrzeugs (1) in eine erste Richtung beschreiben, zweite Positionsänderungswerte (Δy_VOM, Δy_CAN), welche eine Änderung der Position des Kraftfahrzeugs (1) in eine zweite Richtung beschreiben, und/oder Drehratenänderungswerte (Δω_VOM, Δω_CAN), welche eine Änderung der Drehrate des Kraftfahrzeugs (1) beschreiben, umfassen.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass beim Bestimmen der Gewichtungsfunktion jeweils ein Gewichtungswert (W_VOM, W_CAN) für die ersten Positionsänderungswerte (Δx_VOM, Δx_CAN), die zweiten Positionsänderungswerte (Δy_VOM, Δy_CAN) und/oder die Drehratenänderungswerte (Δω_VOM, Δω_CAN) bestimmt wird.
Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass die Gewichtungsfunktion anhand einer quadratischen Regression für die ersten Positionsänderungswerte (Δx_VOM, Δx_CAN), die zweiten Positionsänderungswerte (Δy_VOM, Δy_CAN) und/oder die Drehratenänderungswerte (Δω_VOM, Δω_CAN) bestimmt wird.
Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass die Gewichtungsfunktion anhand einer linearen Regression für die ersten Positionsänderungswerte (Δx_VOM, Δx_CAN), die zweiten Positionsänderungswerte (Δy_VOM, Δy_CAN) und/oder die Drehratenänderungswerte (Δω_VOM, Δω_CAN) bestimmt wird.
Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass die Gewichtungsfunktion anhand einer zweiten zeitlichen Ableitung der ersten Positionsänderungswerte (Δx_VOM, Δx_CAN), der zweiten Positionsänderungswerte (Δy_VOM, Δy_CAN) und/oder der Drehratenänderungswerte (Δω_VOM, Δω_CAN) bestimmt wird.
Fahrerassistenzsystem (2) für ein Kraftfahrzeug (1), welches zum Durchführen eines Verfahrens nach einem der vorhergehenden Ansprüche ausgelegt ist.
Kraftfahrzeug (1) mit einem Fahrerassistenzsystem (2) nach Anspruch 10.