DE102014114221A1

DE102014114221A1 - Verfahren zum Detektieren von einem Objekt in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug

Info

Publication number: DE102014114221A1
Application number: DE102014114221.7A
Authority: DE
Inventors: Camilo Vejarano; Julien Rebut
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2014-09-30
Filing date: 2014-09-30
Publication date: 2016-03-31
Also published as: US20160093065A1; EP3002709A1; US9892519B2

Abstract

Die Erfindung betrifft ein Verfahren zum Detektieren von einem Objekt (12) in einem Umgebungsbereich (6) eines Kraftfahrzeugs (1) anhand einer zeitlichen Sequenz von Bildern (9) des Umgebungsbereichs (6), welche mittels einer Kamera (3a, 3b) des Kraftfahrzeugs (1) erfasst werden, wobei mittels einer elektronischen Auswerteeinrichtung (4) des Kraftfahrzeuges (1) in einem ersten Bild der Sequenz (9) von Bildern zumindest ein charakteristischer Bildpunkt (p) von dem Objekt (12) bestimmt wird und in zumindest einem zweiten Bild (8) der zumindest eine bestimmten charakteristische Bildpunkt (p) verfolgt wird und durch das Verfolgen ein Flussvektor (δ) mit jeweils einer vertikalen Komponente (δv) und einer horizontalen Komponente (δu) bereitgestellt wird, wobei anhand der vertikalen Komponente (δv) eine erste Tiefenkomponente (z‘1), welche senkrecht zu der vertikalen Komponente (δv) und der horizontalen Komponente (δu) ist, bestimmt wird, und anhand der horizontalen Komponente (δu) eine zweite Tiefenkomponente (z‘2), welche ebenfalls senkrecht zu der vertikalen Komponente (δv) und der horizontalen Komponente (δu) ist, bestimmt wird, und, falls die erste Tiefenkomponente (z‘1) innerhalb eines Toleranzbereichs der zweiten Tiefenkomponente (z‘2) entspricht, eine validierte Endtiefenkomponente (z‘) eines von dem charakteristischen Bildpunkt (p) abhängigen verfolgten charakteristischen Bildpunktes (13) bereitgestellt wird.

Description

Die Erfindung betrifft ein Verfahren zum Detektieren von einem Objekt in einem Umgebungsbereich eines Kraftfahrzeugs anhand einer zeitlichen Sequenz von Bildern des Umgebungsbereichs, welche mittels einer Kamera des Kraftfahrzeugs erfasst werden, wobei mittels einer elektronischen Auswerteeinrichtung des Kraftfahrzeugs in einem ersten Bild der Bildsequenz von Bildern charakteristische Bildpunkte von dem Objekt bestimmt werden und in zumindest einem zweiten Bild die bestimmten charakteristischen Bildpunkte verfolgt werden und durch das Verfolgen eine Vielzahl von Flussvektoren mit jeweils einer vertikalen Komponente und einer horizontalen Komponente bereitgestellt wird. Die Erfindung betrifft außerdem ein Fahrerassistenzsystem für ein Kraftfahrzeug, wie auch ein Kraftfahrzeug mit einem Fahrerassistenzsystem.
Verfahren zum Detektieren von einem Objekt in einem Umgebungsbereich eines Kraftfahrzeugs sind aus dem Stand der Technik bekannt. So wird in der WO 2005/037619 A1 ein Verfahren beschrieben das zur Einleitung eines Notbremsevorgangs dient. Das Verfahren setzt voraus, dass eine Umgebung des Fahrzeuges zumindest teilweise erfasst wird und eine Objekterkennung, auf den Daten der erfassten Umgebung basierend, ausgeführt wird. Die detektierten Objekte werden dann mit Referenzobjekten verglichen. Es werden nur Objekte berücksichtigt, die größer sind als das Referenzobjekt.
Weiterhin ist ein System zur Kollisionsvermeidung mit einem Bildaufnahmegerät, angebracht im vorderen Bereich des Fahrzeugs, welches ein Bild aufnimmt, und einem Modul welches eine Vielzahl von 3D Modellen bildet und in einem Speichermedium abspeichert, aus der US 8 412 448 B2 bekannt. Zusätzlich extrahiert ein Bildverarbeitungsmodul Bilddaten von dem aufgenommenen Bild und vergleicht diese mit dem 3D Modell. Wenn dann ein Objekt erkannt wurde, wird in einem weiteren Schritt eine Warnung ausgegeben.
Von der US 8 121 348 B2 ist eine Objekterkennungseinrichtung für Fahrzeuge bekannt, welche mit einer Kameraeinheit ein Bild einer Straße in vorwärts Fahrtrichtung aufnimmt. Über das aufgenommene Bild wird ein Fenster geschoben von welchem ein Histogramm berechnet wird. Dieses Histogramm wird dann mit Modellen aus einer Datenbank verglichen, um festzustellen ob es sich um ein gesuchtes Objekt handelt.
Aus der DE 10 2012 011 121 A1 ist ein Verfahren zum Detektieren von Objekten in einem Umgebungsbereich eines Kraftfahrzeugs bekannt, wobei mittels einer Methode des optischen Flusses eine Vielzahl von Flussvektoren bestimmt wird. Anhand der Flussvektoren werden die Objekte detektiert. Hierbei wird auch ein Bewegungsvektor des Kraftfahrzeugs berücksichtigt.
Es ist Aufgabe der Erfindung, ein Verfahren, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug bereitzustellen, mit welchen beziehungsweise bei welchen das Objekt in dem Umgebungsbereich des Kraftfahrzeugs besonders präzise detektiert werden kann.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst.
Bei einem erfindungsgemäßen Verfahren zum Detektieren eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs wird eine zeitliche Sequenz von Bildern des Umgebungsbereichs erzeugt, welche mittels einer Kamera des Kraftfahrzeugs erfasst werden. Mittels einer elektronischen Auswerteeinrichtung des Kraftfahrzeugs wird in einem ersten Bild der Bildsequenz von Bildern zumindest ein charakteristischer Bildpunkt von dem Objekt bestimmt. In zumindest einem zweiten Bild wird der zumindest eine bestimmte charakteristische Bildpunkt verfolgt und durch das Verfolgen wird zumindest ein Flussvektor mit jeweils einer vertikalen Komponente und einer horizontalen Komponente bereitgestellt. Erfindungsgemäß ist vorgesehen, dass anhand der vertikalen Komponente eine erste Tiefenkomponente, welche senkrecht zu der vertikalen Komponente und der horizontalen Komponente ist, bestimmt wird, und es wird anhand der horizontalen Komponente eine zweite Tiefenkomponente, welche ebenfalls senkrecht zu der vertikalen Komponente und der horizontalen Komponente ist, bestimmt. Falls die erste Tiefenkomponente innerhalb eines Toleranzbereichs der zweiten Tiefenkomponente entspricht, wird eine validierte Endtiefenkomponente eines von dem zumindest einen charakteristischen Bildpunkt abhängigen verfolgten charakteristischen Bildpunktes bereitgestellt.
Durch das erfindungsgemäße Verfahren wird es also möglich, die validierte beziehungsweise überprüfte Endtiefenkomponente des verfolgten charakteristischen Bildpunktes bereitzustellen. Der verfolgte charakteristische Bildpunkt ist der charakteristische Bildpunkt, welcher mit dem optischen Fluss verfolgt wurde und den Flussvektor bereitstellt. Das Verfahren ist möglich, weil jeder der Flussvektoren die vertikale Komponente und die horizontale Komponente bereitstellt. Die vertikale Komponente und die horizontale Komponente befinden sich in der Bildebene und sind zueinander senkrecht. So kann die vertikale Komponente beispielsweise in einer Spalte des Bildes über mehrere Zeilen des Bildes bestimmt werden, während die horizontale Komponente in einer Zeile des Bildes über mehrere Spalten des Bildes bestimmt wird. Anhand der vertikalen Komponente wird also eine erste Tiefenkomponente bestimmt. Die erste Tiefenkomponente ist senkrecht zu der Bildebene ausgerichtet und ragt beispielsweise in das Bild hinein. Durch die erste Tiefenkomponente kann also bestimmt werden, wie weit der jeweilige charakteristische Bildpunkt von der Kamera und/oder dem Kraftfahrzeug entfernt ist. Analog gilt dies natürlich ebenfalls für die zweite Tiefenkomponente, welche anhand der horizontalen Komponente bestimmt wird. Schließlich liegen also zwei Tiefenkomponenten beziehungsweise zwei Tiefenwerte vor, nämlich die erste Tiefenkomponente und die zweite Tiefenkomponente, welche unabhängig voneinander die Tiefe beziehungsweise die Entfernung des charakteristischen Bildpunktes zu der Kamera und/oder dem Kraftfahrzeug beschreiben. Nachdem der jeweilige charakteristische Bildpunkt nur in einer Entfernung angeordnet sein kann beziehungsweise mit einem Tiefenwert versehen sein kann, wird davon ausgegangen, dass die validierte Endtiefenkomponente beziehungsweise der validierte Endtiefenwert beziehungsweise der richtige Tiefenwert ausschließlich dann vorliegt, falls die erste Tiefenkomponente innerhalb eines Toleranzbereichs der zweiten Tiefenkomponente entspricht. Der Toleranzbereich kann vorzugsweise kleiner oder gleich 25 Prozent oder insbesondere kleiner oder gleich 20 Prozent oder insbesondere kleiner oder gleich 10 Prozent oder insbesondere kleiner oder gleich 5 Prozent oder insbesondere kleiner oder gleich 1 Prozent betragen. Somit kann eine besonders zuverlässige Endtiefenkomponente beziehungsweise ein besonders zuverlässiger Tiefenwert des jeweiligen charakteristischen Bildpunktes bereitgestellt werden.
Insbesondere ist vorgesehen, dass die vertikale Komponente und/oder die horizontale Komponente abhängig von zumindest einem von einer kraftfahrzeugseitigen Einheit bestimmten aktuellen Bewegungsvektor des Kraftfahrzeugs, insbesondere einer Geschwindigkeit und/oder einer Gierwinkelgeschwindigkeit und/oder einer Nickwinkelgeschwindigkeit und/oder einer Rollwinkelgeschwindigkeit, bestimmt wird. Somit kann mit dem aktuellen Bewegungsvektor eine Eigenbewegung des Kraftfahrzeugs aus jedem Bild der Sequenz von Bildern und somit auch aus den Flussvektoren herausgerechnet werden. Somit kann beispielsweise auch zwischen bewegten und statischen Objekten unterschieden werden. Der Bewegungsvektor kann anhand der Geschwindigkeit und/oder der Gierwinkelgeschwindigkeit und/oder des Nickwinkelgeschwindigkeit und/oder des Rollwinkelgeschwindigkeit bestimmt werden. Die Geschwindigkeit und/oder die Gierwinkelgeschwindigkeit und/oder die Nickwinkelgeschwindigkeit und/oder die Rollwinkelgeschwindigkeit können von der kraftfahrzeugseitigen Einheit beziehungsweise einem CAN-Bus des Kraftfahrzeugs abgegriffen werden.
Vorzugsweise ist vorgesehen, dass beim Bestimmen der vertikalen Komponente und/oder der horizontalen Komponente ein Kalibrierungszustand der Kamera, insbesondere eine innere Orientierung und/oder eine äußere Orientierung, berücksichtigt werden. Eine Lage eines Projektionszentrums der Kamera relativ zur Bildebene des Bildes wird mit der inneren Orientierung beschrieben, während die Lage des Projektionszentrums und einer Aufnahmerichtung der Kamera relativ zu dem Objekt mit der äußeren Orientierung beschrieben wird. So kann beispielsweise mit dem Kalibrierungszustand eine Verzeichnung des Bildes, welche beispielsweise aufgrund eines Objektivs der Kamera entstanden ist, korrigiert werden. Weiterhin kann mit dem Kalibrierungszustand ein Zusammenhang zwischen einer Position des Objektes im Bild und einer Position des Objektes in der realen Welt hergestellt werden. Es kann also auch eine Transformation der Koordinaten des Objektes von einem Weltkoordinatensystem beziehungsweise einem erdfesten Koordinatensystem oder einem Kraftfahrzeugkoordinatensystem in ein Kamerakoordinatensystem ein erfolgen.
Insbesondere wird abhängig von der validierten Endtiefenkomponente eine 3D-Position des Objekts bestimmt. Die 3D-Position des Objekts kann abhängig von der vertikalen Komponente, der horizontalen Komponente und der validierten Endtiefenkomponente bereitgestellt werden. Die 3D-Position kann genutzt werden, um eine Draufsicht beziehungsweise eine Ansicht in Vogelperspektive des Umgebungsbereichs bereitzustellen. Ergänzend oder alternativ können anhand der 3D-Position des Objekts eine Seitenansicht und/oder eine Rückansicht des Objektes erfolgen, wodurch ein mögliches Hindernis für das Kraftfahrzeug erkannt werden kann. Weiterhin kann ein Fahrer des Kraftfahrzeugs anhand der vogelperspektivischen Darstellung besonders schnell und einfach erkennen, wo sich ein mögliches Hindernis für das Kraftfahrzeug befindet.
Weiterhin ist vorgesehen, dass bei der Bestimmung der charakteristischen Bildpunkte ein Gitter mit mehreren Zellen berücksichtigt wird, durch welches das erste Bild unterteilt wird. Ein Vorteil des Gitters ist, dass die charakteristischen Bildpunkte so bestimmt werden können, dass deren Verteilung in dem ersten Bild homogen beziehungsweise gleichmäßig ist. So kann beispielsweise eine gewünschte Anzahl von charakteristischen Bildpunkten pro Gitter festgelegt werden. Weiterhin bietet das Gitter den Vorteil, dass jede Zelle des Gitters einzeln verarbeitet werden kann und somit eine Grundlage für eine Parallelisierung beziehungsweise eine parallele Verarbeitung der Zellen geschaffen wird.
Weiterhin können die charakteristischen Bildpunkte abhängig von einem Mindestwert, welcher eine Mindestanzahl von charakteristischen Bildpunkten pro Zelle angibt, und/oder einem Maximalwert, welcher eine Höchstanzahl von charakteristischen Bildpunkten pro Zelle angibt, bestimmt werden. Durch den Mindestwert und/oder den Maximalwert kann also bestimmt werden, welche Anzahl von charakteristischen Bildpunkten in der jeweiligen Zelle erwünscht ist. Vorteilhaft daran ist, dass eine homogene Verteilung der Bildpunkte über das gesamte Bild erzeugt werden kann. Weiterhin kann verhindert werden, dass unnötig Rechenaufwand zum Bestimmen der charakteristischen Bildpunkte aufgebracht wird. So kann dies der Fall sein in Zellen mit vielen Ecken und kleinen kontrastreichen Strukturen. Andererseits kann aber auch sichergestellt werden, dass in den jeweiligen Zellen, welche einen niedrigen Kontrast und wenige Ecken aufweisen, zu wenig charakteristische Bildpunkte bestimmt werden.
Vorzugsweise ist vorgesehen, dass eine Richtung von jeweils einem der Flussvektoren mit den verbleibenden Flussvektoren verglichen wird und aus dem Vergleich ein Richtungszuverlässigkeitswert bestimmt wird. Es kann also anhand des Richtungszuverlässigkeitswerts beziehungsweise eines Konsistenzwerts bestimmt werden, wie zuverlässig ein jeweiliger Flussvektor ist. Dies kann anhand eines Vergleichs mit den übrigen Flussvektoren erfolgen. Üblicherweise erstrecken sich die Flussvektoren in die gleiche Richtung. Falls nun einer der Flussvektoren in eine andere Richtung verläuft, so ist davon auszugehen, dass es sich hierbei um einen Ausreißer handelt. Der Ausreißer kann beispielsweise durch ein bewegtes Objekt hervorgerufen oder durch einen Fehler bei dem Verfolgen des charakteristischen Punktes mit beispielsweise einem Verfahren nach dem optischen Fluss. Zum Bestimmen des Richtungszuverlässigkeitswerts kann auch eine 3D-Position des charakteristischen Bildpunktes über einen zeitlichen Verlauf genutzt werden.
In einer weiteren Ausgestaltung ist vorgesehen, dass anhand des Richtungszuverlässigkeitswerts zwischen statischen Objekten und bewegten Objekten unterschieden wird. So ist der Richtungszuverlässigkeitswert für die bewegten Objekte geringer als der Richtungszuverlässigkeitswert für statische Objekte, weil davon auszugehen ist, dass die bewegten Objekte sich nicht in die Richtung der Mehrheit der charakteristischen Bildpunkte bewegen. Falls diese sich doch in die Richtung der charakteristischen Bildpunkte von statischen Objekten bewegen, so kann davon ausgegangen werden, dass dies zeitlich beschränkt ist und anschließend eine Richtungsänderung stattfindet. Somit können also beispielsweise ausschließlich charakteristische Bildpunkte beziehungsweise Flussvektoren von statischen Objekten genutzt werden, um die Endtiefenkomponente zu bestimmen.
Weiterhin ist vorgesehen, dass abhängig von den Flussvektoren ein Bewegungsvektor des Kraftfahrzeugs, insbesondere eine Geschwindigkeit und/oder eine Gierwinkelgeschwindigkeit und/oder eine Nickwinkelgeschwindigkeit und/oder eine Rollwinkelgeschwindigkeit, bestimmt wird, welcher mit einem von einer kraftfahrzeugseitigen Einheit bestimmten Bewegungsvektor verglichen wird. Es kann also vorgesehen sein, dass die Flussvektoren zur Bestimmung eines Bewegungsvektors des Kraftfahrzeugs genutzt werden, welcher dann mit einem Bewegungsvektor des Kraftfahrzeugs, welcher anhand von einer anderen Quelle, nämlich beispielsweise der kraftfahrzeugseitigen Einheit, bereitgestellt wurde verglichen werden kann. So kann beispielsweise überprüft werden, ob die Flussvektoren richtig bestimmt worden sind oder, falls den Flussvektoren mehr Vertrauen geschenkt wird, ob der Bewegungsvektor der kraftfahrzeugseitigen Einheit zuverlässig bereitgestellt worden ist.
Weiterhin ist vorgesehen, dass die Flussvektoren mit einem RANSAC-Verfahren ausgewählt werden. RANSAC (Random Sample Consensus) ist ein Algorithmus zur Schätzung eines Modells innerhalb einer Reihe von Messwerten mit Ausreißern und groben Fehlern. Hierbei wird überprüft, inwieweit ein zufällig ausgewählter Flussvektor von den anderen Flussvektoren abweicht und, falls die Abweichung zu groß ist, kann dieser Flussvektor als Ausreißer von dem weiteren Vorgehen ausgeschlossen werden. Das RANSAC-Verfahren kann ergänzend oder alternativ auf die jeweiligen charakteristischen Bildpunkte der jeweiligen Flussvektoren angewandt werden. Somit können die Flussvektoren ebenfalls von Fehlern oder Ausreißern bereinigt ausgewählt werden.
Insbesondere ist vorgesehen, dass zur Bestimmung der validierten Endtiefenkomponente eine vorbestimmte Wegstrecke mit dem Kraftfahrzeug zurückgelegt werden muss und eine darauffolgende validierte Endtiefenkomponente erst nach einem weiteren Zurücklegen der vorbestimmten Wegstrecke bestimmt wird. So kann es beispielsweise sein, dass die Veränderung in der Szene, welche von der zeitlichen Sequenz der Bilder aufgenommen wird, zu gering ist, um den Aufwand der Berechnung beziehungsweise der Bestimmung der validierten Endtiefenkomponente zu rechtfertigen. Bewegt sich das Kraftfahrzeug beispielsweise nur sehr langsam oder gar nicht vorwärts, so ändert sich die Szene kaum, und somit verändert sich die Endtiefenkomponente beziehungsweise der Abstand von dem Kraftfahrzeug zu dem Objekt ebenfalls kaum. Es kann also vorgesehen sein, dass die validierte Endtiefenkomponente ausschließlich nach dem Zurücklegen der vorbestimmten Wegstrecke bestimmt wird. Die vorbestimmte Wegstrecke kann beispielsweise 10 Zentimeter oder 15 Zentimeter oder 20 Zentimeter oder 30 Zentimeter oder 40 Zentimeter betragen. So wird dann beispielsweise nach jeweils 20 Zentimeter zurückgelegter Wegstrecke einmal die validierte Tiefenkomponente bestimmt. Anders ausgedrückt kann somit beispielsweise alle 20 Zentimeter die validierte Endtiefenkomponente bereitgestellt werden und somit unnötiger Rechenaufwand vermieden werden. Somit kann eine neue 3D-Position des jeweiligen charakteristischen Bildpunktes beziehungsweise des Objektes ebenfalls erst jeweils nach dem Zurücklegen der vorbestimmten Wegstrecke erfolgen.
In einer weiteren Ausgestaltung ist vorgesehen, dass die charakteristischen Bildpunkte anhand der vertikalen Komponente und/oder der horizontalen Komponente und/oder der validierten Endtiefenkomponente zu zumindest einem Bündel (Cluster) zusammengefasst werden. So können beispielsweise die charakteristischen Bildpunkte zusammengefasst werden, welche einen vorbestimmten Abstand zueinander aufweisen. Der vorbestimmte Abstand lässt sich beispielsweise anhand der vertikalen Komponente und/oder der horizontalen Komponente und/oder der validierten Endtiefenkomponente bestimmen. Das Cluster bietet den Vorteil, weil damit den charakteristischen Bildpunkten in dem Cluster eine gemeinsame Bedeutung zugewiesen werden kann. Durch die gemeinsame Bedeutung können die charakteristischen Bildpunkte besser weiterverarbeitet werden, wie dies beispielsweise bei einem Hinderniswarnsystem des Kraftfahrzeugs erfolgen könnte.
Vorzugsweise ist vorgesehen, dass mit einem des zumindest einen Clusters das jeweilige Objekt beschrieben wird. So kann es also sein, dass jeweils eines der Cluster für eines der Objekte steht. Es kann also dann beispielsweise ein mögliches Hindernis für das Kraftfahrzeug als ein Cluster beschrieben werden und nicht als ein einzelner charakteristischer Bildpunkt. Weiterhin kann das mögliche Hindernis aufgrund des Clusters zuverlässiger bestimmt werden, weil sich an dem Cluster mehrere der charakteristischen Bildpunkte beteiligt haben können. Falls also einer der charakteristischen Bildpunkte in dem Cluster fehlerhaft ist, so kann davon ausgegangen werden, dass die übrigen charakteristischen Bildpunkte von diesem Fehler beziehungsweise Ausreißer nicht betroffen sind.
Ein erfindungsgemäßes Fahrerassistenzsystem für ein Kraftfahrzeug umfasst eine Kamera und eine elektronische Auswerteeinheit, welches dazu ausgelegt ist, ein erfindungsgemäßes Verfahren durchzuführen.
Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein Personenkraftwagen, umfasst ein erfindungsgemäßes Fahrerassistenzsystem.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert.
Dabei zeigen:
1 in schematischer Draufsicht ein Ausführungsbeispiel eines erfindungsgemäßen Kraftfahrzeugs mit einem Ausführungsbeispiel eines erfindungsgemäßen Fahrerassistenzsystems zum Detektieren eines Objekts;
2 ein Kamerakoordinatensystem einer Kamera und ein Kraftfahrzeugkoordinatensystem des Kraftfahrzeugs;
3 das Kamerakoordinatensystem und das Kraftfahrzeugkoordinatensystem mit einer schematischen Darstellung des Kraftfahrzeugs;
4 eine Rollwinkelgeschwindigkeit des Kraftfahrzeugs mit einer schematischen Darstellung des Kraftfahrzeugs;
5 eine Gierwinkelgeschwindigkeit des Kraftfahrzeugs und eine Geschwindigkeit des Kraftfahrzeugs mit einer schematischen Darstellung des Kraftfahrzeugs;
6 eine Nickwinkelgeschwindigkeit des Kraftfahrzeugs und die Geschwindigkeit mit einer schematischen Darstellung des Kraftfahrzeugs;
7 eine schematische Darstellung eines Bildes einer zeitlichen Sequenz von Bildern eines Umgebungsbereichs des Kraftfahrzeugs mit einer Vielzahl von Flussvektoren;
8 eine schematische Darstellung einer Bildebene des Bildes mit Tiefenkomponenten in dem Kamerakoordinatensystem;
9 ein Ablaufdiagramm des erfindungsgemäßen Verfahrens;
10 eine schematische Darstellung des Bildes mit einer 3D-Position von charakteristischen Bildpunkten;
11 eine schematische Darstellung einer Draufsicht der 3D-Position der charakteristischen Bildpunkte;
12 eine schematische Darstellung einer Seitenansicht der 3D-Position der charakteristischen Bildpunkte;
13 eine schematische Darstellung einer Rückansicht der 3D-Position der charakteristischen Bildpunkte;
14 eine schematische Darstellung des Bildes, in welchem detektierte Objekte markiert sind;
15 eine weitere schematische Darstellung des Bildes, in welchem die detektierten Objekte markiert sind; und
16 ein weiteres Ablaufdiagramm des erfindungsgemäßen Verfahrens.
In 1 ist schematisch eine Draufsicht auf ein Kraftfahrzeug 1 mit einem Fahrerassistenzsystem 2 gemäß einer Ausführungsform der Erfindung dargestellt. Das Fahrerassistenzsystem 2 umfasst im Ausführungsbeispiel eine erste Kamera 3a, eine zweite Kamera 3b und eine elektronische Auswerteeinrichtung 4. Gemäß dem Ausführungsbeispiel in 1 ist die Kamera 3a an einer Windschutzscheibe 5 des Kraftfahrzeugs 1 angeordnet. Die Kamera 3a ist also gemäß dem Ausführungsbeispiel so ausgerichtet, dass ein Umgebungsbereich 6 des Kraftfahrzeugs 1 vor dem Kraftfahrzeug erfasst werden kann. Die Kamera 3b ist gemäß dem Ausführungsbeispiel an einem Heck 7 des Kraftfahrzeugs 1 angeordnet. Die Anordnung der Kamera 3a und/oder der Kamera 3b ist jedoch vielfältig möglich, vorzugsweise allerdings so, dass der Umgebungsbereich 6 des Kraftfahrzeugs 1 erfasst werden kann.
Ergänzend oder alternativ sind weitere Kameras zusätzlich zu der Kamera 3a und/oder der Kamera 3b vorgesehen. Das erfindungsgemäße Verfahren kann aber ebenfalls mit nur einer Kamera, beispielsweise der Kamera 3a oder der Kamera 3b, durchgeführt werden.
Die Kamera 3a und/oder die Kamera 3b kann eine CMOS-Kamera oder aber eine CCD-Kamera oder eine beliebige Bilderfassungseinrichtung sein, welche ein Bild 8 – wie in 7 dargestellt – einer zeitlichen Sequenz 9 von Bildern zur Verfügung stellt.
Die Kamera 3a und/oder die Kamera 3b ist eine Videokamera, welche kontinuierlich die zeitliche Sequenz 9 von Bildern beziehungsweise eine Bildsequenz von Bildern bereitstellt. Das Bild 8 ist ein Einzelbild (Frame). Die elektronische Auswerteeinrichtung 4 verarbeitet dann die Sequenz 9 von Bildern vorzugsweise in Echtzeit.
2 zeigt ein Kamerakoordinatensystem 10 der Kamera 3a, 3b und ein Kraftfahrzeugkoordinatensystem 11 des Kraftfahrzeugs 1. Das Kamerakoordinatensystem 10 umfasst eine x‘-Achse, eine y‘-Achse und eine z‘-Achse. Das Kraftfahrzeugkoordinatensystem 11 umfasst eine z-Achse, eine y-Achse und eine x-Achse. Die Transformation von dem Kamerakoordinatensystem 10 zu dem Kraftfahrzeugkoordinatensystem 11 und umgekehrt kann anhand eines Kalibrierungszustandes der Kamera 3a, 3b durchgeführt werden. Der Kalibrierungszustand umfasst eine innere Orientierung und/oder eine äußere Orientierung. Mit Hilfe des Kamerakoordinatensystems 10 und des Kraftfahrzeugkoordinatensystems 11 kann beispielsweise eine Bewegung, welche in dem Kraftfahrzeugkoordinatensystem 11 bekannt ist, in das Kamerakoordinatensystem 10 transformiert werden.
3 zeigt, wie das Kamerakoordinatensystem 10 und das Kraftfahrzeugkoordinatensystem 11 an dem Heck 7 des Kraftfahrzeugs 1 angeordnet beziehungsweise ausgerichtet sein können. Gemäß dem Ausführungsbeispiel zeigt die x-Achse also in Rückwärtsfahrtrichtung des Kraftfahrzeugs 1, während die y-Achse in eine seitliche Richtung des Kraftfahrzeugs 1 zeigt – vorliegend die rechte Seite des Kraftfahrzeugs 1 – und die z-Achse in eine Hochrichtung des Kraftfahrzeugs 1 zeigt. Die z‘-Achse zeigt im Wesentlichen in Richtung der Haupterfassungsrichtung der Kamera 3a, 3b.
4 zeigt eine schematische Darstellung des Kraftfahrzeugs 1 und eine Rollwinkelgeschwindigkeit ω_x des Kraftfahrzeugs 1. Die Rollwinkelgeschwindigkeit ω_x ist also eine Winkelgeschwindigkeit mit der Rotationsachse der x-Achse von dem Kraftfahrzeugkoordinatensystem 11.
5 zeigt eine Gierwinkelgeschwindigkeit ω_z des Kraftfahrzeugs 1, wobei die Gierwinkelgeschwindigkeit ω_z die z-Achse des Kraftfahrzeugkoordinatensystems 11 als Rotationsachse besitzt. Weiterhin ist ein Bewegungsvektor V_CAN des Kraftfahrzeugs 1 beschrieben, welcher sich aus einer Komponente längs zur Fahrtrichtung V_x und einer Komponente quer zur Fahrtrichtung V_y zusammensetzt. Der Bewegungsvektor V_CAN kann beispielsweise anhand einer Geschwindigkeit des Kraftfahrzeugs 1 ermittelt werden. Der Lenkwinkel kann beispielsweise dazu dienen die Gierwinkelgeschwindigkeit ω_z zu bestimmen. Der Bewegungsvektor V_CAN liegt gemäß 5 in der xy-Ebene des Kraftfahrzeugkoordinatensystems 11.
6 beschreibt eine Nickwinkelgeschwindigkeit ω_y des Kraftfahrzeugs 1, welcher als Rotationsachse die y-Achse des Kraftfahrzeugkoordinatensystems 11 besitzt. Der Bewegungsvektor V_CAN ist gemäß 6 in eine Hochachsenkomponente V_z in Richtung der Fahrzeughochachse beziehungsweise in Richtung der z-Achse des Kraftfahrzeugkoordinatensystems 11 und die Längskomponente V_x aufgeteilt. Die Daten, welche zur Bestimmung des Bewegungsvektors V_CAN und/oder zur Bestimmung der Rollwinkelgeschwindigkeit ω_x und/oder der Gierwinkelgeschwindigkeit ω_z und/oder der Nickwinkelgeschwindigkeit ω_y beitragen, können beispielsweise von einem CAN-Bus des Kraftfahrzeugs 1 abgegriffen werden oder jeweils von einer kraftfahrzeugseitigen Einheit, also beispielsweise einem Sensor, bereitgestellt werden.
7 zeigt das Bild 8 der Sequenz 9 von Bildern. In dem Bild 8 ist eine Vielzahl von Flussvektoren δ dargestellt. Die Flussvektoren δ werden von charakteristischen Bildpunkten p aus über diese Sequenz 9 von Bildern erzeugt. Die charakteristischen Bildpunkte p werden also zumindest in einem ersten Bild der Sequenz 9 von Bildern bestimmt. Die charakteristischen Bildpunkte p können beispielsweise einem Objekt 12 oder einem Teil des Objektes 12 in der realen Welt zugeordnet werden. Das Bestimmen der charakteristischen Bildpunkte p kann beispielsweise mit einem Interestpunktoperator erfolgen. Als der Interestpunktoperator können beispielsweise ein Harris-Operator und/oder ein FAST-Operator und/oder ein SIFT-Operator und/oder ein SURF-Operator und/oder ein OERB-Operator und/oder ein beliebig anderer Eckendetektor, welcher markante Bildpunkte bestimmt, benutzt werden. Die charakteristischen Bildpunkte p können von Zeit zu Zeit auch in einem weiteren Bild der Bildsequenz 9 bestimmt werden, um eine Initialisierung für einen neuen Flussvektor δ zu liefern. Ausgehend von den charakteristischen Bildpunkten p werden nun die Flussvektoren δ bestimmt, wobei dies mittels eines Verfolgungsverfahrens erfolgt. Als das Verfolgungsverfahren kann beispielsweise ein Lucas-Kanade-Verfahren oder ein anderes Verfahren wie das Block Matching Verfahren angewandt werden. Das Ziel ist es, ausgehend von den charakteristischen Bildpunkten p einen sogenannten spärlichen optischen Fluss („Sparse Optical Flow“) zu erzeugen und anhand des spärlichen optischen Flusses die Flussvektoren δ zu erlangen. Der charakteristische Bildpunkt p, welcher verfolgt wurde und den zugehörigen Flussvektoren δ mit sich bringt wird als verfolgter charakteristischer Bildpunkt 13 bezeichnet.
Die Flussvektoren δ weisen jeweils eine vertikale Komponente δ_v sowie eine dazu orthogonale horizontale Komponente δ_u auf.
mit Brennweite f der Kamera 3a, 3b und horizontaler Bildkoordinate u des Bildes 8 und vertikaler Bildkoordinate v des Bildes 8. 8 zeigt also nun das Bild 8 mit der horizontalen Bildachse u und der vertikalen Bildachse v. Das Bild 8 ist in dem Kamerakoordinatensystem 10 angeordnet, sodass die z‘-Achse im Wesentlichen senkrecht durch den Ursprung des Bildkoordinatensystems verläuft. Der Flussvektor δ erstreckt sich beispielsweise ausgehend von dem charakteristischen Bildpunkt p. Der charakteristische Bildpunkt p kann einem Punkt P von dem Objekt 12 in der realen Welt zugeordnet werden. Falls der Punkt P in dem Kamerakoordinatensystem 10 dargestellt ist, so wird der Punkt P als ein Punkt P‘ bezeichnet. Weiterhin sind in 8 die Drehwinkel des Kamerakoordinatensystems 10 dargestellt, wobei ω’_y eine Drehung um die y‘-Achse beschreibt und ω’_x eine Drehung um die x‘-Achse beschreibt und ω’_z eine Drehung um die z‘-Achse beschreibt. Markiert in 8 sind ebenfalls die transformierten Komponenten des Bewegungsvektors V_CAN, welche im Kamerakoordinatensystem 10 mit V’_x, V’_y und V’_z bezeichnet werden.
Jeder der Flussvektoren δ weist also nun die vertikale Komponente δ_v und die horizontale Komponente δ_u auf. Es lässt sich nun anhand der vertikalen Komponente δ_v eine erste Tiefenkomponente z‘₁ bestimmen und anhand der horizontalen Komponente δ_u eine zweite Tiefenkomponente z‘₂. Dies kann wie folgt mathematisch dargestellt werden:
Um nun eine validierte Endtiefenkomponente z‘ zu erhalten, wird überprüft, ob die erste Tiefenkomponente z‘₁ innerhalb eines Toleranzbereichs der zweiten Tiefenkomponente z‘₂ entspricht. Idealerweise sollte die erste Tiefenkomponente z‘₁ der zweiten Tiefenkomponente z‘₂ entsprechen. Jedoch wird aufgrund von möglichen Abweichungen, beispielsweise Messfehlern und/oder Rechenfehlern, davon ausgegangen, dass in der Realität der Toleranzbereich genutzt wird, um eine Übereinstimmung von der ersten Tiefenkomponente z‘₁ und der zweiten Tiefenkomponente z‘₂ zu ermitteln. Der Toleranzbereich kann beispielsweise 25 Prozent oder 20 Prozent oder 10 Prozent oder 5 Prozent oder 1 Prozent oder 0,5 Prozent oder 0 Prozent des Wertes der ersten Tiefenkomponente z‘₁ oder der zweiten Tiefenkomponente z‘₂ betragen.
Der Toleranzbereich, welcher festlegt, ob die erste Tiefenkomponente z‘₁ und die zweite Tiefenkomponente z‘₂ einander entsprechen und somit die validierte Endtiefenkomponente z‘ bereitgestellt wird, kann beispielsweise wie folgt beschrieben werden. |z′(δ_u) – z′(δ_v)| ≤ Z′_th·[z′(δ_u) + z′(δ_v)]/2 (3)
Der Toleranzbereich wird also abhängig von einem Toleranzparameter z’_th definiert, wobei z’_th beispielsweise einem Wert von 0,1 oder 0,15 oder 0,2 oder 0,25 oder 0,3 entsprechen kann. Falls ein verfolgter charakteristischer Bildpunkt p mit der zugehörigen ersten Tiefenkomponente z’₁ und der zweiten Tiefenkomponente z’_2‘ nicht in dem Toleranzbereich liegt und diese somit einander nicht entsprechen, so wird deren Endtiefenwert beziehungsweise deren Endtiefenkomponente als unendlich weit entfernt angenommen und somit auf einen sehr großen Wert wie beispielsweise 1.000 Meter gesetzt.
9 zeigt ein Ablaufdiagramm zum Detektieren des Objektes 12 in dem Umgebungsbereich 6. Hierzu wird in einem Schritt S1 die Sequenz 9 von Bildern bereitgestellt. In einem Schritt S2 wird in der Sequenz 9 von Bildern ein spärlicher optischer Fluss ermittelt und somit die Flussvektoren δ bereitgestellt. In einem Schritt S3 wird eine Bewegungsschätzung der Kamera 3a, 3b anhand des Bewegungsvektors V_CAN durchgeführt. Hierzu werden in einem Schritt S4 Daten für den Bewegungsvektor V_CAN von einer kraftfahrzeugseitigen Einheit und/oder dem CAN-Bus des Kraftfahrzeugs 1 abgegriffen beziehungsweise ausgelesen. In einem Schritt S5 wird eine 3D-Position von einem verfolgten charakteristischen Bildpunkt 13 abhängig von der vertikalen Komponente δ_v und der horizontalen Komponente δ_u und der validierten Endtiefenkomponente z‘ bereitgestellt. Die verfolgten charakteristischen Bildpunkte 13 werden mit der zugehörigen 3D-Position zu Clustern 14 zusammengefasst in einem Schritt S6. Das Zusammenfassen zu den Clustern 14 kann beispielsweise derart erfolgen, dass der verfolgte charakteristischen Bildpunkte 13 des Objektes 12 mit ihrer x-Koordinate in einem Bereich von 0 bis 5 Metern liegen sollen und mit ihrer y-Koordinate in einem Bereich von –3 Metern bis 3 Metern liegen sollen und mit ihrer z-Koordinate in einem Bereich von 0,3 Metern bis 1,8 Metern liegen sollen. Die 3D-Position sowie die x-Koordinate, die y-Koordinate und die z-Koordinate werden in diesem Fall in dem Kraftfahrzeugkoordinatensystem 11 beschrieben. In einem Schritt S7 wird dem Cluster 14 nun die Bedeutung des Objektes 12 zugewiesen.
10 zeigt das Bild 8 mit den verfolgten charakteristischen Bildpunkten 13, welche aufgrund der validierten Endtiefenkomponente z‘ und einer x‘-Koordinate und y‘-Koordinate, welche alle drei zusammen orthogonal sind und das Kamerakoordinatensystem 10 ausspannen. Die mathematische Beschreibung der drei Parameter z‘, x‘, y‘ ist wie folgt: z′ = [z₂′(δ_u) + z₁′(δ_v)]/2 (4a) x′ = z′·u / f (4b) y′ = z′·v / f (4c)
Die 3D-Koordinaten z‘, x‘, y‘ des verfolgten charakteristischen Bildpunktes 13 kann mit folgender Formel in das Kraftfahrzeugkoordinatensystem 11 transformiert werden:
Hierbei ist R eine Rotationsmatrix und T eine Translationsvorschrift, welche beiden anhand des Kalibrierungszustands bereitgestellt werden können. x, y, z sind also die 3D-Koordinaten des verfolgten charakteristischen Bildpunktes 13 in dem Kraftfahrzeugkoordinatensystem 11. Anhand der verfolgten charakteristischen Bildpunkte 13 mit ihrer 3D-Koordinate kann also auf die Höhe von dem Objekt 12, zu welchem der jeweilige verfolgte charakteristische Bildpunkt 13 zugehörig ist, geschlossen werden. Es können somit also Hindernisse für das Kraftfahrzeug 1 anhand der verfolgten charakteristischen Bildpunkte 13 erkannt werden.
11 zeigt, wie die verfolgten charakteristischen Bildpunkte 13 aufgrund ihrer 3D-Koordinate beziehungsweise 3D-Position im Raum von anderen Positionen betrachtet werden können. So zeigt 11 die verfolgten charakteristischen Bildpunkte 13 in einer Vogelperspektive beziehungsweise einer Draufsicht.
12 zeigt die verfolgten charakteristischen Bildpunkte 13 in einer Seitenansicht, während 13 die verfolgten charakteristischen Bildpunkte 13 in einer Rückansicht zeigt.
Die verfolgten charakteristischen Bildpunkte 13 in den 11 bis 13 können beispielsweise auf einer Anzeigeeinrichtung beziehungsweise einem Display des Kraftfahrzeugs 1 angezeigt werden. Der Fahrer des Kraftfahrzeugs 1 erhält also die Möglichkeit, die Objekte 12 anhand der verfolgten charakteristischen Bildpunkte 13 aus verschiedenen Perspektiven zu betrachten.
In den 10 bis 13 sind die verfolgten charakteristischen Bildpunkte 13 jeweils zu Clustern 14 zusammengefasst. Vorzugsweise beschreibt eines der Cluster 14 jeweils eines der Objekte 12.
14 zeigt das Bild 8, in welchem nur noch die Objekte 12 markiert sind, welche anhand der Cluster 14 bestimmt wurden, und nicht mehr die verfolgten charakteristischen Bildpunkte 13. Die Darstellung von 14 kann ebenfalls auf der Anzeigeeinrichtung des Kraftfahrzeugs 1 dargestellt werden, um einem Fahrer des Kraftfahrzeugs 1 die Objekte 12, welche ein Hindernis darstellen, anzuzeigen beziehungsweise diesen davor zu warnen. Eine Warnung kann akustisch und/oder visuell und/oder haptisch erfolgen. Ergänzend oder alternativ kann das Hindernis beim semi-autonomen oder autonomen fahren des Kraftfahrzeuges 1 berücksichtigt werden.
Ebenso zeigt 15, welche der Objekte 12 dem Fahrer des Kraftfahrzeugs 1 angezeigt werden können. Zusätzlich ist in dem Bild 8 von 15 eine farbliche Entfernungslegende 15 eingefügt beziehungsweise überlagert, welche einen Farbverlauf darstellt, der mit einer Entfernung des jeweiligen Objekts 12 korrespondiert. So können in dem Bild 8 beispielsweise Objekte 12, welche sich nahe an dem Kraftfahrzeug 1 befinden, also mit einer kurzen Entfernung zu dem Kraftfahrzeug 1, in rot dargestellt werden, während die Objekte 12, welche sich weiter von dem Kraftfahrzeug 1 entfernt befinden, beispielsweise in grün dargestellt werden können. Die Objekte 12, welche eine Entfernung zwischen dem roten Objekt und dem grünen Objekt aufweisen, können beispielsweise gelb markiert sein.
16 zeigt ein weiteres Ablaufdiagramm. Hier werden die Bilder der Sequenz 9 von Bildern in einem Schritt S8 eingelesen. In einem Schritt S9 werden zumindest in einem ersten Bild der Sequenz 9 von Bildern die charakteristischen Bildpunkte p bestimmt. Die bestimmten charakteristischen Bildpunkte p werden in einem weiteren Schritt S10 in einem Speicher der elektronischen Auswerteeinrichtung 4 abgespeichert. In einem Schritt S11 werden die abgespeicherten charakteristischen Bildpunkte p in den weiteren Bildern 8 der Sequenz 9 von Bildern aus dem Schritt S8 verfolgt. Das Verfolgen kann, wie bereits erwähnt, mit einer Methode des optischen Flusses, beispielsweise einem Lucas-Kanade-Verfahren, erfolgen. In einem weiteren Schritt S12 wird überprüft, ob eine vorbestimmte Wegstrecke mit dem Kraftfahrzeug zurückgelegt wurde, sodass ein darauffolgender Schritt S13 erst dann durchgeführt wird, wenn die vorbestimmte Wegstrecke zurückgelegt worden ist. Die vorbestimmte Wegstrecke kann beispielsweise 10 Zentimeter oder 20 Zentimeter oder 30 Zentimeter oder 40 Zentimeter betragen. In einem Schritt S14 werden der Bewegungsvektor V_CAN des Kraftfahrzeugs 1 und/oder die Nickwinkelgeschwindigkeit ω_y und/oder die Gierwinkelgeschwindigkeit ω_z und/oder die Geschwindigkeit des Kraftfahrzeugs 1 bereitgestellt. In dem Schritt S13 wird abhängig von den Daten aus dem Schritt 14 und den Flussvektoren δ aus dem Schritt S12 in Verbindung mit dem Schritt S13 die erste Tiefenkomponente z‘₁ und die zweite Tiefenkomponente z‘₂ bestimmt. In einem darauffolgenden Schritt S15 wird überprüft, ob die erste Tiefenkomponente z‘₁ und die zweite Tiefenkomponente z‘₂ einander innerhalb eines Toleranzbereichs entsprechen. Als Ergebnis von dem Schritt S15 werden, falls die erste Tiefenkomponente z‘₁ und die zweite Tiefenkomponente z‘₂ einander entsprechen, die validierte Endtiefenkomponente z‘ bereitgestellt und diese in einem Schritt S16 als der verfolgte charakteristische Bildpunkt 13 mit der 3D-Position beziehungsweise den 3D-Koordinaten in einem weiteren Speicher der elektronischen Auswerteeinrichtung 4 abgespeichert. In einem darauffolgenden Schritt S17 werden die verfolgten charakteristischen Bildpunkte 13 in Form von den Clustern 14 zusammengefasst. Die zusammengefassten verfolgten charakteristischen Bildpunkte 13 können in der Zusammenschau von 10 bis 13 betrachtet werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2005/037619 A1 [0002]
US 8412448 B2 [0003]
US 8121348 B2 [0004]
DE 102012011121 A1 [0005]

Claims

Verfahren zum Detektieren von einem Objekt (12) in einem Umgebungsbereich (6) eines Kraftfahrzeugs (1) anhand einer zeitlichen Sequenz (9) von Bildern des Umgebungsbereichs (6), welche mittels einer Kamera (3a, 3b) des Kraftfahrzeugs (1) erfasst werden, wobei mittels einer elektronischen Auswerteeinrichtung (4) des Kraftfahrzeuges (1) in einem ersten Bild der Sequenz (9) von Bildern charakteristische Bildpunkte (p) von dem Objekt (12) bestimmt werden und in zumindest einem zweiten Bild (8) die bestimmten charakteristischen Bildpunkte (p) verfolgt werden und durch das Verfolgen eine Vielzahl von Flussvektoren (δ) mit jeweils einer vertikalen Komponente (δ_v) und einer horizontalen Komponente (δ_u) bereitgestellt wird, dadurch gekennzeichnet, dass anhand der vertikalen Komponente (δ_v) eine erste Tiefenkomponente (z‘₁), welche senkrecht zu der vertikalen Komponente (δ_v) und der horizontalen Komponente (δ_u) ist, bestimmt wird, und anhand der horizontalen Komponente (δ_u) eine zweite Tiefenkomponente (z‘₂), welche ebenfalls senkrecht zu der vertikalen Komponente (δ_v) und der horizontalen Komponente (δ_u) ist, bestimmt wird, und falls die erste Tiefenkomponente (z‘₁) innerhalb eines Toleranzbereichs der zweiten Tiefenkomponente (z‘₂) entspricht eine validierte Endtiefenkomponente (z‘) eines von einem der charakteristischen Bildpunkte (p) abhängigen verfolgten charakteristischen Bildpunktes (13) bereitgestellt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die vertikale Komponente (δ_v) und/oder die horizontale Komponente (δ_u) abhängig von zumindest einem von einer kraftfahrzeugseitigen Einheit bestimmten aktuellen Bewegungsvektor (V_CAN) des Kraftfahrzeuges (1), insbesondere einer Geschwindigkeit und/oder einer Gierwinkelgeschwindigkeit(ω_z) und/oder einer Nickwinkelgeschwindigkeit (ω_y) und/oder einer Rollwinkelgeschwindigkeit (ω_x), bestimmt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass beim Bestimmen der vertikalen Komponente (δ_v) und/oder der horizontalen Komponente ein Kalibrierungszustand der Kamera (3a, 3b), insbesondere eine innere Orientierung und/oder eine äußere Orientierung, berücksichtigt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass abhängig von der validierten Endtiefenkomponente (z‘) eine 3D-Position des Objekts (12) bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Bestimmung der charakteristischen Bildpunkte (p) ein Gitter mit mehreren Zellen berücksichtigt wird, durch welches das erste Bild unterteilt wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die charakteristischen Bildpunkte (p) abhängig von einem Mindestwert, welcher eine Mindestanzahl von charakteristischen Bildpunkten (p) pro Zelle angibt, und/oder einem Maximalwert, welcher eine Höchstanzahl von charakteristischen Bildpunkten (p) pro Zelle angibt, bestimmt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Richtung von jeweils einem der Flussvektoren (δ) mit den verbleibenden Flussvektoren (δ) verglichen wird, und aus dem Vergleich ein Richtungszuverlässigkeitswert bestimmt wird.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass anhand des Richtungszuverlässigkeitswerts zwischen statischen Objekten (12) und bewegten Objekten unterschieden wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass abhängig von dem Flussvektor (δ) ein Bewegungsvektor (V_CAN) des Kraftfahrzeugs (1), insbesondere eine Geschwindigkeit und/oder eine Gierwinkelgeschwindigkeit (ω_z) und/oder eine Nickwinkelgeschwindigkeit (ω_y) und/oder eine Rollwinkelgeschwindigkeit (ω_x), bestimmt wird, welcher mit einem von einer kraftfahrzeugseitigen Einheit bestimmten Bewegungsvektor (V_CAN) verglichen wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Flussvektoren (δ) mit einem RANSAC-Verfahren ausgewählt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Bestimmung der validierten Endtiefenkomponente (z‘) eine vorbestimmte Wegstrecke mit dem Kraftfahrzeug (1) zurückgelegt werden muss, und eine darauf folgende validierte Endtiefenkomponente (z‘) erst nach einem weiteren Zurücklegen der vorbestimmten Wegstrecke bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die verfolgten charakteristischen Bildpunkte (13) anhand der vertikalen Komponente (δ_v) und/oder der horizontalen Komponente (δ_u) und/oder der validierten Endtiefenkomponente (z‘) zu zumindest einem Cluster (14) zusammengefasst werden.
Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass mit einem des zumindest einen Clusters (14) das jeweilige Objekt (12) beschrieben wird.
Fahrerassistenzsystem (2) mit einer Kamera (3a, 3b) und einer elektronischen Auswerteeinheit (4), welches dazu ausgelegt ist ein Verfahren nach den vorhergehenden Ansprüchen durchzuführen.
Kraftfahrzeug (1) mit einem Fahrerassistenzsystem (2) nach Anspruch 14.