DE102017123228A1 - Verfahren zum Klassifizieren eines Objektpunkts als statisch oder dynamisch, Fahrerassistenzsystem und Kraftfahrzeug - Google Patents

Abstract

Die Erfindung betrifft ein Fahrerassistenzsystem (2), Kraftfahrzeug (1) und Verfahren zum Klassifizieren zumindest eines Objektpunkts (O) eines Objekts in einer Umgebung (6) eines Kraftfahrzeugs (1) als statisch oder dynamisch, wobei eine Bildsequenz aus Bildern mittels zumindest einer bildgebenden Sensoreinrichtung (3) des Kraftfahrzeugs (1) von zumindest einem Teil der Umgebung (6) des Kraftfahrzeugs (1) mit dem Objektpunkt (O) aufgenommen wird. Zudem wird, zumindest für den Fall, dass eine Eigenbewegung des Kraftfahrzeugs (6) in Bezug auf die Umgebung (6) zumindest ein vorbestimmtes Kriterium erfüllt, eine Epipolarebene (7) mit Bezug auf ein zu einem ersten Zeitpunkt aufgenommenes erstes Bild der Bildsequenz und ein zu einem zweiten Zeitpunkt aufgenommenes zweites Bild der Bildsequenz bestimmt, wobei ein von einer Position (8a) der Sensoreinrichtung (3) zum zweiten Zeitpunkt in Richtung des Objektpunkts (O) weisender erster Vektor $\left(\overrightarrow{v1}\right)$

auf Basis des zweiten Bilds bestimmt wird und der zumindest eine Objektpunkt (O) als statisch oder dynamisch in Abhängigkeit von einer relativen Lage des ersten Vektors $\left(\overrightarrow{v1}\right)$

in Bezug auf die Epipolarebene (7) klassifiziert wird.

Description

• Die Erfindung betrifft ein Verfahren zum Klassifizieren zumindest eines Objektpunkts eines Objekts in einer Umgebung eines Kraftfahrzeugs als statisch oder dynamisch, wobei eine Bildsequenz aus Bildern mittels zumindest einer bildgebenden Sensoreinrichtung des Kraftfahrzeugs von zumindest einem Teil der Umgebung des Kraftfahrzeugs mit dem Objektpunkt aufgenommen wird. Der Ausdruck „dynamisch“ soll in diesem Zusammenhang vorzugsweise als in Bewegung relativ zu einem vorbestimmten Koordinatensystem, wie einer Straße, verstanden werden. Die Erfindung betrifft außerdem ein Fahrerassistenzsystem für ein Kraftfahrzeug sowie auch ein Kraftfahrzeug mit einem Fahrerassistenzsystem.
• Aus dem Stand der Technik sind beispielsweise Verfahren zum Klassifizieren von Objekten oder Objektpunkten als statisch oder dynamisch bekannt, die hierzu den optischen Fluss beispielsweise Flussvektoren verwenden. Bewegt sich beispielsweise eine Kamera auf ein bestimmtes Ziel zu, so ändern statische Objekte ihre Position in den dabei sequenziell aufgenommenen Bildern. Diese Positionsänderung kann beispielsweise durch einen entsprechenden Flussvektor beschrieben werden. Sind in diesen sequenziell aufgenommenen Bildaufnahmen lediglich statische Objekte vorhanden, so schneiden sich die Bewegungskurven beispielsweise verlängerten Bewegungskurven in einem gemeinsamen Expansionsfokus, der das Ziel darstellt, auf welches sich die Kamera zu bewegt. Bewegungskurven von Objekten oder Objektpunkten, die nicht durch diesen Expansionsfokus verlaufen, können entsprechend als dynamische Objekte beispielsweise Objektpunkte klassifiziert werden.
• Derartige Verfahren sind jedoch bislang sehr anfällig gegenüber Rauschen, vor allem jedoch sind sie bisweilen sehr rechenaufwendig und somit zeitaufwendig. Vor allem die Berechnung eines solchen Expansionsfokus ist dabei sehr aufwendig. Gerade jedoch bei Kraftfahrzeuganwendungen sind die zur Verfügung stehenden Rechenkapazitäten begrenzt. Zudem sind zeitaufwendige Verfahren, die zu viel Zeit für eine korrekte Klassifizierung von Objekten benötigen, bei Anwendungen im Bereich fahrerunterstützender Fahrerassistenzsysteme oder auch im Bereich autonomer Fahrfunktionen aufgrund eines aus solchen zeitlichen Verzögerungen resultierenden Sicherheitsrisikos inakzeptabel.
• Weiterhin bekannt ist auch die sogenannte Epipolargeometrie. Diese beschreibt die geometrischen Beziehungen zwischen verschiedenen Kamerabildern des gleichen Objekts. Die Epipolargeometrie wird vornehmlich bei der Gewinnung von 3D Informationen aus Bildern eingesetzt sowie zur Korrespondenzanalyse korrespondierender Bildpunkte zweier unterschiedlicher Bildaufnahmen.
• Beispielsweise beschreibt die US 6,473,536 B1 ein Bildsyntheseverfahren, bei welchem sowohl der optische Fluss als auch Epipolargeometrie zum Einsatz kommen. Eine Möglichkeit zur Unterscheidung zwischen statischen und dynamischen Objekten oder Objektpunkten wird hierbei jedoch nicht beschrieben.
• Des Weiteren beschreibt die US 8,259,998 B2 ein Bildverarbeitungsverfahren, bei welchem die Bewegung einer Kamera anhand aufgenommener Bilder bestimmt werden soll. Hierzu werden bewegte Objektbereiche aus Bildern entfernt, um die zu berechnende Kamerabewegung nicht zu verfälschen. Wie genau hier zwischen statischen und dynamischen Bildbereichen unterschieden werden kann, ist jedoch nicht beschrieben.
• Auch die WO 2015 / 134 832 A1 verwendet den optischen Fluss sowie Epipolargeometrie, jedoch wiederum lediglich zur Lokalisierung eines bewegten Objektes und nicht zur Unterscheidung zwischen statischen und bewegten Objekten.
• Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren zum Klassifizieren eines Objektpunkts eines Objekts in einer Umgebung eines Kraftfahrzeugs als statisch oder dynamisch bereitzustellen, sowie ein Fahrerassistenzsystem und ein Kraftfahrzeug, die eine möglichst wenig rechenaufwendige und dennoch möglichst zuverlässige Klassifikation ermöglichen.
• Diese Aufgabe wird gelöst durch ein Verfahren zum Klassifizieren zumindest eines Objektpunkts eines Objekts, durch ein Fahrerassistenzsystem und ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
• Bei einem erfindungsgemäßen Verfahren zum Klassifizieren zumindest eines Objektpunkts eines Objekts in einer Umgebung eines Kraftfahrzeugs als statisch oder dynamisch wird eine Bildsequenz aus Bildern mittels zumindest einer bildgebenden Sensoreinrichtung des Kraftfahrzeugs von zumindest einem Teil der Umgebung des Kraftfahrzeugs mit dem Objektpunkt aufgenommen. Des Weiteren wird zumindest für den Fall, dass eine Eigenbewegung des Kraftfahrzeugs in Bezug auf die Umgebung zumindest ein vorbestimmtes Kriterium erfüllt, eine Epipolarebene mit Bezug auf ein zu einem ersten Zeitpunkt aufgenommenes erstes Bild der Bildsequenz und ein zu einem zweiten Zeitpunkt aufgenommenes zweites Bild der Bildsequenz bestimmt. Weiterhin wird ein von einer Position der Sensoreinrichtung zum zweiten Zeitpunkt in Richtung des Objektpunkts weisender erster Vektor auf Basis des zweiten Bilds bestimmt und der zumindest eine Objektpunkt als statisch oder dynamisch in Abhängigkeit von einer relativen Lage des ersten Vektors in Bezug auf die Epipolarebene klassifiziert.
• Die Epipolarebene umfasst dabei typischerweise die Position der Sensoreinrichtung zum ersten sowie zum zweiten Zeitpunkt, sowie die Position des Objektpunkts zum ersten Zeitpunkt. Der erste Zeitpunkt stellt vorzugsweise einen früheren Zeitpunkt als der zweite Zeitpunkt dar. Beispielsweise können der erste Zeitpunkt und der zweite Zeitpunkt als zwei aufeinanderfolgende Zeitschritte, in welchen jeweilige Bilder der Bildsequenz aufgenommen werden, verstanden werden. Im Falle, dass es sich bei dem Objektpunkt um einen statischen Objektpunkt handelt, liegt entsprechend auch die Position des Objektpunkts zum zweiten Zeitpunkt in der Epipolarebene, und damit zumindest theoretisch auch der zum zweiten Zeitpunkt von der Position der Sensoreinrichtung zum Objektpunkt weisende erste Vektor. Weicht dieser erste Vektor, oder genauer dessen Endpunkt, stattdessen von der Epipolarebene ab, so handelt es sich bei dem Objektpunkt um einen dynamischen Objektpunkt, dessen Position zum zweiten Zeitpunkt gegenüber seiner Position zum ersten Zeitpunkt verändert ist. Diese Erkenntnis lässt sich nun vorteilhafterweise nutzen, um eine besonders einfache und besonders wenig rechenintensiver Klassifikation eines Objektpunkts als dynamisch oder statisch bereitzustellen. Erfindungsgemäß kann damit vorteilhafterweise eine besonders zuverlässige Klassifikation in Abhängigkeit von der relativen Lage des ersten Vektors in Bezug auf die Epipolarebene durchgeführt werden, wobei sich sowohl die relative Lage des ersten Vektors sowie auch die Epipolarebene selbst durch sehr wenige Rechenoperationen bereitstellen lassen. Zudem ermöglicht das erfindungsgemäße Verfahren die Klassifikation von Objektpunkten mittels einer einzigen bildgebenden Sensoreinrichtung, wie beispielsweise einer einzelnen Kamera, sodass auch der technische Aufwand und damit Kosten äußerst gering gehalten werden können.
• Wenngleich auch die Ausbildung der bildgebenden Sensoreinrichtung als eine Kamera bevorzugt ist, so lässt sich das beschriebene Verfahren dennoch durch beliebig andere bildgebende Sensoreinrichtungen in analoger Weise umsetzen.
• Bei einer vorteilhaften Ausgestaltung der Erfindung wird überprüft, ob der erste Vektor innerhalb eines vorbestimmten ersten Toleranzbereichs in der Epipolarebene liegt, und falls die Überprüfung ergibt, dass der erste Vektor nicht innerhalb des vorbestimmten ersten Toleranzbereichs in der Epipolarebene liegt, der zumindest eine Objektpunkt als dynamisch klassifiziert wird, und insbesondere andernfalls als statisch.
• Da sowohl die Bestimmung der Epipolarebene sowie auch die Bestimmung des ersten Vektors auf Messungen beruht, kann es selbst für den Fall, dass es sich bei dem Objektpunkt um einen statischen Objektpunkt handelt, dazu kommen, dass der erste Vektor dennoch von der Epipolarebene etwas abweicht. Damit ist es besonders vorteilhaft, einen ersten Toleranzbereich vorzusehen, durch welchen sich derartige Messungenauigkeiten berücksichtigen lassen.
• Insbesondere wird zum Überprüfen, ob der erste Vektor innerhalb des vorbestimmten ersten Toleranzbereichs in der Epipolarebene liegt, ein Betrag eines zu einem Normalenvektor der Epipolarebene parallel verlaufenden Anteils des ersten Vektors berechnet und mit einem den vorbestimmten ersten Toleranzbereich definierenden vorbestimmten Grenzwert verglichen. Hierdurch kann auf einfache Weise überprüft werden, ob der erste Vektor zur Epipolarebene koplanar ist. Beispielsweise kann hierzu einfach das Skalarprodukt des ersten Vektors mit dem Normalenvektor der Epipolarebene gebildet werden. Werden hierzu beispielsweise der erste Vektor sowie der Normalenvektor auf die Länge 1 normiert, so liegt der Betrag des Skalarprodukts im Intervall zwischen einschließlich 0 und 1. Liegt der erste Vektor beispielsweise in der Epipolarebene und steht somit senkrecht auf dem Normalenvektor, so beträgt das Skalarprodukt 0. Stünde der erste Vektor beispielsweise ebenfalls senkrecht auf der Epipolarebene und ist damit parallel zum Normalenvektor, so ergibt sich ein Betrag des Skalarprodukts von 1. Weist der erste Vektor in Bezug auf die Epipolarebene einen Winkel auf, so ergibt sich das Skalarprodukt definitionsgemäß als Kosinus des Winkels. Die Bildung des Skalarprodukts des ersten Vektors mit dem Normalenvektor der Epipolarebene stellt damit eine besonders vorteilhafte Möglichkeit dar, um den zum Normalenvektor parallel verlaufenden Anteil des ersten Vektors zu bestimmen. Ergibt der Betrag des Skalarprodukts beispielsweise einen Wert kleiner als der vorbestimmte Grenzwert, so kann der erste Vektor als in der Epipolarebene verlaufend angesehen werden, und der Objektpunkt kann als statisch klassifiziert werden. Ergibt der Betrag des Skalarprodukts einen Wert größer als der vorbestimmte Grenzwert, so wird der Objektpunkt als dynamisch klassifiziert.
• Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung erfüllt die Eigenbewegung des Kraftfahrzeugs das zumindest eine vorbestimmte Kriterium, wenn eine Geschwindigkeit des Kraftfahrzeugs größer ist als ein vorbestimmter Grenzwert. Dieser Grenzwert ist dabei sehr klein bemessen und charakterisiert einen Stillstand des Kraftfahrzeugs oder einen quasi Stillstand beispielsweise eine sehr langsame Bewegung des Kraftfahrzeugs. Dieser Grenzwert kann beispielsweise in einem Bereich zwischen 0,1 km/h und 0,9 km/h, wie beispielsweise bei 0,6 km/h, liegen. Befindet sich das Kraftfahrzeug beispielsweise im Stillstand, so fällt die Position der Sensoreinrichtung zum ersten Zeitpunkt mit ihrer Position zum zweiten Zeitpunkt zusammen, sodass sich keine Epipolarebene bestimmen lässt. Vielmehr reduziert sich die Epipolarebene in diesem Fall auf eine Linie. Durch dieses beschriebene Kriterium in Bezug auf die Eigenbewegung des Kraftfahrzeugs kann somit vorteilhafterweise sichergestellt werden, dass die Epipolarebene bestimmt und damit auch die relative Lage des ersten Vektors in Bezug auf diese Ebene ermittelt werden kann.
• Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung erfüllt die Eigenbewegung des Kraftfahrzeugs das zumindest eine vorbestimmte Kriterium, wenn sich das Kraftfahrzeug derart in Bezug auf den mindestens einen Objektpunkt bewegt, dass sich die Position der Sensoreinrichtung zum zweiten Zeitpunkt bezüglich eines vorbestimmten zweiten Toleranzbereichs nicht auf einer ersten Linie befindet, die durch die Position der Sensoreinrichtung zum ersten Zeitpunkt und eine Position des Objektpunkts zum ersten Zeitpunkt bestimmt ist. Wie bereits beschrieben, kann die Epipolarebene typischerweise durch die Position der Sensoreinrichtung zum ersten Zeitpunkt, deren Position zum zweiten Zeitpunkt und durch die Position des Objektpunkts zum ersten Zeitpunkt festgelegt werden. Befinden sich diese drei Punkte jedoch auf einer Linie, so kann auch hier wiederum keine Epipolarebene bestimmt werden. Auch durch dieses vorbestimmte Kriterium kann vorteilhafterweise gewährleistet werden, dass eine Epipolarebene bestimmt werden kann. Vorzugsweise können auch beide dieser genannten Kriterien in Bezug auf die Eigenbewegung des Kraftfahrzeugs angewandt werden, so dass an die Eigenbewegung sowohl das erstgenannte Kriterium als auch das zweitgenannte Kriterium angelegt wird.
• Doch auch für den Fall, dass die Eigenbewegung des Kraftfahrzeugs die genannten Kriterien nicht erfüllt, ist dennoch eine Klassifikation des Objektpunkts als statisch oder dynamisch auf einfache Weise möglich, wie im nachfolgenden näher beschrieben wird.
• Hierzu ist es vorteilhaft, weitere Vektoren zu bestimmen, durch welche dies ermöglicht wird.
• Daher ist es gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung vorgesehen, dass ein zweiter Vektor bestimmt wird, der kollinear zu einer zweiten Linie, welche durch die Position der Sensoreinrichtung zum ersten Zeitpunkt und der Position der Sensoreinrichtung zum zweiten Zeitpunkt verläuft.
• Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung wird ein dritter Vektor bestimmt, der kollinear zu einer dritten Linie ist, die durch die Position der Sensoreinrichtung zum zweiten Zeitpunkt sowie durch einen Punkt verläuft, der auf einer ersten Linie liegt, die durch die Position der Sensoreinrichtung zum ersten Zeitpunkt und die Position des Objektpunkts zum ersten Zeitpunkt verläuft.
• Der zweite sowie auch der dritte Vektor sind damit so definiert, dass diese in der Epipolarebene liegen, und insbesondere diese aufspannen. Damit können diese beiden Vektoren, das heißt der zweite Vektor und der dritte Vektor, auch vorteilhafterweise dazu verwendet werden, die Epipolarebene geometrisch zu definieren. Zudem können sowohl der zweite Vektor als auch der dritte Vektor auf einfache Weise aus den zum ersten und zum zweiten Zeitpunkt aufgenommenen Bildern ermittelt werden, sowie aus der bekannten Position der Sensoreinrichtung zum ersten sowie zum zweiten Zeitpunkt. Ein weiterer großer Vorteil der Bestimmung dieses zweiten sowie auch dieses dritten Vektors besteht zudem darin, dass der oben beschriebenen Normalenvektor der Epipolarebene auf einfache Weise als das Kreuzprodukt des zweiten und des dritten Vektors bestimmt werden kann.
• Der zweite und/oder der dritte Vektor können nun vorteilhafterweise auch dazu genutzt werden, den Objektpunkt als statisch oder dynamisch zu klassifizieren, auch wenn die Eigenbewegung des Kraftfahrzeugs das zumindest eine vorbestimmte Kriterium nicht erfüllt. In den oben beschriebenen Situationen, in welchen also das Kraftfahrzeug beispielsweise stillsteht oder die Positionen der Sensoreinrichtung zum ersten und zweiten Zeitpunkt sowie die Position des Objektpunkts zum ersten Zeitpunkt auf einer Linie liegen, spannen der zweite Vektor und der dritte Vektor keine Ebene auf, sondern sind kollinear.
• Daher stellt es eine besonders vorteilhafte Ausgestaltung der Erfindung dar, dass, falls die Eigenbewegung des Kraftfahrzeugs das zumindest eine vorbestimmte Kriterium nicht erfüllt, überprüft wird, ob der erste Vektor innerhalb eines vorbestimmten zweiten Toleranzbereichs kollinear in Bezug auf den zweiten und/oder dritten Vektor ist, und insbesondere falls dem nicht so ist, der Objektpunkt als dynamisch klassifiziert wird, und vorzugsweise falls dem so ist, als statisch klassifiziert wird. Für den Fall, dass der zweite und der dritte Vektor kollinear sind und es sich bei dem Objektpunkt zudem um ein statisches Objekt handelt, so ist auch der erste Vektor kollinear zum zweiten sowie auch zum dritten Vektor. Nur falls die Bewegung des Objektpunkts entlang der Linie durch die Position des Bildsensors zum ersten Zeitpunkt und des Objektpunkts zum ersten Zeitpunkt verläuft, würde der erste Vektor auch kollinear zum zweiten und dritten Vektor sein, und in diesem Fall würde der objektpunkt fälschlicherweise als statisch klassifiziert werden. Da dies jedoch ein sehr seltenes Ereignis darstellt, ist oben beschriebenes Klassifikationsverfahren dennoch sehr zuverlässig. In Bezug auf welchen dieser beiden Vektoren die Kollinearität überprüft wird, ist dabei unerheblich. Bevorzugt wird jedoch die Kollinearität des ersten Vektors in Bezug auf den dritten Vektor überprüft, da nicht immer ein zweiter Vektor bestimmt werden kann, wie beispielsweise im Stillstand des Kraftfahrzeugs, da hier die Positionen der Sensoreinrichtung zum ersten und zum zweiten Zeitpunkt zusammenfallen, sodass durch diese beiden zusammenfallenden Positionen kein Vektor definiert werden kann.
• Da zudem die Bestimmung des ersten, des zweiten und/oder dritten Vektors auf Messungen beruhen, ist es wiederum vorteilhaft, bei der Überprüfung wiederum einen vorbestimmten zweiten Toleranzbereich vorzusehen, durch welchen nicht zu vermeidende Messungenauigkeiten berücksichtigt werden können. Die Überprüfung in Bezug auf Kollinearität kann wiederum auf besonders einfache Weise erfolgen. Beispielsweise kann wiederum das Skalarprodukt zwischen dem ersten Vektor und dem dritten Vektor gebildet werden. Ohne Beschränkung der Allgemeinheit wird zur Vereinfachung hier wiederum angenommen, dass es sich beim ersten Vektor und dem dritten Vektor um normierte Vektoren, das heißt Vektoren mit der Länge 1, handelt. Sind der erste und der dritte Vektor kollinear, so ergibt sich der Betrag des Skalarprodukts zu 1, stehen diese beispielsweise senkrecht aufeinander, so ist das Skalarprodukt 0. Auch hierbei kann wiederum ein entsprechender zweiter Grenzwert vorgesehen werden, der dem vorbestimmten Toleranzbereich Rechnung trägt, wobei für den Fall, dass das der Betrag des Skalarprodukts größer ist als dieser vorbestimmter Grenzwert, der erste Vektor zum dritten Vektor als kollinear angesehen wird, und für den Fall, dass der Betrag des Skalarprodukts kleiner ist als dieser vorbestimmter Grenzwert, der erste Vektor nicht kollinear zum dritten Vektor angesehen wird. Anstelle des Skalarprodukts kann zur Überprüfung der Kollinearität auch das Kreuzprodukt zwischen dem ersten und dem dritten Vektor gebildet und dessen Betrag genommen werden. Der Betrag des Kreuzprodukts für den Fall, dass der erste und der dritte Vektor zueinander senkrecht sind, beträgt 1, während für den anderen Extremfall, dass der erste und der dritte Vektor zueinander parallel sind, der Betrag des Kreuzprodukts 0 beträgt. Entsprechend kann auch hier wiederum ein entsprechender Grenzwert vorgesehen werden, um dem beschriebenen vorbestimmten Toleranzbereich für die Überprüfung auf Kollinearität Rechnung zu tragen.
• Somit ist auch für den Fall, dass die Eigenbewegung des Kraftfahrzeugs das zumindest eine vorbestimmte Kriterium nicht erfüllt, eine besonders einfache und wenig rechenaufwendige Möglichkeit bereitgestellt, die eine zuverlässige Klassifikation des Objektpunkts als statisch oder dynamisch in den meisten Fällen ermöglicht, insbesondere falls die Bewegung des Objektpunkts nicht entlang der Linie durch die Position des Bildsensors zum ersten Zeitpunkt und den Objektpunkt zum ersten Zeitpunkt verläuft.
• Um das Erfülltsein der oben beschriebenen Kriterien für die Eigenbewegung des Kraftfahrzeugs zu überprüfen, kann beispielsweise die Geschwindigkeit des Kraftfahrzeug erfasst und mit dem beschriebenen Grenzwert verglichen werden. Zur Überprüfung des zweiten Kriteriums kann ein Expansionsfokus ermittelt werden und die Position des Objektpunkts mit diesem Verglichen werden. Liegt die Objektpunktposition im oder in der Nähe des Expansionsfokus, so gilt das Kriterium als nicht erfüllt. Eine weitere besonders einfache Variante zur Überprüfung beider Kriterien kann auch dadurch bereitgestellt werden, indem überprüft wird, ob der zweite Vektor Null ist und/oder ob der zweite Vektor, falls dieser von Null verschieden ist, und der dritte Vektor kollinear sind. Trifft einer dieser beiden Fälle zu, so gilt das mindestens eine Kriterium in Bezug auf die Eigenbewegung des Kraftfahrzeugs als nicht erfüllt.
• Um das Verfahren zur Klassifizierung noch robuster zu gestalten, gibt es vielzählige weitere vorteilhafte Möglichkeiten, die im nachfolgenden näher beschrieben werden.
• Gemäß einer dieser vorteilhaften Möglichkeiten wird ein erster Flussvektor auf Basis zweier aufeinanderfolgend aufgenommener Bilder der Bildsequenz für den ersten Objektpunkt bestimmt, und mit einem zweiten vorhergehend bestimmten Flussvektor verglichen, wobei für den Fall, dass der Vergleich ergibt, dass der erste Flussvektor in seiner Länge und/oder Richtung stärker abweicht als ein vorbestimmter Grenzwert, der erste Flussvektor als ungültig klassifiziert wird. Hierdurch ist vorteilhafterweise eine Möglichkeit bereitgestellt, um sogenannte Ausreißer zu detektieren. Dieses Verfahren kann mit Bezug auf jeden beliebigen Objektpunkt analog wie mit Bezug auf den ersten Objektpunkt beschrieben durchgeführt werden. In anderen Worten kann zum Beispiel ein erster Flussvektor auf der Basis von zwei aufeinanderfolgend aufgenommenen Bildern der Bildsequenz für einen zweiten Objektpunkt bestimmt werden und mit einem zweiten vorher bestimmten Flussvektor für den zweiten Objektpunkt verglichen werden, wobei für den Fall, dass Vergleich ergibt, dass der erste Flussvektor in seiner Länge und/oder Richtung stärker abweicht als ein vorbestimmter Grenzwert, der erste Flussvektor für den zweiten Objektpunkt als ungültig klassifiziert wird. Andernfalls kann dieser als gültig klassifiziert werden und Gegenstand des Klassifikationsverfahrens zum Klassifizieren des zweiten Objektpunkts als statisch oder dynamisch, wie oben mit Bezug auf den ersten Objektpunkt beschrieben, werden. Hierdurch wird es ermöglicht, dass unstabile Flussvektoren, die also beispielsweise im Bild „springen“, detektiert und zum Beispiel dann deren zugeordnete Objektpunkte bei nachfolgenden Berechnungen nicht berücksichtigt werden. Um ein derartiges „Springen“ zu detektieren eignet sich vorteilhafterweise die Betrachtung der Länge und Richtung dieser Flussvektoren eines aktuellen Berechnungszeitschritts mit Bezug auf einen vorhergehenden Zeitschritt, also sozusagen die zeitliche Änderung von Länge und Richtung. Ein derartiges Vorgehen kann dabei für alle der in einer jeweiligen Bildaufnahme vorhandenen Objektpunkte durchgeführt werden. Dadurch lassen sich vorteilhafterweise in jedem Zeitschritt die zu jeweiligen Objektpunkten korrespondierenden Bildpunkte in den jeweils aufgenommenen Bildern als gültig oder ungültig markieren. Der Flussvektor, das heißt der erste sowie auch der zweite oder jeder weitere Flussvektor, ist vorzugsweise definiert als ein Vektor, der von der Position eines Objektpunkts in einer ersten Bildaufnahme oder einer vorbestimmten Projektion dieser zur einer Position desselben Objektpunkts in einer zweiten, nachfolgenden, Bildaufnahme oder einer vorbestimmten Projektion dieser verläuft. Er charakterisiert also die Bewegung eines Objektpunkts im Bild mit Bezug auf einen jeweils vorhergehenden Zeitschritt. Die genannte vorbestimmte Projektion kann beispielsweise eine Projektion des durch den Bildsensor aufgenommenen Bildes auf eine projizierte Bildebene darstellen, welche die Abbildungseigenschaften einer Optik der Kamera berücksichtigt. Die Projektionsvorschrift, welche diese Abbildungseigenschaften berücksichtigt, kann durch eine Kalibrierung der Kamera auf einfache Weise bereitgestellt werden. Bilder, die beispielsweise durch eine Optik wie eine Fischaugenlinse stark verzerrt sind, lassen sich durch diese Projektionsvorschrift wieder entzerren. Diese Vorgehensweise ist also rechentechnisch einfach, und ermöglicht eine deutlich höhere Robustheit des Verfahrens durch eine zuverlässige Detektion von Ausreißern.
• Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung wird überprüft, ob ein eine korrekte Klassifizierung beeinträchtigendes Fahrereignis vorliegt. Es gibt bestimmte Fahrereignisse, die dazu führen können, dass beispielsweise statische Objekte fälschlicherweise als dynamisch klassifiziert werden. Dies hat folgenden Hintergrund: Zur Definition der Epipolarebene, auch wenn diese auf eine Linie reduziert ist, wird die Position der Sensoreinrichtung zum ersten sowie zum zweiten Zeitpunkt verwendet. Die Sensoreinrichtung kann beispielsweise an fester, bekannter Stelle des Kraftfahrzeugs angeordnet sein. Die Bewegung der Sensoreinrichtung ist damit durch die Bewegung des Kraftfahrzeugs beschrieben, insbesondere in Bezug auf seine Umgebung. Hierzu lassen sich erfasste Bewegungsgrößen des Kraftfahrzeugs vorteilhafterweise auch nutzen, um die Bewegung der Sensoreinrichtung sowie deren aktuelle Positionen zu jeweiligen Zeitpunkten zu bestimmen. Solche Bewegungsgrößen sind beispielsweise die Geschwindigkeit des Kraftfahrzeugs und der Lenkwinkeleinschlag des Kraftfahrzeugs. Gegebenenfalls können auch die Neigung des Kraftfahrzeugs, zum Beispiel in Bezug auf seine Längs- Hoch- und/oder oder seine Querachse, durch Neigungssensoren bestimmt und berücksichtigt werden. Im Allgemeinen lassen sich diese Größen durch typische Kraftfahrzeugsensoren bestimmen. Es gibt jedoch auch Bewegungen des Kraftfahrzeugs, die nicht oder nur schwer erfasst werden können, wie beispielsweise eine Bewegung des Kraftfahrzeugs in Richtung seiner Hochachse. Je nach Ausstattung des Kraftfahrzeugs ist beispielsweise auch eine Bestimmung von Roll- und Nickbewegungen nicht immer möglich. Derartige Bewegungen führt das Kraftfahrzeug beispielsweise aus, wenn dieses über eine Bodenwelle oder Straßenunebenheiten fährt. Die Detektion solcher Situationen als Fahrereignisse ist dabei besonders vorteilhaft, um zu vermeiden, dass eine durch die Kraftfahrzeugsensorik nicht detektierte Eigenbewegung dazu führt, dass statische Objekte oder Objektpunkte fälschlicherweise als dynamisch klassifiziert werden. Daher ist es besonders vorteilhaft, eine Überprüfung auf das Vorhandensein derartiger Fahrereignisse durchzuführen, da dann ein Ergebnis einer solchen Überprüfung, zum Beispiel die Kenntnis über das Vorhandensein eines derartigen Fahrereignisses wie das Fahren über eine Bodenwelle, genutzt werden kann, um zum Beispiel die Ergebnisse der Klassifikation während eines solchen Fahrereignisses entweder zu verwerfen oder als zumindest wenig zuverlässig zu kennzeichnen. Besonders vorteilhaft ist es dabei, dass eine derartige Überprüfung ebenfalls auf Basis der aufgenommenen Bilder erfolgt, wie nachfolgend näher beschrieben wird.
• Dabei ist es eine vorteilhafte Ausgestaltung der Erfindung, dass die Überprüfung in Abhängigkeit von einer ermittelten Anzahl an als dynamisch klassifizierten Objektpunkten erfolgt. Hierbei wird vorteilhafterweise die Erkenntnis genutzt, dass in solchen Situationen, in welchen nicht erkannt wird, dass eine vorbestimmte Bewegung des Kraftfahrzeugs in Bezug auf seine Umgebung durchgeführt wird, übermäßig viele Objektpunkte in der Umgebung als dynamisch klassifiziert werden, obwohl diese statisch sind. Daher ist es besonders vorteilhaft, zur Detektion eines die Klassifizierung beeinträchtigenden Fahrereignisses die Anzahl an als dynamisch klassifizierten Objektpunkten zu berücksichtigen. Vorteilhafterweise kann hierbei wiederum ein Grenzwert verwendet werden, um das Vorliegen eines solchen Fahrereignisses zu detektieren.
• Vorteilhaft ist es dabei vor allem, wenn die Überprüfung ergibt, dass das die korrekte Klassifizierung beeinträchtigende Fahrereignis vorliegt, wenn zumindest eine der folgenden Bedingungen erfüllt ist:
• - Die Anzahl an in Bezug auf einen Zeitschritt als dynamisch klassifizierten Objektpunkten in Relation zur Gesamtanzahl an als statisch und dynamisch klassifizierten Objektpunkten für diesen Zeitschritt übersteigt einen vorbestimmten ersten Grenzwert, zum Beispiel 60%; und
• - Die Anzahl an in Bezug auf einen Zeitschritt als dynamisch klassifizierten Objektpunkten in Relation zur Gesamtanzahl an als statisch und dynamisch klassifizierten Objektpunkten für diesen Zeitschritt ist um mindestens einen vorbestimmten zweiten Grenzwert, zum Beispiel 25%, gegenüber einem Mittelwert erhöht, der sich aus einer Mittelung jeweiliger Anzahlen an als dynamisch klassifizierten Objektpunkten in Relation zur Gesamtanzahl für mehrere vorhergehende Zeitschritte ergibt.
• Durch diese Bedingungen wird es vorteilhafterweise ermöglicht, ein Fahrereignis, wie beispielsweise das Überfahren einer Bodenwelle, eines Hügels, einer unebenen Fahrbahn, oder auch eine Anfahrsituation zuverlässig zu detektieren. Zudem kann vorteilhafterweise auf das Erfülltsein beider dieser Bedingungen hin geprüft werden, und sofern eine oder beide dieser beiden Bedingungen erfüllt sind, kann auf Vorliegen des Fahrerereignisses geschlossen werden. Zu diesem Zweck können auch wiederum Flussvektoren der jeweiligen Objektpunkte betrachtet werden und diese beispielsweise als gültig oder ungültig klassifiziert werden, wobei beispielsweise ein ungültiger Flussvektor bedeutet, dass dieser sich nicht entlang der Epipolarlinie bewegt und sich daher nicht wie ein Flussvektor eines statischen 3D Objekts verhält.
• Wird beispielsweise ein solches Fahrereignis detektiert, können weitere und während dieses Fahrereignisses durchgeführte Bildverarbeitungsschritte, wie beispielsweise eine Objekterkennung oder Objektdetektion, eine 3D Rekonstruktion von Objekten oder der gesamten Szene, zum Beispiel durch 3D Triangulation, und dergleichen, unterbunden werden, um Fehlinterpretationen der Umfelderfassung zu vermeiden.
• Des Weiteren betrifft die Erfindung ein Fahrerassistenzsystem für ein Kraftfahrzeug, welches dazu ausgelegt ist ein erfindungsgemäße Verfahren oder eines seiner Ausführungsformen durchzuführen.
• Des Weiteren betrifft die Erfindung auch ein Kraftfahrzeug mit einem erfindungsgemäßen Fahrerassistenzsystem. Das Kraftfahrzeug ist vorzugsweise als Personenkraftwagen ausgebildet.
• Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
• Dabei zeigen:
• 1 eine schematische Darstellung eines Kraftfahrzeugs in einer Draufsicht mit einem Fahrerassistenzsystem gemäß einem Ausführungsbeispiel der Erfindung;
• 2 eine schematische Veranschaulichung einer Epipolarebene zur Veranschaulichung eines Verfahrens gemäß einem Ausführungsbeispiel der Erfindung;
• 3 eine schematische Darstellung einer auf eine Linie reduzierten Epipolarebene gemäß einem weiteren Ausführungsbeispiel der Erfindung;
• 4 ein Ablaufdiagramm zur Veranschaulichung eines Verfahrens gemäß einem Ausführungsbeispiel der Erfindung; und
• 5 ein Ablaufdiagramm zur Veranschaulichung eines Verfahrens gemäß einem weiteren Ausführungsbeispiel der Erfindung.
• 1 zeigt eine schematische Darstellung eines Kraftfahrzeugs 1 mit einem Fahrerassistenzsystem 2 gemäß einem Ausführungsbeispiel der Erfindung. Das Fahrerassistenzsystem 2 umfasst in diesem Beispiel eine als Kamera 3 ausgebildete Sensoreinrichtung sowie eine Auswerteeinrichtung 4. Die Kamera 3 kann beispielsweise hinter einer Windschutzscheibe 5 des Kraftfahrzeugs 1 positioniert sein. Im Allgemeinen kann die Kamera 3 an jeder beliebigen Stelle des Kraftfahrzeugs 1 positioniert werden, jedoch so, dass diese dazu ausgelegt ist, zumindest einen Teil der Umgebung 6 des Kraftfahrzeugs 1 zu erfassen. Die von der Kamera 3 aufgenommenen Bilder werden an die Auswerteeinrichtung 4 übermittelt und durch diese ausgewertet. Auf Basis der aufgenommenen Bilder kann durch die Auswerteeinrichtung 4 beispielsweise eine Objekterkennung und 3D Rekonstruktion durchgeführt werden. Weiterhin ist die Auswerteeinrichtung dazu ausgelegt, zwischen statischen und dynamischen Objektpunkten von Objekten in der Umgebung 6 des Kraftfahrzeugs 1 zu unterscheiden, was im Folgenden näher ausgeführt wird.
• 2 zeigt eine schematische Darstellung einer Epipolarebene 7, wie diese in einem erfindungsgemäßen Verfahren zum Klassifizieren eines Objektpunkts O als statisch oder dynamisch Anwendung findet. Diese Epipolarebene 7 ist zum einen durch die Kameraposition 8a, welche insbesondere ein Projektionszentrum darstellt, zu einem aktuellen Zeitpunkt, durch die Kameraposition 8v zu einem vorhergehenden Zeitpunkt sowie durch einen Punkt P bestimmt. Der vorhergehende Zeitpunkt bezieht sich hierbei auf einen Zeitpunkt, zu welchem das der aktuellen Bildaufnahme vorhergehende Bild aufgenommen wurde. Der aktuelle Zeitpunkt, im Folgenden auch als zweiter Zeitpunkt bezeichnet, und der vorhergehende Zeitpunkt, im Folgenden auch als erster Zeitpunkt bezeichnet, sind entsprechend aufeinanderfolgenden Zeitschritten in Bezug auf die Bildaufnahmen der Bildsequenz zuzuordnen.
• Der Punkt P ist so definiert, dass der interessierende Objektpunkt O, der als statisch oder dynamisch klassifiziert werden soll, und einen Objektpunkt O in der Umgebung 6 des Kraftfahrzeugs 1 darstellt, auf einer ersten Linie 9 liegt, die durch die Kameraposition 8v zum vorhergehenden Zeitpunkt, und dem Punkt P verläuft. Die Aufnahme eines Bildes mit dem Objektpunkt O liefert einen Bildpunkt O' auf einer projizierten Bildebene 10v bezogen auf den ersten Zeitpunkt. Diese projizierte Bildebene 10v ist hier in 2 nur zu Zwecken der Veranschaulichung dargestellt und hängt mit der Ebene des Bildsensors der Kamera 3 über einen durch eine Optik der Kamera 3 vorbestimmte Abbildungsvorschrift zusammen. Am Beispiel einer Lochkamera würde diese Abbildungsvorschrift beispielsweise in einer einfachen punktsymmetrischen Abbildung bestehen. Um jedoch mit einer einzelnen Kamera einen möglichst großen Umgebungsbereich der Umgebung 6 des Kraftfahrzeugs 1 erfassen zu können ist es bevorzugt, die Kamera 3 so auszubilden, dass diese einen möglichst großen Erfassungsbereich aufweist und beispielsweise als Weitwinkelkamera ausgebildet ist. Dies lässt sich zum Beispiel durch eine Fischaugenlinse bereitstellen. Derartige Linsen bewirken jedoch unter Umständen eine verzerrte Abbildung. Die hat zur Folge, dass beispielsweise gerade Linien in der Umgebung 6 als gekrümmte Linien auf dem Bildsensor abgebildet werden. In einem solchen Fall gestaltet sich auch die Abbildungsvorschrift zwischen dem Bildsensor beispielsweise der Bildsensorebene und der projizierten Bildebene 10v komplizierter. Diese Abbildungsvorschrift lässt sich jedoch auf einfache Weise durch eine entsprechende Kalibrierung der Kamera 3 bestimmen. Eine kalibrierte Kamera 3 liefert damit für jedes Pixel oder jeden Bereich auf dem Bildsensor einen korrespondierenden Bereich auf der projizierten Bildebene 10v in einem vorbestimmbaren Abstand zur Kameraposition 8v beispielsweise dem Projektionszentrum. Aus der Bildaufnahme des Objektpunkts O zum ersten Zeitpunkt lässt sich damit die Position des Bildpunkts O' auf der projizierten Bildebene 10v ermitteln. Zur Bestimmung der ersten Linie 9 kann dann entsprechend eine Linie durch die Position 8v der Kamera 3 zum ersten Zeitpunkt und dem Bildpunkt O' der projizierten Bildebene 10v gelegt werden. In einem beliebigen Abstand zur Kameraposition 8v zum ersten Zeitpunkt wird nun auf dieser ersten Linie 9 der Punkt P gewählt.
• Die Kamerapositionen 8a, 8v werden dabei aus odometrischen Daten des Kraftfahrzeugs 1 ermittelt. Hierzu können beispielsweise die Geschwindigkeit des Kraftfahrzeugs sowie der Lenkwinkeleinschlag bestimmt werden. Da die Kamera 3 in Bezug auf das Kraftfahrzeug 1 an einer festen Stelle angeordnet ist, ergibt sich aus der Kraftfahrzeugbewegung auch gleichzeitig die Bewegung der Kamera 3. Hierdurch lassen sich die Kamerapositionen 8a, 8v zu jedem Zeitpunkt einer Bildaufnahme der Bildsequenz bestimmen.
• Für alle in einer jeweiligen Bandaufnahme abgebildeten Objektpunkte O von Objekten in der Umgebung 6 des Kraftfahrzeugs 1, die klassifiziert werden sollen, wird eine derartige Epipolarebene 7 bestimmt. In einem jeweiligen Zeitschritt entspricht also die Anzahl an bestimmten Epipolarebenen 7 der Anzahl der zu klassifizierenden Objektpunkte O. Die in Bezug auf einen aktuellen Klassifizierungszeitschritt bestimmten Epipolarebenen 7 schneiden sich dabei alle entlang einer zweiten Linie 11, die durch die Kamerapositionen 8a, 8v zum ersten und zweiten Zeitpunkt bestimmt ist.
• Neben der Epipolarebene 7 wird weiterhin noch ein erster Vektor $\overrightarrow{v1}$

  

  bestimmt, der von einer Kameraposition 8a zum zweiten Zeitpunkt in Richtung des Objektpunkts O zum zweiten Zeitpunkt weist. Dieser erste Vektor $\overrightarrow{v1}$

  

  kann wiederum durch Verbindung der Kameraposition 8a zum zweiten Zeitpunkt mit dem zum Objektpunkt O korrespondierenden Bildpunkte O" der projizierten Bildebene 10a zum zweiten Zeitpunkt bestimmt werden.
• In diesem Beispiel handelt es sich bei dem Objektpunkt O um einen statischen Objektpunkt O, das heißt dieser weist zum ersten sowie auch zum zweiten Zeitpunkt dieselbe Position auf. Da sich also der Objektpunkt O in seiner Position nicht verändert hat, liegt auch der bestimmte erste Vektor $\overrightarrow{v1}$

  

  in der Epipolarebene 7. Entsprechend kann vorteilhafterweise anhand der relativen Lage des ersten Vektors $\overrightarrow{v1}$

  

  in Bezug auf die Epipolarebene 7 eine Klassifikation eines Objektpunkts O als statisch oder dynamisch durchgeführt werden. Hierzu muss also lediglich überprüft werden, ob dieser Vektor $\overrightarrow{v1}$

  

  in der Epipolarebene 7 liegt oder nicht.
• Hierzu werden zwei weitere Vektoren definiert, nämlich ein zweiter Vektor $\overrightarrow{v2}$

  

  entlang der zweiten Linie 11, der von der Kameraposition 8a zum zweiten Zeitpunkt zur Kameraposition 8v der Kamera 3 zum ersten Zeitpunkt verläuft und ein dritter Vektor $\overrightarrow{v3},$

  

  der auf einer dritten Linie 12 durch die Kameraposition 8a zum zweiten Zeitpunkt und durch den Punkt P verläuft. Diese beiden Vektoren $\overrightarrow{v2},\overrightarrow{v3}$

  

  spannen somit die Epipolarebene 7 auf. Um zu überprüfen, ob es sich nun bei dem Objektpunkt O um einen statischen oder einen dynamischen Objektpunkt handelt ist nun lediglich zu überprüfen, ob es sich bei diesen 3 Vektoren $\overrightarrow{v1},\overrightarrow{v2},\overrightarrow{v3}$

  

  um koplanare Vektoren handelt.
• Dies kann beispielsweise dadurch erfolgen, dass zunächst der Normalenvektor $\overrightarrow{n}$

  

  der Epipolarebene 7 durch das Kreuzprodukt des zweiten Vektors $\overrightarrow{v2}$

  

  und des dritten Vektors $\overrightarrow{v3}$

  

  bestimmt wird, das heißt also $$\overrightarrow{n}=\overrightarrow{v2}\times \overrightarrow{v3}.$$

  
• Der Abstand d des Vektors $\overrightarrow{v1}$

  

  zur Epipolarebene 7 lässt sich dann als Betrag des Skalarprodukts zwischen dem Normalenvektor $\overrightarrow{n}$

  

  und dem ersten Vektor $\overrightarrow{v1}$

  

  definieren, das heißt also $$d=\left|\overrightarrow{n}\cdot \overrightarrow{v1}\right|.$$

  
• Alternativ lässt sich der Abstand d auch als Betrag der Determinante einer Matrix darstellen, die den ersten Vektor $\overrightarrow{v1},$

  

  den zweiten Vektor $\overrightarrow{v2}$

  

  und den dritten Vektor $\overrightarrow{v3}$

  

  als Spaltenvektoren oder Zeilenvektoren hat. Im Falle der Koplanarität dieser drei Vektoren $\overrightarrow{v1},\overrightarrow{v2},\overrightarrow{v3}$

  

  ist dieser Abstand d gleich 0. Liegt der erste Vektor $\overrightarrow{v1}$

  

  nicht in der Epipolarebene 7, so ist dieser Abstand d ungleich 0 und beispielsweise im Falle, dass der erste Vektor $\overrightarrow{v1}$

  

  senkrecht auf der Epipolarebene 7 steht, maximal. Wurden die Vektoren $\overrightarrow{v1},\overrightarrow{v2},\overrightarrow{v3}$

  

  beispielsweise auf eine Länge von 1 normiert, so beträgt auch dieser maximale Abstand 1. Um nun das Objekt beispielsweise den Objektpunkt O zu klassifizieren, kann an diesen bestimmten Abstand ein Grenzwert angelegt werden. Liegt also der Abstand d zwischen 0 und diesen Grenzwert, so wird der Objektpunkt O als statisch klassifiziert, ansonsten als dynamisch. Dieser Grenzwert kann beispielsweise fix sein oder auch in Abhängigkeit einer oder mehrerer bestimmter Variablen gewählt werden, wie beispielsweise der Kraftfahrzeuggeschwindigkeit. Dabei ist es vorteilhaft, wenn der Grenzwert umso größer gewählt wird, je größer die Kraftfahrzeuggeschwindigkeit ist.
• Für den Fall, dass die Vektoren $\overrightarrow{v2},\overrightarrow{v3}$

  

  kollinear sind, lässt sich jedoch keine Epipolarebene 7 bestimmen. Dennoch kann in diesem Fall eine Klassifikation des Objektpunkts als statisch oder dynamisch auf einfache Weise durchgeführt werden, was nun anhand von 3 veranschaulicht werden soll.
• 3 zeigt eine schematische Darstellung einer nun auf eine Linie reduzierten Epipolarebene 7. Insbesondere befinden sich hierbei die Kamerapositionen 8a, 8v zum ersten und zweiten Zeitpunkt sowie auch der Punkt P auf einer gemeinsamen Linie, weshalb nun auch die Vektoren $\overrightarrow{v2},\overrightarrow{v3}$

  

  kollinear sind. Hat sich die Position des Objektpunkts O während diesen beiden Zeitpunkten der Bildaufnahmen nicht verändert, so liegt auch wiederum der erste Vektor $\overrightarrow{v1}$

  

  parallel zum zweiten Vektor $\overrightarrow{v2}$

  

  sowie zum dritten Vektor $\overrightarrow{v3}.$

  

  Hier in 3 ist nun beispielhaft dargestellt, dass sich die Position des Objektpunkts O zum zweiten Zeitpunkt gegenüber dem ersten Zeitpunkt verändert hat, was durch die Bezeichnung des Objektpunkts zum zweiten Zeitpunkt mit O2 veranschaulicht werden soll. Entsprechend ist auch der erste Vektor $\overrightarrow{v1}$

  

  nicht kollinear zu den anderen beiden Vektoren $\overrightarrow{v2},\overrightarrow{v3}.$

  

  Durch Überprüfung, ob der erste Vektor $\overrightarrow{v1}$

  

  zu einem der anderen Vektoren $\overrightarrow{v2}\text{ oder }\overrightarrow{v3}$

  

  kollinear ist, lässt sich damit vorteilhafterweise auch feststellen, ob es sich um einen statischen oder dynamischen Objektpunkt O handelt. Die Kollinearität kann wiederum auf einfache Weise durch Bildung des Skalarprodukts oder auch des Kreuzprodukts zwischen dem ersten Vektor $\overrightarrow{v1}$

  

  und einem beliebigen der beiden anderen Vektoren $\overrightarrow{v2},\overrightarrow{v3}$

  

  überprüft werden. Beispielsweise lässt sich wiederum ein Abstand d wie folgt definieren: $$d=\left|\overrightarrow{v1}\times \overrightarrow{v3}\right|.$$

  
• Dieser Abstand d ist auch in 3 dargestellt. Auch für diesen Abstand d lässt sich wiederum ein Grenzwert definieren. So kann wiederum auf einfache Weise bestimmt werden, ob der Objektpunkt O statisch oder dynamisch ist.
• 4 zeigt ein Ablaufdiagramm zur Veranschaulichung eines Verfahrens gemäß einem Ausführungsbeispiel der Erfindung. Um das zuvor beschriebene Klassifikationsverfahren noch robuster zu gestalten, ist es vorteilhaft, in jeweiligen Bildaufnahmen der Bildsequenz zunächst sogenannte Ausreißer zu entfernen. Dies kann beispielsweise in einem optionalen Schritt S1 durchgeführt werden. Hierzu können beispielsweise aus je zwei aufeinanderfolgenden Bildaufnahmen der Bildsequenz für einen jeweiligen Objektpunkt Flussvektoren bestimmt werden. Weiterhin kann die Länge und Richtung eines Flussvektors für einen bestimmten Objektpunkt mit dem diesem Objektpunkt zugeordneten Flussvektor, der in einem vorhergehenden Zeitschritt bestimmt wurde, verglichen werden. Bildpunkte von Objekten, deren zugeordnete Flussvektoren eine übermäßige Änderung in ihrer Größe oder Richtung aufweisen, können somit vorteilhafterweise vor der weiteren Verarbeitung gefiltert werden. Dazu müssen diese entsprechenden Punkte nicht notwendigerweise gelöscht werden, sondern können auch nur als ungültig markiert werden.
• Hieran kann sich nun die beschriebene Klassifikation von Objektpunkten anschließen. Bei dieser Klassifikation werden dabei vorzugsweise die gefilterten Objektpunkte nicht berücksichtigt. Es kann nun zunächst in einen Schritt S2 überprüft werden, ob eine Situation vorliegt, in welcher nun die oben beschriebenen Vektoren $\overrightarrow{v2}\text{ und }\overrightarrow{v3}$

  

  kollinear sind oder nicht. Eine derartige Überprüfung muss nicht notwendigerweise auf einer vorhergehenden Berechnung dieser Vektoren $\overrightarrow{v2}\text{ und }\overrightarrow{v3}$

  

  beruhen. Beispielsweise kann hierzu auch überprüft werden, ob sich das Kraftfahrzeug 1 im Stillstand befindet oder nicht. Auch kann anhand des optischen Flusses überprüft werden, ob sich Objektpunkte O in einen Expansionsfokus befinden oder nicht. Befindet sich also beispielsweise das Kraftfahrzeug 1 weder im Stillstand noch der zu klassifizierende Objektpunkt O im Expansionsfokus, auch Epipol genannt, so wird zu Schritt S3 übergegangen, in welchem der erste Vektor $\overrightarrow{v1},$

  

  der zweite Vektor $\overrightarrow{v2}$

  

  und der dritte Vektor $\overrightarrow{v3}$

  

  bestimmt werden. Anschließend wird in Schritt S4 überprüft, ob diese drei Vektoren $\overrightarrow{v1},\overrightarrow{v2},\overrightarrow{v3}$

  

  koplanar sind. Ist dies der Fall, so wird der Objektpunkt O als statisch in Schritt S5 klassifiziert, andernfalls in Schritt S6 als dynamisch. Ergibt die Überprüfung in S2, dass ich das Kraftfahrzeug 1 beispielsweise im Stillstand befindet oder auch der zu klassifizierende Objektpunkt O in einem Expansionsfokus, so wird entsprechend in Schritt S7 der erste Vektor $\overrightarrow{v1}$

  

  bestimmt, sowie zumindest einer der beiden anderen Vektoren $\overrightarrow{v2}$

  

  und/oder $\overrightarrow{v3}$

  

  Wie zu 3 beschrieben wird anschließend in Schritt S8 überprüft, ob der erste Vektor $\overrightarrow{v1}$

  

  zu einem der beiden anderen Vektoren $\overrightarrow{v2}\text{ und/oder }\overrightarrow{v3}$

  

  kollinear ist. Ist dies der Fall, so wird der betreffende Objektpunkt O in Schritt S5 als statisch klassifiziert, andernfalls in Schritt S6 als dynamisch. Diese Verfahren wiederholt sich nun Zeitschritt für Zeitschritt, das heißt mit jeder neuen Bildaufnahme der Bildsequenz.
• Da bei der Klassifikation von Objektpunkten O auch die Kamerapositionen zu jeweiligen Zeitschritten eingehen, ist es für eine korrekte Klassifikation vorteilhaft, wenn die Kamerapositionen zu den jeweiligen Zeitschritten korrekt bestimmt werden können. Allerdings gibt es Fahrereignisse, wie beispielsweise ein Überfahren einer Bodenwelle, aus welchen Fahrzeugbewegungen und damit auch Kamerabewegungen resultieren, die nicht oder zumindest nicht korrekt von der Fahrzeugsensorik erfasst werden können, wie beispielsweise Bewegungen des Kraftfahrzeugs parallel zu seiner Hochachse. Dies führt dazu, dass die aus solchen Fahrereignissen resultierende Relativbewegung zwischen Kraftfahrzeug 1 und seiner Umgebung 6 fälschlicherweise als Bewegung der Umgebung 6 und nicht des Kraftfahrzeugs 1 bewertet wird. Um dies zu vermeiden, ist gemäß Ausführungsbeispielen der Erfindung weiterhin die Möglichkeit bereitgestellt, auf Basis der aufgenommenen Bilder der Bildsequenz solche vorbestimmten, eine korrekte Klassifizierung beeinträchtigende Fahrereignisse zu detektieren.
• Dies wird nun anhand von 5 durch ein veranschaulichendes Ablaufdiagramm näher erläutert. Hierzu wird nun in Schritt S9 die Kraftfahrzeuggeschwindigkeit auf Basis odometrischer Daten, die von Kraftfahrzeugsensoren geliefert werden können, bestimmt. In Schritt S10 wird überprüft, ob sich das Kraftfahrzeug 1 im Stillstand befindet. Ist dies nicht der Fall, so wird in Schritt S11 ermittelt, wie viele der Objektpunkte im aktuellen Zeitschritt in Bezug zur Gesamtheit aller klassifizierten Objektpunkte im aktuellen Zeitschritt als dynamisch klassifiziert worden sind. Weiterhin wird in Schritt S12 überprüft, ob nun dieser prozentuale Anteil der als dynamisch klassifizierten Objektpunkte einen vorbestimmten ersten Grenzwert, beispielsweise 60 % überschreitet. Ist dies der Fall wird in Schritt S13 weiterhin überprüft, ob bereits ein vorbestimmtes Fahrereignis, wie das Fahren über eine Bodenwelle, als bereits vorliegend bestimmt wurde beispielsweise auf Basis vorhergehender Überprüfungen gemäß diesem Verfahren als vorliegend zu betrachten ist. Ist dies der Fall, so wird dieses Fahrerereignis in Schritt S14 als weiterhin vorliegend bestimmt und das Verfahren beginnt von vorne. Wird in Schritt S13 dagegen bestimmt, dass ein solches Fahrereignis noch nicht als vorliegend detektiert wurde, so wird in Schritt S15 ein neues Fahrerereignisses als vorliegend bestimmt und das Verfahren beginnt von vorne. Wird dagegen in Schritt S12 bestimmt, dass der prozentuale Anteil der als dynamisch klassifizierten Objektpunkte den vorbestimmten ersten Grenzwert nicht überschreitet, so wird in Schritt S16 ein mittlerer prozentualer Anteil an als dynamisch klassifizierten Objektpunkten über eine vorbestimmte Anzahl, beispielsweise 10, an vorhergehenden Zeitschritten, in welchen jeweilige Bildaufnahmen der Bildsequenz gemacht wurden, ermittelt. Die für die jeweiligen vorhergehenden Zeitschritte bestimmten prozentualen Anteile der dynamisch klassifizierten Objektpunkte können dabei von einem Speicher abgerufen werden. Zur Speicherung dieser Daten kann beispielweise ein Ringpuffer verwendet werden mit einer festen Anzahl an Eingängen, wie beispielsweise 10, um Informationen über die letzten 10 Ergebnisse der berechneten prozentualen Anteile zu speichern. Entsprechend können in jedem Zeitschritt, zum Beispiel im Anschluss an Schritt S11, der ermittelte prozentuale Anteil der als dynamisch klassifizierten Objektpunkte in diesem Speicher in Schritt S17 abgelegt werden. In Schritt S18 wird dann entsprechend überprüft, ob der aktuelle prozentuale Anteil der als dynamisch klassifizierten Objektpunkte gegenüber dem mittleren prozentualen Anteil der vorhergehenden Zeitschritte um einen vorbestimmten Grenzwert, wie beispielsweise 25%, erhöht ist. Ist dies der Fall, so wird wiederum zur Schritt S13 übergegangen.
• Ist dies nicht der Fall, so wird in Schritt S19 überprüft, ob bereits ein vorbestimmtes Fahrereignis als vorliegend bestimmt wurde. Ist dies nicht der Fall, so wird in Schritt S20 bestimmt, dass kein vorbestimmtes Fahrereignis vorliegt und es wird wieder zum Anfang übergegangen. Ergibt die Überprüfung in Schritt S19 dagegen, dass ein vorbestimmtes Fahrereignis bereits als vorliegend bestimmt wurde, so wird in einem Schritt S21 überprüft, ob der in Schritt S11 ermittelte prozentuale Anteil dynamisch klassifizierter Objektpunkte unter einen dritten vorbestimmten Grenzwert fällt. Vorzugsweise handelt es sich dabei um einen hystertischen Grenzwert, mit Bezug auf den prozentualen Anteil dynamisch klassifizierter Objektpunkte zum Zeitpunkt, zu welchem das vorliegende Fahrerereignis als neues Fahrereignis bestimmt wurde. Zum Beispiel kann dieser als 20 Prozent weniger als der prozentuale Anteil zum Zeitpunkt der Detektion des aktuell vorliegenden Fahrerereignisses gewählt sein. Liegt also der aktuelle prozentuale Anteil unterhalb dieses dritten Grenzwerts, so wird in Schritt S22 das vorliegende Fahrereignis als nicht mehr vorliegend bestimmt und es wird wieder von vorne begonnen. Wird in Schritt S21 dieser Grenzwert jedoch nicht unterschritten, so wird das vorliegende Fahrereignis in Schritt S14 als weiterhin vorliegend bestimmt und wieder von vorne begonnen.
• Im Stillstand des Kraftfahrzeugs kann ein Reset erfolgen. Dies bedeutet, dass also beispielsweise die gespeicherten prozentualen Anteile im Ringpuffer wieder gelöscht werden und auch zuvor als vorliegend bestimmte Fahrereignisse nun als nicht mehr vorliegend gelten. Dies wird in Schritt S23 durchgeführt, für den Fall, dass in Schritt S10 bestimmt wurde, dass sich das Kraftfahrzeug 1 im Stillstand befindet.
• Für den Fall, dass gemäß diesem Verfahren ein neues Fahrereignis detektiert wird oder als bereits vorliegend bestimmt wird können die Bilddaten für die Dauer dieses Fahrerereignisses verworfen, das heißt einer weiteren Verarbeitung nicht zur Verfügung gestellt, werden oder zumindest als wenig zuverlässig markiert werden. Für den Fall, dass gemäß diesem Verfahren ein solches Fahrereignis als nicht vorliegend oder beendet bestimmt wird, können die Bilddaten wiederum der weiteren Verarbeitung zur Verfügung gestellt werden und optional als zuverlässig gekennzeichnet werden.
• Insgesamt wird so durch die Erfindung und ihre Ausführungsformen eine besonders einfache, wenig rechenintensive, wenig zeitaufwendige und zuverlässige Möglichkeit zur Klassifizierung von Objektpunkten als statisch oder dynamisch bereitgestellt.
• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• US 6473536 B1 [0005]
• US 8259998 B2 [0006]
• WO 2015134832 A1 [0007]

Claims (14)

1. Verfahren zum Klassifizieren zumindest eines Objektpunkts (O) eines Objekts in einer Umgebung (6) eines Kraftfahrzeugs (1) als statisch oder dynamisch, wobei eine Bildsequenz aus Bildern mittels zumindest einer bildgebenden Sensoreinrichtung (3) des Kraftfahrzeugs (1) von zumindest einem Teil der Umgebung (6) des Kraftfahrzeugs mit dem Objektpunkt (O) aufgenommen wird, dadurch gekennzeichnet, dass zumindest für den Fall, dass eine Eigenbewegung des Kraftfahrzeugs (6) in Bezug auf die Umgebung (6) zumindest ein vorbestimmtes Kriterium erfüllt, eine Epipolarebene (7) mit Bezug auf ein zu einem ersten Zeitpunkt aufgenommenes erstes Bild der Bildsequenz und ein zu einem zweiten Zeitpunkt aufgenommenes zweites Bild der Bildsequenz bestimmt wird, wobei ein von einer Position (8a) der Sensoreinrichtung (3) zum zweiten Zeitpunkt in Richtung des Objektpunkts (O) weisender erster Vektor $\left(\overrightarrow{v1}\right)$

   

   auf Basis des zweiten Bilds bestimmt wird und der zumindest eine Objektpunkt (O) als statisch oder dynamisch in Abhängigkeit von einer relativen Lage des ersten Vektors $\left(\overrightarrow{v1}\right)$

   

   in Bezug auf die Epipolarebene (7) klassifiziert wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass überprüft wird, ob der erste Vektor $\left(\overrightarrow{v1}\right)$

   

   innerhalb eines vorbestimmten ersten Toleranzbereichs in der Epipolarebene (7) liegt, und falls die Überprüfung ergibt, dass der erste Vektor $\left(\overrightarrow{v1}\right)$

   

   nicht innerhalb des vorbestimmten ersten Toleranzbereichs in der Epipolarebene (7) liegt, der zumindest eine Objektpunkt (O) als dynamisch klassifiziert wird, und insbesondere andernfalls als statisch.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass zum Überprüfen, ob der erste Vektor $\left(\overrightarrow{v1}\right)$

   

   innerhalb des vorbestimmten ersten Toleranzbereichs in der Epipolarebene (7) liegt, ein Betrag (d) eines zu einem Normalenvektor der Epipolarebene (7) parallel verlaufenden Anteils des ersten Vektors $\left(\overrightarrow{v1}\right)$

   

   berechnet und mit einem den vorbestimmten ersten Toleranzbereich definierenden vorbestimmten Grenzwert verglichen wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Eigenbewegung des Kraftfahrzeugs (1) das zumindest eine vorbestimmte Kriterium erfüllt, wenn eine Geschwindigkeit des Kraftfahrzeugs (1) größer ist als ein vorbestimmter Grenzwert.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Eigenbewegung des Kraftfahrzeugs (1) das zumindest eine vorbestimmte Kriterium erfüllt, wenn sich das Kraftfahrzeug (1) derart in Bezug auf den mindestens einen Objektpunkt (O) bewegt, dass sich die Position (8a) der Sensoreinrichtung (3) zum zweiten Zeitpunkt bezüglich eines vorbestimmten zweiten Toleranzbereichs nicht auf einer ersten Linie (9) befindet, die durch die Position (8v) der Sensoreinrichtung (3) zum ersten Zeitpunkt und eine Position des Objektpunkts (O) zum ersten Zeitpunkt bestimmt ist.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein zweiter Vektor $\left(\overrightarrow{v2}\right)$

   

   bestimmt wird, der kollinear zu einer zweiten Linie (11) verläuft, welche durch die Position (8v) der Sensoreinrichtung (3) zum ersten Zeitpunkt und der Position (8a) der Sensoreinrichtung (3) zum zweiten Zeitpunkt verläuft.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein dritter Vektor $\left(\overrightarrow{v3}\right)$

   

   bestimmt wird, der kollinear zu einer dritten Linie (12) ist, die durch die Position (8a) der Sensoreinrichtung (3) zum zweiten Zeitpunkt sowie durch einen Punkt verläuft, der auf einer ersten Linie liegt, die durch die Position (8v) der Sensoreinrichtung (3) zum ersten Zeitpunkt und die Position des Objektpunkts (O) zum ersten Zeitpunkt verläuft.
8. Verfahren nach einem der Ansprüche 6 oder 7, dadurch gekennzeichnet, dass falls die Eigenbewegung des Kraftfahrzeugs (1) das zumindest eine vorbestimmte Kriterium nicht erfüllt, überprüft wird, ob der erste Vektor $\left(\overrightarrow{v1}\right)$

   

   innerhalb eines vorbestimmten zweiten Toleranzbereichs kollinear in Bezug auf den zweiten $\left(\overrightarrow{v2}\right)$

   

   und/oder dritten Vektor $\left(\overrightarrow{v3}\right)$

   

   ist, und insbesondere falls dem nicht so ist, der Objektpunkt (O) als dynamisch klassifiziert wird.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein erster Flussvektor auf Basis zweier aufeinanderfolgend aufgenommener Bilder der Bildsequenz für den ersten Objektpunkt (O) bestimmt wird, und mit einem zweiten vorhergehend bestimmten Flussvektor verglichen wird, wobei für den Fall, dass der Vergleich ergibt, dass der erste Flussvektor in seiner Länge und/oder Richtung stärker abweicht als ein vorbestimmter Grenzwert, der erste Flussvektor als ungültig klassifiziert wird.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass überprüft wird, ob ein eine korrekte Klassifizierung beeinträchtigendes Fahrereignis vorliegt.
11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass die Überprüfung in Abhängigkeit von einer ermittelten Anzahl an als dynamisch klassifizierten Objektpunkten (O) erfolgt.
12. Verfahren nach einem der Ansprüche 10 oder 11, dadurch gekennzeichnet, dass die Überprüfung ergibt, dass das die korrekte Klassifizierung beeinträchtigende Fahrereignis vorliegt, wenn zumindest eine der folgenden Bedingungen erfüllt ist: - Die Anzahl an in Bezug auf einen Zeitschritt als dynamisch klassifizierten Objektpunkten (O) in Relation zur Gesamtanzahl an als statisch und dynamisch klassifizierten Objektpunkten (O) für diesen Zeitschritt übersteigt einen vorbestimmten ersten Grenzwert; und - Die Anzahl an in Bezug auf einen Zeitschritt als dynamisch klassifizierten Objektpunkten (O) in Relation zur Gesamtanzahl an als statisch und dynamisch klassifizierten Objektpunkten (O) für diesen Zeitschritt ist um mindestens einen vorbestimmten zweiten Grenzwert gegenüber einem Mittelwert erhöht, der sich aus einer Mittelung jeweiliger Anzahlen an als dynamisch klassifizierten Objektpunkten (O) in Relation zur Gesamtanzahl für mehrere vorhergehende Zeitschritte ergibt.
13. Fahrerassistenzsystem (2) für ein Kraftfahrzeug (1), welches dazu ausgelegt ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
14. Kraftfahrzeug (1) mit einem Fahrerassistenzsystem (2) nach Anspruch 13.

Images