DE102012011121A1

DE102012011121A1 - Verfahren zum Detektieren von Objekten nach der Methode des optischen Flusses, Kamerasystem und Kraftfahrzeug

Info

Publication number: DE102012011121A1
Application number: DE201210011121
Authority: DE
Inventors: Sean Finn; Ciaran Hughes; Jan Thomanek; Hadj Hamma Tadjine; Susan Faber
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2012-06-05
Filing date: 2012-06-05
Publication date: 2013-12-05

Abstract

Die Erfindung betrifft ein Verfahren zum Detektieren von Objekten (5) in einem Umgebungsbereich (6) eines Kraftfahrzeugs (1) anhand einer zeitlichen Sequenz von Bildern (9) des Umgebungsbereichs (6), welche mittels einer Kamera (3) des Kraftfahrzeugs (1) erfasst werden, wobei mittels einer elektronischen Auswerteeinrichtung des Kraftfahrzeugs (1) in der Sequenz von Bildern (9) ein Vektorfeld nach einer Methode des optischen Flusses bestimmt wird, welches eine Vielzahl von Flussvektoren (FV) beinhaltet, die jeweils eine Bewegungsrichtung und eine Bewegungsgeschwindigkeit zumindest eines Bildpunktes angeben. Anhand des Vektorfeldes wird ein in dem Umgebungsbereich (6) befindliches Objekt (5) mittels der Auswerteeinrichtung detektiert. Zum Detektieren des Objekts (5) wird auch ein Bewegungsvektor (7) des Kraftfahrzeugs (1) bestimmt, welcher eine aktuelle Geschwindigkeit und eine aktuelle Bewegungsrichtung des Kraftfahrzeugs (1) angibt. Beim Detektieren des Objekts (5) anhand des Vektorfeldes wird auch der Bewegungsvektor (7) des Kraftfahrzeugs (1) berücksichtigt.

Description

Die Erfindung betrifft ein Verfahren zum Detektieren von Objekten in einem Umgebungsbereich eines Kraftfahrzeugs anhand einer zeitlichen Sequenz von Bildern des Umgebungsbereichs, welche mittels einer Kamera des Kraftfahrzeugs erfasst werden. Mittels einer elektronischen Auswerteeinrichtung des Kraftfahrzeugs wird in der Sequenz von Bildern ein Vektorfeld nach einer Methode des optischen Flusses bestimmt, welches (das Vektorfeld) eine Vielzahl von Flussvektoren beinhaltet, die jeweils eine Bewegungsrichtung und eine Bewegungsgeschwindigkeit zumindest eines Bildpunktes angeben. Anhand des Vektorfelds wird dann ein in dem Umgebungsbereich befindliches Objekt mittels der Auswerteeinrichtung detektiert. Die Erfindung betrifft außerdem ein Kamerasystem für ein Kraftfahrzeug, wie auch ein Kraftfahrzeug mit einem Kamerasystem.
Kamerasysteme für Kraftfahrzeuge sind bereits aus dem Stand der Technik bekannt. Ein solches Kamerasystem beinhaltet bekanntlich eine Kamera, welche an dem Kraftfahrzeug angebracht ist und einen Umgebungsbereich des Kraftfahrzeugs erfasst. Es können auch mehrere solche Kameras eingesetzt werden, welche die gesamte Umgebung um das Kraftfahrzeug herum erfassen. Die am Kraftfahrzeug montierte (zumindest eine) Kamera erfasst dann eine zeitliche Abfolge von Bildern des Umgebungsbereichs, nämlich beispielsweise eine Vielzahl von Bildern pro Sekunde. Diese zeitliche Sequenz von Bildern wird dann an eine elektronische Auswerteeinrichtung übermittelt, welche die aufgenommenen Bilder verarbeitet und auf der Grundlage der Bilder verschiedenste Funktionalitäten im Kraftfahrzeug bereitstellen kann. Vorliegend richtet sich das Interesse auf die Detektion von Objekten, die sich in dem abgebildeten Umgebungsbereich befinden. Wird ein derartiges Objekt in den Bildern detektiert, so kann dieses Objekt dann in der Sequenz von Bildern verfolgt werden. Zu diesem Zwecke wird in der Regel eine Methode des optischen Flusses verwendet, bei welcher zunächst charakteristische Punkte – nämlich charakteristische Merkmale, wie beispielsweise Kanten, Ecken und dergleichen – in den Bildern detektiert und zu jedem charakteristischen Merkmal dann ein Flussvektor definiert wird, welcher die Bewegungsrichtung und die Bewegungsgeschwindigkeit dieses charakteristischen Merkmals in der Sequenz von Bildern angibt.
Aus dem Dokument US 7 557 691 A1 ist ein Kamerasystem bekannt, bei welchem zur Detektion eines Objekts mehrere Kameras eingesetzt werden, welche jeweils eine zeitliche Sequenz von Bildern erfassen. Eine Auswerteeinrichtung detektiert dann das Objekt anhand der verschiedensten Bildsequenzen. Auch in dem Dokument US 6 801 244 A1 wird vorgeschlagen, zur Detektion eines Objekts mindestens zwei Kameras – also eine Stereo-Kamera – einzusetzen und die jeweiligen Bildsequenzen der zumindest zwei Kameras miteinander zu vergleichen.
An dem genannten Stand der Technik ist nachteilig, dass zur Detektion des Objekts im Umgebungsbereich des Kraftfahrzeugs zumindest zwei Kameras bzw. eine Stereo-Kamera eingesetzt werden muss. Somit ist einerseits die Anzahl der benötigten Komponenten relativ groß; andererseits ist das Kombinieren der Bilder unterschiedlicher Kameras relativ aufwändig. Eine Abhilfe schafft hier ein Verfahren, wie es im Dokument EP 1 646 008 A1 vorgeschlagen wird. Mittels einer Mono-Kamera wird ein erstes Bild und zeitlich dazu beabstandet ein zweites Bild des Umgebungsbereichs des Kraftfahrzeugs aufgenommen. Ein erstes transformiertes Bild wird dann durch Projektion des ersten aufgenommenen Bildes aus der Kamerabildebene in die Ebene des Erdbodens erzeugt, wie auch ein zweites transformiertes Bild durch Projektion des zweiten aufgenommenen Bildes aus der Kamerabildebene in die Bodenebene. Dann wird ein Differenzbild aus dem ersten und dem zweiten transformierten Bild ermittelt, und durch Auswertung des Differenzbildes wird ermittelt, ob sich ein Hindernis im Fahrweg des Fahrzeugs befindet. Dabei kann auch die Fahrzeuggeschwindigkeit sowie eine Änderung der Fahrtrichtung des Kraftfahrzeugs bei der Erzeugung der transformierten Bilder berücksichtigt werden. Ebenso können die Fahrzeuggeschwindigkeit sowie die Änderung der Fahrtrichtung sowie auch der zeitliche Abstand zwischen den Aufnahmezeitpunkten der Bilder bei der Ermittlung des Differenzbildes berücksichtigt werden.
Vorliegend gilt das Interesse jedoch – wie erwähnt – dem optischen Fluss. Bei der Verfolgung eines Objekts mithilfe der Methode des optischen Flusses können sich folgende Probleme ergeben: Bewegt sich das Kraftfahrzeug selbst, so entstehen Flussvektoren nicht nur an beweglichen Objekten, sondern auch in dem gesamten Bildrahmen, weil sich auch die Kamera relativ zu der von der Kamera erfassten Szene bewegt. Die Flussvektoren entstehen somit sowohl in denjenigen Bildbereichen, welche den Erdboden des Umgebungsbereichs darstellen, als auch in denjenigen Bildbereichen, in denen über dem Boden befindliche Gegenstände bzw. Objekte abgebildet sind. Auf der anderen Seite entstehen Flussvektoren sowohl in Bildbereichen, welche stationäre und sich somit nicht bewegende Objekte darstellen, als auch in Bildbereichen, in denen sich bezüglich des Bodens bewegende Objekte abgebildet sind. Einerseits ist es somit eine besondere Herausforderung, diejenigen Bildbereiche, welche den Erdboden darstellen, oder diejenigen Bildbereiche, welche Merkmale mit keiner Höhe über dem Boden (beispielsweise Straßenmarkierungen) darstellen, von denjenigen Bildbereichen zu unterscheiden, welche sich über dem Boden erhebende Gegenstände darstellen. Mit anderen Worten geht es darum, tatsächliche, auf dem Boden stehende Objekte von dem Boden selbst oder aber von Objekten zu unterscheiden, welche flach auf dem Boden liegen und keine Höhe über dem Boden aufweisen (beispielsweise Straßenmarkierungen). Auf der anderen Seite besteht eine weitere Herausforderung darin, diejenigen Bildbereiche, in denen sich bewegende Gegenstände abgebildet sind, von denjenigen Bildbereichen zu unterscheiden, welche stationäre Gegenstände darstellen. Eine noch weitere Herausforderung liegt darin, die genannte Unterscheidung mithilfe einer Mono-Kamera, also mittels einer einzigen Kamera, zu treffen.
Es ist Aufgabe der Erfindung, ein Verfahren, ein Kamerasystem sowie ein Kraftfahrzeug bereitzustellen, bei denen Maßnahmen getroffen sind, die gewährleisten, dass in dem Umgebungsbereich des Kraftfahrzeugs befindliche Objekte besonders zuverlässig detektiert und dabei von dem Erdboden sowie auf dem Boden angebrachten Markierungen und dergleichen unterschieden werden können.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Kamerasystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
Ein erfindungsgemäßes Verfahren dient zum Detektieren von Objekten in einem Umgebungsbereich eines Kraftfahrzeugs anhand einer zeitlichen Sequenz von Bildern des Umgebungsbereichs, welche mittels einer Kamera des Kraftfahrzeugs erfasst werden. Mittels einer elektronischen Auswerteeinrichtung des Kraftfahrzeugs wird in der Sequenz von Bildern ein Vektorfeld nach einer Methode des optischen Flusses bestimmt, wobei das Vektorfeld eine Vielzahl von Flussvektoren beinhaltet, die jeweils eine Bewegungsrichtung und eine Bewegungsgeschwindigkeit zumindest eines Bildpunktes angeben. Anhand des Vektorfelds wird ein in dem Umgebungsbereich befindliches Objekt mittels der Auswerteeinrichtung detektiert. Erfindungsgemäß ist vorgesehen, dass zum Detektieren des Objekts ein Bewegungsvektor des Kraftfahrzeugs bestimmt wird, welcher eine aktuelle Geschwindigkeit und eine aktuelle Bewegungsrichtung des Kraftfahrzeugs angibt, und dass beim Detektieren des Objekts anhand des Vektorfelds – also anhand des optischen Flusses – auch der Bewegungsvektor des Kraftfahrzeugs berücksichtigt wird.
Durch das erfindungsgemäße Verfahren wird es möglich, über dem Boden befindliche Gegenstände von dem Erdboden selbst zu unterscheiden. Des Weiteren wird es auch ermöglicht, sich bewegende Objekte von stillstehenden Objekten zu unterscheiden. Denn es hat sich herausgestellt, dass die Flussvektoren des Vektorfelds mit dem Bewegungsvektor des Kraftfahrzeugs oder aber mit einem daraus berechneten Vektor verglichen werden können und anhand dieses Vergleichs festgestellt werden kann, ob es sich um Flussvektoren handelt, die zum Erdboden selbst gehören, oder aber es sich um Flussvektoren handelt, welche zu tatsächlichen Objekten gehören, die sich über dem Boden befinden. Der genannte Vergleich liefert außerdem eine eindeutige Information darüber, ob die Flussvektoren zu Objekten gehören, die sich bezüglich des Erdbodens bewegen, oder aber zu Objekten, welche bezüglich des Erdbodens stillstehen. Mittels einer einzigen Kamera bzw. einer Mono-Kamera kann somit selbst bei einer Bewegung des Kraftfahrzeugs ein tatsächliches Hindernis von dem Erdboden sowie ein sich bewegendes Objekt von einem stationären Objekt unterschieden werden.
In einer Ausführungsform ist folglich vorgesehen, dass zur Detektion des Objekts die Flussvektoren mit dem Bewegungsvektor des Kraftfahrzeugs oder aber mit einem daraus berechneten Vektor verglichen werden.
Dabei erweist es sich als besonders vorteilhaft, wenn zu jedem Flussvektor jeweils ein Subtraktionsvektor durch Subtraktion des Bewegungsvektors des Kraftfahrzeugs von dem jeweiligen Flussvektor berechnet wird und das Objekt in Abhängigkeit von den Subtraktionsvektoren detektiert wird. Es kann dabei vorgesehen sein, dass die Flussvektoren mit den jeweils zugeordneten Subtraktionsvektoren bezüglich der Richtung und/oder bezüglich des Betrags (Amplitude) verglichen werden und die Detektion des Objekts in Abhängigkeit von einem Ergebnis dieses Vergleichs erfolgt. Diese Ausführungsform basiert auf der Erkenntnis, dass wegen der so genannten Parallaxe diejenigen Bildbereiche, welche über dem Erdboden befindliche tatsächliche Gegenstände darstellen, Flussvektoren besitzen, welche sich von den zugeordneten Subtraktionsvektoren in der Richtung und/oder in dem Betrag deutlich unterscheiden. Demgegenüber sind die Flussvektoren des Erdbodens im Wesentlichen gleich den zugeordneten Subtraktionsvektoren. Somit kann festgestellt werden, welche Bildbereiche zu dem Erdboden oder aber zu auf dem Boden befindlichen Objekten mit keiner Höhe gehören und somit kein Hindernis für das Kraftfahrzeug selbst darstellen, sowie welche Bildbereiche zu tatsächlichen Gegenständen gehören, welche auf dem Boden stehen und somit potentielle Hindernisse darstellen.
Hinsichtlich der Subtraktion des Bewegungsvektors des Kraftfahrzeugs von den Flussvektoren sind grundsätzlich zwei alternative Ausführungsformen vorgesehen: Zum einen kann diese Subtraktion in einem Koordinatensystem des Bildes erfolgen, d. h. in der Bildebene. Zu diesem Zwecke kann der Bewegungsvektor des Kraftfahrzeugs ohne viel Aufwand in das Koordinatensystem des Bildes projiziert werden. Diese Ausführungsform kann relativ einfach implementiert werden. Auf der anderen Seite kann auch vorgesehen sein, dass die Subtraktion in einem fahrzeugexternen Bodenkoordinatensystem erfolgt, d. h. in der Ebene des Erdbodens. Hier können die Flussvektoren in das Bodenkoordinatensystem transformiert werden, sodass sowohl der Bewegungsvektor des Kraftfahrzeugs als auch die Flussvektoren in dem Bodenkoordinatensystem vorliegen.
Wie bereits ausgeführt, können die Flussvektoren klassifiziert werden: Es kann zwischen Bodenflussvektoren einerseits sowie zwischen Objektflussvektoren andererseits unterschieden werden. Die Bodenflussvektoren sind diejenigen Flussvektoren, welche zu Bildpunkten gehören, welche den Erdboden des Umgebungsbereichs darstellen. Demgegenüber sind die Objektflussvektoren diejenigen Flussvektoren, welche zu Bildpunkten gehören, welche über dem Boden befindliche Gegenstände, d. h. auf dem Boden stehende tatsächliche Objekte darstellen. Somit können auch tatsächliche Hindernisse von dem Erdboden und somit auch von Markierungen unterschieden werden, die auf dem Erdboden – beispielsweise auf der Straße – angebracht sind.
Insbesondere wird ein Flussvektor dann als Bodenflussvektor klassifiziert, wenn eine Differenz zwischen den Beträgen und/oder eine Differenz zwischen den Richtungen dieses Flussvektors einerseits und des zugehörigen Subtraktionsvektors andererseits kleiner als ein vorgegebener Grenzwert ist. Ein Flussvektor wird dabei bevorzugt dann als Bodenflussvektor klassifiziert, wenn die beiderseitigen Beträge und/oder die Richtungen gleich sind. Weiterhin insbesondere wird ein Flussvektor dann als Bodenflussvektor klassifiziert, wenn sowohl die beiderseitigen Beträge als auch die Richtungen gleich sind. Diese Ausführungsform macht sich die Tatsache zunutze, dass diejenigen Flussvektoren, welche gleich dem zugeordneten Subtraktionsvektor sind, zu dem Erdboden des Umgebungsbereichs selbst gehören. Wird andererseits festgestellt, dass ein Flussvektor in seiner Richtung und/oder in seinem Betrag deutlich unterschiedlich von dem zugeordneten Subtraktionsvektor ist, so kann aufgrund der Parallaxe angenommen werden, dass dieser Flussvektor zu einem tatsächlichen Gegenstand über dem Boden gehört. Dieser Flussvektor kann also als Objektflussvektor klassifiziert werden.
Folglich wird ein Flussvektor dann als Objektflussvektor klassifiziert, wenn die Differenz zwischen den Beträgen und/oder die Differenz zwischen den Richtungen dieses Flussvektors einerseits und des zugehörigen Subtraktionsvektors anderseits größer als der vorgegebene Grenzwert ist.
Bevorzugt umfasst das Detektieren des Objekts, dass die Bodenflussvektoren herausgefiltert und somit als irrelevant verworfen werden. Zur Detektion des Objekts werden somit die Bodenflussvektoren nicht mehr berücksichtigt, weil sie lediglich dem irrelevanten Erdboden zugeordnet sind. Demgegenüber können aus Flussvektoren, welche als Objektflussvektoren klassifiziert wurden, nach einer Cluster-Methode diejenigen Flussvektoren zu einer gemeinsamen Vektorgruppe zusammengefasst werden, welche zu ein und demselben Objekt gehören. Bei der Zusammenfassung der Objektflussvektoren zu einer gemeinsamen Vektorgruppe können die Richtungen und/oder die Amplituden, also die Beträge der Flussvektoren, berücksichtigt werden. Welche Cluster-Methode vorliegend angewendet wird, ist jedoch unerheblich, sodass die Erfindung nicht auf eine bestimmte Cluster-Methode beschränkt ist. Durch Zusammenfassen der Objektflussvektoren zu einer gemeinsamen Vektorgruppe kann das Objekt von anderen Objekten unterschieden und somit detektiert werden.
Eine Klassifizierung der Flussvektoren kann auch so aussehen, dass zwischen bewegten Flussvektoren einerseits sowie stationären Flussvektoren andererseits unterschieden wird. Als bewegte Flussvektoren werden dabei solche Flussvektoren bezeichnet, welche zu Objekten gehören, die sich bezüglich des Erdbodens des Umgebungsbereichs bewegen. Demgegenüber sind stationäre Flussvektoren diejenigen Flussvektoren, die zu stillstehenden Objekten gehören. Auf diese Art und Weise kann auch zwischen beweglichen Objekten einerseits und feststehenden Objekten andererseits unterschieden werden.
Und zwar wird ein Flussvektor bevorzugt dann als bewegter Flussvektor klassifiziert, wenn eine Differenz zwischen den Beträgen und/oder eine Differenz zwischen den Richtungen dieses Flussvektors einerseits und des zugehörigen Subtraktionsvektors andererseits größer als ein vorgegebener Grenzwert ist. Durch Vergleich der Flussvektoren einerseits mit den zugehörigen Subtraktionsvektoren andererseits lässt sich nämlich ebenfalls eindeutig feststellen, ob die Flussvektoren zu beweglichen Bildbereichen oder aber zu feststehenden (bezüglich des Bodens) Bildbereichen gehören. Insbesondere wird dabei ein Flussvektor dann als bewegter Flussvektor klassifiziert, wenn sowohl die Differenz zwischen den Beträgen als auch die Differenz zwischen den Richtungen dieses Flussvektors einerseits und des zugehörigen Subtraktionsvektors andererseits größer als der jeweilige vorgegebene Grenzwert sind.
Ein erfindungsgemäßes Kamerasystem für ein Kraftfahrzeug umfasst eine Kamera zum Erfassen einer zeitlichen Sequenz von Bildern eines Umgebungsbereichs des Kraftfahrzeugs, wie auch eine elektronische Auswerteeinrichtung, welche dazu ausgelegt ist, anhand der Sequenz von Bildern ein in dem Umgebungsbereich befindliches Objekt zu detektieren. Das Kamerasystem, und insbesondere die Auswerteeinrichtung, sind zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet.
Ein erfindungsgemäßes Kraftfahrzeug beinhaltet ein erfindungsgemäßes Kamerasystem.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels, wie auch unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
Es sei betont, dass das nachstehend beschriebene Ausführungsbeispiel lediglich eine bevorzugte Ausführungsform der Erfindung darstellt und die Erfindung somit nicht auf diese beispielhafte Ausführungsform beschränkt ist.
Es zeigen:
1 in schematischer Darstellung eine Seitenansicht eines Kraftfahrzeugs gemäß einer Ausführungsform der Erfindung;
2 ein Flussdiagramm eines Verfahrens gemäß einer Ausführungsform der Erfindung;
3 und 4 in schematischer Darstellung eine Seitenansicht des Kraftfahrzeugs gemäß 1, wobei ein Verfahren gemäß einer Ausführungsform der Erfindung näher erläutert wird; und
5 bis 7 in schematischer Darstellung einzelne Bilder, welche mittels einer Kamera des Kraftfahrzeugs erfasst wurden, wobei eine Unterscheidung zwischen Bodenflussvektoren einerseits sowie Objektflussvektoren andererseits sowie eine Unterscheidung zwischen bewegten Flussvektoren einerseits und stationären Flussvektoren andererseits erläutert wird.
In 1 ist in schematischer Darstellung eine Seitenansicht eines Kraftfahrzeugs 1 gemäß einer Ausführungsform der Erfindung dargestellt. Das Kraftfahrzeug 1 ist beispielsweise ein Personenkraftwagen. Es weist ein Kamerasystem 2 auf, welches eine Kamera 3 umfasst, insbesondere eine Mono-Kamera. Das Kraftfahrzeug 1 befindet sich auf einer Straße 4, welche gleichzeitig auch einen Erdboden darstellt. Auf dem Erdboden 4 befindet sich außerdem ein Objekt 5, d. h. ein Hindernis mit einer gewissen Höhe über dem Erdboden 4.
Das Kamerasystem 2 ist ein Kollisionswarnungssystem und dient zum Warnen des Fahrers des Kraftfahrzeugs 1 vor dem Objekt 5, welches sich in einem Umgebungsbereich 6 des Kraftfahrzeugs 1 befindet. Das Kamerasystem 2 dient insbesondere zur Detektion des Objekts 5, wie auch zur Verfolgung des Objekts 5. Dabei werden mittels der Kamera 3 Bilder aufgenommen, welche nachfolgend mittels einer nicht näher dargestellten elektronischen Auswerteeinrichtung (zum Beispiel digitaler Signalprozessor) verarbeitet werden. Die Auswerteeinrichtung empfängt also die aufgenommenen Bilder und zusätzlich auch Informationen über den jeweils aktuellen Lenkwinkel des Kraftfahrzeugs 1 und/oder die jeweils aktuelle Geschwindigkeit des Kraftfahrzeugs 1 und/oder über die jeweils aktuelle Bewegungsrichtung des Kraftfahrzeugs 1 und kann in Abhängigkeit von den empfangenen Informationen einen Bewegungsvektor des Kraftfahrzeugs 1 ermitteln. Die genannten Informationen können beispielsweise an dem CAN-Bus abgegriffen werden. Der Bewegungsvektor des Kraftfahrzeugs 1 gibt die aktuelle Geschwindigkeit des Kraftfahrzeugs 1 sowie die aktuelle Bewegungsrichtung des Kraftfahrzeugs 1 an, und zwar in einem Bodenkdordinatensystem des Erdbodens 4, also in der Ebene des Bodens 4.
Die Kamera 3 weist einen Erfassungswinkel α auf, der beispielsweise in einem Wertebereich von 90° bis 200° liegen kann. Die Kamera 3 kann eine CMOS-Kamera oder aber eine CCD-Kamera oder eine beliebige Bilderfassungseinrichtung sein, aus welcher Flussvektoren extrahiert werden können.
Im Ausführungsbeispiel gemäß 1 ist die Kamera 3 in einem Heckbereich des Kraftfahrzeugs 1 angeordnet und erfasst einen Umgebungsbereich 6 hinter dem Kraftfahrzeug 1. Die Erfindung ist jedoch nicht auf eine solche Anordnung der Kamera 3 beschränkt. Die Anordnung der Kamera 3 kann je nach Ausführungsform unterschiedlich sein. Beispielsweise kann die Kamera 3 auch in einem vorderen Bereich des Kraftfahrzeugs 1 angeordnet sein und den Umgebungsbereich vor dem Kraftfahrzeug 1 erfassen. Es können auch mehrere solche Kameras 3 eingesetzt werden, welche jeweils zur Detektion eines Objekts ausgebildet sind.
Die Kamera 3 ist eine Video-Kamera, welche kontinuierlich eine Sequenz von Einzelbildern erfasst. Die elektronische Auswerteeinrichtung verarbeitet dann die Bildsequenz in Echtzeit und kann anhand dieser Bildsequenz das Objekt 5 erkennen und verfolgen. Dies bedeutet, dass die Auswerteeinrichtung die jeweils aktuelle Position des Objekts 5 relativ zum Kraftfahrzeug 1 ermitteln kann.
Vorliegend richtet sich das Interesse auf drei verschiedene Situationen, nämlich:

– eine Situation, in welcher das Kraftfahrzeug 1 relativ zum Boden 4 stillsteht, sich das zu detektierende Objekt 5 jedoch relativ zum Boden 4 bewegt;
– eine Situation, in welcher sich das Kraftfahrzeug 1 relativ zum Boden 4 bewegt, jedoch das Objekt 5 relativ zum Boden 4 stillsteht; sowie
– eine Situation, in welcher sich sowohl das Kraftfahrzeug 1 als auch das Objekt 5 relativ zum Boden 4 bewegen.

Dabei stellen insbesondere die letzten zwei Situationen eine besondere Herausforderung bei der Detektion von Objekten 5 mittels des optischen Flusses.
In der aufgenommenen Bildsequenz wird nun durch die Auswerteeinrichtung ein Algorithmus bzw. eine Methode des optischen Flusses durchgeführt, wobei als Methode des optischen Flusses das so genannte „Dense Optical Flow” oder „Semi-Dense Optical Flow” oder aber „Sparse Optical Flow” verwendet werden kann. Es kann eine beliebige geeignete Methode des optischen Flusses angewendet werden. Die Erfindung ist somit nicht auf eine bestimmte Methode beschränkt; wichtig ist lediglich, dass in den Bildern der Kamera 3 charakteristische Merkmale detektiert werden und zu diesen charakteristischen Merkmalen die jeweiligen Flussvektoren bestimmt werden.
Also können verschiedenste Methoden des optischen Flusses verwendet werden. Beispielsweise können folgende Methoden vorgesehen sein:

– „dichter optischer Fluss” (dense optical flow) – durchgeführt durch Blockzuordnung vordefinierter Blöcke, welche das gesamte Bild abdecken;
– „semi-dense block matching optical flow” (mitteldichter optischer Fluss) – hier werden Blöcke nur dann verarbeitet, wenn sie so genannte interessierende Merkmale (features of interest) beinhalten; ob ein Block solche interessierenden Merkmale beinhaltet oder nicht, kann mithilfe einer Kantenerkennung und/oder Eckenerkennung und/oder einer vergleichbaren Merkmalserkennung festgestellt werden; oder
– „sparse optical flow” (spärlicher optischer Fluss) – durch Merkmalsextraktion (beispielsweise Eckenerkennung) sowie Merkmalsverfolgung zwischen den Bildern.

Unabhängig von der verwendeten Methode des optischen Flusses ist das Ergebnis eine Vielzahl von Flussvektoren FV, welche insgesamt ein Vektorfeld von Flussvektoren bilden.
Die Methode des optischen Flusses detektiert bewegliche Objekte 5, wenn das Kraftfahrzeug 1 stillsteht, was grundsätzlich der ersten oben genannten Situation entspricht. Bewegt sich jedoch das Kraftfahrzeug 1, so bewegt sich auch die Kamera 3 bezüglich des Bodens 4, sodass eine Bewegung in dem gesamten Bild entsteht. Somit entstehen auch Flussvektoren FV in dem gesamten Bild, nämlich sowohl in Bildbereichen, in denen der statische Boden 4 abgebildet ist, wie auch in den Bildbereichen, welche ein bewegliches Objekt 5 darstellen. In der oben genannten zweiten Situation ist es somit eine Herausforderung, zwischen Flussvektoren eines tatsächlichen Gegenstands einerseits sowie Flussvektoren des statischen Bodens 4 andererseits zu unterscheiden.
In der oben genannten dritten Situation wiederum werden die durch das bewegliche Objekt 5 erzeugten Flussvektoren durch die Bewegung des Kraftfahrzeugs 1 beeinflusst. In diesem Falle besteht eine Herausforderung ebenfalls darin, die Flussvektoren des sich bewegenden Objekts 5 von den Flussvektoren des (in den Bildern beweglichen) Bodens 4 zu unterscheiden.
Die oben genannten Probleme können gelöst werden, indem die Bewegung des Kraftfahrzeugs 1 selbst berücksichtigt wird. Und zwar wird der Bewegungsvektor des Kraftfahrzeugs 1 berechnet, welcher die aktuelle Bewegungsrichtung sowie die aktuelle Geschwindigkeit des Kraftfahrzeugs 1 beschreibt. Selbstverständlich ist hier auch die Situation mit umfasst, dass das Koordinatensystem an einem Punkt des Kraftfahrzeugs 1 fixiert wird und somit anstatt des Bewegungsvektors des Kraftfahrzeugs 1 ein Bewegungsvektor des Bodens 4 bzw. der gesamten Umgebung berechnet wird. Diese Situation ist gleichwertig zur Berechnung des Bewegungsvektors des Kraftfahrzeugs 1.
2 zeigt nun ein Flussdiagramm eines Verfahrens gemäß einer Ausführungsform der Erfindung. In einem ersten Schritt S1 erfasst die Kamera 3 die zeitliche Sequenz von Bildern und übermittelt diese Bilder an die elektronische Auswerteeinrichtung. Nach dem Schritt S1 ist somit jeweils das aktuell erfasste Bild F(T) vorhanden. In einem optionalen Schritt S2 kann eine Filterung der detektierten charakteristischen Merkmale vorgenommen werden, welche in einem weiteren Schritt S3 dem Algorithmus des optischen Flusses zugrunde gelegt werden. Die optionale Filterung kann beispielsweise bei dem oben genannten „sparse optical flow” angewendet werden. Parallel dazu wird mithilfe eines Verzögerungsglieds gemäß Schritt S4 eine verzögerte Bildsequenz bereitgestellt, sodass nach dem Schritt S4 ein vorhergehendes Bild F(T-1) vorhanden ist, welches in einem optionalen Schritt S5 ebenfalls einer Filterung unterzogen wird, um – wie im Schritt S2 – eine Filterung der detektierten charakteristischen Merkmale des Bildes vorzunehmen. Das vorherige Bild F(T-1) wird dann dem Algorithmus des optischen Flusses gemäß Schritt S3 zugeführt. Im Schritt S3 wird also der Algorithmus des optischen Flusses ausgeführt. Hierbei werden die charakteristischen Merkmale des Bildes F(T-1) den korrespondierenden Merkmalen des Bildes (T) zugeordnet, und zu jedem Merkmal wird ein Flussvektor FV ermittelt, welcher die Bewegungsgeschwindigkeit sowie die Bewegungsrichtung des jeweiligen Merkmals angibt. Als Ergebnis des Schrittes S3 stehen somit optische Flussvektoren FV zur Verfügung.
Die Bilder werden durch die Auswerteeinrichtung grundsätzlich zu unterschiedlichen Zeitpunkten abgetastet. Allerdings ist es nicht erforderlich, jeweils zwei unmittelbar benachbarte Bilder der Bildsequenz zu verarbeiten. Liefert die Kamera 3 beispielsweise N Bilder pro Sekunde, kann die Auswerteeinrichtung nur M Bilder pro Sekunde verarbeiten, wobei M ≤ N. M ist dabei insbesondere eine ganzzahlige Division der Bildrate N der Kamera 3. Dadurch kann das Verfahren bei verschiedensten Bildraten der Kamera 3 verwendet werden. Wird beispielsweise eine Kamera 3 verwendet, die 30 Bilder pro Sekunde erfasst, kann nur ein Drittel der Bilder, also 10 Bilder pro Sekunde, zur Detektion und Verfolgung des Objekts 5 weiter berücksichtigt und verarbeitet werden. Zusätzlich muss die Berechnung des Bewegungsvektors des Kraftfahrzeugs 1 nicht in aufwändiger Weise an die jeweilige Bildrate der Kamera angepasst werden und ist somit unabhängig von der Kamera 3.
Parallel zur Ausführung des Algorithmus des optischen Flusses werden in einem Schritt S6 Informationen über die Bewegung des Kraftfahrzeugs 1 erfasst. Wie bereits ausgeführt, erfasst die elektronische Auswerteeinrichtung hier verschiedenste Informationen betreffend die aktuelle Bewegungsrichtung sowie die aktuelle Geschwindigkeit des Kraftfahrzeugs 1. Zu diesen Informationen können beispielsweise folgende Größen gehören: die Drehzahl der Räder des Kraftfahrzeugs 1 und/oder die Geschwindigkeit des Kraftfahrzeugs 1 und/oder der Lenkwinkel und/oder die Gierrate und/oder der aktuelle Gang und dergleichen. In einem nachfolgenden Schritt S7 werden die erfassten Informationen mithilfe der Odometrie zu einem Bewegungsvektor 7 des Kraftfahrzeugs 1 konvertiert, sodass in einem noch weiteren Schritt S8 der aktuelle Bewegungsvektor des Kraftfahrzeugs 1 vorliegt.
Eine schematische Darstellung eines beispielhaften Bewegungsvektors 7 des Kraftfahrzeugs 1 ist in 3 näher dargestellt. Im Beispiel gemäß 3 bewegt sich das Kraftfahrzeug 1 rückwärts, nämlich auf das Objekt 5 zu. Der Bewegungsvektor 7 liegt dabei in einem Bodenkoordinatensystem vor, d. h. in der Bodenebene. Wenn sich das zu detektierende Objekt 5 bewegt, besitzt dieses Objekt 5 ebenfalls seinen eigenen Bewegungsvektor in dem Bodenkoordinatensystem. Dies wird in der Bildsequenz anhand des optischen Flusses detektiert, nämlich als Flussvektoren an den charakteristischen Merkmalen an dem Objekt 5. Bewegt sich jedoch das Objekt 5 nicht, sondern lediglich das Kraftfahrzeug 1, und wird das Koordinatensystem an dem Kraftfahrzeug 1 fixiert (beispielsweise an der Kamera 3 oder aber in einem Zentrum des Koordinatensystems des Kraftfahrzeugs 1), so ist die relative Bewegung des statischen Objekts 5 bekannt und hat dieselbe Amplitude wie der Bewegungsvektor 7 des Kraftfahrzeugs 1, jedoch eine entgegengesetzte Richtung. Weil sich das Kraftfahrzeug 1 hier bezüglich des eigenen Koordinatensystems nicht bewegt, haben alle Merkmale bzw. alle Punkte des Objekts 5 ein und denselben Bewegungsvektor 8 relativ zum Kraftfahrzeug 1, wie dies anhand einer schematischen Darstellung gemäß 4 beispielhaft gezeigt ist. Dieselbe Überlegung kann auch auf den Erdboden 4 selbst angewendet werden, also beispielsweise auf Straßenmarkierungen und dergleichen, welche nicht als relevante Hindernisse betrachtet werden.
Mit erneutem Bezug auf 2 stehen nunmehr die Flussvektoren FV einerseits sowie der Bewegungsvektor 7 des Kraftfahrzeugs 1 andererseits zur Verfügung. Nun werden aus den Flussvektoren FV sowie dem Bewegungsvektor 7 des Kraftfahrzeugs 1 Subtraktionsvektoren SV berechnet, nämlich durch Subtraktion des Bewegungsvektors 7 von den Flussvektoren FV. Zu jedem Flussvektor FV wird dabei jeweils ein Subtraktionsvektor SV durch Subtraktion des Bewegungsvektors 7 berechnet. In einem Schritt S9 stehen somit eine Vielzahl von Subtraktionsvektoren SV zur Verfügung. Diese Subtraktionsvektoren SV können entweder in dem Bodenkoordinatensystem oder aber in einem Koordinatensystem des Kamerabildes (also in der Bildebene) bestimmt werden. Zu diesem Zwecke können in einem optionalen Schritt S10 die Flussvektoren FV in das Bodenkoordinatensystem projiziert werden. Alternativ kann der Bewegungsvektor 7 des Kraftfahrzeugs 1 in einem optionalen Schritt S11 in die Bildebene transformiert werden.
In einem nachfolgenden Schritt S12 werden die Flussvektoren FV mit den Subtraktionsvektoren SV verglichen. Auch hier können zwei verschiedene Ausführungsformen vorgesehen sein: Zum einen können alle Vektoren in die Bildebene projiziert werden. Dies bedeutet, dass die in der Ebene des Erdbodens 4 definierten Vektoren in die Bildebene transformiert werden können, und zwar insbesondere auch unter Berücksichtigung der optischen Eigenschaften der Kamera 3, wie beispielsweise der optischen Eigenschaften einer Linse. Zum anderen können alle Vektoren in die Ebene des Bodens 4 projiziert werden, sodass alle charakteristischen Merkmale in der Ebene des Bodens 4 zwei Vektoren aufweisen, nämlich einerseits den Flussvektor FV sowie andererseits den Subtraktionsvektor SV.
Unabhängig davon, in welchem Koordinatensystem die Vektoren FV und SV vorliegen, werden alle Flussvektoren FV mit den zugeordneten Subtraktionsvektoren SV verglichen. Dieser Vergleich erfolgt sowohl bezüglich der Amplitude als auch bezüglich der Richtung der Vektoren. Dies bedeutet, dass sowohl die beiderseitigen Amplituden der Flussvektoren FV einerseits und der Subtraktionsvektoren SV andererseits als auch die beiderseitigen Richtungen der Flussvektoren FV einerseits sowie der Subtraktionsvektoren SV andererseits verglichen werden. Bei dem Vergleich wird für jeden Flussvektor FV eine Differenz zwischen der Amplitude dieses Flussvektors FV und der Amplitude des zugeordneten Subtraktionsvektors SV berechnet, wobei diese Differenz als Amplitudendifferenz bezeichnet wird. Zusätzlich wird auch für jeden Flussvektor FV eine Richtungsdifferenz berechnet, d. h. eine Differenz zwischen der Richtung dieses Flussvektors FV und der Richtung des zugeordneten Subtraktionsvektors SV. Sowohl für die Amplitudendifferenzen als auch für die Richtungsdifferenzen werden Grenzwerte definiert, und es wird überprüft, ob die Richtungsdifferenzen einen vorgegebenen Grenzwert überschreiten. Es wird auch überprüft, ob die Amplitudendifferenzen einen vorgegebenen Grenzwert überschreiten. Abhängig von dieser Überprüfung werden dann die Flussvektoren klassifiziert:

– Diejenigen Flussvektoren, deren Amplitudendifferenz und Richtungsdifferenz kleiner als die jeweiligen Grenzwerte sind, werden als Bodenflussvektoren klassifiziert, d. h. solche Flussvektoren, welche zu dem Erdboden 4 gehören;
– diejenigen Flussvektoren, deren Amplitudendifferenz und/oder Richtungsdifferenz größer als der jeweilige Grenzwert ist, werden als Objektflussvektoren klassifiziert, d. h. solche Flussvektoren, welche zu einem über dem Boden 4 befindlichen Hindernis gehören.

Durch entsprechende Festlegung des Grenzwertes für die Amplitudendifferenz sowie des Grenzwertes für die Richtungsdifferenz kann auch die Höhe über dem Boden 4 definiert werden, bis zu welcher die Flussvektoren FV als Bodenflussvektoren interpretiert werden können. Beispielsweise beträgt diese Höhe 10 cm oder 15 cm.
Die Klassifizierung der Flussvektoren FV kann auch im Hinblick darauf erfolgen, ob die Flussvektoren FV zu einem sich bewegenden Objekt oder aber zu einem stillstehenden Objekt 5 gehören. Ist die Amplitudendifferenz größer als der Grenzwert und ist auch die Richtungsdifferenz größer als der zugeordnete Grenzwert, so werden die Flussvektoren FV als bewegte Flussvektoren klassifiziert, d. h. solche Flussvektoren FV, welche zu einem sich bezüglich des Bodens 4 bewegenden Objekt 5 gehören.
Nach einer Klassifizierung der Flussvektoren FV können diejenigen Flussvektoren FV herausgefiltert werden und nicht mehr berücksichtigt werden, welche zum Boden 4 gehören. Dies bedeutet, dass die Bodenflussvektoren bei der Detektion und der Verfolgung des Objekts 5 nicht berücksichtigt werden. Stattdessen werden in einem weiteren Schritt S13 nur diejenigen Flussvektoren FV zugrunde gelegt, welche zu einem über dem Boden 4 befindlichen Objekt 5 gehören. Die dem Schritt S13 zugrunde gelegten Objektflussvektoren werden als OFV bezeichnet. In Schritt S13 erfolgt dann eine Gruppierung der Objektflussvektoren OFV derart, dass alle Objektflussvektoren OFV, welche zu ein und demselben Objekt 5 gehören, zu einer gemeinsamen Vektorgruppe zusammengefasst werden. Dies erfolgt nach einer Cluster-Methode. Die zu einer gemeinsamen Gruppe zusammengefassten Flussvektoren FV werden dann zusammen weiter verfolgt, sodass die aktuelle Position dieses Objekts 5 stets bekannt ist.
In den 5 bis 7 sind beispielhafte Bilder 9 der Kamera 3 zusammen mit beispielhaften Flussvektoren FV schematisch dargestellt. In dem Bild 9 gemäß 5 befindet sich in dem Umgebungsbereich 6 das Objekt 5, welches hier ein stillstehendes Fahrzeug ist. Das eigene Kraftfahrzeug 1 bewegt sich rückwärts oder vorwärts, und die elektronische Auswerteeinrichtung erfasst charakteristische Merkmale an dem Fahrzeug 5. An dem Fahrzeug 5 sind in 5 eine Vielzahl von Flussvektoren FV dargestellt, welche hier als Objektflussvektoren OFV klassifiziert werden. In 5 sind mit OFV1 diejenigen Objektflussvektoren OFV bezeichnet, welche als Objektflussvektoren OFV deshalb klassifiziert wurden, weil die Richtungsdifferenzen größer als der vorgegebene Grenzwert sind. Demgegenüber sind in 5 mit OFV2 diejenigen Objektflussvektoren OFV bezeichnet, welche als Objektflussvektoren OFV deshalb klassifiziert wurden, weil die Amplitudendifferenzen größer als der vorgegebene Grenzwert sind. In 5 sind außerdem Bodenflussvektoren BFV dargestellt, bei denen die Amplitudendifferenzen kleiner als der vorgegebene Grenzwert sind und außerdem auch die Richtungsdifferenzen kleiner als der vorgegebene Grenzwert sind.
In 6 sind Bodenflussvektoren BFV dargestellt, welche an einem Bodenobjekt 10 – hier eine Straßenmarkierung – detektiert wurden. Diese Flussvektoren FV werden als Bodenflussvektoren BFV deshalb klassifiziert, weil sowohl die Amplitudendifferenzen als auch die Richtungsdifferenzen kleiner als die jeweiligen Grenzwerte sind. Demgegenüber wird ein tatsächliches Objekt 5 – hier eine Bremsschwelle – als Hindernis detektiert, weil seine Flussvektoren FV als Objektflussvektoren OFV klassifiziert wurden. Und zwar sind die in 6 dargestellten Objektflussvektoren OFV deshalb als solche klassifiziert worden, weil die Amplitudendifferenzen größer als der vorgegebene Grenzwert sind.
In 7 werden zwei bewegliche Objekte 5 detektiert, nämlich sich bewegende Fußgänger. Die in 7 dargestellten Flussvektoren FV werden deshalb sowohl als Objektflussvektoren OFV als auch als bewegte Flussvektoren MFV klassifiziert. Dies deshalb, weil sowohl die Amplitudendifferenzen als auch die Richtungsdifferenzen größer als die vorgegebenen Grenzwerte sind. Demgegenüber werden an dem Boden 4 detektierte Flussvektoren FV als Bodenflussvektoren BFV klassifiziert, weil die Amplitudendifferenzen und die Richtungsdifferenzen kleiner als die Grenzwerte sind.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 7557691 A1 [0003]
US 6801244 A1 [0003]
EP 1646008 A1 [0004]

Claims

Verfahren zum Detektieren von Objekten (5) in einem Umgebungsbereich (6) eines Kraftfahrzeugs (1) anhand einer zeitlichen Sequenz von Bildern (9) des Umgebungsbereichs (6), welche mittels einer Kamera (3) des Kraftfahrzeugs (1) erfasst werden, wobei mittels einer elektronischen Auswerteeinrichtung des Kraftfahrzeugs (1) in der Sequenz von Bildern (9) ein Vektorfeld nach einer Methode des optischen Flusses bestimmt wird, welches eine Vielzahl von Flussvektoren (FV) beinhaltet, die jeweils eine Bewegungsrichtung und eine Bewegungsgeschwindigkeit zumindest eines Bildpunktes angeben, und wobei anhand des Vektorfeldes ein in dem Umgebungsbereich (6) befindliches Objekt (5) mittels der Auswerteeinrichtung detektiert wird, dadurch gekennzeichnet, dass zum Detektieren des Objekts (5) ein Bewegungsvektor (7) des Kraftfahrzeugs (1) bestimmt wird, welcher eine aktuelle Geschwindigkeit und eine aktuelle Bewegungsrichtung des Kraftfahrzeugs (1) angibt, und dass beim Detektieren des Objekts (5) anhand des Vektorfeldes auch der Bewegungsvektor (7) des Kraftfahrzeugs (1) berücksichtigt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Detektion des Objekts (5) die Flussvektoren (FV) mit dem Bewegungsvektor (7) des Kraftfahrzeugs (1) oder mit einem daraus berechneten Vektor (SV) verglichen werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zu jedem Flussvektor (FV) jeweils ein Subtraktionsvektor (SV) durch Subtraktion des Bewegungsvektors (7) des Kraftfahrzeugs (1) von dem jeweiligen Flussvektor (FV) berechnet wird und das Objekt (5) in Abhängigkeit von den Subtraktionsvektoren (SV) detektiert wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Flussvektoren (FV) mit den zugeordneten Subtraktionsvektoren (SV) bezüglich der Richtung und/oder bezüglich des Betrags verglichen werden und die Detektion des Objekts (5) in Abhängigkeit von einem Ergebnis dieses Vergleichs erfolgt.
Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass die Subtraktion in einem Koordinatensystem des Bildes (9) erfolgt.
Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass die Subtraktion in einem fahrzeugexternen Bodenkoordinatensystem eines Erdbodens (4) erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Detektieren des Objekts (5) umfasst, dass die Flussvektoren (FV) klassifiziert werden als: – Bodenflussvektoren (BFV) einerseits, die zu einem Erdboden (4) des Umgebungsbereichs (6) gehören, und – Objektflussvektoren (OFV) andererseits, die zu einem über dem Erdboden (4) befindlichen Objekt (5) gehören.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass ein Flussvektor (FV) dann als Bodenflussvektor (BFV) klassifiziert wird, wenn eine Differenz zwischen den Beträgen und/oder eine Differenz zwischen den Richtungen dieses Flussvektors (FV) einerseits und des zugehörigen Subtraktionsvektors (SV) andererseits kleiner als ein vorgegebener Grenzwert ist/sind, insbesondere wenn die beiderseitigen Beträge und/oder die beiderseitigen Richtungen gleich sind.
Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass das Detektieren des Objekts (5) umfasst, dass aus Flussvektoren (FV), welche als Objektflussvektoren (OFV) klassifiziert wurden, nach einer Cluster-Methode diejenigen Flussvektoren (FV) zu einer gemeinsamen Vektorgruppe zusammengefasst werden, welche zu ein und demselben Objekt (5) gehören.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Detektieren des Objekts (5) umfasst, dass die Flussvektoren (FV) klassifiziert werden als: – bewegte Flussvektoren (MFV) einerseits, die zu einem Objekt (5) gehören, welches sich bezüglich des Erdbodens (4) bewegt, und – stationäre Flussvektoren (FV) andererseits, die zu einem bezüglich des Erdbodens (4) stationären Objekt (5) gehören.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass ein Flussvektor (FV) dann als bewegter Flussvektor (MFV) klassifiziert wird, wenn eine Differenz zwischen den Beträgen und/oder eine Differenz zwischen den Richtungen dieses Flussvektors (FV) einerseits und des zugehörigen Subtraktionsvektors (SV) andererseits größer als ein vorgegebener Grenzwert ist/sind.
Kamerasystem (2) für ein Kraftfahrzeug (1), mit einer Kamera (3) zum Erfassen einer zeitlichen Sequenz von Bildern (9) eines Umgebungsbereichs (6) des Kraftfahrzeugs (1), und mit einer elektronischen Auswerteeinrichtung, welche dazu ausgelegt ist, anhand der Sequenz von Bildern (9) ein in dem Umgebungsbereich (6) befindliches Objekt (5) zu detektieren, dadurch gekennzeichnet, dass das Kamerasystem (2) dazu ausgelegt ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
Kraftfahrzeug (1) mit einem Kamerasystem (2) nach Anspruch 12.