-
Die Erfindung betrifft ein Verfahren zum Detektieren eines sich in einem Umgebungsbereich eines Kraftfahrzeugs relativ zu einer Fahrbahn bewegenden Objekts anhand einer zeitlichen Sequenz von Bildern des Umgebungsbereichs, welche mittels einer Kamera des Kraftfahrzeugs bereitgestellt werden. Mittels einer elektronischen Auswerteeinrichtung des Kraftfahrzeugs wird zu zumindest zwei nacheinander erfassten Bildern eine Vielzahl von optischen Flussvektoren bestimmt, wobei in Abhängigkeit von den Flussvektoren das Objekt mittels der Auswerteeinrichtung detektiert wird. Die Erfindung betrifft außerdem ein Kamerasystem für ein Kraftfahrzeug, welches zum Durchführen eines solchen Verfahrens ausgebildet ist.
-
Kamerasysteme für Kraftfahrzeuge sind bereits aus dem Stand der Technik bekannt. Ein solches Kamerasystem beinhaltet bekanntlich zumindest eine Kamera, welche an dem Kraftfahrzeug angebracht ist und einen Umgebungsbereich des Kraftfahrzeugs erfasst. Die Kamera stellt Bilder des Umgebungsbereichs bereit. Es können auch mehrere solche Kameras eingesetzt werden, welche die gesamte Umgebung um das Kraftfahrzeug herum erfassen. Die am Kraftfahrzeug montierte (zumindest eine) Kamera erfasst dann eine zeitliche Abfolge von Bildern des Umgebungsbereichs, nämlich beispielsweise eine Vielzahl von Bildern pro Sekunde. Diese zeitliche Sequenz von Bildern wird an eine elektronische Auswerteeinrichtung übermittelt, welche die aufgenommenen Bilder verarbeitet und auf der Grundlage der Bilder verschiedenste Funktionalitäten im Kraftfahrzeug bereitstellen kann. Vorliegend richtet sich das Interesse auf die Detektion von beweglichen Objekten, die sich in dem abgebildeten Umgebungsbereich befinden und sich außerdem relativ zum Boden und somit relativ zu einer Fahrbahn bewegen, auf welcher sich auch das Kraftfahrzeug befindet. Wird ein derartiges Objekt in den Bildern detektiert, so kann es dann in der Sequenz von Bildern auch verfolgt werden. Zu diesem Zwecke wird üblicherweise die Methode des optischen Flusses verwendet, bei welcher zunächst charakteristische Punkte – nämlich charakteristische Merkmale, wie beispielsweise Kanten, Ecken und dergleichen – in den Bildern detektiert werden und zu jedem charakteristischen Merkmal dann ein Flussvektor definiert wird, der die Bewegungsrichtung und die Bewegungsgeschwindigkeit dieses charakteristischen Merkmals in der Sequenz von Bildern angibt.
-
Bei der Detektion eines beweglichen Objekts mithilfe der Methode des optischen Flusses können sich folgende Probleme ergeben: Bewegt sich das Kraftfahrzeug selbst, so entstehen Flussvektoren nicht nur an beweglichen Objekten, sondern auch in dem gesamten Bildrahmen, weil sich auch die Kamera relativ zu der erfassten Szene bewegt. Die Flussvektoren entstehen somit sowohl in denjenigen Bildbereichen, welche den Erdboden des Umgebungsbereichs darstellen, als auch in denjenigen Bildbereichen, in denen die beweglichen Objekte abgebildet sind. Auf der anderen Seite entstehen Flussvektoren sowohl in Bildbereichen, welche stationäre und sich somit nicht bewegende Objekte darstellen, als auch in Bildbereichen, in denen sich bezüglich des Bodens bewegende Objekte abgebildet sind. Eine besondere Herausforderung besteht somit darin, die beweglichen Objekte von anderen stationären Objekten und außerdem auch von dem stationären Umgebungsbereich einschließlich des Bodens zu unterscheiden.
-
Um eine solche Unterscheidung zu gewährleisten, wird im Stand der Technik auch die aktuelle Bewegung des Kraftfahrzeugs berücksichtigt. Die berechneten Flussvektoren der Bilder können dann anhand des aktuellen Bewegungsvektors des Kraftfahrzeugs korrigiert werden, und die Flussvektoren der beweglichen Objekte können somit von den Flussvektoren der stationären Umgebung unterschieden werden. Eine solche Vorgehensweise ist jedoch einerseits relativ aufwändig und erfordert auch, dass Fahrzeuginformationen an einem Kommunikationsbus des Kraftfahrzeugs abgegriffen werden müssen. Andererseits ist diese Methode auch wenig präzise und ermöglicht nur eine suboptimale Detektion von beweglichen Objekten, weil die Daten am Kommunikationsbus (z. B. CAN) mit einer gewissen Verzögerung bereitgestellt werden und somit nicht immer aktuell sind.
-
Ein Verfahren zur Detektion von sich bewegenden Objekten in dem Umgebungsbereich eines Kraftfahrzeugs ist des Weiteren aus dem Dokument
US 7 346 191 B2 bekannt. Auch dieses Verfahren basiert auf der Methode des optischen Flusses, bei welcher anhand von jeweils zwei aufeinander folgenden Bildern einer Kamera Flussvektoren charakteristischer Merkmale bestimmt werden. Aus diesen Flussvektoren wird dann ein Expansionsfokus (focus of expansion) berechnet. Aus den Expansionsfokussen wird dann ein Histogramm gebildet, anhand dessen ein bewegliches Objekt detektiert wird. Auch diese Methode ist relativ aufwändig, weil zunächst die Expansionsfokusse aus den Flussvektoren berechnet werden müssen.
-
Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, wie bei einem Verfahren der eingangs genannten Gattung das bewegliche Objekt ohne viel Aufwand besonders zuverlässig detektiert werden kann, insbesondere ohne dass zusätzliche Informationen an einem Kommunikationsbus des Kraftfahrzeugs abgegriffen werden müssen.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, wie auch durch ein Kamerasystem mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
-
Ein erfindungsgemäßes Verfahren dient zum Detektieren eines Objekts, das sich in einem Umgebungsbereich eines Kraftfahrzeugs relativ zu einer Fahrbahn bewegt, auf welcher sich das Kraftfahrzeug befindet. Das Objekt wird anhand einer zeitlichen Sequenz von Bildern des Umgebungsbereichs detektiert, welche mittels einer Kamera des Kraftfahrzeugs bereitgestellt werden. Mittels einer elektronischen Auswerteeinrichtung wird zu jeweils zwei nacheinander erfassten Bildern eine Vielzahl von optischen Flussvektoren bestimmt, und das bewegliche Objekt wird in Abhängigkeit von den Flussvektoren detektiert. Aus jeweiligen Vektorwerten zumindest eines Merkmals der Flussvektoren (zum Beispiel der x-Richtungskomponente und/oder der y-Richtungskomponente und/oder des Vektorbetrags und/oder des Vektorwinkels) wird ein Histogramm bereitgestellt, nämlich derart, dass eine Vielzahl von Werteintervallen für die Vektorwerte des Merkmals definiert werden und zu jedem Werteintervall die Anzahl der Vektorwerte bestimmt wird, welche innerhalb des jeweiligen Werteintervalls liegen. Das bewegliche Objekt wird dann anhand des Histogramms detektiert und kann insbesondere auch verfolgt werden.
-
Anders als im Dokument
US 7 346 191 B2 – dort wird das Histogramm aus den Expansionsfokussen erzeugt – wird bei dem erfindungsgemäßen Verfahren zumindest ein Histogramm aus den jeweiligen Vektorwerten zumindest eines Merkmals der Flussvektoren bereitgestellt, nämlich insbesondere aus den jeweiligen Vektorwerten zumindest einer Richtungskomponente der Flussvektoren und/oder aus den jeweiligen Vektorbeträgen der Flussvektoren und/oder aus den jeweiligen Winkelwerten der Flussvektoren. Eine solche Vorgehensweise ermöglicht die Detektion von beweglichen Objekten ohne viel Aufwand und besonders zuverlässig. Dabei werden insbesondere keine Fahrzeuginformationen von einem Kommunikationsbus benötigt, wie beispielsweise die aktuelle Fahrzeuggeschwindigkeit und dergleichen. Das Objekt kann nämlich alleine und ausschließlich anhand der Bilder detektiert werden. Werden die Vektorwerte zumindest eines Merkmals der Flussvektoren zu einem Histogramm zusammengefasst, so erkennt man in diesem Histogramm zumindest zwei Peaks. Der größte Peak (das Werteintervall, welches die größte Anzahl von Vektorwerten beinhaltet) ist dabei dem stationären Umgebungsbereich (dem Boden und den stationären Objekten) zuzuordnen, wobei die Position dieses Peaks abhängig von der aktuellen Fahrzeuggeschwindigkeit ist. Wird ein weiterer, kleinerer Peak in dem Histogramm detektiert, so ist dieser Peak auf ein Objekt zurückzuführen, das sich relativ zur Umgebung und somit auch relativ zum Boden bewegt. Dieser Peak kann in dem Histogramm ohne viel Aufwand detektiert werden, und es ist auch möglich, anhand der Eigenschaften dieses Peaks auf unterschiedliche Messgrößen in Bezug auf das bewegliche Objekt zurückzuschließen.
-
Die Kamera ist bevorzugt eine Video-Kamera, welche eine Vielzahl von Einzelbildern pro Sekunde liefert. Die Kamera kann beispielsweise eine CCD-Kamera oder aber eine CMOS-Kamera sein. Die Kamera ist somit bevorzugt eine Erfassungseinrichtung, welche Licht im vom Menschen sichtbaren Spektralbereich detektieren kann.
-
Das zumindest eine Histogramm wird vorzugsweise in Echtzeit erzeugt und fortlaufend an die jeweils neuen Bilder angepasst. Die Flussvektoren werden dabei vorzugsweise jeweils aus zwei aufeinander folgenden Bildern der Kamera berechnet, und die jeweils aktuellen Flussvektoren werden dem Histogramm zugeführt, während die bisherigen („alten”) Flussvektoren entfernt werden. Somit kann das Histogramm mit der gleichen Frequenz aktualisiert werden, mit welcher auch die Bilder erfasst werden. Optional kann zur Berechnung der Flussvektoren auch eine Untermenge der Bilder verwendet werden, nämlich beispielsweise jedes zweite oder jedes dritte oder – allgemein gesagt – jedes n-te Bild.
-
Hinsichtlich des Merkmals der Flussvektoren können verschiedenste Ausführungsformen vorgesehen sein, welche einzeln oder in einer beliebigen Kombination umgesetzt werden können:
In einer Ausführungsform wird ein Histogramm aus jeweiligen Vektorwerten zumindest einer Richtungskomponente der Flussvektoren als Merkmal bereitgestellt. Als Richtungskomponente wird dabei die x-Richtungskomponente und/oder die y-Richtungskomponente der Flussvektoren im Bildrahmen verstanden. Mit einem solchen Histogramm aus Vektorwerten zumindest einer Richtungskomponente der Flussvektoren kann das bewegliche Objekt wirkungsvoll detektiert werden, und außerdem kann auch die aktuelle relative Geschwindigkeit des Objekts bezüglich des Kraftfahrzeugs entlang der jeweiligen Richtungskomponente bestimmt werden.
-
Vorzugsweise wird dabei für beide Richtungskomponenten (für die x-Richtungskomponente und für die y-Richtungskomponente) jeweils ein Histogramm bereitgestellt. Zum Bereitstellen des Histogramms für die erste Richtungskomponente (x-Richtung im Bildrahmen) wird eine Vielzahl von Werteintervallen für die Vektorwerte der ersten Richtungskomponente definiert, und zu jedem Werteintervall wird die Anzahl der Vektorwerte der ersten Richtungskomponente bestimmt, welche in das jeweilige Werteintervall fallen. Entsprechend wird auch für die zweite Richtungskomponente eine Vielzahl von Werteintervallen definiert, und zu jedem Werteintervall wird die Anzahl der Vektorwerte der zweiten Richtungskomponente bestimmt, welche innerhalb des jeweiligen Werteintervalls liegen. Somit erhält man einerseits ein Histogramm für die x-Richtungskomponenten der Flussvektoren und andererseits auch ein Histogramm für die y-Richtungskomponenten der Flussvektoren. Dies kann auch so aussehen, dass diese Histogramme zu einem multidimensionalen Histogramm zusammengefasst werden, welches sowohl die Verteilung der Häufigkeit der x-Richtungskomponenten als auch die Verteilung der Häufigkeit der y-Richtungskomponenten angibt. Anhand eines solchen multidimensionalen Histogramms können dann verschiedenste Messgrößen in Bezug auf das bewegliche Objekt bestimmt werden.
-
Ergänzend oder alternativ kann ein Histogramm aus jeweiligen Vektorbeträgen (Vektorlängen) der Flussvektoren als Merkmal bereitgestellt werden. Die aktuelle relative Geschwindigkeit des Objekts bezüglich des Kraftfahrzeugs kann somit mit geringem Aufwand durch Auswertung des Histogramms bestimmt werden.
-
Weiterhin ergänzend oder alternativ kann ein Histogramm aus jeweiligen Winkelwerten der Flussvektoren als Merkmal bereitgestellt werden. Auf diesem Wege kann die aktuelle relative Bewegungsrichtung des Objekts bezüglich des Kraftfahrzeugs bestimmt werden. Die relative Position der beiden Peaks in diesem Histogramm hängt nämlich von dem aktuellen Bewegungswinkel des Objekts relativ zum Kraftfahrzeug ab.
-
Beliebige Histogramme können auch zu einem gemeinsamen multidimensionalen Histogramm kombiniert werden, sodass anhand eines multidimensionalen Histogramms verschiedenste Messgrößen in Bezug auf das bewegliche Objekt bestimmt werden können.
-
Vorzugsweise wird in dem zumindest einen Histogramm ein erstes Werteintervall detektiert, welches die größte Anzahl von Vektorwerten beinhaltet. Die Flussvektoren des ersten Werteintervalls werden dann als zu dem stationären Umgebungsbereich gehörend interpretiert. Die meisten Flussvektoren gehören nämlich zu dem stationären und unbeweglichen Umgebungsbereich, nämlich insbesondere zum Erdboden und zu stationären Objekten. In dem Histogramm ist dies anhand des höchsten Peaks erkennbar. Die Bildpunkte der stationären Umgebung weisen nämlich gleiche Vektorwerte auf, welche dann in ein gemeinsames Werteintervall des Histogramms fallen. Dieses (erste) Werteintervall beinhaltet somit die meisten Vektorwerte, sodass die Höhe des Histogramms bei diesem Werteintervall maximal ist. Dieses erste Intervall kann in dem Histogramm detektiert und als Referenz für andere Peaks des Histogramms genutzt werden.
-
In Abhängigkeit von dem ersten Werteintervall und somit in Abhängigkeit von der Lage des maximalen Peaks in dem Histogramm kann zumindest eine Betriebsgröße des Kraftfahrzeugs bestimmt werden. Insbesondere kann dabei die aktuelle Geschwindigkeit und/oder Bewegungsrichtung des Kraftfahrzeugs in Abhängigkeit von dem ersten Werteintervall bestimmt werden. Mit größerer Geschwindigkeit des Kraftfahrzeugs entfernt sich nämlich der maximale Peak des Histogramms von dem Null-Wert und somit von dem Ursprung des Histogramms. Die Entfernung des maximalen Peaks des Histogramms von dem Null-Wert ist dabei proportional zu der aktuellen Geschwindigkeit des Kraftfahrzeugs. Mit anderen Worten ist das erste Werteintervall, in welches die meisten Vektorwerte fallen, abhängig von der aktuellen Geschwindigkeit des Kraftfahrzeugs. Durch Auffinden des ersten Werteintervalls, welches die meisten Vektorwerte beinhaltet, kann somit direkt die aktuelle Geschwindigkeit des Kraftfahrzeugs (zumindest eine Komponente der Fahrzeuggeschwindigkeit) ermittelt werden.
-
Zusätzlich zu dem ersten Werteintervall und somit zu dem maximalen Peak wird in dem Histogramm vorzugsweise auch ein zweites Werteintervall detektiert, welches eine geringere Anzahl von Vektorwerten als das erste Werteintervall, jedoch eine größere Anzahl von Vektorwerten als eine vorgegebene Schwelle beinhaltet. Die Flussvektoren dieses zweiten Werteintervalls können dann als zu dem beweglichen Objekt gehörend interpretiert werden. Das bewegliche Objekt verursacht in dem Histogramm nämlich einen weiteren Peak, dessen Höhe jedoch geringer als die des maximalen Peaks ist. Durch Auffinden des zweiten Peaks und somit des zweiten Werteintervalls kann das bewegliche Objekt folglich ohne viel Aufwand detektiert und verfolgt werden.
-
In Abhängigkeit von dem zweiten Peak – in Abhängigkeit von dem zweiten Werteintervall – kann zumindest eine Messgröße in Bezug auf das Objekt bestimmt werden. In Abhängigkeit von dem zweiten Werteintervall und somit von der Lage des zweiten Peaks in dem Histogramm relativ zum maximalen Peak und/oder relativ zum Ursprung des Histogramms kann insbesondere die aktuelle relative Geschwindigkeit des Objekts bezüglich des Kraftfahrzeugs bestimmt werden. Der Abstand zwischen dem maximalen Peak oder dem Ursprung einerseits und dem zweiten Peak andererseits ist nämlich proportional zur relativen Geschwindigkeit des Objekts bezüglich des Kraftfahrzeugs. Durch Auswertung des Histogramms kann somit die aktuelle relative Geschwindigkeit ohne viel Aufwand und zuverlässig bestimmt werden.
-
Zumindest eine Messgröße des Objekts kann auch in Abhängigkeit von der Anzahl der Vektorwerte innerhalb des zweiten Werteintervalls und somit in Abhängigkeit von der Höhe des zweiten Peaks bestimmt werden. Abhängig von dieser Anzahl der Vektorwerte innerhalb des zweiten Werteintervalls wird dabei bevorzugt eine Abmessung des Objekts und somit die Größe des Objekts ermittelt. Es gilt nämlich die Beziehung, dass, je größer das Objekt ist, desto mehr Flussvektoren dieses Objekt verursacht, deren Vektorwerte dann in ein gemeinsames Werteintervall des Histogramms fallen. Die Bestimmung der Abmessung des Objekts ermöglicht dann Rückschlüsse auf die Art des Objekts, sodass gegebenenfalls zwischen anderen Fahrzeugen einerseits und beispielsweise Fußgängern andererseits unterschieden werden kann.
-
Wie bereits ausgeführt, kann das zumindest eine Histogramm auch fortlaufend anhand der jeweils aktuellen Flussvektoren angepasst werden. Zumindest eine Messgröße des Objekts kann dann in Abhängigkeit davon bestimmt werden, ob sich der zweite Peak des Histogramms (das zweite Werteintervall) dem maximalen Peak (dem ersten Werteintervall) mit der Zeit annähert oder aber sich von dem maximalen Peak entfernt. In Abhängigkeit von dieser „Bewegungsrichtung des zweiten Peaks im Histogramm” kann vorzugsweise die aktuelle Bewegungsrichtung des Objekts relativ zum Kraftfahrzeug bestimmt werden. Auf diese Art und Weise kann insbesondere bestimmt werden, ob sich das Objekt dem Kraftfahrzeug annähert oder aber sich von dem Kraftfahrzeug entfernt.
-
Die Größe der Werteintervalle des Histogramms kann insbesondere in Abhängigkeit von der Auflösung definiert werden, welche bei der Detektion des Objekts erzielt werden soll. Die Größe der Werteintervalle kann optional auch in Abhängigkeit von der Dichte der Flussvektoren und somit von der verwendeten Methode des optischen Flusses eingestellt werden.
-
In einer Ausführungsform ist vorgesehen, dass die Bilder in eine Mehrzahl von Bildregionen unterteilt werden und für jede Bildregion jeweils zumindest ein genanntes Histogramm bereitgestellt wird. Eine solche Unterteilung der Bilder erweist sich insbesondere bei einer hohen Dichte der Flussvektoren sowie bei einem relativ breiten Sichtfeld der Kamera als vorteilhaft, bei welchem sowohl im nahen Bereich als auch in einer größeren Entfernung stationäre Objekte vorhanden sind. Diese Objekte könnten aufgrund der Parallaxe unterschiedliche Flussvektoren verursachen und könnten somit zu unterschiedlichen Peaks in dem Histogramm führen. Um dies zu verhindern, können die unterschiedlichen Bildregionen separat voneinander im Hinblick auf bewegliche Objekte untersucht werden.
-
Die Anzahl der Bildregionen kann dabei in Abhängigkeit von der Dichte der Flussvektoren und/oder von der Größe des Sichtfelds der Kamera eingestellt werden.
-
Gemäß einer weiteren Ausführungsform kann vorgesehen sein, dass zumindest zwei Kameras des Kraftfahrzeugs jeweils eine Sequenz von Bildern eines Umgebungsbereichs des Kraftfahrzeugs bereitstellen. Jeweils zu zumindest zwei nacheinander erfassten Bildern der jeweiligen Sequenz kann eine Vielzahl von optischen Flussvektoren bestimmt werden. Aus den jeweiligen Flussvektoren jeder Kamera kann dann jeweils zumindest ein Histogramm bereitgestellt werden, wobei die Histogramme der unterschiedlichen Kameras miteinander verglichen werden können. Auf diese Art und Weise kann eine Plausibilisierung des Histogramms einer Kamera vorgenommen werden, sodass eine noch präzisere und genauere Detektion möglich ist. Sind zwei Kameras beispielsweise so angeordnet, dass sie gegenüberliegende Umgebungsbereiche des Kraftfahrzeugs erfassen, so sollen zum Beispiel die maximalen Peaks der jeweiligen Histogramme auf gegenüberliegenden Seiten des Ursprungs des Histogramms liegen, und zwar symmetrisch bezüglich des Null-Wertes. Die beiden Histogramme können somit auf Plausibilität überprüft werden, und es kann gegebenenfalls eine Korrektur vorgenommen werden.
-
Wird eine Kamera mit einem relativ großen Sichtfeld, beispielsweise eine Fischaugenkamera, verwendet, so kann gegebenenfalls eine Korrektur und somit eine Entzerrung der Flussvektoren vorgenommen werden. Diese Korrektur kann in Abhängigkeit von der Form der verwendeten Linse durchgeführt werden.
-
Wird eine Kamera in einen Außenspiegel integriert, welche dann in Richtung zum Boden und somit nach unten ausgerichtet ist, so können auch Flussvektoren der Bilder dieser Kamera dazu genutzt werden, um die aktuelle Geschwindigkeit des Kraftfahrzeugs zu bestimmen oder zumindest zu plausibilisieren. Diese Flussvektoren können somit unterstützend zur Bestimmung der aktuellen Geschwindigkeit des Kraftfahrzeugs verwendet werden.
-
Die Erfindung betrifft außerdem ein Kamerasystem mit zumindest einer Kamera sowie mit einer elektronischen Auswerteeinrichtung, welche zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet ist.
-
Die Erfindung betrifft auch ein Kraftfahrzeug mit einem erfindungsgemäßen Kamerasystem, nämlich insbesondere einen Personenkraftwagen.
-
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
-
Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
-
Es zeigen:
-
1 in schematischer Darstellung eine Seitenansicht eines Kraftfahrzeugs gemäß einer Ausführungsform der Erfindung;
-
2 einen beispielhaften Flussvektor zur Erläuterung von Flussvektormerkmalen;
-
3 in schematischer Darstellung beispielhafte Flussvektoren, welche anhand von charakteristischen Punkten berechnet werden, die in zwei aufeinander folgenden Bildern einer Kamera detektiert werden;
-
4 ein beispielhaftes Histogramm; und
-
5a bis 5d beispielhafte Histogramme zur Erläuterung eines Verfahrens gemäß einer Ausführungsform der Erfindung.
-
In 1 ist in schematischer Darstellung eine Seitenansicht eines Kraftfahrzeugs 1 gemäß einer Ausführungsform der Erfindung dargestellt. Das Kraftfahrzeug 1 ist beispielsweise ein Personenkraftwagen. Es weist ein Kamerasystem 2 auf, welches eine Kamera 3 umfasst, insbesondere eine Video-Kamera. Diese Kamera 3 ist vorzugsweise eine Mono-Kamera. Das Kraftfahrzeug 1 befindet sich auf einer Straße 4, auf welcher sich außerdem ein Objekt 5 befindet, das sich in einem Umgebungsbereich 6 relativ zur Straße 4 bewegt.
-
Das Kamerasystem 2 kann beispielsweise ein Kollisionswarnungssystem sein und zum Warnen des Fahrers vor dem Objekt 5 dienen. Das Kamerasystem 2 dient insbesondere zur Detektion des Objekts 5, das sich in dem Umgebungsbereich 6 bewegt. Mittels der Kamera 3 werden Bilder aufgenommen, welche nachfolgend mittels einer nicht näher dargestellten elektronischen Auswerteeinrichtung (zum Beispiel digitaler Signalprozessor) verarbeitet werden. Die Auswerteeinrichtung kann in die Kamera 3 integriert oder als separate Komponente ausgebildet sein. Die Auswerteeinrichtung empfängt die aufgenommenen Bilder und kann sie verarbeiten.
-
Die Kamera 3 weist einen Erfassungswinkel α auf, der beispielsweise in einem Wertebereich von 90° bis 200° liegen kann. Die Kamera 3 kann eine CMOS-Kamera oder eine CCD-Kamera oder eine beliebige Bilderfassungseinrichtung sein, aus welcher Flussvektoren extrahiert werden können.
-
Im Ausführungsbeispiel gemäß 1 ist die Kamera 3 in einem Heckbereich des Kraftfahrzeugs 1 angeordnet und erfasst den Umgebungsbereich 6 hinter dem Kraftfahrzeug 1. Die Erfindung ist jedoch nicht auf eine solche Anordnung der Kamera 3 beschränkt. Die Anordnung der Kamera 3 kann je nach Ausführungsform unterschiedlich sein. Beispielsweise kann die Kamera 3 auch in einem vorderen Bereich des Kraftfahrzeugs 1 angeordnet sein und den Umgebungsbereich vor dem Kraftfahrzeug 1 erfassen. Es können auch jeweilige Kameras an den Seitenflanken des Kraftfahrzeugs 1 angeordnet sein und hierbei zum Beispiel in die jeweiligen Außenspiegel integriert sein. Es können auch mehrere solche Kameras 3 eingesetzt werden, welche an dem Kraftfahrzeug 1 verteilt angeordnet sind und jeweils zur Detektion eines Objekts ausgebildet sind.
-
Die Kamera 3 ist eine Video-Kamera, welche kontinuierlich eine Sequenz von Bildern bereitstellt. Die elektronische Auswerteeinrichtung verarbeitet dann die Bildsequenz in Echtzeit und kann anhand dieser Bildsequenz das Objekt 5 detektieren und verfolgen. Vorliegend richtet sich das Interesse auf eine Situation, bei welcher sich das Objekt 5 relativ zur Straße 4 bewegt. Ein solches bewegliches Objekt 5 soll sowohl bei Stillstand des Kraftfahrzeugs 1 als auch während der Fahrt des Kraftfahrzeugs 1 detektiert werden können.
-
In der aufgenommenen Bildsequenz wird nun durch die Auswerteeinrichtung ein Algorithmus bzw. eine Methode des optischen Flusses durchgeführt, wobei als Methode des optischen Flusses das so genannte „Dense Optical Flow” oder „Semi-Dense Optical Flow” oder aber „Sparse Optical Flow” verwendet werden kann. Es kann eine beliebige geeignete Methode des optischen Flusses angewendet werden, sodass die Erfindung nicht auf eine bestimmte Methode beschränkt ist. Es reicht lediglich, dass in den Bildern der Kamera 3 charakteristische Punkte detektiert werden und zu diesen charakteristischen Punkten die jeweiligen Flussvektoren bestimmt werden.
-
Ein beispielhafter Flussvektor 7 ist in 2 dargestellt. Der Flussvektor 7 wird anhand von zwei aufeinander folgenden Bildern der Kamera 3 berechnet. Zunächst wird ein charakteristischer Punkt 8 in dem ersten Bild detektiert. Derselbe charakteristische Punkt 8' wird auch in dem zweiten Bild detektiert, wobei die Position dieses charakteristischen Punktes 8' in dem zweiten Bild von der Position im ersten Bild abweicht. Eine Verbindungsgerade zwischen den Punkten 8 und 8' stellt den Flussvektor 7 dar. Der Flussvektor 7 hat unterschiedliche Merkmale: die x-Richtungskomponente 9, die y-Richtungskomponente 10, den Vektorwinkel β, d. h. den Winkel zwischen dem Flussvektor 7 und beispielsweise der x-Richtungskomponente 9, sowie den Vektorbetrag bzw. die Vektorlänge 11.
-
Bei der Verarbeitung der Bilder werden eine Vielzahl von solchen Flussvektoren 7 bestimmt, wobei die Dichte der Flussvektoren abhängig von der jeweils verwendeten Methode ist. Eine beispielhafte Vielzahl von Flussvektoren 71 bis 79 ist in 3 dargestellt. Mit 81 bis 89 sind dabei die Positionen von charakteristischen Punkten in dem ersten Bild bezeichnet, während mit 81' bis 89' die Positionen derselben charakteristischen Punkte in dem später erfassten zweiten Bild gekennzeichnet sind.
-
Jeder der Flussvektoren 71 bis 79 weist eine x-Richtungskomponente 9, eine y-Richtungskomponente 10, einen Vektorwinkel β sowie einen Vektorbetrag 11 auf. Die Vektorwerte zumindest eines dieser Merkmale werden nun zur Bildung eines Histogramms verwendet. Für jedes dieser Merkmale kann dabei auch ein separates Histogramm erzeugt werden oder es kann ein gemeinsames multidimensionales Histogramm bereitgestellt werden, in welchem alle Merkmale gleichzeitig berücksichtigt werden.
-
Wie aus 3 weiterhin hervorgeht, entspricht die x-Richtung der horizontalen Richtung in einem Bildrahmen 12, während die y-Richtung der vertikalen Richtung entspricht. Der Bildrahmen 12 entspricht dabei dem Sichtfeld der Kamera 3.
-
Nachfolgend wird die Erzeugung eines eindimensionalen Histogramms beispielsweise aus den x-Richtungskomponenten 9 aller Flussvektoren 7 näher erläutert, welche anhand von zwei aufeinander folgenden Bildern der Kamera 3 berechnet werden. Selbstverständlich können solche Histogramme auch für die anderen Merkmale der Flussvektoren 7 erzeugt werden oder es kann das genannte multidimensionale Histogramm bereitgestellt werden.
-
Ein beispielhaftes Histogramm aus den jeweiligen Vektorwerten der x-Richtungskomponente 9 der Flussvektoren 7 ist in 4 dargestellt. Zur Bereitstellung des Histogramms 13 werden zunächst eine Vielzahl von Werteintervallen I1, I2...IN um den Ursprung und somit um den Null-Wert definiert. Die Größe der Werteintervalle I1 bis IN kann dabei abhängig von der benötigten Auflösung eingestellt werden. Zu jedem der Werteintervalle I1 bis IN wird dann die Anzahl der Vektorwerte der x-Richtungskomponente 9 der Flussvektoren 7 bestimmt, welche in das jeweilige Werteintervall I1 bis IN fallen. Wie aus 4 hervorgeht, fallen die x-Richtungskomponenten 9 der meisten Flussvektoren 7 in ein Werteintervall Ia, welches nachfolgend als erstes Werteintervall bezeichnet wird. In der optischen Darstellung des Histogramms 13 gemäß 4 macht es sich als maximaler Peak 14 bemerkbar, welcher deutlich größer als die übrigen Peaks des Histogramms 13 ist. Dieses erste Werteintervall Ia und somit der maximale Peak 14 können detektiert werden. Diejenigen Flussvektoren 7, deren x-Richtungskomponenten 9 in das erste Werteintervall Ia fallen, werden dahingehend interpretiert, dass sie von dem stationären Umgebungsbereich 6 stammen, nämlich von der Straße 4 und anderen stationären Objekten, die sich bezüglich der Straße 4 nicht bewegen. Ist das erste Werteintervall Ia entfernt von dem Null-Wert und somit von dem Ursprung des Histogramms 13, so bedeutet dies, dass sich das Kraftfahrzeug 1 bewegt und sich somit auch die Szene in den Bildern der Kamera 3 bewegt. Dies ist in 4 dargestellt. Würde das erste Werteintervall Ia demgegenüber auch den Null-Wert beinhalten und wäre der maximale Peak 14 somit in dem Ursprung des Histogramms 13, so würde dies dahingehend interpretiert werden, dass das Kraftfahrzeug 1 stillsteht und sich somit bezüglich der Straße 4 nicht bewegt.
-
Neben dem maximalen Peak 14 wird auch nach weiteren Peaks gesucht. Im Beispiel gemäß 4 detektiert die Auswerteeinrichtung einen zweiten Peak 15, welcher deutlich kleiner als der maximale Peak 14 ist. Diese Detektion erfolgt derart, dass ein Werteintervall Ib detektiert wird, dessen Anzahl der x-Richtungskomponenten 9 der Flussvektoren 7 größer als ein vorgegebener Schwellwert ist. Dieses Werteintervall Ib wird nachfolgend als zweites Werteintervall bezeichnet. Der zweite Peak 15 wird durch das Objekt 5 verursacht, das sich relativ zur Straße 4 bewegt, nämlich im vorliegenden Fall entlang der x-Richtung.
-
Beispielhafte Histogramme sind außerdem in den 5a bis 5d dargestellt. Gemäß 5a wird lediglich der maximale Peak 14 detektiert, der im Ursprung des Histogramms 13 liegt. Mit anderen Worten beinhaltet das erste Werteintervall Ia auch den Null-Wert des Histogramms 13. Dies bedeutet, dass das Kraftfahrzeug 1 stillsteht und sich somit bezüglich der Straße 4 nicht bewegt. Auch anhand des Histogramms 13 gemäß 5b wird erkannt, dass sich das Kraftfahrzeug 1 nicht bewegt, sich jedoch in dem Umgebungsbereich 6 ein Objekt 5 befindet, das sich relativ zur Straße 4 und somit relativ zum Kraftfahrzeug 1 bewegt. Der zweite Peak 15 ist in 5b nämlich entfernt von dem ersten Peak 14.
-
Anhand des Histogramms 13 gemäß 5c wird zwar kein bewegliches Objekt 5 detektiert, weil das Histogramm 13 lediglich den maximalen Peak 14 aufweist, jedoch kann anhand des Histogramms 13 in 5c erkannt werden, dass sich das Kraftfahrzeug 1 relativ zur Straße 4 bewegt. Der maximale Peak 14 liegt nämlich versetzt zum Ursprung des Histogramms 13. Die Situation in 5d entspricht grundsätzlich der gemäß 5c, wobei zusätzlich noch ein bewegliches Objekt 5 anhand eines zweiten Peaks 15 detektiert wird.
-
Abhängig von dem Merkmal der Flussvektoren 7, zu welchem das Histogramm 13 erzeugt wird, können verschiedenste Parameter anhand des Histogramms 13 ermittelt werden. Anhand der Lage des maximalen Peaks 14 im Histogramm 13 kann zunächst die aktuelle Geschwindigkeit des Kraftfahrzeugs 1 bestimmt werden, und zwar entlang unterschiedlicher Fahrzeugachsen, je nachdem, zu welchem Merkmal der Flussvektoren 7 das Histogramm 13 erzeugt wird. Die Entfernung des maximalen Peaks 14 von dem Null-Wert des Histogramms 13 ist nämlich proportional zur aktuellen Geschwindigkeit des Kraftfahrzeugs 1. Nach Detektion des ersten Werteintervalls Ia kann also unmittelbar die aktuelle Fahrzeuggeschwindigkeit in Abhängigkeit von dem Werteintervall Ia berechnet werden.
-
Auch in Bezug auf das bewegliche Objekt 5 können unterschiedliche Messgrößen bestimmt werden. Wird das Histogramm 13 aus den x-Richtungskomponenten und/oder aus den y-Richtungskomponenten und/oder aus den Vektorbeträgen 11 erzeugt, so kann anhand der Lage des zweiten Peaks 15 und somit abhängig von dem zweiten Werteintervall Ib die aktuelle relative Geschwindigkeit des Objekts 5 bezüglich des Kraftfahrzeugs 1 bestimmt werden. Die Entfernung des zweiten Peaks 15 von dem Null-Wert des Histogramms 13 stellt nämlich ein Maß für die relative Geschwindigkeit dar.
-
Das Histogramm 13 wird vorzugsweise anhand der jeweils aktuellen Bilder der Kamera 3 in Echtzeit angepasst. Dies bedeutet, dass die jeweils aktuellen Flussvektoren 7 dem Histogramm 13 zugeführt und zugrunde gelegt werden, während die bisherigen Flussvektoren 7 entfernt werden. Die Lage des zweiten Peaks 15 bezüglich des Null-Werts des Histogramms 13 kann über der Zeit beobachtet und ausgewertet werden. In Abhängigkeit von der Richtung, in welche sich der zweite Peak 15 im Histogramm 13 bewegt, kann dann die Bewegungsrichtung des Objekts 5 relativ zum Kraftfahrzeug 1 bestimmt werden.
-
Zumindest eine Messgröße des Objekts 5 kann auch in Abhängigkeit von der Anzahl der Vektorwerte innerhalb des zweiten Werteintervalls Ib und somit in Abhängigkeit von der Höhe des zweiten Peaks 15 bestimmt werden. Abhängig von dieser Anzahl wird dabei bevorzugt eine Abmessung des Objekts 5 und somit die Größe des Objekts 5 ermittelt.
-
Es kann ein Histogramm 13 auch aus den Vektorwinkeln β der Flussvektoren 7 erzeugt werden. Die Lage des zweiten Peaks 15 im Histogramm 13 ist dann abhängig von der relativen Bewegungsrichtung des Objekts 5 bezüglich des Kraftfahrzeugs 1. Durch Auffinden des zweiten Werteintervalls Ib lässt sich somit auch diese relative Bewegungsrichtung ermitteln.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 7346191 B2 [0005, 0009]
