DE102004048400A1

DE102004048400A1 - Verfahren für die Erfassung einer optischen Struktur

Info

Publication number: DE102004048400A1
Application number: DE102004048400A
Authority: DE
Inventors: Rainer Moritz; Alexander Maass; Jens Schick; Alexander Wuerz-Wessel
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2004-10-01
Filing date: 2004-10-01
Publication date: 2006-04-06
Also published as: EP1797534B1; US20070299596A1; EP1797534A2; US8237794B2; WO2006037688A3; WO2006037688A2

Abstract

Die Erfindung betrifft ein Verfahren für die Erfassung einer optischen Struktur aus Bildsequenzen eines Bildaufnahmesystems 3. Dabei wird aus den Bildsequenzen des Bildaufnahmesystems 3 ein optisches Flussfeld abgeleitet. Die Vektoren des optischen Flussfelds werden durch Projektion auf ein Koordinatensystem des von dem Bildaufnahmesystem 3 aufgenommenen Bilds in Komponenten zerlegt. Wenigstens eine Komponente der Flussvektoren wird auf einen Richtungswechsel untersucht. Einen Richtungswechsel einer Vektorkomponente umfassende Bildpunkte werden zu einer Kurve verbunden.

Description

Stand der Technik
Die Erfindung betrifft ein Verfahren für die Erfassung einer optischen Struktur nach dem Oberbegriff des Anspruchs 1. Unter dem Begriff optische Struktur im Sinne dieser Anmeldung sind beispielsweise Linien, insbesondere Horizontlinien, innerhalb eines Bildes oder Berandungslinien bzw. Konturen von Objekten innerhalb eines von einem Bildaufnahmesystem erfassten Bilds zu verstehen. Derartige optische Strukturen werden von einem Bildaufnahmesystem erfasst, das insbesondere fahrzeuggebunden ist. Die von dem Bildaufnahmesystem erfassten optischen Strukturen dienen beispielsweise für eine Kalibrierung des Bildaufnahmesystems oder der Erfassung der Lage und Bewegung des das Bildaufnahmesystem tragenden Fahrzeugs. Aus den erfassten optischen Strukturen abgeleitete Informationen sind vorteilhaft für die Fahrdynamikregelung des Fahrzeugs und insbesondere auch für die Spurführung einsetzbar.
In Kraftfahrzeugen ist an den Einsatz von Bildaufnahmesystemen für die Erfassung des Fahrzeugumfeldes gedacht. Insbesondere ist die Verwendung von Bildaufnahmesystemen in Verbindung mit Fahrerassistenzsystemen geplant. Dadurch ist es beispielsweise möglich, Bildaufnahmesysteme für eine automatische Abstandsregelung des Kraftfahrzeuges zu einem vorausfahrenden Fahrzeug einzusetzen. Zur Vergrößerung des Bilderfassungsbereichs ist auch der Einsatz von mehreren Bildaufnahmesystemen in einem Kraftfahrzeug geplant, wobei sich deren Erfassungsbereiche auch zumindest teilweise überlappen können. Insbesondere ist auch der Einsatz von Stereokameras vorgesehen, die aus zwei Bildaufnahmesystemen bestehen, welche im Wesentlichen dieselbe Szene aufnehmen.

Verfahren und Vorrichtungen zur Kalibrierung von Bildaufnahmesystemen in Kraftfahrzeugen mittels eines Kalibrierobjekts sind bekannt. Aus DE 10229336.8 A1 sind beispielsweise eine Vorrichtung und ein Verfahren zur Kalibrierung eines Bildaufnahmesystems mittels eines Kalibrierobjektes und eines Lagebezugsensors bekannt.

Aus EP 1 120 796 A2 ist weiterhin ein Verfahren zur Kalibrierung eines Bildaufnahmesystems in einem Kraftfahrzeug mittels eines Kalibrierobjekts bekannt. Dabei wird das Kalibrierobjekt mit dem Kraftfahrzeug verbunden und über eine mechanische Verstellvorrichtung in Bezug auf das Kraftfahrzeug ausgerichtet. Die Kalibrierung erfolgt dabei bezüglich der Längsachse des Kraftfahrzeugs. Die Längsachse ist durch symmetrische Merkmale an dem Kraftfahrzeug, insbesondere der Karosserie, konstruierbar. Aufgrund von Fertigungstoleranzen stimmt diese Längsachse jedoch nicht mit der geometrischen Fahrachse überein, die durch die Winkelhalbierende des Gesamtvorspurwinkels der Hinterachse definiert ist. Die Abweichungen zwischen der Längsachse und der geometrischen Fahrachse sind für ein messendes Bildaufnahmesystem, insbesondere bei dessen Verwendung in Fahrerassistenzsystemen in Kraftfahrzeugen, nicht vernachlässigbar, da die geometrische Fahrachse die Fahrtrichtung bei Geradeausfahrt festlegt, unabhängig von der Lage der Längsachse.

Aus DE 102 46 066 A1 ist weiterhin ein Verfahren zur Kalibrierung wenigstens eines Bildaufnahmesystems, das sich an und/oder in und/oder auf einem Kraftfahrzeug befindet, mittels wenigstens eines Kalibrierobjektes, bekannt, bei dem das Bildaufnahmesystem eine erste Bildinformation des Kalibrierobjektes erzeugt, vorzugsweise in Form wenigstens eines Bilddatensatzes, wobei das Kraftfahrzeug eine erste Position bezüglich des Kalibrierobjektes einnimmt, dass dann das Bildaufnahmesystem eine zweite Bildinformation des Kalibrierobjektes erzeugt, vorzugsweise in Form wenigstens eines Bilddatensatzes, wobei das Kraftfahrzeug eine zweite Position bezüglich des Kalibrierobjektes einnimmt, dass dann die Positionsänderung des Kraftfahrzeuges bezüglich des Kalibrierobjektes von der ersten Position zur Einnahme der zweiten Position durch Bewegung des Kraftfahrzeuges erfolgt, und dass dann wenigstens aus der ersten und zweiten erzeugten Bildinformation des Kalibrierobjektes die Ausrichtung des Bildaufnahmesystems bezüglich der geometrischen Fahrachse des Kraftfahrzeuges bestimmt wird. Aus dieser Schrift ist auch eine Vorrichtung zur Kalibrierung wenigstens eines Bildaufnahmesystems, das sich an und/oder in und/oder auf einem Kraftfahrzeug befindet, mit wenigstens einem Kalibrierobjekt und wenigstens einer Auswerteeinheit, die Bildinformationen von dem wenigstens einen Bildaufnahmesystems auswertet, bekannt, wobei die Auswerteeinheit Mittel aufweist, welche die Bestimmung der Ausrichtung des Bildaufnahmesystems bezüglich der geometrischen Fahrachse des Kraftfahrzeuges wenigstens aus einer ersten und einer zweiten Bildinformation des Kalibrierobjektes ermöglichen, wobei die Bildinformationen vorzugsweise in Form wenigstens eines Bilddatensatzes vorliegen. Bei diesen bekannten Lösungen ist das Kalibrierobjekt außerhalb des Fahrzeugs, beispielsweise in einer Werkstatt, angeordnet und muss für den Kalibriervorgang eigens angefahren werden.

Aus JP 06-215134 A1 ist ein Verfahren für die Bilderfassung mit einer fahrzeuggebundenen Fernsehkamera bekannt. Dabei wird die Fernsehkamera dadurch kalibriert, dass ein Teil des Fahrzeugs, wie insbesondere eine Kante der Motorhaube, von der Fernsehkamera erfasst wird und die Bildlage in Abhängigkeit von der Lage der Kante der Motorhaube korrigiert wird. Hierdurch ist zwar prinzipiell eine Kalibrierung eines Bildaufnahmesystems mit bordeigenen Mitteln möglich, so dass kein gesonderter Werkstattbesuch mehr erforderlich ist, um eine Kalibrierung mit dort vorhandenen Kalibrierobjekten durchzuführen. Angesichts der modernen Karosserieformen ergeben sich in der Praxis jedoch erhebliche Probleme, da die heute üblichen Motorhauben häufig keine ausgeprägten Kanten mehr aufweisen und so eine an Kanten orientierte Kalibrierung nicht mehr möglich ist. Des Weiteren führen heute gebräuchliche Hochglanzlackierungen zu Spiegeleffekten, die eine Erfassung von Karosseriestrukturen mit einem Bildaufnahmesystem erschweren.

Aus WO 02/50770 A1 sind ein Verfahren und eine Vorrichtung zum Kompensieren einer Dejustage einer Bilderzeugungsvorrichtung bekannt. Das Verfahren umfasst die folgenden Schritte:
Erzeugen eines ersten Bildes mit einer ersten Bilderzeugungsvorrichtung, und Speichern des ersten Bildes, Erfassen von ersten Aufpunkten und/oder ersten Winkeln von ersten Kanten und/oder ersten Linien in dem ersten Bild, Vergleichen dieser aus dem ersten Bild gewonnenen Daten mit entsprechenden Daten aus einem zweiten Bild und Bestimmen von Korrekturparametern bei ggf. festgestellten Abweichungen, sowie Verwendung der Korrekturparameter für die Kompensation einer ggf. festgestellten Dejustage der Bilderzeugungsvorrichtung. Bei Bildobjekten ohne ausgeprägte Kanten und bei stark reflektierenden Flächen an Bildobjekten ist dieses Verfahren sehr schwierig durchführbar.

Vorteile der Erfindung

Die Erfindung mit den Merkmalen des Anspruchs 1 vermeidet diese Nachteile und ermöglicht auch unter schwierigen optischen Bedingungen die zuverlässige Erfassung von optischen Strukturen, wie insbesondere Kanten an Fahrzeugteilen, wie insbesondere der Motorhaube des Fahrzeugs. Die erfassten optischen Strukturen sind vorteilhaft für die Kalibrierung eines Bildaufnahmesystems mit Bordmitteln auch bei Fahrzeugen mit einem modernen Fahrzeugdesign und bei stark reflektierenden Flächen einsetzbar. Weiterhin eignet sich das erfindungsgemäße Verfahren vorteilhaft für die Erfassung des Wankwinkels bzw. der Wankrate eines Fahrzeugs.

Die Erfindung geht dabei von der Erkenntnis aus, dass durch Ableitung eines optischen Flussfelds aus von einem Bildaufnahmesystem erfassten Bildsequenzen und Projektion der Flussvektoren des optischen Flussfelds auf ein Koordinatensystem Richtungswechsel von Komponenten der Flussvektoren des Flussfelds erkennbar sind. Bildpunkte, die einen derartigen Richtungswechsel umfassen, können zu einer Kurve verbunden werden, die die optische Struktur repräsentiert.

Zeichnung
Ausführungsbeispiele der Erfindung werden nachfolgend unter Bezug auf die Zeichnung näher beschrieben. Dabei zeigt
1: ein Fahrzeug mit einem bordeigenen Bildaufnahmesystem,
2: die beispielhafte Darstellung eines Flussfelds,
3: die Projektion eines Flussvektors auf eine senkrechte und eine waagerechte Koordinatenachse,
4: die Projektion des in 1 dargestellten beispielhaften Flussfelds,
5: die Darstellung einer aus dem beispielhaften Flussfeld abgeleiteten Horizontallinie,
6: die Darstellung eines direkt gemessenen und in Reflexion gemessenen Flussfelds,
7: die Projektion des direkt und in Reflexion gemessenen Flussfelds,
8: die Darstellung der generellen Flussrichtung und deren Umklappen an einer Kante einer reflektierenden optischen Struktur,
9: die Darstellung einer aus einem Flussfeld abgeleiteten gekippten Horizontallinie.
Beschreibung der Ausführungsbeispiele
Für viele Anwendungen in dem Bereich videobasierter Fahrerassistenzsysteme, die wenigstens ein Bildaufnahmesystem für die Erfassung des Fahrzeugumfelds aufweisen, ist die Erfassung optischer Strukturen von großer Bedeutung. Unter dem Begriff optische Struktur im Sinne dieser Anmeldung sind beispielsweise Horizontlinien innerhalb eines von dem Bildaufnahmesystem erfassten Bildes oder Berandungslinien bzw. Konturen von Objekten innerhalb eines Bilds zu verstehen. Die von dem Bildaufnahmesystem erfassten optischen Strukturen dienen beispielsweise für eine Kalibrierung des Bildaufnahmesystems oder der Erfassung der Lage und Bewegung des das Bildaufnahmesystem tragenden Fahrzeugs. Aus den erfassten optischen Strukturen abgeleitete Informationen sind weiterhin vorteilhaft für die Fahrdynamikregelung des Fahrzeugs und insbesondere auch für die Spurführung einsetzbar. Für die Kalibrierung von bordgestützten Bildaufnahmesystemen werden derzeit noch aufwendige stationäre Verfahren in den Fertigungswerken der Fahrzeughersteller durchgeführt, um beispielsweise die Einbaulage des Bildaufnahmesystems relativ zu der Fahrbahn zu bestimmen und ggf. zu korrigieren. Abgesehen von dieser Erstkalibrierung ist aber auch die Bestimmung der Einbaulage des Bildaufnahmesystems während des Betriebs des Fahrzeugs wichtig, um potenziell kritische Systemzustände erkennen zu können. Ein kritischer Systemzustand ist beispielsweise geben, wenn das Bildaufnahmesystem sich aus seiner Halterung gelöst hat und nicht mehr den für die vorgegebene Funktionalität erforderlichen Erfassungsbereich des Fahrzeugumfelds erfasst. Wird ein solcher kritischer Zustand nicht rechtzeitig erkannt, und weiterhin eine Bildauswertung durchgeführt, dann können die dabei gewonnenen Daten zu erheblichen Fehlfunktionen des Fahrerassistenzsystems beitragen. Schwierige Bedingungen sind auch gegeben, wenn in dem Erfassungsbereich des Bildaufnahmesystems spiegelnde Reflexionsflächen, wie insbesondere lackierte Karosserieteile angeordnet sind. Da die Informationen in Spiegelungen von Bildverarbeitungsprozessen an sich nicht von in direkter Sicht gewonnenen Daten unterschieden werden können, können auftretende Spiegelungen zu erheblichen Fehlinterpretationen der aus der Umgebung des Fahrzeugs gewonnenen Daten führen. Die Erfindung löst diese Probleme durch Auswertung des von dem Bildaufnahmesystem erfassten optischen Flusses.
1 zeigt ein schematisch dargestelltes Fahrzeug 1 mit einem bordeigenen Bildaufnahmesystem 3. In diesem Ausführungsbeispiel ist das Bildaufnahmesystem 3 in dem Fahrzeug 1 vorzugsweise hinter der Windschutzscheibe in dem Bereich des Innenrückspiegels angeordnet. Der Erfassungsbereich 3.1 des Bildaufnahmesystems 3 ist in Vorwärtsfahrtrichtung des Fahrzeugs 1 ausgerichtet. Das Bildaufnahmesystem 3 ist vorzugsweise ein Videosensor, der beispielsweise entweder als CCD- oder CMOS-Kamera ausgeführt ist. Vorzugsweise ist das Bildaufnahmesystem 3 Bestandteil eines Fahrerassistenzsystems, das den Fahrer des Fahrzeugs 1 bei der Führung des Fahrzeugs 1 unterstützt, indem es beispielsweise eine automatische Spurführung des Fahrzeugs 1 ermöglicht. Dazu erfasst das Bildaufnahmesystem 3 Bilddaten aus dem Umfeld des Fahrzeugs 1, die aus dem Erfassungsbereich 3.1 des Bildaufnahmesystems 3 stammen. An die Genauigkeit des Bildaufnahmesystems 3 werden sehr hohe Anforderungen gestellt. Sie ist praktisch nur durch eine regelmäßige Kalibrierung des Bildaufnahmesystems 3 zu erreichen, die bei der Fahrzeugfertigung, im Reparaturfall und im Zuge der regelmäßigen Wartungsintervalle durchzuführen ist. Für die Kalibrierung des Bildaufnahmesystems 3 sind spezielle Kalibrierobjekte oder Kalibriertargets erforderlich, die üblicherweise bei einem Werkstattaufenthalt vor das Fahrzeug gestellt und präzise auf dieses ausgerichtet werden müssen. Die exakte Ausrichtung zum Fahrzeug ist mühsam und erfordert eine spezielle Gerätetechnik. Zwar wurde schon vorgeschlagen, die Kalibrierung eines bordeigenen Bildaufnahmesystems mit Bordmitteln autonom durchzuführen und dazu die Kante der von dem Bildaufnahmesystem erfassten Motorhaube des Fahrzeugs als Kalibrierobjekt zu benutzen. In der Praxis scheitert dies jedoch häufig daran, dass infolge des modernen Fahrzeugdesigns die Motorhauben von Fahrzeugen keine als Kalibrierobjekte geeigneten geraden Kanten mehr aufweisen. Auch spiegelnde Reflexionsflächen in dem Erfassungsbereich 3.1 des Bildaufnahmesystems erschweren die Erfassung eines Kalibrierobjekts, wie beispielsweise die Motorhaube des Fahrzeugs 3. Die Erfindung ermöglicht eine autonome, das heißt werkstattunabhängige Kalibrierung eines bordeigenen Bildaufnahmesystems mit Bordmitteln auch unter schwierigen optischen Bedingungen durch Auswertung des optischen Flusses. Durch den Vergleich von Bildern einer von dem Bildaufnahmesystem erfassten Bildsequenz lässt sich der optische Fluss bestimmen, das heißt die Verschiebung von beobachteten Objekten innerhalb der Bildsequenz aufgrund der relativen Bewegung zwischen dem Bildobjekt und dem Bildaufnahmesystem. 2 zeigt die beispielhafte Darstellung eines optischen Flussfelds in einem von dem Bildaufnahmesystem 3 erfassten Bild. Der in dem Zentrum des Bilds mit Bezugsziffer 2 gekennzeichnete Punkt repräsentiert den so genanten Fluchtpunkt FOE (Focus of Expansion). Von dem Fluchtpunkt 2 gehen Flussvektoren 2.1, 2.2, 2.3, ...aus. Über den optischen Fluss lassen sich folgende Aussagen treffen, die für das Verständnis der Erfindung wichtig sind. Optischer Fluss wird durch eine relative Bewegung zwischen dem Bildaufnahmesystem und den in dem Erfassungsbereich des Bildaufnahmesystems erfassten Objekten erzeugt. Es gibt so genannte stationäre Punkte bzw. Strukturen oder Bildmerkmale, die sich in aufeinander folgenden Bildern einer Bildsequenz nicht bewegen. Dies kann folgende Gründe haben: Die beobachteten Objekte sind so weit entfernt, dass eine ggf. vorhandene relative Bewegung bei der Abbildung bzw. der Aufnahme des das Objekt umfassenden Bildes durch einen quantisierten Bildsensor, wie CCD oder CMOS, des Bildaufnahmesystems 3 keine Rolle spielt. Solche Objekte gehören zu den Hintergrundstrukturen. Das beobachtete Objekt bewegt sich relativ zu dem Bildaufnahmesystem nicht. Hierbei kann es sich um Teile des eigenen Fahrzeugs oder ein Fremdfahrzeug handeln, das sich vor dem eigenen Fahrzeug befindet und sich mit gleicher Geschwindigkeit in die gleiche Richtung fortbewegt. Derartige stationäre Punkte bieten eine mathematisch starke Bedingung für das Vorliegen eines Fluchtpunkts 2 (FOE). Das Flussfeld, das durch eine rotatorische Bewegung (Winkelbewegung) des Bildaufnahmesystems erzeugt wird, ist im Wesentlichen unabhängig von der Tiefenstaffelung der aufgenommenen Objekte. Dagegen hängt bei einer translatorischen, auch seitlichen Bewegung das Flussfeld von der Tiefenstaffelung der Objekte ab. Dabei erzeugen nahe Objekte einen relativ großen optischen Fluss, während weiter entfernte Objekte einen kleineren optischen Fluss erzeugen. Das bedeutet, dass eine translatorische Bewegung die Länge der Flussvektoren 2.1, 2.2, 2.3, des optischen Flussfeldes beeinflusst, nicht aber den scheinbaren Ursprungsort der Vektoren, den Fluchtpunkt 2 (FOE). Dieser Fluchtpunkt 2 ist die Projektion der Bewegungsrichtung des Bildaufnahmesystems auf die Bildebene. Da das von dem Bildaufnahmesystem aus seinem Erfassungsbereich 3.1 erfasste Bild lediglich einen Teilbereich der gesamten Bildebene darstellt, muss der Fluchtpunkt 2 nicht notwendigerweise in dem erfassten Bild liegen. Bei einer rein rotatorischen Bewegung, zum Beispiel, liegt der Fluchtpunkt 2 im Unendlichen in der entsprechenden Bewegungsrichtung. Wie aus 2 anschaulich hervorgeht, scheint der Fluchtpunkt 2 der Ursprungsort aller Flussvektoren 2.1, 2.2, 2.3, ... zu sein. Dies gilt allerdings streng nur bei der Aufnahme einer statischen Szene. Im Umkehrschluss kann, bei bekannten Koordinaten des Fluchtpunkts 2 und bekannter Eigenbewegung (Rotation und Translation) aus den dann beobachtbaren Flussvektoren eine Detektion bewegter Objekte erfolgen. Mathematisch gesehen kann der Fluchtpunkt 2 (eine statische Szene unterstellt) als der Punkt mit der maximalen Divergenz bei verschwindender Rotation charakterisiert werden. Bei einer rein translatorischen Bewegung wird im Prinzip ein Norm-Fluchtpunkt beobachtet. Durch eine zusätzliche Rotationsbewegung wird der Fluchtpunkt verschoben und aus der Verschiebung lässt sich bei bekanntem Öffnungswinkel der in dem Bildaufnahmesystem eingesetzten Optik direkt die Winkeleigenbewegung des Bildaufnahmesystem bzw. des das Bildaufnahmesystem tragenden Fahrzeugs, bestimmen. Beobachtet man nun bei einem hinreichend dichten optischen Flussfeld die Projektion der Flussvektoren des optischen Flussfelds auf ein insbesondere rechtwinkliges Koordinatensystem, insbesondere die auf die vertikale Bildachse projizierte Vektorkomponente, für jede Spalte oder Gruppen von Spalten des aus Zeilen und Spalten zusammengesetzten Bildes, dann ergibt sich eine Art Grenzlinie, an der die Richtung der durch Projektion auf die vertikale Bildachse entstandenen Vektorkomponente umklappt. Auf dieser Grenzlinie liegt auch der Fluchtpunkt (FOE). Diese Grenzlinie beschreibt aber auch den Horizont der aktuellen Bewegung. Für den Fall, dass keine Nickbewegung des Fahrzeugs auftritt, stimmt dieser Horizont mit dem Horizont der Ebene überein, auf der sich das Fahrzeug bzw. das mit dem Fahrzeug verbundene Bildaufnahmesystem fortbewegen. Sind weiterhin in dem Erfassungsbereich 3.1 des Bildaufnahmesystems 3 spiegelnde Flächen, zum Beispiel eine lackierte Motorhaube des Fahrzeugs 1, vorhanden, dann wird das Flussfeld an dieser spiegelnden Fläche reflektiert. Dies macht sich bei einer auf die vertikale Bildachse projizierten Komponente des Flussvektors in einer Richtungsänderung dieser Vektorkomponente bemerkbar. Wird der Punkt, in dem diese Richtungsänderung stattfindet, für jede Spalte oder auch eine Gruppe von Spalten erfasst, dann lässt sich aus diesen einzelnen Punkten ein Kurvenverlauf rekonstruieren, der der Kontur der spiegelnden Fläche entspricht. Bei Kenntnis der Konstruktion des Fahrzeugs und somit der exakten Lage der Motorhaube, sowie der Abbildungseigenschaften des Bildaufnahmesystems kann aus dem Verlauf der punktweise erfassten Kontur der spiegelnden Fläche auf die Ausrichtung des Bildaufnahmesystems 3 zu dem Fahrzeug 1 geschlossen werden. Dieser Sachverhalt wird im Folgenden nochmals eingehend anhand der 3 bis 8 erläutert. 3 verdeutlicht die Projektion eines Flussvektors eines optischen Flussfelds auf eine waagerechte und senkrechte Koordinatenachse. Beispielsweise wird dadurch der Flussvektor 2.2 (2) in eine waagerechte Komponente 2.2A und eine senkrechte Komponente 2.2B zerlegt. Die Projektion der Flussvektoren des in 2 dargestellten Flussfelds führt zu der in 4 sichtbaren Darstellung. Hierbei sind nur die auf die vertikale Bildachse projizierten Komponenten der Flussvektoren wiedergegeben, während die auf die waagerechte Achse projizierten Komponenten nicht dargestellt sind. Wenn für jede Spalte des aus Zeilen und Spalten aufgebauten Bildes (4) derjenige Bereich aufgesucht wird, in dem eine Richtungsumkehr der auf die vertikale Achse projizierten Komponenten des Flussvektors stattgefunden hat, ergibt sich für jede Spalte ein Punkt oder ein Punktebereich. Im Idealfall umfasst dieser Bereich gerade 1 Pixel der jeweiligen Spalte. Eine Verbindung dieser Punkte ergibt die in 5 mit Bezugsziffer 5 bezeichnete horizontal verlaufende Linie. Auf dieser Linie 5 liegt auch der Fluchtpunkt 2. Für den Fall, dass das Umklappen der Vektorkomponenten über einen größeren Punktebereich pro Spalte stattgefunden hat, kann eine entsprechend angenäherte Verbindungskurve durch diese Punktebereiche gelegt werden, die diese Punktebereiche am besten annähert. 6 zeigt zunächst ein in direkter Sicht gemessenes Flussfeld 10 mit seinem Fluchtpunkt 2. Weiterhin zeigt 6 ein an einer spiegelnden Fläche, beispielsweise der Motorhaube 6 des Fahrzeugs 1, reflektiertes Flussfeld 10S mit seinem Fluchtpunkt 2S. Die Kante oder Kontur der als spiegelnde Fläche wirkenden Motorhaube 6 ist mit Bezugsziffer 6.1 bezeichnet. 7 zeigt die projizierten Flussfelder 10P und 10SP, wobei hier nur die jeweils auf die vertikale Achse projizierten Komponenten dargestellt sind. Mit Bezugsziffer 6 ist wiederum die spiegelnde Motorhaube, mit Bezugsziffer 6.1 deren Kante bezeichnet. 8 zeigt eine im Wesentlichen der 7 entsprechende Darstellung. Hervorgehoben sind jedoch hier die generellen Flussrichtungen der projizierten Flussfelder 10P und 10SP, die durch die Pfeile F1 und F2 repräsentiert sind. Dabei repräsentiert der Pfeil F1 die generelle Flussrichtung des Flussfelds 10P und der Pfeil F2 die generelle Flussrichtung des Flussfelds 10SP. Aus der Darstellung ist ersichtlich, dass die Richtung der projizierten Flussfelder in dem Bereich der Kante 6.1 der Motorhaube 6 wechselt oder „umklappt". Dadurch kann diese optische Struktur selbst unter widrigen Beobachtungsbedingungen mit großer Sicherheit erkannt werden. Bei Kenntnis der Eigenschaften des Fahrzeugs 1 und seiner Komponenten, das heißt, im vorliegenden Fall, insbesondere der Einbaulage der Motorhaube 6, und in Kenntnis der Abbildungseigenschaften des Bildaufnahmesystems 3, kann somit aus der Lage der Kante 6.1 in dem von dem Bildaufnahmesystem 3 gewonnenen Bild auf die Ausrichtung des Bildaufnahmesystems 3 in Bezug auf das Fahrzeug 1 geschlossen werden. Durch Vergleich der erfassten Lage mit einem Sollzustand ist somit eine Online-Kalibrierung des Bildaufnahmesystems 3 möglich. Eine einmal vorgenommene Kalibrierung kann während der Laufzeit des Fahrzeugs auch jederzeit auf einfache Weise überprüft werden. Für den Fall, dass die Überprüfung eine zu starke Abweichung von Sollwerten ergibt, die auch mit Bordmitteln nicht zu beheben ist, kann weiterhin, in vorteilhafter Weise, auch ein Warnhinweis an den Fahrer gegeben werden, der beispielsweise die Aufforderung zu einem Werkstattbesuch umfasst.
In besonders vorteilhafter Weise lassen sich mit dem erfindungsgemäßen Verfahren auch der Wankwinkel des Fahrzeugs 1 und dessen Wankrate ermitteln. Viele videobasierte Systeme (Bildaufnahmesystem 3) schätzen neben dem Zustand und den Verlauf der Fahrbahn auch zusätzlich den Bewegungszustand des Fahrzeugs. Die möglichst genaue Kenntnis des Bewegungszustands erleichtert beispielsweise die Entscheidung, ob ein Fremdfahrzeug gefahrlos überholt werden kann oder ob das eigene Fahrzeug eine enge Tordurchfahrt passieren kann. Wird der Wankwinkel dabei nicht korrigiert, kann dieses Versäumnis nachteilige Auswirkungen auf die Schätzung oder Bestimmung anderer Zustandsgrößen, wie insbesondere den Nick- oder Gierwinkel haben. Die aus diesen Größen ohne Berücksichtigung des Wankwinkels bestimmte Rotationsrichtung kann beispielsweise Komponenten des Wankwinkels umfassen. Dies kann zur Folge haben, dass eine dynamische Wank- und Gierbewegung festgestellt wird, obwohl lediglich eine reine Gierbewegung stattfindet. Der Wankwinkel kann durch Beobachtung der in 5 dargestellten Linie 5 erfasst werden, die dort horizontal verläuft. Weicht die Linie 5, wie in 8 dargestellt, von der Horizontalen H ab, ergibt die Winkelabweichung den Wankwinkel α. Durch kontinuierliches Überwachen der Lage der Linie 5 in Bezug auf die Horizontale H kann auf einfache Weise auch die Wankrate bestimmt werden.

1: Fahrzeug
2: Fluchtpunkt
2S: gespiegelter Fluchtpunkt
2.1: Flussvektor
2.2: Flussvektor
2.2A: Komponente des Flussvektors 2.2
2.2B: Komponente des Flussvektors 2.2
2.3: Flussvektor
3: Bildaufnahmesystem
3.1: Erfassungsbereich
6: Motorhaube
6.1: Kante
10: Flussfeld
10P: projiziertes Flussfeld
10S: gespiegeltes Flussfeld
10SP: projiziertes gespiegeltes Flussfeld
F1: Pfeil
F2: Pfeil
H: Horizontale
α: Wankwinkel

Claims

Verfahren für die Erfassung einer optischen Struktur aus Bildsequenzen eines Bildaufnahmesystems (3), dadurch gekennzeichnet, dass aus den Bildsequenzen des Bildaufnahmesystems (3) ein optisches Flussfeld (10) abgeleitet wird, dass die Flussvektoren (2.1, 2.2, 2.3, ...) des optischen Flussfelds (10) durch Projektion auf ein Koordinatensystem des von dem Bildaufnahmesystem (3) aufgenommenen Bilds in Komponenten (2.2A, 2.2B) zerlegt werden, dass wenigstens eine Komponente (2.2A, 2.2B) der Flussvektoren (2.1, 2.2, 2.3, ...) auf einen Richtungswechsel untersucht wird und dass einen Richtungswechsel einer Vektorkomponente (2.2A, 2.2B) umfassende Bildpunkte zu einer Kurve verbunden werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Flussvektoren (2.1, 2.2, 2.3, ...) des optischen Flussfelds (10) auf ein orthogonales Koordinatensystem projiziert werden, dessen horizontale Achse parallel zu den Zeilen und dessen vertikale Achse parallel zu den Spalten des von dem Bildaufnahmesystem (3) erfassten Bilds ausgerichtet sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die parallel zu der vertikalen Achse des Koordinatensystems verlaufenden Vektorkomponenten der Flussvektoren (2.1, 2.2, 2.3, ...) auf einen Richtungswechsel untersucht werden.
Verfahren für die Erfassung einer optischen Struktur aus Bildsequenzen eines Bildaufnahmesystems (3), dadurch gekennzeichnet, dass aus den Bildsequenzen des Bildaufnahmesystems (3) ein optisches Flussfeld (10) abgeleitet wird, dass weiterhin aus einem an einer reflektierenden Fläche gespiegelten und von dem Bildaufnahmesystem (3) erfassten Bildsequenz ein optisches Flussfeld (10S) abgeleitet wird, dass die Vektoren der optischen Flussfelder (10, 10S) durch Projektion auf ein Koordinatensystem des von dem Bildaufnahmesystem (3) aufgenommenen Bilds in Komponenten zerlegt werden, dass wenigstens eine Komponente der Flussvektoren der optischen Flussfelder (10, 10S) auf einen Richtungswechsel untersucht werden und dass einen Richtungswechsel einer Vektorkomponente umfassende Bildpunkte zu einer Kurve verbunden werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kante (6.1) bzw. Kontur einer reflektierenden Fläche (6) durch Vergleich des Richtungswechsels von Vektorkomponenten zwischen aus direkten Bildsequenzen und gespiegelten Bildsequenzen gewonnenen Flussvektoren ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass jede Spalte eines Bilds auf das Vorliegen einer in seiner Richtung umgeklappten Vektorkomponente untersucht wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Gruppen von Spalten eines Bilds auf das Vorliegen einer in seiner Richtung umgeklappten Vektorkomponente untersucht werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Kante (6.1) bzw. Kontur der Motorhaube (6) eines Fahrzeugs (1) erfasst wird.
Anwendung des Verfahrens nach einem der vorhergehenden Ansprüche für die Kalibrierung eines Bildaufnahmesystems (3).
Anwendung des Verfahrens nach einem der vorhergehenden Ansprüche für die Erfassung des Wankwinkels bzw. der Wankrate eines Fahrzeugs (1).
Verfahren für die Erfassung des Wankwinkels (α) eines Fahrzeugs (1) gekennzeichnet durch folgende Schritte: – mit einem bordeigenen Bildaufnahmesystem (3) werden Bildsequenzen aus dem Umfeld des Fahrzeugs (1) erfasst; – aus den von dem Bildaufnahmesystem (3) erfassten Bildsequenzen wird ein optisches Flussfeld (10) abgeleitet; – die Flussvektoren (2.1, 2.2, 2.3, ...) des optischen Flussfelds (10) werden durch Projektion auf ein Koordinatensystem des von dem Bildaufnahmesystem (3) aufgenommenen Bilds in Komponenten (2.2A, 2.2B) zerlegt; – wenigstens eine Komponente (2.2A, 2.2B) der Flussvektoren (2.1, 2.2, 2.3, ...) wird auf einen Richtungswechsel untersucht; – einen Richtungswechsel einer Vektorkomponente (2.2A, 2.2B) umfassende Bildpunkte werden zu einer Kurve (H) verbunden; – aus der Abweichung der Kurve (H) von der Horizontalen wird der Wankwinkel (α) bestimmt.
Verfahren für die Kalibrierung eines insbesondere bordgebundenen Bildaufnahmesystems (3), gekennzeichnet durch folgende Schritte: – mit dem bordgebundenen Bildaufnahmesystem (3) werden Bildsequenzen aus dem Erfassungsbereich (3.1) des Bildaufnahmesystems (3) aufgenommen, wobei der Erfassungsbereich (3.1) des Bildaufnahmesystems (3) einen Teil der Fahrzeugstruktur des Fahrzeugs (1), wie insbesondere die Motorhaube (6) oder Teile davon, einschließt; – aus den von dem Bildaufnahmesystem (3) aufgenommenen Bildsequenzen werden optische Flussfelder (10, 10S) abgeleitet; – die Flussvektoren der optischen Flussfelder (10, 10S) werden durch Projektion auf ein Koordinatensystem des von dem Bildaufnahmesystem (3) aufgenommenen Bilds in Komponenten zerlegt; – wenigstens eine Komponente der Flussvektoren der optischen Flussfelder (10, 10S) wird auf einen Richtungswechsel untersucht; – einen Richtungswechsel einer Vektorkomponente umfassende Bildpunkte werden zu einer Kurve (Kante 6.1) verbunden; – die Lage der Kurve (Kante 6.1) wird mit einer Solllage verglichen.