DE102008027778A1

DE102008027778A1 - Verfahren zur visuellen Entfernungsbestimmung zu einem Objekt

Info

Publication number: DE102008027778A1
Application number: DE102008027778A
Authority: DE
Inventors: Heinrich Gotzig; Klaudija Jäger; Willi Kiefel
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2008-06-11
Filing date: 2008-06-11
Publication date: 2009-12-17

Abstract

Es wird ein Verfahren zur visuellen Entfernungsbestimmung zu einem Objekt (11) beschrieben, bei dem Bilder des Objekts (11) mit mindestens zwei unterschiedlichen Brennweiten von einem Ort aus aufgenommen werden und eine Entfernungsbestimmung durch Vergleich der mindestens zwei mit unterschiedlichen Brennweiten aufgenommenen Bilder erfolgt. Außerdem werden ein Linsensystem, eine Fahrassistenzvorrichtung zur Durchführung des Verfahrens, sowie ein Computerprogrammprodukt beschrieben, welches einen Mikroprozessor mit zugehörigen Speichermitteln zur Durchführung des Verfahrens veranlasst.

Description

Stand der Technik
Die Erfindung betrifft ein Verfahren zur visuellen Entfernungsbestimmung zu einem Objekt mittels eines optischen Systems bzw. mittels eines Linsensystems gemäß dem Oberbegriff des Anspruchs 1, ein Linsensystem gemäß dem Oberbegriff des Anspruchs 3, ein Fahrassistenzsystem gemäß dem Oberbegriff des Anspruchs 7, sowie ein Computerprogrammprodukt gemäß dem Oberbegriff des Anspruchs 10.
Kurz auch als Fahrassistenzsysteme bezeichnete Fahrassistenzvorrichtungen dienen der Unterstützung eines Fahrers eines Kraftfahrzeugs bei der Durchführung bestimmter Vorgänge im Straßenverkehr. In modernen Kraftfahrzeugen, im Folgenden auch kurz als Fahrzeuge bezeichnet, werden bereits eine Vielzahl von Fahrassistenzsystemen für unterschiedlichste Aufgaben eingesetzt.
So dienen beispielsweise auch als Einparksysteme bezeichnete Fahrassistenzsysteme einer Unterstützung eines Fahrers eines Fahrzeugs beim Einparken in eine Parklücke. Dabei vermisst das Einparksystem mit beispielsweise seitlich am Fahrzeug angebrachten Sensoren eine mögliche Parklücke, berechnet aus den Lückendaten eine Einparktrajektorie und steuert das Fahrzeug beispielsweise durch aktiven Lenkeingriff in die Parklücke. Während des Einparkvorgangs bzw. beim Einparken wird die Distanz zu die Parklücke begrenzenden Objekten durch Sensoren überwacht.
Als Navigationssysteme bekannte Fahrassistenzsysteme unterstützen einen Fahrer eines Fahrers bei der Navigation im Straßenverkehr. Navigationssysteme berechnen anhand von Sensordaten eine Fahrzeugposition in einer elektronisch hinterlegten Karte und ermöglichen eine Darstellung eines Kartenausschnitts, in dem sich das Fahrzeug befindet und/oder eine Zielführung zu einem gewünschten Fahrziel. Zur Unterstützung der Kartennavigation kann eine visuelle bzw. optische Umfelderfassung mittels einer Kamera und einer Bilderkennung vorgesehen sein.
Als Spurhaltesysteme bezeichnete Fahrassistenzvorrichtungen erfassen mittels geeigneter Sensoren einen Fahrbahn- bzw. Fahrspurverlauf und geben eine Warnung an den Fahrer eines Fahrzeugs aus, wenn das Fahrzeug die Fahrbahn bzw. die Fahrspur zu verlassen droht. Die Fahrspurerkennung erfolgt dabei durch eine visuelle bzw. optische Umfelderfassung. Beispielsweise wird mittels einer Kamera der Fahrbahnverlauf erfasst und aus den gewonnenen Bilddaten mittels Bilderkennung beispielsweise die Fahrspurmarkierungen und/oder die Randbebauung und/oder die Beschaffenheit der Oberfläche in der Umgebung zur Fahrbahn und -spurerkennung ermittelt.
In solchen und auch in anderen Fahrassistenzsystemen können mittels visueller Umfelderfassung ebenso Abstände zu erhabenen Objekten erfasst werden, um hieraus gewünschte Informationen zu erhalten. Heutige optische Linsensysteme für Fahrerassistenzsysteme mit visueller oder optischer Umfelderfassung besitzen eine feste Brennweite und können daher statisch, d. h. ohne Relativbewegung zu einem Objekt, dessen Abstand zum Fahrzeug bestimmt werden soll, keine Entfernungsinformation liefern, bzw. es werden Stereokamerasysteme benötigt, um Abstandsdaten zu gewinnen. Solche Stereokamerasysteme sind durch die erforderliche exakte Anordnung einer Vielzahl von Komponenten am Fahrzeug, insbesondere Kameras samt Verkabelung und die nachfolgende, aufwändige Bildauswertung teuer.
Als eine Aufgabe der Erfindung kann es deshalb angesehen werden, ein kostengünstig und mit einem geringen Installationsaufwand zu verwirklichendes Verfahren zur visuellen Entfernungsbestimmung zu einem Objekt mittels eines optischen Systems bzw. eines Linsensystems zu entwickeln, insbesondere zur Anwendung in Verbindung mit einem Fahrerassistenzsystem mit visueller bzw. optischer Umfelderfassung.
Offenbarung der Erfindung
Die Nachteile des Standes der Technik werden bei einem erfindungsgemäßen Verfahren zur visuellen Entfernungsbestimmung zu einem Objekt dadurch vermieden, indem in einem ersten Verfahrensschritt Bilder des Objekts mit mindestens zwei bekannten und unterschiedlichen Brennweiten von einem Ort aus bzw. von einer Kamera aufgenommen werden. Anschließend werden die mindestens zwei mit unterschiedlichen Brennweiten aufgenommenen Bilder in einem zweiten Verfahrensschritt verglichen, wodurch eine Entfernungsbestimmung erfolgt.
Das erfindungsgemäße Verfahren erlaubt unter Verwendung von nur einer Kamera, welche jedoch mit einem optischen Linsensystem ausgestattet ist, welches eine variable bzw. gezielt veränderbare Brennweite aufweist, statisch Entfernungsinformationen zu liefern und ermöglicht dadurch eine Verwirklichung mit einem geringeren Installationsaufwand und damit geringeren Kosten, als beispielsweise aus dem Stand der Technik bekannte Stereokamerasysteme.
Somit wird ein Verfahren zur Bestimmung eines Abstands eines Objekts mittels visueller Umfelderfassung zur Verfügung gestellt, welches durch Verwendung nur einer Kamera einen geringeren Installationsaufwand und damit geringere Kosten aufweist, und dennoch in der Lage ist, statisch Entfernungsinformationen zu liefern.
Eine vorteilhafte Ausgestaltung der Erfindung sieht vor, dass bei dem Vergleich der mindestens zwei mit unterschiedlichen Brennweiten aufgenommenen Bilder für jede Brennweite i die Gleichungen αi = (2γi·X0i)/·X_I)und dXi = X_I·atan(2·d/r)/γi gelöst werden, mit

α_i: = Öffnungswinkel, den das Objekt von einer Bildebene beispielsweise eines Linsensystems mit veränderbarer Brennweite aus gesehen bei der jeweiligen Brennweite einnimmt,
β_i: = Öffnungswinkel zwischen der Position Objekts auf der Bildebene und der Mitte der Bildebene,
γ_i: = Öffnungswinkel des Linsensystems,
dX_i: = Breite des Objekts in der Bildebene,
X0_i: = Position des Objekts in der Bildebene,
X_I: = Breite der Bildebene,
r: = radialer Abstand des Objekts,
d: = Breite des Objekts.

Werden diese Gleichungen für unterschiedliche Brennweiten gelöst, lässt sich die x/y Position und die Breite des Objektes bestimmen.
Um das Verfahren durchzuführen, kommt vorzugsweise ein Linsensystem zur Anwendung welches eine variable bzw. gezielt veränderbare Brennweite aufweist.
Vorzugsweise weist das Linsensystem einen Raum auf, in dem mindestens zwei transparente, unvermischbare, flüssige und/oder gelförmige Medien mit unterschiedlichen Brechungsindizes eingeschlossen sind. Die beiden Medien nehmen durch Anlegen, Verändern oder Wegnehmen einer Spannung oder durch Aufbringen, Verändern oder Wegnehmen eines Drucks veränderliche Teile des Raums ein, wodurch die Brennweite verändert wird.
Als Medien kommen vorzugsweise Wasser und Öl zum Einsatz.
Die Erfindung ist insbesondere in Verbindung mit einem Fahrassistenzsystem zur Unterstützung eines Fahrers eines Fahrzeugs im Straßenverkehr vorteilhaft anwendbar, welches eine visuelle Umfelderfassung aufweist. Ein solches Fahrassistenzsystem umfasst vorzugsweise:

– Mittel zur Aufnahme von Bildern eines Objekts mit mindestens zwei bekannten und unterschiedlichen Brennweiten von einem Ort aus bzw. mit einer Kamera, und
– Mittel zum Vergleich der mindestens zwei mit unterschiedlichen Brennweiten aufgenommenen Bilder, sowie
– Mittel zur Entfernungsbestimmung zu dem Objekt anhand der durch Vergleich der Bilder gewonnenen Informationen.

Die Mittel zur Aufnahme von Bildern eines Objekts mit mindestens zwei bekannten und unterschiedlichen Brennweiten von einem Ort aus bzw. mit einer Kamera umfassen vorzugsweise eine Kamera mit einem zuvor beschriebenen Linsensystem.
Die Mittel zum Vergleich der mindestens zwei mit unterschiedlichen Brennweiten aufgenommenen Bilder, sowie die Mittel zur Entfernungsbestimmung zu dem Objekt anhand der durch Vergleich der Bilder gewonnenen Informationen umfassen vorzugsweise einen Mikroprozessor mit zugehörigen Speichermitteln oder einen Computer.
Eine besonders vorteilhafte Ausgestaltung der Erfindung betrifft ein Computerprogrammprodukt gespeichert auf einem computerverwendbaren Medium, umfassend computerlesbare Programmmittel, welche bei Ausführung des Computerprogrammprodukts auf einem Mikroprozessor mit zugehörigen Speichermitteln oder auf einem Computer diesen zur Durchführung eines oben beschriebenen, erfindungsgemäßen Verfahrens veranlassen.
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und nachfolgend näher erläutert.
Es zeigen:
1 eine Prinzipdarstellung einer Entfernungsbestimmung nach einem erfindungsgemäßen Verfahren.
2a, 2b eine schematische Darstellung eines erfindungsgemäßen Linsensystems mit variabler Brennweite, wobei das Linsensystem in 2a eine erste und in 2b eine zweite Brennweite aufweist.
Ein Grundgedanke der Erfindung besteht darin, beispielsweise eine Kamera eines Fahrerassistenzsystems mit visueller bzw. optischer Umfelderfassung mit einem optischen Linsensystem auszustatten, welches eine veränderbare bzw. variable, regelbare Brennweite besitzt. Durch Vergleich von mit der Kamera bei unterschiedlichen Brennweiten aufgenommener Bilder eines Objekts ist eine Entfernungsbestimmung zu dem Objekt möglich.
Das erfindungsgemäße Verfahren ermöglicht eine Entfernungsbestimmung durch nur eine Kamera eines Fahrerassistenzsystems mit visueller bzw. optischer Umfelderfassung, wobei die Kamera vorzugsweise ein optisches Linsensystem mit einer variable Brennweite aufweist.
Ein Ausführungsbeispiel, wie ein erfindungsgemäßes Verfahren abläuft, zeigt 1. Werden Bilder der Umgebung mit verschiedenen Brennweiten aufgenommen, dann ist die Position eines Objekts 11 in einer einem optischen Linsensystem nachgeordneten, typischerweise durch einen sogenannten Imager 12 oder CCD-Chip 12 gebildeten Bildebene 12 eine Funktion des Abstandes. Mit den entsprechenden Gleichungen kann anhand der für die unterschiedlichen Brennweiten unterschiedlichen Positionen des Objekts 11 beispielsweise auf einem zur Bilderfassung dienenden, dem optischen Linsensystem nachgeschalteten CCD-Chip 12 dann dessen Abstand bestimmt werden, bzw. können die gesuchten Parameter bestimmt werden.
Unter Zugrundelegung der folgenden Nomenklatur:

α_i: = Öffnungswinkel, den das Objekt (11) von einer Bildebene (12) aus gesehen bei der jeweiligen Brennweite einnimmt,
β_i: = Öffnungswinkel zwischen der Position Objekts (11) auf der Bildebene und der Mitte der Bildebene (12),
γ_i: = Öffnungswinkel des Linsensystems (20),
dX_i: = Breite des Objekts (11) in der Bildebene (12),
X0_i: = Position des Objekts (11) in der Bildebene (12),
X_I: = Breite der Bildebene (12),
r: = radialer Abstand des Objekts (11),
d: = Breite des Objekts (11),

αi = (2γi·X0i)/X_I

dXi = X_I·atan(2·d/r)/γi

Aus diesen Gleichungen lässt sich dann die x/y Position und die Breite des Objektes 11 bestimmen, wenn sie für verschiedene Brennweiten i gelöst werden.
Ein erfindungsgemäßes optisches Linsensystem 20 mit einer optischen Achse 20', welches eine variable bzw. veränderbare, regelbare optische Brennweite besitzt und sich somit als bzw. für ein Entfernungsmesssystem einsetzen lässt, ist in 2a, 2b dargestellt. In einem abgeschlossenen Raum 23 zwischen zwei transparenten bzw. für die verwendeten elektromagnetischen Wellen durchlässigen Abdeckungen 21, 22, beispielsweise Gläsern 21, 22, sind zwei ebenfalls transparente, unvermischbare, vorzugsweise flüssige Medien 26, 27 mit unterschiedlichen Brechungsindizes für die verwendeten elektromagnetischen Wellen eingeschlossen. Bei den elektromagnetischen Wellen handelt es sich vorzugsweise um für das menschliche Auge sichtbares Licht. Ebenso kommen andere Wellenlängen, welche bei der visuellen Umfelderfassung in Frage kommen in Betracht, beispielsweise Infrarotstrahlung. Als flüssige Medien kommen auch gelförmige Medien in Frage. Ebenso ist denkbar, dass eines der beiden Medien flüssig und das andere gelförmig ist. Eines der beiden Medien 26, 27 weist vorzugsweise einen Dipolcharakter bzw. dipolartige Eigenschaften auf, d. h die Moleküle des Mediums 26 reagieren z. B. durch Ausrichtung und/oder Bewegung und/oder Veränderung ihrer Oberflächenspannung auf das Anlegen einer elektrischen Spannung. Bei den verwendeten Medien handelt es sich beispielsweise um Wasser 26 und Öl 27. Zwischen den transparenten Abdeckungen 21, 22 sind an gegenüberliegenden Schmalseiten des Raums 23 jeweils zwei gegeneinander isolierte elektrische Kontaktstellen 24, 25 angeordnet. Jeweils eine Kontaktstelle 25 der beiden Kontaktstellen 24, 25 an den Schmalseiten des Raums 23 ist gegenüber den Medien 26, 27 in dem Raum 23 elektrisch isoliert, die jeweils andere Kontaktstelle 24 ist es vorzugsweise nicht. Durch das Anlegen von verschiedenen Spannungen zwischen den beiden Kontaktstellen 24, 25 findet nunmehr ohne einen Stromfluss eine Beeinflussung der beiden Medien 26, 27 statt, indem deren elektrostatischer Druck verändert wird. Dadurch kommt es zu einer Verschiebung der Ladungsträger in dem Medium 26 mit Dipolcharakter, wodurch die Verteilung des Mediums 26 und damit zwangsweise auch des Mediums 27 in dem Raum 23 verändert wird. Aufgrund der unterschiedlichen Brechungsindizes der beiden Medien 26, 27 wird somit durch Anlegen unterschiedlicher Spannungen die Brennweite des optischen Linsensystems 20 verändert.
Wichtig ist hervorzuheben, dass die Erfindung insbesondere in Verbindung mit Fahrerassistenzsystemen vorteilhaft anwendbar ist, welche eine visuelle oder optische Umfelderfassung, wie z. B. Abstandsbestimmung, Objekterkennung, Fahrspurerkennung etc. aufweisen.

Claims

Verfahren zur visuellen Entfernungsbestimmung zu einem Objekt (11), dadurch gekennzeichnet, dass Bilder des Objekts (11) mit mindestens zwei unterschiedlichen Brennweiten von einem Ort aus aufgenommen werden und eine Entfernungsbestimmung durch Vergleich der mindestens zwei mit unterschiedlichen Brennweiten aufgenommenen Bilder erfolgt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei dem Vergleich der mindestens zwei mit unterschiedlichen Brennweiten aufgenommenen Bilder für jede Brennweite i die Gleichungen αi = (2γi·X0i)/X_Iund dXi = X_I·atan(2·d/r)/γi gelöst werden, mit α_i = Öffnungswinkel, den das Objekt (11) von einer Bildebene (12) aus gesehen bei der jeweiligen Brennweite einnimmt; β_i = Öffnungswinkel zwischen der Position Objekts (11) auf der Bildebene und der Mitte der Bildebene (12); γ_i = Öffnungswinkel des Linsensystems (20); dX_i = Breite des Objekts (11) in der Bildebene (12); X0_i = Position des Objekts (11) in der Bildebene (12); X_I = Breite der Bildebene (12); r = radialer Abstand des Objekts (11); d = Breite des Objekts (11).
Linsensystem (20) zur Anwendung in Verbindung mit einem Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Linsensystem eine variable bzw. veränderbare Brennweite aufweist.
Linsensystem nach Anspruch 3, dadurch gekennzeichnet, dass das Linsensystem (20) einen Raum (23) aufweist, in dem mindestens zwei transparente, unvermischbare, flüssige und/oder gelförmige Medien (26, 27) mit unterschiedlichen Brechungsindizes eingeschlossen sind, welche durch Anlegen, Verändern oder Wegnehmen einer Spannung veränderliche Teile des Raums (23) einnehmen.
Linsensystem nach Anspruch 3, dadurch gekennzeichnet, dass das Linsensystem (20) einen Raum (23) aufweist, in dem mindestens zwei transparente, unvermischbare, flüssige und/oder gelförmige Medien (26, 27) mit unterschiedlichen Brechungsindizes eingeschlossen sind, welche durch Aufbringen, Verändern oder Wegnehmen eines Drucks veränderliche Teile des Raums (23) einnehmen.
Linsensystem nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass als Medien (26, 27) Wasser (26) und Öl (27) verwendet werden.
Fahrassistenzsystem zur Unterstützung eines Fahrers eines Fahrzeugs im Straßenverkehr zur Durchführung eines Verfahrens nach Anspruch 1 oder 2, welches Fahrassistenzsystem eine visuelle Umfelderfassung aufweist, gekennzeichnet durch – Mittel zur Aufnahme von Bildern eines Objekts (11) mit mindestens zwei unterschiedlichen Brennweiten von einem Ort aus, – Mittel zum Vergleich der mindestens zwei mit unterschiedlichen Brennweiten aufgenommenen Bilder, sowie – Mittel zur Entfernungsbestimmung zu dem Objekt (11) anhand der durch Vergleich der Bilder gewonnenen Informationen.
Fahrassistenzsystem nach Anspruch 7, dadurch gekennzeichnet, dass die Mittel zur Aufnahme von Bildern eines Objekts (11) mit mindestens zwei unterschiedlichen Brennweiten von einem Ort aus ein Linsensystem (20) nach einem der Ansprüche 3 bis 6 umfassen.
Fahrassistenzsystem nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die Mittel zum Vergleich der mindestens zwei mit unterschiedlichen Brennweiten aufgenommenen Bilder, sowie die Mittel zur Entfernungsbestimmung zu dem Objekt (11) anhand der durch Vergleich der Bilder gewonnenen Informationen einen Mikroprozessor mit zugehörigen Speichermitteln oder einen Computer umfassen.
Computerprogrammprodukt gespeichert auf einem computerverwendbaren Medium, umfassend computerlesbare Programmmittel, welche bei Ausführung des Computerprogrammprodukts auf einem Mikroprozessor mit zugehörigen Speichermitteln oder auf einem Computer diesen zur Durchführung eines Verfahrens nach einem der Ansprüche 1 oder 2 veranlassen.