DE102022117341A1

DE102022117341A1 - Verfahren zur Bestimmung eines Abstandes zu einem Objekt in einem Sichtfeld einer Kamera, Computerprogramm, Steuereinheit für eine Fahrzeugkamera, Kamera- und Fahrerassistenzsystem

Info

Publication number: DE102022117341A1
Application number: DE102022117341.0A
Authority: DE
Inventors: Donald Peyrot; Diego De Araujo Carvalho; David Hurych; Zahra Nazarichaleshtori; Adela Kovarova
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2022-07-12
Filing date: 2022-07-12
Publication date: 2024-01-18

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung eines ersten Abstands (d) zu einem Objekt (2) in einem Sichtfeld (13) einer Kamera (6) mittels eines von der Kamera (6) bereitgestellten ersten Bildes (B, 2') des Objekts (2), wobei die Kamera (6) einen Bildsensor (8) und ein Optikmodul (7) mit einer variablen effektiven Brennweite (f, f1, f2) aufweist. Des Weiteren wurde das erste Bild (B, 2') des Objekts (2) von der Kamera (6) aufgenommen, während die variable effektive Brennweite (f) auf einen bestimmten Wert (f1, f2) eingestellt war, so dass das Objekt (2) in dem ersten Bild (B) im Fokus ist, wobei der erste Abstand (d) zu dem Objekt (2) abhängig von dem eingestellten bestimmten Wert (f1, f2) der effektiven Brennweite (f) und einer gegebenen Funktion bestimmt wird, die mehreren Objektabständen (d) mehrere erste Werte (V1, V2) zuordnet, wobei die ersten Werte (V1, V2) zweiten Werten (f1, f2) der effektiven Brennweite (f) einschließlich des bestimmten Wertes (f1, f2) der effektiven Brennweite (f) zugeordnet sind.

Description

Die Erfindung betrifft ein Verfahren zur Bestimmung eines ersten Abstands zu einem Objekt in einem Sichtfeld einer Kamera mittels eines von der Kamera bereitgestellten Bildes des Objekts. Die Kamera umfasst einen Bildsensor und ein Optikmodul mit einer variablen effektiven Brennweite. Die Erfindung betrifft ferner ein Computerprogramm, eine Steuereinheit für eine Fahrzeugkamera, eine Kamera für ein Fahrzeug und ein Fahrerassistenzsystem.
Die Erkennung von Objekten und Objektabständen ist entscheidend für fortgeschrittene Fahrerassistenzsysteme. Fortgeschrittene Fahrerassistenzsysteme erfordern eine hohe Zuverlässigkeit bei der Objekterkennung und Objektabstandserkennung. Derzeitige Systeme zur Durchführung einer Objektabstandserkennung sind z.B. Radare, Lidare, Ultraschallsensoren und Kameras. Diese Systeme arbeiten auf unterschiedliche Weisen. Ultraschallsysteme sind auf die Nahbereichserkennung ausgerichtet. Sie senden gepulste Ultraschallwellen aus, und ihr Empfänger berechnet die Zeit, die zwischen der Aussendung und dem Empfang der reflektierten Welle vergangen ist. Radargeräte arbeiten mit Radarwellen, und die Entfernungsschätzung erfolgt mit Hilfe des Dopplereffekts. Sie können zur Erkennung von weiter entfernten Objekten eingesetzt werden. Lidars verwenden Laserwellen, typischerweise im nahen Infrarot (NIR) oder im kurzwelligen Infrarot (SWIR). Der Lidar misst die Flugzeit des Lichts, ähnlich wie die Ultraschallsensoren oder die Radare.
Bei einer Kamera ist die Situation ein wenig komplizierter. Das liegt daran, dass eine einzelne Kamera nur 2D-lnformationen auf der Grundlage von 2D-Bildern liefern kann. Daher müssen andere Techniken, insbesondere softwarebasierte Techniken, angewandt werden, um die Entfernungen von Objekten bestimmen zu können. In der Regel erfordern diese Techniken die Analyse mehrerer Bilder desselben Objekts, die zeitlich nacheinander aufgenommen werden.
DE 10 2015 205 077 B4 beschreibt eine Abstandserkennungsvorrichtung für ein Fahrzeug mit einem Kameraobjektiv und einem Kamerasensor, wobei das Kameraobjektiv mindestens ein Objekt in der Umgebung des Fahrzeugs auf den Kamerasensor abbildet, wobei der Kamerasensor entsprechende Bildsignale erzeugt. Die Abstandserkennungsvorrichtung umfasst ferner eine Verarbeitungseinheit zur Ermittlung des Abstands des Objekts vom Fahrzeug basierend auf den Bildsignalen, wobei das Kameraobjektiv eine variabel einstellbare Brennweite aufweist und die Abstandserkennungsvorrichtung dazu konfiguriert ist, die Bereitstellung der Bildsignale für die Verarbeitungseinheit mit einer Brennweitenvariation des Kameraobjektivs zu synchronisieren. Die Abstandserkennungsvorrichtung umfasst ferner eine elektronische Schaltung, welche dazu konfiguriert ist, dreidimensionale Kartendaten aus den vom Kamerasensor erzeugten Bildsignalen zu erzeugen.
Um eine dreidimensionale Karte aus zweidimensionalen Kamerabildern zu extrahieren, ist es in der Regel erforderlich, dass sich die Kamera kontinuierlich bewegt. Durch die Bewegung der Kamera können Bilder desselben Objekts aus verschiedenen Perspektiven erstellt werden, und daher kann die Entfernung zu den Objekten geschätzt werden, z. B. basierend auf der Änderung der Größe des Objekts in den Bildern, wenn sich die Kamera kontinuierlich auf das Objekt zu bewegt. Die Verwendung einer variablen Brennweite ermöglicht eine ähnliche Bestimmung der Entfernung zu Objekten, ohne dass sich die Kamera bewegen muss. Wenn die Brennweite des Kameraobjektivs variiert wird, ändert sich auch die Größe des abgebildeten Objekts. Die Größenänderung kann zur Bestimmung des Abstands zum Objekt verwendet werden.
Dazu sind jedoch mehrere Bilder desselben Objekts erforderlich, und somit müssen mehrere Bilder analysiert werden, um den Abstand zum Objekt zu bestimmen. Wenn sich die Kamera oder die Objekte während dem Aufnehmen der mehreren Bilder bewegen, wird die Bestimmung des Abstands noch komplizierter. Daher wäre es wünschenswert, eine Methode zur Bestimmung des Abstands zu einem Objekt auf der Grundlage eines Kamerabildes auf einfachere und effizientere Weise bereitzustellen.
Ferner sind Kameras mit variablem Fokus in DE 10 2019 210 508 A1 und in US 2014/0036084 A1 offenbart. Diese Dokumente befassen sich jedoch nicht mit der Bestimmung von Objektabständen.
Es ist daher eine Aufgabe der vorliegenden Erfindung, ein Verfahren, ein Computerprogramm, eine Steuereinheit, eine Kamera und ein Fahrerassistenzsystem bereitzustellen, die eine Bestimmung eines Abstands zu einem Objekt im Sichtfeld einer Kamera auf der Basis eines Kamerabildes auf sehr zuverlässige, einfache und effiziente Weise ermöglichen.
Diese Aufgabe wird gelöst durch ein Verfahren, ein Computerprogramm, eine Steuereinheit, eine Kamera und ein Fahrerassistenzsystem mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen. Vorteilhafte Ausgestaltungen der Erfindung sind in den abhängigen Ansprüchen, der Beschreibung und den Figuren angegeben.
Erfindungsgemäß wird ein Verfahren zur Bestimmung eines ersten Abstands zu einem Objekt im Sichtfeld einer Kamera mittels eines von der Kamera bereitgestellten ersten Bildes des Objekts bereitgestellt, wobei die Kamera einen Bildsensor und ein Optikmodul mit einer variablen effektiven Brennweite aufweist. Des Weiteren wurde das erste Bild des Objekts von der Kamera aufgenommen, während die variable effektive Brennweite auf einen bestimmten Wert eingestellt war, so dass das Objekt in dem ersten Bild im Fokus ist, wobei der erste Abstand zu dem Objekt in Abhängigkeit von dem eingestellten bestimmten Wert der effektiven Brennweite und einer gegebenen Funktion bestimmt wird, die mehrere erste Werte zu entsprechenden Objektabständen zuordnet, wobei die ersten Werte zweiten Werten der effektiven Brennweite einschließlich des bestimmten Werts der effektiven Brennweite zugeordnet sind.
Die Erfindung beruht auf der Erkenntnis, dass für einen bestimmten, eingestellten Wert der effektiven Brennweite eines Optikmoduls nur Objekte in einem bestimmten Abstand zur Kamera auf den Bildsensor scharf abgebildet werden. Objekte, die näher oder weiter entfernt sind, werden unscharf abgebildet und erscheinen somit unscharf auf dem Bildsensor. Dieses Prinzip kann wiederum genutzt werden, um den Abstand von Objekten zu bestimmen, die scharf abgebildet werden, da die effektive Brennweite und die Abstände, in welchen Objekte scharf auf dem Bildsensor abgebildet werden, einer eindeutigen Zuordnung unterliegen, nämlich der gegebenen Funktion, die durch die Linsengleichung beschrieben werden kann oder auf dieser basiert. Zum Beispiel kann die Kamera die variable Brennweite so lange einstellen, bis das bestimmte Objekt scharf abgebildet wird. Der eingestellte bestimmte Wert der effektiven Brennweite, bei dem das Objekt im ersten Bild scharfgestellt ist, ist bekannt und kann zur Bestimmung des Abstands zum Objekt verwendet werden. Folglich ist, um den Abstand zum Objekt zu bestimmen, im Prinzip nur ein einziges Bild dieses Objekts ausreichend, nämlich das erste Bild, in dem das Objekt scharf abgebildet ist. Dies ermöglicht eine sehr zuverlässige Bestimmung des Abstands des Objekts, sowohl in Situationen, in denen sich die Kamera nicht bewegt und auch das Objekt sich nicht bewegt, als auch in Situationen, in denen sich das Objekt und/oder die Kamera relativ zueinander bewegen. Darüber hinaus weist die Erfindung noch einen weiteren großen Vorteil auf: Es wäre prinzipiell auch möglich, den Objektabstand gemäß einem weiteren, anderen Verfahren zu schätzen, wie später näher beschrieben wird. Ein solches Verfahren kann softwarebasiert sein und den Abstand des Objekts basierend auf der Art des Objekts, das detektiert wurde, und basierend auf einer angenommenen Größe dieser Objektart im Verhältnis zur Größe des Objekts im Bild schätzen. Eine solche softwarebasierte Methode kann jedoch leicht durch künstliche Bilder getäuscht werden, z. B. durch manche Abbildungen von Objekten oder Schildern oder durch eine Werbung, die einen Baum, ein Haus, eine Person oder ein Fahrzeug zeigt, die dann von der Kamera als real angesehen werden könnten. Auch eine solche Fehlinterpretation kann nun durch das oben beschriebene erfindungsgemäße Verfahren vorteilhafterweise vermieden werden. Darüber hinaus kann das erfindungsgemäße Verfahren auch dazu verwendet werden, um festzustellen, ob es sich bei den von der Kamera gesehenen Objekten um reale Objekte handelt oder um solche, die auf Bildern oder Plakatwänden usw. dargestellt sind, da der nach dieser anderen Bestimmungsmethode ermittelte Abstand höchstwahrscheinlich nicht mit dem Abstand übereinstimmt, in dem sich das reale Objekt befindet und der durch den ermittelten ersten Abstand bestimmt wird. Somit ermöglicht die Erfindung eine sehr zuverlässige Bestimmung des Abstands zu Objekten auf sehr einfache und effiziente Weise.
Bei der Kamera kann es sich um eine Frontkamera eines Fahrzeugs und/oder um eine Satellitenkamera handeln, die eine Kamera darstellt, deren Steuereinheit sich nicht im selben Kameragehäuse befindet wie das Optikmodul. Mit anderen Worten, kann die Steuereinheit der Kamera, insbesondere für die Verarbeitung der Kamerabilder, optional entfernt von dem Optikmodul und dem Bildsensor angeordnet sein. Darüber hinaus kann die Kamera als Autofokus-Kamera ausgebildet sein. Eine derartige Kamera ist dazu ausgebildet, automatisch auf Objekte basierend auf bekannten Autofokusmethoden zu fokussieren. Im Allgemeinen kann das Objekt im ersten Bild nach einem bestimmten vordefinierten Kriterium im Fokus sein. Die Kamera kann z. B. so ausgebildet sein, dass sich der Fokus selbst auf die beste Position einstellt, indem die höchsten Frequenzen im Bild nach einer Fast-Fourier-Transformation verbessert werden. Dies ist eine Technik, die häufig verwendet wird, um festzustellen, ob ein Bild im Fokus ist oder ein Objekt in einem Bild im Fokus ist oder nicht. Diese Technik basiert auf der Verwendung des Leistungsspektrums. Wenn ein Bild scharf gestellt ist, liefert sein Leistungsspektrum Informationen über Charakteristiken des Bildes in der Frequenzdomäne. Wenn das Bild unscharf wird, werden die Hochfrequenzmerkmale des Bildes tendenziell unscharf, und die entsprechenden Hochfrequenzmerkmale des Leistungsspektrums nehmen im Ausmaß ab.
Der erste Abstand zum Objekt wird relativ zur Position der Kamera bestimmt. Der erste Abstand zum Objekt, insbesondere die Objektposition einschließlich des ersten Abstands, kann basierend auf dem Kamerakoordinatensystem berechnet werden. Falls die Kamera an einem Fahrzeug verwendet wird, kann der Abstand zum Objekt auch in Bezug auf das Fahrzeug berechnet werden, da die Position der Kamera an dem Fahrzeug bekannt ist und somit die Position des Objekts im Kamerakoordinatensystem leicht in das Fahrzeugkoordinatensystem übertragen werden kann. Auch andere Komponenten der Objektposition, insbesondere die horizontalen und vertikalen Koordinaten des Objekts in Bezug auf das Kamerakoordinatensystem, können anhand der Position des Objekts im ersten Bild bestimmt werden. Hierfür können aus dem Stand der Technik bekannte Verfahren verwendet werden.
Außerdem kann der Bildsensor ein herkömmlicher Bildsensor sein. Dieser ist vorzugsweise ortsauflösend und kann in Form eines Sensorarrays, wie z. B. einem CCD-Sensor oder CMOS-Sensor, bereitgestellt sein.
Das Optikmodul der Kamera kann eines oder mehrere optische Elementen aufweisen. Für den Fall, dass das Optikmodul mehrere optische Elemente umfasst, hängt die effektive Brennweite des Optikmoduls von den einzelnen Brennweiten der optischen Elemente ab. Für den Fall, dass das Optikmodul nur ein einziges optisches Element umfasst, so entspricht die effektive Brennweite der Brennweite dieses einzelnen optischen Elements.
Ferner ist es von Vorteil, wenn die Schärfentiefe der Kamera beim Aufnehmen des ersten Bildes klein ist. Das bedeutet, dass der Abstand zwischen den nächstgelegenen und den am weitesten entfernten Objekten, die im ersten Bild akzeptabel scharf abgebildet sind, klein ist. Somit ermöglicht dies eine sehr präzise Bestimmung des ersten Abstands des Objekts. Die Schärfentiefe kann z. B. durch eine optionale Blende der Kamera eingestellt werden. Eine große Blendenöffnung stellt eine kleine Schärfentiefe bereit, eine kleine Blendenöffnung hingegen eine große Schärfentiefe. Um das erste Bild mit einem Objekt im Fokus bereitzustellen, kann die Blende der Kamera auf ihren maximalen Wert eingestellt werden. Dies ermöglicht gleichzeitig eine hohe Bildqualität, da viel Licht durch die Blende gelangen kann. Um eine große Öffnung der Blende bereitzustellen, kann die Aperturblende auch einfach weggelassen werden. Somit muss die Kamera nicht notwendigerweise mit einer verstellbaren Blende bereitgestellt sein.
Wie oben erläutert, stellen unterschiedliche effektive Brennweiten Objekte in unterschiedlichen Abständen zur Kamera in den Fokus. Daher können verschiedene Werte der effektiven Brennweiten, die hier als zweite Werte bezeichnet werden, einfach entsprechenden Objektabständen zugeordnet werden und in einer Funktion, wie z.B. eine Gleichung oder eine Look-Up-Tabelle, abgelegt werden, die zur Bestimmung des ersten Abstands zum Objekt basierend auf dem bekannten bestimmten Wert der effektiven Brennweite verwendet werden kann. Eine solche Funktion kann dadurch die zweiten Werte der effektiven Brennweite direkt den entsprechenden Objektabständen zuordnen. Die Funktion kann aber auch indirekt die zweiten Werte der effektiven Brennweiten den entsprechenden Objektabständen zuordnen. Wie später noch näher erläutert wird, kann das Optikmodul beispielsweise eine Linse umfassen, deren Brennweite durch Einstellen einer angelegten Spannung einstellbar ist, und die eine Flüssiglinse oder Flüssigkristalllinse sein kann. Diese Spannungswerte, die zu verschiedenen Einstellungen der Brennweite einer solchen Flüssiglinse oder Flüssigkristalllinse korrespondieren, können dann zu den ersten Werten korrespondieren, die den verschiedenen zweiten Werten der effektiven Brennweite des Optikmoduls zugeordnet sind. Somit kann die Funktion auch unterschiedliche Spannungswerte den entsprechenden Objektabständen zuordnen.
Gemäß einer vorteilhaften Ausführungsform der Erfindung wird die Funktion in Form einer Formel, insbesondere der Linsengleichung, bereitgestellt, die den Zusammenhang zwischen der Gegenstandsweite z, der Bildweite z' und der effektiven Brennweite f für eine optische Abbildung angibt, wobei die Gegenstandsweite z der Objektabstand z ist und die Bildweite z' dem Abstand einer Bildebene des Bildsensors vom Optikmodul entspricht, wenn die Abbildung Bild des Objekts scharf ist. Insbesondere hat die hier verwendete Linsengleichung die Form: $\frac{1}{f} = \frac{1}{z} - \frac{1}{z'}$
Diese Gleichung kann leicht nach der Objektentfernung z aufgelöst werden: $z = \frac{f \cdot z'}{f + z'}$
So kann mit einer bekannten Einstellung für die effektive Brennweite, nämlich dem bestimmten Wert der effektiven Brennweite, und der bekannten Position des Bildsensors mit Bezug auf das Optikmodul der erste Abstand zum Objekt einfach bestimmt werden.
Gemäß einer weiteren sehr vorteilhaften Ausführungsform der Erfindung umfasst das Optikmodul mindestens eine Linse, die eine Flüssiglinse oder eine Flüssigkristalllinse ist, mit einer Brennweite, die durch eine angelegte Steuerspannung einstellbar ist, wobei unterschiedliche Spannungswerte der Steuerspannung den entsprechenden zweiten Werten der effektiven Brennweite zugeordnet sind, so dass, wenn eine Steuerspannung mit einem bestimmten Spannungswert der Spannungswerte an die mindestens eine Linse angelegt wird, das Optikmodul eine effektive Brennweite mit dem bestimmten zweiten Wert aufweist, der dem bestimmten Spannungswert der angelegten Steuerspannung zugeordnet ist.
Die Verwendung mindestens einer Flüssiglinse oder Flüssigkristalllinse, insbesondere einer Flüssigkristalllinse, hat den großen Vorteil, dass die Brennweite extrem schnell eingestellt werden kann. Dies ist besonders vorteilhaft für die bevorzugte Anwendung des Verfahrens in einem Fahrzeug. Dies ermöglicht eine so schnelle Autofokussierung auf ein Objekt, dass etwaige Bewegungen der Objekte relativ zum Fahrzeug vernachlässigbar sind.
Wie bereits oben erläutert, kann die Brennweite einer solchen Flüssiglinse oder Flüssigkristalllinse durch Anlegen einer entsprechenden Steuerspannung einfach eingestellt werden. So führen unterschiedliche Spannungswerte zu unterschiedlichen Werten der effektiven Brennweite des Optikmoduls. Dieser Zusammenhang zwischen Spannungswerten und Werten der effektiven Brennweite, hier zweite Werte der effektiven Brennweite genannt, ist bekannt. Insbesondere kann dieser Zusammenhang bereits durch die oben genannte Funktion berücksichtigt werden. So kann die oben genannte, gegebene Funktion unterschiedliche Spannungswerte für die Steuerspannung zur Ansteuerung der Flüssiglinse oder Flüssigkristalllinse entsprechenden Objektabständen zuordnen. Mit anderen Worten, die effektive Brennweite kann als Funktion der Steuerspannung f(V) ausgedrückt werden, und die für den Objektabstand aufgelöste Linsengleichung lautet: $z = \frac{f (V) \cdot z'}{f (V) + z'}$
Somit ist es eine weitere vorteilhafte Ausführungsform der Erfindung, dass die ersten Werte, die den verschiedenen zweiten Werten der effektiven Brennweite zugeordnet sind und die den entsprechenden Objektabständen gemäß der gegebenen Funktion zugeordnet sind, die Spannungswerte der Steuerspannung sind. Wie bereits erläutert, kann der Objektabstand dann auf einfache Weise direkt aus dem bekannten, eingestellten Wert der effektiven Brennweite bestimmt werden, gemäß welchem das erste Bild mit dem Objekt im Fokus aufgenommen wurde.
Im Allgemeinen kann die Flüssigkristalllinse entsprechende Elektrodenschichten auf beiden Seiten einer Flüssigkristallschicht umfassen. Jede Elektrodenschicht ist transparent und kann eine Vielzahl von Elektroden umfassen, die separat gesteuert werden können. Jede Elektrode oder jedes Elektrodenpaar kann einem bestimmten steuerbaren Bereich der Flüssigkristallschicht entsprechen. So können die optischen Eigenschaften der verschiedenen Bereiche in der Flüssigkristallschicht separat eingestellt werden, indem die Spannung der jeweiligen Elektroden in den Elektrodenschichten eingestellt wird. So können durch eine geeignete Gestaltung der transparenten Elektroden oder Elektrodenschichten unterschiedliche Brechungsindizes an verschiedenen Stellen der Flüssigkristallschicht bereitgestellt werden. Durch Einstellen der Spannung der Elektrodenbereiche der Elektrodenschichten kann die lokale Konzentration und/oder Ausrichtung der Flüssigkristalle in den entsprechenden Bereiche eingestellt werden, wodurch unterschiedliche optische Eigenschaften bereitgestellt werden können. Dadurch können unterschiedliche Brennweiten eingestellt werden. Die jeweiligen Elektrodenschichten können strukturiert werden, um eine Vielzahl von Elektroden bereitzustellen, die separat ansteuerbar sind.
Insbesondere kann so die an die Flüssigkristalllinse angelegte Spannung nicht nur in Abhängigkeit von der effektiven Brennweite, sondern auch von Elektrodenbereich zu Elektrodenbereich der Flüssigkristalllinse selbst variieren. Die Ausdrücke Steuerspannung und Spannungswerte können also so verstanden werden, dass sie sich auf denselben Elektrodenbereich der Flüssigkristalllinse beziehen. Außerdem kann ein bestimmter Wert der effektiven Brennweite nicht nur mit einem einzigen Spannungswert der Steuerspannung in Verbindung gebracht werden, sondern auch mit einer Verteilung von Spannungswerten über die Elektrodenschichten der Flüssigkristalllinse. Um die effektive Brennweite einzustellen, kann jedoch die Spannung für jeden Elektrodenbereich um den gleichen Betrag geändert werden. Somit kann der Spannungswert, in Abhängigkeit von dem der Objektabstand bestimmt wird, auch als Spannungsdifferenz zu einem definierten Referenzspannungswert definiert werden. Für die Berechnung des Abstandes, insbesondere des ersten Abstandes, muss also nur ein einziger Spannungswert, nämlich der der Spannungsdifferenz, pro Bild berücksichtigt werden und nicht eine Verteilung von vielen Spannungswerten. Die angelegten Spannungsdifferenzen bewegen sich typischerweise in der Größenordnung von Mikrovolt bis Millivolt.
Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung wird nach der Aufnahme des ersten Bildes ein zweites Bild des Objekts von der Kamera aufgenommen, während die variable effektive Brennweite auf einen bestimmten zweiten Wert eingestellt wurde, so dass das Objekt im zweiten Bild im Fokus ist, wobei eine Objekttrajektorie des Objekts in Abhängigkeit von einer Differenz zwischen dem ersten und dem zweiten Wert der effektiven Brennweite bestimmt wird. Der zweite Wert der effektiven Brennweite muss sich nicht notwendigerweise von dem bestimmten Wert der effektiven Brennweite unterscheiden, gemäß welchem das erste Bild aufgenommen wurde. Dies hängt davon ab, ob sich das Objekt relativ zur Kamera bewegt hat oder nicht, insbesondere davon, ob sich der Abstand des Objekts zur Kamera in der Zeit zwischen der Aufnahme des ersten und des zweiten Bildes relativ verändert hat oder nicht. Ausgehend von dem geschätzten Abstand der dynamischen Objekte in jedem Zeitschritt und einer anschließenden räumlich-zeitlichen Clusterung kann man die Trajektorien der dynamischen Objekte und nicht nur die Abstände erhalten. Wenn sich von einem Bild zum anderen die angelegte Spannung (also der Abstand) ändert, kann die relative Geschwindigkeit des Objekts in Bezug auf die Kamera geschätzt werden. Und durch die Position des Bereichs von Interesse, an der sich das Objekt im Bild befindet, von einem Bild zum anderen, kann die Trajektorie geschätzt werden. So kann vorteilhafterweise nicht nur der Abstand zum Objekt bestimmt werden, sondern auch, ob sich das Objekt in Bezug auf die Kamera bewegt und/oder in welche Richtung. Diese Informationen sind sehr nützlich, vor allem für fortgeschrittene Fahrerassistenzsysteme.
Ferner kann nicht nur ein zweites Bild aufgenommen werden, sondern eine Vielzahl von zweiten Bildern des Objekts in einer zeitlich aufeinanderfolgenden Weise, z.B. in aufeinanderfolgenden Zeitschritten, und basierend auf der ermittelten Position des Objekts in jedem Zeitschritt unter Verwendung des ermittelten Abstands des Objekts wie beschrieben kann die Trajektorie des Objekts bestimmt werden. Dies ermöglicht viele weitere vorteilhafte Anwendungen, wie z.B. eine zeitliche Interpolation der Trajektorie, eine Vorhersage über eine zukünftige Position des Objekts, usw., was z.B. für Kollisionswarnsysteme oder autonome Fahranwendungen nützlich ist.
Darüber hinaus können für die Bestimmung der Trajektorie des Objekts auch zusätzliche Informationen berücksichtigt werden, die ebenfalls aus den von der Kamera aufgenommenen Bildern erlangt werden können, nämlich aus dem ersten Bild und dem zweiten Bild und optional auch weiteren aufgenommenen zweiten Bildern. Beispielsweise kann auch die Position des Objekts im ersten und/oder zweiten Bild jeweils berücksichtigt werden, und auch die Differenz der Position des Objekts im ersten Bild und im zweiten Bild kann berücksichtigt werden. Für den Fall, dass zwischen dem ersten und zweiten Wert der effektiven Brennweite kein Unterschied besteht und somit der anhand des ersten Bildes ermittelte Abstand zum Objekt dem anhand des zweiten Bildes ermittelten Abstand zum Objekt entspricht, bewegt sich das Objekt entweder in die gleiche Richtung wie die Kamera und die relative Position zwischen dem Objekt und der Kamera ändert sich nicht oder das Objekt bewegt sich derart relativ zur Kamera, dass sich sein Abstand zur Kamera nicht ändert. Somit kann auch die Bewegungsrichtung des Objekts bestimmt werden. Weiterhin kann auch die aktuelle Geschwindigkeit und Bewegungsrichtung der Kamera berücksichtigt werden. Dies ermöglicht eine genaue Bestimmung der absoluten Trajektorie des Objekts und nicht nur relativ zur Kamera. Ist die Kamera an einem Fahrzeug montiert, so kann die Bewegungsrichtung und die Geschwindigkeit der Kamera aus der Bewegungsrichtung und der Geschwindigkeit des Fahrzeugs berechnet werden. Darüber hinaus kann auch die Zeitspanne zwischen der Aufnahme des ersten und des zweiten Bildes berücksichtigt werden. Diese Zeitspanne kann zum Beispiel das Inverse der Bildrate sein, mit der die Bilder von der Kamera aufgenommen werden.
Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung nimmt die Kamera vor dem ersten Bild des Objekts ein drittes Bild des Objekts auf, anhand des dritten Bildes wird das Objekt als ein bestimmtes Objekt von Interesse identifiziert, dann fokussiert die Kamera automatisch auf das Objekt und nimmt das erste Bild des Objekts auf. So kann das Objekt vor der Aufnahme des ersten Bildes auf der Grundlage eines oder mehrerer zuvor aufgenommener Bilder erkannt und identifiziert werden. Anschließend kann die Kamera ihren Fokus automatisch auf das erkannte Objekt einstellen, was wie oben beschrieben nach bekannten Autofokusmethoden erfolgen kann. Falls es mehrere Objekte von Interesse gibt, kann das beschriebene Verfahren zur Bestimmung des Abstands zu diesen Objekten zeitlich nacheinander durchgeführt werden, indem nacheinander auf diese jeweiligen Objekte von Interesse fokussiert wird. Für den Fall, dass die Objekte den gleichen Abstand zur Kamera aufweisen, kann der Abstand zu diesen Objekten auf der Grundlage desselben Bildes bestimmt werden, in welchem diese Objekte zur gleichen Zeit im Fokus sind.
Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung wird ein zweiter Abstand zu dem Objekt mit einem anderen Abstandsbestimmungsverfahren bestimmt, wobei der ermittelte erste Abstand mit dem ermittelten zweiten Abstand verglichen wird und in Abhängigkeit von einem Ergebnis des Vergleichs ein dritter, insbesondere wahrer, Abstand bestimmt wird. Wie eingangs beschrieben, können auch andere, insbesondere softwarebasierte Verfahren zur Bestimmung von Objektabständen zur Ermittlung des Abstandes, hier des zweiten Abstandes zum Objekt, verwendet werden. Da solche softwarebasierten Methoden manchmal getäuscht werden können, z.B. durch Werbung oder Plakate oder Bilder von Objekten, kann der Vergleich des ersten und zweiten Abstands vorteilhaft zur Bestimmung des wahren Abstands des Objekts verwendet werden. Ist beispielsweise die Differenz zwischen dem ersten und dem zweiten Abstand größer als ein bestimmter Schwellenwert, so kann einfach der erste Abstand als wahrer Abstand eines Objekts festgelegt werden. Für den Fall, dass sich der erste und zweite Abstand nicht signifikant voneinander unterscheiden und die Differenz kleiner als der Schwellenwert ist, kann der wahre Abstand z.B. als ein bestimmter Mittelwert des ersten und zweiten Abstandes berechnet werden oder der erste oder zweite Abstand kann als wahrer Abstand festgelegt werden, z.B. in Abhängigkeit davon, welcher der beiden ermittelten Abstände mit einer höheren Bestimmungsverlässlichkeit verbunden ist.
Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung wird ein zweiter Abstand zu dem Objekt mit einem anderen Abstandsbestimmungsverfahren ermittelt, wobei der ermittelte erste Abstand mit dem ermittelten zweiten Abstand verglichen wird und in Abhängigkeit von einem Ergebnis des Vergleichs bestimmt wird, ob es sich bei dem Objekt um ein reales Objekt oder um ein Bild des Objekts handelt. Ein Bild des Objekts kann dadurch bereitgestellt werden, dass das Objekt in der Umgebung der Kamera beispielsweise auf einem Verkehrsschild, einem Plakat, einer Werbetafel und so weiter angezeigt oder dargestellt wird. So kann vorteilhafterweise anhand eines Vergleichs der beiden ermittelten Abstände detektiert werden, ob das softwarebasierte Verfahren zur Bestimmung des zweiten Abstands getäuscht wurde oder nicht, und es kann festgestellt werden, ob ein von der Kamera gesehenes Objekt ein reales Objekt ist oder nur ein Bild des Objekts ist. Eine Fehlinterpretation der von der Kamera erfassten Umgebung kann somit vermieden werden.
Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung umfasst das Abstandsbestimmungsverfahren ein Klassifizieren des Objekts in eine bestimmte Objektklasse auf der Grundlage eines von der Kamera aufgenommenen vierten Bildes des Objekts, wobei das zweite Bild dasselbe wie das erste Bild oder ein anderes Bild ist, ein Zuordnen einer erwarteten Objektgröße zu dem Objekt basierend auf der Objektklasse und ein Bestimmen des zweiten Abstands zu dem Objekt in Abhängigkeit von einer Größe des Objekts in dem vierten Bild, insbesondere auch in Abhängigkeit von einer ermittelten Position des Objekts in dem vierten Bild, und in Abhängigkeit von der erwarteten Objektgröße.
So kann die Kamera, insbesondere die Steuereinheit, den Abstand des Objekts in Form des zweiten Abstands dank der Bildanalyse schätzen. Die Software, die von der Steuereinheit ausgeführt wird, schätzt, welches Objekt gesehen wird, d.h. das erkannte Objekt wird einer bestimmten Objektklasse von mehreren definierten Objektklassen zugeordnet, und dann schätzt die Software, welche Abmessung das Objekt aufgrund der Objektklasse haben sollte. Diese angenommene reale Abmessung kann dann mit der Größe des Objekts im Bild, d. h. im vierten Bild, verglichen werden, und auf der Grundlage dieses Vergleichs kann die Software den Abstand des Objekts von der Kamera schätzen. Auch die Position des Objekts im Bild kann bei der Bestimmung des zweiten Abstands berücksichtigt werden. Dies ist vorteilhaft, da die Größe des Objekts im Bild auch von der Position des Objekts im Bild abhängen kann, da Bilder je nach den optischen Eigenschaften des Optikmoduls mehr oder weniger verzerrt sein können. Auf diese Weise, d.h. nach dieser Abstandsbestimmungsmethode, ist eine Bestimmung des Abstands des Objekts allein auf der Grundlage einer Bildanalyse dieses vierten Bildes möglich. Dies ist ein sehr einfacher und effizienter Weg, um den Abstand zu einem Objekt zu bestimmen. Wie oben beschrieben, kann ein solches softwarebasiertes Verfahren jedoch leicht durch Bilder von Objekten oder Werbetafeln usw. überlistet werden. Dies spielt in diesem Fall jedoch keine Rolle mehr, da nun, gemäß der oben beschriebenen Möglichkeit der Bestimmung des ersten Abstands des Objekts, der zweite Abstand des Objekts, der auf der Grundlage dieser Abstandsbestimmungsmethode bestimmt wurde, leicht verifiziert oder widerlegt werden kann. Die Durchführung dieser zusätzlichen Abstandsermittlungsmethode stellt weiterhin genauere und zuverlässigere Ergebnisse bereit.
Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung wird auf der Grundlage eines fünften Bildes, das wiederum das erste Bild sein kann oder nicht, eines von der Kamera aufgenommenen zweiten Objekts ein vierter Abstand zu dem zweiten Objekt bestimmt, und in Abhängigkeit von dem vierten Abstand und dem ersten Abstand zu dem Objekt, das im Folgenden als erstes Objekt bezeichnet wird, wird ein fünfter Abstand zwischen dem ersten und dem zweiten Objekt bestimmt. Mit anderen Worten können nach dem oben beschriebenen Verfahren nicht nur Abstände zwischen einem Objekt und einer Kamera bestimmt werden, sondern auch Abstände zwischen Objekten. Zur Bestimmung des Abstandes zwischen zwei Objekten, der hier als „fünfter Abstand“ bezeichnet wird, kann der ermittelte erste Abstand zum ersten Objekt und der entsprechend ermittelte vierte Abstand zum zweiten Objekt verwendet werden. Außerdem kann auch ein Winkel zwischen diesen beiden Objekten verwendet werden. Dieser Winkel kann als der Winkel zwischen einer ersten Linie von der Kamera zum ersten Objekt und einer zweiten Linie von der Kamera zum zweiten Objekt definiert sein. Dieser Winkel kann auf der Grundlage der Positionen der Objekte im Bild bestimmt werden. Wenn dieser Winkel und die jeweiligen Abstände zum ersten und zweiten Objekt bekannt sind, kann der Abstand zwischen diesen beiden Objekten einfach bestimmt werden, zum Beispiel mit Hilfe trigonometrischer Identitäten. Durch die zusätzliche Bestimmung der Abstände zwischen den Objekten können weitere Informationen über die Objekte in der Umgebung der Kamera gewonnen werden.
Die Erfindung betrifft ferner ein Computerprogramm, das Befehle umfasst, die, wenn sie von einer Steuereinheit ausgeführt werden, die Steuereinheit veranlassen, ein erfindungsgemäßes Verfahren oder eines seiner Ausführungsformen auszuführen. Das Computerprogramm kann beispielsweise als Eingabe das von der Kamera aufgenommene, erste Bild oder zumindest den bestimmten Spannungswert der Steuerspannung oder den bestimmten Wert der effektiven Brennweite verwenden, mit dem das erste Bild aufgenommen wurde.
Die Erfindung betrifft ferner eine Steuereinheit für eine Fahrzeugkamera mit einem erfindungsgemäßen Computerprogramm oder eines seiner Ausführungsformen.
Ferner betrifft die Erfindung eine Kamera für ein Fahrzeug, umfassend ein erfindungsgemäßes Steuergerät oder eines seiner Ausführungsformen.
Des Weiteren betrifft die Erfindung eine Kamera für ein Fahrzeug, umfassend ein Sichtfeld, einen Bildsensor, ein Optikmodul mit einer variablen effektiven Brennweite und eine Steuereinheit zur Bestimmung eines ersten Abstands zu einem Objekt im Sichtfeld der Kamera. Die Kamera ist ausgebildet, ein erstes Bild des Objekts aufzunehmen, während die variable effektive Brennweite auf einen bestimmten Wert eingestellt ist, so dass das Objekt in dem ersten Bild im Fokus ist, und die Steuereinheit ist ausgebildet, den ersten Abstand zu dem Objekt in Abhängigkeit von dem eingestellten bestimmten Wert der effektiven Brennweite und in Abhängigkeit von einer in einem Speicher der Steuereinheit gespeicherten Funktion zu bestimmen, wobei die Funktion mehrere erste Werte entsprechenden Objektabständen zuordnet, wobei die ersten Werte zweiten Werten der effektiven Brennweite einschließlich des bestimmten Wertes der effektiven Brennweite zugeordnet sind.
Gemäß einer weiteren vorteilhaften Ausführungsform der Kamera umfasst das Optikmodul mindestens eine Linse, insbesondere eine Flüssiglinse oder Flüssigkristalllinse, mit einer Brennweite, die durch eine von der Steuereinheit angelegte Steuerspannung einstellbar ist, wobei unterschiedliche Spannungswerte der Steuerspannung den entsprechenden zweiten Werten der effektiven Brennweite zugeordnet sind, so dass, wenn eine Steuerspannung mit einem bestimmten Spannungswert der unterschiedlichen Spannungswerte an die mindestens eine Linse angelegt wird, das Optikmodul dann eine effektive Brennweite mit dem bestimmten zweiten Wert aufweist, der dem bestimmten Spannungswert der angelegten Steuerspannung zugeordnet ist, insbesondere wobei die Kamera als Autofokuskamera ausgebildet ist.
Die Erfindung betrifft auch ein Fahrerassistenzsystem für ein Fahrzeug, wobei das Fahrerassistenzsystem eine erfindungsgemäße Kamera oder eine ihrer Ausführungsformen umfasst.
Ferner betrifft die Erfindung auch ein Fahrzeug mit einer erfindungsgemäßen Kamera oder einer ihrer Ausführungsformen.
Die in Bezug auf das erfindungsgemäße Verfahren und seine Ausführungsformen beschriebenen Vorteile gelten entsprechend für das erfindungsgemäße Computerprogramm, die erfindungsgemäße Steuereinheit, die erfindungsgemäße Kamera, das erfindungsgemäße Fahrerassistenzsystem und das erfindungsgemäße Fahrzeug.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die oben in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die unten in der Figurenbeschreibung genannten und/oder in den Figuren allein dargestellten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne dass der Umfang der Erfindung verlassen wird. Somit sind auch Ausführungsformen als von der Erfindung umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, sondern sich aus den erläuterten Ausführungsformen ergeben und durch abgetrennte Merkmalskombinationen erzeugt werden können. Als offenbart sind auch Ausführungsformen und Merkmalskombinationen anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Ferner gelten Ausführungsformen und Merkmalskombinationen als offenbart, insbesondere durch die oben dargelegten Ausführungsformen, die über die in den Beziehungen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
Darin zeigen:

1 eine schematische Darstellung der Abbildung eines von einer Kamera weit entfernten Objekts auf die Bildsensorebene;
2 eine schematische Darstellung der Verschiebung des Bildes des Objekts in Bezug auf den Bildsensor, wenn sich der Abstand des Objekts zur Kamera geändert hat;
3 eine schematische Darstellung einer Kamera gemäß einer Ausführungsform der Erfindung und der Abbildung eines Objekts auf den Bildsensor der Kamera;
4 eine schematische Darstellung der Kamera aus 3 und der Abbildung des Objekts, wenn sich der Abstand des Objekts zur Kamera geändert hat; und
5 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zur Bestimmung eines Abstands zu einem Objekt gemäß einer Ausführungsform der Erfindung.

1 zeigt eine schematische Darstellung einer herkömmlichen Kamera 1 mit einer statischen effektiven Brennweite und der Abbildung eines Objekts 2 auf einen Bildsensor 3 der Kamera 1. Das Bild des Objekts 2 ist mit 2' bezeichnet. Zur Abbildung des Objekts 2 auf eine Abbildungsposition P1 umfasst die Kamera 1 eine Anordnung 4 von Linsen 5.
2 zeigt eine schematische Darstellung der Kamera 1 aus 1, wobei nun das Objekt 2 näher an die Kamera 1 herangekommen ist. Da die Brennweite der Kamera 1, insbesondere der Linsenanordnung 4, fest ist, ist die Bildposition P2 des abgebildeten Objekts 2' von der Position des Objekts 2 abhängig. Wie in 2 zu sehen ist, hat sich die Position P2 des abgebildeten Objekts 2' verändert, und das Bild 2' des Objekts 2 befindet sich nicht mehr in der Bildebene des Bildsensors 3. Dadurch wird das vom Bildsensor 3 aufgenommene Bild des Objekts 2 etwas unscharf. Je näher das Objekt 2 an der Kamera 1 ist, desto weiter ist das Bild 2' des Objekts 2 vom Bildsensor 3 entfernt.
3 zeigt eine schematische Darstellung einer Kamera 6 gemäß einer Ausführungsform der Erfindung. Die Kamera 6 umfasst ein Optikmodul 7 und einen Bildsensor 8. Das Optikmodul 7 kann auch eine oder mehrere Linsen 9 umfassen. Ferner umfasst das Optikmodul 7 nun vorteilhafterweise mindestens eine Linse 10, beispielsweise eine Flüssigkristalllinse, die eine einstellbare Brennweite f aufweist. Die Brennweite f dieser Linse 10 kann durch Anlegen einer entsprechenden Steuerspannung V eingestellt werden. Mit der Änderung der Brennweite dieser Linse 10 wird auch die effektive Brennweite f des Optikmoduls 7 geändert. In dem in 3 gezeigten ersten Beispiel weist das Optikmodul 7 eine erste Brennweite f1 auf, genauer gesagt wird die Brennweite f auf einen ersten Wert f1 der Brennweite f eingestellt, indem eine Steuerspannung V mit einem entsprechenden ersten Spannungswert V1 an die Linse 10 angelegt wird. In diesem Fall wird ein Objekt 2 im Sichtfeld 13 der Kamera 6 auf eine Bildposition P projiziert, an der das Bild 2' des Objekts 2 dargestellt wird. Diese Bildposition P liegt auf der Bildsensorebene des Bildsensors 8. Damit ist das Objekt 2 im Fokus.
Ändert nun das Objekt 2 seinen Abstand d zur Kamera 6, wie dies in 4 dargestellt ist, kann die Spannung V der Flüssigkristalllinse 10 durch die Steuereinheit 12 entsprechend angepasst und auf einen zweiten Spannungswert V2 eingestellt werden, so dass das Objekt 2 weiterhin scharf abgebildet wird. Dies führt zu einem anderen Wert f2 der effektiven Brennweite f des Optikmoduls 7. Entsprechend der Anpassung der effektiven Brennweite f des Optikmoduls 7 durch die Einstellung der an die Linse 10 angelegten Steuerspannung V befindet sich das Bild 2' des Objekts 2 weiterhin an der Position P und damit in der Bildebene des Bildsensors 8.
Im Allgemeinen ist das Bild eines Objekts mit der Brennweite des Kameraobjektivs, hier Optikmodul genannt, und dem Abstand des abgebildeten Objekts verbunden. Eine Autofokus-Funktion einer Kamera ermöglicht es der Kamera, ihre Brennweite wie in 3 und 4 beschrieben einzustellen, um die Bildebene bestmöglich auf dem Bildsensor zu platzieren.
Die Position der Bildebene z' hängt von der effektiven Brennweite f und dem Objektabstand z gemäß der folgenden Gleichung ab: $\frac{1}{f} = \frac{1}{z} - \frac{1}{z'}$
Das bedeutet, dass bei einer typischen effektiven Brennweite f von 6 mm eine Anpassung Δz' der Bildebenenposition z' durch die Linse 10 gemäß der folgenden Tabelle vorzunehmen wäre:

z (m) 100 10 1

z' (m) -0,00600036 -0,00600360 -0,00603622

Δz' (µm) -0,36 -3,60 -36,22
Je näher ein Objekt ist, desto mehr muss die Flüssiglinse oder Flüssigkristalllinse 10 die Fokusänderung ausgleichen. Da es eine Beziehung zwischen der an die Linse 10 angelegten Spannung V und der Fokusänderung gibt, nämlich die Änderung der Brennweite f, ist es möglich, durch die angelegte Spannung V zu wissen, wie groß der Abstand d des Objekts 2 ist, wobei dieser Abstand d in der obigen Tabelle und den Formeln durch z repräsentiert ist. Mit anderen Worten kann der Abstand d, wie in 3 und 4 dargestellt, dann als der Objektabstand z gemäß der folgenden Formel berechnet werden: $z = \frac{f \cdot z'}{f + z'}$
Die Steuereinheit 12 passt die Spannung V so an, dass das Bild 2' des Objekts 2 auf dem Bildsensor 8 scharf ist. Indem eines der optischen Elemente eines herkömmlichen Optikmoduls durch eine Flüssiglinse oder Flüssigkristalllinse 10 ersetzt wird, um das oben beschriebene Optikmodul 7 bereitzustellen, kann die von der Steuereinheit 12 ausgeführte Software die Unschärfe des aufgenommenen Bildes auf dem Bildsensor 8 auswerten und durch Anlegen einer bestimmten Spannung V an die Linse 10 kompensieren, bis die Bildqualität optimiert ist, d. h. das Bild 2' gut auf der Oberfläche des Bildsensors 8 liegt. Die Bildebene, insbesondere die Position P des Bildes 2', wird also durch die Flüssiglinse bzw. Flüssigkristalllinse 10 so eingestellt, dass die Defokussierung aufgrund des Objektabstandes d, insbesondere die Änderung des Objektabstandes d, kompensiert wird. Vorteilhafterweise kann nun die Information der angelegten Spannung V oder der Spannungsänderung ΔV verwendet werden, um den Abstand d des Objekts 2 zu ermitteln, z. B. gemäß der folgenden Tabelle:, wobei wiederum der Objektabstand d durch z dargestellt wird.

ΔV (V) v1 v2 v3

Δz' (µm) -0,36 -3,6 -36,22

z' (m) -0,00600036 -0,0060036 -0,00603622

f 0,006 0,006 0,006

z (m) 100 10 1
Δz' bezeichnet die Lageveränderung der Bildebene gegenüber der Brennebene. Bei großen Objektabständen z liegt das projizierte Bild 2' nahe an der Brennebene, auf der der Sensor 8 positioniert ist. Kommt das Objekt 2 näher, so wird die Positionsänderung Δz' größer. Diese Positionsänderung muss durch eine Anpassung der Spannung V kompensiert werden. Insbesondere bezeichnet die Spannungsänderung ΔV die Differenz der Spannung V in Bezug auf eine Referenzspannung, die in diesem Beispiel einer effektiven Brennweite des Optikmoduls 7 von 6 mm entspricht.
5 zeigt eine schematische Darstellung eines Flussdiagramms zur Veranschaulichung eines erfindungsgemäßen Verfahrens. Das Verfahren beginnt in Schritt S1, in dem die Kamera 6 auf ein Objekt 2 im Sichtfeld 13 der Kamera 6 fokussiert. Zu diesem Zweck kann die Kamera 6 die an die Flüssiglinse oder Flüssigkristalllinse 10 angelegte Spannung V so lange anpassen, bis das vom Bildsensor 8 erfasste Bild B ausreichend scharf ist, insbesondere in Bezug auf das abgebildete Objekt von Interesse, für das der Abstand d bestimmt werden soll. Als Ergebnis liefert die Kamera 7 in Schritt S2 ein Bild B des Objekts 2, in dem das Objekt 2 im Fokus ist, sowie die entsprechende Spannung V der Flüssiglinse oder Flüssigkristalllinse 10, nämlich den Spannungswert Vx, der beim Aufnehmen des Bildes B an die Linse 10 angelegt wurde. Danach bestimmt die Steuereinheit 12 in Schritt S3 den Objektabstand d gemäß folgender Formel: $d = z = \frac{f (V x) \cdot z'}{f (V x) + z'}$
So kann die Objektentfernung d einfach auf der Grundlage der Kenntnis der angewandten Werte Vx der Linse 10 bestimmt werden, für die ein interessierendes Objekt 2 scharf abgebildet wird.
Optional kann diese Methode zur Bestimmung des Abstands d von Objekten 2 auch zur Überprüfung von Abständen verwendet werden, die mit einer anderen Methode zur Abstandsbestimmung berechnet wurden. So kann die Steuereinheit 12 auf der Grundlage des Bildes B oder eines anderen von der Kamera 6 aufgenommenen Bildes des Objekts 2 ein anderes Verfahren zur Bestimmung des Abstands des Objekts 2 durchführen. Zu diesem Zweck kann die Steuereinheit 12 das Bild B oder ein anderes Bild in Schritt S4 auswerten. Die Software, die von der Steuereinheit 12 ausgeführt wird, schätzt, welche Art von Objekt 2 zu sehen ist und welche Abmessungen es haben sollte, und dank der Bildgröße und der Position des Objekts im Bild kann die Software den Abstand schätzen, der in Schritt S5 in Form eines zweiten Abstands d2 bereitgestellt wird. Auf der Grundlage eines Vergleichs des in Schritt S3 gelieferten Abstands d und des in Schritt S5 gelieferten zweiten Abstands d2 kann die Steuereinheit 12 in Schritt S6 einen dritten Abstand d3 als den wahren Abstand des Objekts 13 von der Kamera 6 bereitstellen. Dieser dritte Abstand kann z.B. identisch mit dem Abstand d oder dem Abstand d2 sein, wenn diese beiden Abstände d, d2 in ausreichender Weise miteinander übereinstimmen. Bei einer großen Diskrepanz zwischen dem Abstand d und dem zweiten Abstand d2 kann der dritte Abstand d3 als der erste Abstand d bestimmt werden, und der zweite Abstand d2 kann als falsch angesehen werden. Dies ist darauf zurückzuführen, dass die herkömmliche Software zur Bestimmung von Objektabständen, wie sie in Bezug auf den zweiten Abstand d2 beschrieben wurde, leicht durch künstliche Bilder getäuscht werden kann. Dabei kann es sich um Bilder von Gegenständen oder Fahrzeugen handeln, die dann falsch interpretiert werden können. Es kann sich dabei um eine Werbung handeln, die einen Baum, ein Haus, eine Person oder ein Fahrzeug zeigt, die von der Kamera als real angesehen werden könnten. Dies kann nun vorteilhaft vermieden werden, da solche falschen zweiten Abstände d2 durch einen Vergleich mit dem Abstand d, der wie oben beschrieben berechnet wird, leicht erkannt werden können.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102015205077 B4 [0004]
DE 102019210508 A1 [0007]
US 2014/0036084 A1 [0007]

Claims

Verfahren zur Bestimmung eines ersten Abstandes (d) zu einem Objekt (2) in einem Sichtfeld (13) einer Kamera (6) mittels eines von der Kamera (6) bereitgestellten, ersten Bildes (B, 2') des Objektes (2), wobei die Kamera (6) einen Bildsensor (8) und ein Optikmodul (7) mit einer variablen effektiven Brennweite (f, f1, f2) umfasst, dadurch gekennzeichnet, dass das erste Bild (B, 2') des Objekts (2) von der Kamera (6) aufgenommen wurde, während die variable effektive Brennweite (f) auf einen bestimmten Wert (f1, f2) eingestellt war, so dass das Objekt (2) in dem ersten Bild (B) im Fokus ist, wobei der erste Abstand (d) zu dem Objekt (2) in Abhängigkeit von dem eingestellten bestimmten Wert (f1, f2) der effektiven Brennweite (f) und einer gegebenen Funktion bestimmt wird, die mehrere erste Werte (V1, V2) entsprechenden Objektabständen (d) zuordnet, wobei die ersten Werte (V1, V2) zweiten Werten (f1, f2) der effektiven Brennweite (f) einschließlich des bestimmten Wertes (f1, f2) der effektiven Brennweite (f) zugeordnet sind.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Funktion in Form einer Formel, insbesondere der Linsengleichung, bereitgestellt ist, die den Zusammenhang zwischen Gegenstandsweite (d), Bildweite und der effektiven Brennweite (f) für eine optische Abbildung angibt, wobei die Gegenstandsweite (d) den Objektabstand (d) darstellt und die Bildweite den Abstand einer Bildebene des Bildsensors (8) von dem Optikmodul (7) darstellt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Optikmodul (7) mindestens eine Linse (10), die eine Flüssiglinse (10) oder eine Flüssigkristalllinse (10) ist, mit einer Brennweite aufweist, die durch eine angelegte Steuerspannung (V) einstellbaren ist, wobei unterschiedliche Spannungswerte (V1, V2) der Steuerspannung (V) den entsprechenden zweiten Werten (f1, f2) der effektiven Brennweite (f) zugeordnet sind, so dass, wenn eine Steuerspannung (V) mit einem bestimmten Spannungswert (V1, V2) der verschiedenen Spannungswerte (V1, V2) an die mindestens eine Linse (10) angelegt wird, das Optikmodul (7) eine effektive Brennweite (f) mit dem bestimmten zweiten Wert (f1, f2) aufweist, der dem bestimmten Spannungswert (V1, V2) der angelegten Steuerspannung (V) zugeordnet ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die ersten Werte (V1, V2), die den zweiten Werten (f1, f2) der effektiven Brennweite (f) zugeordnet sind und die den entsprechenden Objektabständen (d) gemäß der gegebenen Funktion zugeordnet sind, die Spannungswerte (V1, V2) der Steuerspannung (V) sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass nachdem das erste Bild (B, 2') aufgenommen wurde, ein zweites Bild (B, 2') des Objekts (2) von der Kamera (6) aufgenommen wird, während die variable effektive Brennweite (f) auf einen bestimmten zweiten Wert (f1, f2) eingestellt wurde, so dass das Objekt (2) im zweiten Bild (B, 2') im Fokus ist, wobei eine Objekttrajektorie des Objekts (2) in Abhängigkeit von einer Differenz zwischen dem ersten und zweiten Wert (f1, f2) der effektiven Brennweite (f) bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kamera (6) vor dem ersten Bild (B) des Objekts (2) ein drittes Bild vom Objekt (2) aufnimmt, auf der Grundlage des dritten Bildes das Objekt (2) als ein bestimmtes Objekt (2) von Interesse identifiziert wird, die Kamera (6) dann automatisch auf das Objekt (2) fokussiert und das erste Bild (B, 2') vom Objekt (2) aufnimmt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein zweiter Abstand (d2) zum Objekt (2) unter Verwendung eines anderen Abstandsbestimmungsverfahrens ermittelt wird, wobei der ermittelte erste Abstand (d) mit dem ermittelten zweiten Abstand (d2) verglichen wird, und in Abhängigkeit von einem Ergebnis des Vergleichs ein dritter Abstand (d3) ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein zweiter Abstand (d2) zu dem Objekt (2) unter Verwendung eines anderen Abstandsbestimmungsverfahrens ermittelt wird, wobei der ermittelte erste Abstand (d) mit dem ermittelten zweiten Abstand (d2) verglichen wird, und in Abhängigkeit von einem Ergebnis des Vergleichs bestimmt wird, ob es sich bei dem Objekt (2) um ein reales Objekt handelt oder um ein Bild des Objekts.
Verfahren nach einem der Ansprüche 7 oder 8, dadurch gekennzeichnet, dass das Abstandsbestimmungsverfahrens umfasst: - Klassifizieren des Objekts (2) in eine bestimmte Objektklasse auf der Grundlage eines von der Kamera (6) aufgenommenen vierten Bildes des Objekts (2), wobei das zweite Bild dasselbe ist wie das erste Bild (B) ist oder ein anderes Bild ist; - Zuordnen einer erwarteten Objektgröße zu dem Objekt (2) basierend auf der Objektklasse; und - Bestimmen des zweiten Abstands (d2) zu dem Objekt (2) in Abhängigkeit von einer Größe des Objekts (2) in dem vierten Bild, insbesondere auch in Abhängigkeit von einer ermittelten Position des Objekts (2) in dem vierten Bild, und in Abhängigkeit von der erwarteten Objektgröße.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass auf der Grundlage eines fünften von der Kamera (6) aufgenommenen Bildes eines zweiten Objekts ein vierter Abstand zu dem zweiten Objekt ermittelt wird, und in Abhängigkeit von dem vierten Abstand und dem ersten Abstand (d) zu dem ersten Objekt (2) ein fünfter Abstand (d) zwischen dem ersten und dem zweiten Objekt (2) ermittelt wird.
Computerprogramm mit Befehlen, die, wenn sie von einer Steuereinheit (12) ausgeführt werden, die Steuereinheit (12) veranlassen, ein Verfahren nach einem der vorhergehenden Ansprüche auszuführen.
Steuereinheit (12) für eine Fahrzeugkamera (6) mit einem Computerprogramm nach Anspruch 11.
Kamera (6) für ein Fahrzeug, mit einem Sichtfeld (13), einem Bildsensor (8), einem Optikmodul (7) mit variabler effektiver Brennweite (f, f1, f2) und einer Steuereinheit (12) zur Bestimmung eines ersten Abstands (d) zu einem Objekt (2) im Sichtfeld (13) der Kamera (6), dadurch gekennzeichnet, dass die Kamera (6) ausgebildet ist, ein erstes Bild (B, 2') des Objekts (2) aufzunehmen, während die variable effektive Brennweite (f) auf einen bestimmten Wert (f1, f2) eingestellt ist, so dass das Objekt (2) in dem ersten Bild (B, 2') im Fokus ist, und die Steuereinheit (12) ausgebildet ist, den ersten Abstand (d) zu dem Objekt (2) in Abhängigkeit von dem eingestellten bestimmten Wert (f1, f2) der effektiven Brennweite (f) und einer in einem Speicher der Steuereinheit (12) gespeicherten Funktion zu bestimmen, wobei die Funktion mehrere erste Werte (V1, V2) entsprechenden Objektabständen (d) zuordnet, wobei die ersten Werte (V1, V2) zweiten Werten (f1, f2) der effektiven Brennweite (f) einschließlich des bestimmten Wertes (f1, f2) der effektiven Brennweite (f) zugeordnet sind.
Kamera (6) nach Anspruch 13, dadurch gekennzeichnet, dass das Optikmodul (7) mindestens eine Linse (10), insbesondere eine Flüssiglinse (10) oder eine Flüssigkristalllinse (10), mit einer Brennweite (f, f1, f2) aufweist, die durch eine von der Steuereinheit (12) angelegte Steuerspannung (V) einstellbar ist, wobei unterschiedliche Spannungswerte (V1, V2) der Steuerspannung (V1) den entsprechenden zweiten Werten (f1, f2) der effektiven Brennweite (f) zugeordnet sind, so dass, wenn eine Steuerspannung (V) mit einem bestimmten Spannungswert (V1, V2) der Spannungswerte (V1, V2) an die mindestens eine Linse (10) angelegt wird, das Optikmodul (7) dann eine effektive Brennweite (f) mit dem bestimmten zweiten Wert (f1, f2) aufweist, der dem bestimmten Spannungswert (V1, V2) der angelegten Steuerspannung (V) zugeordnet ist, insbesondere wobei die Kamera (6) als eine Autofokuskamera (6) ausgebildet ist.
Fahrerassistenzsystem für ein Fahrzeug, wobei das Fahrerassistenzsystem eine Kamera (6) nach Anspruch 13 oder 14 umfasst.