DE102015112380A1

DE102015112380A1 - Verfahren zum Bestimmen einer Entfernung von einer Kamera zu einem Objekt, Fahrerassistenzsystem und Kraftfahrzeug

Info

Publication number: DE102015112380A1
Application number: DE102015112380.0A
Authority: DE
Inventors: Michael Burke; Laura Russell
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2015-07-29
Filing date: 2015-07-29
Publication date: 2017-02-02

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen einer Entfernung (17, 18) von einer Kamera (4) eines Kraftfahrzeugs (1) zu einem Objekt (8, 9) in einem Umgebungsbereich (6) des Kraftfahrzeugs (1), bei welchem mittels der Kamera (4) eine Bildsequenz (15) von Bildern (14, 16) von dem Objekt (8, 9) aufgenommen wird, wobei Bilder (14, 16) der Bildsequenz (15) mit unterschiedlichen Blendenöffnungswerten (N) durch die Kamera (4) aufgenommen werden, und das Objekt (8, 9) dadurch in den Bildern (14, 16) der Bildsequenz (15) jeweils mit einer unterschiedlichen Schärfe abgebildet wird, wobei ein scharfes Bild (14, 16) der Bildsequenz (15) der Bilder (14, 16) bestimmt wird, in welchem das Objekt (8, 9) in der Schärfenebene (u) des scharfen Bilds (14, 16) abgebildet wird, und die Entfernung (17, 18) von der Kamera (4) zu dem Objekt (8, 9) anhand eines Vergleichs eines Blendenöffnungswerts (N) der Kamera (4) zum Zeitpunkt der Aufnahme des scharfen Bilds (14, 16) mit einem Referenzblendenöffnungswert der Kamera (4) bestimmt wird.

Description

Die Erfindung betrifft ein Verfahren zum Bestimmen einer Entfernung von einer Kamera eines Kraftfahrzeugs zu einem Objekt in einem Umgebungsbereich des Kraftfahrzeugs. Es wird mittels der Kamera eine Bildsequenz von Bildern von dem Objekt aufgenommen. Bilder der Bildsequenz werden jeweils mit unterschiedlichen Blendungsöffnungswerten durch die Kamera aufgenommen. Das Objekt wird dadurch in den Bildern der Bildsequenz jeweils mit einer unterschiedlichen Schärfe abgebildet. Die Erfindung betrifft auch ein Fahrerassistenzsystem für ein Kraftfahrzeug, wie auch ein Kraftfahrzeug mit einem Fahrerassistenzsystem.
Aus der US 7,974,460 B2 ist ein Verfahren zur Hinderniskartierung bei der Navigation von einem autonom betriebenen Fahrzeug offenbart. Das Fahrzeug umfasst eine Bilderfassungsvorrichtung. Die Bilderfassungseinrichtung wird auf eine vorbestimmte Anzahl von unterschiedlichen Distanzen fokussiert, um für jede der Distanzen ein Bild zu erfassen. Es wird dann identifiziert, welche Regionen in den erfassten Bildern im Fokus sind. Es wird nun ein zusammengesetztes Bild von den erfassten Bildern erstellt, wobei jede der Regionen mit der zugehörigen Linsenfokusentfernung beschriftet werden. Von dem zusammengesetzten Bild wird eine Hinderniskarte erstellt.
Es ist Aufgabe der Erfindung, ein Verfahren, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug bereitzustellen, mit welchem bzw. bei welchem eine Entfernung von einer Kamera des Kraftfahrzeugs zu einem Objekt in einem Umgebungsbereich des Kraftfahrzeugs einfacher und präziser bestimmt werden kann.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst.
Bei einem erfindungsgemäßen Verfahren wird eine Entfernung von einer Kamera eines Kraftfahrzeugs zu einem Objekt in einem Umgebungsbereich des Kraftfahrzeugs bestimmt. Es wird eine Bildsequenz von Bildern von dem Objekt mittels der Kamera aufgenommen. Bilder der Bildsequenz werden jeweils mit unterschiedlichen Blendungsöffnungswerten durch die Kamera aufgenommen. Dadurch wird das Objekt in den Bildern der Bildsequenz jeweils mit einer unterschiedlichen Schärfe abgebildet. Als ein wesentlicher Gedanke der Erfindung ist vorgesehen, dass ein scharfes Bild der Bildsequenz der Bilder bestimmt wird, in welchem das Objekt in der Schärfenebene des scharfen Bilds abgebildet wird, und die Entfernung von der Kamera zu dem Objekt anhand eines Vergleichs eines Blendenöffnungswerts der Kamera zum Zeitpunkt der Aufnahme des scharfen Bilds mit einem Referenzblendenöffnungswert der Kamera bestimmt wird.
Durch den Vergleich des Blendenöffnungswerts mit dem Referenzblendenöffnungswert kann die Entfernung für das Objekt einfacher und präziser bestimmt werden. Es ist somit nicht notwendig ein zusammengesetztes Bild oder eine Hinderniskarte mit mehreren Entfernungen von Objekten in dem Umgebungsbereich zu erstellen. Durch das erfindungsgemäße Verfahren kann also für das ausgewählte Objekt einfach und präzise die Entfernung von der Kamera zu dem Objekt bestimmt werden. Weiterhin kann die Entfernung mit der Kamera als Einzelkamera bestimmt werden. Die Entfernung kann somit ohne den Nutzen eines üblicherweise angewandten Stereoprinzips bestimmt werden, bei welchem die Bilder von unterschiedlichen Standorten aufgenommen werden.
Die Entfernung kann dabei beispielsweise in einer absoluten Maßeinheit, wie beispielsweise Millimetern, angegeben werden.
Der Erfindung liegt die Erkenntnis der Schärfentiefe (DOF – Depth Of Field) zugrunde. Die Schärfentiefe ist ein Maß für die Ausdehnung des scharfen Bereichs im Objektraum eines abbildenden optischen Systems. Die Schärfentiefe beschreibt die Größe eines Entfernungsbereichs, innerhalb dessen ein Objekt hinlänglich scharf im Abbild der Kameraoptik erscheint. Das Objekt wird in diesem Fall also in der Schärfenebene abgebildet. Bei dem scharfen Bild ist dies also der Fall, und das Objekt erscheint scharf in dem mittels des Blendenöffnungswerts fokussierten Entfernungsbereich. Insbesondere ist das scharfe Bild der Bildsequenz jenes Bild, bei welchem das Objekt am schärfsten und somit in der Schärfenebene abgebildet wird.
Insbesondere ist es vorgesehen, dass dem Referenzblendenöffnungswert ein Entfernungswert zugewiesen wird, durch welchen ein Zusammenhang zwischen der Entfernung von der Kamera zu dem Objekt und einer scharfen Abbildung des Objekts in dem jeweiligen Bild der Bildsequenz bereitgestellt wird. So kann das Zuweisen des Entfernungswerts beispielsweise anhand von Messergebnissen, also impirisch, erfolgen, es kann aber auch eine arithmetische Bestimmung anhand von Kameraparametern der Kamera erfolgen. Vorteilhaft ist also, dass dadurch eine Verbindung zwischen dem Blendenöffnungswert und dem Entfernungswert hergestellt wird, welche ein einfaches und präzises Bestimmen der Entfernung des Objekts ermöglicht.
Vorzugsweise ist es vorgesehen, dass das scharfe Bild mittels eines automatischen Fokussierverfahrens bestimmt wird, insbesondere wird als das scharfe Bild jenes Bild von den Bildern der Bildsequenz bestimmt, welches den maximalen Kontrast zwischen benachbarten Bildpunkten in einem das Objekt aufweisenden Bildbereich des Bilds aufweist. Als das automatische Fokussierverfahren wird insbesondere ein passives Autofokusverfahren eingesetzt. Das passive Autofokusverfahren kann beispielsweise ohne aktive Beleuchtung betrieben werden. So kann das automatische Fokussierverfahren weiterhin beispielsweise als Kantenkontrastmessung und/oder als Phasenvergleichsmessung ausgeführt werden. Die Fokussierung mittels Kontrastmessung an Konturkanten läuft prinzipiell so ab, wie auch das menschliche Auge fokussiert. Die Bildweite des Objektivs wird solange variiert, bis der Helligkeitsverlauf an hell/dunkel-Konturkanten eine maximale Steilheit hat. Die Kamera errechnet dazu beispielsweise die Frequenzverteilung im Bild, und je größer der Anteil der hohen Frequenzen, also abrupten hell-dunkel Wechseln, desto schärfer ist der untersuchte Bildbereich des Bilds bzw. das Objekt. Das automatische Fokussierverfahren kann aber auch mit dem Phasenvergleichsverfahren betrieben werden. Die Methode des Phasenvergleichsverfahrens leitet sich vom rein optischen Schnittbildindikator ab. Im Zentrum der durch den Sucher der Kamera betrachteten Mattscheibe sind dabei zwei gegeneinander geneigte unmattierte Kreishälfte angebracht, so dass sich beim manuellen Fokussieren zwei Halbbilder aufeinander zuschoben, bis sie schließlich bei Scharfstellung exakt zusammenpassten. Diese Technik ist auch Grundlage des Phasenerkennungsautofokus bzw. Phasenvergleichverfahrens. Es besteht aus zwei Sensorzellzeilen, die die Lage der beiden Halbbilder zueinander an senkrechten Kanten beurteilen können. Ergänzend oder alternativ kann das scharfe Bild auch mittels eines aktiven Autofokusverfahrens als das automatische Fokussierverfahren bestimmt werden. Bei dem aktiven Autofokusverfahren wird aktiv ein Signal von der Kamera in den Umgebungsbereich, insbesondere zu dem Objekt, ausgesendet und wieder empfangen. Das scharfe Bild kann also vielfältig und dadurch präzise bestimmt werden, wodurch auch die Entfernung präzise bestimmt werden kann.
Weiterhin kann es vorgesehen sein, dass der Referenzblendenöffnungswert durch eine Datenbank mit einer Mehrzahl von Referenzblendenöffnungswerten bereitgestellt wird. In der Datenbank sind dann die Referenzblendenöffnungswerte beispielsweise mit dem jeweils zugewiesenen Entfernungswert für die Kamera hinterlegt. Dadurch kann das Bestimmen der Entfernung von der Kamera zu dem Objekt einfacher und effektiver durchgeführt werden.
Vorzugsweise ist es vorgesehen, dass die Entfernung von der Kamera zu dem Objekt abhängig von zumindest einem Kameraparameter der Kamera bestimmt wird. Durch das Wissen über den Kameraparameter kann die Entfernung einfacher und präziser bestimmt werden. Weiterhin kann dadurch auch beispielsweise auf ein vorhergehendes Ermitteln der Referenzblendenöffnungswerte verzichtet werden. So kann bei Vorliegen der nötigen Kameraparameter berechnet werden, in welchem Abstand bzw. welcher Entfernung das Objekt in dem scharfen Bild scharf abgebildet wird. So kann die Entfernung also einfacher bestimmt werden, ohne dass eine Versuchsreihe für das Zuweisen von Entfernungswerten zu den jeweiligen Referenzblendenöffnungswerten durchgeführt werden muss.
Insbesondere ist es vorgesehen, dass der Kamreaparameter als Brennweite eines optischen Systems der Kamera und/oder als Zerstreuungskreis der Kamera und/oder als eine Vergrößerung durch das optische System und/oder als Pupillenvergrößerung des optischen Systems beschrieben wird. Die Brennweite ist der Abstand zwischen einer optischen Linse des optischen Systems und dem Fokus bzw. Brennpunkt. Der Zerstreuungskreis entsteht bei Unschärfe im Bild, also wenn die Projektion eines Punkts des Objekts vor bzw. hinter der Projektionsebene liegt oder wenn durch Beugung ein zu projizierender Lichtpunkt unscharf als Beugungsscheibchen abgebildet wird. Diese beiden Effekte, die eine Unschärfe hervorrufen, sind bei veränderter Eintrittspupille gegenläufig, so dass sich bei einer bestimmten Blende, der sogenannten kritischen Blende, eine minimale Unschärfe und somit ein maximales Auflösungsvermögen ergibt. Besondere Bedeutung erlangt der Zerstreuungskreis bei der Berechnung der Schärfentiefe. Vom Objektiv der Kamera aus gesehen entsteht bei einer fokussierten Abbildung ein Lichtkegel, dessen Spitze im Falle einer konkreten Fokussierung genau die Sensorebene der Kamera trifft. Bei einer Abweichung davon wird die Spitze abgeschnitten oder über die Filmebene hinausprojiziert. Daher entstehen die Zerstreuungskreise, die ab einer bestimmten Größe für ein bestimmtes Sensorformat als Unschärfe bezeichnet werden. Die Vergrößerung durch das optische System beschreibt das Verhältnis zwischen der scheinbaren Größe des Objekts in einem Bild und der wahren Größe des Objekts in dem Umgebungsbereich. Durch die Vergrößerung durch das optische System kann auch eine andersartige Skalierung des Objekts, beispielsweise eine Verkleinerung des Objekts, in dem Bild beschrieben werden. Grundsätzlich wird durch die Vergrößerung durch das optische System ein Maßstab bestimmt. Bei Kenntnis der Vergrößerung durch das optische System kann die Größe des Objekts in dem Bild beispielsweise in Millimetern oder einer vergleichbaren Maßeinheit angegeben werden. Die Pupillenvergrößerung des optischen Systems ist das Verhältnis von dem Durchmesser der Austrittspupille und dem Durchmesser der Eintrittspupille. Die Austrittspupille bezeichnet das bildseitige Bild der Aperturblende des optischen Systems; sie ist der Eintrittspupille konjugiert. Die Eintrittspupille ist eine reelle oder virtuelle Öffnung, welche die in ein optisches System einfallenden Strahlenbündel begrenzt. Sie ist mit der Aperturblende der Kamera identisch, falls sich diese in Lichtrichtung von den abbildenden Elementen, beispielsweise Linsen oder Spiegeln, befindet. Andernfalls entsteht die Eintrittspupille als Bild der Aperturblende, indem diese von den vor ihr liegenden Elementen in den Objektraum abgebildet wird. Der Durchmesser der Eintrittspupille ist eine Kenngröße der an der optischen Abbildung beteiligten Lichtbündel und somit eine Kenngröße für die übertragene Leuchtdichte. Je nach Objektlage wird der Durchmesser der Eintrittspupille unterschiedlich bestimmt. Die Pupillenvergrößerung wird insbesondere genutzt um die numerische Aperatur zu bestimmen. Durch die numerische Aperatur wird das Vermögen des optischen Sytsems beschrieben Licht zu fokussieren. Vorteilhaft an den Kameraparametern ist, dass dadurch ein Zusammenhang zwischen dem Blendenöffnungswert und der Entfernung des Objekts von der Kamera einfacher und präziser bestimmt werden kann.
Weiterhin ist es vorzugsweise vorgesehen, dass zumindest ein hinsichtlich seiner Abmessungen bekanntes Kraftfahrzeugteil des Kraftfahrzeugs auch durch die Bilder der Bildsequenz abgebildet wird, und das Kraftfahrzeugteil als Bezugsgröße zur Bestimmung eines Kameraparameters der Kamera, insbesondere einer Vergrößerung eines optischen Systems der Kamera, genutzt wird. So kann also insbesondere die Vergrößerung des optischen Systems ermittelt werden, indem das hinsichtlich seiner Abmessungen bekannte Kraftfahrzeugteil in dem Bild enthalten ist. Dabei hängt die Vergrößerung des optischen Systems insbesondere von dem optischen System selbst ab. So ist beispielsweise die Vergrößerung des optischen Systems ein Skalar bei einem kleinen Sichtfeld des optischen Systems und die Vergrößerung des optischen Systems ist eine nicht triviale Funktion in Abhängigkeit von der Entfernung und den Abmessungen des Objekts, falls durch das optische System ein einen vorbestimmten Grenzwert überschreitenden Sichtbereich des optischen Systems bereitgestellt wird. Vorteilhaft ist also, dass insbesondere die Vergrößerung des optischen Systems durch das Kraftfahrzeugteil als Bezugsgröße einfacher und präziser bestimmt werden kann und somit auch die Entfernung einfacher und präziser bestimmt werden kann.
Insbesondere ist es vorgesehen, dass das bekannte Kraftfahrzeugteil bei der Bestimmung der Entfernung von der Kamera zu dem Objekt berücksichtigt wird. Durch das Kraftfahrzeugteil kann beispielsweise der Maßstab von dem realen Objekt zu dem abgebildeten Objekt bestimmt werden. So kann die Entfernung durch die Berücksichtigung einfacher und präziser bestimmt werden. Die Entfernung kann dadurch aber auch beispielsweise in absoluten Maßeinheiten, beispielsweise Millimeter oder vergleichbaren Maßeinheiten bestimmt werden.
In einer Ausführungsform kann das Kraftfahrzeugteil durch einen Seitenspiegel des Kraftfahrzeugs und/oder ein Nummernschild des Kraftfahrzeugs charakterisiert werden. Bei der Nutzung des Seitenspiegels und/oder des Nummernschilds als die Bezugsgröße ist es vorteilhaft, da sowohl die Position des Seitenspiegels und/oder des Nummernschilds an dem Kraftfahrzeug bekannt sind als auch deren Abmessungen. So ist das Nummernschild beispielsweise sogar kraftfahrzeugtypübergreifend normiert.
Weiterhin kann es vorgesehen sein, dass zumindest ein hinsichtlich seiner Abmessungen bekanntes Objekt in dem Umgebungsbereich auch durch die Bilder der Bildsequenz abgebildet wird und das bekannte Bezugsobjekt als Bezugsgröße zur Bestimmung eines Kameraparameters der Kamera, insbesondere einer Vergrößerung eines optischen Systems der Kamera, genutzt wird. So ist die Wahl der Bezugsgröße nicht nur auf das Kraftfahrzeugteil beschränkt, sondern es kann auch das Bezugsobjekt aus dem Umgebungsbereich genutzt werden. Beispielsweise können hier andere Kraftfahrzeuge und/oder bekannte Infrastrukturobjekte genutzt werden, um die bereits zuvor beschriebenen Vorteile bei Kenntnis der Vergrößerung des optischen Systems bzw. des Maßstabs zu erlangen. Dadurch kann die Entfernung ebenfalls wieder einfacher und präziser bestimmt werden. Zudem können beispielsweise mehrere Bezugsgrößen genutzt werden, um die Vergrößerung des optischen Systems redundant zu bestimmen und somit eine genauere und sicherere Bestimmung der Vergrößerung des optischen Systems zu ermöglichen.
Insbesondere ist es vorgesehen, dass das bekannte Bezugsobjekt bei der Bestimmung der Entfernung von der Kamera zu dem Objekt berücksichtigt wird. So kann das Bezugsobjekt wie bereits beschrieben dazu genutzt werden, um die Entfernung einfacher und präziser zu bestimmen. Weiterhin kann das Bezugsobjekt dazu genutzt werden, um die Entfernung mit einer absoluten Maßeinheit, beispielsweise in Millimeter oder einer vergleichbaren Maßeinheit, bestimmen zu können.
In einer weiteren Ausführungsform kann es vorgesehen sein, dass das bekannte Bezugsobjekt durch ein Verkehrsschild in dem Umgebungsbereich und/oder durch zumindest einen Buchstaben auf dem Verkehrsschild charakterisiert wird. Vorteilhaft ist, dass das Verkehrsschild innerhalb bestimmten regionalen Bereichen hinsichtlich seiner Abmessungen genormt ist und somit als eindeutige Bezugsgröße genutzt werden kann. Auch können Buchstaben auf dem Verkehrsschild in bestimmten regionalen Bereichen die gleichen Abmessungen aufweisen und dadurch ebenfalls als eindeutige Bezugsgröße bereitstehen. So kann es beispielsweise schon ausreichen die Höhe der Buchstaben zu wissen, um damit einen Rückschluss auf die Vergrößerung des optischen Systems tätigen zu können. Das Verkehrsschild und die Buchstaben sind vorteilhafte Bezugsgrößen, da diese häufig in dem Umgebungsbereich durch die Kamera erfasst werden und für bestimmte Regionen standartisiert sind.
Weiterhin kann es vorgesehen sein, dass die zum jeweiligen Referenzblendenöffnungswert zugehörige Entfernung empirisch bestimmt wird. So kann beispielsweise eine Versuchsreihe gestartet werden, um den jeweiligen Referenzblendenöffnungswerten abhängig von der Kamera einen dementsprechenden Entfernungswert bzw. die Entfernung zuzuordnen. So wird beispielsweise eine Tabelle erstellt, in welcher sich der Zusammenhang zwischen dem Referenzblendenöffnungswert und der Entfernung ergibt. Dadurch kann der Blendenöffnungswert der Kamera zum Zeitpunkt der Aufnahme des scharfen Bilds in der Tabelle gesucht werden und durch den Vergleich mit dem Referenzblendenöffnungswert auch der zugehörigen Entfernung zugewiesen werden. Durch das impirische Bestimmen kann beispielsweise eine Berechnung der Entfernung anhand ausgewählter Kameraparameter der Kamera ersetzt oder überprüft werden.
Die Erfindung betrifft ein Fahrerassistenzsystem für ein Kraftfahrzeug mit einer Kamera und einer Auswerteeinheit. Das Fahrerassistenzsystem ist dazu ausgebildet ein erfindungsgemäßes Verfahren auszuführen. Von dem Fahrerassistenzsystem können auch mehrere der erfindungsgemäßen Kameras umfasst sein.
Die Erfindung betrifft auch ein Kraftfahrzeug mit einem erfindungsgemäßen Fahrerassistenzsystem.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug.
Mit Angaben „oben“, „unten“, „vorne“, „hinten“, „horizontal“, „vertikal“ etc. sind die bei bestimmungsgemäßem Gebrauch und bestimmungsgemäßem Anordnen der Kamera und bei einem dann vor der Kamera stehenden und in Richtung der Kamera blickenden Beobachter gegebenen Positionen und Orientierungen angegeben.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen.
Die Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert.
Dabei zeigen:
1 eine schematische Darstellung eines Ausführungsbeispiels eines erfindungsgemäßen Kraftfahrzeugs mit einem Fahrerassistenzsystem;
2 eine schematische Darstellung eines ersten Bilds einer Bildsequenz mit einem ersten Objekt in einem Umgebungsbereich des Kraftfahrzeugs; und
3 eine schematische Darstellung eines zweiten Bilds der Bildsequenz mit einem zweiten Objekt in dem Umgebungsbereich.
In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
In 1 ist schematisch ein Kraftfahrzeug 1 mit einem Fahrerassistenzsystem 2 dargestellt. Das Fahrerassistenzsystem 2 umfasst in dem Ausführungsbeispiel eine Auswerteeinheit 3 und eine Kamera 4. Die Auswerteeinheit 3 kann beispielsweise in die Kamera 4 integriert sein oder aber separat zu der Kamera 4 ausgebildet sein.
Die Kamera 4 ist gemäß dem Ausführungsbeispiel an einer Front 5 des Kraftfahrzeugs 1 angeordnet. Die Anordnung der Kamera 4 ist jedoch vielfältig möglich, vorzugsweise allerdings so, dass ein Umgebungsbereich 6 des Kraftfahrzeugs 1 zumindest teilweise erfasst werden kann. Es können auch mehrere Kameras 4 an dem Kraftfahrzeug 1 angeordnet sein.
Die Kamera 4 kann eine CMOS (Complementary Metal-Oxid-Semiconductor) oder aber eine CCD Kamera (Charge-Coupled Device) oder eine beliebige Bilderfassungseinrichtung sein. Die Kamera 4 stellt eine Bildsequenz von Bildern des Umgebungsbereichs 6 bereit. Die Bildsequenzen der Bilder werden beispielsweise dann in Echtzeit durch die Auswerteeinheit 3 verarbeitet.
Die Kamera 4 umfasst ein optisches System 7. Das optische System 7 ist in dem Strahlengang der Kamera 4 angeordnet. Somit befindet sich das optische System 7 zwischen dem Umgebungsbereich 6 und einem nicht weiter beschriebenen Bildsensor der Kamera 4. Das optische System 7 umfasst beispielsweise ein Objektiv und eine Blende, insbesondere eine Aperturblende.
In dem Umgebungsbereich 6 befindet sich ein erstes Objekt 8 und ein zweites Objekt 9. Das zweite Objekt 9 ist weiter von der Kamera 4 entfernt als das erste Objekt 8. Weiterhin ist in dem Umgebungsbereich 6 ein Verkehrsschild 10 mit einem Buchstaben 11 angeordnet.
Das Kraftfahrzeug 1 weist weiterhin einen Seitenspiegel 12 und ein Nummernschild 13 auf. Das Kraftfahrzeug 1 kann auch mehrere Seitenspiegel 12 und mehrere Nummernschilder 13 aufweisen. Die Anordnung des Seitenspiegels 12 und des Nummernschilds 13 an dem Kraftfahrzeug 1 ist lediglich beispielhaft zu verstehen und ist insbesondere derart vorgesehen, dass diese von der Kamera 4 erfasst werden können. Das Kraftfahrzeug 1 kann in einem nicht dargestellten Ausführungsbeispiel aber auch ohne den Seitenspiegel 12 und/oder das Nummernschild 13 ausgebildet sein.
2 zeigt ein erstes Bild 14 einer Bildsequenz 15. Das erste Bild 14 beschreibt ein scharfes Bild der Bildsequenz 15. In dem ersten Bild 14 ist das erste Objekt 8 in der Schärfenebene des ersten Bilds 14 abgebildet. Das bedeutet das erste Objekt 8 ist in dem ersten Bild 14 scharf abgebildet. Das zweite Objekt 9 ist in dem ersten Bild 14 jedoch unscharf abgebildet und somit nicht in der Schärfenebene des ersten Bilds 14. Anhand eines Blendenöffnungswerts der Kamera 4 zum Zeitpunkt der Aufnahme des ersten Bilds 14 kann nun eine Entfernung 17 von der Kamera 4 zu dem ersten Objekt 8 bestimmt werden. So wird der Blendenöffnungswert der Kamera 4 zum Zeitpunkt der Aufnahme mit einem Referenzblendenöffnungswert der Kamera 4 verglichen. Abhängig von einer Datenbank kann dem jeweiligen Referenzblendenöffnungswert nun die Entfernung 17 zugewiesen werden. Die Entfernung 17 kann aber auch wie später gezeigt, anhand von Kameraparametern der Kamera 4 berechnet werden.
3 zeigt ein zweites Bild 16 der Bildsequenz 15. In dem zweiten Bild 16 befindet sich das zweite Objekt 9 in der Schärfenebene des zweiten Bilds 16. Das zweite Bild 16 ist also mit einem anderen Blendenöffnungswert aufgenommen worden als das erste Bild 14. Bezüglich des zweiten Objekts 9 ist das zweite Bild 16 somit ein weiteres scharfes Bild. Somit befindet sich das erste Objekt 8 auch außerhalb der Schärfenebene und wird dadurch unscharf dargestellt. Anhand des Blendenöffnungswerts der Kamera 4 zum Zeitpunkt der Aufnahme des zweiten Bilds 16 kann nun eine Entfernung 18 von der Kamera 4 zu dem zweiten Objekt 9 bestimmt werden. Dazu wird der Blendenöffnungswert zum Zeitpunkt der Aufnahme des zweiten Bilds 16 mit einem Referenzblendenöffnungswert der Kamera 4 verglichen. Anhand dem Referenzblendenöffnungswert kann nun die Entfernung 18 bzw. ein Entfernungswert zugewiesen werden. Das Zuweisen des Entfernungswerts kann beispielsweise empirisch erfolgen, also anhand einer Versuchsreihe und dadurch gewonnenen Erfahrungswerten. Das Zuweisen des Entfernungswerts zu dem Referenzblendenöffnungswert kann aber insbesondere auch rechnerisch erfolgen.
So erfolgt die rechnerische Bestimmung der Entfernung 17, 18 über das Bestimmen einer Schärfenebene u des scharfen Bilds.
Dabei werden folgende Kameraparameter der Kamera 4 genutzt. Eine Brennweite f des optischen Systems 7, ein Zerstreuungskreis c der Kamera 4, eine Vergrößerung m durch das optische System 7, und eine Pupillenvergrößerung p des optischen Systems 7. Darüber hinaus wird ein Blendenöffnungswert N der Kamera 4 genutzt.
Zur Beschreibung der Schärfentiefe (DOF) werden ein Nahpunkt u_n, ein Fernpunkt u_f und die Schärfenebene u verwendet. Ein Hilfsparameter Ω wird verwendet, um die spätere Gleichung zu vereinfachen und ergibt sich bei Betrachtung des Unterschieds zwischen Gleichung (5) und Gleichung (6).
Beispielhaft läuft das Verfahren also nun wie folgt ab. Es wird das erste Bild 14 aufgenommen. In dem ersten Bild 14 ist das erste Objekt 8 in der Schärfenebene u, also scharf abgebildet. Die Kamera 4 ist bei der Aufnahme des ersten Bilds 14 auf das erste Objekt 8 fokussiert. Die Fokussierung der Kamera 4 auf das erste Objekt 8 erfolgt durch das Einstellen des Blendenöffnungswerts N. Der Blendenöffnungswert N kann auch als Blendenzahl des Objektivs des optischen Systems 7 beschrieben werden. Der Blendenöffnungswert N beschreibt das Verhältnis der Brennweite f zum Durchmesser der wirksamen Eintrittspupille des optischen Systems 7. Durch das Wissen über den einem bestimmten Entfernungswert zugewiesenen Referenzblendenöffnungswert kann nun die Entfernung 17 von dem ersten Objekt 7 zu der Kamera 4 anhand des Vergleichs von dem Blendenöffnungswert N mit dem Referenzblendenöffnungswert bestimmt werden.
Wird die Vergrößerung m des optischen Systems 7 beispielsweise anhand eines bekannten Bezugsobjekts bestimmt, so kann, falls sich das Objekt 8, 9 in der Schärfenebene u befindet, eine Berechnung der Entfernung 17, 18 von dem jeweiligen Objekt 8, 9 zu der Kamera 4 beispielsweise in Millimetern erfolgen. Die Entfernung 17, 18 kann zum einen rechnerisch bestimmt werden. Zum anderen können beispielsweise durch vorangegangene Auswertungen auch bereits Entfernungswerte vorliegen, welche dann dem jeweiligen Referenzblendenöffnungswert für den Vergleich mit dem Blendenöffnungswert N zugewiesen werden können. Als das bekannte Bezugsobjekt kann beispielsweise das Verkehrsschild 10 und/oder der Buchstabe 11 und/oder der Seitenspiegel 12 und/oder das Nummernschild 13 genutzt werden. Durch das bekannte Bezugsobjekt kann insbesondere ein Maßstab von einem realen Objekt in dem Umgebungsbereich 6 zu einem in den Bildern 14, 16 abgebildeten Objekt bestimmt werden.
Zur Erkennung, ob sich das jeweilige Objekt 8, 9 in der Schärfenebene u des jeweiligen Bilds 14, 16 befindet, kann beispielsweise ein automatisches Fokussierverfahren genutzt werden. Beispielsweise ist der Kontrast zwischen benachbarten Bildpunkten maximal, falls sich das Objekt 8, 9 in der Schärfenebene u befindet. Maximal bedeutet, dass also auch bei einer Veränderung des Blendenöffnungswerts N kein stärkerer Kontrast zwischen benachbarten Bildpunkten des Bilds 14, 16 in einem das Objekt 8, 9 aufweisenden Bildbereich des Bilds 14, 16 hervorgeht.
Um das scharfe Bild beziehungsweise das erste Bild 14 oder das zweite Bild 16 zu erhalten können durch die Kamera 4 beispielsweise zwei oder mehr Bilder in Form der Bildsequenz 15 aufgenommen werden. So kann das Aufnehmen der Bildsequenz 15 beispielsweise auch derart erfolgen, dass der Blendenöffnungswert N eines jeweiligen Bilds der Bildsequenz 15 zuerst mit großen Unterschieden vorgegeben wird, um sich quasi grob an das scharfe Bild anzunähern. Ist dadurch der Blendenöffnungswert N des scharfen Bilds grob bekannt, kann eine weitere Bildsequenz mit kleineren Unterschieden des Blendenöffnungswerts N um den zuvor grob bestimmten Blendenöffnungswert N herum erfasst werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 7974460 B2 [0002]

Claims

Verfahren zum Bestimmen einer Entfernung (17, 18) von einer Kamera (4) eines Kraftfahrzeugs (1) zu einem Objekt (8, 9) in einem Umgebungsbereich (6) des Kraftfahrzeugs (1), bei welchem mittels der Kamera (4) eine Bildsequenz (15) von Bildern (14, 16) von dem Objekt (8, 9) aufgenommen wird, wobei Bilder (14, 16) der Bildsequenz (15) jeweils mit unterschiedlichen Blendenöffnungswerten (N) durch die Kamera (4) aufgenommen werden, und das Objekt (8, 9) dadurch in den Bildern (14, 16) der Bildsequenz (15) jeweils mit einer unterschiedlichen Schärfe abgebildet wird, dadurch gekennzeichnet, dass ein scharfes Bild (14, 16) der Bildsequenz (15) der Bilder (14, 16) bestimmt wird, in welchem das Objekt (8, 9) in der Schärfenebene (u) des scharfen Bilds (14, 16) abgebildet wird, und die Entfernung (17, 18) von der Kamera (4) zu dem Objekt (8, 9) anhand eines Vergleichs eines Blendenöffnungswerts (N) der Kamera (4) zum Zeitpunkt der Aufnahme des scharfen Bilds (8, 9) mit einem Referenzblendenöffnungswert der Kamera (4) bestimmt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass dem Referenzblendenöffnungswert ein Entfernungswert zugewiesen wird, durch welchen ein Zusammenhang zwischen der Entfernung (17, 18) von der Kamera (4) zu dem Objekt (8, 9) und einer scharfen Abbildung des Objekts (8, 9) in dem jeweiligen Bild (14, 16) der Bildsequenz (15) bereitgestellt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das scharfe Bild (14, 16) mittels eines automatischen Fokussierverfahrens bestimmt wird, insbesondere wird als das scharfe Bild (14, 16) jenes Bild von den Bildern (14, 16) der Bildsequenz (15) bestimmt, welches den maximalen Kontrast zwischen benachbarten Bildpunkten in einem das Objekt (8, 9) aufweisenden Bildbereich des Bilds (14, 16) aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Referenzblendenöffnungswert durch eine Datenbank mit einer Mehrzahl von Referenzblendenöffnungswerten bereitgestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Entfernung (17, 18) abhängig von zumindest einem Kameraparameter (f, c, m, p) der Kamera (4) bestimmt wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass der Kameraparameter als Brennweite (f) eines optischen Systems (7) der Kamera (4) und/oder als Zerstreuungskreis (c) der Kamera (4) und/oder als eine Vergrößerung (m) durch das optische System (7) und/oder als Pupillenvergrößerung (p) des optischen Systems (7) beschrieben wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest ein hinsichtlich seiner Abmessungen bekanntes Kraftfahrzeugteil (12, 13) des Kraftfahrzeugs (1) auch durch die Bilder (14, 16) der Bildsequenz (15) abgebildet wird, und das Kraftfahrzeugteil (12, 13) als Bezugsgröße zur Bestimmung eines Kameraparameters (f, c, m, p) der Kamera (4), insbesondere einer Vergrößerung (m) eines optischen Systems (7) der Kamera (4), genutzt wird.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass das bekannte Kraftfahrzeugteil (12, 13) bei der Bestimmung der Entfernung (17, 18) von der Kamera (4) zu dem Objekt (7, 8) berücksichtigt wird.
Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass das Kraftfahrzeugteil durch einen Seitenspiegel (12) des Kraftfahrzeugs (1), und/oder ein Nummernschild (13) des Kraftfahrzeugs (1) charakterisiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest ein hinsichtlich seiner Abmessungen bekanntes Bezugsobjekt (10, 11) in dem Umgebungsbereich (6) auch durch die Bilder (14, 16) der Bildsequenz (15) abgebildet wird, und das bekannte Bezugsobjekt (10, 11) als Bezugsgröße zur Bestimmung eines Kameraparameters (f, c, m, p) der Kamera (4), insbesondere einer Vergrößerung (m) eines optischen Systems (7) der Kamera (4), genutzt wird.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass das bekannte Bezugsobjekt (10, 11) bei der Bestimmung der Entfernung (17, 18) von der Kamera (4) zu dem Objekt (8, 9) berücksichtigt wird.
Verfahren nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass das bekannte Bezugsobjekt durch ein Verkehrschild (10) in dem Umgebungsbereich (6) und/oder durch zumindest einen Buchstaben (11) auf dem Verkehrschild (10) charakterisiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zum jeweiligen Referenzblendenöffnungswert zugehörige Entfernung (17, 18) empirisch bestimmt wird.
Fahrerassistenzsystem (2) für ein Kraftfahrzeug (1) mit einer Kamera (4) und einer Auswerteeinheit (3), welches dazu ausgebildet ist, ein Verfahren nach einem der vorhergehenden Ansprüche auszuführen.
Kraftfahrzeug (1) mit einem Fahrerassistenzsystem (2) nach Anspruch 14.