DE102022202443A1

DE102022202443A1 - Verfahren und Fahrzeuginnenraumkamera zum Bestimmen von Tiefeninformationen eines Objekts in einem Fahrzeuginnenraum

Info

Publication number: DE102022202443A1
Application number: DE102022202443.5A
Authority: DE
Inventors: Daniel Aquino Maier; Bernd Goebelsmann; Eugen Baumgart; Patrick Stueber
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-03-11
Filing date: 2022-03-11
Publication date: 2023-09-14

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen von Tiefeninformationen eines Objekts (104, 106, 108) in einem Fahrzeuginnenraum (102) unter Verwendung einer Fahrzeuginnenraumkamera (150) mit einer verstellbaren Fokusebene, umfassend ein Ansteuern (200) der Fahrzeuginnenraumkamera (150) zum Fokussieren zumindest auf einen Abschnitt des Objekts (104, 106, 108) und zum Aufnehmen eines oder mehrerer Bilder (202, 204) zumindest des Abschnitts des Objekts mit der Fahrzeuginnenraumkamera (150), ein Erhalten (210) des einen oder der mehreren Bilder, ein Bestimmen (220) einer Entfernung (222, 224) zumindest des Abschnitts des Objekts von der Fahrzeuginnenraumkamera (150) basierend auf dem einen oder den mehreren Bildern, und ein Bestimmen (230) der Tiefeninformationen (232) des Objekts basierend auf der Entfernung. Die Erfindung betrifft außerdem eine solche Fahrzeuginnenraumkamera (150).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Bestimmen von Tiefeninformationen eines Objekts in einem Fahrzeuginnenraum, sowie eine Recheneinheit, eine Fahrzeuginnenraumkamera und ein Computerprogramm zu dessen Durchführung.
Hintergrund der Erfindung
In Fahrzeugen können Kameras z.B. zur Fahrer- und/oder Insassenbeobachtung zum Einsatz kommen, oder auch Fahrerassistenzfunktionen wie Verkehrszeichenerkennung, Spurhalteassistent etc. übernehmen. Ein steigender Grad an Automatisierung im Fahrzeug und immer neue Applikationen können dabei zu einem erhöhten Bedarf an Performance solcher Kamerasysteme und damit zu erhöhten Anforderungen an die Kamera bzw. das Kamerasystem führen.
Offenbarung der Erfindung
Erfindungsgemäß werden ein Verfahren zum Bestimmen von Tiefeninformationen eines Objekts, sowie eine Recheneinheit, eine Fahrzeuginnenraumkamera und ein Computerprogramm zu dessen Durchführung mit den Merkmalen der unabhängigen Patentansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung.
Die Erfindung beschäftigt sich mit Kameras zur Sensierung und/oder Überwachung von Innenräumen von Fahrzeugen, dort also z.B. von Fahrern oder anderen Personen im Fahrzeug. Solche Kameras sollen nachfolgend auch als Fahrzeuginnenraumkameras bezeichnet werden.
Insbesondere im Automotive-Umfeld, also bei Fahrzeugen, können dabei Fest- bzw. Fixfokus-Kameras eingesetzt werden, d.h. Kameras, bei denen der Detektor bzw. Bilddetektor (sog. „Imager“) und das Bild erzeugende Objektiv bei der Herstellung der Kamera aufeinander ausgerichtet und fixiert werden. Dies kann je nach Anforderung z.B. in einem passiven oder aktiven Fertigungsschritt erfolgen, wobei bei letzterem die Performance der Kamera in Abhängigkeit von der Ausrichtung beider Komponenten gemessen und aktiv optimiert werden kann. Die hohen Anforderungen an die Kamera bzw. das Kamerasystem und deren Herstellung führen zu hohen Kosten und Grenzen bei der Bauraumminimierung. Die Herausforderungen dabei können zusätzlich über die hohen Temperatur-, Vibrations- und Lebensdaueranforderungen, die insbesondere im Automotive-Umfeld (in Fahrzeugen) auftreten, verschärft werden.
Innenraumkameras, die über eine Linse (bzw. Objektiv) und einen Bilddetektor verfügen, bieten optisch nur zweidimensionale Bildinformationen. Zwar ist es grundsätzlich möglich, über die Abschätzung der Abbildungsschärfe eines Objekt-Bildes darauf zu schließen, ob sich das Objekt innerhalb oder außerhalb der Schärfentiefe (engl. „Depth of Field“, DOF; dies ist ein Maß für die Ausdehnung des scharfen Bereichs im Objektraum eines abbildenden optischen Systems) befindet, allerdings nicht auf die genauere Position, da die Unschärfe symmetrisch zur Objektebene zunimmt.
Zuverlässige dreidimensionale Informationen können in diesem Sinne nur durch Modifikation des optischen Konzepts erzielt werden, wie Stereoskopie (zwei Objektive und doppelter Bilddetektor), oder indem präzise definierte optische Aberrationen (Abbildungsfehler) eingeführt werden. Über diese kann mittels Algorithmen aus einem Bild direkt auf den Objektabstand geschlossen werden (Stichwort: „monocular depth sensing“). Dies führt allerdings zu höheren Kosten, insbesondere bei zwei Objektiven (d.h. zwei Kameras), oder eine allgemeine Verschlechterung der Abbildungsqualität durch das Einführen der erwähnten Bildfehler.
Vor diesem Hintergrund wird die Verwendung einer Fahrzeuginnenraumkamera mit einem Objektiv (mit typischerweise einer oder mehreren Linsen) und einem Detektor (bzw. Bilddetektor) vorgeschlagen, die dazu eingerichtet ist, einen Fokus zu variieren, d.h. die Fahrzeuginnenraumkamera kann auf Objekte (bspw. Personen) (im Innenraum eines Fahrzeugs) in unterschiedlichen Entfernungen von der Kamera scharfstellen (fokussieren). Hierzu weist die Fahrzeuginnenraumkamera insbesondere eine Aktuatorik (also z.B. einen oder mehrere Aktuatoren, die z.B. elektrisch oder elektromechanisch ausgebildet sind) auf, die dazu eingerichtet ist, die optische Weglänge zwischen Objektiv und Detektor zu verändern (z.B. durch Bewegen von Objektiv und/oder Detektor), sodass die Fokusebene, d.h. die Ebene, auf die fokussiert wird, verändert (variiert) wird. Das Objektiv ist dabei besonders bevorzugt derart ausgelegt, dass die Schärfentiefe bzw. der Schärfentiefenbereich (DOF) möglichst kurz ist, z.B. im Bereich weniger Millimeter, was z.B. durch eine Verkleinerung der Blendenzahl auf Werte von höchstens oder weniger als 2,0, ggf. auch höchstens 1,5, erzielt werden kann. Dabei kann die Optimierung des Schärfentiefenbereichs z.B. anwendungs- bzw. applikationsspezifisch vorgenommen werden, wobei auf die zwei entgegengesetzten Optimierungsziele, einerseits eine möglichst hohe 3D-Auflösung und andererseits ein möglichst großes Volumen für das eine 3D-Bestimmung, d.h. ein 3D-Bild erzeugt werden kann, zeitgleich möglich ist, zu achten ist.
Die Verwendung einer solchen Fahrzeuginnenraumkamera mit variablem Fokus erlaubt damit das Bestimmen von Tiefeninformationen eines (oder mehrerer Objekte) (bspw. einer oder mehrerer Personen) in einem Fahrzeuginnenraum. Hierzu wird durch Ansteuern der Fahrzeuginnenraumkamera diese zunächst zumindest auf einen Abschnitt des Objekts fokussiert und es werden ein oder mehrere Bilder zumindest des Abschnitts mit der Fahrzeuginnenraumkamera aufgenommen. Dies kann z.B. durch eine geeignete, ausführende Recheneinheit, z.B. eine Steuereinheit der Fahrzeuginnenraumkamera, erfolgen, indem entsprechende Ansteuersignale erzeugt werden; eine solche Recheneinheit kann auch in die Fahrzeuginnenraumkamera integriert sein. Nachdem das bzw. die Bilder erhalten wurde(n) (von der Recheneinheit), wird eine Entfernung des sich im Fokus befindlichen Abschnitts des Objekts basierend auf dem einen oder den mehreren Bildern bestimmt. Basierend auf der Entfernung wiederum können die Tiefeninformationen des Objekts bestimmt werden. Die Tiefeninformationen können z.B. auch der Entfernung eines (einzelnen) Objektes von der Kamera entsprechen, ebenso aber auch zu anderen Objekten.
Insbesondere kann durch wiederholte bzw. mehrfache Durchführung mit unterschiedlichen Fokusebenen eine Tiefenkarte („depth map“), insbesondere ein dreidimensionales (3D) Bild, des einen oder mehrerer Objekte basierend auf den Tiefeninformationen erhalten werden. Mit anderen Worten wird dazu eine Folge von unterschiedlichen Höhenschnittbildern aufgenommen. Dies erlaubt insbesondere auch, von einem Objekt selbst verschiedene Tiefeninformationen zu erfassen; hierzu kann z.B. auf verschiedene Abschnitte des Objekts fokussiert werden, um verschiedene Bilder zu erhalten. Damit kann z.B. ein Gesicht erkannt werden.
Zum Bestimmen der Entfernung(en) und/oder der Tiefeninformationen, dann insbesondere auch zum Bestimmen oder Extrahieren der 3D-Informationen, kommen verschiedene Möglichkeiten in Betracht.
Eine bevorzugte Möglichkeit basiert auf einer analytischen 3D-Rekonstruktion. Aus der Bildweite lässt sich auf die Gegenstandsweite, d.h. die Entfernung des Objekts von der Kamera bzw. vom Objektiv, schließen. Hierfür kann z.B. die Gaußsche Abbildungsgleichung herangezogen werden. Die scharfen Bereiche in einem Bild lassen sich z.B. über einen Kantenfilteralgorithmus, wie z.B. den Canny-Algorithmus, bestimmen. Aber auch andere analytische Algorithmen zur Schärfenbestimmung sind denkbar. Ein Vorteil dieser Implementierung ist der überschaubare, d.h. ein geringer, Rechenaufwand.
Eine weitere bevorzugte Möglichkeit zur Fokus- bzw. insbesondere Entfernungsbestimmung in Bildern basiert auf maschinellen Lernverfahren, also auf „Machine Learning“, die zum Einsatz kommen können, um die tiefenabhängige Information im Bild zu extrahieren. Maschinelle Lernverfahren können z.B. Verfahren auf Basis folgender Algorithmen sein: „Deep Neural Network“ (DNN), „Convolutional Neural Network“ (CNN), allgemein ein künstliches neuronales Netz, also „Neural Network“ NN, Support-Vector-Regression oder Support-Vector-Machine, oder auch Gaußsche Prozessmodelle.
Hierzu ist anzumerken, dass mittels maschineller Lernverfahren in aller Regel auch Tiefeninformation von nicht fokussierten Objekten bestimmt oder extrahiert werden, nicht nur von fokussierten Objekten oder Abschnitten davon. Die Aktuatorik kann verwendet werden, um diese Tiefeninformation nochmals zu verbessern, zum einen beispielsweise durch Einsatz kleiner Blendenzahlen, zum anderen beispielsweise durch Fokussieren verschiedener Ebenen.
Bevorzugt ist auch eine Kombination der erwähnten Möglichkeiten, womit z.B. die Tiefenauflösung noch weiter verbessert werden kann.
Die 3D-Rekonstruktion des kompletten Volumens (Innenraum, der von der Kamera erfasst wird) im Fahrzeug erfolgt über das Variieren der Fokusebene. Das zugrundeliegende Prinzip ist hierbei, die Fahrzeuginnenraumkamera zumindest auf einen Abschnitt eines Objekts im Fahrzeuginnenraum zu fokussieren, sodass das Bild zumindest des Abschnitts auf dem Bildsensor scharf erscheint; dies entspricht dem Aufnehmen der Bilder, wie erwähnt. Mit anderen Worten umfasst das Aufnehmen eines Bildes zumindest des Abschnitts des Objektes mit fokussierter Fahrzeuginnenraumkamera also ein Verstellen oder Variieren der Fokusebene (z.B. über die Aktuatorik) solange, bis zumindest der Abschnitt des Objekts fokussiert bzw. scharf ist, z.B. basierend auf Bildanalyse. Basierend auf den dann verwendeten bzw. eingestellten Parametern der Fahrzeuginnenraumkamera (z.B. Stellung oder Position des Objektivs relativ zum Detektor) lässt sich auf die Entfernung des Abschnitts des Objekts von der Kamera schließen. Die aktuell eingestellten Parameter bei der Aufnahme des betreffenden Bildes gehören nämlich zu einem Schärfentiefenbereich in einer bestimmten Entfernung, innerhalb dessen sich der dann fokussierte Abschnitt des Objekts befinden muss.
Das Variieren des Fokus, also die Aktuierung, kann z.B. über sog. „Shape-Memory-Alloy-Aktuatoren“ (also Aktuatoren, die nach Verstellung bei Erwärmen wieder ihre frühere Position einnehmen) oder mit Hilfe von sog. „Voice-Coil-Aktuatoren“ (also in üblicherweise Lautsprechern eingesetzte bestimmte direkte Linearaktuatoren) erfolgen. Ebenso kommen, insbesondere wenn der Detektor bewegt werden soll, sog. MEMS-Aktuatoren (MEMS steht für „Mikroelektromechanische Systeme“) in Betracht. Mittels solcher Aktuatoren können das gesamte Objektiv, eine Linse und/oder eine oder mehrere Linsengruppen des Objektivs bzw. der Detektor so verschoben bzw. bewegt werden, dass sich das abgebildete Objekt im Bereich der Schärfentiefe befindet. Im Gegensatz zu einer Kamera ohne Aktuatorik kann somit eine Optik mit kleinerer Blendenzahl verwendet werden. Weiterhin vorteilhaft ist, dass der Schärfentiefenbereich gegenüber einem Festfokus-Objektiv wesentlich kleiner ist und somit eine wesentlich höhere Auflösung ermöglicht wird.
Die kleinere Blendenzahl hat außerdem den Vorteil, dass die Lichtstärke des Objektivs größer ist und sich das beugungsbegrenzte Auflösungsvermögen erhöht. Zwar nimmt bei kleinerer Blendenzahl auch der Bereich der Schärfentiefe ab. Dieser Effekt wird im Rahmen der vorliegenden aber insbesondere gezielt ausgenutzt.
Ein weiterer Vorteil einer geringen Blendenzahl ist eine vereinfachte Segmentierung der verschiedenen Objekte im Fahrzeuginnenraum durch einen besseren Schärfekontrast aufgrund verschiedener Objektpositionen in der Tiefe.
Herkömmlicherweise können für die Bestimmung von Tiefeninformationen zusätzliche sog. i-ToF-Kameras (ToF, engl. „Time of Flight“; „i“ steht für indirekt und bezeichnet eine Kamera, die eingefangenes Licht und dessen Phasenverschiebung relativ zu emittiertem Licht bestimmt) eingesetzt werden, die nun entfallen können.
Das vorgeschlagene Verfahren eignet sich besonders bevorzugt für den Einsatz folgender Anwendungen (Applikationen) und/oder Funktionen in der Innenraumüberwachung eines Fahrzeugs, und kann diese insbesondere auch verbessern:

- Klassifikation von Personen, z.B. eine Unterscheidung von einem Kind auf dem vorderen Sitz von einem Erwachsenen auf dem Rücksitz.
- Anti-Spoofing, d.h. eine Unterscheidung eines 2D-Bildes von einer echten Person (z.B. anhand der Tiefeninformationen eines Gesichtes, die im 2D-Bild nicht vorhanden sind).
- Gesichtserkennung („Face-ID“), was z.B. eine Verbesserung der Personenidentifikation erlaubt. Damit kann z.B. ein zugelassener Fahrer identifiziert werden, und es können ggf. bestimmten Funktionen freigeschaltet werden.
- Erkennung, ob ein Fahrer seine Hände (oder zumindest eine Hand) am Lenkrad hat („Hands-on-Wheel“), kann damit verbessert werden.
- Erkennung der Pose (Position und/oder Orientierung) des Körpers einer Person („Bodypose“). Hier ist eine Verbesserung der Robustheit von Algorithmen zur Bestimmung der Bodypose von Insassen, speziell bei Überlappung von Insassen, möglich.
- Gewichterkennung; hier ist eine Erhöhung der Präzision und Robustheit bei der Gewichterkennung von Insassen möglich, z.B. durch Volmenabschätzung.
- Gestensteuerung; hier kann z.B. eine Gestensteuerung über eine Mensch-Maschine-Schnittstelle (HMI) verbessert werden, indem z.B. besser erkannt wird, wo sich welcher Körperteil befindet.
- Szeneninterpretation; hier kann z.B. erkannt werden, was eine Person im Fahrzeug macht.
- Bei ausreichender Auflösung der Fahrzeuginnenraumkamera bzw. der damit aufgenommenen Bilder sind insbesondere weitere oder alle Funktionen und/oder Anwendungen (Applikationen) denkbar, für die andernfalls eine i-ToF-Kamera verwendet würde.

Eine erfindungsgemäße Recheneinheit, z.B. ein Steuergerät oder eine Steuereinheit einer Fahrzeuginnenraumkamera, ist, insbesondere programmtechnisch, dazu eingerichtet, ein erfindungsgemäßes Verfahren durchzuführen.
Die Erfindung betrifft außerdem eine Fahrzeuginnenraumkamera mit einem Objektiv, einem Detektor und einer erfindungsgemäßen Recheneinheit. Für weitere Erläuterungen zur Fahrzeuginnenraumkamera sei auf die vorstehenden Ausführungen verwiesen.
Auch die Implementierung eines erfindungsgemäßen Verfahrens in Form eines Computerprogramms oder Computerprogrammprodukts mit Programmcode zur Durchführung aller Verfahrensschritte ist vorteilhaft, da dies besonders geringe Kosten verursacht, insbesondere wenn ein ausführendes Steuergerät noch für weitere Aufgaben genutzt wird und daher ohnehin vorhanden ist. Schließlich ist ein maschinenlesbares Speichermedium vorgesehen mit einem darauf gespeicherten Computerprogramm wie oben beschrieben. Geeignete Speichermedien bzw. Datenträger zur Bereitstellung des Computerprogramms sind insbesondere magnetische, optische und elektrische Speicher, wie z.B. Festplatten, Flash-Speicher, EEPROMs, DVDs u.a.m. Auch ein Download eines Programms über Computernetze (Internet, Intranet usw.) ist möglich. Ein solcher Download kann dabei drahtgebunden bzw. kabelgebunden oder drahtlos (z.B. über ein WLAN-Netz, eine 3G-, 4G-, 5G- oder 6G-Verbindung, etc.) erfolgen.
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
Die Erfindung ist anhand von Ausführungsbeispielen in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung beschrieben.
Kurze Beschreibung der Zeichnungen

1 zeigt schematisch ein Fahrzeug mit Fahrzeuginnenraumkamera zur Erläuterung der Erfindung.
2a und 2b zeigen eine Fahrzeuginnenraumkamera in zwei verschiedenen Fokuseinstellungen, wie sie bei einem Verfahren in einer bevorzugten Ausführungsform der Erfindung verwendet werden können.
3 zeigt schematisch einen Ablauf eines Verfahrens in einer bevorzugten Ausführungsform der Erfindung.

Ausführungsform(en) der Erfindung
In 1 ist schematisch ein Fahrzeug 100 mit Fahrzeuginnenraumkamera 150 zur Erläuterung der Erfindung gezeigt. Das Fahrzeug 100 umfasst einen Innenraum bzw. Fahrzeuginnenraum 102, in dem sich z.B. zwei Personen 104, 106 (auf einem Fahrersitz bzw. auf der Rückbank) befinden. Die Person 106 auf der Rückbank hält außerdem beispielhaft ein als Geschenk dargestelltes Objekt 108.
Die Fahrzeuginnenraumkamera 150 ist z.B. im Bereich eines Armaturenbretts, im Lenkrad 112 oder im Rückspiegel des Fahrzeugs 100 verbaut oder angeordnet und auf den Fahrzeuginnenraum 102 ausgerichtet ist. Die Fahrzeuginnenraumkamera 150 filmt z.B. den Fahrer bzw. die Person 104 bzw. nimmt Bilder davon auf, um Müdigkeit zu erkennen. Bei autonomen Fahrzeugen mit Autonomiegrad Level 3 oder höher kann dies z.B. auch sicherstellen, dass der Fahrer in der Lage ist, das Steuer (d.h. die Kontrolle des Fahrzeugs) bei Bedarf zu übernehmen.
Weitere Anwendungsfälle können z.B. die Detektion zurückgelassener Gegenstände oder Objekte sein (z.B. in Taxen, insbesondere in automatisiert fahrenden Taxen oder auch Shuttles oder dergleichen) oder die Detektion von Kindern oder Haustieren.
In 2a und 2b ist jeweils eine Fahrzeuginnenraumkamera 150, aber in zwei verschiedenen Fokuseinstellungen, wie sie bei einem Verfahren in einer bevorzugten Ausführungsform der Erfindung verwendet werden können, gezeigt. Nachfolgend sollen die 1, 2a, und 2b auch übergreifend beschrieben werden.
Die Fahrzeuginnenraumkamera 150 weist, in einem Gehäuse 151, ein Objektiv 154, einen Detektor 152 (z.B. CMOS oder CCD-Detektormatrix), eine Aktuatorik 158 zum Verstellen der optischen Weglänge zwischen Objektiv und Detektor, hier z.B. durch Bewegen des Objektivs 154, sowie eine Recheneinheit 156 auf.
Die Fahrzeuginnenraumkamera 150 weist eine Brennweite 160 auf, zudem sind zwei Hauptebenen 161 und 162 gezeigt. Mit 171 und 172 ist jeweils eine Bildweite (2a bzw. 2b) und mit 181 und 182 ist jeweils eine Gegenstandsweite (und damit die Entfernung des (fokussierten) Objekts von der Fahrzeuginnenraumkamera) bezeichnet.
Ein vorteilhafter Aspekt der Erfindung ist es nun, bildgebende Teile der Fahrzeuginnenraumkamera 150 wie Objektiv 154 bzw. Linse(n) und/oder Detektor 152 mit der Aktuatorik 158 zu versehen und eine Ausgestaltung mit einer kurzen Schärfentiefe zu verwenden. Je nach Aktuator-Stellung (bzw. Stellung der Aktuatorik 158) kann sich dieser Bereich hinreichender Abbildungsschärfe bei unterschiedlichen Abständen (den Objektabständen) zur Fahrzeuginnenraumkamera 150 befinden. In 2a ist ein erster solcher Bereich bzw. Schärfentiefenbereich 120 gezeigt, in 2b ein zweiter solcher Bereich bzw. Schärfentiefenbereich 130. Diese beiden Schärfentiefenbereich 120, 130 sowie beispielhaft ein dritter Schärfentiefenbereich 140 sind ebenfalls in 1 gezeigt.
Im Rahmen eines erfindungsgemäßen Verfahrens kann nun z.B. bei unterschiedlichen Aktuator-Stellungen und damit unterschiedlichen Gegenstandsweiten jeweils ein Bild aufgenommen und die Schärfe der abgebildeten Objekte gemessen werden. Dadurch kann eine sog. Tiefenkarte der Szene, d.h. des Fahrzeuginnenraums 102 erstellt werden.
Die drei Größen Brennweite f (160 in den Figuren), Bildweite b (171, 172 in den Figuren) und Gegenstandsweite g (181, 182 in den Figuren) sind über die Gaußsche Abbildungsgleichung verknüpft: $1/f = 1/b + 1/g .$
Diese besagt, dass ein punktförmiges Objekt im Abstand g auf einen Punkt im Abstand b zur Linse abgebildet wird. In der Realität wird nur ein endliches Auflösungsvermögen verlangt, d.h. die Abbildung des Punktobjekts darf ein Kreis sein, der einen maximal erlaubten Durchmesser (Streukreis) besitzt. Dadurch werden auch Objekte in einem axialen Bereich, eben dem erwähnten Schärfentiefenbereich bzw. der Schärfentiefe (wie z.B. 120, 130), hinreichend scharf auf dem Detektor 152 in einem Abstand b abgebildet.
Wie in 2a zu sehen, kann das Objektiv 154 im Gehäuse 151 in axialer Richtung relativ zum Detektor 152 bewegt werden. Es befindet sich somit in einem Abstand 171 relativ zum Detektor 152 und scharf abgebildete Objekte befinden sich somit in einer Zone oder einem Bereich 120 in einem mittleren Abstand 181 vor der Linse bzw. vom Objektiv.
In 2b wandert die Linse bzw. das Objektiv 154 näher an den Detektor 152 und liegt nun einen Abstand 172 davor. Objekte im Bereich 120 werden unscharf abgebildet, allerdings werden nun Objekte in einem Bereich 130 bei einer mittleren Entfernung 182 zur Linse bzw. zum Objekt (oder allgemein der Fahrzeuginnenraumkamera) scharf gesehen bzw. abgebildet. Sie sind fokussiert.
Ein Beispiel ist ein Objektiv mit Brennweite f = 2 mm und Blendenzahl 1,6. Die maximale Größe eines Abbildungskreises betrage DK = 1 µm. Für eine Entfernung g1 (bzw. 181) = 400 mm beträgt das DOF (Schärfentiefe) 130 mm und die Linse muss auf b1 (bzw. 171) = 2,01 mm aktuiert werden. Bei g2 (bzw. 182) = 800 mm beträgt das DOF = 512 mm und b2 (bzw. 172) = 2,005 mm. Bei g2 = 1200 mm beträgt das DOF = 1152 mm und b2 = 2,003 mm.
Ein anderes Beispiel ist ein Objektiv mit Brennweite f = 1,5 mm und Blendenzahl 1,8. Die maximale Größe des Abbildungskreises betrage DK = 1 µm. Für eine Entfernung g1 = 400 mm beträgt das DOF = 256 mm und die Linse muss auf b1 = 1,506 mm aktuiert werden. Bei g2 = 800 mm beträgt das DOF = 1024 mm und b2 = 1,503 mm. Bei g2 = 1200 mm beträgt das DOF = 2304 mm und b2 = 1,502 mm.
In 3 ist schematisch ein Ablauf eines erfindungsgemäßen Verfahrens in einer bevorzugten Ausführungsform anhand eines Flussdiagrammes dargestellt, wie es z.B. mit einer in den 1, 2a und 2b gezeigten Fahrzeuginnenraumkamera durchgeführt werden kann.
In einem Schritt 200 erfolgt ein Ansteuern der Fahrzeuginnenraumkamera 150 zum Aufnehmen z.B. mehrerer Bilder 202, 204 von z.B. zwei Objekten (z.B. des Fahrers 104 und der Person 106) mit jeweils fokussierter Innenraumkamera 150. Diese Bilder werden in einem Schritt 210 erhalten. In einem Schritt 220 wird dann eine jeweilige Entfernung 222, 224 eines jeden der Objekte von der Fahrzeuginnenraumkamera 150 basierend auf den Bildern 202, 204 bestimmt.
Basierend auf den Entfernungen 222, 224 werden dann, in Schritt 230, Tiefeninformationen 232 bezüglich der Objekte bestimmt. Daraus wiederum kann, in einem Schritt 240, ein 3D-Bild 242 des Fahrzeuginnenraums erstellt werden, auf dem also z.B. der Fahrer 104 und die Person 106 enthalten sind, wobei insbesondere deren unterschiedlicher Abstand von der Fahrzeuginnenraumkamera 150 enthalten ist.

Claims

Verfahren zum Bestimmen von Tiefeninformationen eines Objekts (104, 106, 108) in einem Fahrzeuginnenraum (102) unter Verwendung einer Fahrzeuginnenraumkamera (150) mit einer verstellbaren Fokusebene, umfassend: - Ansteuern (200) der Fahrzeuginnenraumkamera (150) zum Fokussieren zumindest auf einen Abschnitt des Objekts (104, 106, 108) und zum Aufnehmen eines oder mehrerer Bilder (202, 204) zumindest des Abschnitts des Objekts mit der Fahrzeuginnenraumkamera (150), - Erhalten (210) des einen oder der mehreren Bilder, - Bestimmen (220) einer Entfernung (222, 224) zumindest des Abschnitts des Objekts von der Fahrzeuginnenraumkamera (150) basierend auf dem einen oder den mehreren Bildern, und - Bestimmen (230) der Tiefeninformationen (232) des Objekts basierend auf der Entfernung.
Verfahren nach Anspruch 1, umfassend: - Bestimmen (240) einer Tiefenkarte, insbesondere eines dreidimensionalen Bildes (242), des einen oder der mehreren Objekte basierend auf den Tiefeninformationen.
Verfahren nach Anspruch 1 oder 2, wobei das Ansteuern (200) der Fahrzeuginnenraumkamera (150) zum Fokussieren zumindest auf einen Abschnitt des Objekts (104, 106, 108) umfasst: - Verstellen der Fokusebene solange, bis bestimmt wird, dass das Objekt fokussiert ist.
Verfahren nach Anspruch 3, wobei das Bestimmen, dass das Objekt fokussiert ist, basierend auf analytischen Verfahren erfolgt, und/oder wobei das Bestimmen der Tiefeninformationen zusätzlich basierend auf maschinellen Lernverfahren erfolgt.
Verfahren nach Anspruch 3 oder 4, wobei das Verstellen der Fokusebene ein Verstellen einer optischen Weglänge zwischen einem Objektiv (154) und einem Detektor (152) der Fahrzeuginnenraumkamera (150) umfasst.
Verfahren nach einem der vorstehenden Ansprüche, wobei das Bestimmen (220) einer Entfernung (222, 224) zumindest des Abschnitts des Objekts von der Fahrzeuginnenraumkamera (150) basierend auf dem einen oder den mehreren Bildern umfasst: - Bestimmen (220) der Entfernung (222, 224) zumindest des Abschnitts des Objekts von der Fahrzeuginnenraumkamera (150) basierend auf für das Bild verwendeten Parametern der Fahrzeuginnenraumkamera (150).
Verfahren nach einem der vorstehenden Ansprüche, wobei die Fahrzeuginnenraumkamera (150) eine Blendenzahl von höchstens 2,0, bevorzugt höchstens 1,5, aufweist.
Recheneinheit (160), die dazu eingerichtet ist, alle Verfahrensschritte eines Verfahrens nach einem der vorstehenden Ansprüche durchzuführen.
Fahrzeuginnenraumkamera (150) mit einem Objektiv (154), einem Detektor (152) und einer Recheneinheit (160) nach Anspruch 8.
Fahrzeuginnenraumkamera (150) nach Anspruch 9, mit einer Aktuatorik (158), die dazu eingerichtet ist, eine optische Weglänge zwischen Objektiv (154) und Detektor (152) zu verändern.
Fahrzeuginnenraumkamera (150) nach Anspruch 10, wobei die Aktuatorik einen Shape-Memory-Alloy-Aktuator und/oder einen MEMS-Aktuator aufweist.
Computerprogramm, das eine Recheneinheit (160) dazu veranlasst, alle Verfahrensschritte eines Verfahrens nach einem der Ansprüche 1 bis 7 durchzuführen, wenn es auf der Recheneinheit (160) ausgeführt wird.
Maschinenlesbares Speichermedium mit einem darauf gespeicherten Computerprogramm nach Anspruch 12.