-
Die Erfindung betrifft eine Vorrichtung zur Gestensteuerung in einem Fahrzeuginnenraum mittels einer Erfassungseinheit gemäß dem Oberbegriff des Anspruchs 1.
-
Aus dem Stand der Technik sind sogenannte TOF-Kameras (kurz für: time-of-flight-Kamera) bekannt, die auf aktive Beleuchtung einer Szene mittels Infrarotlicht basieren und eine Laufzeit des zur Beleuchtung verwendeten Lichtes mittels Sensoren ermitteln. Auf dieser Grundlage wird dann eine Entfernung des beleuchteten Objektes von der TOF-Kamera bestimmt.
-
Aufgabe der vorliegenden Erfindung ist es, eine gegenüber dem Stand der Technik verbesserte Vorrichtung zur Gestensteuerung in einem Fahrzeuginnenraum anzugeben.
-
Die Aufgabe wird erfindungsgemäß gelöst mit einer Vorrichtung zur Gestensteuerung in einem Fahrzeuginnenraum mittels einer Erfassungseinheit, die Bilddaten zumindest einer Position eines Kopfes eines Insassen und zumindest einer Geste des Insassen in einem Erfassungsbereich der Erfassungseinheit erfasst, wobei die Erfassungseinheit als eine 3D-Kamera oder als eine TOF-Kamera (kurz für: time-of-flight-Kamera) ausgebildet ist.
-
Die mit der Erfindung erzielten Vorteile bestehen insbesondere darin, dass die als 3D-Kamera, insbesondere TOF-Kamera, ausgebildete Erfassungseinheit sowohl Kopfbewegungen als auch Gestenbewegungen kombiniert erfasst und analysiert, so dass ein ergonomisches Arbeiten und Bedienen von Fahrzeugfunktionen und/oder Fahrzeugkomponenten mittels Augen-, Kopf- und/oder Gestensteuerung des Insassen im Fahrzeug ermöglicht sind bzw. ist.
-
Die Erfassungseinheit ist dabei als Bestandteil einer interaktiven Benutzerschnittstelle für Interaktionen mittels Gesten mit oder ohne Kontaktierung eines Festkörpers ausgebildet, wobei die Gesten insbesondere von einer Person ausgeführt werden. Dieser Vorgang ist beispielsweise mittels der TOF-Kamera erfassbar, wobei ein Körper der die Gesten ausführenden Person oder bestimmte Körperteile der Person und ein Hintergrund als Bezugsbereich für die TOF-Kamera dienen.
-
In einer Weiterbildung der Vorrichtung ist die Erfassungseinheit in oder an einem Armaturenbrett angeordnet. Hierbei ist die Erfassungseinheit in einfacher Weise derart ausgerichtet, dass sich der Insasse im Erfassungsbereich befindet.
-
Eine weitere Ausführungsform der Vorrichtung sieht vor, dass die Erfassungseinheit mit einer Multifunktionsanzeige elektrisch verbunden und/oder in eine Baueinheit der Multifunktionsanzeige integriert ist. Insbesondere ist die zur Bedienung der Multifunktionsanzeige vorgesehene Geste und Bewegung des Insassen gezielt von der Erfassungseinheit detektierbar.
-
In einer möglichen Ausgestaltung der Vorrichtung ist die Erfassungseinheit mit einer Steuereinheit zur Verarbeitung und Auswertung erfasster Bilddaten datentechnisch gekoppelt, wobei die Steuereinheit die erfassten Bilddaten mit vorgegebenen Bilddaten zur Auswertung der Geste oder eines Zustands des Insassen vergleicht. Beispielsweise ist aufgrund des Vergleichs erfasster Bilddaten mit vorgegebenen Bilddaten eine schnelle Ausführung unterschiedlicher Fahrzeugfunktionen ermöglicht. Zudem ist die Auswertung erfasster Bilddaten zur Erhöhung einer Fahrsicherheit, insbesondere zur Überwachung des Fahrers während der Fahrt, und zur Sitzbelegungserkennung vorgesehen.
-
In einer weiteren Ausführung der Vorrichtung sind bzw. ist anhand der erfassten Geste des Insassen im Erfassungsbereich zumindest eine Anwendung, eine Interaktion und/oder eine Steuerung unterschiedlicher Fahrzeugfunktionen aktivierbar oder deaktivierbar. Hierdurch sind beispielsweise komplizierte und aufwendige Betätigungen und Bedienungen unterschiedlicher Fahrzeugfunktionen im Fahrzeuginnenraum während einer Fahrt vermieden. Der Insasse, insbesondere ein Fahrzeugfahrer, kann sich ohne weitere Ablenkung auf die Fahrbahn konzentrieren und mit einfachen Gesten unterschiedliche Anwendungen ausführen.
-
Eine weitere Ausgestaltung der Vorrichtung sieht vor, dass die Erfassungseinheit mit einer Beleuchtungseinheit zur Beleuchtung des Erfassungsbereichs signaltechnisch gekoppelt ist, wobei die Beleuchtungseinheit beispielsweise ereignisgesteuert, zum Beispiel in vorgebbaren Abständen, Licht im Infrarotspektralbereich emittiert. Hierbei ist eine Blendung des Insassen vermieden, wobei der Erfassungsbereich zur präzisen Ermittlung der Position bzw. der Geste des Insassen ausreichend beleuchtet ist.
-
Ausführungsbeispiele der Erfindung werden anhand von Zeichnungen näher erläutert. Dabei zeigen:
-
1 schematisch eine perspektivische Ansicht eines Fahrzeuginnenraumes mit einer Vorrichtung zur Gestensteuerung,
-
2 schematisch ein Blockschaltblid der Vorrichtung in einer möglichen Ausführungsform,
-
3 schematisch ein Blockschaltbild der Vorrichtung in einer weiteren Ausführungsform und
-
4 schematisch ein Blockschaltbild der Vorrichtung in einer möglichen Ausgestaltung.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
1 zeigt einen Fahrzeuginnenraum 1 eines nicht näher dargestellten Fahrzeuges mit einer Vorrichtung V, umfassend eine Erfassungseinheit 2, zur Gestensteuerung im Fahrzeug.
-
Die Erfassungseinheit 2 ist hierbei als eine 3D-Kamera ausgebildet. Insbesondere ist die Erfassungseinheit 2 als eine TOF-Kamera, eine Stereokamera oder eine andere für den Fahrzeuginnenraum 1 geeignete 3D-Kamera ausgebildet.
-
Im Fahrzeuginnenraum 1 ist die Erfassungseinheit 2 in einem Armaturenbrett 3, bevorzugt in unmittelbarer Nähe zu einer Multifunktionsanzeige 3.1 derart angeordnet, dass ein Insasse 4, insbesondere zumindest ein Oberkörperbereich des Insassen 4, erfassbar ist, wobei der Insasse 4, insbesondere eine Bewegung seines Oberkörperbereichs, ermittelbar ist.
-
Bei der Multifunktionsanzeige 3.1 handelt es sich insbesondere um ein Infotainmentsystem.
-
Die Erfassungseinheit 2 umfasst einen Erfassungsbereich E, der in den Fahrzeuginnenraum 1 gerichtet ist, wobei der Erfassungsbereich E zumindest eine Position eines Kopfes 4.1 des Insassen 4 und eine durch den Insassen 4 ausgeführte Bewegung als Geste erfasst.
-
Als Geste sind bzw. ist beispielsweise eine Bewegung des Kopfes 4.1 und/oder eine Bewegung einer Hand 4.2 und/oder eines Arms des Insassen 4 erfassbar, um eine mit der Bewegung und/oder Geste des Kopfes 4.1 und/oder der Hand 4.2 verknüpfte Anwendung auszulösen. Hierzu ist die Erfassungseinheit 2 in Form der TOF-Kamera mit einer Steuereinheit 6 verbunden, die mit der Erfassungseinheit 2 erfasste Bilddaten I verarbeitet und auswertet.
-
Des Weiteren ist die Erfassungseinheit 2 beispielsweise als eine Wärmebildkamera, insbesondere als eine Infrarotkamera, ausgebildet mit einer aktiven Beleuchtung einer Szene mittels Infrarotlichts und ermittelt über eine Laufzeitmessung eines zur Beleuchtung verwendeten Lichts eine Entfernung eines beleuchteten Objektes. Solch ein beleuchtetes Objekt ist zum Beispiel der Oberkörperbereich oder der Kopfbereich des Insassen 4.
-
Dabei ist eine Szene oder Geste, insbesondere die zeitliche Position des Kopfes 4.1 und/oder die der Hand 4.2, im Erfassungsbereich E der Erfassungseinheit 2 erfassbar. Diese Szene oder Geste wird mittels entsprechender Kameradateneinstellung und Kameraeigenschaften beispielsweise der TOF-Kamera anhand einer 3D-Punktwolke zur Ermittlung der Entfernung des beleuchteten Objektes mittels Amplitudenauswertung der Intensität der reflektierten und erfassten Lichtsignale im Erfassungsbereich E erfasst.
-
Vorzugsweise sind die Erfassungseinheit 2 und eine Beleuchtungseinheit 5 derart im Armaturenbrett 3 angeordnet und signaltechnisch gekoppelt, dass die in vorgebbaren Abständen Licht, insbesondere im Infrarotspektralbereich, emittierende Beleuchtungseinheit 5 den Erfassungsbereich E der Erfassungseinheit 2 beleuchtet.
-
Weiterhin umfasst die Erfassungseinheit 2 ein derart optisches Auflösungsvermögen, dass die Erfassungseinheit 2 innerhalb des Erfassungsbereiches E Ortsbereiche oder lokale Zonen, wie zum Beispiel den Kopf 4.1, ein Gesicht, insbesondere Augen und/oder Nase, und/oder die Hand 4.2 des Insassen 4, erfassen kann, um beispielsweise eine Blickrichtung der Augen, eine Bewegung des Kopfes 4.1 und/oder eine Geste der Hand 4.2 des Insassen 4 zu ermitteln.
-
Die Erfassungseinheit 2 ist insbesondere mit der Multifunktionsanzeige 3.1 elektrisch verbunden und/oder in eine Baueinheit der Multifunktionsanzeige 3.1 integriert.
-
Durch diese Anordnung ist es in vorteilhafter Weise möglich, mit einer weitestgehend hohen Präzision die Bewegung und/oder Geste, insbesondere eine Extrapolation der Bewegung und/oder Geste des Insassen 4, relativ zu der Multifunktionseinheit 3.1 innerhalb des Erfassungsbereiches E zu erfassen.
-
Eine Erkennung und/oder Verfolgung der Bewegung und/oder Geste des Insassen 4 erfolgt mittels der Erfassungseinheit 2 im selben Erfassungsbereich E, wobei der Kopf 4.1 und die Hand 4.2 des Insassen 4 unabhängig voneinander die mit der ausgeführten Bewegung und/oder Geste verknüpfte Anwendung auslösen können.
-
Hierbei ist der Erfassungsbereich E der Erfassungseinheit 2 in zumindest zwei Interaktionsbereiche, in welchen jeweils die Bewegung und/oder Geste des Kopfes 4.1 und die der Hand 4.2 des Insassen 4 voneinander beabstandet erkennbar sind bzw. ist, unterteilt.
-
Alternativ kann auch eine Kombination aus der Bewegung und/oder Geste des Kopfes 4.1 und der der Hand 4.2 des Insassen 4 relativ zueinander, insbesondere im selben Interaktionsbereich des Erfassungsbereiches E, erfassbar sein, um beispielsweise eine gewünschte Anwendung, insbesondere Funktion des Fahrzeuges, zu aktivieren oder deaktivieren.
-
Für solche Anwendungen, bei denen die Bewegung und/oder Geste des Kopfes 4.1 und die der Hand 4.2 im selben Interaktionsbereich zu erfassen sind, sind zwei unterschiedliche Möglichkeiten zur Verarbeitung erfasster Bilddaten I vorgesehen.
-
Eine erste Möglichkeit zur schnellen Aktivierung oder Deaktivierung der vom Insassen 4 gewünschten Anwendung basiert auf der Verarbeitung zumindest zeitgleich erfasster Bilddaten I von vom Insassen 4 ausgeführten Bewegungen und/oder Gesten im selben Interaktionsbereich des Erfassungsbereiches E.
-
Eine zweite Möglichkeit basiert auf der Verarbeitung von in unterschiedlichen Zeiträumen erfassten Bilddaten I einer Bewegung und/oder Geste des Kopfes 4.1 und der der Hand 4.2 des Insassen 4.
-
Durch die erste Möglichkeit kann die Anwendung des Fahrzeuges beispielsweise über zwei im selben Interaktionsbereich ausgeführte und mit der Anwendung verknüpften Bewegungen und/oder Gesten aktiviert oder deaktiviert werden, wobei beispielsweise die Position des Kopfes 4.1 erfasst und in Kombination mit einer 3D starren Handgeste des Insassen 4 die Anwendung ausgelöst wird.
-
Die zweite Möglichkeit kann zumindest eine Arbeitsbelastung des Insassen 4, insbesondere eines Fahrers, zur Interaktion mit zumindest einer Fahrzeugkomponente und/oder zur Steuerung der Fahrzeugkomponente reduzieren, wobei die Interaktion und/oder Steuerung nahe des Kopfes 4.1 und/oder der Hand 4.2 des Insassen 4 erfolgt.
-
Die Interaktion mit und/oder die Steuerung der zumindest einen Fahrzeugkomponente wird mittels einer Erfassung der Blickrichtung der Augen des Insassen 4 innerhalb des Interaktionsbereiches des Erfassungsbereiches E ermittelt, wobei die Interaktion und/oder Steuerung anhand der mit der Anwendung verknüpften und erfassten Bewegung und/oder Geste, insbesondere Handgeste des Insassen 4, erfolgt.
-
Alternativ kann die Interaktion und/oder Steuerung anhand der Kombination aus der mit der Anwendung verknüpften Bewegung und/oder Geste des Kopfes 4.1 und der Hand 4.2 ermittelt werden. Beispielsweise kann anhand der Extrapolation der Handgeste, insbesondere Fingergeste, und eine darauffolgende Bewegung und/oder Geste des Kopfes 4.1, insbesondere Nicken, die Interaktion und/oder die Steuerung der zumindest einen Fahrzeugkomponente erfolgen.
-
Die Position der Hand 4.2 des Insassen 4 vor dem Kopf 4.1 des Insassen 4 im selben Interaktionsbereich des Erfassungsbereiches E der Erfassungseinheit 2 kann beispielsweise als die mit der Anwendung verknüpfte Bewegung und/oder Geste des Insassen 4 erfasst werden.
-
Zur wirksamen Überwachung eines Verhaltens des Insassen 4 ist die Erfassungseinheit 2 in den Fahrzeuginnenraum 1 gerichtet, insbesondere außerhalb einer (Haupt-)Achse.
-
Um einen Kopfbereich des Insassen 4 außerhalb der (Haupt-)Achse erfassen zu können, ist eine auf ein 3D-Modell basierende Methode zur teilweisen Erkennung des Kopfes 4.1 vorgesehen. Vorzugsweise kann dadurch insbesondere die Position des Kopfes 4.1 und/oder die des Auges und/oder ein Nasenvektor und/oder Gesichtsmerkmale des Insassen 4 erfasst werden. Diese Erfassung erfolgt insbesondere anhand eines Filteralgorithmus, beispielsweise eines sogenannten Kalman Filters, zur Verarbeitung statisch geschätzter und/oder prognostizierter Werte.
-
In 2 bis 4 ist jeweils ein Blockschaltbild eines Ausführungsbeispiels der Vorrichtung V zur Erkennung und/oder Erfassung des Kopfes 4.1 des Insassen 4 dargestellt.
-
Zur Beleuchtung des Erfassungsbereichs E ist die Erfassungseinheit 2 mit der Beleuchtungseinheit 5 elektrisch gekoppelt. Zur Verarbeitung und Auswertung erfasster Bilddaten I im Erfassungsbereich E ist die Erfassungseinheit 2 mit der Steuereinheit 6 elektrisch gekoppelt. Diese Bilddaten I umfassen beispielweise Bewegungen, Gesten und/oder Gesichtsmerkmale und Gesichtsstrukturen des Insassen 4 und/oder Positionen von Körperteilen des Insassen 4 und/oder weitere Objekte im Fahrzeuginnenraum 1.
-
Mittels der Erfassungseinheit 2, insbesondere mittels der 3D-Punktwolke der TOF-Kamera, sind die Bilddaten I, insbesondere des Oberkörperbereichs des Insassen 4, im Erfassungsbereich E anhand lokaler Koordinaten und Lichtreflektionen des Objektes ermittelbar. Hierbei sind vorstehende Gesichtsmerkmale und/oder Gesichtsstrukturen anhand erfasster Amplitudenabbildungen ermittelbar. Die Vorrichtung V umfasst beispielsweise eine Schnittstelle S1 zur Anwendungsprogrammierung der Erfassungseinheit 2.
-
Die Erkennung und/oder Erfassung des Kopfes 4.1 des Insassen 4 erfolgt anhand einer Kombination aus 2D- und 3D-Algorithmen, um weitestgehend geeignete Informationen aus der 3D-Punktwolke und der Amplitudenabbildung zu extrahieren.
-
Des Weiteren umfasst die Vorrichtung V eine Verarbeitungsschnittstelle S2, die die aus der 3D-Punktwolke und Amplitudenabbildung erfassten Bilddaten I umfasst und zur Rauschfilterung der erfassten Bilddaten I vorgesehen ist.
-
Um unterschiedliche Entfernungen unterschiedlicher Objekte, insbesondere Lenkrad und/oder Fenster des Fahrzeuges, innerhalb des Erfassungsbereiches E der Erfassungseinheit 2 im Fahrzeuginnenraum 1 ermitteln zu können, umfasst die Vorrichtung V eine Segmentierungsschnittstelle S3. Hierbei ist in der 3D-Punktwolke ein Vordergrund in Segmente aufteilbar. Insbesondere sind Objektgrenzen detektierbar und innerhalb der lokalen Koordinaten in der Steuereinheit 6 miteinander vergleichbar.
-
Eine Überprüfungsschnittstelle S4 der Vorrichtung V ist zur Überprüfung der Position des Kopfes 4.1 innerhalb zumindest eines Segmentes vorgesehen und erfolgt beispielsweise mittels eines Kopf-Schulter-Detektors S4.1 der Erfassungseinheit 2. Hierbei sind die Segmente jeweils mit einer Kopf-Schulter-Vorlage S4.2 oder einer -Referenz vergleichbar.
-
Für einen weitestgehend präzisen Vergleich innerhalb der lokalen Koordinaten, insbesondere 3D Koordinaten, ist die Kopf-Schulter-Vorlage S4.2 derart zum Segment ausgerichtet, dass die Kopf-Schulter-Vorlage S4.2 zumindest mit einer Segmentgröße skaliert, wobei die Kopf-Schulter-Vorlage S4.2 anhand einer Rotation ausgerichtet ist.
-
Bei dem Segment mit weitestgehend hoher Übereinstimmung zur Kopf-Schulter-Vorlage S4.2 sind zumindest anhand heuristischer Annahmen S4.4 weitere Koordinaten zur Vervollständigung der Position des Kopfes 4.1 bestimmbar.
-
Alternativ kann die Position des Kopfes 4.1 anhand einer Oberkörper-Vorlage S4.3 ermittelt werden, bei der zumindest Körperteile des Oberkörpers des Insassen 4 mit vorgespeicherten Formen des Oberkörpers eines Menschen verglichen werden. Anschließend können bei einer Übereinstimmung anhand heuristischer Annahmen S4.4 weitere Koordinaten zur Vervollständigung der Position des Kopfes 4.1 bestimmt werden. Beispielsweise weist ein Kopf der vorgespeicherten Form des Oberkörpers eine elliptische Form auf.
-
In einer möglichen Ausführungsform der Vorrichtung V erfolgt über eine Auswerteschnittstelle S5 eine Schätzung der Position und Blickrichtung des Kopfes 4.1 des Insassen 4 innerhalb eines momentanen Standbildes, wobei im Voraus ein zur Schätzung weitestgehend geeigneter Algorithmus S5.1 festlegbar ist.
-
Bei der Erkennung des Kopfbereiches innerhalb eines Vordergrundsegmentes kann die Position und Blickrichtung des Kopfes 4.1 weitestgehend anhand erfasster Bilddaten I des momentanen Standbildes bestimmt werden. Dies erfolgt über eine Ausgabeschnittstelle S5.2 in Abhängigkeit des Algorithmus S5.1 der Auswerteschnittstelle S5, wobei die erfassten Bilddaten I anschließend als eine Bewegungs- und Positionsabfolge S5.3 hinterlegt werden.
-
Bei nicht ausreichender Bilddatenerfassung I der Erfassungseinheit 2 und/oder nicht erfolgreicher Schätzung des Kopfbereiches des Insassen 4 sind anhand der hinterlegten Bewegungs- und Positionsabfolgen S5.3 eine darauffolgende Position und Blickrichtung S5.4 des Kopfes 4.1 des Insassen 4 bestimmbar.
-
Alternativ kann anhand des Nasenvektors die Position und/oder Blickrichtung des Kopfes 4.1 ermittelt werden.
-
Zusätzlich kann eine Blickrichtung des Auges sich von der Blickrichtung des Kopfes 4.1 unterscheiden, wobei die Blickrichtung des Auges beispielsweise anhand einer Erfassung zumindest einer Pupille ermittelt werden kann.
-
Zur Überwachung eines Zustands des Insassen 4, insbesondere einer Müdigkeit des Fahrers können beispielsweise eine Anzahl an Lidschlägen, Intervalle zwischen den jeweiligen Lidschlägen und/oder Dauer eines Lidschlages erfasst und mit vorgegebenen Bilddaten verglichen werden.
-
Zudem sind solche erfassten Bilddaten I in einer Speicherschnittstelle S6 oder in der Steuereinheit 6 speicherbar, wobei die erfassten Bilddaten I jederzeit abgerufen werden können. Eine Entscheidung erfolgt anhand eines in der Steuereinheit 6 vorprogrammierten Entscheidungsbaums, welcher automatisch aus den gespeicherten Bilddaten I zumindest eine geeignete Methode, insbesondere Erfassung durch Nasenvektor und/oder Augenstellung, auswählt, um die Blickrichtung des Insassen 4 zu erfassen.
-
Weiterhin können individuelle Informationen zu Kopfgröße, Gesichtsgeometrie und/oder Kopf-Schulter-Abstand verschiedener Insassen 4 gespeichert werden, die jederzeit abrufbar sind.
-
Die Vorrichtung V ist zudem zur Verbesserung einer Fahrerfahrung und/oder Fahrsicherheit, und/oder zur Überwachung des Fahrers und/oder Sitzbelegungserkennung verwendbar.
-
Bezugszeichenliste
-
- 1
- Fahrzeuginnenraum
- 2
- Erfassungseinheit
- 3
- Armaturenbrett
- 3.1
- Multifunktionsanzeige
- 4 I
- nsasse
- 4.1
- Kopf
- 4.2
- Hand
- 5
- Beleuchtungseinheit
- 6
- Steuereinheit
- V
- Vorrichtung
- E
- Erfassungsbereich
- I
- Bilddaten
- S1
- Schnittstelle
- S2
- Verarbeitungsschnittstelle
- S3
- Segmentierungsschnittstelle
- S4
- Überprüfungsschnittstelle
- S4.1
- Kopf-Schulter-Detektor
- S4.2
- Kopf-Schulter-Vorlage
- S4.3
- Oberkörper-Vorlage
- S4.4
- heuristische Annahmen
- S5
- Auswerteschnittstelle
- S5.1
- Algorithmus
- S5.2
- Ausgabeschnittstelle
- S5.3
- Bewegungs- und Positionsabfolge
- S5.4
- Position und Blickrichtung
- S6
- Speicherschnittstelle
