-
Die Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung zur Bereitstellung einer Benutzerschnittstelle für ein Gerät auf einer Hand eines Nutzers des Geräts.
-
Ein Fahrzeug weist typischerweise eine Vielzahl von unterschiedlichen Komponenten auf, die von einem Nutzer des Fahrzeugs gesteuert und/oder eingestellt werden können. Beispielhafte Komponenten sind ein Infotainmentsystem, eine Klimaanlage, eine Beleuchtung, etc. Das Fahrzeug weist meist eine Vielzahl von unterschiedlichen Bedienelementen zur Steuerung der einzelnen Komponenten auf, wobei die Bedienelemente an unterschiedlichen Stellen innerhalb des Fahrzeugs angeordnet sein können. Diese Stellen können von einem Nutzer des Fahrzeugs ggf. nicht oder nur schwer erreichbar sein. Beispielsweise kann die Klimaanlage des Fahrzeugs von einem Insassen auf der Rückbank des Fahrzeugs meist nicht gesteuert werden.
-
Das vorliegende Dokument befasst sich mit der technischen Aufgabe, eine flexible und komfortable Benutzerschnittstelle für zumindest ein Gerät, z.B. für zumindest eine Fahrzeug-Komponente, bereitzustellen.
-
Die Aufgabe wird durch jeden der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.
-
Gemäß einem Aspekt wird eine Vorrichtung zur Bereitstellung einer Benutzerschnittstelle für zumindest ein Gerät beschrieben. Das Gerät kann z.B. eine Fahrzeug-Komponente eines Fahrzeugs sein, in dem die Vorrichtung angeordnet ist. Die Benutzerschnittstelle kann es einem Nutzer ermöglichen, das zumindest eine Gerät zu steuern, z.B. um eine Funktion des Geräts zu steuern und/oder um einen Parameter des Geräts einzustellen.
-
Die Vorrichtung ist eingerichtet, Handinformation in Bezug auf eine Hand eines Nutzers zu ermitteln. Die Handinformation kann auf Basis von Sensordaten von ein oder mehreren Sensoren, insbesondere Kameras, der Vorrichtung ermittelt werden. Die ein oder mehreren Sensoren, insbesondere der Erfassungsbereich der ein oder mehreren Sensoren, können auf die Hand des Nutzers gerichtet sein. Die Handinformation kann ein oder mehrere Eigenschaften der Hand anzeigen (wie z.B. die Flächengröße der Handfläche der Hand; die Form der Handfläche der Hand; die Tatsache, ob es sich um die rechte oder die linke Hand des Nutzers handelt; die Pose der Handfläche der Hand im (drei-dimensionalen, 3D) Raum (z.B. Erfassung der Koordinaten im 3D Raum für die Skalierung, Verzerrung und/oder Ausrichtung der Projektion einer Benutzeroberfläche der Benutzerschnittstelle); die Tatsache, ob der Nutzer die innere Handfläche oder die äußere Handfläche betrachtet; die Position und/oder die Ausrichtung von ein oder mehreren Fingern der Hand (als Projektions- und/oder Eingabefläche für ein oder mehrere virtuelle Bedienelemente); etc.). Alternativ oder ergänzend kann die Handinformation eine Handgeste anzeigen, die der Nutzer mit der Hand ausführt.
-
Die Handfläche der Hand kann die Mittelhand und ein oder mehrere Finger der Hand umfassen. Der Nutzer kann durch Öffnen der Hand eine zusammenhängende (Hand-) Fläche bilden, die die Mittelhand und ein oder mehrere (insbesondere die vier) Finger der Hand umfasst. Die Fläche kann ggf. durch den Daumen der Hand erweitert werden. Die Fläche kann die Innenseite oder die Außenseite der Hand umfassen. Die Fläche kann, wie in diesem Dokument beschrieben, als (Projektions-) Fläche zur Bereitstellung einer Benutzerschnittstelle verwendet werden.
-
Die Vorrichtung ist ferner eingerichtet, in Abhängigkeit von der Handinformation ein oder mehrere virtuelle Bedienelemente der Benutzerschnittstelle, die von dem Nutzer zur Steuerung des Geräts betätigbar sind, auf einer Handfläche der Hand (insbesondere auf der Handfläche, die von dem Nutzer betrachtet wird und/oder die dem Nutzer zugewandt ist) bereitzustellen. So kann es einem Nutzer ermöglicht werden, ein Gerät, insbesondere eine Fahrzeug-Komponente, in flexibler und komfortabler Weise zu steuern.
-
Die Vorrichtung kann eingerichtet sein, auf Basis der Handinformation zu bestimmen, dass der Nutzer eine Handgeste ausführt, bei der der Nutzer die Hand in einen geöffneten Zustand überführt, insbesondere derart, dass die geöffnete Hand eine Lesefläche (z.B. in dem Blickfeld des Nutzers) bildet. Beispielsweise kann erkannt werden, dass der Nutzer die Hand öffnet und ggf. dass der Nutzer die offene (äußere oder innere) Handfläche betrachtet. Dies kann auf Basis der Sensordaten der ein oder mehreren Sensoren der Vorrichtung erkannt werden.
-
Es können dann (in selektiver Weise) in Reaktion auf die erkannte Handgeste die ein oder mehreren virtuellen Bedienelemente der Benutzerschnittstelle auf der Handfläche der Hand bereitgestellt werden. Mit anderen Worten, die Vorrichtung kann eingerichtet sein, erst in Reaktion auf die erkannte Handgeste (bei der der Nutzer die Hand zu einer Lesefläche öffnet) die Benutzerschnittstelle auf der Handfläche der Hand bereitzustellen. So kann eine besonders robuste Steuerung der ein oder mehreren Geräte über eine auf der Hand bereitgestellte Benutzerschnittstelle ermöglicht werden. Insbesondere kann bewirkt werden, dass die Benutzerschnittstelle nur dann bereitgestellt wird, wenn der Nutzer tatsächlich ein Gerät steuern will (was durch das Öffnen der Hand erkannt werden kann).
-
Die Vorrichtung kann eingerichtet sein, auf Basis der Handinformation zu ermitteln, ob der Nutzer die äußere Handfläche (d.h. den Handrücken) oder die innere Handfläche der Hand dem Nutzer, insbesondere dem Blickfeld des Nutzers, zugewandt hat.
-
Die auf der Handfläche bereitgestellte Benutzerschnittstelle, insbesondere die ein oder mehreren virtuellen Bedienelemente der Benutzerschnittstelle und/oder eine Funktion des Geräts und/oder das Gerät, die bzw. das über die ein oder mehreren virtuellen Bedienelemente auf der Handfläche steuerbar sind, können dann in Abhängigkeit davon angepasst werden, ob der Nutzer die äußere Handfläche oder die innere Handfläche der Hand dem Nutzer, insbesondere dem Blickfeld des Nutzers, zugewandt hat.
-
Es kann somit dem Nutzer ermöglicht werden, durch Wahl der äußeren oder der inneren Handfläche unterschiedliche Benutzerschnittstellen auszuwählen. So können die Flexibilität und der Komfort der Benutzerschnittstelle weiter erhöht werden.
-
Alternativ oder ergänzend kann die Vorrichtung eingerichtet sein, auf Basis der Handinformation zu ermitteln, ob der Nutzer eine Handfläche der rechten Hand oder der linken Hand dem Nutzer, insbesondere dem Blickfeld des Nutzers, zugewandt hat.
-
Die auf der Handfläche bereitgestellte Benutzerschnittstelle, insbesondere die ein oder mehreren virtuellen Bedienelemente der Benutzerschnittstelle und/oder eine Funktion des Geräts und/oder das Gerät, die bzw. das über die ein oder mehreren virtuellen Bedienelemente auf der Handfläche steuerbar sind, können dann in Abhängigkeit davon angepasst werden, ob der Nutzer eine Handfläche der rechten Hand oder der linken Hand dem Nutzer, insbesondere dem Blickfeld des Nutzers, zugewandt hat.
-
Es kann somit dem Nutzer ermöglicht werden, durch Wahl der rechten oder der linken Hand unterschiedliche Benutzerschnittstellen auszuwählen. So können die Flexibilität und der Komfort der Benutzerschnittstelle weiter erhöht werden.
-
Die Vorrichtung kann eingerichtet sein, auf Basis der Handinformation den Nutzer aus einer Mehrzahl von unterschiedlichen Nutzern zu identifizieren, dem die Hand gehört. Beispielsweise kann auf Basis der Form und/oder der Größe der Hand der jeweilige Nutzer identifiziert werden.
-
Die auf der Handfläche bereitgestellte Benutzerschnittstelle, insbesondere die ein oder mehreren virtuellen Bedienelemente der Benutzerschnittstelle und/oder eine Funktion des Geräts und/oder das Gerät, die bzw. das über die ein oder mehreren virtuellen Bedienelemente auf der Handfläche steuerbar sind, können dann in Abhängigkeit von dem identifizierten Nutzer angepasst werden.
-
Es kann somit eine Nutzer-spezifische Anpassung der Benutzerschnittstelle ermöglicht werden. So können die Flexibilität und/oder der Komfort der Benutzerschnittstelle weiter erhöht werden.
-
Die Handfläche der Hand weist typischerweise ein oder mehrere Finger und die Mittelhand der Hand auf. Die Vorrichtung kann eingerichtet sein, zumindest ein virtuelles Tipp-Bedienelement auf der Mittelhand der Hand bereitzustellen, das ausgebildet ist, durch eine Tipp-Bewegung des Nutzers auf dem virtuellen Tipp-Bedienelement betätigt zu werden. Auf der Mittelhand können typischerweise mehrere unterschiedliche Tipp-Bedienelemente bereitgestellt werden. Anhand eines Tipp-Bedienelements kann z.B. eine Funktion aktiviert oder deaktiviert werden.
-
Alternativ oder ergänzend kann die Vorrichtung eingerichtet sein, zumindest ein virtuelles Wisch-Bedienelement auf einem Finger der Hand bereitzustellen, das ausgebildet ist, durch eine Wisch-Bewegung des Nutzers entlang des Fingers betätigt zu werden. Beispielsweise kann auf jedem Finger der Hand jeweils ein Wisch-Bedienelement bereitgestellt werden. Anhand eines Wisch-Bedienelements kann z.B. (fließend und/oder kontinuierlich) der Wert eines Parameters eines Geräts eingestellt werden.
-
Es können somit an die Hand angepasste Bedienelemente bereitgestellt werden, um den Komfort der Benutzerschnittstelle weiter zu erhöhen.
-
Die Vorrichtung kann zumindest einen Projektor umfassen, der ausgebildet ist, eine graphische Benutzeroberfläche der Benutzerschnittstelle, die die ein oder mehreren virtuellen Bedienelement graphisch anzeigt, auf die Handfläche der Hand zu projizieren. Durch die Anzeige der ein oder mehreren virtuellen Bedienelemente auf der Handfläche kann der Komfort der Benutzerschnittstelle weiter erhöht werden.
-
Die Vorrichtung kann eingerichtet sein, den Projektor zu veranlassen, die graphische Benutzeroberfläche der Benutzerschnittstelle (standardmäßig) auf eine vordefinierte Standardfläche zu projizieren. Es kann somit bewirkt werden, dass die graphische Benutzeroberfläche der Benutzerschnittstelle (ggf. dauerhaft) an einer (ggf. festen) vordefinierten Standardfläche bereitgestellt wird (z.B. auf einer Armablage eines Fahrzeugs). Dabei kann auch die Betätigung der ein oder mehreren virtuellen Bedienelemente auf der vordefinierten Standardfläche ermöglicht werden.
-
Des Weiteren kann die Vorrichtung ausgebildet sein (wie bereits weiter oben dargelegt), auf Basis der Handinformation zu bestimmen, dass der Nutzer eine Handgeste ausführt, bei der der Nutzer die Hand in einen geöffneten Zustand überführt (und so eine Lesefläche bildet). Dies kann als Hinweis darauf gewertet werden, dass der Nutzer eine Bedienung über die geöffnete Hand ermöglichen möchte.
-
Die Vorrichtung kann eingerichtet sein, in Reaktion auf die erkannte Handgeste den Projektor zu veranlassen, die graphische Benutzeroberfläche der Benutzerschnittstelle von der Standardposition auf eine Handfläche der geöffneten Hand zu überführen (z.B. durch eine fließende Bewegung der Projektion). Die Benutzerschnittstelle kann somit durch eine Handgeste von der vordefinierten Standardfläche auf die Handfläche transferiert werden. So kann der Komfort der Benutzerschnittstelle weiter erhöht werden.
-
Die Vorrichtung kann einen Blind-Modus aufweisen, der z.B. von dem Nutzer aktiviert oder deaktiviert werden kann. Der Blind-Modus kann derart ausgebildet sein, dass es dem Nutzer ermöglicht wird, die ein oder mehreren virtuellen Bedienelemente auf der Handfläche der Hand zu betätigen, ohne, dass die ein oder mehreren virtuellen Bedienelemente graphisch auf der Handfläche angezeigt werden. Es kann somit einem Nutzer ermöglicht werden, die Benutzerschnittstelle zu betätigen, ohne dabei die Handfläche zu betrachten. Dies kann insbesondere für einen geübten Nutzer vorteilhaft sein.
-
Wie bereits oben dargelegt, kann die Vorrichtung zumindest einen Sensor, insbesondere zumindest eine Kamera, umfassen, der eingerichtet ist, Sensordaten in Bezug auf die Hand des Nutzers zu erfassen. Die Vorrichtung kann ferner eingerichtet sein, die Handinformation auf Basis der Sensordaten des zumindest einen Sensors zu ermitteln. Alternativ oder ergänzend kann die Vorrichtung eingerichtet sein, eine Betätigung der ein oder mehreren virtuellen Bedienelemente der Benutzerschnittstelle auf Basis der Sensordaten des zumindest einen Sensors zu detektieren. Durch die Bereitstellung von ein oder mehreren Sensoren kann eine besonders robuste Benutzerschnittstelle auf einer Hand bereitgestellt werden.
-
Der zumindest eine Sensor kann zumindest eine Infrarot-Kamera umfassten, insbesondere um auch im Dunkeln eine robuste Erkennung der Betätigung der ein oder mehreren virtuellen Bedienelemente zu ermöglichen.
-
Die Vorrichtung kann eingerichtet sein, eine Betätigung eines der auf der Handfläche der Hand bereitgestellten virtuellen Bedienelemente zu detektieren. Es kann dann in Reaktion darauf ein Steuersignal zur Steuerung eines Geräts generiert werden. Dabei kann das Steuersignal davon abhängen, welches virtuelle Bedienelement von den ein oder mehreren virtuellen Bedienelementen auf der Handfläche betätigt wurde; und/oder wie das virtuelle Bedienelement betätigt wurde. Das Steuersignal kann z.B. von einer Steuereinheit (z.B. von einem Mikrocontroller) der Vorrichtung generiert werden. So kann eine robuste Steuerung eines Geräts über die Benutzerschnittstelle ermöglicht werden.
-
Die Vorrichtung kann eingerichtet sein, auf Basis der Handinformation eine Flächengröße der Handfläche der Hand zu ermitteln. Die auf der Handfläche der Hand bereitgestellte Benutzerschnittstelle, insbesondere die Größe der ein oder mehreren virtuellen Bedienelemente, kann dann in Abhängigkeit von der ermittelten Flächengröße der Handfläche der Hand angepasst werden. So können die Flexibilität und der Komfort der Benutzerschnittstelle weiter erhöht werden.
-
Gemäß einem weiteren Aspekt wird ein (Straßen-) Kraftfahrzeug (insbesondere ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus oder ein Motorrad) beschrieben, das die in diesem Dokument beschriebene Vorrichtung umfasst. Das Fahrzeug kann ein oder mehrere steuerbare Fahrzeug-Komponenten (wie z.B. eine Klimaanlage, einen Fensterheber, eine Sitzheizung, ein Infotainmentsystem, etc.) aufweisen. Die Vorrichtung kann eingerichtet sein, eine Benutzerschnittstelle für die ein oder mehreren Fahrzeug-Komponenten auf einer Handfläche einer Hand eines Nutzers des Fahrzeugs bereitzustellen.
-
Gemäß einem weiteren Aspekt wird ein Verfahren zur Bereitstellung einer Benutzerschnittstelle für zumindest ein Gerät beschrieben. Das Verfahren umfasst das Ermitteln von Handinformation in Bezug auf eine Hand eines Nutzers. Des Weiteren umfasst das Verfahren das Bereitstellen, in Abhängigkeit von der Handinformation, von ein oder mehreren virtuellen Bedienelementen der Benutzerschnittstelle, die von dem Nutzer zur Steuerung des Geräts betätigbar sind, auf einer Handfläche der Hand.
-
Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Steuergerät eines Fahrzeugs) ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
-
Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
-
Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden.
-
Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen
- 1 beispielhafte Komponenten eines Fahrzeugs;
- 2a und 2b beispielhafte Nutzungssituationen einer Hand-basierten Benutzerschnittstelle;
- 3a bis 3c beispielhafte Hand-basierte Benutzerschnittstellen; und
- 4 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Bereitstellung einer Benutzerschnittstelle.
-
Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der Bereitstellung einer flexiblen und komfortablen Benutzerschnittstelle für ein Gerät, z.B. für eine Komponente eines Fahrzeugs. In diesem Dokument wird primär auf die Bereitstellung einer Benutzerschnittstelle in einem Fahrzeug eingegangen. Es sei darauf hingewiesen, dass die beschriebenen Aspekte auch auf andere Nutzungsumgebungen und/oder Geräte anwendbar sind, wie z.B. in einem Wohnraum, etwa zur Steuerung einer Jalousie, einer Lampe, einer Anlage zur Audiowiedergabe, etc. Die in diesem Dokument beschriebene Vorrichtung kann ggf. als „wearable device“ für einen Nutzer bereitgestellt werden.
-
1 zeigt beispielhafte Komponenten eines Fahrzeugs 100. Das Fahrzeug 100 umfasst zumindest eine steuerbare Komponente 102, die von einem Nutzer des Fahrzeugs 100 steuerbar ist. Beispielhafte Komponenten 102 sind eine Sitzheizung, eine Klimaanlage, ein Beleuchtungselement, ein Infotainmentsystem, eine Lüftung, etc.
-
Das Fahrzeug 100 kann Bedienelemente, wie z.B. physikalische Tasten oder Schalter, aufweisen, mit denen die einzelnen Komponenten des Fahrzeugs 100 gesteuert werden können. Der Verbau von physikalischen Bedienelementen in einem Fahrzeug 100 ist mit relativ hohen Kosten, einem relativ hohen Bauraumbedarf und mit einem relativ hohen Gewicht verbunden. Ferner sind die einzelnen Bedienelemente typischerweise jeweils an einer festen Stelle verbaut, die von einem Nutzer (z.B. von einem Nutzer auf der Rückbank des Fahrzeugs 100) ggf. nur schlecht erreichbar ist, was den Komfort des Nutzers beeinträchtigt.
-
In diesem Dokument wird eine Benutzerschnittstelle, insbesondere eine Benutzerschnittstellen-Vorrichtung, für ein oder mehrere steuerbare Komponenten 102 (allgemein für ein oder mehrere Geräte) beschrieben, die die Hand eines Nutzers, insbesondere eines Insassen eines Fahrzeugs 100, als Interaktionsfläche nutzt. Die in 1 dargestellte Benutzerschnittstellen-Vorrichtung 110 umfasst einen Projektor 104, der eingerichtet ist, eine graphische Benutzeroberfläche auf die Hand eines Nutzers zu projizieren. Die graphische Benutzeroberfläche kann ein oder mehrere virtuelle Bedienelemente aufweisen, die von dem Nutzer betätigt werden können.
-
Die Vorrichtung 110 umfasst ferner zumindest einen Sensor 103, insbesondere eine Kamera, der eingerichtet ist, Sensordaten in Bezug auf eine Bedienaktion des Nutzers auf der graphischen Benutzeroberfläche zu erfassen. Beispielsweise können die Sensordaten anzeigen, dass der Nutzer ein in der graphischen Benutzeroberfläche angezeigtes Bedienelement betätigt hat.
-
Eine Steuereinheit 101 der Vorrichtung 110 kann eingerichtet sein, die Sensordaten des Sensors 103 auszuwerten. Insbesondere kann die Vorrichtung 110 eingerichtet sein, auf Basis der Sensordaten des Sensors 103 ein Steuersignal zur Steuerung zumindest einer Komponente 102 zu generieren.
-
2a und 2b zeigen beispielhafte Nutzungssituationen der in diesem Dokument beschriebenen Benutzerschnittstellen-Vorrichtung 110. Die Vorrichtung 110, insbesondere die Steuereinheit 101 der Vorrichtung 110, kann eingerichtet sein, auf Basis der Sensordaten des Sensors 103 zu erkennen, dass ein Nutzer 200 seine geöffnete Hand 210 unterhalb von dem Projektor 104 platziert (z.B. wie ein Buch oder wie eine Lesefläche). Diese Handgeste kann von der Vorrichtung 110 als Hinweis darauf gewertet werden, dass der Nutzer 200 mit einer Komponente 102 des Fahrzeugs 100 interagieren möchte.
-
In Reaktion auf die erkannte Handgeste kann der Projektor 104 veranlasst werden, eine graphische Benutzeroberfläche 220 auf die geöffnete Hand 210 des Nutzers 200 zu projizieren. Die projizierte Benutzeroberfläche 220 kann dabei davon abhängen, ob der Nutzer 210 die rechte oder die linke Hand 210 geöffnet vor dem Projektor 104 platziert. Alternativ oder ergänzend kann die projizierte Benutzeroberfläche 220 davon abhängen, ob der Nutzer 210 den Handteller (d.h. die innere Handfläche), wie in 2a dargestellt, oder den Handrücken (d.h. die äußere Handfläche), wie in 2b dargestellt, vor dem Projektor 104 platziert.
-
3a zeigt eine beispielhafte Hand 210, mit dem Handteller 302 und dem gegenüberliegenden Handrücken 303 (im Bereich der Mittelhand) und mit den einzelnen Fingern 301. 3b zeigt eine beispielhafte Benutzeroberfläche 220, die auf den Handteller 302 einer Hand 210 projiziert ist. Die Benutzeroberfläche 220 weist einen Mittelhand-Bereich 320 auf, in dem z.B. ein oder mehrere Tipp-Bedienelemente 321 angeordnet sind, die von einem Nutzer 200 durch Tippen betätigt werden können. Des Weiteren kann die Benutzeroberfläche 220 auf ein oder mehreren der Finger 301 jeweils ein Wisch-Bedienelement 322 aufweisen, das durch eine Wischbewegung entlang des jeweiligen Fingers 301 betätigt werden kann. 3c zeigt eine entsprechende Benutzeroberfläche 220, die auf den Handrücken 303 der Hand 210 projiziert ist.
-
Es kann einem Nutzer 200 ermöglicht werden, die ein oder mehreren Bedienelemente 321, 322 der Benutzeroberfläche 220 mit einem Finger 311 (der anderen Hand) zu betätigen. Eine derartige Betätigung eines projizierten Bedienelements 321, 322 kann auf Basis der Sensordaten des Sensors 103 der Benutzerschnittstellen-Vorrichtung 110 erkannt werden.
-
Es wird somit eine Vorrichtung 110 beschrieben, bei der die menschliche Handoberfläche als Bedienoberfläche verwendet wird, z.B. für die am meisten genutzten Menüpunkte einer Benutzerschnittstelle eines Fahrzeugs 100. Anhand der Klassifikation von Bildern durch Supervised Learning (KI), ist es möglich, mit einem kamerabasierten System 103 die Handfläche von einem Menschen zu erkennen und die genaue Position und Ausrichtung (d.h. die Pose) der Handfläche 301, 302, 303 im Raum zu ermitteln. Die Handfläche 301, 302, 303 kann dann als Leinwand für die dynamische Projektion von einem Menü genutzt werden. Durch das Erkennen von ein oder mehreren vordefinierten Bewegungen (Tippen, Wischen, etc.) kann eine Menü-Eingabe, d.h. eine Betätigung eines Bedienelements 321, 322, erkannt werden.
-
Es kann somit die Handfläche (innere Seite und/oder äußere Seite) einer Hand 210 als Leinwand zur Projektion einer Benutzeroberfläche 220 mit Touch Funktion verwendet werden. Der Nutzer 200 kann eine Geste ausführen, bei der der Nutzer 200 die Handinnenfläche 302 oder die Handaußenfläche 303 mit ausgestreckten Fingern 301 so zu sich dreht, dass die ganze Hand 210 eine geschlossene Fläche bildet (wie in 3a dargestellt). Anhand eines Sensor-Systems 103 (mit ein oder mehreren Kameras) kann die Handfläche erkannt werden, und es können die Ausrichtung und die Position der Handfläche (d.h. die Pose der Handfläche) im Raum ermittelt werden. Ein Projektor 104 (z.B. ein Beamer, ein Laser Projektor, etc.) kann daraufhin ein Menü 220 auf die Handfläche projizieren.
-
Der Nutzer 200 kann daraufhin mit einem Finger 311 der anderen Hand eines der projizierten Menüfelder 321, 322 auswählen und/oder betätigen. Das Sensor-System 103 kann die Position von dem Finger 311 auf der Handfläche 302, 303 der Hand 210 erkennen. Daraufhin kann der Menüpunkt 321, 322, an dem sich der Finger 311 befindet, hervorgehoben werden (z.B. durch Änderung der Farbe und/oder der Helligkeit). Ferner kann durch das Sensor-System 103 eine Eingabebewegung des Fingers 311 (z.B. ein Doppeltippen oder ein Wischen, etc.) erkannt werden. Aus beiden Informationen kann das System 110 eine Menüeingabe generieren.
-
Die vier Finger 301 einer Hand 210 eignen sich besonders für die Darstellung von Skalierungsbalken 322, die mit einer Wisch- oder Slide-Bewegung erhöht bzw. reduziert werden können (z.B. um einen Parameterwert, wie z.B. die Temperatur oder die Lautstärke, zu verändern).
-
Wie in den 3b und 3c dargestellt, kann die Unterscheidung von Handinnenseite 302 und Handoberseite 303 für die Steuerung von unterschiedlichen Menüs 220 verwendet werden. Die Erkennung einer Handfläche, insbesondere die Erkennung der Handinnenseite 302 und der Handoberseite 303, kann dabei mit KI Machine Learning und/oder Supervised Learning angelernt werden.
-
Die Unterscheidung zwischen der linken und der rechten Hand 210 kann für die Steuerung von unterschiedlichen Komponenten 102 verwendet werden. Beispielsweise kann die linke Hand 210 zur Steuerung des links-seitigen Unterhaltungssystems, des links-seitigen Fensterhebers, und/oder der links-seitigen Fensterabschattung verwendet werden. Die rechte Hand 210 kann zur Steuerung der entsprechenden rechts-seitigen Komponenten 102 verwendet werden.
-
Das Sensor-System 103 kann zumindest eine Infrarot-Kamera aufweisen, um eine Erkennung der Handfläche im Dunkeln zu ermöglichen.
-
Die Benutzerschnittstellen-Vorrichtung 110 kann derart ausgebildet sein, dass das Projizieren eines Menüs 220 auf die Hand 210 von einem Nutzer 200 (z.B. per Einstellung) ausgeschaltet werden kann. Es kann dennoch weiterhin eine Betätigung der ein oder mehreren Bedienelemente 321, 322 des Menüs 220 ermöglicht werden. Es kann somit eine „blinde“ Bedienung ermöglicht werden.
-
Die Benutzerschnittstellen-Vorrichtung 110 kann ausgebildet sein, zwischen den Handflächen von unterschiedlichen Nutzers 200 zu unterscheiden. Es kann dann ein Nutzer-spezifisches Menü 220 über die Handfläche bereitgestellt werden. Die Nutzer-spezifischen Menüs 220 können angelernt und/oder von den einzelnen Nutzern 200 festgelegt werden.
-
Der Projektor 104 kann ausgebildet sein, eine Projektion des Menüs 220 auf eine fest definierte Position im Raum (z.B. auf einer Armauflage in einem Fahrzeug 100) zu bewirken. Durch die oben beschriebene Handgeste kann dann bewirkt werden, dass das an der definierten Position projizierte Menü 220 auf die Handfläche des Nutzers 200 transferiert wird (z.B. durch ein Umschwenken der Projektion).
-
4 zeigt ein Ablaufdiagramm eines (ggf. Computer-implementierten) Verfahrens 400 zur Bereitstellung einer Benutzerschnittstelle für zumindest ein Gerät 102, insbesondere für zumindest eine Fahrzeug-Komponente 102. Das Verfahren 400 kann durch eine Steuereinheit 101 eines Fahrzeugs 100 ausgeführt werden.
-
Das Verfahren 400 umfasst das Ermitteln 401 von Handinformation in Bezug auf eine Hand 210 eines Nutzers 200. Die Handinformation kann z.B. anzeigen, dass der Nutzer 200 eine bestimmte Handgeste mit der Hand 210 ausführt. Alternativ oder ergänzend kann die Handinformation anzeigen, ob es sich um die rechte oder die linke Hand 201 handelt. Alternativ oder ergänzend kann die Handinformation anzeigen, ob der Nutzer 200 die äußere Handfläche 303 oder die innere Handfläche 302 der Hand 210 betrachtet und/oder dem Projektor 104 zugewandt hat. Alternativ oder ergänzend kann die Handinformation die Flächengröße und/oder die Form der Handfläche 301, 302, 303 der Hand 210 anzeigen. Die Handinformation kann auf Basis der Sensordaten von ein oder mehreren Sensoren 103 (z.B. von ein oder mehreren Kameras) ermittelt werden.
-
Des Weiteren umfasst das Verfahren 400 das Bereitstellen 402, in Abhängigkeit von der Handinformation, von ein oder mehreren virtuellen Bedienelementen 321, 322 der Benutzerschnittstelle, die von dem Nutzer 200 zur Steuerung des Geräts 102 betätigbar sind, auf der Handfläche 301, 302, 303 der Hand 210. Dabei kann in Abhängigkeit von der Handinformation entschieden werden, ob die Benutzerschnittstelle bereitgestellt wird oder nicht. Alternativ oder ergänzend kann die Benutzerschnittstelle in Abhängigkeit von der Handinformation angepasst werden.
-
Die in dem vorliegenden Dokument beschriebenen Maßnahmen ermöglichen reduzierte Kosten und einen reduzierten Bauraumbedarf für Bedienelemente einer Benutzerschnittstelle. Ferner kann eine intuitive Bedienung ermöglicht werden. Außerdem kann eine blinde Bedienung (ohne, dass das Menü 220 angezeigt wird) ermöglicht werden, da auch bei geschlossenen Augen die Position zwischen der linken und rechten Hand 210 koordiniert werden kann. Des Weiteren kann der Projektor 104 als Projektor für Infotainment-Inhalte (wie z.B. Filme) verwendet werden.
-
Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur beispielhaft das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.
