Beschreibung
Anwenderschnittstelle und Verfahren zum Wechseln von einem ersten Bedienmodus einer
Anwenderschnittstelle in einen 3D-Gesten-Modus
Stand der Technik
Die vorliegende Erfindung betrifft eine Anwenderschnittstelle sowie ein Verfahren zum Wechseln von einem ersten Bedienmodus einer Anwenderschnittstelle in einen SD- Gesten-Modus, mittels welchem eine Bedienung der Anwenderschnittstelle durch eine Vielzahl frei im Raum ausgeführter Gesten erfolgen kann. Insbesondere betrifft die vorliegende Erfindung eine Vermeidung irrtümlicher Bedienungsschritte durch eine komfortable und dennoch sichere Initialisierung eines 3D-Gesten-Modus.
Die Gestenbedienung im freien Raum erfreut sich immer größerer Beliebtheit. Mittels solcher 3D-Gesten können Anwender mit Mensch-Maschinen-Schnittstellen
kommunizieren, ohne körperlichen Kontakt mit der Eingabeeinrichtung zu haben.
Beispielsweise über optische und/oder infrarotbasierte Systeme wird die Geste erkannt und in Steuerbefehle umgewandelt. Für den Start der 3D-Gesten-Bedienung und die
Realisierung der anschließenden Bedienung sind im Stand der Technik unterschiedliche Verfahren bekannt.
DE 10 2012 000 263 A1 offenbart ein Verfahren und eine Vorrichtung zum Bedienen von Funktionen in einem Fahrzeug unter Verwendung von in dreidimensionalem Raum
ausgeführten Gesten. Wird durch eine im Dachbereich des Fahrzeugs angeordnete
Erfassungseinrichtung eine Hand oder ein Finger des Nutzers für eine erste vorbestimmte Zeitdauer in einem gültigen Erfassungsbereich detektiert, wird eine Gestensteuerung aktiviert. Für den Lernprozess des Nutzers wird vorgeschlagen, durch optische und/oder akustische Rückmeldungen während einer Gestenbedienung eine Blindbedienung durch den Nutzer zu ermöglichen.
DE 10 2006 037 156 A1 beschreibt eine interaktive Bedienvorrichtung, durch welche die Gestenbedienung eines auf einer Anzeigevorrichtung dargestellten grafischen Inhaltes ermöglicht wird. In Abhängigkeit einer ermittelten Bedienabsicht wird der auf der
Anzeigevorrichtung dargestellte grafische Inhalt für das Aktivieren einer mit ihm
assoziierten Funktion optimiert dargestellt. Beispielsweise wird bei der Annäherung an eine Schaltfläche die Schaltfläche vergrößert dargestellt.
DE 10 2009 008 041 A1 offenbart ein Verfahren zur Bedienung eines Kraftfahrzeugs mit einem Touchscreen, bei welchem eine Annäherungssensorik zur Erkennung einer Geste zur Ausführung bzw. Initialisierung der Ausführung einer Funktion des Kraftfahrzeugs vorgesehen ist. Wird in der Umgebung des Touchscreens eine Geste einer Hand ohne Berührung des Touchscreens ausgeführt, wird die Funktion des Kraftfahrzeugs ausgeführt.
Die im Stand der Technik bekannten Verfahren schöpfen die technischen Möglichkeiten zur Vereinfachung der Initialisierung einer 3D- Gestenbedienung nicht bestmöglich aus. Es ist daher eine Aufgabe der vorliegenden Erfindung, den vorgenannten Bedarf zu stillen.
Offenbarung der Erfindung
Die vorstehend genannte Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen gemäß Anspruch 1 sowie durch eine Anwenderschnittstelle mit den
Merkmalen gemäß Anspruch 6 gelöst. Zudem werden ein Anwenderendgerät, ein
Computerprogrammprodukt, eine Signalfolge und ein Fortbewegungsmittel zur Lösung der Aufgabe vorgeschlagen. Das Verfahren dient dem Wechseln von einem ersten Bedienmodus, in welchem eine 3D-Gesten-Bedienung zum Starten einer Vielzahl von Funktionen der Anwenderschnittstelle bzw. einer mit ihm kommunikationstechnisch verbundenen EDV-Anlage nicht möglich ist, in einen 3D-Gesten-Modus, mittels welchem eine Bedienung der Anwenderschnittstelle durch eine Vielzahl frei im Raum ausgeführter Gesten erfolgen kann. Der erste Bedienmodus kann beispielsweise vollständig auf die Bedienung per in Hardware ausgestalteter Knöpfe, Dreh-Drück-Steller,
Slider/Schieberegler o.Ä. und alternativ oder zusätzlich unter Verwendung einer berührungsempfindlichen Oberfläche einer Anzeigeeinheit (z.B. ein Touchscreen) ausgelegt sein. Mit anderen Worten werden in dem ersten Bedienmodus keine mit grafischen Inhalten assoziierten Funktionen durch 3D-Gesten aufgerufen. Zum Starten des 3D-Gesten-Modus wird in einem ersten Schritt eine Hand eines Anwenders in einem vordefinierten Erfassungsbereich eines Sensors detektiert. Der Sensor kann
beispielsweise als optischer Sensor und/oder als Infrarot-Sensor (z.B. Infrarot-LED-Leiste) ausgestaltet sein. Grundsätzlich können sämtliche im Stand der Technik zur Erkennung von 3D-Gesten bekannten und bewährten Sensoren zum Einsatz kommen. In einem
zweiten Schritt werden eine vordefinierte Haltung der Hand des Anwenders und/oder eine vordefinierte Bewegung der Hand des Anwenders erkannt. Die vordefinierte Haltung der Hand des Anwenders und/oder eine vordefinierte Bewegung der Hand können
grundsätzlich beliebig bzw. in geeigneter Weise gewählt werden. Wichtig ist lediglich, dass die vordefinierte Haltung bzw. die vordefinierte Bewegung der Hand zum Starten des 3D-Gesten-Modus vordefiniert ist. Gegenüber dem Stand der Technik wird hierbei nicht lediglich auf die Präsenz der Hand in einem vordefinierten Bereich abgestellt, so dass eine unbeabsichtigte Veranlassung eines Wechsels von dem ersten Bedienmodus in den 3D-Gesten-Modus bestmöglich vermieden wird.
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
Bevorzugt umfasst das erfindungsgemäße Verfahren das Starten eines Timers. Der Timer kann beispielsweise im Ansprechen auf das Erkennen einer vordefinierten Haltung der Hand des Anwenders und/oder im Ansprechen auf das Erkennen einer vordefinierten Bewegung der Hand des Anwenders gestartet werden. In dieser Weiterbildung wird erst dann in den 3D-Gesten-Modus gewechselt, wenn die vordefinierte Haltung und/oder Bewegung vor dem Ablaufen des Timers nicht beendet wird. Mit anderen Worten wird bei Ablauf des Timers geprüft, ob die vordefinierte Haltung/Bewegung noch andauert und erst im Ansprechen auf beide Bedingungen von dem ersten Bedienmodus in den SD-Gesten- Modus gewechselt.
Die vordefinierte Haltung kann beispielsweise eine in Richtung eines verwendeten Sensors zur 3D-Gesten-Erkennung und/oder in Richtung einer Anzeigeeinheit der Anwenderschnittstelle geöffnete Handfläche umfassen. Hierbei befindet sich die geöffnete Handfläche im Wesentlichen parallel zu einer Oberfläche der Anzeigeeinheit bzw. im Wesentlichen senkrecht in Richtung des Sensors. Zusätzlich kann als Bedingung für die vordefinierte Haltung verlangt werden, dass die Finger der Hand in vordefinierter Weise gespreizt und/oder ausgestreckt sind. Alternativ oder zusätzlich kann eine weitere Geste oder können weitere Gesten vordefiniert sein, um die Gestenbedienung zu starten oder zu beenden. Weitere Beispiele hierfür sind eine sogenannte„Daumen hoch" Geste oder eine Greifgeste (Ballen einer Faust aus einer z.B. in Richtung des verwendeten Sensors und/oder in Richtung einer Anzeigeeinheit der Anwenderschnittstelle geöffneten
Handhaltung oder Zusammenführen mehrerer oder aller Fingerspitzen). Solche Gesten haben sich als sensorisch sicher erkennbar und daher als geeignet zum Start des SD- Gesten-Modus herausgestellt.
Optional kann im Ansprechen auf das Erkennen der vordefinierten Haltung der Hand bzw. der vordefinierten Bewegung der Hand ein optischer und/oder akustischer Hinweis an den Anwender ergehen, dass der 3D-Gesten-Modus nun aktiviert ist. Alternativ oder zusätzlich kann dieser Hinweis auch im Ansprechen auf den erfolgten Wechsel in den SD-Gesten- Modus erfolgen. Auf diese Weise wird vermieden, dass der Anwender unnötig lange die vordefinierte Haltung einnimmt bzw. Bewegung ausführt, obwohl die SD-Gesten- Bedienung bereits erfolgen kann. Beispielsweise kann sich ein Fahrer eines
erfindungsgemäß ausgestatteten Fahrzeugs rascher wieder seiner Fahraufgabe zuwenden, was die Verkehrssicherheit erhöht. Als optischer Hinweis kann beispielsweise ein Handsymbol in einem Randbereich eines grafischen Inhaltes einer Anzeigeeinheit dargestellt, insbesondere animiert werden. Alternativ oder zusätzlich kann als akustischer Hinweis ein Klangzeichen, ein Klickgeräusch oder eine Sprachausgabe erfolgen. Die vorgenannten Hinweise stellen eine dezente Möglichkeit dar, den Anwender über den erfolgreichen Start des 3D-Gesten-Modus zu informieren.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird eine Anwenderschnittstelle vorgeschlagen, welche einen Sensor zur Erfassung durch eine Hand eines Anwenders frei im Raum ausgeführter Gesten umfasst. Weiter weist die Anwenderschnittstelle eine Anzeigeeinheit zur Darstellung eines wahlfreien grafischen Inhaltes. Hierzu kann die Anzeigeeinheit beispielsweise als Matrix-Bildschirm ausgestaltet sein, welcher in das Armaturenbrett eines Fortbewegungsmittels als Kombiinstrument und/oder als zentrales Informationsdisplay eingelassen ist. Zusätzlich ist eine Auswerteeinheit, welche beispielsweise einen programmierbaren Prozessor umfassen kann, zum Erkennen einer Vielzahl von Gesten in den Signalen des Sensors vorgesehen. Im automobilen Umfeld werden solche Auswerteeinheiten auch als„elektronisches Steuergerät (ECU)" bezeichnet. Die Auswerteeinheit ist eingerichtet, eine vordefinierte Haltung der Hand des Anwenders und/oder eine vordefinierte Bewegung der Hand des Anwenders zu erkennen. Hierzu kann die Auswerteeinheit die erfassten Bewegungsmuster analysieren und mit (beispielsweise in einer lokalen oder drahtlos angebundenen Datenbank) gespeicherten Referenzen vergleichen. Ist der Abgleich erfolgreich, mit anderen Worten also eine erkannte 3D-Geste dem Start des 3D-Gesten-Modus zugeordnet, versetzt die
Auswerteeinheit die erfindungsgemäße Anwenderschnittstelle von einem ersten
Bedienmodus, in welchem zwar eine einzelne, zum Start des 3D-Gesten-Modus vorgesehene Geste erkannt wird, nicht aber die Verwendung einer Vielzahl von 3D- Gesten mit unterschiedlichen Funktionsaufrufen verknüpft ist, in einen 3D-Gesten-Modus, in welchem dies möglich ist. Die Merkmale, Merkmalskombinationen und die sich aus diesen ergebenden Vorteile entsprechen den in Verbindung mit dem erfindungsgemäßen
Verfahren ausgeführten derart ersichtlich, dass zur Vermeidung von Wiederholungen auf die obigen Ausführungen verwiesen wird.
Bevorzugt kann der Sensor ein optischer Sensor sein, der beispielsweise im Dachhimmel eines Fortbewegungsmittels angeordnet ist. Alternativ oder zusätzlich kann auch ein im Infrarotbereich operierender Sensor vorgesehen sein, die Gestenerkennung zu ermöglichen bzw. zu unterstützen.
Bevorzugt kann eine optische und/oder akustische Ausgabeeinheit zur Ausgabe eines Hinweises über den erfolgreichen Start des 3 D-Gesten-Modus vorgesehen sein. Während sich als optische Ausgabeeinheiten LEDs oder Matrix-Anzeigen durchgesetzt haben, finden für die Ausgabe akustischer Hinweise (z.B. Sprachausgaben, Klangzeichen, Geräusche) bevorzugt Lautsprecher Anwendung.
Gemäß einem dritten Aspekt der vorliegenden Erfindung wird ein
Computerprogrammprodukt (z.B. ein Datenspeicher) vorgeschlagen, auf welchem Instruktionen gespeichert sind, die einen programmierbaren Prozessor einer
Auswerteeinheit einer Anwenderschnittstelle gemäß dem zweitgenannten Aspekt der vorliegenden Erfindung in die Lage versetzen, die Schritte eines Verfahrens gemäß dem erstgenannten Erfindungsaspekt durchzuführen. Das Computerprogrammprodukt kann als CD, DVD, Blu-ray-Disc, Flash-Speicher, Festplatte, RAM/ROM, Cache etc.
ausgestaltet sein.
Gemäß einem vierten Aspekt der vorliegenden Erfindung wird eine Signalfolge repräsentierend Instruktionen vorgeschlagen, welche einen programmierbaren Prozessor einer Auswerteeinheit einer Anwenderschnittstelle gemäß dem zweitgenannten Aspekt der vorliegenden Erfindung in die Lage versetzen, die Schritte eines Verfahrens gemäß dem erstgenannten Erfindungsaspekt durchzuführen. Auf diese Weise wird auch die informationstechnische Bereitstellung der Instruktionen für den Fall unter Schutz gestellt, dass sich die hierzu erforderlichen Speichermittel außerhalb des Geltungsbereiches der beigefügten Ansprüche befinden.
Gemäß einem fünften Aspekt der vorliegenden Erfindung wird ein Anwenderendgerät vorgeschlagen, welches beispielsweise als tragbares elektronisches Gerät ausgestaltet sein kann. Insbesondere sind elektronische Drahtloskommunikationsgeräte, wie
Smartphones, Tablet-PCs oder Laptops/Netbooks, dafür geeignet, durch eine
erfindungsgemäße Anwenderschnittstelle erweitert und anwenderfreundlich bedienbar
gemacht zu werden. Tragbare Anwenderendgeräte weisen häufig die gesamte erforderliche Hardware auf, um eine 3D-Gesten-Bedienung zu unterstützen. Auch bezüglich des Anwenderendgerätes und der mit ihm verknüpften Merkmale und Vorteile wird auf die obigen Ausführungen verwiesen.
Gemäß einem sechsten Aspekt der vorliegenden Erfindung wird ein Fortbewegungsmittel vorgeschlagen, welches beispielsweise als Pkw, Transporter, Lkw, Luft- und/oder Wasserfahrzeug ausgestaltet sein kann. Erfindungsgemäß umfasst das
Fortbewegungsmittel eine Anwenderschnittstelle, wie sie in Verbindung mit dem zweitgenannten Erfindungsaspekt oben im Detail beschrieben worden ist. Die
Anzeigeeinheit kann als fest in ein Armaturenbrett des Fortbewegungsmittels eingebauter zentraler Bildschirm und/oder als Kombiinstrument ausgestaltet sein. Auf diese Weise wird das Fortbewegungsmittel ebenfalls zur Lösung der erfindungsgemäßen Aufgabe bzw. zur Verwendung in einem erfindungsgemäßen Verfahren eingerichtet.
Kurze Beschreibung der Zeichnung(en)
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitenden Zeichnungen im Detail beschrieben. In den Zeichnungen ist:
Figur 1 eine schematische Übersicht über Komponenten eines Ausführungsbeispiels einer erfindungsgemäßen Anwenderschnittstelle in einem Ausführungsbeispiel eines erfindungsgemäß ausgestalteten Pkw;
Figur 2 eine schematische Übersicht über Komponenten eines Ausführungsbeispiels einer erfindungsgemäßen Anwenderschnittstelle in einem Ausführungsbeispiel eines erfindungsgemäß ausgestalteten Anwenderendgerät;
Figur 3 eine Darstellung zur Veranschaulichung eines ersten Verfahrensschrittes eines
Ausführungsbeispiels eines erfindungsgemäßen Verfahrens;
Figur 4 eine Auswahl erfindungsgemäß verwendbarer Gesten;
Figur 5 eine Darstellung zur Veranschaulichung eines ersten Verfahrensschrittes eines zweiten Ausführungsbeispiels eines erfindungsgemäßen Verfahrens; und
Figur 6 ein Flussdiagramm, veranschaulichend Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens
Ausführungsformen der Erfindung
Figur 1 zeigt einen Pkw 10 als Fortbewegungsmittel, in welchem ein Bildschirm 3 einer erfindungsgemäßen Anwenderschnittstelle als Anzeigeeinheit in das Armaturenbrett des Pkw 10 eingelassen ist. Unterhalb des Bildschirms 3 ist ein Sensor 5 angeordnet, welcher einen Erfassungsbereich 9 vor dem Bildschirm 3 im Raum aufspannt. Ein Lautsprecher 1 1 ist zur Ausgabe von Hinweisen der Anwenderschnittstelle 1 vorgesehen. Schließlich ist auch ein Datenspeicher s zum Bereitstellen vordefinierter Referenzen für die
Gestenerkennung im Pkw 10 enthalten. Die vorgenannten Komponenten sind an eine Auswerteeinheit in Form eines elektronischen Steuergerätes 7 informationstechnisch angebunden. Das elektronische Steuergerät 7 ist zudem für die Darstellung grafischen Inhaltes 2 auf dem Bildschirm 3 eingerichtet.
Figur 2 zeigt eine Übersicht über Komponenten eines Ausführungsbeispiels einer erfindungsgemäßen Anwenderschnittstelle in einem Ausführungsbeispiel eines erfindungsgemäßen Anwenderendgerätes 20 in Form eines Smartphones. Der Bildschirm 3 des Smartphones stellt die Anzeigeeinheit, ein Mikroprozessor 7 die Auswerteeinheit, ein Flash-Speicher 8, das Speichermittel und ein Lautsprecher 1 1 einen Signalgeber der erfindungsgemäßen Anwenderschnittstelle 1 dar. Zusätzlich ist eine Infrarot-LED-Leiste 5 als Sensor mit dem Mikroprozessor 7 informationstechnisch verbunden. Letzterer ist auch mit einer Antenne 17 gekoppelt, um drahtlos mit einer Drahtlosinfrastruktur bzw. anderen Anwenderendgeräten zu kommunizieren. Eine Tastatur 6 des Smartphones 20 ist teilweise freigeschnitten, um den Blick auf die hinter ihr liegenden Komponenten zu ermöglichen.
Figur 3 zeigt einen Bedienschritt, in welchem auf einem Bildschirm 3 als Anzeigeeinheit ein Menü 2 zur Auswahl eines Radiosenders als grafischer Inhalt durch die Hand 4 eines Anwenders bedient werden soll. Zum Starten der 3D-Gesten-Bedienung führt die Hand 4 des Anwenders eine vordefinierte Geste im Erfassungsbereich der Anwenderschnittstelle aus. Diese besteht im Beispiel darin, dass die offene Hand in Richtung des Bildschirms 3 weist und die fünf Finger der Hand 4 ausgestreckt und gemäßigt gespreizt gehalten werden. Im Ansprechen darauf wird die (nicht dargestellte) Auswerteeinheit eingerichtet, auch weitere Gesten der Hand 4 in Befehle zur Steuerung des Menüs 2 auf dem
Bildschirm 3 umzusetzen. Lediglich optional kann vorgesehen sein, dass die gezeigte
Haltung der Hand 4 für eine fest vordefinierte Zeit eingenommen bzw. beibehalten werden muss.
Figur 4 zeigt mögliche Handhaltungen und Gesten für die Interaktion mit einer
erfindungsgemäßen Anwenderschnittstelle 1 . In Teilfigur a weist die geöffnete Handfläche der Hand 4 in Richtung des Bildschirms 3. Die Finger der Hand 4 sind ausgestreckt und (leicht) gespreizt. In Teilfigur b ist eine Zeige-Geste der Hand 4 dargestellt, bei welcher lediglich der Zeigefinger gestreckt, die übrigen Finger zu einer Faust geballt sind. In Teilfigur c wird eine Tippgeste bzw. Klick-Geste veranschaulicht, in welcher der
Zeigefinger der Hand 4 zunächst ausgestreckt ist und anschließend in Richtung des Bildschirms 3 abgeklappt wird.
Figur 5 zeigt einen Bedienschritt, welcher sich nach erfolgreicher 3D-Gesten-Bedienung im Nachgang des in Figur 3 diskutierten Anmeldevorgangs anschließen kann. Zum Beenden der 3D-Gesten-Bedienung und damit zur Sicherung der erfindungsgemäßen Anwenderschnittstelle gegen eine unbeabsichtigte Gestenbedienung wird die geöffnete, mit gestreckten sowie (gemäßigt) gespreizten Fingern in Richtung des Bildschirms 3 weisende Hand 4 entlang dem Pfeil P aus dem Erfassungsbereich des Sensors (beides nicht dargestellt) herausgeführt. Mit anderen Worten wird erfindungsgemäß auch vorgesehen, eine vordefinierte Haltung der Hand 4 des Anwenders und/oder Bewegung der Hand 4 des Anwenders zum Beenden des 3D-Gesten-Modus vorzusehen. Auf diese Weise kann der Anwender selbstständig entscheiden, ob die Möglichkeit zur SD-Gesten- Bedienung weiter bestehen soll (in diesem Fall ist die Hand 4 ohne die vordefinierte Haltung/Bewegung aus dem Erfassungsbereich der Anwenderschnittstelle
herauszuführen), oder ob er den 3D-Gesten-Modus wie vorbeschrieben beenden möchte.
Figur 6 zeigt Verfahrensschritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zum Wechsel von einem ersten Bedienmodus einer Anwenderschnittstelle in einen 3D-Gesten-Modus. In einem ersten Schritt 100 wird auf einer Anzeigeeinheit ein grafischer Inhalt dargestellt, welchen es nachfolgend über 3D-Gesten zu bedienen gilt. Hierzu führt der Anwender seine Hand in einen vordefinierten Erfassungsbereich eines Sensors der Anwenderschnittstelle. In Schritt 200 wird die Hand des Anwenders durch den Sensor erfasst und in Schritt 300 eine vordefinierte Haltung und/oder Bewegung der Hand des Anwenders erkannt. Insbesondere eignen sich hierzu einerseits sensorisch sicher erfassbare und dennoch von üblichen Haltungen/Bewegungen beim Hantieren des Anwenders gut unterscheidbare Gesten. In Schritt 400 wird ein Timer gestartet, dessen Ablauf eine weitere Bedingung zum Starten des 3D-Gesten-Modus aufstellt. Läuft der
Timer ab, nachdem die vordefinierte Haltung/Bewegung beendet ist (Y), verbleibt das System im ersten Bedienmodus. Entsprechend kehrt das Verfahren in diesem Fall zu Schritt 100 zurück. Läuft der Timer ab, bevor die vordefinierte Haltung/Bewegung der Hand des Anwenders beendet wird, wechselt das System in Schritt 500 von dem ersten Bedienmodus in den 3D-Gesten-Modus und gibt in Schritt 600 einen optischen und akustischen Hinweis darüber aus, dass der 3D-Gesten-Modus erfolgreich aktiviert worden ist.
Auch wenn die erfindungsgemäßen Aspekte und vorteilhaften Ausführungsformen anhand der in Verbindung mit den beigefügten Zeichnungsfiguren erläuterten
Ausführungsbeispiele im Detail beschrieben worden sind, sind für den Fachmann
Modifikationen und Kombinationen von Merkmalen der dargestellten
Ausführungsbeispiele möglich, ohne den Bereich der vorliegenden Erfindung zu verlassen, deren Schutzbereich durch die beigefügten Ansprüche definiert wird.
Bezugszeichenliste
Anwenderschnittstelle
Menü
Bildschirm
Hand des Anwenders
Sensor
elektronisches Steuergerät
Datenspeicher
Erfassungsbereich
Pkw
Lautsprecher
-600 Verfahrensschritte
Pfeil