-
Die Erfindung betrifft ein Verfahren zum Steuer eines Zeiger- oder Auswahlelements auf einem Bildschirm eines elektronischen Geräts mittels einer Gestensteuerung. Zu der Erfindung gehört auch ein entsprechender Kraftwagen mit einem elektronischen Gerät und einer Gestensteuerungseinrichtung für das elektronische Gerät. Bei dem Auswahlelement, das auf dem Bildschirm mittels Gestensteuerung steuerbar ist, kann es sich beispielsweise um einen Mauszeiger oder um eine Markierung zum Auswählen eines Eintrags aus einer Liste handeln, also beispielsweise einer Liste von Musiktiteln oder einer Liste mit Funktionen eines Bedienmenüs.
-
Das Bedienen eines elektronischen Geräts sollte insbesondere in einem Kraftfahrzeug mit einer möglichst geringen Ablenkung des Fahrers vom Fahrgeschehen möglich sein. In diesem Zusammenhang hat sich eine Mensch-Maschine-Interaktion auf der Grundlage einer Gestenerkennung bewährt. Bei dieser wird das Schwenken einer Hand des Benutzers im Raum von einer Erfassungseinrichtung erkannt und daraus ein entsprechender Steuerbefehl zum Positionieren des Auswahlelements auf einem Bildschirm des elektronischen Geräts generiert.
-
Bei einem Fahrzeug, aber auch bei anderen per Gestik bedienbaren Geräten, sind die meisten Bildschirmdarstellungen zweidimensional. Die Bewegung der Hand wird entsprechend für die Positionierung des Auswahlelements nur in Bezug auf eine zweidimensionale Bewegungsebene ausgewertet. Mit anderen Worten wird die Bewegung der Hand im Raum in dieser 2D-Ebene verortet und das Auswahlelement beispielsweise innerhalb einer 2D-Menüstruktur positioniert.
-
Um eine vollständige Bedienung des elektronischen Geräts per Gestik zu ermöglichen, also beispielsweise auch die abschließende Auswahl eines Menüelements in der 2D-Menüstruktur zu ermöglichen, muss neben der Verortung des Auswahlelements innerhalb einer Menüstruktur auch eine Bestätigungsgeste definiert werden, mit welcher eine Auswahl desjenigen Menüpunkts möglich ist, auf welchen das Auswahlelement momentan zeigt.
-
Besonders intuitiv ist hierbei als eine Bestätigungsgeste eine kurze Tippbewegung nach vorne. Dies hat sich aber in der Umsetzung als impraktikabel erwiesen. Denn eine solche Tippbewegung hat den Nachteil, dass sie nur unzuverlässig von einer Gestenerkennung erkannt werden kann. Erfolgt die Tippbewegung nicht genau senkrecht zu der 2D-Ebene für die Erfassung der Handbewegung zur Positionierung des Auswahlelements, so wird ein Bewegungsanteil der Tippbewegung auch als Bewegung zur Änderung der Position des Auswahlelements interpretiert. Mit anderen Worten wird das Auswahlelement noch während der Tippbewegung zunächst verschoben, bevor eine Bestätigungsgeste erkannt wird. Bei einer Auswahl eines Menüpunkts aus einem 2D-Menü springt also zunächst das Auswahlelement auf einen benachbarten Menüpunkt. Die unerwünschte Folge davon ist, dass aus dem 2D-Menü ein falscher Menüeintrag ausgewählt wird.
-
Aus der
US 2008/0136775 A1 ist hierzu bekannt, für eine Gestenerkennung Sensoren auf Fingerkuppen des Bedieners anzubringen. Dann kann der Benutzer, ohne die Lage seiner Hand im Raum zu verändern, beispielsweise durch Zusammenführen der Fingerspitzen des Daumens und des Zeigefingers. Das entsprechende Zusammenführen zweier Sensoren kann dann als eine Bestätigung interpretiert werden. Nachteilig bei dieser Form der Erfassung einer Bestätigungsgeste ist allerdings, dass der Benutzer die Sensoren an seinen Fingerspitzen befestigen muss. Insbesondere für eine Gestenerkennung in einem Kraftwagen ist dies unerwünscht umständlich.
-
In der
DE 103 49 568 A1 ist ein Handzeichen-Schaltvorrichtung beschrieben, welche in einem Kraftfahrzeug den Fahrer von oben filmt und auf Grundlage der Bildsequenzen der Kamera eine Gestenerkennung durchführt. Um in einem Auswahlmenü ein zu bedienendes Gerät auszuwählen sind Bediengrößen mit einem großen Veränderungsinkrement vorgesehen. Um kontinuierliche Feineinstellungen vorzunehmen, wie beispielsweise das Einstellen einer Lautstärke, sind ein Streckenmodus und ein Zeitmodus für die Gestenerfassung bereitgestellt. Um am Ende einer Feineinstellung einen Gestenwechsel zum Beendigen der Feineinstellung ohne Verreißen zu ermöglichen, sind diskrete Abstandsstufen vorgesehen, innerhalb welcher eine Veränderung des eingestellten Wertes nicht stattfindet.
-
In der
DE 10 2009 057 739 A1 ist ein Touchpad beschrieben, welches eine Gestenerkennung durch Druckerkennung unterstützt. Weiterer Bestandteil der Gestenerkennung kann ein Optiksystem sein, welches eine Handsegmentierung durch Infrarot-Linienmuster ermöglicht. Erkannt werden Touch-Gesten, wie Wischen, Schieben, Drehen, indem eine optische Unterbrechung der Infrarot-Linienmuster aufgrund von Abschattung durch die Hand in den Infrarot-Kamerabildern analysiert werden. Ist das Muster für die Kamera gestört, wird angenommen, dass sich ein Gegenstand, insbesondere ein Finger oder eine Hand, auf der Bedienfläche, also im Vordergrund befindet.
-
In der
DE 10 2009 023 875 A1 ist ein Gestenerkennungsschnittstellensystem mit vertikaler Anzeigefläche beschrieben. Die Gestenerkennung erfolgt kamerabasiert und auf Grundlage eines Skelettmodells. Mittels jeder Geste wird eine Geräteeingabe erzeugt.
-
In der
DE 10 2009 046 376 A1 ist ein Fahrerassistenzsystem für ein Fahrzeug mit einer Eingabevorrichtung zur Eingabe von Daten bekannt. Ein Fahrer kann an einen Head-Up-Display mit einem Finger oder einer Hand eine Auswahl an einer Bedienschnittstelle treffen, wobei die Auswahl kamerabasiert erfolgt.
-
In der
US 2011/0080490 A1 ist ein Gestenerkennungssystem zum Bedienen einer Spielekonsole oder eines Kraftfahrzeugs beschrieben. Die Gestenerkennung erfolgt kamerabasiert.
-
Der Erfindung liegt die Aufgabe zugrunde, eine Gestensteuerung für ein elektronisches Gerät bereitzustellen, welche zuverlässig zwischen einer Positionierungsgeste für ein Auswahlelement einerseits und einer Bestätigungs- oder Auswahlgeste für eine Auswahl eines Elements, auf welches das Auswahlelement zeigt, unterscheidet.
-
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die Unteransprüche gegeben.
-
Die Erfindung bildet den Ansatz der bildgebungsbasierten Gestenerkennung fort. Entsprechend wird bei dem erfindungsgemäßen Verfahren durch eine Bildgebungseinrichtung eine Bildsequenz einer Hand eines Benutzers erzeugt. Bei der Bildgebungseinrichtung kann es sich um eine Kamera oder aber auch z. B. um ein bildgebendes Ultraschallgerät handeln, das eine zwei- oder dreidimensionale Abbildung der Hand erzeugt. Bei den Bildern der Bildsequenz handelt es sich dann entsprechend jeweils um eine bildpunktbasierte Abbildung der Hand, also z. B. ein Videobild, ein Infrarotbild oder auch ein Sonogramm. Die Abbildung kann zweidimensional oder aber auch dreidimensional sein. Letzteres kann beispielsweise bei einer Stereokamera oder einem Ultraschallgerät der Fall sein.
-
Die Bilder der Bildsequenz werden durch eine Erkennungseinrichtung dahingehend ausgewertet, dass eine Position oder Lage der Hand im Raum auf der Grundlage der Bildsequenz erkannt wird. Bei einer Veränderung der Lage der Hand wird dann entsprechend ein Auswahlelement, also beispielsweise ein Mauszeiger, auf einem Bildschirm des elektronischen Geräts positioniert. Mit anderen Worten wird also die Position des Auswahlelements in Abhängigkeit von der erkannten Lage durch eine Steuerungseinrichtung festgelegt. Mit einer Steuerungseinrichtung ist hier eine Einrichtung gemeint, welche in an sich bekannter Weise zu Koordinaten der Hand entsprechende Koordinaten des Auswahlelements auf dem Bildschirm festlegt und die grafischen Steuerbefehle zum Erzeugen einer entsprechenden Anzeige auf dem Bildschirm erzeugt.
-
Bei dem erfindungsgemäßen Verfahren ist nun zusätzlich vorgesehen, dass durch die Erkennungseinrichtung anhand der Bildsequenz auch eine relative Lage eines Fingers der Hand bezüglich eines anderen Bereichs der Hand ermittelt wird. Es wird also nicht nur die Hand als Ganzes und ihre Position im Raum erkannt, sondern auch die Form der Hand, wie sie sich durch beispielsweise Abspreizen oder Anlegen eines Fingers verändern lässt. In Abhängigkeit von der ermittelten relativen Lage des Fingers bezüglich des weiteren Bereichs der Hand, also beispielsweise der Handfläche oder eines anderen Fingers, wird durch die Steuerungseinrichtung dann eine Funktion des elektronischen Geräts aktiviert. Im Folgenden wird die besondere Fingerstellung, durch welche eine Funktion aktiviert wird, als Bestätigungsgeste bezeichnet. Welche Funktion aktiviert wird, ist dabei von der aktuellen Position des Auswahlelements abhängig. Das Aktivieren einer Funktion entspricht somit letztendlich eine Bestätigung einer Auswahl eines Elements, auf welches das Auswahlelement zeigt.
-
Das erfindungsgemäße Verfahren weist den Vorteil auf, dass beispielsweise eine einfache Bewegung des Daumens gegen den seitlichen Mittelfinger als Bestätigungsgeste für die Auswahl eines Menüpunkts ausreicht. Dies ist ebenfalls eine sehr intuitive Art der Bedienung, die aber keine zusätzliche Bewegung der Hand erfordert, so dass ein Umspringen des Auswahlelements während der Bestätigung der Auswahl vermieden ist. Das Verfahren wird bevorzugt zum Bedienen eines elektronischen Geräts in einem Kraftwagen verwendet, also z. B. zum Bedienen eines Infotainmentsystems oder eines Kombiinstruments. Es kann aber auch z. B. durch einen Heimfernseher, einen Personalcomputer, ein Smartphone oder einen Tablet-PC durchgeführt werden.
-
Ein weiterer Vorteil ergibt sich, indem durch die Erkennungseinrichtung anhand der Bildsequenz überwacht wird, ob der Benutzer den Finger in eine vorbestimmte Stellung bewegt, und bei Erkennen dieser Bewegung durch die Erkennungseinrichtung ein weiteres Verändern der Position des Auswahlelements blockiert wird. Bevorzugt wird überwacht, ob der Benutzer seinen Daumen der Hand in Richtung auf den Mittelfinger zu bewegt. Indem dann eine weitere Umpositionierung des Auswahlelements blockiert wird, ist die Gefahr eines Umspringens des Auswahlelements nicht mehr gegeben. Bevorzugt ist ein Toleranzbereich vorgesehen, innerhalb welchen der Finger bewegt werden kann, ohne dass die Umpositionierung blockiert wird. Hierdurch wird vermieden, dass eine willkürliche, geringe Fingerbewegung, z. B. ein Zittern, bereits zur Blockade führt. Es kann auch ein Abstand des Fingers von der endgültigen Stellung ermittelt werden und das Blockieren dann eingeleitet werden, wenn der Abstand kleiner als ein vorbestimmter Wert ist. Das Blockieren erfolgt in einer Weiterbildung des Verfahrens in Abhängigkeit von der Bewegungsgeschwindigkeit des Fingers. Hierdurch kann ebenfalls zuverlässig zwischen einem gezielten Tippen mit dem Finger und einer zufälligen Veränderung der Fingerhaltung unterschieden werden.
-
Während allgemein das Überprüfen irgendeiner relativen Lage eines Fingers bezüglich eines anderen Bereichs der Hand als Geste für die Aktivierung der Funktion erkannt werden kann, ist bei dem erfindungsgemäßen Verfahren bevorzugt vorgesehen durch die Erkennungseinrichtung zu überprüfen, ob der Benutzer mit einem Daumen der Hand einen vorbestimmten Bereich der Hand berührt, insbesondere einen weiteren Finger der Hand. Der Benutzer kann also ähnlich wie beim Klicken einer Maus mit dem Daumen z. B. gegen den Zeigefinger oder den Mittelfinger tippen, um die Auswahl eines Elements auf dem Bildschirm, auf welches das Auswahlelement zeigt, zu bestätigen. Diese Ausführungsform weist den zusätzlichen Vorteil auf, dass durch das Berühren beispielsweise eines anderen Fingers mit dem Daumen der Benutzer zugleich ein haptisches Feedback bei der Auswahl empfindet. Bevorzugt wird als Geste zum Aktivieren der Funktion das Antippen des Mittelfingers mit dem Daumen erkannt.
-
Das erfindungsgemäße Verfahren kommt anders als die aus dem Stand der Technik bekannte Lösung ohne zusätzliche Sensoren an der Hand des Benutzers aus. Es reicht allein die Auswertung der Bildsequenz. In weiterer Ausgestaltung der Erfindung wird hierzu für die Auswertung der Bildsequenz zum Erkennen der relativen Lage des Fingers ein Skelettmodell einer Hand an eine Abbildung der Hand angepasst, wie sie in einem Bild der Bildsequenz erkennbar ist. Ein solches Skelettmodell kann die Form der Hand durch Parameter beschreiben, welche beispielsweise die Beugewinkel der einzelnen Fingergelenke beschreiben. Indem diese Parameter so lange verändert werden, bis das Skelettmodell dieselbe Form der Hand beschreibt, wie sie in dem Bild erkennbar ist, erhält man einen Satz von Parametern, nämlich z. B. die Beugungswinkel der Fingergelenke, anhand welchem durch einen Computer die Auswertung der relativen Lage des Fingers ermittelt werden kann.
-
Wie bereits ausgeführt, kann es sich bei dem Auswahlelement um einen Mauszeiger handeln, dessen Position auf dem Bildschirm durch Schwenken der Hand festgelegt werden kann. Der Mauszeiger kann auf ein auf dem Bildschirm dargestelltes Bedienfeld positioniert und durch Aktivieren der Funktion mittels der Bestätigungsgeste das Bedienfeld ausgewählt werden.
-
Eine andere Ausführungsform sieht vor, dass durch das Festlegen der Position des Auswahlelements eine Auswahl aus einer Liste gesteuert wird. Mit dieser Ausführungsform wird also nicht ein Zeiger auf dem Bildschirm verschwenkt, sondern es wird beispielsweise der Inhalt einer Liste auf dem Bildschirm nach oben oder unten verschoben, so dass in der obersten Zeile der Liste ein anderer Listeneintrag angezeigt wird. Die oberste Zeile kann dabei ein Auswahlelement darstellen. Durch Ausführen der Bestätigungs- oder Auswahlgeste wird dann der aktuell in der obersten Zeile stehende Listeneintrag ausgewählt.
-
Die Bestätigungsgeste kann aber auch in vielerlei anderer Hinsicht zum Aktivieren von Funktionen genutzt werden, die sich alle problemlos mit dem erfindungsgemäßen Verfahren kombinieren lassen. So kann beispielsweise bei Erkennen der Bestätigungsgeste als die Funktion auch ein Schreibmodus aktiviert werden, in welchem eine in der Bildsequenz anschließend durch die Erkennungseinrichtung erkannte Bewegung der (gesamten) Hand als eine Zeichenspur für die Eingabe eines Zeichens interpretiert wird. So kann in vorteilhafter Weise der Benutzer beispielsweise durch Anlegen des Daumens an den Mittelfinger das Zeichnen von Buchstaben aktivieren, die dann anschließend in an sich bekannter Weise durch eine automatische Handschrifterkennung anhand der erfassten Zeichenspur erkannt werden können. Durch anschließendes Abspreizen des Daumens, oder allgemein durch Ausführen eine Beendigungsgeste, die von der Bestätigungsgeste verschieden ist, kann der Schreibmodus wieder beendet werden.
-
Eine andere vorteilhafte Weiterbildung sieht vor, dass bei einer bestimmten Bestätigungsgeste eine Drag-and-Drop-Funktion aktiviert wird, wobei ein Verschiebevorgang eines graphischen Objekts auf dem Bildschirm mit dem Anlegen eines Fingers an einen vorbestimmten Bereich der restlichen Hand begonnen wird, anschließend durch Verändern der Lage der Hand im Raum eine Verschiebung des Objekts auf dem Bildschirm bewirkt wird und der Verschiebevorgang mit dem Abspreizen des Fingers von dem Bereich wieder beendet wird.
-
Ein weiterer Vorteil ergibt sich, wenn eine Zeigerichtung eines ausgestreckten Zeigefingers der Hand durch die Erkennungseinrichtung ermittelt wird und durch die Steuereinrichtung das Auswahlelement an einem Schnittpunkt auf dem Bildschirm positioniert wird, an welchem eine durch die Zeigerichtung beschriebene, gedachte Gerade auf den Bildschirm trifft. Das Auswahlelement befindet sich also immer gerade dort auf dem Bildschirm, wohin der Benutzer gerade zeigt. Es wurde beobachtet, dass Benutzer in der Lage sind, das elektronische Gerät so besonders intuitiv zu bedienen.
-
Wie bereits ausgeführt, gehört zu der Erfindung auch ein Kraftwagen mit einem elektronischen Gerät und einer Gestensteuerungseinrichtung für das elektronische Gerät. Diese Gestensteuerungseinrichtung umfasst eine Bildgebungseinrichtung zum Erfassen einer Bediengeste einer Hand des Benutzers in einem Fahrgastraum des Kraftwagens. Erfindungsgemäß ist die Gestensteuerungseinrichtung dazu ausgelegt, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen, also auch eine relative Bewegung eines Fingers bezüglich des Rests der Hand zu erkennen und daraufhin eine Funktion des elektronischen Geräts zu aktivieren.
-
Vorteilhafte Ausführungsformen des erfindungsgemäßen Gestenerkennungseinrichtung ergeben sich insbesondere durch die Wahl einer bestimmten Bildgebungseinrichtung. Eine Ausführungsform sieht die Verwendung einer PMD-Kamera vor (PMD – Photonic Mixer Device, Photomischdetektor). Dieser Kameratyp weist den Vorteil auf, dass eine relative Lageänderung eines Fingers bezüglich des Handrückens oder anderer Finger verhältnismäßig zuverlässig dadurch erkannt werden kann, dass sich hierbei einzelne Finger gegenseitig überdecken, was mittels eines PMD-Sensors gut erkennbar ist. Eine andere Ausführungsform sieht die Verwendung einer Infrarotkamera vor. Hierdurch wird der Einfluss eines Schlagschattens auf die Bilderkennung vermieden. Eine weitere Ausführungsform sieht die Verwendung einer Stereokamera vor, wodurch sich der Vorteil ergibt, dass das Bildmaterial selbst bereits 3D-Informationen enthält. So ist eventuelle nicht einmal ein Skelettmodell für die Erkennung der Bestätigungsgeste nötig. Natürlich können die Kameratypen auch kombiniert werden. Eine besonders bevorzugte Ausführungsform sieht insbesondere eine Infrarot-Stereokamera vor.
-
Wie eingangs bereits ausgeführt, ermöglicht die Gestenerkennung nicht nur in einem Kraftwagen eine effiziente Bedienung eines elektronischen Geräts. Um das erfindungsgemäße Verfahren auch beispielsweise mittels eines Fernsehers, eines Tablet-PCs oder Smartphones ausführen zu können, sieht die Erfindung auch ein Computerprogrammprodukt vor, welches einen auf zumindest einem Speichermedium gespeicherten Programmcode umfasst, der dazu ausgelegt ist, bei einer Ausführung durch eine Datenverarbeitungseinrichtung eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Beispielsweise kann es sich bei dem Computerprogrammprodukt um eine sogenannte „App” (App – Applikation, Anwendung) handeln, die ein Benutzer aus dem Internet beziehen und beispielsweise auf seinem Smartphone, seinem Tablet-PC oder auch in einem Infotainmentsystem eines Kraftwagens nachträglich installieren kann. Da insbesondere bei Smartphones und Tablet-PCs Kameras bereits für die Bildtelefonie bereitgestellt sind, erlaubt das erfindungsgemäße Computerprogrammprodukt die Durchführung des erfindungsgemäßen Verfahrens mit bereits vorhandenen Komponenten eines Smartphones oder Tablet-PCs.
-
Im Folgenden wird die Erfindung noch einmal genauer anhand eines konkreten Ausführungsbeispiels erläutert. Hierzu zeigt:
-
1 eine schematische Darstellung einer Gestensteuerungseinrichtung einer Ausführungsform des erfindungsgemäßen Kraftwagens,
-
2 eine Skizze zur Erläuterung einer Funktionsweise eines Skelettmodells, und
-
3 eine schematische Darstellung einer Bildsequenz, wie sie durch die Gestensteuerungseinrichtung aus 1 in einem Kraftwagen erkannt werden kann.
-
Dabei stellen die beschriebenen Komponenten der Beispiele und die beschriebenen Schritte des Verfahrens jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln und in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar. Die dargestellten Beispiele stellen dabei bevorzugte Ausführungsformen der Erfindung dar.
-
In 1 ist eine Gestensteuerungseinrichtung 10 gezeigt, die beispielsweise in einem (nicht näher dargestellten) Kraftwagen 12 installiert sein kann. Bei dem Kraftwagen 12 kann es sich beispielsweise um einen Personenkraftwagen handeln. Die Gestensteuerungseinrichtung 10 umfasst eine Kamera 14, ein elektronisches Gerät 16 und eine Anzeigeeinrichtung 18. Das elektronische Gerät 16 weist weitere Funktionalitäten auf, die durch Ausführung von Gesten ausgewählt und aktiviert werden können. Beispielsweise kann es sich bei dem elektronischen Gerät 16 um ein Infotainmentsystem oder ein Navigationssystem oder ein Audiosystem des Kraftwagens 12 handeln.
-
Die Kamera 14 kann auf einen Bereich in einem Fahrgastraum des Kraftwagens 12 gerichtet sein, beispielsweise auf eine Mittelkonsole zwischen einem Fahrersitz und einem Beifahrersitz. Bei der Kamera 14 kann es sich beispielsweise um eine Infrarotkamera, eine Stereokamera oder eine PMD-Kamera handeln oder eine Kamera, welche zwei oder mehr dieser Technologien kombiniert. Mittels der Kamera 14 wird eine Bildsequenz 20 aus zu unterschiedlichen Zeitpunkten erfassten Einzelbildern 22, 24, 26 erzeugt. Die in 1 gezeigten drei Bilder 22, 24, 26 stehen nur exemplarisch für die gesamte Bildsequenz 20.
-
Ein Benutzer der Gestensteuerungseinrichtung 10 hält eine Hand 28 in den Erfassungsbereich der Kamera 14 und führt eine Bediengeste für das elektronische Gerät 16 aus. In den Bildern 22, 24, 26 ist die Hand 28 entsprechend in unterschiedlichen Positionen im Raum und mit unterschiedlichen Fingerstellungen zu sehen. Die Bildsequenz 20 wird von der Kamera 14 zu dem elektronischen Gerät 16 übertragen, in welchem eine Erkennungseinrichtung 30 die Position der Hand 28 im Fahrgastraum oder auch eine Positionsänderung erkennt und zusätzlich auch die Fingerstellungen auswertet.
-
Die von der Erkennungseinrichtung 30 erkannte Position der Hand 28 im Raum und die Fingerstellungen werden an eine Steuerungseinrichtung 32 übertragen, durch welche in dem in 1 gezeigten Beispiel eine Menüauswahl gesteuert wird. Hierzu zeigt die Steuerungseinrichtung 32 auf der Anzeigeeinrichtung 18 ein Menü 34 an, von dem im in 1 Menüeinträge „ABC”, „DEF”, „GHI” und „KLM” beispielhaft gezeigt sind. Die Erkennungseinrichtung 30 und die Steuerungseinrichtung 32 können beispielsweise Programmmodule umfassen, welche durch eine Datenverarbeitungseinrichtung des elektronischen Geräts 16 ausgeführt werden.
-
Der Benutzer hat für die Auswahl eines Menüeintrags zunächst seine Finger gekrümmt und nur den Zeigefinger 36 ausgestreckt. Sein Daumen 38 der Hand 28 steht im gezeigten Beispiel frei vom Rest der Hand ab. Der Benutzer schwenkt seine Hand 28 in Auswahlrichtungen 40 und 42. Dies wird von der Kamera 14 z. B. in dem Einzelbild 22 erfasst, wobei das Einzelbild 22 nur ein Bild aus der entsprechenden Bildsequenz, die einen Teil der Bildsequenz 20 darstellt, repräsentiert. Die Erkennungseinrichtung 30 erkennt die Stellung der Finger 36, 38 der Hand und die Bewegung der Hand 28, d. h. insbesondere die Bewegung des Zeigefingers 36 in die Auswahlrichtungen 40, 42. Die erkannte Fingerstellung und die Bewegung in die Auswahlrichtungen 40, 42 werden an die Steuerungseinrichtung 32 übertragen. Die Steuerungseinrichtung 32 bewegt daraufhin entsprechend die Menüeinträge nach oben 40', was der Bewegungsrichtung 40 entspricht, bzw. nach unten 42', was der Bewegungsrichtung 42 entspricht. Die Menüeinträge werden so unter einem Auswahlfeld 44 des Menüs 34 entlang bewegt. Nachdem sich der gewünschte Listeneintrag (hier „GHI”) in dem Auswahlfeld 44 befindet, unterbricht der Benutzer die Bewegung seiner Hand 28. In 1 ist diese Situation in dem mittleren Einzelbild 24 gezeigt, unter welchem in 1 entsprechend die Anzeige der Anzeigeeinrichtung 18 mit dem entsprechend veränderten Menü 34 dargestellt ist.
-
Der Benutzer möchte nun den Listeneintrag „GHI” auswählen. Hierzu tippt der Benutzer mit seinem Daumen 38 an seinen Mittelfinger 46. Dies entspricht einem „Klick”, wodurch der Benutzer die Auswahl des Menüeintrags GHI bestätigt. Durch das Antippen hat der Benutzer den Mittelfinger 46 mit dem Daumen 38 kurz berührt und danach den Daumen 38 wieder in die Ausgangsstellung gebracht. Anhand der entsprechenden Einzelbilder, also beispielsweise des Einzelbilds 24, wird durch die Erkennungseinrichtung 30 die Veränderung der Fingerstellung, insbesondere des Daumens 38 bezüglich des Zeigefingers 36, erkannt und diese Geste als Bestätigungsgeste der Steuerungseinrichtung 32 gemeldet. Die Steuerungseinrichtung 32 aktiviert daraufhin die Funktion, welche dem Menüeintrag GHI zugeordnet ist. Im vorliegenden Beispiel wird z. B. ein Untermenü 34' aufgerufen, welches u. a. die Menüeinträge „abc”, „def” und „ghi” umfasst. Der Benutzer kann nun wieder durch Schwenken der Hand 38 bei ausgestrecktem Zeigefinger 36 in dem Untermenü die Menüeinträge abc, def, ghi in die Auswahlrichtungen 40', 42' verschieben und so den gewünschten Menüeintrag in dem Auswahlfeld 44 platzieren.
-
Für die Erkennung der Lage der Hand 28 im Fahrgastraum kann die Erkennungseinrichtung 30 einen an sich aus dem Stand der Technik bekannten Algorithmus für die Objekterkennung in Bildern nutzen. Für die Beschreibung der Fingerposition kann die Verwendung eines Skelettmodells vorgesehen sein, wie es im Folgenden anhand von 2 näher erläutert ist.
-
In 2 ist zu dem Skelettmodell 46 veranschaulicht, welche Parameter das Skelettmodell 46 umfassen kann. So kann das Skelettmodell zu einzelnen Gelenken 48 deren jeweiligen Beugungswinkel als Parameterwert repräsentieren. In 2 sind nur einige der Gelenke 48 mit einem Bezugszeichen versehen, um die Übersicht in 2 zu erhalten. In dem Skelettmodell 46 können des Weiteren einzelne Abschnitte der Hand 28 beispielsweise in Bezug auf ihre Länge oder ihre Ausrichtung beschrieben sein, also beispielsweise von dem Daumen 38 die Ausrichtung der Fingerkuppe 50 und des mittleren Knochens 52. Genauso kann zu dem Zeigefinger 36 die Ausrichtung der Fingerspitze 54 beschrieben sein. Eine Ausrichtung kann beispielsweise als Vektor beschrieben sein. Die Erkennungseinrichtung 30 kann anhand der Einzelbilder 22, 24, 26 durch eine entsprechende Bildauswertung, beispielsweise durch Auswerten von Kontrastkanten, die Hand 28 und die Finger 38, 36, 44 in dem Bild segmentieren, d. h. sie als einzelne Objekte identifizieren, und durch Verändern der Parameter des Skelettmodells 46, also der Parameterwerte für die Beugungswinkel der Gelenke 48 und der Ausrichtung der Fingerabschnitte 50, 52, 54 und der übrigen Fingerabschnitte die durch das Skelettmodell 46 nachgebildete Fingerstellung an die tatsächliche, in den Einzelbildern erkennbare Fingerstellung anpassen. Anschließend beschreiben die Parameter des Skelettmodells 46 die in einem Einzelbild jeweils erkannte Stellung der Finger, d. h. also die Geste.
-
In 3 ist ein weiteres Nutzungskonzept der Gestenerkennungseinrichtung 10 veranschaulicht. In 3 sind drei Bilder 56, 58, 60 einer Bildsequenz gezeigt, die von der Kamera 14 erfasst worden sind und an das elektronische Gerät 16 übertragen wurden. Zu Beginn des gezeigten Beispiels (Bild 56) befindet sich die Steuerungseinrichtung 32 in einem Zeigemodus, in welchem auf der Anzeigeeinrichtung 18 beispielsweise ein Cursor 62 angezeigt werden kann, den der Benutzer durch Schwenken seiner Hand 28 im Raum auf der Anzeigeeinrichtung 18 positionieren kann.
-
Durch Anlegen des Daumens 38 an den Mittelfinger 46 wird ein Schreibmodus aktiviert. Dies wird durch die Gestensteuerungseinrichtung 10 beispielsweise anhand des Bildes 58 erkannt. Die nun folgenden Bewegungen der Hand 28, und insbesondere des Zeigefingers 36, bei angelegtem Daumen 38 werden von der Erkennungseinrichtung 30 erkannt und veranlassen die Steuerungseinrichtung 32, auf der Anzeigeeinrichtung 18 eine Zeichenspur 64 darzustellen, welche der erkannten Bewegung der Hand entspricht. Der Benutzer zeichnet in dem vorliegenden Beispiel beispielsweise ein A. Gehen die Finger in die Normalstellung zurück (in Einzelbild 56 und 60 gezeigt), so wird in den Zeigemodus zurückgekehrt. Nachdem der Benutzer also den Daumen 38 wieder von dem Mittelfinger 46 entfernt hat, wird durch die Steuerungseinrichtung 32 der Schreibmodus beendet und die Zeichenspur 64 an eine Handschrifterkennungseinrichtung übergeben, die in an sich bekannter Weise ausgestaltet sein kann. Die Steuerungseinrichtung 32 erhält von der Handschrifterkennungseinrichtung das Erkennungsergebnis als Antwort zurück und stellt den erkannten Buchstaben A auf der Anzeigeeinrichtung 18 dar. Der Benutzer kann nun den Cursor 62 neu positionieren und den nächsten Buchstaben zeichnen.
-
Durch die Beispiele ist gezeigt, wie eine Gestensteuerungseinrichtung um eine Erkennung einer Bestätigungsgeste weitergebildet werden kann, welche ohne Verriss eine Bestätigung der Auswahl eines ausgewählten Elements ermöglicht. Es kann somit ein Auswahlelement sehr präzise auch auf kleinen Bedienflächen platziert werden und eine Auswahl präzise getätigt werden. Entsprechend lassen sich in vorteilhafter Weise auch deutlich komplexere Benutzerschnittstellen mittels Geste intuitiv bedienen.
