DE102013211046A1

DE102013211046A1 - Verfahren und Vorrichtung zum Gewinnen eines Stellsignals aus einer Bediengeste

Info

Publication number: DE102013211046A1
Application number: DE102013211046.4A
Authority: DE
Inventors: Stefan Andreas Kniep; Markus Langenberg; Daniel Zaum; Philippe Dreuw; Jens Heimsoth; Gerrit De Boer
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2013-06-13
Filing date: 2013-06-13
Publication date: 2014-12-18

Abstract

Ein Verfahren zum Gewinnen eines Stellsignals durch Erkennen und Auswerten einer Bediengeste, bei der eine Richtungsachse (104) eines ausgewählten Fingers (102) einer Hand (101) auf ein Objekt (103) gerichtet und die Hand gedreht wird, umfasst die Verfahrensschritte Aufnehmen eines Bildes der Hand, Erkennen des ausgewählten Fingers, Erkennen der Richtungsachse, Berechnen eines Schnittbereichs der Richtungsachse mit dem Objektbereich (105), Bestimmen des diesem Schnittbereich nächstliegenden Objekts sowie Erkennen wenigstens dreier Fingerspitzen (117–121), Ermitteln der Positionen der Fingerspitzen auf einer Abbildungsebene (112), Berechnen einer Ausgleichsgeraden (125) aus den Positionen der Fingerspitzen, Ermitteln einer Neigung der Ausgleichsgeraden, Bestimmen einer Anfangslage (122) der Ausgleichsgeraden und Wählen der Anfangslage als Referenzgerade (123), Bestimmen der Neigung der Referenzgeraden, Ermitteln von Betrag und Richtung eines Winkels zwischen der Ausgleichsgeraden und der Referenzgeraden und Bilden des Stellsignals aus Betrag und Richtung des Winkels. Eine Vorrichtung zum Durchführen des Verfahrens wird vorgeschlagen. Dadurch sind mechanische Bedienelemente oder Berührbildschirme entbehrlich.

Description

Stand der Technik
Aus der Druckschrift EP 2 441 635 A1 sind ein Fahrzeug-Nutzer-Schnittstellen-System und ein Verfahren zum Ausstatten eines Fahrzeug-Elektroniksystems mit einer Nutzerschnittstelle bekannt. Die Fahrzeug-Nutzer-Schnittstelle umfasst einen Projektor zum Projizieren eines Bildes auf eine Projektionsfläche des Fahrgastraums des Fahrzeugs und eine im Fahrgastraum angeordnete Kamera, die einen von einer Hand eines Nutzers erreichbaren Raumbereich überwacht, der sich vor der Projektionsfläche erstrecken kann. Die Kamera erfasst Bilddaten des Raumbereichs und überträgt diese Bilddaten an eine Datenverarbeitungseinheit, von der die Bilddaten mit Hilfe eines Bildanalyseverfahrens analysiert werden. Die Datenverarbeitungseinheit erkennt die Hand des Nutzers im Raumbereich und führt eine bildgestützte Gestenerkennung durch, z.B. durch Zerlegung des erfassten Bildes in einen Satz von Merkmalen unter Berücksichtigung erfasster Einzelbilder aus einer Bildfolge. Auf Grundlage dieser Merkmale können unterschiedliche Lagen der Hand des Fahrzeuginsassen erkannt werden. Die Datenverarbeitungseinheit ist mit einer Einrichtung zum Erkennen von Gesten als einer Abfolge von Lagen der Hand ausgestaltet und deutet die Gesten als Eingaben des Nutzers, um Funktionen des Fahrzeug-Elektroniksystems zu bedienen.
Durch das Projektionsbild können Bedienelemente dargestellt werden. Die Datenverarbeitungseinheit erkennt die Geste eines auf ein Bedienelement zeigenden oder dieses berührenden Fingers des Nutzers. Ist das Fahrzeug-Elektroniksystem ein Navigationssystem, kann das Projektionsbild einen darzustellenden Kartenausschnitt umfassen, und die Datenverarbeitungseinheit erkennt Gesten zum Steuern der Kartendarstellung, wie etwa eine Bewegung eines Fingers über den dargestellten Kartenausschnitt, um die Karte in die betreffende Richtung nachzuführen. Durch Spreizen zweier Finger auf dem projizierten Kartenausschnitt kann die Karte in vergrößertem Maßstab dargestellt werden, und mit der entgegengesetzten Fingerbewegung wird der Maßstab verkleinert. Beim Ausführen der Geste muss die Hand des Nutzers die Projektionsfläche nicht berühren, sondern die Geste kann auch in einiger Entfernung von der Projektionsfläche ausgeführt und erkannt werden, z.B. dort, wo sich die Hand des Nutzers gewöhnlich beim Fahren befindet, wodurch der Fahrer weniger abgelenkt wird.
Aus der Druckschrift US 2012/0105613 A1 ist ein Verfahren zum unempfindlichen, videogestützten Erkennen von Handschriften und Gesten zur Anwendung in Kraftfahrzeugen bekannt. Zum Empfangen einer Eingabe von einem Nutzer wird eine erste Wegzeitkurve eines Schwerpunkts einer Hand des Nutzers abgetastet, während diese eine Geste ausführt. Eine zweite Wegzeitkurve einer Fingerspitze der Hand des Nutzers wird ebenfalls beim Ausführen der Geste abgetastet. Ein durch die Geste der Hand dargestelltes alphanumerisches Zeichen wird abhängig von den beiden Wegzeitkurven ermittelt.
Aus der Druckschrift US 7,812,826 B2 ist ein tragbares Kommunikationsgerät mit Mehrfach-Berührungseingabe bekannt, das einen oder mehrere Mehrfachberührungen und -bewegungen detektiert und einen oder mehrere Bedienvorgänge an einem auf einem Berührbildschirm dargestellten Objekt nach Maßgabe der einen oder mehreren Mehrfachberührungen und/oder -bewegungen durchführt. Dabei kann das graphische Objekt ein Drehknopf sein, und der Nutzer kann einen oder mehrere Finger an den Umfang des Drehknopfes legen und eine rotierende oder verdrehende Bewegung im oder gegen den Uhrzeigersinn ausführen, um als Bedienvorgang z.B. am Gerät einen Betriebsparameter einzustellen.
Offenbarung der Erfindung
Die Erfindung hat die Aufgabe, ein einfaches und betriebssicheres Verfahren zum Gewinnen eines Stellsignals durch Erkennen und Auswerten einer leicht und intuitiv erlern- und ausführbaren Bediengeste sowie eine Vorrichtung zum Durchführen des Verfahrens zu schaffen.
Diese Aufgabe wird gelöst durch ein Verfahren zum Gewinnen wenigstens eines zum Stellen eines Betriebsparameters durch Bedienen wenigstens eines in einem Objektbereich befindlichen, auswählbaren Objekts bestimmten Stellsignals aus einem Erkennen und Auswerten einer Bediengeste einer Hand eines Nutzers, wobei in der Bediengeste eine Richtungsachse eines ausgewählten Fingers der Hand auf ein ausgewähltes des wenigstens einen Objekts gerichtet und wenigstens überwiegend zugleich eine Drehung der Hand ausgeführt wird. Zum Gewinnen des wenigstens einen Stellsignals wird somit eine zweiteilige Handgeste erkannt und ausgewertet, die weitestgehend einer Bedienung insbesondere eines drehbaren Stellelements gleicht und daher leicht und intuitiv erlern- und ausführbar ist. Bei dieser Bediengeste zeigt der Nutzer mit dem ausgewählten Finger, bevorzugt einem Zeigefinger, auf das ausgewählte Objekt und führt durch Drehung der Hand eine Stellbewegung zum Bedienen des Objekts aus. Die Drehung der Hand erfolgt um eine Drehachse, die bevorzugt, aber nicht notwendig, zumindest weitgehend mit der Richtungsachse des ausgewählten Fingers übereinstimmt.
Zum Auswählen des Objekts umfasst das erfindungsgemäße Verfahren folgende Verfahrensschritte: Aufnehmen wenigstens eines Bildes der Hand beim Ausführen der Bediengeste in einem Erkennungsbereich, Erkennen des ausgewählten Fingers im wenigstens einen Bild der Hand, Erkennen der Richtungsachse des ausgewählten Fingers, Berechnen eines Schnittbereichs der Richtungsachse mit dem Objektbereich und Bestimmen des diesem Schnittbereich nächstliegenden Objekts.
Zum Bedienen des Objekts umfasst das erfindungsgemäße Verfahren die weiteren Verfahrensschritte: Erkennen wenigstens dreier Fingerspitzen im wenigstens einen Bild der Hand, Ermitteln der Positionen der wenigstens drei Fingerspitzen auf einer Abbildungsebene, Berechnen einer Ausgleichsgeraden aus den Positionen der wenigstens drei Fingerspitzen auf der Abbildungsebene, Ermitteln einer Neigung der Ausgleichsgeraden gegenüber einer Bezugsrichtung auf der Abbildungsebene, Bestimmen einer Anfangslage der Ausgleichsgeraden, Wählen der Anfangslage der Ausgleichsgeraden als Referenzgerade, Bestimmen der Neigung der Referenzgeraden gegenüber der Bezugsrichtung auf der Abbildungsebene, Ermitteln von Betrag und Richtung eines eine relative Rotation zwischen der Ausgleichsgeraden und der Referenzgeraden bildenden Winkels, und Bilden des Stellsignals aus Betrag und Richtung der relativen Rotation.
Im Zusammenhang mit der vorliegenden Erfindung wird unter dem vorbezeichneten Objekt allgemein ein Raumbereich verstanden, auf den während des Ausführens der Bediengeste der ausgewählte Finger gerichtet, d.h. auf den mit dem ausgewählten Finger gezeigt wird. Es kann sich dabei um ein reales Objekt, wie ein reales, mechanisches Bedienelement, bevorzugt aber um ein virtuelles Objekt handeln. Das Objekt symbolisiert insbesondere ein Bedienelement. Der das Objekt bildende Raumbereich kann auch leer sein; das Objekt muss darin nicht dargestellt sein. Das Objekt dient nur dem Zuordnen des Stellens des Betriebsparameters zur Bediengeste. Das Bedienen des Objekts bedeutet dann Einstellen eines – vorzugsweise analogen – Betriebsparameters durch das zugeordnete Bedienelement, für welches das Objekt als Symbol steht. Der Objektbereich ist dann ein Raumbereich, dem Objekte für eine Auswahl bzw. die Bedienung durch die Bediengeste zugeordnet bzw. in dem sie angeordnet sind. Der Objektbereich kann je nach Anordnung der Objekte im Wesentlichen ein-, zwei- oder dreidimensional sein. Unter dem Schnittbereich ist der Abschnitt der Richtungsachse verstanden, der in den Objektbereich fällt. Je nach Gestaltung des Objektbereichs handelt es sich dabei um einen Punkt oder eine Strecke.
Der Erkennungsbereich ist der Raumbereich, in dem sich die Hand des Nutzers zum Erkennen und Auswerten der Bediengeste durch einen Sensor befindet, in dem die Hand also vom Sensor erfasst werden kann. Unter der Abbildungsebene ist die Sensorebene, d.h. die Ebene, auf der das Bild der Hand aufgenommen wird, verstanden. Wird der Sensor bevorzugt durch eine Kamera gebildet, ist unter der Abbildungsebene die Bildebene der Kamera verstanden.
Das wenigstens eine Bild der Hand wird bevorzugt dreidimensional aufgenommen, z.B. mit einer Laufzeitkamera, auch als TOF-Kamera bezeichnet. Ferner wird bevorzugt eine Folge von Bildern, z.B. eine Videosequenz, beim Ausführen der Bediengeste der Hand im Erkennungsbereich aufgenommen. In einer vereinfachten Ausgestaltung werden zweidimensionale Bilder aufgenommen. Zum Erkennen des ausgewählten Fingers und dessen Richtungsachse werden Bilderkennungsverfahren an sich bekannter Art benutzt, die Daten über Position und Richtung der Richtungsachse liefern. Aus diesen Daten und der bekannten Anordnung des Objektbereichs ist der Schnittbereich einfach berechenbar. Da ferner die Position des bzw. der Objekte im Objektbereich bekannt ist, lässt sich das Objekt, das dem Schnittbereich am nächsten liegt, ebenfalls leicht bestimmen. Dabei umfasst in der Begriffswahl der vorliegenden Erfindung die Lage, z.B. einer Geraden, eines Fingers usw., deren Position, auch als Ort bezeichnet und durch räumliche Ortskoordinaten beschrieben, und deren Richtung, beschrieben durch räumliche Richtungskoordinaten.
Für das Bedienen des Objekts werden bevorzugt die bereits vorliegenden Bilder der Hand ausgewertet, so dass ein erneutes Aufnehmen entfällt. Vorteilhaft ist dafür aber eine zweidimensionale Aufnahme ausreichend. Liegen dreidimensionale Bilder vor, können diese vereinfacht ausgewertet werden. Beim Erkennen der wenigstens drei Fingerspitzen ist vorzugsweise, aber nicht notwendig, eine davon die des ausgewählten Fingers. Dadurch werden das Ausführen und das Erkennen und Auswerten der Bediengeste vereinfacht. Dies gilt z.B. für das Berechnen der Ausgleichsgeraden aus den Positionen der wenigstens drei Fingerspitzen auf der Abbildungsebene. Die Ausgleichsgerade ist eine Gerade zwischen den Positionen der Fingerspitzen auf der Abbildungsebene hindurch, die nach vorbestimmtem Algorithmus berechnet wird, z.B. derart, dass die Summe der lotrechten Abstände der Positionen der Fingerspitzen von der Ausgleichsgeraden ein Minimum annimmt. Als Referenzgerade wird die Ausgleichsgerade zu Beginn der Bediengeste, also die Ausgleichsgerade in ihrer Anfangslage, festgelegt. Dies kann z.B. auf Grundlage der ersten vom Sensor aufgezeichneten Bilder der Hand erfolgen, wenn diese in den Erkennungsbereich gebracht wird. Bevorzugt entspricht die Referenzgerade einer entspannten und ungefähr waagerechten Lage der Hand. Nach Festlegen der Referenzgeraden sind darauf bezogene Drehungen der Hand, d.h. der Ausgleichsgeraden, berechenbar. Sowohl einmalig von der Referenzgeraden als auch anschließend laufend von der jeweils aktuell berechneten Ausgleichsgeraden werden die Neigungen bestimmt. Dazu bildet ein für die Abbildungsebene des Sensors angenommenes Koordinatensystem eine Bezugsrichtung. Sobald die Referenzgerade bestimmt ist, ist die relative Rotation für jedes vom Sensor aufgenommene Bild, auf dem das Ausführen der Bediengeste dargestellt und die Hand korrekt erfasst ist, ermittelbar.
Beim Bestimmen der relativen Rotation zwischen der Ausgleichsgeraden und der Referenzgeraden, die anhand des Verlaufs der Steigung der Ausgleichsgeraden über einer Folge vom Sensor, bevorzugt einer Kamera, aufgenommener Bilder berechnet wird, sind nur deren Neigungen bzw. Steigungen maßgeblich. Die Positionen, d.h. die Orte, an denen sich die genannten Geraden befinden, sind für das Auswerten unbedeutend. Dies erleichtert das Ausführen und Erkennen der Bediengeste, insbesondere der Drehung der Hand, da die Erkennung der Drehung stabil gegenüber möglichen Verschiebungen der Hand innerhalb der Folge der Bilder ist. Aus der relativen Rotation werden deren Betrag, d.h. der absolute Wert des Winkels zwischen den genannten Geraden, sowie das Vorzeichen, d.h. die Drehrichtung der Ausgleichsgeraden gegenüber der Referenzgeraden, zum Auswerten der Bediengeste herangezogen, d.h. für das Bilden des Stellsignals zum Bedienen des Objekts, d.h. zum Einstellen des Betriebsparameters, wofür das Objekt als Symbol steht.
Die Erfindung ermöglicht eine einfache und intuitiv handhabbare Bedienung, die keinerlei mechanische Bedienelemente oder Berührbildschirme benötigt. Die Bediengeste ist bei sicherer Erkennbarkeit bevorzugt im freien Raum ausführbar und ermöglicht zugleich ein Auswählen und Einstellen eines Betriebsparameters einer technischen Einrichtung, bevorzugt eines Betriebsparameters zum Bedienen elektrischer bzw. elektronischer Geräte eines Fahrzeugs und/oder in einem Fahrzeug.
Vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens sind in den darauf rückbezogenen Unteransprüchen gekennzeichnet.
Gemäß einer bevorzugten Weiterbildung des erfindungsgemäßen Verfahrens wird das Erkennen und Auswerten der Bediengeste zum Bilden des Stellsignals ausgeführt, solange sich die Hand des Nutzers im Erkennungsbereich befindet und die Richtungsachse des ausgewählten Fingers auf eines der Objekte gerichtet ist, d.h. solange eine Handhaltung als Bediengeste im obigen Sinn erkannt wird. Umgekehrt wird das Bilden des Stellsignals beendet, sobald die relative Rotation Null ist, die Hand aus dem Erkennungsbereich bewegt oder die Handhaltung so verändert, wird dass die Bediengeste eindeutig nicht mehr ausgeführt wird. Bevorzugt wird, solange die Finger ausgestreckt und leicht gespreizt sind und die Positionen der Fingerspitzen auf der Abbildungsebene wenigstens annähernd eine Linie bilden, angenommen, dass die Bediengeste noch ausgeführt wird. Die Spreizung der Finger in einer bevorzugten Weiterbildung z.B. aus Abständen zwischen den einzelnen Fingerspitzen oder aus Winkeln zwischen Richtungsachsen der Finger erkannt werden. Der Beginn der Bediengeste wird entsprechend erkannt. Alternativ wird die Erkennung der Bediengeste durch eine weitere, bevorzugt abweichende Bediengeste eingeleitet beziehungsweise beendet.
Bei einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird zum Rückmelden des Erkennens der Bediengeste an den Nutzer das ausgewählte Objekt bzw. dessen Position in einem Darstellungsbereich angezeigt und/oder markiert und/oder optisch hervorgehoben dargestellt. Der Darstellungsbereich ist der Raumbereich, in dem die Objekte für eine Wahrnehmung durch den Nutzer abgebildet werden und der an beliebiger, bevorzugt vom Nutzer bequem einsehbarer Position angeordnet ist. Dies ist insbesondere eine ebene oder gekrümmte Darstellungsfläche, aber auch ein beliebig konturierter Darstellungsraum; dieser wird insbesondere verwendet bei einer Darstellung der Objekte über eine Datenbrille. Der Darstellungsbereich wird durch eine Anzeigeeinrichtung wie einen Bildschirm, eine Blickfeldanzeige, eine Datenbrille oder dergleichen gebildet. Die Erfindung ermöglicht, dass Objektbereich und Darstellungsbereich voneinander abweichen. In einer vorteilhaften Ausgestaltung ist jedoch der Objektbereich wenigstens nahezu identisch mit dem Darstellungsbereich. Insbesondere erfolgt die Darstellung der Objekte unmittelbar an der Position, auf die die Richtungsachse des ausgewählten Fingers gerichtet ist; dort wird das ausgewählte Objekt vorteilhaft gegenüber nicht ausgewählten Objekten hervorgehoben dargestellt.
In einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens werden im wenigstens einen Bild der Hand des Nutzers die Fingerspitzen des Daumens, des Zeigefingers und des kleinen Fingers erkannt. Bevorzugt werden für das Bedienen des Objekts die Lagen von Mittel- und/oder Ringfinger nicht ausgewertet, weil diese bei entspannter Handhaltung keine für das Erkennen der Drehung der Hand wesentliche zusätzliche Information liefern.
In einer vorteilhaften Weiterbildung des erfindungsgemäßen Verfahrens wird zum Bilden des Stellsignals dem ermittelten Betrag der relativen Rotation nach einer vorgegebenen Funktion ein Inkrement zugeordnet, das gemäß der Richtung der relativen Rotation zu einem Anfangswert des einzustellenden Betriebsparameters statisch und/oder wiederholt je vorgegebener Zeitspanne addiert bzw. davon subtrahiert wird. Als Inkrement ist ein Änderungsbetrag verstanden, um den der Betriebsparameter beim Bedienen des Objekts verstellt, d.h. geändert wird. Die relative Rotation kann somit direkt zum Stellen des Betriebsparameters verwendet werden, indem der sie bildende Winkel über eine lineare oder nichtlineare Funktion mit Werten verknüpft wird, die vorzeichenrichtig zum Wert des Betriebsparameters addiert werden, der zu Beginn der Ausführung der Bediengeste vorlag. Um eine höhere Empfindlichkeit bzw. Genauigkeit des Einstellens zu erreichen, wird stattdessen auch eine kontinuierliche, d.h. zeitlich fortlaufende Änderung des Betriebsparameters vorgenommen, deren Inkrement, d.h. Ausmaß je vorgegebener Zeitspanne, von der relativen Rotation abhängt. Bevorzugt wird die Änderung des Betriebsparameters dem Nutzer sichtbar gemacht, insbesondere im Darstellungsbereich, damit der Nutzer die Drehung der Hand an eine gewünschte Geschwindigkeit der Änderung des Betriebsparameters anpassen kann.
Gemäß einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird eine Richtungsänderung der Richtungsachse während des Bedienens des ausgewählten Objekts zu einem laufenden Ändern der getroffenen Auswahl ausgewertet. Ändert der Nutzer die Position oder die Richtungsachse des ausgewählten Fingers während des Stellens des Betriebsparameters durch die Bediengeste, wird diese Änderung abhängig vom Betriebsparameter zum Stabilisieren der getroffenen Auswahl ignoriert oder für ein dynamisches Ändern der getroffenen Auswahl berücksichtigt. Wird durch die Bediengeste z.B. eine Zoomstufe einer Straßenkartendarstellung eingestellt, wird die Richtungsänderung z.B. zum kontinuierlichen Ändern eines Zoomzentrums während des Zoomens berücksichtigt. Wird durch die Bediengeste z.B. ein Wert eines – bevorzugt virtuellen – Schiebereglers in einem Einstellungsmenü verändert, wird die Richtungsänderung vorteilhaft ignoriert, um ein unbeabsichtigtes Auswählen eines anderen Schiebereglers, der dann ebenfalls verstellt würde, zu vermeiden.
Die oben genannte Aufgabe wird erfindungsgemäß weiterhin gelöst durch eine Vorrichtung zum Durchführen des obigen Verfahrens. Dazu weist die Vorrichtung auf: einen Objektbereich mit wenigstens einem darin befindlichen, auswählbaren Objekt, einen Darstellungsbereich zum Anzeigen und/oder Markieren und/oder optisch hervorgehoben Darstellen des wenigstens einen ausgewählten Objekts, einen Sensor zum Aufnehmen wenigstens eines Bildes einer Hand eines Nutzers beim Ausführen einer Bediengeste, einen Erkennungsbereich, in dem die Hand des Nutzers beim Ausführen der Bediengeste vom Sensor aufnehmbar ist, eine Abbildungsebene des Sensors, bevorzugt Bildebene einer Kamera, zum darauf Abbilden des Bildes der Hand sowie eine Recheneinheit. Letztere ist ausgebildet zum Erkennen eines ausgewählten Fingers im wenigstens einen Bild der Hand, Erkennen einer Richtungsachse des ausgewählten Fingers, Berechnen eines Schnittbereichs der Richtungsachse mit dem Objektbereich, Bestimmen des diesem Schnittbereich nächstliegenden Objekts, Erkennen wenigstens dreier Fingerspitzen im wenigstens einen Bild der Hand, Ermitteln der Positionen der wenigstens drei Fingerspitzen auf der Abbildungsebene, Berechnen einer Ausgleichsgeraden aus den Positionen der wenigstens drei Fingerspitzen auf der Abbildungsebene, Ermitteln einer Neigung der Ausgleichsgeraden gegenüber einer Bezugsrichtung auf der Abbildungsebene, Bestimmen einer Anfangslage der Ausgleichsgeraden, Wählen der Anfangslage der Ausgleichsgeraden als Referenzgerade, Bestimmen der Neigung der Referenzgeraden gegenüber der Bezugsrichtung auf der Abbildungsebene, Ermitteln von Betrag und Richtung eines eine relative Rotation zwischen der Ausgleichsgeraden und der Referenzgeraden bildenden Winkels, und zum Bilden eines Stellsignals aus Betrag und Richtung der relativen Rotation.
Für das Erkennen der Bediengeste vorteilhaft ist eine Anordnung des Sensors derart, dass bei üblicher, angenehmer bzw. intuitiv eingenommener Handhaltung die Finger wenigstens angenähert auf den Sensor bzw. grob in Richtung des Sensors, bevorzugt der Kamera, zeigen. Dadurch sind Drehungen der Hand und damit der Fingerspitzen gut erfassbar, da sie wenigstens weitgehend um die optische Achse des Sensors erfolgen, die Bewegung also zweidimensional aufnehmbar ist, da ihre Erkennung keine Tiefenbestimmung erfordert.
Die oben genannte Aufgabe wird erfindungsgemäß außerdem gelöst durch ein Computerprogrammprodukt, aufweisend Programmteile zum Ausführen des erfindungsgemäßen Verfahrens, eine durch das Verfahren oder das Computerprogrammprodukt erzeugte Datenstruktur sowie einen Datenträger mit einem derartigen Computerprogrammprodukt oder einer derartigen Datenstruktur.
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im nachfolgenden näher beschrieben, wobei übereinstimmende Elemente in allen Figuren mit denselben Bezugszeichen versehen sind und eine wiederholte Beschreibung dieser Elemente weggelassen wird. Es zeigen:
1 eine grobschematische Darstellung eines Beispiels für eine Einrichtung, mit der das erfindungsgemäße Verfahren ausführbar ist,
2, 3 und 4 je eine grobschematische Darstellung einer Handhaltung beim Ausführen einer Bediengeste,
5 eine grobschematische Darstellung von Positionen der Fingerspitzen einer Hand in einer neutralen Haltung mit zugehöriger Ausgleichsgeraden,
6 die Darstellung gemäß 5 bei einer gedrehten Handhaltung und
7 einen Vergleich unterschiedlicher Neigungen der Ausgleichsgeraden.
1 zeigt grob blockschematisch ein Ausführungsbeispiel einer Vorrichtung 100 zum Gewinnen wenigstens eines Stellsignals, hier zum Stellen eines Betriebsparameters eines Fahrzeugs, aus einem Erkennen und Auswerten einer Bediengeste einer Hand 101 eines Nutzers, wie sie die 2 bis 4 schematisch zeigen. Bei der Bediengeste wird ein ausgewählter Finger 102, z.B. Zeigefinger, auf ein dadurch auswählbares Objekt 103 gerichtet. Alle Finger der Hand 101 sind ausgestreckt und leicht gespreizt. Zum Stellen wird die Hand 101 im Wesentlichen um eine Richtungsachse 104 des Zeigefingers 102 aus einer neutralen Haltung 114 heraus gedreht, z.B. nach rechts 115 zum Vergrößern oder nach links 116 zum Verringern des durch das ausgewählte Objekt 103 bestimmten Betriebsparameters.
Die Vorrichtung 100 weist einen Objektbereich 105 auf, der hier durch eine virtuelle, rechteckige Fläche gebildet ist, die, obwohl in 1 als solche eingezeichnet, für den Nutzer nicht sichtbar sein muss, aber auch als virtuelle oder tatsächliche Berührfläche gestaltet sein kann. Im Objektbereich 105, hier auf der Fläche, befindet sich das ausgewählte Objekt 103, hier ein Ausschnitt der virtuellen Fläche, der ebenfalls nicht sichtbar sein muss. Ein Darstellungsbereich 106, hier z.B. ein Bildschirm in einer Armaturentafel 107 eines mit Lenkrad 108 und Schalthebel 109 angedeuteten Kraftfahrzeugs, dient zum Anzeigen bzw. Markieren bzw. optisch, z.B. farbig, hervorgehoben Darstellen des ausgewählten Objekts 103 sowie – der besseren Orientierung des Nutzers halber – zumindest eines Teils der Hand 101 in ihrer Haltung gegenüber dem Objekt 103. Ein Sensor 110, hier eine an der Armaturentafel 107 angeordnete Kamera, bevorzugt eine dreidimensionale Bilder aufnehmende Kamera, z.B. eine Laufzeit-(TOF-)Kamera, dient zum Aufnehmen eines Bildes, bevorzugt einer Bildfolge, der Hand 101 beim Ausführen der Bediengeste, wozu die Hand 101 in einen Erkennungsbereich 111 gebracht wird, hier den Aufnahmebereich der Kamera 110. Beim Aufnehmen wird die Hand 101 auf einer Abbildungsebene 112 der Kamera 110 abgebildet.
Eine mit der Kamera 110 und dem Darstellungsbereich 106 verbundene Recheneinheit 113 dient zum Erkennen des ausgewählten Fingers 102 sowie dessen Richtungsachse 104 im Bild der Hand 101, Berechnen eines Schnittpunkts der Richtungsachse 104 mit dem Objektbereich 105 und Bestimmen des dem Schnittpunkt nächstliegenden Objekts 103. Die Recheneinheit 113 dient ferner zum Erkennen wenigstens dreier Fingerspitzen im Bild der Hand 101 und Ermitteln der Positionen der Fingerspitzen auf der Abbildungsebene 112. In 5 sind die Positionen der Fingerspitzen des Daumens 117, des Zeigefingers bzw. ausgewählten Fingers 118, des Mittelfingers 119, des Ringfingers 120 und des kleinen Fingers 121 der Hand 101 grobschematisch in der neutralen Haltung 114 dargestellt. Die Recheneinheit 113 berechnet aus den Positionen der Fingerspitzen 117 bis 121 eine zugehörige Ausgleichsgerade 122 und deren Neigung, z.B. gegenüber einer Bezugsrichtung auf der Abbildungsebene 112. Als Anfangslage der Ausgleichsgeraden 122 wird vorteilhaft diejenige in der neutralen Haltung 114 bestimmt; sie wird auch als Referenzgerade 123 gewählt, die mit der Ausgleichsgeraden 122 in 5 übereinstimmt. Beim Ausführen der Bediengeste ändert sich durch Drehung 115 bzw. 116 der Hand 101 die Neigung der Ausgleichsgeraden, die, wie in 6 gezeigt, die Lage 125 annimmt, um einen als relative Rotation 124 bezeichneten Winkel, um den hier die Referenzgerade 123 um einen Schnittpunkt 126 mit der Ausgleichsgeraden gedreht werden muss, um beide zur Deckung zu bringen. Die Recheneinheit 113 dient schließlich zum Ermitteln von Betrag und Richtung der relativen Rotation und zum daraus Bilden des Stellsignals zum Stellen des Betriebsparameters.
7 zeigt einen Vergleich unterschiedlicher Neigungen, d.h. unterschiedlicher Werte der relativen Rotation 124 der Ausgleichsgeraden 125 gegenüber der Referenzgeraden 123, die zum Gewinnen unterschiedlicher Stellsignale zum Stellen des Betriebsparameters genutzt werden. Im ersten Diagramm von links ist die Ausgleichsgerade 125 stark nach links gedreht. Daraus wird vorteilhaft ein Stellsignal abgeleitet, durch das der Wert des Betriebsparameters schnell verringert wird. Im zweiten Diagramm ist die Ausgleichsgerade 125 nur schwach nach links gedreht zum Ableiten eines Stellsignals zum langsamen Verringern des Wertes des Betriebsparameters. Im mittleren Diagramm erfolgt in neutraler Haltung keine Änderung des Betriebsparameters. Entsprechend erfolgt gemäß dem vierten Diagramm eine langsame und nach dem fünften Diagramm eine schnelle Erhöhung des Wertes des Betriebsparameters. Als Beispiel wird bei einer relativen Rotation von 2° bis 5° der Wert des Betriebsparameters je Sekunde um 0,5 Einheiten und bei einer relativen Rotation von 5° bis 10° um 2 Einheiten je Sekunde verringert. Eine Erhöhung des Wertes des Betriebsparameters erfolgt entsprechend bei Drehung in Gegenrichtung. Weitere Wertebereiche der relativen Rotation können festgelegt werden. Der Betriebsparameter wird umso schneller verringert bzw. erhöht, je stärker die Hand geneigt ist.
Zusammenfassend wird erfindungsgemäß ein Verfahren zum Gewinnen eines Stellsignals durch Erkennen und Auswerten einer Bediengeste geschaffen, bei der eine Richtungsachse eines ausgewählten Fingers einer Hand auf ein Objekt gerichtet und die Hand gedreht wird. Dazu werden die Verfahrensschritte Aufnehmen eines Bildes der Hand, Erkennen des ausgewählten Fingers, Erkennen der Richtungsachse, Berechnen eines Schnittbereichs der Richtungsachse mit dem Objektbereich, Bestimmen des diesem Schnittbereich nächstliegenden Objekts sowie Erkennen wenigstens dreier Fingerspitzen, Ermitteln der Positionen der Fingerspitzen auf einer Abbildungsebene, Berechnen einer Ausgleichsgeraden aus den Positionen der Fingerspitzen, Ermitteln einer Neigung der Ausgleichsgeraden, Bestimmen einer Anfangslage der Ausgleichsgeraden und Wählen der Anfangslage als Referenzgerade, Bestimmen der Neigung der Referenzgeraden, Ermitteln von Betrag und Richtung eines Winkels zwischen der Ausgleichsgeraden und der Referenzgeraden und Bilden des Stellsignals aus Betrag und Richtung des Winkels vorgeschlagen. Ferner wird erfindungsgemäß eine Vorrichtung zum Durchführen des Verfahrens vorgeschlagen. Dadurch sind mechanische Bedienelemente oder Berührbildschirme entbehrlich.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 2441635 A1 [0001]
US 2012/0105613 A1 [0003]
US 7812826 B2 [0004]

Claims

Verfahren zum Gewinnen wenigstens eines zum Stellen eines Betriebsparameters durch Bedienen wenigstens eines in einem Objektbereich (105) befindlichen, auswählbaren Objekts (103) bestimmten Stellsignals aus einem Erkennen und Auswerten einer Bediengeste einer Hand (101) eines Nutzers, wobei in der Bediengeste eine Richtungsachse (104) eines ausgewählten Fingers (102) der Hand (101) auf ein ausgewähltes des wenigstens einen Objekts (103) gerichtet und wenigstens überwiegend zugleich eine Drehung (115; 116) der Hand (101) ausgeführt wird; zum Auswählen des Objekts (103) umfassend die Verfahrensschritte – Aufnehmen wenigstens eines Bildes der Hand (101) beim Ausführen der Bediengeste in einem Erkennungsbereich (111), – Erkennen des ausgewählten Fingers (102) im wenigstens einen Bild der Hand (101), – Erkennen der Richtungsachse (104) des ausgewählten Fingers (102), – Berechnen eines Schnittbereichs der Richtungsachse (104) mit dem Objektbereich (105) und – Bestimmen des diesem Schnittbereich nächstliegenden Objekts (103); zum Bedienen des Objekts (103) umfassend die weiteren Verfahrensschritte – Erkennen wenigstens dreier Fingerspitzen (117, 118, 119, 120, 121) im wenigstens einen Bild der Hand (101), – Ermitteln der Positionen der wenigstens drei Fingerspitzen (117, 118, 119, 120, 121) auf einer Abbildungsebene (112), – Berechnen einer Ausgleichsgeraden (125) aus den Positionen der wenigstens drei Fingerspitzen (117, 118, 119, 120, 121) auf der Abbildungsebene (112), – Ermitteln einer Neigung der Ausgleichsgeraden (125) gegenüber einer Bezugsrichtung auf der Abbildungsebene (112), – Bestimmen einer Anfangslage (122) der Ausgleichsgeraden (125), – Wählen der Anfangslage (122) der Ausgleichsgeraden (125) als Referenzgerade (123), – Bestimmen der Neigung der Referenzgeraden (123) gegenüber der Bezugsrichtung auf der Abbildungsebene (112), – Ermitteln von Betrag und Richtung eines eine relative Rotation (124) zwischen der Ausgleichsgeraden (125) und der Referenzgeraden (123) bildenden Winkels, und – Bilden des Stellsignals aus Betrag und Richtung der relativen Rotation.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Erkennen und Auswerten der Bediengeste zum Bilden des Stellsignals ausgeführt wird, solange sich die Hand (101) des Nutzers im Erkennungsbereich (111) befindet und die Richtungsachse (104) des ausgewählten Fingers (102) auf eines der Objekte gerichtet ist.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zum Rückmelden des Erkennens der Bediengeste an den Nutzer das ausgewählte Objekt (103) bzw. dessen Position in einem Darstellungsbereich (106) angezeigt und/oder markiert und/oder optisch hervorgehoben dargestellt wird.
Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im wenigstens einen Bild der Hand (101) des Nutzers die Fingerspitzen des Daumens (117), des Zeigefingers (118) und des kleinen Fingers (121) erkannt werden.
Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Bilden des Stellsignals dem ermittelten Betrag der relativen Rotation nach einer vorgegebenen Funktion ein Inkrement zugeordnet wird, das gemäß der Richtung der relativen Rotation zu einem Anfangswert des einzustellenden Betriebsparameters statisch und/oder wiederholt je vorgegebener Zeitspanne addiert bzw. davon subtrahiert wird.
Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Richtungsänderung der Richtungsachse (104) während des Bedienens des ausgewählten Objekts (103) zu einem laufenden Ändern der getroffenen Auswahl ausgewertet wird.
Vorrichtung (100) zum Durchführen des Verfahrens nach einem oder mehreren der Ansprüche 1 bis 6, aufweisend – einen Objektbereich (105) mit wenigstens einem darin befindlichen, auswählbaren Objekt (103), – einen Darstellungsbereich (106) zum Anzeigen und/oder Markieren und/oder optisch hervorgehoben Darstellen des wenigstens einen ausgewählten Objekts (103), – einen Sensor (110) zum Aufnehmen wenigstens eines Bildes einer Hand (101) eines Nutzers beim Ausführen einer Bediengeste, – einen Erkennungsbereich (111), in dem die Hand (101) des Nutzers beim Ausführen der Bediengeste vom Sensor (110) aufnehmbar ist, – eine Abbildungsebene (112) des Sensors (110) zum darauf Abbilden des Bildes der Hand (101) sowie – eine Recheneinheit (113) zum – Erkennen eines ausgewählten Fingers (102) im wenigstens einen Bild der Hand (101), – Erkennen einer Richtungsachse (104) des ausgewählten Fingers (102), – Berechnen eines Schnittbereichs der Richtungsachse (104) mit dem Objektbereich (105), – Bestimmen des diesem Schnittbereich nächstliegenden Objekts (103), – Erkennen wenigstens dreier Fingerspitzen (117, 118, 119, 120, 121) im wenigstens einen Bild der Hand (101), – Ermitteln der Positionen der wenigstens drei Fingerspitzen (117, 118, 119, 120, 121) auf der Abbildungsebene (112), – Berechnen einer Ausgleichsgeraden (125) aus den Positionen der wenigstens drei Fingerspitzen (117, 118, 119, 120, 121) auf der Abbildungsebene (112), – Ermitteln einer Neigung der Ausgleichsgeraden (125) gegenüber einer Bezugsrichtung auf der Abbildungsebene (112), – Bestimmen einer Anfangslage (122) der Ausgleichsgeraden (125), – Wählen der Anfangslage (122) der Ausgleichsgeraden (125) als Referenzgerade (123), – Bestimmen der Neigung der Referenzgeraden (123) gegenüber der Bezugsrichtung auf der Abbildungsebene (112), – Ermitteln von Betrag und Richtung eines eine relative Rotation (124) zwischen der Ausgleichsgeraden (125) und der Referenzgeraden (123) bildenden Winkels, und zum – Bilden eines Stellsignals aus Betrag und Richtung der relativen Rotation.
Computerprogrammprodukt, aufweisend Programmteile zum Ausführen eines Verfahrens nach mindestens einem der voranstehenden Ansprüche 1 bis 6.
Maschinenlesbare, insbesondere computerlesbare, Datenstruktur, erzeugt durch ein Verfahren gemäß mindestens einem der Ansprüche 1 bis 6 und/oder durch mindestens ein Computerprogrammprodukt gemäß Anspruch 8.
Maschinenlesbarer, insbesondere computerlesbarer, Datenträger, auf dem mindestens ein Computerprogrammprodukt gemäß Anspruch 8 aufgezeichnet und/oder gespeichert ist und/oder auf dem mindestens eine Datenstruktur gemäß Anspruch 9 zum Abruf bereit gehalten ist.