DE102014224632A1

DE102014224632A1 - Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung

Info

Publication number: DE102014224632A1
Application number: DE102014224632.6A
Authority: DE
Inventors: Stefan Andreas Kniep; Markus Langenberg; Daniel Zaum; Jens Heimsoth; Gerrit De Boer; Philippe Dreuw
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2014-12-02
Filing date: 2014-12-02
Publication date: 2016-06-02

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer Eingabevorrichtung (2), insbesondere eines Kraftfahrzeugs (1), die wenigstens einen Sensor (3) zum Erfassen der Position und/oder Positionsänderung mindestens eines Fingers (8–12) einer Hand (6) eines Benutzers aufweist, wobei in Abhängigkeit von der erfassten Position und/oder Positionsänderung auf eine Eingabe des Benutzers erkannt und diese ausgeführt wird. Es ist vorgesehen, dass in Abhängigkeit von der Positionsänderung von zumindest zwei nacheinander bewegten Fingern auf eine Eingabe erkannt wird.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben einer Eingabevorrichtung, insbesondere eines Kraftfahrzeugs, die einen berührungsfrei arbeitenden Sensor zum Erfassen der Position und/oder Positionsänderung mindestens eines Fingers einer Hand eines Benutzers aufweist, wobei in Abhängigkeit von der erfassten Position und/oder Positionsänderung des Fingers auf eine Eingabe erkannt und diese ausgeführt wird.
Ferner betrifft die Erfindung eine entsprechende Eingabevorrichtung.
Stand der Technik
Bei heutigen Kraftfahrzeugen werden Bedienkonzepte eingesetzt, bei denen eine Eingabevorrichtung und eine Anzeigevorrichtung nah beieinander angeordnet sind. Üblicherweise werden hierzu sogenannte berührungsempfindliche Bildschirme und sogenannte Touchscreens vorgesehen, bei denen Bedienung und Anzeige an der gleichen Stelle erfolgen. Häufig werden Anzeigevorrichtungen im oberen Bereich einer Bedienkonsole oder eines Armaturenbretts des Kraftfahrzeugs angebracht, damit der Fahrer zum Ablesen seinen Blick nicht zu stark von dem Verkehrsgeschehen abwenden muss. In anderen Fahrzeugen befinden sich ein Touchpad, also ein berührungsempfindlicher Sensor, im Bereich der Armauflage des Fahrers, und die Anzeigevorrichtung an gewohnter Stelle im Bereich des Armaturenbretts. Eine visuelle Rückmeldung an den Fahrer bei der Bedienung des Sensors kann dabei in Form von einer angedeuteten durchsichtigen Hand, die durch die Anzeigevorrichtung dargestellt wird, erfolgen. Dadurch kann der Fahrer bequem die Eingabevorrichtung betätigen, während ihm die Anzeige weiterhin in einem vorteilhaften Blickwinkel präsentiert wird. In diesem Fall ist es auch denkbar, die Anzeigevorrichtung nicht als Bildschirm, sondern als Head-Up-Display auszubilden.
Während klassische berührungsempfindliche Sensoren beziehungsweise Touchpads eine Berührung durch den Benutzer zu ihrer Bedienung benötigen, sind auch Eingabevorrichtungen bekannt, die berührungsfrei Eingaben erkennen beziehungsweise registrieren. Dabei werden beispielsweise mithilfe von Tiefensensoren die Positionen von Hand, Fingern und/oder Arm eines Benutzers im Raum erkannt und für eine Gestikbedienung ausgewertet. Für Fingergesten ist eine hohe Auflösung erforderlich, die mit Sensoren, wie beispielsweise Time-of-Flight-Sensoren, mit Stereokameras, strukturiertem Licht oder ähnlichem erreicht werden kann. Für Hand- oder Körpergesten können auch Sensoren mit einer geringeren Auflösung eingesetzt werden, wie beispielsweise Radarsensoren. Durch einen oder mehrere Sensoren wird also die Position oder Positionsänderung der Hand eines Benutzers erfasst, wobei in Abhängigkeit der erfassten Position und/oder Positionsänderung auf eine Eingabe erkannt und diese ausgeführt wird. Der Benutzer zeigt somit mit einer Bewegung seiner Hand beziehungsweise mit zumindest einem Finger seiner Hand der Eingabevorrichtung an, welche Eingabe er vornehmen möchte. Die Eingabevorrichtung erkennt anhand der Fingerbewegung die gewünschte Eingabe und führt diese aus, indem sie den durch die Bewegung vorgegebenen Befehl umsetzt und beispielsweise einen Betriebspararmeter des Kraftfahrzeugs verändert. So kann beispielsweise in Abhängigkeit von der Position und Positionsänderung eines Fingers des Benutzers auf die Eingabe „Lautstärke erhöhen“ erkannt und von der Eingabevorrichtung ausgeführt werden, indem sie die Lautstärke, beispielsweise eines Unterhaltungssystems des Kraftfahrzeugs, erhöht.
Aus der Offenlegungsschrift US 2012 010 5613 A1 ist es bereits bekannt, Hand- oder Fingergesten mittels einer Kamera aufzunehmen und Funktionen eines Kraftfahrzeugs in Abhängigkeit der erkannten Gesten zu steuern. Ein ähnliches System ist auch aus der Offenlegungsschrift EP 2 441 635 A1 bereits bekannt. Diese offenbart darüber hinaus eine Detektion des Zeitverlaufs von Positionsänderungen von Fingerspitzen im freien Raum.
Offenbarung der Erfindung
Das erfindungsgemäße Verfahren mit den Merkmalen des Anspruchs 1 hat den Vorteil, dass der Benutzer durch nur minimale Bewegungen eine Aktion auslösen kann. Dabei ist vorgesehen, dass die Bewegungen seiner Finger zum Erkennen eines Shortcuts beziehungsweise einer Abkürzung zu einer bestimmten durchzuführenden Funktion überwacht werden. Der Benutzer kann so durch Bewegen von beispielsweise nur zwei Fingern in einer bestimmten Reihenfolge der Eingabevorrichtung anzeigen, dass er eine bestimmte Aktion direkt auslösen möchte, die dann von der Eingabevorrichtung ausgeführt wird. So kann der Benutzer beispielsweise durch ein nacheinander Bewegen von Zeigefinger und Mittelfinger die Zieleingabe eines Navigationssystems aktivieren. Erfindungsgemäß ist hierzu vorgesehen, dass in Abhängigkeit von der Positionsänderung von zumindest zwei nacheinander bewegten Fingern auf eine Eingabe erkannt wird. Führt der Benutzer seine Hand in den Erkennungsbereich des Sensors und bewegt einzelne Finger nacheinander in einer vorbestimmten Abfolge, beispielsweise schnell nach unten oder in die Richtung, in die auch die Handinnenfläche zeigt, sodass der jeweilige Finger eine Art Tipp-Bewegung durchführt, so kann diese Geste von dem Sensor erfasst und entsprechend ausgewertet werden. Der Benutzer erhält somit den Vorteil, dass er nicht ein bestimmtes Ziel bei seiner Bewegung des Fingers treffen muss, vielmehr ist die Art der Bewegung der mehren Finger bereits ausschlaggebend für das Durchführen beziehungsweise Anzeigen einer gewünschten Aktion. Dabei kommt es zunächst auch nicht darauf an, welche Finger der Benutzer bewegt. Ist der Sensor beispielsweise als berührungsempfindlicher Sensor beziehungsweise als Touchpad ausgebildet, so kann ein Benutzer durch Tippen auf das Touchpad an beliebiger Stelle mit zwei nacheinander bewegten Fingern eine gewünschte Aktion anzeigen. Dabei wird durch den Sensor nicht der Finger als solcher registriert, jedoch wird erfasst, welcher von zwei nebeneinander bewegten Fingern zuerst den Sensor berührt hat. Sobald der zweite Finger durch Bewegung/Positionsänderung den Sensor an einer zweiten Stelle berührt hat, kann festgestellt werden, ob der zweite Finger rechts oder links neben dem ersten Finger bewegt wurde, und dadurch wird dann auf ein bestimmtes Bewegungsmuster der benachbarten Finger geschlossen. Dadurch kann beispielsweise die Aktion „zwei Mal mit dem Zeigefinger tippen, ein Mal mit dem Mittelfinger“ von der Aktion „zwei Mal mit dem Mittelfinger tippen, ein Mal mit dem Zeigefinger“ unterschieden werden, sodass beiden Aktionen unterschiedliche Funktionen (Shortcuts) zugeordnet werden können.
Gemäß einer bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass in Abhängigkeit von der Reihenfolge der Positionsänderungen auf eine Eingabe erkannt wird. Wie zuvor bereits beschrieben, ist die Reihenfolge der bewegten Finger ausschlaggebend für die von der Eingabevorrichtung auszuführenden Eingabe. Wie bereits erwähnt kann dabei auch ein Finger mehrmals nacheinander oder abwechselnd mit einem oder mehreren anderen Fingern bewegt werden, um eine bestimmte Funktion auszulösen.
Weiterhin ist bevorzugt vorgesehen, dass in Abhängigkeit davon auf eine Eingabe erkannt wird, welche der Finger bewegt werden. Dies ist natürlich nur dann möglich, wenn der Eingabevorrichtung bekannt ist, welche Finger sich im Erfassungsbereich des Sensors befinden und welche dieser Finger bewegt werden. Gemäß einer ersten Ausführungsform kann vorgesehen sein, dass der Benutzer zunächst das System initialisieren muss, indem er alle für die Aktion zu verwenden Finger gleichzeitig auf den Berührungsempfindlichen Sensor legt. Anschließend weiß die Eingabevorrichtung, dass beispielsweise die Bewegung von drei oder vier nebeneinander liegenden Fingern zu erfassen und auszuwerten ist. Ob es sich dabei beispielsweise um Zeigefinger, Mittelfinger und Ringfinger, oder um Mittelfinger, Ringfinger und kleinen Finger handelt ist zunächst nicht von Belang. Gemäß einer zweiten Ausführungsform kann vorgesehen sein, dass Mittel zum Erfassen der Finger vorgesehen sind. So ist es beispielsweise denkbar, jedem der Finger ein Geberelement, wie beispielsweise einen Sensorring oder dergleichen zuzuordnen, die mit dem Sensor zusammenwirken, sodass eine Zuordnung einer erfassten Bewegung zu einem der Finger einfach möglich ist. Hierbei muss der Benutzer jedoch darauf achten, dass er den richtigen Ring in den richten Finger steckt. Gemäß einer dritten Ausführungsform ist bevorzugt vorgesehen, dass der Sensor oder ein weiterer Sensor als Kamerasensor ausgebildet ist, der die Hand des Benutzers erfasst und durch Bildauswertung die Finger der Hand des Benutzers voneinander unterscheidet und dadurch ermittelt, welcher der Finger wann bewegt wird, um daraus ein Muster beziehungsweise einen Shortcut zu erkennen.
Gemäß einer bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass zum Erfassen der Positionsänderungen wenigstens ein berührungsempfindlicher Sensor verwendet wird. Eine Positionsänderung wird dann bereits dadurch erkannt, dass der Benutzer ein auf dem berührungsempfindlichen Sensor aufliegenden Finger anhebt und dadurch der Berührungskontakt zu dem Sensor verloren geht. Hierdurch kann auf einfache Art und Weise eine Positionsänderung ermittelt werden.
Alternativ oder zusätzlich ist bevorzugt vorgesehen, dass zum Erfassen der Positionsänderung und/oder zum Erfassen, welcher der Finger bewegt wird, wenigstens ein Kamerasensor verwendet wird. Mittels des Kamerasensors ist es sowohl möglich, Finger voneinander zu unterscheiden und auch die Bewegungen der Finger nachzuverfolgen, um auf eine Positionsänderung der Finger und damit auf einen Shortcut zu erkennen. Insbesondere ist vorgesehen, dass sowohl ein berührungsempfindlicher Sensor, als auch ein Kamerasensor vorgesehen sind, um mittels des berührungsempfindlichen Sensors Positionsänderungen besonders einfach zu erfassen, und um mittels des Kamerasensors zu ermitteln, welcher der Finger die jeweilige Positionsänderung durchführt. Eine derartige Kombination der Sensoren ermöglicht eine einfache und sichere Auswertung der Bewegungen der Finger des Benutzers.
Weiterhin ist bevorzugt vorgesehen, dass eine Positionsänderung eines Fingers nur dann ausgewertet wird, wenn der Finger von einer Ausgangsposition in eine Zielposition und anschließend zurück in die Ausgangsposition bewegt wurde. Der jeweils bewegte Finger muss also eine hin- und her Bewegung durchführen, um eine Eingabe zu tätigen. Damit werden Fehlbetätigungen auf einfache Art und Weise vermieden. Ist ein Touchpad zum Erfassen der Positionsänderung vorgesehen, so ist die Ausgangsposition vorzugsweise die das Touchpad berührende Position der Finger und die Zielposition eine von dem Touchpad entfernte Stellung. Ist der Sensor als Kamerasensor ausgebildet, können Ausgangsposition und Zielposition auch im freien Raum liegen.
Gemäß einer bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass eine Positionsänderung der Finger nur dann ausgewertet/berücksichtig wird, wenn die Zielposition einer vorgegebenen Zielposition entspricht. Entspricht die vorgegebene Zielposition beispielsweise dem zuvor genannten Berührungskontakt mit dem berührungsempfindlichen Sensor, so wird die Positionsänderung des Fingers nur dann erkannt, wenn der Finger den Sensor erst berührt, dann nicht berührt und dann wieder berührt. Ob es sich um den gleichen Finger handelt, wird insbesondere dadurch ermittelt, ob die erste und zweite Berührung an der gleichen oder nahezu gleichen Stelle auf dem berührungsempfindlichen Sensor beziehungsweise auf dessen Oberfläche erfolgt. Erfolgt die Berührung an der gleichen oder nahezu gleichen Stelle, so wird darauf erkannt, dass ein Finger abgehoben und dann auf der Oberfläche wieder abgesetzt wurde. Erfolgt die zweite Berührung beabstandet zu der ersten Stelle, so wird darauf erkannt, dass die zweite Berührung durch einen anderen Finger erfolgt ist. Folglich wird die Eingabe nicht gewertet, da die Bewegung des einen Fingers nicht vollständig von der Ausgangsposition in die Zielpositionen und in die Ausgangsposition zurück vollzogen wurde.
Gemäß einer bevorzugten Weiterbildung der Erfindung ist weiterhin vorgesehen, dass auf das Erreichen der Zielposition nur dann erkannt wird, wenn der bewegte Finger eine vorgegebene Oberfläche, insbesondere die Oberfläche des berührungsempfindlichen Sensors, berührt. Insbesondere in Kombination mit einem Kamerasensor lässt sich dadurch besonders einfach der Finger und die Positionsänderung des Fingers ermitteln.
Alternativ ist bevorzugt vorgesehen, dass auf das Erreichen der Zielposition nur dann erkannt wird, wenn der bewegte Finger einen anderen Finger derselben Hand berührt. Die Zielposition ist somit eine frei im Raum liegende Position, die dadurch definiert ist, dass der bewegte Finger auf einen anderen Finger zubewegt wurde oder wird, bis er diesen berührt. So wird beispielsweise das Antippen des Daumens mit zwei unterschiedlichen Fingern durch den Benutzer im Erfassungsbereich des Sensors als ein Shortcut erkannt und eine entsprechende Eingabe durch die Eingabevorrichtung ausgeführt. Auch ist es denkbar, dass als Zielposition eine beinahe Berührung des bewegten Fingers und eines anderen Fingers vorgegeben wird. Dadurch ist ein tatsächliches Berühren des bewegten Fingers mit beispielsweise dem Daumen nicht notwendig. Durch Bildauswertungsalgorithmen lässt sich insbesondere mittels des Kamerasensors die Bewegung der Finger ermitteln und aufgrund von Konturauswertungen der Finger und Daumen unterscheiden und somit ein Bewegen des Finger auf den Daumen zu oder von dem Daumen weg auf einfache Art und Weise erkennen.
Die erfindungsgemäße Eingabevorrichtung mit den Merkmalen des Anspruchs 10 zeichnet sich dadurch aus, dass die Eingabevorrichtung bei bestimmungsgemäßem Gebrauch das erfindungsgemäße Verfahren durchführt. Es ergeben sich hierdurch die bereits genannten Vorteile. Weitere Merkmale und Vorteile ergeben sich aus dem zuvor Beschriebenen sowie aus den Ansprüchen. Im Folgenden soll die Erfindung anhand der Zeichnung näher erläutert werden. Dazu zeigen
1 den Innenraum eines Kraftfahrzeugs mit einer vorteilhaften Eingabevorrichtung,
2A bis 2D ein Beispiel für eine Benutzung der Eingabevorrichtung und
3 ein Beispiel zur Auswertung von Positionsänderungen von Fingern eines Benutzers der Eingabevorrichtung.
1 zeigt eine schematische Darstellung des Innenraums eines hier nicht näher dargestellten Kraftfahrzeugs 1, welches eine Eingabevorrichtung 2 zum berührungslosen Eingeben von Steuerbefehlen aufweist. Die Eingabevorrichtung weist hierzu einen berührungsfrei arbeitenden Sensor 3 sowie eine Anzeigeeinheit 4 auf. Die Anzeigeeinheit 4 ist in das Armaturenbrett beziehungsweise in die Bedienkonsole des Kraftfahrzeugs 1 eingebracht angeordnet. Die Anzeigeeinheit 4 ist als Bildschirm, insbesondere Display, ausgebildet und kann beispielsweise Bestandteil eines Navigationssystems oder eines Entertainmentsystems des Kraftfahrzeugs 1 sein. Auch ist es denkbar, die Anzeigeeinheit 4 alternativ oder zusätzlich als Head-Up-Display (HUD) auszubilden. Der berührungsfrei arbeitende Sensor 3 ist bevorzugt als zweidimensional arbeitende Videokamera beziehungsweise Kameraeinrichtung ausgebildet, die den mit gestrichelten Linien dargestellten Erfassungsbereich 7 aufweist. Die Videokamera ist dabei bevorzugt derart ausgerichtet, dass sie auf das frontseitige Ende einer mittleren Armauflage 5 des Kraftfahrzeugs 1 weist. Die Armauflage 5 weist selbst keine reale Eingabeoberfläche auf, auf welcher ein Fahrer mittels einer hier nur schematisch dargestellten Hand 6 durch Berührung der Eingabeoberfläche einen Befehl eingeben könnte.
Die Eingabevorrichtung 2 ist stattdessen dazu ausgebildet, eine Position und/oder Positionsänderung zumindest eines Fingers der Hand 6 im Raum zu erfassen und in Abhängigkeit davon auf eine Eingabe zu erkennen und diese auszuführen.
Durch das im Folgenden beschriebene Verfahren wird es dem Benutzer ermöglicht, durch einfache Gesten die Eingabevorrichtung 2 und damit das Kraftfahrzeug 1 zu bedienen. Dabei ist vorgesehen, dass sich der Benutzer Shortcuts bedienen kann, um durch einfache Bewegungen auf vorbestimmte Aktionen direkt zugreifen zu können. Dazu sind in einem nicht-flüchtigen Speicher der Eingabevorrichtung 2 mehrere Aktionen mit bestimmten Gesten verknüpft, sodass wenn eine dieser Gesten erfasst wird, automatisch die damit verknüpfte Aktion von der Eingabevorrichtung ausgeführt wird, wie beispielsweise das Aktivieren eines Navigationssystems oder einer Telefonanlage des Kraftfahrzeugs 1. Dazu ist vorgesehen, dass mittels des Sensors 3, der wie zuvor beschrieben als Videokamera beziehungsweise Kamerasensor ausgebildet ist, eine Hand der Benutzers in dem durch die Linien in 1 dargestellten Erfassungsbereich 7 des Kamerasensors erfasst und die Bewegungen der Finger 8, 9, 10, 11, 12 der Hand 6 nachverfolgt werden, um auf eine gewünschte Eingabe zu schließen. Bei den Fingern 8 bis 12 der Hand handelt es sich um den Daumen (Finger 8), den Zeigefinger (Finger 9), den Mittelfinger (Finger 10), den Ringfinger (Finger 11) und den kleinen Finger (Finger 12). In Abhängigkeit von der Positionsänderung von zumindest zwei nacheinander bewegten Fingern 8 bis 12 der Hand 6 erkennt die Eingabevorrichtung 2 somit auf eine gewünschte Eingabe des Benutzers. Zur Bedienung der Eingabevorrichtung 2 muss der Benutzer seine Hand 6 in den Erfassungsbereich 7 des Kamerasensors beziehungsweise des Sensors 3 bewegen. Sobald sich die Hand 6 in dem Erfassungsbereich befindet, bewegt der Benutzer mindestens zwei Finger der Hand 6 nacheinander in einer vorbestimmten Abfolge, insbesondere in die Richtung, in die auch die Handinnenfläche zeigt. Dabei wird jeder der Finger zunächst von einer Ausgangsposition in eine Zielposition bewegt, und anschließend wieder zurück in die Ausgangsposition bevor der nächste Finger bewegt wird. Jede Abfolge von Fingerbewegungen ist, wie bereits erwähnt, mit einer vorbestimmten Aktion verknüpft, die nach Ausführung der Fingerbewegungsabfolge automatisch aktiviert wird. Die Zuordnung der Shortcuts zu Gesten beziehungsweise Positionsänderungen der Finger ist dokumentiert und dem Benutzer bekannt oder durch den Benutzer selbst eingestellt. Insbesondere ist vorgesehen, dass der Benutzer seine Hand 6 derart in den Erkennungsbereich einführt, dass die Finger der Hand 6 leicht gespreizt und gegebenenfalls leicht gekrümmt sind. Insbesondere ist vorgesehen, dass der Benutzer seine Hand 6 derart in den Erkennungsbereich einführen muss, dass die Finger 9 bis 12 aus Sicht des Sensors 3 zumindest im Wesentlichen hintereinander liegen, sodass die Hand 6 mit dem Daumen (Finger 8) an den übrigen Fingern 9 bis 12 eine optische Achse des Kamerasensors sozusagen umgreift.
Um die Positionsänderungen der Finger nachverfolgen zu können, wird bevorzugt zunächst eine Hintergrundmodellierung zur Bestimmung des Hinter- und des Vordergrunds anhand des von dem Sensor 3 erfassten Bildes durchgeführt, wobei sowohl statisch als auch dynamisch Modelle benutzt werden können. Durch eine anschließen Schwellwertbildung wird eine binäre Vordergrundmaske berechnet. Anschließend wird eine Handkonturberechnung und Fingerkonturberechnung auf der Vordergrundmaske durchgeführt und es werden Fingerspitzen der Hand ermittelt, sowie deren Zugehörigkeit zu einzelnen Fingern. Neben einer äußeren Kante der Handkontur, die sich aus Vor- und Hintergrund ergibt, werden zweckmäßigerweise auch innere Kanten im Vordergrund mittels weiterer Kantenerkennungsverfahren, beispielsweise Canny-Edge-Detection, erkannt und der Handkontur hinzugefügt, um in der beschriebenen Ausrichtung der Hand Finger der Hand voneinander unterscheiden zu können. Die Fingerspitzen werden über die Zeit verfolgt, um dadurch Positionsänderungen der Finger zu ermitteln.
Im Folgenden soll eine bevorzugte Erfassung und Auswertung der Positionsänderung der Hand 6 beziehungsweise der Finger 8 bis 12 der Hand 6 im Detail erläutert werden: Zunächst erfolgt eine Hintergrundmodellierung nach Zivkovic, Zoran (Zivkovic, Zoran; „Improved Adaptive Gaussian Mixture Model for Background Substration", ICPR, 2004) des durch den Sensor 3 erfassten Bildes. Dadurch werden der Hintergrund und der Vordergrund voneinander getrennt. Als Hintergrund wird dabei das statische beziehungsweise sich nicht verändernde von dem Sensor 3 erfasste Bild in dem Kraftfahrzeug verstanden. Das statische Bild dient als Referenzbild, dass zu jedem Zeitpunkt einer Bildfolge von einem aktuell erfassten Bild abgezogen wird, so dass nur Bildelemente beziehungsweise Pixel im resultierenden Differenzbild markiert sind, die sich vom vorher definierten/ erfassten statischen Hintergrundbild unterscheiden. Der Vordergrund ist die im Erfassungsbereich des Sensors 3 bewegte Hand 6 eines Benutzers, wie sie in 1 beispielhaft dargestellt ist.
Alternativ oder zusätzlich zu der Hintergrundmodellierung ist vorgesehen, dass eine Vordergrundmodellierung nach Dadgostar und Sarrafzadeh (Dadgostar, Farhad und Sarrafzadeh, Abdolhossein: „An adaptive real-time skin detector based on Hue thresholding: A comparison on two motion tracking methods" Pattern Recognition Letters, 2006, 1342–1352) durchgeführt wird, bei welcher relevante Vordergrundregionen für die Handerkennung durch spezielle Hautfarbmodelle erfasst werden, wobei aufgrund des Farbunterschieds zwischen der Hand und dem Hintergrund die Hand erkannt wird.
Auf Basis der der durch die Vordergrund- und/oder Hinterdgrundmodellierung gewonnenen Daten wird eine Handkontur der Hand 6 ermittelt und insbesondere auch der Handkonturschwerpunkt berechnet. Vorteilhafterweise wird dazu eine Handkontursegmentierung nach Suzuki und Abe (Suzuki, S. und Abe, K.: Topological Structural Analysis of Digitized Binary Images by Border Following." CVGIP, 1985, 32–46) durchgeführt. Anschließend werden Fingerspitzen der Hand 6 und damit einzelne Finger erkannt. Dies erfolgt vorzugsweise in Abhängigkeit von den erfassten Krümmungen der Handkontur, wie beispielsweise bei Malik (Malik, Shahzad: „Real-time Hand Tracking and Finger Tracking for Interaction", Toronto: CSC2503F Project Report, University of Toronto, 2003) beschrieben wurde. Alternativ kann auch eine Handmodellierung, wie sie von Liu und Lovell (Liu, Nianjun and Lovell, Brian C. „Hand Gesture Extraction by Active Shape Models", Proceedings of the Digital Image Computing on Techniques and Applications, 2005) beschrieben wurde durchgeführt werden, um sowohl die Hand als auch ihre Finger- und Fingerspitzen zu detektieren (Lee, J. und Kunii, T. L.: „Model-Based Analysis of Hand Posture", IEEE Computer Graphics and Applications, 1995, 77–86). Auf Basis der so bestimmten Fingerspitzen werden erneut geschlossene Konturen, berechnet, wobei deren Schwerpunktzentren die Position der finalen Fingerspitze repräsentieren. Falls mehrere falsche Fingerspitzen durch eine Übersegmentierung detektiert wurden, werden diese anhand von geometrischen Heuristiken und des Abstands zum Handkonturschwerpunkt verworfen. Hierdurch lassen sich auf einfache Art und Weise einzelne Fingerspitzen der Hand 6 ermitteln.
Sowohl die gesamte Hand 6 als auch deren Fingerspitzen können mit bekannten Trackingverfahren, wie sie beispielsweise von Do, Asfour und Dillmann (Do, Martin; Asfour, Tamim; and Dillmann, Rüdiger: „Particle Filter-Based Fingertip Tracking with Circular Hough Transform Features" MVA, 2011) beschrieben wurden, verfolgt werden. Die Erkennung statischer Zeigegesten kann durch standartisierte Klassifikationsverfahren und unabhängig zu jedem Bild einer Sequenz erfolgen, wie von Lockton und Fitzgibbon (Lockton, R. und Fitzgibbon, A. W.: „Real-time gesture recognition using deterministic boosting", BMVC, 2002) oder Nagi (Nagi, Jawad et al. „Max-Pooling Convolutional Neural Networks for Vision-based Hand Gesture Recognition" ICSIPA, 2011, 342–347) beschrieben. Probabilistische Sequenzmodellierungsverfahren erlauben sowohl die Erkennung einfacher statischer (Dreuw, Philippe; Keysers, Daniel; Deselaers, Thomas und Ney, Hermann: „Gesture Recognition Using Image Comparision Methods", International Workshop on Gesture in Human-Computer Interaction and Simulation, 2005, 124–128) als auch komplexer dynamischer Handgesten (Dreuw, Philippe; Rybach, David; Deselaers, Thomas; Zahedi, Morteza und Ney, Hermann. „Speech Recognition Techniques for a Sign Language Recogntion System", Interspeech, Antwerp, Belgium, 2007, 2513–2516), die nicht notwendigerweise eine bereits segmentierte Handkontur als Eingabe erwarten, sondern mittels erscheinungsbasierter Merkmale auf dem gesamten Bild arbeiten. Ähnliche Verfahren, die auch angewendet können, basieren auf einer Analyse des optischen Flusses (Cutler, R. und Turk, M.: „View-Based Interpretation on Real-Time Optical Flow for Gesture Recognition", IEEE International Conference on Automatic Face and Gesture Recognition, Nara, Japan, 1998).
Durch das beschriebene Verfahren werden somit die Position der einzelnen Fingerspitzen inklusive der Fingertypen erkannt und verfolgt. Derartige Systeme sind aus dem Stand der Technik, wie beispielsweise der bereits auf dem Markt verfügbare „Leap-Motion-Sensor“. Die Zuordnung der Fingertypen basiert auf dem Vergleich der aufgenommen Hand 6 mit einem Handmodel anhand geometrischer Gesichtspunkte, wie Reihenfolge und relative Position der Finger zum Handzentrum.
Anhand des zeitlichen Verlaufs der Positionen der Fingerspitzen, also der Positionsänderungen können Tippbewegungen der Fingerspitzen erkannt werden. Unter Tippbewegungen werden derartige Bewegungen verstanden, bei welchen eine Fingerspitze schnell um einen bis wenige Zentimeter aus seiner Ausgangsposition in eine Zielposition bewegt und anschließend um etwa dieselbe Distanz wieder zurück in die Ausgangsposition, also in entgegengesetzte Richtung, bewegt wird.
Vorteilhaft wird die Positionsänderung der Finger 9 bis 12 darauf überwacht, ob eine Berührung mit dem Daumen beziehungsweise dem Finger 8 stattfindet. Dazu wird zunächst geprüft, ob sich die Fingerspitze des jeweiligen Fingers 9 bis 12 vor der möglichen Berührung zwischen Daumen und Finger weitgehend gradlinig auf den Daumen beziehungsweise Finger 8 zu- und danach wieder von diesem wegbewegt. Um festzustellen, ob sich die beiden Finger nur beinahe oder tatsächlich berührt haben, werden die Folgenden Parameter erfasst und ausgewertet:
Es wird der minimale Abstand, insbesondere in Pixeln, zwischen der Fingerspitze des bewegten Fingers 9 bis 12 und des Fingers 8 ermittelt, der während der Bewegung des Fingers 9 in Richtung des Fingers 8 auftritt. Die Abstände werden in Relation zum durchschnittlich von der Hand eingenommenen Raumwinkel, aus Sicht des Sensors 3, gesetzt, um diese von der Größe der Hand und des Abstandes der Hand 6 zu dem Sensor 3 zu entkoppeln. Der Raumwinkel ergibt sich aus der Anzahl der Pixel, die von der Hand überdeckt sind, und wird über mehrere Bilder beziehungsweise eine vorgebbare Zeitdauer gemittelt. Der Verlauf der Fingerspitzen zwischen zwei aufeinander folgenden Bilder/Samples wird ebenfalls erfasst, um eine Bewegungsgeschwindigkeit zu ermitteln. In Abhängigkeit von der ermittelten Bewegungsgeschwindigkeit wird auf eine Berührung oder nicht-Berührung geschlossen, wobei davon ausgegangen wird, dass, wenn sich die Bewegungsgeschwindigkeit plötzlich verändert, insbesondere plötzlich verringert, eine Berührung beziehungsweise ein Auftreffen des sich bewegenden Fingers auf den Daumen vorliegt, während wenn der Finger nicht auf den Daumen auftrifft, die Bewegung bei nicht-Berührung langsamer verlangsamt wird, wobei die Bewegungen von Daumen und bewegtem Finger außerdem möglicherweise nicht zeitgleich gestoppt wird.
Vorzugsweise wird die Eingabevorrichtung 2 vor Inbetriebnahme kalibriert, um die Fingerbewegungen durch die Fingererkennung zu optimieren. Die Kalibrierung erfolgt insbesondere dadurch, dass die einer bestimmten Aktion zugeordnete oder zuzuordnenden Geste beziehungsweise Positionsänderung von Fingern mehrmals von dem Benutzer ausgeführt wird, wobei die oben genannten Parameter protokolliert werden. Dabei ist vorgesehen, dass bei der Hälfte der Ausführungen der Daumen tatsächlich berührt, bei der anderen Hälft nur fast berührt wird. Durch den Vergleich der protokollierten Parameter werden die typischen Parameterwerte bei Berührung und bei nicht-Berührung ermittelt und gespeichert und stehen damit für einen Vergleich beziehungsweise für eine Auswertung der später erfolgenden Fingergesten bei einer Benutzung der Eingabevorrichtung 2 zur Verfügung.
Alternativ ist auch denkbar, die Erkennung der Berührung auszulassen. Hierbei wird angenommen, dass ein Benutzer die Geste nur teilweise ausführt, den bewegten Finger zwar in Richtung des Daumens bewegt, die Bewegung jedoch kurz vor der Berührung abstoppt, und den Finger wieder zurück in eine Ausgangsposition bewegt. In dieser Variante wird die Geste bereits erkannt, wenn der Benutzer den bewegten Finger 9 um einen definierbaren Betrag in Richtung des Daumens (Finger 8) bewegt hat und der Abstand zwischen Daumen und Finger 9 einen definierbaren Wert unterschreitet. Sowohl der Betrag der Bewegungsdistanz als auch der Abstand werden insbesondere wie oben beschrieben relativ zur projizierten Größe der Hand interpretiert. Um zu verhindern, dass keine Verwechslung mit anderen Gesten erfolgt, wird die dem Shortcut zugeordnete Funktion in dieser Ausprägung erst dann aktiviert, wenn der vollständige Shortcut, also die zu dem Shortcut zugehörige Geste vollständig ausgeführt und erkannt wurde.
Zum Erkennen einzelner Shortcuts wird bevorzugt folgendermaßen vorgegangen. Mit der Erkennung der Positionsänderungen der Finger 9 bis 12, insbesondere mit der Erkennung des Tippens der Finger 9 bis 12 auf den Daumen erstellt die Eingabevorrichtung 2 während der Ausführung der Geste eine Liste von Fingertypen, die mit jedem weiteren Tippen um ein Element erweitert wird. Die Aktion, die dem jeweiligen Shortcut zugeordnet ist, wird ausgeführt, sobald es keinen weiteren Shortcut gibt, der mit der bis dahin erkannten Sequenz von Positionsänderungen der Finger beginnt. Bevorzugt wird die Aktion erst dann ausgelöst, wenn nach dem letzten Tippen beziehungsweise Positionsänderung eine definierte/vorgebbare Zeitdauer verstrichen ist. Alternativ ist vorgesehen, dass das Verfahren derart gestaltet ist, dass die Aktion erst dann ausgelöst wird, wenn nach dem Shortcut eine Bestätigungsgeste ausgeführt wird. Diese Bestätigungsgeste kann beispielsweise das Ballen der Hand 6 zur Faust sein.
2A bis 2D zeigen beispielhaft einen Shortcut, bei welchem nacheinander der Zeigefinger, der Mittelfinger und der Ringfinger auf den Daumen tippen. 2A zeigt dazu die Hand 6 des Benutzers in ihrer Ausgangsstellung aus Sicht des Sensors 3. 2B zeigt das erste Tippen, wenn der Finger 9 den Finger 8 berührt. Die Stellung, in welcher der Finger 9 den Daumen berührt, wird als die Zielposition des bewegten Fingers 9 verstanden. 2C zeigt den Zustand, wenn der Mittelfinger beziehungsweise Finger 10 den Daumen berührt, und 2D den Zustand, wenn der Finger 11 den Daumen berührt. Als alternative Zielposition, also alternativ zum Berühren des Daumens, könnte auch vorgesehen sein, dass der Zielposition das Berühren der Handinnenfläche der Hand 6 des Benutzers vorgesehen ist. Durch die Bewegung des jeweiligen Fingers 9 bis 12 erkennt die Eingabevorrichtung 2 den entsprechenden Fingertyp anhand der sich überlappenden beziehungsweise verbleibenden Fingerkonturen.
Durch das Vorgeben der berührenden Zielposition wird erreicht, dass der Benutzer außerdem ein haptisches Feedback über die Ausführung seiner Fingergeste erhält. Benutzer, die die Eingabevorrichtung 2 häufig benutzen, sparen durch das vorteilhafte Verfahren Zeit bei der Eingabe von Befehlen. Die Bedienung ist besonders komfortabel, weil die aufwendige Navigation durch Strukturen entfällt. Auch wenn nur Zeige-, Mittel- und Ringfinger zur Kodierung/Durchführung von Shortcuts verwendet werden, können durch Permutationen und Wiederholungen viele verschieden Shortcuts auf einfache Art und Weise definiert werden.
Die Erkennung der Fingertypen erfolgt insbesondere in Abhängigkeit von einem Vergleich der im Erfassungsbereich 7 befindlichen Hand 6 des Benutzers mit einem zuvor definierten Handmodell. Für die Erkennung der Geste ist es von Vorteil, wenn die Bewegungen der Fingerspitzen, die bei der Ausführung der Geste erfolgen, in einer senkrecht zur optischen Achse des Sensors 3 stehenden Ebene verlaufen. Die Erkennung solcher Bewegungen ist einfach, weil sie keine Tiefenbestimmung erfordert.
3 zeigt beispielhaft den Beschleunigungsverlauf eines bewegten Fingers 9 für einen ersten Fall I, bei welchen als Zielposition eine Berührung des Daumens vorgesehen ist, und für einen zweiten Fall II, bei welchen als Zielposition eine Position beabstandet zu dem Daumen oder eine frei im Raum liegende Zielposition, die beabstandet zur Ausgangsposition ist, vorliegt. Dazu zeigt 3 in einem Diagramm über die Zeit t aufgetragen beispielhaft die Bewegungsgeschwindigkeit V des bewegten Fingers 9. In dem ersten Fall (I) beginnt zu dem Zeitpunkt t0 eine Bewegung des Fingers 9. Die Geschwindigkeit nimmt zunächst zu und dann zu dem Zeitpunkt t1 abrupt ab, wenn der bewegte Finger 9 (oder 10, 11, 12) auf den Daumen (Finger 8) trifft. In dem zweiten Fall (II) erfolgt eine Geschwindigkeitszunahme ab dem Zeitpunkt t3, wenn der bewegte Finger 9 aus der Ausgangsposition beispielsweise in Richtung des Daumens bewegt wird. Die Geschwindigkeit nimmt zu und dann eher langsam ab, wenn der Finger in der Zielposition abgebremst wird. Durch den Vergleich der Geschwindigkeitsverläufe beziehungsweise der Beschleunigungen des bewegten Fingers 9 lässt sich somit einfach erkennen, ob ein Auftreffen des Fingers auf den Daumen erfolgt ist oder nicht, auch dann, wenn der Abstand zwischen Daumen und bewegten Finger nicht eindeutig feststellbar ist.
Vorzugsweise erhält der Benutzer eine akustische oder visuelle Rückmeldung, wenn das Tippen mit einem der Finger 9 bis 12 erkannt wurde. Dabei wird insbesondere die Tonhöhe der akustischen Rückmeldung in Abhängigkeit des die Tippbewegung durchführenden Fingers variiert.
Gemäß einem weiteren Ausführungsbeispiel ist vorgesehen, dass der Benutzer mit seinen Fingern auf eine Auflagefläche tippt, die Zielposition für die Finger also die Auflagefläche ist. Dadurch kann der Benutzer beispielsweise auch mit dem Daumen eine Tippbewegung durchführen. Dabei spielt die Position des Fingers auf der Auflagefläche zunächst keine Rolle, sondern nur, mit welchem Finger die Auflagefläche berührt wird. Dies ist für den Benutzer einfach, weil er seinen Blick nicht von der Fahrbahn abwenden muss, um eine Geste durchzuführen beziehungsweise um eine Eingabe vorzunehmen. Zur Erkennung der Berührung zwischen Finger und Auflagefläche kann entweder der Abstand zwischen dem bewegten Finger und einem durch den Finger erzeugten Schatten auf der Auflagefläche berücksichtigt werden oder es wird zur Erkennung der Berührung ein herkömmlicher berührungsempfindlicher Sensor, insbesondere ein Touchpad verwendet, welcher die Auflagefläche bildet/aufweist. Zur Erkennung des bewegten Fingers, wird dann zweckmäßigerweise auch weiterhin der bereits erwähnte Kamerasensor verwendet.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 20120105613 A1 [0005]
EP 2441635 A1 [0005]

Zitierte Nicht-Patentliteratur

Zivkovic, Zoran; „Improved Adaptive Gaussian Mixture Model for Background Substration“, ICPR, 2004 [0023]
Dadgostar, Farhad und Sarrafzadeh, Abdolhossein: „An adaptive real-time skin detector based on Hue thresholding: A comparison on two motion tracking methods“ Pattern Recognition Letters, 2006, 1342–1352 [0024]
Suzuki, S. und Abe, K.: Topological Structural Analysis of Digitized Binary Images by Border Following.“ CVGIP, 1985, 32–46 [0025]
Malik, Shahzad: „Real-time Hand Tracking and Finger Tracking for Interaction“, Toronto: CSC2503F Project Report, University of Toronto, 2003 [0025]
Liu, Nianjun and Lovell, Brian C. „Hand Gesture Extraction by Active Shape Models“, Proceedings of the Digital Image Computing on Techniques and Applications, 2005 [0025]
Lee, J. und Kunii, T. L.: „Model-Based Analysis of Hand Posture“, IEEE Computer Graphics and Applications, 1995, 77–86 [0025]
Do, Martin; Asfour, Tamim; and Dillmann, Rüdiger: „Particle Filter-Based Fingertip Tracking with Circular Hough Transform Features“ MVA, 2011 [0026]
Lockton, R. und Fitzgibbon, A. W.: „Real-time gesture recognition using deterministic boosting“, BMVC, 2002 [0026]
Nagi, Jawad et al. „Max-Pooling Convolutional Neural Networks for Vision-based Hand Gesture Recognition“ ICSIPA, 2011, 342–347 [0026]
Dreuw, Philippe; Keysers, Daniel; Deselaers, Thomas und Ney, Hermann: „Gesture Recognition Using Image Comparision Methods“, International Workshop on Gesture in Human-Computer Interaction and Simulation, 2005, 124–128 [0026]
Dreuw, Philippe; Rybach, David; Deselaers, Thomas; Zahedi, Morteza und Ney, Hermann. „Speech Recognition Techniques for a Sign Language Recogntion System“, Interspeech, Antwerp, Belgium, 2007, 2513–2516 [0026]
Cutler, R. und Turk, M.: „View-Based Interpretation on Real-Time Optical Flow for Gesture Recognition“, IEEE International Conference on Automatic Face and Gesture Recognition, Nara, Japan, 1998 [0026]

Claims

Verfahren zum Betreiben einer Eingabevorrichtung (2), insbesondere eines Kraftfahrzeugs (1), die wenigstens einen Sensor (3) zum Erfassen der Position und/oder Positionsänderung mindestens eines Fingers (8–12) einer Hand (6) eines Benutzers aufweist, wobei in Abhängigkeit von der erfassten Position und/oder Positionsänderung auf eine Eingabe des Benutzers erkannt und diese ausgeführt wird, dadurch gekennzeichnet, dass in Abhängigkeit von der Positionsänderung von zumindest zwei nacheinander bewegten Fingern (8–12) auf eine Eingabe erkannt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in Abhängigkeit von der Reihenfolge der Positionsänderungen auf eine Eingabe erkannt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit davon auf eine Eingabe erkannt wird, welche der Finger (8–12) bewegt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Erfassen der Positionsänderungen wenigstens ein berührungsempfindlicher Sensor (3) verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Erfassen der Positionsänderung und/oder zum Erfassen, welche der Finger (8–12) bewegt werden, wenigstens ein Kamerasensor verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Positionsänderung eines Fingers (8–12) nur dann ausgewertet wird, wenn der Finger (8–12) von einer Ausgangsposition in eine Zielposition und anschließend zurück in die Ausgangsposition bewegt wurde.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die jeweilige Positionsänderung der Finger (8–12) nur dann ausgewertet wird, wenn die Zielposition einer vorgegebenen Zielposition entspricht.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass auf das Erreichen der Zielposition nur dann erkannt wird, wenn der bewegte Finger (8–12) eine vorgegebene Oberfläche berührt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass auf das Erreichen der Zielposition nur dann erkannt wird, wenn der bewegte Finger (8–12) einen anderen Finger derselben Hand (6) berührt.
Eingabevorrichtung (2), insbesondere für ein Kraftfahrzeug (1), mit einem Sensor (3) zum Erfassen einer Position und/oder Positionsänderung von mindestens einem Finger einer Hand eines Benutzers, wobei die Eingabevorrichtung dazu ausgebildet ist, in Abhängigkeit von der Position und/oder Positionsänderung des mindestens einen Fingers eine Eingabe zu erkennen und auszuführen, dadurch gekennzeichnet, dass die Eingabevorrichtung (2) bei bestimmungsgemäßem Gebrauch das Verfahren nach einem der Ansprüche 1 bis 9 durchführt.