DE202015100273U1

DE202015100273U1 - Eingabevorrichtung

Info

Publication number: DE202015100273U1
Application number: DE201520100273
Authority: DE
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2014-12-04
Filing date: 2015-01-22
Publication date: 2015-04-08
Anticipated expiration: 2025-01-23
Also published as: CN105759955B; FR3029655A1; ITUB20156045A1; FR3029655B1; CN105759955A; DE102014224898A1

Abstract

Eingabevorrichtung (2), insbesondere eines Kraftfahrzeugs (1), mit einem Kamerasensor (3) zum berührungsfreien Erfassen einer Position und/oder Positionsänderung von mindestens einem Finger (8) einer Hand (6) eines Benutzers, wobei die Eingabevorrichtung (2) dazu ausgebildet ist, in Abhängigkeit von der Position und/oder Positionsänderung des mindestens einen Fingers (8) eine Eingabe zu erkennen und auszuführen, dadurch gekennzeichnet, dass die Eingabevorrichtung (2) in dem von dem Kamerasensor (3) erfassten Bild einen neutralen Bereich (11) bestimmt, an den wenigstens ein Gestikbereich (12–15) angrenzt, wobei die Eingabevorrichtung (2) eine in dem Gestikbereich (12–15) erfolgende Positionsänderung nur dann als Eingabe berücksichtigt, wenn sie aus dem neutralen Bereich (11) kommend erfolgt.

Description

Die Erfindung betrifft eine Eingabevorrichtung, insbesondere eines Kraftfahrzeugs, die einen Kamerasensor zum berührungsfreien Erfassen der Position und/oder Positionsänderung mindestens eines Fingers einer Hand eines Benutzers aufweist, wobei die Eingabevorrichtung dazu ausgebildet ist, in Abhängigkeit von der erfassten Position und/oder Positionsänderung des Fingers auf eine Eingabe beziehungsweise eine Eingabe zu erkennen und diese auszuführen.
Stand der Technik
Bei heutigen Kraftfahrzeugen werden Bedienkonzepte eingesetzt, bei denen eine Eingabevorrichtung und eine Anzeigevorrichtung nah beieinander angeordnet sind. Üblicherweise werden hierzu sogenannte berührungsempfindliche Bildschirme und sogenannte Touchscreens vorgesehen, bei denen Bedienung und Anzeige an der gleichen Stelle erfolgen. Häufig werden Anzeigevorrichtungen im oberen Bereich einer Bedienkonsole oder eines Armaturenbretts des Kraftfahrzeugs angebracht, damit der Fahrer zum Ablesen seinen Blick nicht zu stark von dem Verkehrsgeschehen abwenden muss. In anderen Fahrzeugen befinden sich ein Touchpad, also ein berührungsempfindlicher Sensor, im Bereich der Armauflage des Fahrers, und die Anzeigevorrichtung an gewohnter Stelle im Bereich des Armaturenbretts. Eine visuelle Rückmeldung an den Fahrer bei der Bedienung des Sensors kann dabei in Form von einer angedeuteten durchsichtigen Hand, die durch die Anzeigevorrichtung dargestellt wird, erfolgen. Dadurch kann der Fahrer bequem die Eingabevorrichtung betätigen, während ihm die Anzeige weiterhin in einem vorteilhaften Blickwinkel präsentiert wird. In diesem Fall ist es auch denkbar, die Anzeigevorrichtung nicht als Bildschirm, sondern als Head-Up-Display auszubilden.
Während klassische berührungsempfindliche Sensoren beziehungsweise Touchpads eine Berührung durch den Benutzer zu ihrer Bedienung benötigen, sind auch Eingabevorrichtungen bekannt, die berührungsfrei Eingaben erkennen beziehungsweise registrieren. Dabei werden beispielsweise mithilfe von Tiefensensoren die Positionen von Hand, Fingern und/oder Arm eines Benutzers im Raum erkannt und für eine Gestikbedienung ausgewertet. Für Fingergesten ist eine hohe Auflösung erforderlich, die mit Sensoren, wie beispielsweise Time-of-Flight-Sensoren, mit Stereokameras, strukturiertem Licht oder ähnlichem erreicht werden kann. Für Hand- oder Körpergesten können auch Sensoren mit einer geringeren Auflösung eingesetzt werden, wie beispielsweise Radarsensoren. Durch einen oder mehrere Sensoren wird also die Position oder Positionsänderung der Hand eines Benutzers erfasst, wobei in Abhängigkeit der erfassten Position und/oder Positionsänderung eine beziehungsweise auf eine Eingabe erkannt und diese ausgeführt wird. Der Benutzer zeigt somit mit einer Bewegung seiner Hand beziehungsweise mit einer Bewegung zumindest eines Fingers seiner Hand der Eingabevorrichtung an, welche Eingabe er vornehmen möchte. Die Eingabevorrichtung erkennt anhand der Hand-/Fingerbewegung die gewünschte Eingabe und führt diese aus, indem sie den durch die Bewegung vorgegebenen Befehl umsetzt und beispielsweise einen Betriebsparameter des Kraftfahrzeugs verändert. So kann beispielsweise in Abhängigkeit von der Position und Positionsänderung eines Fingers des Benutzers auf die Eingabe „Lautstärke erhöhen“ erkannt und von der Eingabevorrichtung ausgeführt werden, indem sie die Lautstärke, beispielsweise eines Unterhaltungssystems des Kraftfahrzeugs, erhöht.
Aus der Offenlegungsschrift US 2012 010 5613 A1 ist es bereits bekannt, Hand- oder Fingergesten mittels eines Kamerasensors aufzunehmen und Funktionen eines Kraftfahrzeugs in Abhängigkeit der erkannten Gesten zu steuern. Ein ähnliches System ist auch aus der Offenlegungsschrift EP 2 441 635 A1 bereits bekannt. Diese offenbart darüber hinaus eine Detektion des Zeitverlaufs von Positionsänderungen von Fingerspitzen im freien Raum.
Offenbarung der Erfindung
Die erfindungsgemäße Eingabevorrichtung mit den Merkmalen des Anspruchs 1 hat den Vorteil, dass zwischen beabsichtigen Wischgesten und unbeabsichtigten Rückführbewegungen oder Ausholbewegungen des Benutzers auf einfache und ressourcensparende Art und Weise unterschieden wird. Ein von dem Kamerasensor erfasstes Bild wird dazu in mehrere Bereiche aufgeteilt, wobei eine Bewegung der Finger und/oder der Hand des Benutzers nur dann als Geste erkannt beziehungsweise für die Ermittlung der Eingabe berücksichtigt wird, wenn die durchgeführte Positionsänderung in dem jeweiligen Bereich die durch den jeweiligen Bereich definierten Voraussetzungen beziehungsweise Bedingungen erfüllt. Erfindungsgemäß ist dabei vorgesehen, dass in dem von dem Kamerasensor erfassten Bild ein neutraler Bereich bestimmt wird, an den wenigstens ein Gestikbereich angrenzt, wobei eine in dem Gestikbereich erfolgende Positionsänderung nur dann als Eingabe berücksichtigt wird, wenn sie aus dem neutralen Bereich kommend erfolgt. Der Benutzer muss somit zunächst eine Hand im neutralen Bereich positionieren und dann zum Durchführen einer Wischgeste insbesondere seine Finger aus dem neutralen Bereich hinaus bis in den Gestikbereich bewegen, damit seine Wischgeste als beabsichtigte Wischgeste erkannt und eine damit verknüpfte Aktion durch die Eingabevorrichtung ausgeführt wird. Insbesondere wird dem Benutzer an einer Anzeigeeinrichtung die Position seiner Hand im Erfassungsbereich des Kamerasensors und damit in dem vom dem Kamerasensor erfassten Bild zumindest schematisch angezeigt, wobei zusätzlich zweckmäßigerweise der neutrale Bereich und wenigstens ein Gestikbereich angezeigt werden, sodass sich der Benutzter leicht orientieren und die Wischgeste durchführen kann. Die Größe des neutralen Bereichs wird dabei vorzugsweise derart gewählt, dass eine im Vergleich zu einer beabsichtigten Wischgeste normalerweise kleiner ausfallende Ausholgeste innerhalb des neutralen Bereichs erfolgen kann. Dadurch wird vermieden, dass bei der Ausholgeste Finger der Hand ungewollt in einen benachbarten Gestikbereich gelangen und dort als Eingabe gewertet werden könnten. Dem Benutzer ist es somit möglich, eindeutige Wischgesten auszuführen, um die Eingabevorrichtung zu bedienen, beziehungsweise mittels der Eingabevorrichtung andere Einrichtungen des Kraftfahrzeugs zu betätigen beziehungsweise zu bedienen.
Gemäß einer bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass die Eingabevorrichtung derart ausgebildet ist, dass Positionsänderungen in dem Gestikbereich nur dann als Eingabe berücksichtig werden, wenn sie in Richtung von dem neutralen Bereich weg erfolgen. Dadurch wird gewährleistet, dass Rückführbewegungen der Hand beziehungsweise der Finger der Hand ebenfalls nicht als Eingabe-Geste berücksichtigt werden.
Weiterhin ist bevorzugt vorgesehen, dass der neutrale Bereich in Abhängigkeit von einer Position der Hand in dem erfassten Bild derart bestimmt wird, sodass die zumindest im Wesentlichen ruhende Hand zumindest im Wesentlichen innerhalb des neutralen Bereichs liegt. Dadurch wird erreicht, dass Bewegungen, insbesondere der Fingerspitzen, stets aus dem neutralen Bereich heraus erfolgen, beziehungsweise in dem neutralen Bereich starten. Insbesondere ist der neutrale Bereich dabei rechteckförmig ausgebildet, sodass er eine ausgestreckte Hand des Benutzers vollständig aufnehmen kann. Vorzugsweise wird die Größe des neutralen Bereichs an die Größer einer im Bild erfassten Hand angepasst. Dadurch kann beispielsweise auch berücksichtigt werden, wie nah sich die Hand des Benutzers zu dem Kamerasensor befindet. Dadurch wird die Variabilität und Robustheit des Systems weiter erhöht. Sofern dem Benutzer der neutrale Bereich angezeigt wird, kann der neutrale Bereich alternativ als feststehender Bereich in dem Bild des Kamerasensors bestimmt werden.
Gemäß einer bevorzugten Weiterbildung ist vorgesehen, dass der neutrale Bereich größer als die Hand eingestellt wird, sodass der Gestikbereich beabstandet zu der in dem neutralen Bereich befindlichen Hand liegt. Wie zuvor bereits erwähnt, wird dadurch gewährleistet, dass bei dem Einleiten einer Wischgeste zunächst ein Stück des neutralen Bereichs überwunden werden muss, bis die Fingerspitzen in den Gestikbereich gelangen, wodurch unbeabsichtigte Gesten oder Ausholbewegungen bei dem Erkennen der Eingabe nicht berücksichtigt werden.
Besonders bevorzugt ist vorgesehen, dass der neutrale Bereich mit der Hand mitbewegt wird. Hierdurch kann insbesondere das Anzeigen der Hand in dem von dem Kamerasensor erfassten Bild entfallen. Dadurch, dass der neutrale Bereich mit bewegt wird, ist stets gewährleistet, dass der Benutzer eine Wischgeste aus dem neutralen Bereich heraus startet. Hierzu ist bevorzugt vorgesehen, dass der neutrale Bereich mit einer im Vergleich zu einer typischen Wischgeste geringeren Geschwindigkeit bewegt wird, um zu vermeiden, dass der neutrale Bereich mit der Wischgeste mitbewegt und dadurch die Wischgeste nicht als Eingabe erkannt wird. Alternativ oder zusätzlich kann vorgesehen sein, dass der bewegte Bereich an einem Punkt der Hand verankert wird, welcher sich üblicherweise langsamer bewegt als insbesondere die Fingerspitzen bei dem Durchführen einer Wischgeste.
Insbesondere ist dazu vorgesehen, dass ein Schwerpunkt der Hand ermittelt und in Abhängigkeit von der Position/Positionsänderung des Schwerpunkts der Hand der neutrale Bereich mitbewegt wird. Insbesondere ist vorgesehen, dass als Schwerpunkt der Hand ein Handgelenk der Hand ermittelt wird. Dies kann durch eine Analyse der Bilddaten des Kamerasensors auf bekannte Art und Weise erfolgen. Im Vergleich zum Handgelenk werden die Finger bei einer Wischgeste wesentlich schneller bewegt, sodass Geschwindigkeitsunterschiede zwischen Fingern und Handgelenk beziehungsweise zwischen Fingern und dem Schwerpunkt der Hand vorliegen, die für das oben beschrieben Verfahren ausgenutzt werden. Während der neutrale Bereich maximal mit der Geschwindigkeit des Handgelenks beziehungsweise Schwerpunkts der Hand bewegt wird, können die Finger für die erhöhte Geschwindigkeit den neutralen Bereich verlassen und in den Gestikbereich eindringen, sodass die dort erfolgende Positionsänderung(en) bei der Bestimmung der Eingabe berücksichtig wird (werden).
Weiterhin ist bevorzugt vorgesehen, dass an den neutralen Bereich angrenzend wenigstens zwei einander an dem neutralen Bereich gegenüberliegend angeordnete Gestikbereiche eingerichtet werden. Beide Gestikbereiche werden wie oben beschrieben betrieben beziehungsweise bei der Auswertung einer Wischgeste genutzt. Damit kann der Benutzer ausgehend von dem neutralen Bereich eine Wischgeste in zwei Richtungen durchführen, um sich beispielsweise durch ein Kontextmenü hochzubewegen, indem er die Wischgeste in den einen Gestikbereich durchführt, oder herunterbewegen, indem er die Wischgeste in den gegenüberliegenden, anderen Gestikbereich durchführt. Zweckmäßigerweise ist auf der dem Handgelenk gegenüberliegenden Seite ebenfalls ein Gestikbereich an den neutralen Bereich angrenzend vorgesehen.
Weiterhin ist bevorzugt vorgesehen, dass, wenn eine Positionsänderung in mehreren Gestikbereichen erfasst wird, nur die Positionsänderung für die Eingabe berücksichtig wird/werden, die in dem Gestikbereich erfolgt/erfolgen, in welchem die meisten dieser Positionsänderungen erfasst werden. Hierdurch wird darüber hinaus gewährleistet, dass, wenn der Benutzer eine überraschend große Ausholbewegung durchführen sollte, in Zuge derer er mit seiner Hand in einen Gestikbereich gelangt, den er eigentlich gar nicht erreichen wollte, dennoch die korrekte Eingabe durchgeführt wird. Besonderes bevorzugt werden die Positionsänderungen auf Basis von Vektordaten, die auf Basis des von dem Kamerasensor erfassten Bildes bestimmt werden, berechnet beziehungsweise ermittelt. Dadurch können eindeutige Bewegungsrichtungen bestimmt und mit der beispielsweise zulässigen Bewegungsrichtung einer der Gestikbereiche verglichen werden, um eine schnelle Auswertung der Positionsänderungen und damit eine schnelle Erkennung der gewünschten Eingabe zu gewährleisten.
Im Folgenden soll die Erfindung anhand der Zeichnung näher erläutert werden. Dazu zeigen
1 den Innenraum eines Kraftfahrzeugs mit einer vorteilhaften Eingabevorrichtung und
2 ein von einem Kamerasensor der Eingabevorrichtung erfasstes Bild.
1 zeigt eine schematische Darstellung des Innenraums eines hier nicht näher dargestellten Kraftfahrzeugs 1, welches eine Eingabevorrichtung 2 zum berührungslosen Eingeben von Steuerbefehlen aufweist. Die Eingabevorrichtung weist hierzu einen berührungsfrei arbeitenden Kamerasensor 3 sowie eine Anzeigeeinheit 4 auf. Die Anzeigeeinheit 4 ist in das Armaturenbrett beziehungsweise in die Bedienkonsole des Kraftfahrzeugs 1 eingebracht angeordnet. Die Anzeigeeinheit 4 ist als Bildschirm, insbesondere Display, ausgebildet und kann beispielsweise Bestandteil eines Navigationssystems oder eines Entertainmentsystems des Kraftfahrzeugs 1 sein. Auch ist es denkbar, die Anzeigeeinheit 4 alternativ oder zusätzlich als Head-Up-Display (HUD) auszubilden. Der Kamerasensor 3 ist bevorzugt als zweidimensional arbeitende Videokamera beziehungsweise Kameraeinrichtung ausgebildet, die den mit gestrichelten Linien dargestellten Erfassungsbereich aufweist. Die Videokamera ist dabei bevorzugt derart ausgerichtet, dass sie auf das frontseitige Ende einer mittleren Armauflage 5 des Kraftfahrzeugs 1 weist. Die Armauflage 5 weist selbst keine reale Eingabeoberfläche auf, auf welcher ein Fahrer mittels einer hier nur schematisch dargestellten Hand 6 durch Berührung der Eingabeoberfläche einen Befehl eingeben könnte.
Die Eingabevorrichtung 2 ist stattdessen dazu ausgebildet, eine Position und/oder Positionsänderung zumindest eines Fingers der Hand 6 im Raum zu erfassen und in Abhängigkeit davon auf eine Eingabe zu erkennen und diese auszuführen. Die vom dem Kamserasensor erfassten Bilddaten werden dazu wie im Folgenden beschrieben ausgewertet und zur Bedienung der Eingabevorrichtung 2 genutzt.
2 zeigt beispielhaft das von dem Sensor 3 erfasste Bild, und insofern den Erfassungsbereich 7. In dem erfassten Bild befindet sich die Hand 6 des Benutzers. Die Eingabevorrichtung 2 ermöglicht es, dass der Benutzer im Erfassungsbereich des Sensors 3 Wischgesten zur Bedienung der Eingabevorrichtung 2 durchführen kann, wobei Ausholbewegungen und Rückholbewegungen ignoriert werden. Dazu berücksichtigt das im Folgenden beschriebene Verfahren Wischgesten, die ergonomisch aus dem Handgelenk ausgeführt werden. Zur Unterscheidung zwischen beabsichtigen Wischgesten und unbeabsichtigten Rückführbewegungen macht sich das Verfahren die Tatsache zu Nutze, dass beim Wischen das Handgelenk 7 der Hand 6 des Benutzers mehr oder weniger starr bleibt und sich die Handfläche, und speziell die Finger 8 der Hand 6 relativ zum Handgelenk bewegen. Wird in dem dargestellten Ausführungsbeispiel eine Wischgeste nach links durchgeführt, wie durch einen Pfeil 9 angedeutet, so erfolgt die Wischbewegung auf der linken Seite des Handgelenks 7 von rechts nach links. Die Rückführbewegung erfolgt in Konsequenz von links nach rechts und ist damit zunächst nicht von einem Wischen nach rechts zu unterscheiden. Dadurch jedoch, dass die Bewegung nur bis zum Erreichen der Neutralstellung beziehungsweise Ausgangsstellung auf der linken Seite des Handgelenks 7 erfolgt, anstatt auf der rechten, lässt sich eine solche Rückführbewegung von einem beabsichtigten Wischen nach rechts unterscheiden. Dabei wird vorausgesetzt, dass die Wischgesten relativ zu einem möglichst starren Referenzpunkt, wie beispielsweise vorliegend zu dem Handgelenk 7, erfolgen, und dass beim Rückführen der Hand die Neutralstellung nicht deutlich überschritten wird.
Das in 2 dargestellte Kreuz auf der Hand verdeutlicht das relativ starre Handzentrum beziehungsweise den Schwerpunkt 10 der Hand 6. Dem Schwerpunkt 10 ist in dem erfassten Bild ein neutraler Bereich 11 zugeordnet. Der neutrale Bereich 11 ist in dem vorliegenden Ausführungsbeispiel rechteckförmig ausgebildet und derart ausgerichtet und angeordnet, dass die Hand 6 im Wesentlichen innerhalb des neutralen Bereichs 11 liegt. Positionsänderungen beziehungsweise Bewegungen, die in dem neutralen Bereich 11 durchgeführt werden, werden von der Signalvorrichtung 2 ignoriert. Wird eine Wischgeste durchgeführt, so wird auch der Schwerpunkt 10 bewegt, jedoch weniger intensiv in seiner Ausprägung und Weite als die Handfläche mit den ausgestreckten Fingern 8 derselben Hand 6. Ein ausreichend großer neutraler Bereich 11 um den Schwerpunkt 10 herum verleiht der Signalvorrichtung 2 eine zusätzliche Robustheit, da die Neutralstellung durch einen räumlich ausgedehnten Bereich präsentiert wird, und somit ungewollte Wischgesten nicht erkannt werden beziehungsweise nicht zu einer Eingabe führen.
An den neutralen Bereich 11 angrenzend werden vorliegend vier Gestikbereiche 12, 13, 14 und 15 eingerichtet, die jeweils an einer Seite an den neutralen Bereich 11 angrenzen. Die Gestikbereiche 12 bis 15 sind vorliegend ebenfalls rechteckförmig ausgebildet.
Um nur eine Wischgeste nach links durchzuführen, muss die Handfläche mit den Fingern 8 aus der zentralen Region beziehungsweise aus dem neutralen Bereich 11 in den linken Bildbereich, also in den Bereich 12 geführt werden. Wird in diesem Bildbereich eine Positionsänderung detektiert, die in Richtung von den neutralen Bereich 11 kommend, gemäß Pfeil 9, führt, so wird die Wischgeste als links-Wischen erkannt. Bei der Rückführbewegung wird in dem gleichen Gestikbereich 12 eine rechts Bewegung detektiert. Von der Signalvorrichtung 2 werden jedoch in dem Gestikbereich 12 nur Positionsänderungen als Eingabe erkannt, die in Richtung von dem neutralen Bereich 11 kommend erfolgen. Bei einer Rechtsbewegung in dem Gestikbereich 12 handelt es sich somit um eine nicht zulässige Bewegung, die von der Signalvorrichtung 2 bei der Erkennung einer Eingabe nicht berücksichtigt wird. Analog wird bei einem „rechts-Wischen“ eine Rechtsbewegung in den Gestikbereich 14 erfasst, während eine Linksbewegung, die bei der Rückführbewegung in dem Gestikbereich 14 erfolgt, nicht zulässig ist und damit auch nicht berücksichtigt wird.
Die Gestikbereiche 12 bis 15 können somit als eine Art Einbahnstraße hinsichtlich der erlaubten Wischrichtung verstanden werden. Die Gestikbereiche 12 und 14 sind dabei auf gegenüberliegenden Seiten des neutralen Bereichs 11 angeordnet. Wenn in mehreren Gestikbereichen, insbesondere in den einander gegenüberliegenden Gestikbereichen 12 und 14, Positionsänderungen erfasst werden, die jeweils in die zulässige Richtung erfolgen, so werden zweckmäßigerweise nur die Positionsänderungen in dem Gestikbereich 12 oder 14 bei der Erkennung der Eingabe berücksichtigt, in welchem die meisten Bewegungen beziehungsweise Positionsänderungen erfasst werden.
Zur Durchführen des Verfahrens weist die Signalvorrichtung 2 eine hier nicht näher dargestellte Recheneinheit auf, die basierend auf dem Videobild des Sensors 3 eine Bewegungsdetektion durchführt. Hierzu wird der optische Fluss in dem Bild bestimmt. Als Ergebnis erhält man dadurch eine Menge an Vektoren, die für bestimmte Bildpunkte in dem Bild, wie es in 2 gezeigt ist, zu einem Zeitpunkt t den Versatz in der Bildebene zum Zeitpunkt t + 1 aufzeigen. Diese Menge an Vektoren wird im Folgenden als 2D-Flussfeld bezeichnet und repräsentiert die Bewegung der Hand 6 im Erfassungsbereich 2 des Sensors 3. Die Recheneinheit führt einen auf einem nicht flüchtigen Speicher hinterlegten Algorithmus durch beziehungsweise aus, der auf Basis dieses Bewegungsmusters in jedem Zeitschritt einen möglichst starren Referenzpunkt der Hand, nämlich den zuvor beschriebenen Schwerpunkt 10 ermittelt. Dies geschieht vorzugsweise dadurch, dass aus einem ersten resultierenden Flussfeld zunächst hinsichtlich der Länge der Flussvektoren (Bewegungsintensität) bandpass-gefiltert wird. Dadurch werden für die weiteren Berechnungen nur noch Flussvektoren betrachtet, deren Länge oberhalb eines ersten Schwellwertes S₁, jedoch unterhalb eines zweiten Schwellwertes S₂ liegen. Dabei werden die Schwellwerte automatisch basierend auf der Flussfeld-Statistik ermittelt. Sie können beispielsweise so gewählt werden, dass sie dem 5 und 95-Perzentil entsprechen. Das bedeutet, dass 5% der Flussvektoren im Flussfeld eine geringere Länge als der erste Schwellwert S₁ und 5% der Flussvektoren eine größere Länge als der zweite Schwellwert S₂ aufweisen. Durch den ersten Schwellwert S₁ wird ein Bewegungsrauschen, beispielsweise verursacht durch Pixelrauschen, unterdrückt. Darüber hinaus eliminiert die Filterung mit dem zweiten Schwellwert S₂ die relativ großen Bewegungen der Fingerspitzen, die beim Wischen in Relation zum weniger beweglichen Handzentrum (Schwerpunkt 10) auftreten. Der Schwerpunkt des gefilterten Flussfeldes wird dann bevorzugt wie folgt berechnet:
Dabei bezeichnet N die Anzahl der Flussvektoren im gefilterten Flussfeld und p (x_i, y_i) den Aufpunkt des jeweiligen Flussvektors j in Bildkoordinaten. Um die Robustheit beziehungsweise Trägheit des berechneten Schwerpunktes 10 zu verbessern, wird dieser zusätzlich über die Zeit gefiltert. Das heißt in einem fest definierten, gleitenden Fenster von beispielsweise 10 Zeitschritten wird das arithmetische Mittel der für dieses Zeitfenster bestimmten Schwerpunkte gebildet. Alternativ kann auch vorgesehen sein, dass komplexere Filtermethoden, wie beispielsweise Gaußfilter, eingesetzt werden, um die Robustheit weiter zu erhöhen.
Relativ zu dem ermittelten Schwerpunkt 10 werden dann die Bildkoordinaten für die unterschiedlichen Gestikbereiche und den neutralen Bereich ermittelt. Dabei kann die optimale Ausdehnung des neutralen Bereichs ebenfalls dynamisch mit Hilfe des gefilterten Flussfeldes bestimmt werden. Dafür wird zunächst die Ausdehnung um das gefilterte Flussfeld in Form einer Begrenzung (Bounding Box) berechnet. Der neutrale Bereich 11 um den Schwerpunkt 10 wird dann in Relation zu den ermittelten Ausdehnungen des gefilterten Flussfeldes bestimmt, beispielsweise 90% der Ausdehnung in jede Richtung. In dem vorliegenden Ausführungsbeispiel gemäß 2 wurde für rechts von dem Schwerpunkt 10, also der rechte Rand des neutralen Bereichs 11, eine Prozentual geringere Ausdehnung gewählt, da auf Grund der Handphysiologie eine Wischbewegung nach oben eine geringere Amplitude aufweist, als ein Wischen in die anderen drei Richtungen. Die Gestikbereiche 12 bis 15 werden derart bestimmt, dass sie an den neutralen Bereich angrenzen, wie zuvor bereits beschrieben.
Weiterhin führt die Recheneinheit einen Algorithmus aus, der den Gestikbereich mit der momentan maximalen Bewegung beziehungsweise mit der momentan maximalen Anzahl von Positionsänderungen detektiert. Dies geschieht vorteilhafterweise indem in jedem Zeitschritt für jede der Gestikbereiche 12 bis 15 die mittlere Länge aller Fussvektoren berechnet wird. Zusätzlich wird die Anzahl der Flussvektoren ermittelt, deren Länge über einem dritten Schwellwert S₃ liegt, um ein Maß dafür zu haben, wie groß der Anteil von schnellen Bewegungen in diesem Gestikbereich aktuell ist. Dabei wird vorzugsweise der dritte Schwellwert S₃ in Abhängigkeit von der Bildauflösung, der Aufnahmefrequenz des Sensors 3 sowie dem Abstand des Sensors 3 zur Interaktionsebene bestimmt und konstant gewählt.
Für den Gestikbereich, in dem sowohl die gemittelte Länge der Flussvektoren wie auch die Anzahl der „schnellen“ Flussvektoren maximal ist, wird im Anschluss die Bewegungsinformation weiter analysiert. Dazu wird basierend aus allen Flussvektoren in diesem Gestikbereich die mittlere Richtung der Flussvektoren (vorzugsweise in Grad) berechnet und auf einen Quadranten des Einheitskreises abgebildet. So entspricht beispielsweise eine Bewegung nach links einem Winkelbereich von 45° bis 135°, Wischen nach unten in den Gestikbereich 15 einem Winkelbereich von 135° bis 225°, Wischen nach rechts in den Gestikbereich 14 einem Winkelbereich von 225° bis 315° und Wischen nach oben in den Gestikbereich 13 einem Winkelbereich von 315° bis 45°.
Ein vordefiniertes Gestenalphabet, also mit den unterschiedlichen Gesten verknüpfte Aktionen, ordnet jeder der vier Gestikbereiche 12 bis 15 einen dieser vier Quadranten zu. Um eine Wischgeste nach links zu erkennen, muss so zum Beispiel eine Bewegung im Winkelbereich von 45° Grad bis 135° in dem Gestikbereich 12 erkannt werden. Jede andere Bewegung in dieser Zone wird ignoriert. Hierdurch ergibt sich die zuvor beschriebene Vorgabe, dass nur Bewegungen, die aus Richtung des neutralen Bereichs 11 erfolgen, für die Eingabe ausgewertet werden. Analog gilt dies für die Wischbewegungen nach unten, recht und oben die Gestikbereiche 13, 14 und 15.
Generell kann die Zuordnung der Wischrichtungen zu Quadranten am Einheitskreis frei parametrisiert werden und hängt insbesondere von der konkreten Implementierung des Algorithmus ab. Darüber hinaus können die Winkelauflösungen für verschiedene Richtungen nicht-äquidistant und beliebig gewählt werden, um zum Beispiel die Erkennung von Wischgesten in bestimmte Richtungen mehr oder wenigster sensitiv zu gestalten. Wird gemäß definiertem Gestenalphabet in einer Zone mit maximaler Bewegung die zulässige Bewegungsrichtung ermittelt, so wird von der Eingabevorrichtung 2 das der Geste entsprechende Event generiert beziehungsweise die der Geste zugeordnete Aktion abgerufen beziehungsweise gestartet.
Anstatt die Flussrichtung in einem Gestikbereich durch reine Mittelung zu errechnen, ist es auch denkbar, bei der Berechnung der mittleren Flussrichtung die Richtungsinformation der Flussvektoren mit ihrer Länge (Bewegungsintensität) zu gewichten. Das geschilderte Verfahren setzt voraus, dass eine Geste im neutralen Bereich 11 begonnen wird. Dazu muss nach erfolgter Wischbewegung eine Rückführbewegung in den neutralen Bereich erfolgen, die jedoch von der Mehrzahl der Benutzer ohnehin intuitiv ausgeführt werden wird. Ist die Amplitude beziehungsweise die Weite der Rückführbewegung derart groß, dass der neutrale Bereich 11 vollständig durchquert wird, so führt dies zu einer unerwünschten Erkennung der Rückführbewegung als Geste in dem gegenüberliegenden Gestikbereich. Die Robustheit der Gestikerkennung kann deshalb zusätzlich dadurch gesteigert werden, dass diese Rückführbewegung expliziert mit modelliert wird. In diesem Fall wird das zugehörige Event nur dann gestartet, beziehungsweise die zugehörige Eingabe nur dann erkannt, wenn nach erkannter, korrekter Wischbewegung am Anschluss in eine vorgegebenen zeitlichen Fenster ebenfalls eine entgegengesetzte (Rückführ-)Bewegung erkannt wurde. Die Erkennung ist dabei unabhängig von den unterschiedlichen Bereichen 11 bis 15. Auf diese Weise können auch Rückführbewegungen robust ignoriert werden, deren Ausführung über den neutralen Bereich 11 hinaus in einen benachbarten Gestikbereich geht. Die Größe des zeitlichen Fensters ist dabei bevorzugt in Abhängigkeit von der Aufnahmefrequenz des Sensors 3 und der gewünschten Nähe der Rückführbewegung zur eigentlichen Geste zu wählen. Auch eine Adaption des zeitlichen Fensters an individuelle Nutzerbedürfnisse ist denkbar.
Durch die Erfassung des Schwerpunktes 10 der Hand 6 wird neben der robusten „Unterdrückung“ von Rückführbewegungen bei der Erkennung von Eingaben außerdem die Erkennung beliebiger Wischgesten an jeder Stelle in dem Erfassungsbereich 7 des Sensors 3 abgedeckt, da der neutrale Bereich 11 mit dem Schwerpunkt 10 der Hand 6 mitbewegt wird.
Als Erweiterung ist es denkbar, neben der Erkennung von einfachen unidirektionalen Wischgesten das Gestenalphabet beziehungsweise die zu erkennenden Eingaben auf zusammengesetzte Wischgesten zu erweitern. Durch die Aufteilung des Erfassungsbereichs in an den Schwerpunkt 10 gekoppelte Bereiche 11 bis 15, kann beispielsweise ein links-rechts-Winken von einem links-Wischen mit anschließender Rückführbewegung unterschieden werden, da neben der reinen Richtungsinformationen nun auch zusätzlicher Nutzen aus der grob abgetasteten Ortsinformationen gezogen werden kann. So wird ein gewolltes Winken zu sehr schnell hintereinander auftretenden Linksbewegungen in dem Gestikbereich 12 gefolgt von Rechtsbewegungen in den Gestikbereich 14 führen, wobei ein solches Winken mit wenig zeitlicher Latenz erkannt werden könnte. Analog dazu könnten sich weitere komplexe Wischgesten als Summe von erfassten Bewegungsrichtungen und zugehörigen Gestikbereichen definieren lassen. Die unterschiedlichen für eine Eingabe zu wertenden Gesten, also das Gestenalphabet, wird zweckmäßigerweise vor Inbetriebnahme in einem nicht-flüchtigen Speicher als Modell hinterlegt, und wird zum Vergleich mit den aktuell erfassten Gesten herangezogen, um auf die jeweilige Eingabe zu erkennen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 20120105613 A1 [0004]
EP 2441635 A1 [0004]

Claims

Eingabevorrichtung (2), insbesondere eines Kraftfahrzeugs (1), mit einem Kamerasensor (3) zum berührungsfreien Erfassen einer Position und/oder Positionsänderung von mindestens einem Finger (8) einer Hand (6) eines Benutzers, wobei die Eingabevorrichtung (2) dazu ausgebildet ist, in Abhängigkeit von der Position und/oder Positionsänderung des mindestens einen Fingers (8) eine Eingabe zu erkennen und auszuführen, dadurch gekennzeichnet, dass die Eingabevorrichtung (2) in dem von dem Kamerasensor (3) erfassten Bild einen neutralen Bereich (11) bestimmt, an den wenigstens ein Gestikbereich (12–15) angrenzt, wobei die Eingabevorrichtung (2) eine in dem Gestikbereich (12–15) erfolgende Positionsänderung nur dann als Eingabe berücksichtigt, wenn sie aus dem neutralen Bereich (11) kommend erfolgt.
Eingabevorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass sie die Positionsänderung in dem Gestikbereich (12–15) nur dann als Eingabe berücksichtigt, wenn sie in Richtung von dem neutralen Bereich (11) kommend erfolgt.
Eingabevorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sie den neutralen Bereich (11) in Abhängigkeit von einer Position der Hand (6) in dem erfassten Bild derart bestimmt, dass die zumindest im Wesentlichen ruhende Hand (6) zumindest im Wesentlichen innerhalb des neutralen Bereichs (11) liegt.
Eingabevorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sie den neutralen Bereich (11) größer als die Hand (6) einrichtet, sodass der Gestikbereich (12–15) beabstandet zu der zumindest im Wesentlichen ruhenden Hand (6) liegt.
Eingabevorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sie den neutralen Bereich (11) mit der Hand (6) mitbewegt.
Eingabevorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sie einen Schwerpunkt (10) der Hand (6) ermittelt und in Abhängigkeit von der Position/Positionsänderung des Schwerpunkts (10) den neutralen Bereich mitbewegt.
Eingabevorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sie an den neutralen Bereich (11) angrenzend wenigstens zwei einander an dem neutralen Bereich (11) gegenüberliegend angeordnete Gestikbereiche (12–15) einrichtet.
Eingabevorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sie, wenn sie eine Positionsänderung in mehreren Gestikbereichen (12–15) erfasst, nur die Positionsänderungen für die Eingabe berücksichtigt, die in dem Gestikbereich (12–15) erfolgen, in welchem die meisten Positionsänderungen erfasst wurden.