DE102010007455A1

DE102010007455A1 - System und Verfahren zum berührungslosen Erfassen und Erkennen von Gesten in einem dreidimensionalen Raum

Info

Publication number: DE102010007455A1
Application number: DE102010007455A
Authority: DE
Inventors: Roland Dr. 82234 Aubauer; Artem Dr. 82205 Ivanov; Thomas 86947 Kandziora; Manfred 80335 Schacht
Original assignee: Ident Technology AG
Current assignee: Microchip Technology Germany GmbH
Priority date: 2010-02-10
Filing date: 2010-02-10
Publication date: 2011-08-11
Also published as: KR20120123487A; JP2013519933A; CN102870078A; EP2430512B1; WO2011098496A1; EP2430512A1; CN102870078B; US20120313882A1; US9921690B2; JP5812358B2; KR101871259B1; ES2524987T3

Abstract

Die Erfindung betrifft ein Verfahren zum berührungslosen Erfassen und Erkennen von Gesten in einem dreidimensionalen Bewegungsraum (3D-Gesten), wobei – in einem elektrischen Nahfeld, welches den dreidimensionalen Bewegungsraum definiert, Verformungen des elektrischen Nahfeldes erfasst werden, welche durch Bewegungen zumindest eines Objektes, z. B. ein oder zwei Finger in dem dreidimensionalen Bewegungsraum bewirkbar sind, – zumindest ein Bewegungspfad aus den erfassten Verformungen des elektrischen Nahfeldes erzeugt wird, welcher mit der Bewegung des zumindest einen Objektes in dem dreidimensionalen Bewegungsraum korrespondiert, und – wobei während des Erzeugens des Bewegungspfades in dem Bewegungspfad ein Gestenanfang ermittelt wird, wobei beginnend mit dem Gestenanfang aus dem Bewegungspfad die Geste extrahiert wird. Die Erfindung betrifft auch ein System zum berührungslosen Erfassen und Erkennen von Gesten in einem dreidimensionalen Bewegungsraum.

Description

Gebiet der Erfindung
Die Erfindung betrifft ein System und ein Verfahren zum berührungslosen Erfassen und Erkennen von Gesten in einem dreidimensionalen Bewegungsraum, welche durch Bewegungen zumindest eines Objektes in dem dreidimensionalen Bewegungsraum durchgeführt werden.
Stand der Technik
Aus dem Stand der Technik sind Verfahren und Systeme zum berührungslosen Erfassen und Erkennen von Gesten bekannt. So sind etwa Lösungen bekannt, welche auf optischen Verfahren basieren. Hierbei werden kontinuierlich Bilder aufgenommen, welche einer Bildverarbeitung zugeführt werden. Die Bildverarbeitung ist ausgestaltet, aus den aufgenommenen Bildern Daten zu extrahieren, welche beispielsweise eine Hand oder einen Finger repräsentieren. Aus den extrahierten Daten wird die Bewegung der Hand bzw. des Fingers ermittelt. Die ermittelte Bewegung wird einer Analyse unterzogen, welche eine Gestenerkennung durchführt und als Ergebnis eine Geste oder eine der ermittelten Geste zugeordnete Information bereitstellt. Derartige Systeme und Verfahren sind jedoch sehr aufwendig und rechenintensiv und führen bei unterschiedlichen bzw. schlechten Beleuchtungsverhältnissen häufig zu Problemen. Zudem sind derartige Systeme meist nur für den stationären Betrieb geeignet, da die hierfür benötigten Aufnahmeeinheiten, wie etwa Kamerasysteme für den mobilen Einsatz nicht geeignet sind.
Für den mobilen Einsatz sind berührungssensitive Systeme, wie etwa berührugssensitive Displays besser geeignet, da hierfür keine zusätzlichen Erfassungssysteme zum Erfassen einer Handbewegung bzw. einer Fingerbewegung notwendig sind. Bekannte berührungssensitive Erfassungssysteme haben allerdings den Nachteil, dass zum Erfassen einer Bewegung einerseits eine Berührung, etwa des berührungssensitiven Displays notwendig ist und andererseits nur Bewegungen in zwei Dimensionen, nämlich in X- bzw. Y-Richtung auf der berührungssensitiven Eingabefläche möglich sind. Diese Art der Erfassung einer Bewegung ist somit auf zwei Freiheitsgrade eingeschränkt, so dass Bewegungen bzw. Gesten, welche auch die dritte Dimension (Z-Richtung) mit einbeziehen, nicht berücksichtigt werden können.
Aufgabe der Erfindung
Aufgabe der Erfindung ist es daher, ein Verfahren und ein System zum berührungslosen Erfassen und Erkennen von Gesten bereitzustellen, welche einerseits ein Erfassen und Erkennen von räumlichen Gesten ermöglichen und andererseits auch für den Einsatz in mobilen Geräten bzw. mobilen Systemen geeignet sind.
Erfindungsgemäße Lösung
Erfindungsgemäß wird diese Aufgabe mit einem System bzw. einem Verfahren zum berührungslosen Erfassen und Erkennen von Gesten gemäß den unabhängigen Ansprüchen gelöst.
Bereitgestellt wird demnach ein Verfahren zum berührungslosen Erfassen und Erkennen von Gesten in einem dreidimensionalen Bewegungsraum, wobei

– in einem elektrischen Nahfeld, welches den dreidimensionalen Bewegungsraum definiert, Verformungen des elektrischen Nahfeldes erfasst werden, welche durch Bewegungen zumindest eines Objektes in dem dreidimensionalen Bewegungsraum bewirkbar sind,
– zumindest ein Bewegungspfad aus den erfassten Verformungen des elektrischen Nahfeldes erzeugt wird, welcher mit der Bewegung des zumindest einen Objektes in dem dreidimensionalen Bewegungsraum korrespondiert, und
– wobei während des Erzeugens des Bewegungspfades in dem Bewegungspfad ein Gestenanfang ermittelt wird, wobei beginnend mit dem Gestenanfang aus dem Bewegungspfad die Geste extrahiert wird.

Damit wird es erstmals möglich, Bewegungen in einem dreidimensionalen Raum zu erfassen und daraus Gesten zu erkennen, ohne dass dafür eigene Aufnahmeeinrichtungen, wie etwa Kamerasysteme vorgesehen werden müssen, sodass das Verfahren auch für den mobilen Einsatz, etwa in Mobiltelefonen und Spielekonsolen besonders gut geeignet ist.
Das Erzeugen des zumindest einen Bewegungspfades kann zumindest eine Objekteigenschaft des zumindest einen Objektes berücksichtigen, wobei die zumindest eine Objekteigenschaft aus den Verformungen des elektrischen Nahfeldes abgeleitet wird.
Die Genauigkeit des erfindungsgemäßen Verfahrens kann so deutlich verbessert werden, weil nicht jede Bewegung in dem Bewegungsraum zu einem auszuwertenden Bewegungspfad führt. Damit kann auch die Detektionsgeschwindigkeit erhöht werden.
Das Ableiten der zumindest einen Objekteigenschaft kann eine Vorab-Information berücksichtigen, welche dem Schritt zum Erzeugen des Bewegungspfades bereitgestellt wird. Der Bewegungspfad kann so noch effizienter, d. h. schneller und genauer erzeugt werden, da z. B. Messungenauigkeiten mit Hilfe der Vorab-Information zumindest teilweise kompensiert werden können.
Die Objekteigenschaft können eines aus Form des Objektes, Größe des Objektes, Anzahl der Objekte, Ausrichtung des Objektes relativ zu einer Bezugsfläche, elektrische Materialeigenschaft, und einer Kombination davon umfassen. Dadurch kann der Bewegungspfad noch genauer ermittelt werden.
Insbesondere kann der Bewegungspfad sehr genau und mit sehr hoher Geschwindigkeit ermittelt werden, wenn die Objekteigenschaft und die Vorab-Information beim Ermitteln des Bewegungspfades berücksichtigt werden.
Vorzugsweise werden beim Erzeugen des Bewegungspfades nur solche Verformungen des elektrischen Nahfeldes berücksichtigt, welche zumindest ein vorbestimmtes Verformungskriterium erfüllen. So können beispielsweise Verformungen im äußeren Randbereich des Nahfeldes unberücksichtigt bleiben.
Das Verformungskriterium kann sein:

– Abstand des die Verformung bewirkenden Objektes relativ zur Bezugsfläche ist,
– absolute und/oder relative Feldänderung,
– erste und/oder zweite Ableitung der Feldänderung nach der Zeit,
– und/oder eine Kombination hiervon.

Es hat sich als vorteilhaft herausgestellt, wenn jedem Punkt des Bewegungspfades eine Anzahl von Bewegungsmerkmalen zugeordnet wird.
Die Bewegungsmerkmale können umfassen:

– Position des Objektes relativ zur Bezugsfläche;
– Ausrichtung des Objektes relativ zum Bewegungsraum;
– Geschwindigkeit des Objektes;
– Beschleunigung des Objektes; und/oder
– eine Kombination hiervon.

Das Extrahieren einer Geste aus dem Bewegungspfad kann ein Extrahieren einer diskreten Geste und ein Extrahieren einer kontinuierlichen Geste umfassen.
Besonders vorteilhaft ist es, dem Extrahieren einer Geste eine Kontextinformation zuzuordnen. Damit kann einerseits die Erkennungsrate erheblich gesteigert werden. Andererseits kann auch die Erkennungsgeschwindigkeit erheblich gesteigert werden.
Die Kontextinformation kann eine erste Kontextinformation umfassen, welche angibt, dass eine diskrete Geste zu extrahieren ist, und eine zweite Kontextinformation, welche angibt, dass eine kontinuierliche Geste zu extrahieren ist.
Bei einer zugeordneten ersten Kontextinformation kann das Extrahieren einer Geste aus dem Bewegungspfad einen Schritt zum Ermitteln eines Gestenendes aus dem Bewegungspfad umfassen.
Der Gestenanfang und/oder das Gestenende können durch Vergleichen zumindest eines Bewegungsmerkmales mit zumindest einem Schwellwert ermittelt werden, wobei das Über-/Unterschreiten des Schwellwertes indikativ für den Gestenanfang und/oder für das Gestenende ist.
Das Über-/Unterschreiten des Schwellwertes kann indikativ für den Gestenanfang und/oder das Gestenende sein, wenn der Schwellwert für eine vorbestimmte Dauer über-/unterschritten wird. Damit wird verhindert, dass sehr kurzes Über-/Unterschreiten des Schwellwertes fälschlicherweise als Gestenanfang und/oder als Gestenende detektiert wird.
Bei mehreren Bewegungsmerkmalen kann das Über-/Unterschreiten der jeweiligen Schwellwerte indikativ für den Gestenanfang und/oder das Gestenende sein, wenn die jeweiligen Schwellwerte in einer vorbestimmten Reihenfolge über-/unterschritten werden.
Vorteilhaft ist es, wenn die Kontextinformation eine dritte Kontextinformation umfasst, welche eine Menge von Referenzgesten umfasst, wobei die Menge von Referenzgesten angibt, welche Gesten zu extrahieren sind, wobei die Referenzgesten vorzugsweise gemäß einer Gestengrammatik beschrieben werden.
Damit können die Erkennungsrate und die Erkennungsgeschwindigkeit nochmals erheblich gesteigert werden, weil nur mehr eine Anzahl von Referenzgesten für die Gestenerkennung herangezogen werden. In einer besonderen Ausführungsform kann die Gestenerkennung sogar vor dem Ende einer Geste abgebrochen werden, wenn die zu erkennende Geste keiner Referenzgeste mehr zugeordnet werden kann.
Das Extrahieren einer Geste kann eine Mustererkennung umfassen, zum Erkennen der extrahierten Geste.
Eine extrahierte diskrete Geste kann vollständig der Mustererkennung zugeführt werden, sobald das Gestenende der Geste ermittelt worden ist.
Nach dem Ermitteln des Gestenanfanges kann der Bewegungspfad auch fortlaufend der Mustererkennung zugeführt werden, wobei der fortlaufend zugeführte Bewegungspfad von der Mustererkennung ebenfalls fortlaufend mit Teilgesten von Referenzgesten verglichen wird, um aus den Referenzgesten die mit dem fortlaufend zugeführten Bewegungspfad korrespondierenden Referenzgesten zu ermitteln.
Die Mustererkennung kann einen Schritt zum Zerlegen der Geste in einzelne Gestensegmente umfassen, wobei die Gestensegmente jeweils mit entsprechenden Gestensegmenten von Referenzgesten verglichen werden.
Beim Erzeugen des zumindest einen Bewegungspfades kann ein Kompensationsverfahren durchgeführt wird, mit welchem aus dem Bewegungspfad Segmente entfernt werden, welche unbeabsichtigten Bewegungen des Objektes in dem Bewegungsraum entsprechen. Damit kann die Fehlertoleranz beim Ermitteln und Erkennen von Gesten erheblich verbessert werden. das Kompensationsverfahren wird vorzugsweise während des Ermittelns des Bewegungspfades durchgeführt.
Das elektrische Nahfeld kann an mindestens einer Elektrode emittiert werden und die Verformungen des elektrischen Nahfeldes können von mindestens einer Elektrode erfasst werden, wobei das elektrische Wechselfeld mit einer vorbestimmten Frequenz, vorzugsweise mit einer Frequenz zwischen 10 kHz und 300 kHz, besonders bevorzugt mit einer Frequenz zwischen 20 kHz und 200 kHz, ganz besonders bevorzugt mit einer Frequenz zwischen 75 kHz und 125 kHz, emittiert wird.
Das Erfassen der Verformungen des elektrischen Nahfeldes kann durch Messen von Veränderungen des an der jeweiligen Elektrode emittierten oder empfangenen elektrischen Wechselfeldes bewerkstelligt werden, wobei die Veränderungen eine Veränderung der Phase, der Amplitude und/oder der Frequenz umfassen.
Das zumindest eine Objekt kann eine Hand, ein Finger, Gliedmaßen und/oder eine Fingerspitze umfassen.
In einer bevorzugten Ausführungsform der Erfindung ist das Erzeugen des Bewegungspfades ausgestaltet, bei einer Bewegung der Hand mit einem oder mehreren voneinander unterscheidbaren Fingern einen oder mehrere Bewegungspfade korrespondierend zu den Fingerspitzen des einen Fingers oder der mehreren unterscheidbaren Finger zu erzeugen.
Damit können erstmals auch Multi-Finger-Gesten in einem dreidimensionalen Raum erfasst und erkannt werden, ohne dass weitere Hilfsmittel, wie etwa Kameras notwendig waren.
Eine Geste kann aus mehreren von mehreren Bewegungspfaden extrahierten Gesten (Teilgesten) gebildet werden, was insbesondere dann vorteilhaft ist, zeitgleich mit mehreren Fingern Gesten eingegeben werden, wobei die jeweils eingegebenen Gesten Bestandteil einer Gesamtgeste sind.
Bereitgestellt wird durch die Erfindung auch eine kontextfreie Grammatik zum Beschreiben von Gesten und/oder Referenzgesten. Die Verwendung von Referenzgesten, welche mit der erfindungsgemäßen Gestengrammatik beschrieben worden ist, hat den Vorteil, dass eine Gestenerkennung in dem erfindungsgemäßen technischen Verfahren besonders einfach umgesetzt werden kann. Vorteilhafterweise werden die Referenzgesten in einer Datenbank gespeichert, wobei ein indizierter Zugriff über die Segmente der Referenzgesten auf die Referenzgesten erfolgen kann. Der indizierte Zugriff hat sich insbesondere bei der kontinuierlichen, d. h. fortlaufenden Gestenerkennung als vorteilhaft herausgestellt, weil die relevanten Referenzgesten anhand der bereits ermittelten Gestensegmente mittels einfacher Datenbankabfragen gefiltert werden können. Die Datenbank kann eine eingebettete (embedded) Datenbank sein, welche sich insbesondere für die Ausführung in einem Mikrocontroller eignet, wobei das erfindungsgemäße Verfahren auch für die Ausführung in einem Mikrocontroller geeignet ist.
Durch die Erfindung wird auch ein System zum berührungslosen Erfassen und Erkennen von Gesten in einem dreidimensionalen Bewegungsraum bereitgestellt, welches umfasst:

– Mittel zum Erzeugen eines elektrischen Nahfeldes, welches den Bewegungsraum definiert,
– Mittel zum Erfassen von Verformungen des elektrischen Nahfeldes, welche durch Bewegungen zumindest eines Objektes in dem Bewegungsraum bewirkt werden,
– Mittel zum Erzeugen zumindest eines Bewegungspfades aus den erfassten Verformungen des elektrischen Nahfeldes, welcher mit der Bewegung des zumindest einen Objektes korrespondiert, und
– Mittel zum Ermitteln eines Gestenanfangs in dem Bewegungspfad während der Bewegungspfad erzeugt wird, und
– Mittel zum Extrahieren der Geste aus dem Bewegungspfad beginnend mit dem Gestenanfang.

Die Mittel zum Erzeugen des elektrischen Nahfeldes können mindestens eine Sendeelektrode umfassen, an welcher ein elektrisches Wechselfeld emittierbar ist, und zumindest einen Signalgenerator, welcher mit der mindestens einen Sendeelektrode gekoppelt ist, zum Beaufschlagen der mindestens einen Sendeelektrode mit einem elektrischen Wechselsignal.
Die Mittel zum Erfassen von Verformungen des elektrischen Nahfeldes können zumindest eine Empfangselektrode und eine damit gekoppelte Auswerteeinrichtung umfassen, zum Erfassen einer Änderung der Frequenz, der Amplitude und/oder der Phase eines in die Empfangselektrode eingekoppelten elektrischen Wechselfeldes oder eines an der Empfangselektrode emittierten elektrischen Wechselfeldes.
Vorzugsweise sind die Frequenz, die Amplitude und/oder die Phase des elektrischen Wechselsignals einstellbar.
Das erfindungsgemäße System kann als eine anwendungsspezifische integrierte Schaltung (ASIC) implementiert werden.
Bereit gestellt wird auch ein Verfahren zum berührungslosen Erfassen von Bewegungen in einem dreidimensionalen Bewegungsraum, welcher von einem elektrischen Nahfeld definiert wird, wobei das Verfahren zumindest

– ein Erfassen von Verformungen des elektrischen Nahfeldes, welche durch Bewegungen zumindest eines Objektes in dem dreidimensionalen Bewegungsraum bewirkbar sind, und
– ein Erzeugen zumindest eines Bewegungspfades aus den erfassten Verformungen des elektrischen Nahfeldes, welcher mit den Bewegungen des zumindest einen Objektes korrespondiert, umfasst.

Des Weiteren wird durch die Erfindung ein Verfahren zum Ermitteln von Gesten aus zumindest einem Bewegungspfad bereitgestellt, welcher mit dem erfindungsgemäßen Verfahren zum berührungslosen Erfassen von Bewegungen erfassbar ist, und welche einen Schritt zum Extrahieren zumindest einer Geste aus dem zumindest einen Bewegungspfad umfasst.
Weitere Vorteile und vorteilhafte Ausgestaltungen der Erfindung sind der Beschreibung, der Zeichnung und den Patentansprüchen entnehmbar.
Kurzbeschreibung der Figuren
In der Zeichnung sind Ausführungsbeispiele schematisch vereinfacht dargestellt und werden in der nachfolgenden Beschreibung näher erläutert.
Es zeigt:
1 ein Ablaufdiagramm des erfindungsgemäßen Verfahrens zum berührungslosen Erfassen und Erkennen von Gesten;
2 eine räumliche Ansicht eines mittels eines elektrischen Nahfeldes erzeugten Bewegungsraumes sowie eines in dem Bewegungsraum liegenden Detektionsraumes;
3 einen mittels eines elektrischen Nahfeldes erzeugten Bewegungsraum, einen im Bewegungsraum angeordneten Detektionsraum sowie mehrere in dem Detektionsraum angeordnete aktive Bereiche, welchen jeweils eine Aktion zugeordnet ist;
4 ein erstes Beispiel eines Schwellwertverfahrens zum Bestimmen eines Anfanges und eines Endes einer Geste;
5 ein zweites Beispiel eines Schwellwertverfahrens zum Bestimmen von Gestenanfang und Gestenende;
6 ein weiteres Beispiel eines Schwellwertverfahrens zum Bestimmen von Gestenanfang und Gestenende;
7a ein Beispiel einer Geste, welche aus mehreren Gestensegmenten eines Gestenalphabets zusammengesetzt ist;
7b ein Beispiel eines Bewegungspfades mit einem fehlerhaften Segment, welcher korrigierbar ist;
8 Beispiele von Hitboxen für die Zerlegung (Segmentierung) eines Bewegungspfades;
9a ein Beispiel einer Bewegung, bei welcher für die Gestenerkennung nur die Z-Richtung relevant ist;
9b ein Beispiel einer Bewegung, bei welcher für die Gestenerkennung nur die X-Richtung relevant ist;
10 ein Beispiel eines Bewegungspfades im dreidimensionalen Raum, wobei für die Gestenerkennung nur die X- und Y-Richtung (Koordinaten) ausgewertet werden;
11 ein Beispiel einer Geste, welche aus zwei Bewegungspfaden extrahiert wird (Zwei-Fingergesten);
12a–12c ein Gesteninventar mit einer Anzahl von Ein-Fingergesten und Zwei-Fingergesten; und
12d ein Gesteninventar mit einer Anzahl von Handgesten.
Detaillierte Beschreibung der Erfindung
1 zeigt ein Ablaufdiagramm eines Verfahrens zum berührungslosen Erfassen und Erkennen von Gesten.
In einem ersten Schritt 100 wird mittels eines Elektrodensystems ein elektrisches Nahfeld, welches vorzugsweise als quasi-statisches elektrisches Wechselfeld ausgebildet ist, erzeugt, welches einen Bewegungsraum relativ zu einer Bezugsfläche, etwa ein Bildschirm oder ein Tablett-PC definiert.
Die Frequenz f des elektrischen Wechselfeldes ist dabei so zu wählen, dass die der Frequenz f des elektrischen Wechselfeldes entsprechende Periode T der Feldänderung (T = 1/j) viel kleiner ist als die Zeit, die das Licht benötigt, um die Strecke L zurückzulegen, wobei L den Abmessungen der Bezugsfläche entspricht, d. h. die Wellenlänge der elektromagnetischen Wellen ist bei der Frequenz f viel größer als die Systemabmessungen L (T >> L/c oder f << c/L, wobei c die Lichtgeschwindigkeit ist). Frequenzen zwischen 10 kHz und 300 kHz, vorzugsweise Frequenzen zwischen 75 kHz und 100 kHz haben sich als besonders geeignet erwiesen. Eine Frequenz von etwa 100 kHz entspricht einer Wellenlänge von ca. 3 km, was die Abmessungen der Bezugsfläche bei weitem übersteigt.
Als Nahfeld wird jener Bereich beizeichnet, bei dem der Abstand zur Feldquelle viel kleiner ist als die Wellenlänge, sodass das Feld nicht als elektromagnetische Welle sondern als quasi-statisches Feld betrachtet werden kann. Die Feldstärke an dem Elektrodensystem fällt mit dem Abstand r zu den Elektroden des Elektrodensystems ungefähr proportional zwischen 1/r bis 1/r² ab. Das bedeutet, dass auch die Empfindlichkeit des Elektrodensystems mit dem Abstand abfällt. Der Empfindlichkeitsbereich des Elektrodensystems ist damit auf dem Raum ”nahe” zu den Elektroden begrenzt.
Die Bezugsfläche kann beispielsweise eine Anzeigeeinrichtung eines mobilen Gerätes, etwa ein Mobiltelefon oder ein Tablett-PC sein. Die Anzeigeeinrichtung kann auch berührungssensitiv ausgestaltet sein, so dass neben dem berührungslosen Erfassen und Erkennen von Gesten auch Eingaben mittels Berühren der Anzeigeeinrichtung erfasst werden können. Als Bezugsfläche kann auch eine „passive” Fläche, etwa die Oberfläche einer Schranktür, vorgesehen sein, welche sich mit dem erfindungsgemäßen System zu einer Eingabefläche ausgestalten lässt.
Zum Erzeugen des quasi-statischen elektrischen Wechselfeldes, welches im Folgenden als elektrisches Nahfeld bezeichnet wird, können mehrere zueinander beabstandete Elektroden vorgesehen sein, an welchen jeweils ein elektrisches Wechselfeld emittiert wird. Ein an den jeweiligen Elektroden beaufschlagtes elektrisches Wechselsignal, welches von einem oder mehreren Generatoren bereit gestellt wird, wird dabei so eingestellt, dass die an den Elektroden emittierten elektrischen Wechselfelder zusammen den Bewegungsraum um die Elektroden herum relativ zur Bezugsfläche aufspannen.
In dem Bewegungsraum, werden in einem nächsten Schritt 200 Verformungen der Feldlinien des elektrischen Wechselfelder erfasst, welche beispielsweise durch Bewegungen zumindest eines Objektes in dem Bewegungsraum bewirkt werden. Beispielsweise kann eine Verformung der Feldlinien durch Bewegen eines Fingers oder mehrerer Finger in dem Bewegungsraum hervorgerufen werden. Die Verformungen der Feldlinien können an den Elektroden erfasst werden, an denen die elektrischen Wechselfelder emittiert werden, indem eine Veränderung der Last an den jeweiligen mit den Elektroden gekoppelten Generatoren ermittelt wird. Verformungen der Feldlinien der elektrischen Wechselfelder werden nachfolgend als Verformungen des elektrischen Nahfeldes bezeichnet. Weitere Ausführungsformen für das Erzeugen der elektrischen Wechselfelder und für das Erfassen von Verformungen der Feldlinien des elektrischen Nahfeldes sind mit Bezug auf 2 angegeben.
Aus den erfassten Verformungen wird in einem nächsten Schritt 300 ein Bewegungspfad erzeugt, welcher mit der Bewegung, beispielsweise eines Fingers, in dem Bewegungsraum korrespondiert. Dabei können gemäß der Erfindung auch mehrere Bewegungspfade erzeugt werden, wenn beispielsweise mehrere Finger in dem Bewegungsraum bewegt werden.
Beim Erzeugen des Bewegungspfades können eine oder mehrere Objekteigenschaften des sich im Bewegungsraum bewegenden Objektes berücksichtigt werden. Beispielsweise kann für das Erzeugen des Bewegungspfades die Form des Objektes berücksichtigt werden. Die ist etwa dann erforderlich, wenn eine Hand mit ausgestrecktem Zeigefinger in den Bewegungsraum eintaucht und somit die gesamte Hand Verformungen des elektrischen Nahfeldes bewirkt. Ohne Berücksichtigung der Form würde ein Bewegungspfad erzeugt werden, welcher im Wesentlichen mit der Bewegung des Schwerpunktes der in dem Bewegungsraum bewegten Hand korrespondiert. Ein so erzeugter Bewegungspfad kann unter Umständen zu einer fehlerhaften Gestenerkennung fahren, da die Bewegung des Schwerpunktes der Hand nicht immer der Bewegung des ausgestreckten Zeigefingers entspricht.
Um dies zu also vermeiden, wird die Form der in dem Bewegungsraum bewegten Hand beim Erzeugen des Bewegungspfades berücksichtigt, wobei die Form der Hand wiederum aus den Verformungen des elektrischen Nahfeldes abgeleitet wird. Aus der Form der Hand kann dann die Fingerspitze eines ausgestreckten Fingers ermittelt werden, sodass ein Bewegungspfad ermittelt werden kann, welcher mit der Bewegung der Fingerspitze korrespondiert.
In einer weiteren Ausgestaltung der Erfindung kann auch die Bewegung mehrerer Finger erfasst und ausgewertet werden, wobei für jeden ausgestreckten Finger die Fingerspitze ermittelt wird.
Beim Erzeugen des Bewegungspfades werden erfindungsgemäß für solche Verformungen des elektrischen Nahfeldes berücksichtigt, welche vorbestimmte Kriterien erfüllen. Ein solches Kriterium kann beispielsweise der Abstand des die Verformung bewirkenden Objektes zur Bezugsfläche sein. Damit wird gewährleistet, dass beispielsweise Bewegungen, welche im Bereich des äußeren Randes des Bewegungsraumes durchgeführt werden, beim Erzeugen des Bewegungspfades nicht berücksichtigt werden.
Beim Erzeugen des Bewegungspfades wird jedem Punkt des Bewegungspfades eine Anzahl von Bewegungsmerkmalen zugeordnet, so dass aus der in dem Bewegungsraum durchgeführten Bewegung zuverlässig eine oder mehrere Gesten extrahiert werden können. Solche Bewegungsmerkmale können beispielsweise die Position des Objektes, etwa der Fingerspitze eines Zeigefingers relativ zur Bezugsfläche, die Ausrichtung der Hand bzw. des Zeigefingers relativ zum Bewegungsraum, die Geschwindigkeit der Fingerspitze, die Beschleunigung der Fingerspitze oder eine Kombination hiervon sein. Wie mit Bezug auf die 4 bis 6 näher beschrieben wird, können diese Bewegungsmerkmale auch zum Bestimmen von Gestenanfang und Gestenende einer oder mehrerer Gesten herangezogen werden.
In einem Schritt 400 werden aus dem erzeugten Bewegungspfad eine oder mehrere Gesten extrahiert. Erfindungsgemäß können dabei diskrete Gesten und/oder kontinuierliche Gesten extrahiert werden.
Eine diskrete Geste zeichnet sich durch einen Gestenanfang, ein Gestenende und einer Bewegung zwischen Gestenanfang und Gestenende aus. Eine kontinuierliche Geste zeichnet sich durch einen Gestenanfang und eine dem Gestenanfang nachfolgende Bewegung aus, wobei eine kontinuierliche Geste nicht notwendigerweise ein Gestenende aufweisen muss.
Beim Extrahieren einer Geste aus dem Bewegungspfad wird sowohl für eine diskrete Geste als auch für eine kontinuierliche Geste zunächst ein Gestenanfang in dem Bewegungspfad ermittelt. Der Gestenanfang wird dabei während des Erzeugens des Bewegungspfades ermittelt. Sobald der Gestenanfang ermittelt worden ist, kann beginnend mit dem Gestenanfang eine Geste extrahiert werden. Konkrete Verfahren zum Ermitteln des Gestenanfanges werden mit Bezug auf die 4 bis 6 näher beschrieben.
Mit Hilfe einer Mustererkennung können die extrahierten Gesten erkannt werden. Zur Mustererkennung können beispielsweise Hidden-Markov-Modelle, ein Viterbi-Algorithmus und/oder Bayes'sche Netze verwendet werden. Ein weiteres erfindungsgemäßes Erkennungsverfahren wird mit Bezug auf 7 näher beschrieben.
In dem Fall, dass diskrete Gesten erfasst und erkannt werden sollen, kann jeweils eine vollständige aus dem Bewegungspfad extrahierte Geste der Mustererkennung zugeführt. Dies kann beispielsweise dann erfolgen, sobald das Gestenende der Geste ermittelt worden ist. Das Ermitteln eines Gestenendes wird ebenfalls mit Bezug auf die 4 bis 6 näher beschrieben.
In dem Fall, dass kontinuierliche Gesten erkannt werden sollen, wird nach dem Ermitteln des Gestenanfanges der dem Gestenanfang nachfolgende Bewegungspfad fortlaufend der Mustererkennung zugeführt. Der fortlaufend zugeführte Bewegungspfad wird von der Mustererkennung ebenfalls fortlaufend einer Gestenerkennung unterzogen.
Zum Zecke der Gestenerkennung von kontinuierlichen und diskreten Gesten sind Referenzgesten vorgesehen, welche für einen Mustervergleich mit dem der Mustererkennung zugeführten Bewegungspfad verwendet werden. Referenzgesten können Gesten sein, welche beispielsweise in einem bestimmten Bedienkontext eines elektrischen Gerätes zulässig sein. Ist in einem Bedienkontext etwa nur die Eingabe von bestimmten Buchstaben zulässig, so umfassen die Referenzgesten Gesten, welche repräsentativ für die zulässigen Buchstaben sind.
Der Mustervergleich kann so durchgeführt werden, dass einzelne Segmente des Bewegungspfades mit entsprechenden Teilgesten der Referenzgesten verglichen werden. Eine Teilgeste ist dabei ein Segment einer Referenzgeste. Stimmen die einzelnen Segmente des Bewegungspfades jeweils mit den Teilgesten einer Referenzgeste überein, kann der Bewegungspfad als erkannte Geste interpretiert werden.
In einer Ausgestaltung der Erfindung, kann die Menge der möglichen Referenzgesten nach jedem Vergleich eines Segmentes des Bewegungspfades mit den entsprechenden Teilgesten verkleinert werden, weil mit zunehmender Anzahl von verglichenen Segmenten des Bewegungspfades alle jene Referenzgesten für den Gestenvergleich ausgeschlossen werden können, deren entsprechende Teilgesten nicht mit den bereits verglichenen Segmenten des Bewegungspfades übereinstimmen. Damit kann auch ein Abbruch der Erkennung vorgenommen werden, sobald ein Segment des Bewegungspfades nicht mehr einer entsprechenden Teilgeste einer Referenzgeste zugeordnet werden kann.
Dem Schritt 400 zum Extrahieren einer oder mehrerer Gesten aus dem Bewegungspfad kann eine Kontextinformation zugeordnet werden, mit welcher dem Extraktionsschritt 400 angegeben werden kann, ob es sich bei der zu extrahierenden Geste um eine diskrete Geste oder um eine kontinuierliche Geste handelt. Die Kontextinformation gibt also an, welche Art von Gesten ausgewertet werden müssen. Die Kontextinformation ist im Wesentlichen abhängig von der spezifischen Anwendung, in welcher das erfindungsgemäße Verfahren zum Einsatz kommt. Wenn beispielsweise an einer Anzeige-/Eingabeeinrichtung ein Schieberegler angezeigt wird, welcher mit Hilfe einer Handbewegung berührungslos nach links oder nach rechts bewegt werden soll, kann dem Extraktionsschritt 400 die Kontextinformation „kontinuierliche Geste” zugeordnet werden. Eine Bewegung der Hand in dem dem Schieberegler zugeordneten Bewegungsraum wird dann kontinuierlich ausgewertet, so dass der Schieberegler im Wesentlichen synchron zur Bewegung der Hand an der Anzeigeeinrichtung bewegt werden kann.
Wird beispielsweise an der Eingabeeinrichtung die Eingabe von Buchstaben oder Zahlen erwartet, kann dem Extraktionsschritt 400 die Kontextinformation „diskrete Geste” zugeordnet werden. Hierbei wird ein Bewegungspfad zwischen Gestenanfang und Gestenende dann der Mustererkennung zugeführt, sobald ein Gestenende im Bewegungspfad erkannt worden ist. Alternativ kann der Bewegungspfad einer diskreten Geste auch fortlaufend der Mustererkennung zugeführt werden sobald ein Gestenanfang erkannt worden ist, was den Vorteil hat, dass Aussagen darüber getroffen werden können, welche Geste ein Benutzer auszuführen beabsichtigt, noch bevor die Geste beendet ist.
Die dem Extraktionsschritt 400 zugeordnete Kontextinformation kann auch eine Menge von Referenzgesten umfassen, welche zum Beispiel angibt, welche Gesten in dem jeweiligen Kontext zulässig sind.
Dies ist beispielsweise dann vorteilhaft, wenn eine Eingabeeinrichtung die Eingabe von Zahlen erwartet. Die Kontextinformation kann hierbei die Ziffern „0” bis „9” als Referenzgesten umfassen. Eine Bewegung des Zeigefingers in dem Bewegungsraum, welche beispielsweise dem Buchstaben „A” entsprechen würde, kann dann von dem erfindungsgemäßen Verfahren als nicht zulässige Geste detektiert werden. Durch die Verwendung von Referenzgesten, welche die in einem jeweiligen Kontext zulässigen Gesten definieren, kann die Wahrscheinlichkeit von Fehlinterpretationen beim Erkennen von Gesten deutlich verringert werden.
Zudem kann eine Fehlerkorrektur vorgenommen werden, wenn etwa ein Bewegungspfad zwischen einem Gestenanfang und einem Gestenende keiner der Referenzgesten zugeordnet werden kann, der Bewegungspfad aber eine Ähnlichkeit zu einer Referenzgeste aufweist. Der Grad der Ähnlichkeit ist einstellbar und kann beispielsweise in Abhängigkeit der Anzahl der Referenzgesten eingestellt werden. Bei einer geringen Anzahl von Referenzgesten kann ein geringer Grad der Ähnlichkeit eingestellt werden, was dann den Vorteil hat, dass auch sehr ungenau durchgeführte Bewegungen zuverlässig zu einer korrekt erkannten Geste führen.
Um unbeabsichtigte Bewegungen, beispielsweise eines Fingers in dem Bewegungsraum beim Extrahieren von Gesten aus dem Bewegungspfad unberücksichtigt zu lassen, wird ein Kompensationsverfahren vorgeschlagen, welches beim Erzeugen des Bewegungspfades (Schritt 300) Segmente aus dem Bewegungspfad entfernt, welche unbeabsichtigten Bewegungen des Fingers in dem Bewegungsraum entsprechen. Hierzu kann beispielsweise die Geschwindigkeit und/oder die Beschleunigung des Fingers in dem Bewegungsraum herangezogen werden, wobei ein Überschreiten bzw. Unterschreiten einer vorgegebenen Geschwindigkeit bzw. einer vorgegebenen Beschleunigung indikativ für eine unbeabsichtigte Bewegung des Fingers sein kann. Durch das Extrahieren solcher Segmente aus dem Bewegungspfad wird zudem auch der Erkennungsgrad beim Extrahieren von Gesten aus dem Bewegungspfad im Schritt 400 erhöht.
2 zeigt beispielhaft den Aufbau eines erfindungsgemäßen Systems zum berührungslosen Erfassen von Bewegungen in einem Bewegungsraum mit vier Elektroden eines elektrischen Sensorsystems.
Im Bereich der vier Kanten einer rechteckigen Bezugsfläche B, welche beispielsweise eine Anzeigeeinrichtung sein kann, ist jeweils eine Elektrode angeordnet, welche Bestandteil eines elektrischen Sensorsystems sind. Die Elektroden E erstrecken sich hier jeweils über die gesamte Länge der jeweiligen Kante der Bezugsfläche B. An den Elektroden E wird jeweils ein elektrisches Wechselfeld abgestrahlt, wobei die vier abgestrahlten elektrischen Wechselfelder zusammen den Bewegungsraum 10 definieren.
Anstelle der vier in 2 gezeigten streifenförmigen Elektroden E können an den Kanten der Bezugsfläche B jeweils eine punktförmige Elektrode angeordnet werden, was eine verbesserte Detektion der Raumkoordinaten, beispielsweise einer Fingerspitze, in dem Bewegungsraum 10 ermöglicht. Es können auch an jeder Kante der Bezugsfläche mehrere solche punktförmige Elektroden vorgesehen sein, um die Detektionsgenauigkeit noch weiter zu erhöhen.
Die punktförmigen Elektroden können auch an den Ecken der Bezugsfläche B angeordnet sein. Eine punktförmige Elektrode kann beispielsweise aus einem flachen Metallplättchen gebildet werden, welches eine Fläche von etwa 0,5 cm² bis 5 cm² aufweist. In einer konkreten Ausgestaltung weisen die punktförmigen Elektroden eine Fläche von 1 cm² auf.
Die einzelnen Elektroden können jeweils als Sendeelektrode und/oder Empfangselektrode betrieben werden.
Beispielsweise kann eine der in 2 gezeigten Elektroden als Sendeelektrode (Generatorelektrode) betrieben werden, an welcher das elektrische Wechselfeld emittiert wird. Die drei anderen Elektroden können als Empfangselektroden betrieben werden, an welchen das von der Sendeelektrode emittierte elektrische Wechselfeld empfangen bzw. eingekoppelt wird. Aus dem an den Empfangselektroden eingekoppelten elektrischen Wechselfeld kann die Verformung des elektrischen Nahfeldes ermittelt werden. Die einzelnen Empfangselektroden können dabei im Multiplex-Verfahren betrieben werden, so dass die an den Empfangselektroden abgegriffenen Signale zeitlich nacheinander einer Auswerteeinheit zugeführt werden.
Die Signale an der Empfangselektrode können auch gleichzeitig abgegriffen werden, was zu einem verbesserten Signal-Rausch-Verhältnis (SNR) führt.
In einer alternativen Ausführungsform kann eine der in 2 gezeigten Elektroden als Empfangselektrode betrieben werden. Die anderen drei Elektroden können jeweils als Sendeelektrode betrieben werden, an welchen jeweils ein elektrisches Wechselfeld emittiert wird, welches jeweils in die Empfangselektrode einkoppelt. Die an den Sendeelektroden emittierten elektrischen Wechselfelder können hierbei jeweils eine unterschiedliche Frequenz und/oder eine unterschiedliche Phasenlage aufweisen.
Die an den Sendeelektroden emittierten elektrischen Wechselfelder können aber auch jeweils die gleiche Frequenz und die gleiche Phasenlage aufweisen, wobei die Sendeelektroden vorteilhafterweise in einem Zeitmultiplex-Verfahren betrieben werden.
Ebenfalls ist es möglich, mehrere Sendeelektroden und mehrere Empfangselektroden vorzusehen, so dass die räumliche Auflösung noch weiter erhöht werden kann.
In einer weiteren Ausführungsform kann auch mindestens eine Elektrode sowohl als Sendeelektrode als auch als Empfangselektrode betrieben werden, indem die Verformung der Feldlinien des elektrischen Wechselfeldes über die Last an dem die Wechselspannung erzeugenden Generator ermittelt wird.
Eine konkrete Realisierung eines Systems zum Erfassen einer Position eines Fingers in einem elektrischen Wechselfeld ist in der auf die Anmelderin zurückgehenden deutschen Patentanmeldung DE 10 2007 020 873 beschrieben.
Der Bewegungsraum kann weiter unterteilt werden. Innerhalb des Bewegungsraumes 10 wird ein Detektionsraum 20 definiert, welcher kleiner ist als der Bewegungsraum 10. Der Detektionsraum 20 innerhalb des Bewegungsraumes 10 ist jener Raum, welcher beim Erzeugen des Bewegungspfades berücksichtigt wird, d. h. nur für Bewegungen innerhalb des Detektionsraumes 20 wird ein Bewegungspfad erzeugt.
Tritt eine Hand H bzw. eine Fingerspitze in den Bewegungsraum 10 ein, bewirkt die Hand H bzw. die Fingerspitze eine Verformung des elektrischen Nahfeldes. Gemäß einer Ausgestaltung der Erfindung wird aus der Verformung des elektrischen Nahfeldes allerdings erst dann ein Bewegungspfad abgeleitet, sobald der Finger bzw. die Hand H in den Detektionsraum 20 eintritt. Dies kann beispielsweise durch Auswerten des Abstandes d zwischen der Fingerspitze und der Bezugsfläche B erfolgen. Wird der Abstand d zwischen Fingerspitze und Bezugsfläche B kleiner als der Abstand D, welcher den Abstand zur Bezugsfläche B angibt, innerhalb welchem ein Bewegungspfad aus den erfassten Verformungen des elektrischen Nahfeldes abgeleitet wird, führt die Bewegung der Fingerspitze dazu, dass aus den dadurch bewirkten Verformungen des elektrischen Nahfeldes ein Bewegungspfad abgeleitet wird.
Das Vorsehen eines Detektionsraumes 20 hat den Vorteil, dass Verformungen des elektrischen Nahfeldes im Randbereich des Bewegungsraumes beim Erzeugen des Bewegungspfades unberücksichtigt bleiben. Alternativ kann eine Verformung des elektrischen Nahfeldes außerhalb des Detektionsraumes 20 auch dazu verwendet werden, um beispielsweise eine Eingabefläche zu aktivieren, etwa von einem Schlafmodus in einen Betriebsmodus überzuführen.
3 zeigt eine Möglichkeit, aktive Bereiche relativ zur Bezugsfläche zu definieren. In dem in 3 gezeigten Beispiel werden einer Bezugsfläche B neun aktive Bereiche zugeordnet. Jedem der aktiven Bereiche kann eine Funktion zugeordnet werden, welche zur Ausführung kommt, sobald der entsprechende aktive Bereich beispielsweise mit der Fingerspitze ausgewählt wird. Die Auswahl kann durch Annäherung der Fingerspitze an den entsprechenden aktiven Bereich bewirkt werden. Die aktiven Bereiche 30 werden vorzugsweise so definiert, dass sie innerhalb des Detektionsraumes 20 liegen. Ein Aktivbereich 30 wird selbst wiederum durch einen Raum definiert, welcher dem aktiven Bereich zugeordnet ist.
In 3 sind aktive Bereiche in einer schematischen Schnittdarstellung gezeigt. Sobald die Spitze des Zeigefingers der Hand H in den Raum des aktiven Bereiches 30 eintritt, wird erkannt, dass die X- und Y-Koordinaten der Fingerspitze innerhalb der den aktiven Bereich 30 definierenden X- bzw. Y-Koordinaten liegen. Zudem wird der Eintritt der Fingerspitze in den Raum des aktiven Bereiches 30 dadurch erkannt, dass der Abstand (Z-Koordinate) der Fingerspitze zur Eingabefläche B einen vorbestimmten Wert unterschreitet. Das erfindungsgemäße Verfahren kann so durch Auswerten der X-, Y- und Z-Koordinaten des Fingers bzw. der Fingerspitze in dem Bewegungsraum 10 bzw. in dem Detektionsraum 20 die Auswahl eines aktiven Bereiches detektieren. Die X-, Y- bzw. Z-Koordinaten werden aus dem Bewegungspfad ermittelt, welcher aus der zeitlichen Veränderung des elektrischen Wechselfeldes abgeleitet wird.
Die Bestätigung der Auswahl des aktiven Bereiches 30 kann durch Entfernen bzw. durch Herausbewegen der Fingerspitze in Z-Richtung aus dem aktiven Bereich 30 erfolgen. Sobald eine solche Bestätigung detektiert worden ist, kann eine entsprechende, dem aktiven Bereich 30 zugeordnete Funktion ausgeführt werden. Bei der Bestätigung der Auswahl, d. h. beim Bewegen der Fingerspitze in Z-Richtung kann auch die Geschwindigkeit und/oder die Beschleunigung der Bewegung berücksichtigt werden. So kann beispielsweise vorgesehen sein, dass eine Bewegung in positiver Z-Richtung nur dann als Bestätigung interpretiert wird, wenn die Bewegung eine vorbestimmte Geschwindigkeit bzw. eine vorbestimmte Beschleunigung überschreitet.
Alternativ kann eine Bestätigung auch durch Bewegen der Fingerspitze in X- oder in Y-Richtung aus dem aktiven Bereich heraus erfolgen. Die Bestätigung kann aber auch dadurch erfolgen, dass die Fingerspitze für einen vorbestimmten Zeitraum innerhalb des Raumes des aktiven Bereiches 30 verweilt. So kann beispielsweise der Finger über die Eingabefläche B bewegt werden und dabei in jeweils verschiedene aktive Bereiche eintreten, wobei eine Bestätigung der Auswahl des entsprechenden aktiven Bereiches nur dann erfolgt, wenn sich die Fingerspitze in dem entsprechenden aktiven Bereich befindet und für eine vorbestimmte Zeit innerhalb des aktiven Bereiches nicht bewegt wird.
Für die Auswahl bzw. die Bestätigung einer Auswahl eines aktiven Bereiches 30 ist kein Berühren der Eingabefläche B notwendig. Dennoch kann die Eingabefläche B als berührungssensitive Eingabefläche ausgestaltet sein, um die Funktionalität zusammen mit dem Verfahren bzw. zusammen mit dem System zum berührungslosen Erfassen und Erkennen von Gesten zu erweitern.
Die aktiven Bereiche müssen allerdings nicht nur zur Auswahl einer bestimmten dem jeweiligen aktiven Bereich 30 zugeordneten Funktionalität vorgesehen sein. Die aktiven Bereiche 30 können auch dazu vorgesehen sein, Bewegungen innerhalb eines aktiven Bereiches zu erfassen und gemäß dem erfindungsgemäßen Verfahren eine oder mehrere Gesten zu detektieren. Zusammen mit den Kontextinformationen kann beispielsweise ein erster aktiver Bereich 30 vorgesehen sein, um Ziffern einzugeben, ein zweiter Bereich kann beispielsweise dafür vorgesehen sein, um Buchstaben einzugeben, und ein dritter aktiver Bereich kann wiederum dazu vorgesehen sein, um lediglich eine Auswahl zu treffen, wie vorstehend beschrieben.
Nachfolgend wird mit Bezug auf die 4 bis 6 näher beschrieben, wie erfindungsgemäß ein Gestenanfang und ein Gestenende in dem Bewegungspfad ermittelt werden kann. Um eine erfasste Bewegung in dem Bewegungsraum einer Mustererkennung zuführen zu können, ist es zunächst notwendig, zumindest den Anfang einer Geste zu ermitteln. Prinzipiell könnten auch Bewegungen, welche vor dem Gestenanfang stattfinden, der Mustererkennung zugeführt werden, was allerdings den Nachteil hätte, dass Bewegungen vor dem Gestenanfang zu einer fehlerhaften Gestenerkennung führen können, falls die Mustererkennung nicht dafür ausgestaltet ist, nicht zu einer Geste gehörende Bewegungen unberücksichtigt zu lassen. Für den Fall, dass eine komplette Geste der Mustererkennung zugeführt werden soll, ist es notwendig, auch das Gestenende in dem Bewegungspfad zu ermitteln.
Während einer Bewegung beispielsweise einer Fingerspitze in dem Bewegungsraum werden in vorbestimmten Zeitabständen, beispielsweise in Zeitabständen von 5 ms, ein oder mehrere Bewegungsmerkmale mit Hilfe der elektrischen Sensorelektronik erfasst und dem entsprechenden Punkt des Bewegungspfades zugeordnet. Die Zeitabstände können auch größer oder kleiner gewählt werden, was von dem konkreten Anwendungsfall abhängt. Die Bewegungsmerkmale können beispielsweise sein:

– Position der Fingerspitze relativ zur Bezugsfläche, etwa einer Eingabefläche eines berührungssensitiven Displays; die Position kann durch die X-, Y- und/oder Z-Koordinate relativ zur Eingabefläche angegeben werden;
– Ausrichtung des Fingers bzw. der Hand relativ zum Bewegungsraum;
– Geschwindigkeit der Bewegung des Fingers;
– Beschleunigung des Fingers während der Bewegung;
– und/oder eine Kombination hiervon.

Zum Bestimmen des Gestenanfangs bzw. des Gestenendes können einzelne dieser Bewegungsmerkmale oder eine Kombination davon herangezogen werden.
Es kann auch vorgesehen sein, dass die gesamte Bewegung innerhalb des Bewegungsraumes als Geste auszuwerten ist. Dabei ist es vorteilhaft, den Gestenanfang bzw. das Gestenende direkt aus den an den Sensorelektroden abgegriffenen elektrischen Signalen zu ermitteln. Sobald eine Signaländerung vorliegt, welche Indikativ für eine Verformung des elektrischen Nahfeldes ist, kann dies als Gestenanfang interpretiert werden. Gleiches gilt für das Gestenende. Sobald das an den Elektroden abgegriffene elektrische Signal repräsentativ dafür ist, dass keine Verformung des elektrischen Nahfeldes vorliegt, kann dies als Gestenende interpretiert werden.
Alternativ kann auch beim Starten des erfindungsgemäßen Gestenerkennungssystems eine fortlaufende Gestenerkennung begonnen werden. Dabei wird der Bewegungspfad fortlaufend analysiert. Sobald in dem Bewegungspfad eine vorbestimmte Kommandogeste erkannt wird, wird den nachfolgenden aus dem Bewegungspfad extrahierten Gesten eine entsprechende auszuführende Funktion zugeordnet. D. h, dass zeitlich vor der Kommandogeste erkannte Geste unberücksichtigt bleiben. Das selbe Verfahren kann auch angewandt werden, um beispielsweise mit Hilfe einer vorbestimmten Kommandogeste die Gesteneingabe zu beenden. Eine Kommandogeste kann hierbei in gleicher Weise aus dem Bewegungspfad extrahiert und erkannt werden, wie die anderen Gesten auch.
Alternativ können der Gestenanfang und/oder das Gestenende auch durch Veränderung der elektrischen Eigenschaft des Objektes in dem Bewegungsraum festgelegt werden. Beispielsweise kann ein Benutzer eine Hand in einem vor einem Schaufenster aufgespannten elektrischen Wechselfeld bewegen. Berührt der Benutzer mit der anderen Hand gleichzeitig eine erdende Fläche oder tritt er gleichzeitig auf eine vor dem Schaufenster angeordnete geerdete Fläche, führt dies zu einer Verformung der Feldlinien des elektrischen Wechselfeldes, welche als Gestenanfang detektiert werden kann.
In einer anderen Ausführungsform können der Gestenanfang und/oder das Gestenende auch durch Betätigen eines Bedienelements durch den Benutzer festgelegt werden.
4 zeigt den zeitlichen Verlauf des Abstandes (Abstand in Z-Richtung) der Fingerspitze zur Bezugsfläche während einer Bewegung. Der Abstand der Fingerspitze zur Bezugsfläche kann als Kriterium herangezogen werden, um den Anfang und das Ende einer Geste zu bestimmen. Hierzu wird ein Schwellwert definiert, dessen Unterschreiten bzw. dessen Überschreiten den Anfang bzw. das Ende einer Geste festgelegt. Wie in 4 gezeigt, ist als Schwellwert ein Abstand von 4 cm zur Bezugsfläche definiert. Wie ebenfalls in 4 erkennbar, nähert sich die Fingerspitze kontinuierlich dem Schwellwert an. Sobald der Abstand von der Fingerspitze zur Bezugsfläche kleiner als 4 cm ist, wird der entsprechende Punkt 40a in dem Bewegungspfad 40 als Gestenanfang markiert. Sobald der Abstand der Fingerspitze zur Bezugsfläche den Schwellwert von 4 cm wieder überschreitet, wird der entsprechende Punkt 40b in dem Bewegungspfad als Gestenende markiert. Die Geste wird nun durch den Bewegungspfad zwischen dem Gestenanfang 40a und dem Gestenende 40b gebildet. Dieser Bewegungspfad kann dann, wie bereits oben ausgeführt, einer Mustererkennung zugeführt werden.
Selbstverständlich kann für die Bestimmung des Gestenanfanges bzw. des Gestenendes anhand des Abstandes der Fingerspitze zur Bezugsfläche ein anderer Schwellwert als der in 4 gezeigte Schwellwert verwendet werden, was letztlich von dem konkreten Anwendungsfall des erfindungsgemäßen Verfahrens abhängt. Der Abstand der Fingerspitze zur Bezugsfläche kann beispielsweise mittels Triangulation aus den an den jeweiligen Sensorelektroden erfassten Verformungen des elektrischen Nahfeldes ermittelt werden.
5 zeigt ein zweites erfindungsgemäßes Schwellenwertverfahren zum Bestimmen eines Gestenanfanges und eines Gestenendes einer Fingerbewegung in einem Bewegungsraum. Als Bewegungsmerkmal wird hierbei die Geschwindigkeit der Fingerspitze relativ zur Bezugsfläche herangezogen, wobei in 5 der zeitliche Verlauf der Geschwindigkeit der Fingerbewegung in X-Richtung aufgetragen ist.
In dem in 5 gezeigten Beispiel wird als Merkmal für den Gestenanfang bzw. das Gestenende also der Geschwindigkeitsverlauf der Fingerspitze in X-Richtung ausgewertet, wobei ein Überschreiten einer vorbestimmten Geschwindigkeit (Schwellwert) den Gestenanfang definiert und ein Unterschreiten des vorbestimmten Schwellwertes das Gestenende definiert. Wie nach dem Schwellwertverfahren nach 4 kann auch hier dem Punkt 50a des Bewegungspfades 50 eine Gestenanfangsmarkierung und dem Punkt 50b eine Gestenendemarkierung zugeordnet werden. Der Bewegungspfad zwischen Gestenende und Gestenanfang kann wiederum einer Mustererkennung zugeführt werden.
Der Geschwindigkeitsverlauf kann auch dazu herangezogen werden, unbeabsichtigte Bewegungen aus dem Bewegungspfad zu entfernen. Hierzu kann beispielsweise ein zweiter Schwellwert vorgesehen sein, dessen Überschreiten ein Indiz dafür ist, dass es sich bei der Bewegung um keine intendierte Bewegung handelt, sondern um eine unbeabsichtigte Bewegung innerhalb des Bewegungsraumes (z. B. Zittern der Hand) oder um ein Störsignal (z. B. von in der Nähe des Systems angeordneten Mobiltelefonen, Leuchtstoffröhren, etc.). Dem entsprechenden Punkt 51a des Bewegungspfades 50 kann eine entsprechende Information zugeordnet werden, welche ein Überschreiten des zweiten Schwellwertes angibt. Unterschreitet die Bewegungsgeschwindigkeit diesen zweiten Schwellwert wieder, kann auch diesem Punkt 51b des Bewegungspfades 50 eine entsprechende Information für das Unterschreiten des zweiten Schwellwertes zugeordnet werden.
Bei dem in 5 gezeigten Beispiel enthält der Bewegungspfad 50 also zwei Gesten, nämlich eine Geste, welche aus dem Bewegungspfad zwischen den Punkten 50a und 51a gebildet wird und eine zweite Geste, welche aus dem Bewegungspfad zwischen den Punkten 51b und 50b gebildet wird. Nach dem in 5 gezeigten Beispiel werden zwei Segmente aus dem Bewegungspfad 50 einer Mustererkennung zugeführt. Das Segment 51, welches eine unbeabsichtigte Bewegung repräsentiert, wird der Mustererkennung nicht zugeführt und kann gegebenenfalls verworfen werden.
Alternativ kann aus den beiden in 5 gezeigten Segmenten des Bewegungspfades (50a bis 51a bzw. 51b bis 50b) wieder ein einzelner Bewegungspfad zwischen den Punkten 50a und 50b erzeugt werden, welcher dann einer Mustererkennung zugeführt werden kann. Hierzu kann der Bewegungspfad 50 zwischen den Punkten 51a und 51b interpoliert werden. Ein interpoliertes Segment zwischen den Punkten 51a und 51b ist in 5 mit den Bezugszeichen 52 gekennzeichnet. Zur Interpolation können an sich bekannte Interpolationsverfahren, beispielsweise eine kubische Spline-Interpolation herangezogen werden. Damit können unbeabsichtigte Bewegungen in einem Bewegungspfad effizient kompensiert werden, ohne dass hierbei fälschlicherweise zwei oder mehrere Gesten angenommen werden und ohne dass dabei Ausreißer im Bewegungspfad einen negativen Einfluss auf die nachfolgende Mustererkennung haben.
Durch besonders großzügig ausgelegte Kompensationsverfahren können auch Gestenerkennungssysteme realisiert werden, welche nur einen einfachen Vorrat an Gesten erkennen können, dafür aber fehlertoleranter hinsichtlich der Gestenerkennung sind. Damit können auch Gestenerkennungssysteme zur dreidimensionalen Erkennung von Gesten für Menschen bereitgestellt werden, deren Motorik, etwa aufgrund eines Handicaps, einer Krankheit (z. B. Parkinson) erheblich eingeschränkt ist.
Anstelle des Geschwindigkeitsverlaufes in X-Richtung kann auch der Geschwindigkeitsverlauf in Y-Richtung und/oder in Z-Richtung ausgewertet werden. Alternativ kann auch der Geschwindigkeitsverlauf in alle drei Richtungen für das Bestimmen eines Gestenanfangs bzw. eines Gestenendes berücksichtigt werden. Anstelle des Geschwindigkeitsverlaufes über die Zeit kann auch der Verlauf der Beschleunigung über die Zeit zum Bestimmen des Gestenanfanges bzw. des Gestenendes herangezogen werden.
6 zeigt ein noch weiteres Verfahren zum Bestimmen eines Gestenanfangs bzw. eines Gestenendes in einem Bewegungspfad.
Gezeigt sind in 6 die zeitlichen Verläufe der Abstände zwischen jeweils einer Sensorelektrode und der Fingerspitze eines sich bewegenden Fingers in einem Sensorsystem mit vier Sensorelektroden. Beispielsweise entspricht der Verlauf 60a dem zeitlichen Verlauf des Abstandes einer Fingerspitze relativ zu einer ersten Sensorelektrode. Auch hierbei wird ein Schwellwert definiert, dessen Überschreiten bzw. Unterschreiten den Anfang einer Geste bzw. das Ende einer Geste festlegen. Erfindungsgemäß liegt ein Gestenanfang dann vor, wenn zumindest einer der vier in 6 gezeigten Verläufe den vorgegebenen Schwellwert unterschreitet. Demzufolge kann ein Gestenende dann vorliegen, wenn alle vier Verläufe den entsprechenden Schwellwert wieder überschritten haben.
Die in den 4 bis 6 gezeigten Schwellenwertverfahren können jeweils einzeln oder auch in Kombination miteinander für die Bestimmung eines Gestenanfangs bzw. eines Gestenendes herangezogen werden. Als zusätzliche Bedingung kann auch festgelegt werden, dass eine oder mehrere der in den 4 bis 6 gezeigten Schwellwerte für einen vorbestimmten Zeitraum über- bzw. unterschritten werden müssen, damit ein Über- bzw. Unterschreiten als Gestenanfang bzw. als Gestenende interpretiert wird. Denkbar ist auch, dass die in den 4 bis 6 gezeigten Schwellwerte in einer vorbestimmten Reihenfolge unter- bzw. überschritten werden müssen, um einen Gestenanfang bzw. ein Gestenende zu detektieren.
Nachfolgend wird mit Bezugnahme auf 7a ein Verfahren für die Erkennung einer Geste aus einem Bewegungspfad, welcher einer Bewegung einer Fingerspitze in dem Bewegungsraum 10 bzw. in dem Detektionsraum 20 entspricht, beschrieben, wobei lediglich die X- und die Y-Koordinaten berücksichtigt werden. Ein Benutzer hat mittels einer Bewegung in dem Bewegungsraum 10 bzw. in dem Detektionsraum 20 die Ziffer „2” eingegeben. Der entsprechende Bewegungspfad (nachdem der Gestenanfang bzw. das Gestenende detektiert worden sind) ist in 7a mit Bezugszeichen 70 gekennzeichnet. Zum Zweck der Gestenerkennung wird der Bewegungspfad zunächst in Segmente zerlegt. Für das Zerlegen des Bewegungspfades in einzelne Segmente können beispielsweise normierte Hitboxen 75 (vgl. 8) verwendet werden, welche das jeweilige Segment aus dem Bewegungspfad größtenteils umschließen. Bei der Gestenerkennung von dreidimensionalen Gesten, d. h. bei Bewegungen, für welche zusätzlich auch die Z-Koordinate berücksichtigt wird, werden anstelle von Hitboxen vorzugsweise Boundingboxen verwendet, welche das jeweilige Segment des Bewegungspfades größtenteils umschließen.
Bei den normierten Hitboxen 75 handelt es sich um eine vorbestimmte Anzahl von Rechtecken mit einer vorbestimmten Breite und Länge, wobei jedes Rechteck um jeweils einen vorbestimmten Winkel geneigt ist. In einem einfachen Fall sind acht Hitboxen ausreichend, um einen Bewegungspfad zu segmentieren. Acht mögliche Hitboxen sind mit Bezug auf 8 gezeigt. Für das Segmentieren ist die Richtung des Bewegungspfades nicht von Bedeutung, da jede Hitbox jeweils zwei Gestensegmente aus einer Menge von verfügbaren Gestensegmenten beschreibt, welche jeweils in entgegengesetzte Richtung verlaufen.
In einem ersten Schritt wird nun eine Hitbox selektiert, welche das erste Segment des Bewegungspfades möglichst vollständig umgibt. Im vorliegenden Fall wird aus den in 8 gezeigten Hitboxen die Hitbox HB1 ausgewählt und dem entsprechenden Segment des Bewegungspfades zugeordnet. Dieses Verfahren wird solange fortgesetzt, bis der gesamte Bewegungspfad mit Hilfe der Hitboxen in einzelne Segmente zerlegt worden ist. Aufgrund der Richtung des Bewegungspfades, welcher bekannt ist, wird in einem nächsten Schritt jeder Hitbox ein entsprechendes Gestensegment aus einer Menge von verfügbaren Gestensegmenten 72 zugeordnet. Im vorliegenden Fall wird der Hitbox HB1 unter Berücksichtigung der Richtung des Bewegungspfades das Gestensegment (a) zugeordnet. Dieser Vorgang wird solange wiederholt, bis jeder Hitbox ein entsprechendes Gestensegment zugeordnet ist. Das Ergebnis einer solchen Zuordnung ist in 7a mit Bezugszeichen 71 gekennzeichnet.
Die so erzeugte Sequenz von Gestensegmenten wird nun herangezogen, um aus einer Menge von Referenzgesten eine entsprechende Geste auszuwählen. Hierzu werden die Referenzgesten selbst vorzugsweise jeweils aus einer Sequenz von Gestensegmenten beschrieben. Vorzugsweise werden gemäß der Erfindung die Referenzgesten entsprechend einer Grammatik zur kontextfreien Beschreibung von Gesten, welche weiter unten näher beschrieben wird, beschrieben.
Um die Auflösung bei der Gestenerkennung zu erhöhen, können zusätzliche Hitboxen und entsprechende dazugehörige Gestensegmente vorgesehen werden. Die Hitboxen selbst können auch kleiner gewählt werden, was bei der Gestenerkennung ebenfalls zu einer höheren Auflösung führt.
Das vorstehend beschriebene Verfahren zum Erkennen von Gesten mittels Zerlegen des Bewegungspfades in einzelne Segmente und Zuordnen der entsprechenden Hitboxen kann auch so ausgeführt werden, dass nach dem Ermitteln der ersten Hitbox dieser Hitbox sodann das entsprechende Gestensegment zugeordnet wird. Diese Vorgehensweise hat den Vorteil, dass bereits nach dem ersten ermittelten Gestensegment alle Referenzgesten für die Gestenerkennung ausgeschlossen werden können, deren erstes Gestensegment nicht dem ermittelten ersten Gestensegment entspricht.
In besonderen Fällen kann aufgrund eines bereits ermittelten Gestensegmentes auch die Anzahl der möglichen nachfolgenden Gestensegmente eingeschränkt werden, falls auf ein Gestensegment nur bestimmte Gestensegmente folgen können. Dies wird anhand des in 7a gezeigten Beispiels erläutert. Angenommen, die Menge von Referenzgesten besteht nur aus der in 7a gezeigten Referenzgeste 71, welche die Ziffer 2 beschreibt. In diesem Fall ist nach dem ersten Gestensegment (a) nur das Gestensegment (b) als nachfolgendes Gestensegment möglich. Führt ein Benutzer dem ersten Gestensegment die Bewegung in dem Bewegungsraum nun so fort, dass dies beispielsweise dem Gestensegment (e) entsprechen würde, kann die Eingabe bzw. die Bewegung als unzulässig erkannt werden.
Im Folgenden wird eine Grammatik zum kontextfreien Beschreiben von Gesten angegeben, welche in dem erfindungsgemäßen Verfahren für die Gestenerkennung eingesetzt werden kann, um etwa Referenzgesten zu beschreiben.
Die Gestengrammatik wir dabei in EBNF-Notation angegeben.
G → AS{S}[E]
S → S₁|S₂|...|S_n
S₁ → ”↘”
S₂ → ”↙”
...
S_n → ”↗”
A → AM{(OP AM)}
AM → ”Z < 2 cm”|...|”Vx > 4 cm/s”
E → EM{(OP EM)}
EM → ”Z ≥ 2 cm”|...|”Vx ≤ 4 cm/s”
OP → ”AND”|”OR”
Diese kontextfreie Gestengrammatik hat folgende Bedeutung:
Die Geste G besteht aus einem Gestenanfang A gefolgt von einem Gestensegment S, welchem optional mehrere weitere Gestensegmente folgen können, weiter optional gefolgt von einem Gestenende E. Ein Gestensegment S wird gebildet aus einem Gestensegment aus der Menge der Gestensegmente {S₁, S₂, ..., S_n}. Das Gestensegment S₁ wird beispielsweise repräsentiert durch das Zeichen ”↘”, etc.
Das Gestenende ist deswegen optional, weil kontinuierliche Gesten nicht immer ein Gestenende haben müssen.
Der Gestenanfang A wird gebildet von einem Anfangsmerkmal AM optional gefolgt von einer oder mehreren Sequenzen, welche jeweils von einem Operator OP gefolgt von einem Anfangsmerkmal AM gebildet werden.
Der Operator kann in dem vorliegenden Beispiel ”AND” oder ”OR” sein.
Eine Ausprägung eines Gestenanfangs wäre etwa ”Z < 2 cm AND Vx > 4 cm/s”. Diese Ausprägung definiert, dass bei einem Abstand z. B. der Fingerspitze zur Bezugsfläche von kleiner als 2 cm und bei einer Geschwindigkeit der Fingerspitze relativ zur Bezugsfläche von größer als 4 cm/s ein Gestenanfang im Bewegungspfad vorliegt.
Das Gestenende E wird gebildet von einem Endemerkmal EM optional gefolgt von einer oder mehreren Sequenzen, welche jeweils von einem Operator OP gefolgt von einem Endemerkmal EM gebildet werden.
Die Unterscheidung zwischen diskreten und kontinuierlichen Gesten kann durch folgende Erweiterung der Grammatik ebenfalls beschrieben werden:
G → KG|DG
DG → AS{S}E
KG → AS{S}[E]
Diese Gestengrammatik besagt zudem, dass jede Geste aus mindestens einem Gestensegment besteht.
Gemäß dieser Gestengrammatik können sämtliche Gesten unabhängig vom jeweiligen Kontext beschrieben werden.
So lässt sich beispielsweise eine Geste, welche ein Quadrat repräsentiert, unter Verwendung der obigen Gestengrammatik beispielsweise folgendermaßen beschreiben:
☐ = A →↑←↓ E
Mit dieser Grammatik können auch spezielle Kommandogesten beschrieben werden, z. B. die oben erwähnte Startgeste.
Die Verwendung von Referenzgesten, welche gemäß dieser Gestengrammatik beschrieben werden, in dem erfindungsgemäßen Verfahren zur Gestenerkennung bringt mehrere Vorteile mit sich:

– Die Referenzgesten können unabhängig vom Kontext, in welchem das erfindungsgemäße Verfahren zur Gestenerkennung eingesetzt wird, beschrieben werden.
– Die Sequenz der Gestensegmente einer Referenzgeste können auch in einer Datenbank gespeichert werden, wobei beim Abspeichern der jeweiligen Referenzgeste die Grammatik der beibehalten wird. Die in der Datenbank gespeicherten Referenzgesten können sowohl hinsichtlich der gesamten Sequenz als auch hinsichtlich der einzelnen Gestensegmente indiziert werden, was insbesondere bei dem mit Bezug auf die 7a und 7b beschriebenen Verfahren zur Gestenerkennung erhebliche Geschwindigkeitsvorteile mit sich bringt, weil die entsprechenden Referenzgesten durch einen indizierten Zugriff auf die Datenbank ermittelt werden können.
– Die Referenzgesten können sehr Platz sparend gespeichert werden, was insbesondere bei eingebetteten Systemen vorteilhaft ist, welche nur über einen kleinen Speicher verfügen.

7b zeigt ein Beispiel für ein Fehlerkorrekturverfahren, welches beim Extrahieren oder nach dem Extrahieren einer Geste aus einem Bewegungspfad angewandt werden kann. Das Fehlerkorrekturverfahren hat den Vorteil, dass selbst dann noch korrekt eine Geste erkannt werden kann, wenn der Bewegungspfad Segmente enthält, welche nach dem mit Bezug auf 7a beschriebenen Segmentierungsverfahren keinem Gestensegment einer Geste aus der Menge der Referenzgesten zugeordnet werden kann.
Hierzu wird, wie zu 7a beschrieben, der Bewegungspfad mit Hilfe von Hitboxen in Segmente zerlegt. Jeder Hitbox wird ein entsprechendes Gestensegment zugeordnet.
Der Bewegungspfad, welcher der Ziffer „2” entsprechen soll, weist allerdings zwischen den Punkten P1 und P2 eine Delle auf, welche dazu führt, dass im Bewegungspfad dem die Delle beschreibenden Gestensegment zwei Hitboxen HB4a und HB4b zugeordnet werden, wobei allerdings keine Referenzgeste vorhanden ist, welche als viertes und als fünftes Gestensegment die entsprechenden Gestensegmente aufweist. Eine so erkannte Geste, welche keiner Referenzgeste zugeordnet werden kann, könnte nun als nicht erkannte Geste abgewiesen werden. Wünschenswert ist es allerdings, dass derartige Fehleingaben korrigiert werden können, um dennoch zu einer korrekt erkannten Geste zu gelangen.
In einer Ausführungsform der Erfindung kann das Fehlerkorrekturverfahren so ausgestaltet sein, dass zunächst ein Ähnlichkeitsvergleich zwischen der Sequenz der erkannten Gestensegmente und der Gestensegmente der Referenzgesten durchgeführt wird. Dabei wird festgestellt, dass die ersten drei Gestensegmente und die letzten vier Gestensegmente der erkannten Gestensegmente identisch zu den entsprechenden Gestensegmenten jener Referenzgeste sind, welche die Ziffer „2” beschreibt. Führt der Ähnlichkeitsvergleich zu einer einzigen ähnlichen Referenzgeste, können die den Hitboxen HB4a und HB4b zugeordneten Gestensegmente mit dem Gestensegment (d) ersetzt werden. Die Ersetzung führt dann zu einer korrekt erkannten Geste.
Alternativ zum Ersetzen von Gestensegmenten können die entsprechenden Gestensegmente aus der erkannten Geste vollständig entfernt werden. In einem anschließenden Schritt kann dann zwischen den Punkten P1 und P2 ein Interpolationsverfahren durchgeführt werden, wie es bereits mit Bezug auf 5 beschrieben worden ist. Der so entstehende interpolierte Bewegungspfad zwischen den Punkten P1 und P2 kann dann wiederum einer Segmentierung mit Hilfe von Hitboxen unterzogen werden.
Dieses Fehlerkorrekturverfahren kann rekursiv angewandt werden, um beispielsweise nach einer Fehlerkorrektur noch weitere vorhandene Fehler zu korrigieren.
In diesem Fehlerkorrekturverfahren kann auch eine maximale Rekursionstiefe vorgegeben werden, nach dessen Erreichen die Fehlerkorrektur abgebrochen wird. Wenn nach dem Abbruch der Fehlerkorrektur eine Geste immer noch nicht vollständig erkannt werden kann, kann die Geste entweder verworfen werden, oder dem Anwender ein Vorschlag für die erkannte Geste angeboten werden. Alternativ kann auch eine Fehlerschwelle vorgesehen sein, dessen Unterschreiten dazu führt, dass eine Geste auf jeden Fall als korrekt erkannt angenommen wird. Die Fehlerschwelle kann beispielsweise in dem Grad der erkannten Gestensegmente in Bezug zu einer Referenzgeste angegeben werden. Stimmen beispielsweise 80% der Gestensegmente einer Referenzgeste mit den Gestensegmenten der extrahierten Geste überein, kann davon ausgegangen werden, dass die erkannte Geste der Referenzgeste entspricht.
9a und 9b zeigen zwei Beispiele für eine dreidimensionale Gestenerkennung, wobei beim Extrahieren der Geste aus dem Bewegungspfad jeweils eine Kontextinformation berücksichtigt wird.
9a zeigt eine Eingabefläche B, auf welcher ein Bestätigungsknopf (OK-Button) angezeigt wird. In dem Bewegungsraum (in 9a nicht dargestellt), welcher von einem elektrischen Nahfeld aufgespannt wird, ist ein Detektionsraum 20 definiert, welcher dem Bestätigungsknopf zugeordnet ist. Die in dem Detektionsraum 20 stattfindenden Bewegungen der Fingerspitze der Hand H werden als zu dem Bestätigungsknopf gehörende Bewegungen interpretiert. D. h, jener Teil des Bewegungspfades, welcher innerhalb des Detektionsraumes 20 liegt, wird als zum Detektionsraum 20 gehörender Bewegungspfad interpretiert.
Dem Bestätigungsknopf bzw. dem Detektionsraum 20 wird als Kontextinformation die Information zugeordnet, dass es sich bei dem Bestätigungsknopf um einen Auswahlknopf handelt, welcher durch Annäherung an den Knopf mit anschließendem Entfernen von dem Knopf betätigt werden kann. Aufgrund dieser Kontextinformation kann die Gestenerkennung im Wesentlichen darauf beschränkt werden, den Bewegungspfad lediglich bezüglich der Z-Richtung auszuwerten. Aus dem Ergebnis dieser Auswertung kann dann geschlossen werden, ob der Bestätigungsknopf betätigt wurde oder nicht. Ist der Bestätigungsknopf betätigt worden, kann ein Signal bereitgestellt werden, welches indikativ für die Bestätigung ist.
Die X- bzw. die Y-Richtung des Bewegungspfades muss nur ausgewertet werden, um zu überprüfen, ob die Fingerspitze den Detektionsraum 20 in seitlicher Richtung verlassen hat. Falls die Fingerspitze den Detektionsraum 20 nur für sehr kurze Zeit in seitlicher Richtung verlassen hat und anschließend wieder in den Detektionsbereich 20 zurückkehrt, kann dies als unbeabsichtigtes Verlassen des Detektionsraumes 20 interpretiert werden. Zwischen den Stellen an denen der Bewegungspfad den Detektionsraum 20 verlässt bzw. wieder in den Detektionsraum 20 eintritt, kann der Bewegungspfad bezüglich der Z-Richtung interpoliert werden, wie es beispielsweise mit Bezug auf 5 gezeigt worden ist. Falls die Fingerspitze den Detektionsraum 20 für längere Zeit in seitlicher Richtung verlässt, kann dies auch als vom Benutzer beabsichtigter Abbruch der Geste interpretiert werden.
9b zeigt eine Eingabefläche B mit einem Schieberegler, welcher in X-Richtung nach links oder rechts verschoben werden kann. Dem Schieberegler ist ein Detektionsraum 20 zugeordnet. Auch hier ist dem Detektionsraum 20 bzw. dem Schieberegler eine Kontextinformation zugeordnet, welche angibt, dass es sich um einen Schieberegler handelt, welcher nur in X-Richtung bewegt werden kann. Aufgrund dieser Kontextinformation kann die Gestenerkennung darauf beschränkt werden, lediglich die X-Koordinaten des Bewegungspfades innerhalb des Detektionsbereiches 20 auszuwerten. Bei dem hier gezeigten Schieberegler ist es vorteilhaft, die X-Koordinate des Bewegungspfades kontinuierlich auszuwerten. Dadurch kann die Bewegung des Schiebereglers mit der Bewegung der Fingerspitze synchronisiert werden, so dass der Benutzer ein direktes Feedback auf seine Bewegung erhält.
Auch hier kann ein kurzfristiges Austreten der Fingerspitze aus dem Detektionsraum 20 in Y-Richtung bzw. in Z-Richtung als ungewolltes Austreten aus dem Detektionsbereich 20 interpretiert werden, sofern der Eintritt in den Detektionsbereich 20 wieder innerhalb eines vorbestimmten Zeitraumes erfolgt. Tritt die Fingerspitze innerhalb dieses vorbestimmten Zeitraumes nicht wieder in den Detektionsbereich 20 ein, kann das Verlassen des Detektionsbereiches 20 als Abbruch der Eingabe interpretiert werden. Der Schieberegler kann dann wieder in seine ursprüngliche Position gebracht werden. Anstelle eines Schiebereglers kann beispielsweise ein Drehregler vorgesehen sein, welcher durch eine kreisförmige Bewegung der Fingerspitze bewegt werden kann.
Es können auf der Eingabefläche B weitere Eingabeelemente angezeigt werden, beispielsweise Auswahlfelder (Check-Buttons) oder Auswahllisten (Combo-Boxen), welche sich beispielsweise durch Annäherung aufklappen lassen und durch welche im aufgeklappten Zustand mittels einer entsprechenden Bewegung hindurchnavigiert werden kann. Sämtliche Eingabeelemente können einzeln oder in Kombination auf einer Eingabefläche B zur Anzeige gebracht werden. Jedem Eingabeelement wird ein entsprechender Detektionsbereich 20 zugeordnet. Zusätzlich kann jedem Eingabeelement bzw. jedem Detektionsbereich 20 eine entsprechende Kontextinformation zugeordnet werden, welche angibt, wie ein entsprechender Bewegungspfad auszuwerten ist bzw. welche Gesten innerhalb des jeweiligen Detektionsbereiches 20 zulässig sind. Zusätzlich zu den erwähnten Eingabeelementen können an der Eingabefläche B auch Eingabefelder vorgesehen sein zur Eingabe von Zeichen (z. B. Buchstaben oder Ziffern), wie bereits mit Bezug auf 7 beschrieben worden ist.
10 zeigt beispielhaft, wie eine Bewegung bzw. ein Bewegungspfad innerhalb des Bewegungsraumes und/oder innerhalb eines Detektionsraumes ausgewertet werden kann, wenn die Bewegung des Fingers in Z-Richtung für die auszuwertende Geste nicht relevant ist. In diesem Falle handelt es sich also letztlich um eine zweidimensionale Geste, so dass die Auswertung des Bewegungspfades auf eine zweidimensionale Auswertung reduziert werden kann. Die Reduktion des dreidimensionalen Bewegungspfades auf einen zweidimensionalen Bewegungspfad entspricht im Wesentlichen der Projektion des Bewegungspfades auf die X-/Y-Ebene. Auf den reduzierten Bewegungspfad kann dann eine zweidimensionale Gestenauswertung, wie beispielsweise mit Bezug auf 7 beschrieben, durchgeführt werden. Damit kann beispielsweise auch bei dreidimensionalen Gesten bzw. bei dreidimensionalen Bewegungen innerhalb des Bewegungsraumes, bei welchen z. B. die Bewegung in Z-Richtung für die Auswertung nicht relevant ist, eine dreidimensionale Auswertung auf eine zweidimensionale Auswertung reduziert werden, was zu einem geringeren Bedarf an Rechenleistung für die Gestenerkennung führt. Dies kann insbesondere für mobile Endgeräte von Bedeutung sein, welche nur über wenig Rechenleistung verfügen.
11 zeigt ein Beispiel einer Geste, welche aus zwei verschiedenen Bewegungspfaden extrahiert wird (Zwei-Finger-Gesten). In dem Bewegungsraum wird eine erste Bewegung mit dem Zeigefinger der Hand H1 durchgeführt. Mit dem Zeigefinger der zweiten Hand H2 wird eine zweite Bewegung in dem Bewegungsraum durchgeführt. Aus beiden Bewegungen wird jeweils ein erster Bewegungspfad BP1 und ein zweiter Bewegungspfad BP2 erzeugt. Aus den beiden Bewegungspfaden wird dann jeweils eine Geste extrahiert, welche als Teilgesten einer zusammengesetzten Geste interpretiert werden können. Wird beim Extrahieren der Teilgesten bzw. beim Erkennen der Teilgesten die Z-Koordinate außer Acht gelassen, repräsentieren beide Teilgesten jeweils ein Segment eines Kreises, wie in 11 ersichtlich. Die sich aus den beiden Teilgesten ergebende Gesamtgeste entspricht also einem Kreis. Ob zwei Teilgesten Bestandteil einer zusammengesetzten Geste sind, kann beispielsweise von dem Abstand des Gestenanfangs der erste Geste zu dem Gestenende der zweiten Geste abhängig gemacht werden. Liegt der Abstand unterhalb einer vordefinierten Schwelle, werden die Teilgesten zu einer Gesamtgeste zusammengesetzt. Wird diese Schwelle nicht unterschritten, werden die zwei Teilgesten als getrennte Gesten interpretiert.
12a bis 12c zeigen eine Auswahl eines Gesteninventars mit einer Anzahl von Ein-Finger-Gesten und Zwei-Finger-Gesten. Die in 12b und 12c gezeigten Buchstaben bzw. Ziffern können in einer Ausführungsform der Erfindung unabhängig von der Bewegungsrichtung detektiert werden. Beispielsweise kann der Buchstabe „V” von links oben nach rechts oben eingegeben werden oder auch von rechts oben nach links oben.
12d zeigt eine Auswahl eines Gesteninventars mit einer Anzahl von Handgesten. Derartige Handgesten können zum Beispiel dann vorgesehen werden, wenn nur sehr wenige Bewegungen in dem Bewegungsraum berücksichtigt werden müssen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102007020873 [0102]

Claims

Verfahren zum berührungslosen Erfassen und Erkennen von Gesten in einem dreidimensionalen Bewegungsraum, wobei in einem elektrischen Nahfeld, welches den dreidimensionalen Bewegungsraum (10) definiert, Verformungen des elektrischen Nahfeldes erfasst werden (200), welche durch Bewegungen zumindest eines Objektes in dem dreidimensionalen Bewegungsraum (10) bewirkbar sind, zumindest ein Bewegungspfad aus den erfassten Verformungen des elektrischen Nahfeldes erzeugt wird (300), welcher mit der Bewegung des zumindest einen Objektes in dem dreidimensionalen Bewegungsraum (10) korrespondiert, und wobei während des Erzeugens (300) des Bewegungspfades in dem Bewegungspfad ein Gestenanfang ermittelt wird, wobei beginnend mit dem Gestenanfang aus dem Bewegungspfad die Geste extrahiert wird.
Verfahren nach Anspruch 1, wobei das Erzeugen (300) des zumindest einen Bewegungspfades zumindest eine Objekteigenschaft des zumindest einen Objektes berücksichtigt, wobei die zumindest eine Objekteigenschaft aus den Verformungen des elektrischen Nahfeldes abgeleitet wird.
Verfahren nach Anspruch 2, wobei beim Ableiten der zumindest einen Objekteigenschaft eine Vorab-Information berücksichtigt wird, welche dem Schritt zum Erzeugen (300) des Bewegungspfades bereitgestellt wird.
Verfahren nach Anspruch 2 oder 3, wobei die Objekteigenschaft zumindest eines aus Form des Objektes, Größe des Objektes, Anzahl der Objekte, Ausrichtung des Objektes relativ zu einer Bezugsfläche, elektrische Materialeigenschaft, und einer Kombination davon umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei beim Erzeugen des Bewegungspfades nur solche Verformungen des elektrischen Nahfeldes berücksichtigt werden, welche zumindest ein vorbestimmtes Verformungskriterium erfüllen, wobei das Verformungskriterium zumindest eines aus Abstand des die Verformung bewirkenden Objektes relativ zur Bezugsfläche, absolute und/oder relative Feldänderung, erste und/oder zweite Ableitung der Feldänderung nach der Zeit, und eine Kombination hiervon umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei jedem Punkt des Bewegungspfades eine Anzahl von Bewegungsmerkmalen zugeordnet wird, wobei die Bewegungsmerkmale zumindest eines aus – Position des Objektes relativ zur Bezugsfläche; – Ausrichtung des Objektes relativ zum dreidimensionalen Bewegungsraum; – Geschwindigkeit des Objektes; – Beschleunigung des Objektes; und – eine Kombination hiervon umfassen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Extrahieren zumindest einer Geste aus dem Bewegungspfad ein Extrahieren einer diskreten Geste und ein Extrahieren einer kontinuierlichen Geste umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei dem Schritt zum Extrahieren der Geste eine Kontextinformation zugeordnet wird.
Verfahren nach Anspruch 8, wobei die Kontextinformation eine erste Kontextinformation, welche angibt, dass eine diskrete Geste zu extrahieren ist, und eine zweite Kontextinformation, welche angibt, dass eine kontinuierliche Geste zu extrahieren ist, umfasst.
Verfahren nach Anspruch 9, wobei bei einer zugeordneten ersten Kontextinformation während des Erzeugen (300) des Bewegungspfades in dem Bewegungspfad ein Gestenende ermittelt wird.
Verfahren nach einem der Ansprüche 6 bis 10, wobei der Gestenanfang und/oder das Gestenende durch Vergleichen zumindest eines Bewegungsmerkmales mit zumindest einem Schwellwert ermittelt wird, wobei das Über-/Unterschreiten des Schwellwertes indikativ für den Gestenanfang und/oder für das Gestenende ist.
Verfahren nach Anspruch 11, wobei das Über-/Unterschreiten des Schwellwertes indikativ für den Gestenanfang und/oder das Gestenende ist, wenn der Schwellwert für eine vorbestimmte Dauer über-/unterschritten wird.
Verfahren nach Anspruch 11 oder 12, wobei bei mehreren Bewegungsmerkmalen das Über-/Unterschreiten der jeweiligen Schwellwerte indikativ für den Gestenanfang und/oder das Gestenende ist, wenn die jeweiligen Schwellwerte in einer vorbestimmten Reihenfolge über-/unterschritten werden.
Verfahren nach einem der Ansprüche 8 bis 13, wobei die Kontextinformation eine dritte Kontextinformation umfasst, welche eine Menge von Referenzgesten umfasst, wobei die Menge von Referenzgesten angibt, welche Gesten erkannt werden können, wobei die Referenzgesten vorzugsweise gemäß einer Gestengrammatik beschrieben werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Extrahieren einer Geste eine Mustererkennung umfasst, zum Erkennen der extrahierten Geste.
Verfahren nach Anspruch 15, wobei eine diskrete Geste vollständig der Mustererkennung zugeführt wird, sobald das Gestenende der Geste ermittelt worden ist.
Verfahren nach Anspruch 15, wobei nach dem Ermitteln des Gestenanfanges die Geste fortlaufend der Mustererkennung zugeführt wird, wobei die fortlaufend zugeführte Geste von der Mustererkennung fortlaufend mit Teilgesten von Referenzgesten verglichen wird, um aus den Referenzgesten die mit der fortlaufend zugeführten Geste korrespondierenden Referenzgesten zu ermitteln.
Verfahren nach einem der Ansprüche 15 bis 17, wobei die Mustererkennung die Geste in Gestensegmente zerlegt und die Gestensegmente mit Gestensegmenten von Referenzgesten vergleicht.
Verfahren nach einem der vorhergehenden Ansprüche, wobei beim Erzeugen des zumindest einen Bewegungspfades ein Kompensationsverfahren durchgeführt wird, mit welchem aus dem Bewegungspfad Segmente entfernt werden, welche unbeabsichtigten Bewegungen des Objektes in dem dreidimensionalen Bewegungsraum entsprechen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Erzeugen des Bewegungspfades angepasst ist, bei einer Bewegung einer Hand mit einem oder mehreren voneinander unterscheidbaren Fingern in dem dreidimensionalen Bewegungsraum einen oder mehrere Bewegungspfade korrespondierend zu den Fingerspitzen des einen Fingers oder der mehreren unterscheidbaren Finger zu erzeugen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei eine zusammengesetzte Geste aus mehreren aus mehreren Bewegungspfaden extrahierten Gesten gebildet wird.
Kontextfreie Grammatik zum Beschreiben von Gesten zur Verwendung in einem Verfahren nach einem der vorhergehenden Ansprüche.
System zum berührungslosen Erfassen und Erkennen von Gesten in einem dreidimensionalen Bewegungsraum (10), umfassend Mittel zum Erzeugen eines elektrischen Nahfeldes, welches den dreidimensionalen Bewegungsraum (10) definiert; Mittel zum Erfassen von Verformungen des elektrischen Nahfeldes, welche durch Bewegungen zumindest eines Objektes in dem dreidimensionalen Bewegungsraum (10) bewirkt werden; Mittel zum Erzeugen zumindest eines Bewegungspfades aus den erfassten Verformungen des elektrischen Nahfeldes, welcher mit der Bewegung des zumindest einen Objektes korrespondiert; und Mittel zum Ermitteln eines Gestenanfangs in dem Bewegungspfad während der Bewegungspfad erzeugt wird; und Mittel zum Extrahieren der Geste aus dem Bewegungspfad beginnend mit dem Gestenanfang.
System nach Anspruch 23, wobei die Mittel zum Erzeugen des elektrischen Nahfeldes mindestens eine Sendeelektrode umfassen, an welcher ein elektrisches Wechselfeld emittierbar ist, und zumindest einen Signalgenerator, welcher mit der mindestens einen Sendeelektrode gekoppelt ist, zum Beaufschlagen der mindestens einen Sendeelektrode mit einem elektrischen Wechselsignal.
System nach Anspruch 23 oder 24, wobei die Mittel zum Erfassen von Verformungen des elektrischen Nahfeldes zumindest eine Empfangselektrode und eine damit gekoppelte Auswerteeinrichtung umfassen, zum Erfassen einer Änderung der Frequenz, der Amplitude und/oder der Phase eines in die Empfangselektrode eingekoppelten elektrischen Wechselfeldes oder eines an der Empfangselektrode emittierten elektrischen Wechselfeldes.
System nach einem der Ansprüche 24 oder 25, wobei die Frequenz, die Amplitude und/oder die Phase des elektrischen Wechselsignals einstellbar sind.