DE102022204838A1 - Verfahren zum Ermitteln einer von einem Nutzer ausgeführten Geste - Google Patents

Verfahren zum Ermitteln einer von einem Nutzer ausgeführten Geste Download PDF

Info

Publication number
DE102022204838A1
DE102022204838A1 DE102022204838.5A DE102022204838A DE102022204838A1 DE 102022204838 A1 DE102022204838 A1 DE 102022204838A1 DE 102022204838 A DE102022204838 A DE 102022204838A DE 102022204838 A1 DE102022204838 A1 DE 102022204838A1
Authority
DE
Germany
Prior art keywords
curves
predetermined
gesture
dimensions
rotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022204838.5A
Other languages
English (en)
Inventor
Fredrik Nordstroem
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102022204838.5A priority Critical patent/DE102022204838A1/de
Publication of DE102022204838A1 publication Critical patent/DE102022204838A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Abstract

Die Erfindung betrifft ein Verfahren zum Ermitteln einer von einem Nutzer ausgeführten Geste umfassend die Schritte:
- Bestimmen von Verläufen zumindest einer linearen Beschleunigung in zumindest zwei Dimensionen und/oder einer Rotation in zumindest zwei Dimensionen und/oder einer linearen Beschleunigung und einer Rotation in zumindest jeweils einer Dimension eines an dem Nutzer angeordneten Objekts,
- Filtern der bestimmten Verläufe mit einem Optimalfilter basierend jeweils auf einem Vergleich des Verlaufs der linearen Beschleunigungen und/oder Rotationen mit vorbestimmten Verläufen, die jeweils einer vorbestimmten Geste entsprechen, für die zumindest zwei Dimensionen,
- Gewichten der gefilterten Verläufe anhand von vorbestimmten Gewichten für die zumindest zwei Dimensionen und für die vorbestimmten Verläufe,
- Berechnen von summierten Verläufen anhand von Summierung der gewichteten Verläufe der zumindest zwei Dimensionen für die vorbestimmten Verläufe,
- Identifizieren eines lokalen Maximums in den summierten Verläufen für die vorbestimmten Verläufe, und
- Ermitteln der von dem Nutzer ausgeführten Geste anhand eines Vergleichs des lokalen Maximums mit einem jeweiligen Schwellwert für die vorbestimmten Verläufe.

Description

  • Die Erfindung betrifft ein Verfahren zum Ermitteln einer von einem Nutzer ausgeführten Geste.
  • Die Erfindung betrifft weiter eine Vorrichtung zum Ermitteln einer von einem Nutzer ausgeführten Geste.
  • Stand der Technik
  • Es ist bekannt, Gesten eines Nutzers anhand eines an dem Nutzer angeordneten Objekts zu ermitteln. Hierfür kann ein Beschleunigungssignal des Objekts durch einen Optimalfilter mit einem Referenzsignal verglichen werden.
  • Jedoch ist die Zuverlässigkeit und Leistungsfähigkeit des Verfahrens eingeschränkt, da die Beschleunigungssignale nicht optimiert sind. Dies kann zu häufigen fehlerhaften Klassifizierungen und/oder hohem Ressourcenverbrauch führen.
  • Offenbarung der Erfindung
  • In einer Ausführungsform stellt die vorliegenden Erfindung ein Verfahren zum Ermitteln einer von einem Nutzer ausgeführten Geste bereit, umfassend die Schritte:
    • - Bestimmen von Verläufen zumindest einer linearen Beschleunigung in zumindest zwei Dimensionen und/oder einer Rotation in zumindest zwei Dimensionen und/oder einer linearen Beschleunigung und einer Rotation in zumindest jeweils einer Dimension eines an dem Nutzer angeordneten Objekts,
    • - Filtern der bestimmten Verläufe mit einem Optimalfilter basierend jeweils auf einem Vergleich des Verlaufs der linearen Beschleunigungen und/oder Rotationen mit vorbestimmten Verläufen, die jeweils einer vorbestimmten Geste entsprechen, für die zumindest zwei Dimensionen,
    • - Gewichten der gefilterten Verläufe anhand von vorbestimmten Gewichten für die zumindest zwei Dimensionen und für die vorbestimmten Verläufe,
    • - Berechnen von summierten Verläufen anhand von Summierung der gewichteten Verläufe der zumindest zwei Dimensionen für die vorbestimmten Verläufe,
    • - Identifizieren eines lokalen Maximums in den summierten Verläufen für die vorbestimmten Verläufe, und
    • - Ermitteln der von dem Nutzer ausgeführten Geste anhand eines Vergleichs des lokalen Maximums mit einem jeweiligen Schwellwert für die vorbestimmten Verläufe.
  • In einer Ausführungsform stellt die vorliegende Erfindung eine Vorrichtung zum Ermitteln einer von einem Nutzer ausgeführten Geste bereit, umfassend
    • - eine Bestimmungseinrichtung, ausgebildet zum Bestimmen von Verläufen zumindest einer linearen Beschleunigung in zumindest zwei Dimensionen und/oder einer Rotation in zumindest zwei Dimensionen und/oder einer linearen Beschleunigung und einer Rotation in zumindest jeweils einer Dimension eines an dem Nutzer angeordneten Objekts,
    • - eine Filtereinrichtung, ausgebildet zum Filtern der bestimmten Verläufe mit einem Optimalfilter basierend jeweils auf einem Vergleich des Verlaufs der linearen Beschleunigungen und/oder Rotationen mit vorbestimmten Verläufen, die jeweils einer vorbestimmten Geste entsprechen, für die zumindest zwei Dimensionen,
    • - eine Gewichtungseinrichtung, ausgebildet zum Gewichten der gefilterten Verläufe anhand von vorbestimmten Gewichten für die zumindest zwei Dimensionen und für die vorbestimmten Verläufe,
    • - eine Berechnungseinrichtung, zum Berechnen von summierten Verläufen anhand von Summierung der gewichteten Verläufe der zumindest zwei Dimensionen für die vorbestimmten Verläufe,
    • - eine Identifizierungseinrichtung, ausgebildet zum Identifizieren eines lokalen Maximums in den summierten Verläufen für die vorbestimmten Verläufe, und
    • - eine Ermittlungseinrichtung, ausgebildet zum Ermitteln der von dem Nutzer ausgeführten Geste anhand eines Vergleichs des lokalen Maximums mit einem jeweiligen Schwellwert für die vorbestimmten Verläufe.
  • Einer der damit erzielten Vorteile ist, dass Gesten des Nutzers zuverlässig erkannt werden können. Ein weiterer Vorteil ist, dass das Verfahren mit geringem Energieeinsatz und/oder wenig Rechenleistung durchgeführt werden kann.
  • Ein vorbestimmter Verlauf ist definiert als ein Verlauf des Beschleunigungssignals, der einem „Idealverlauf“ einer Geste entspricht, der also eindeutig einer bestimmten Geste zugeordnet werden kann.
  • Ein Optimalfilter ist insbesondere ein Filter, der ein bekanntes Signal aus einem gemessenen Signal herausfiltert. Als Input erhält der Optimalfilter einen Verlauf eines bekannten Signals, insbesondere des eingangs genannten vorbestimmten Verlaufs und einen Verlauf eines gemessenen Signals, beispielsweise eines Beschleunigungssignals. Wenn der Verlauf des gemessenen Signals dem Verlauf des bekannten Signals entspricht, gegebenenfalls durch Störeffekte und Rauschen verzerrt, kann der Optimalfilter den Verlauf des bekannten Signals aus dem Verlauf des gemessenen Signals herausfiltern.
  • Eine Dimension der Beschleunigung und/oder Rotation ist definiert als ein Anteil der Beschleunigung und/oder Rotation in eine bestimmte Raumrichtung. Insbesondere kann die Beschleunigung in eine Beschleunigung in X-, Y- und Z-Achse aufgeteilt werden und die Rotation in eine Rotation um die X-, Y- und Z-Achse.
  • Mit der Formulierung „zumindest zwei Dimensionen“ in der Formulierung „Gewichten der gefilterten Verläufe anhand von vorbestimmten Gewichten für die zumindest zwei Dimensionen und für die vorbestimmten Verläufe“ sind insbesondere die Dimensionen der linearen Beschleunigung und die Dimensionen der Rotation gemeint. Das bedeutet insbesondere, dass jeder der gefilterten Verläufe, das heißt für alle Dimensionen und für alle vorbestimmten Verläufe, gewichtet wird.
  • Weitere Merkmale, Vorteile und weitere Ausführungsformen der Erfindung sind im Folgenden beschrieben oder werden dadurch offenbar.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung wird die lineare Beschleunigung in zumindest zwei Dimensionen anhand eines an dem Objekt angeordneten Beschleunigungssensors und dem Verlauf der Rotation in mehreren Dimensionen ermittelt, vorzugsweise anhand eines Mahony-Filters. Der Verlauf der Beschleunigung kann mittels des Beschleunigungssensors ermittelt werden. Analog hierzu kann der Verlauf der Rotation mittels eines Gyroskops gemessen werden. Der Verlauf der Beschleunigung enthält Anteile aus der Gravitation. Dieser Anteil kann aus dem Beschleunigungssignal herausgefiltert werden, beispielsweise anhand des Mahony-Filters, sodass ein Verlauf der linearen Beschleunigung resultiert. Hierdurch können Gesten zuverlässiger erkannt werden, da Gravitationseinflüsse nicht betrachtet werden. Indem zusätzlich der Verlauf der Rotation einbezogen wird, können die Gravitationseinflüsse noch besser herausgefiltert werden.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung basieren die vorbestimmten Verläufe und/oder die vorbestimmten Gewichte auf historischen Daten. Ein vorbestimmter Verlauf kann beispielsweise in einer Kalibrierungsphase bestimmt werden, bei dem ein oder mehrere Nutzer eine bestimmte Bewegung mehrfach wiederholen, wobei jeweils die Beschleunigungssignale gemessen werden. Ein Durchschnitt der gemessenen Beschleunigungssignale kann dann dem vorbestimmten Verlauf entsprechen. In ähnlicher Weise können die vorbestimmten Gewichte auf historischen Daten basieren. Hierdurch wird die Zuverlässigkeit des Verfahrens verbessert, weil die Daten auf „echten“ Bewegungen beruhen.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung basieren die vorbestimmten Gewichte auf einer statistischen Kenngröße, insbesondere einer Varianz, der historischen Daten. Insbesondere können die Gewichte auf der inversen Varianz beruhen. Auf diese Weise können einzelne Dimensionen der Beschleunigung und/oder Rotation stärker oder schwächer gewichtet in das Verfahren einbezogen werden. Indem die vorbestimmten Gewichte auf der Varianz der historischen Daten basieren, können einzelne Dimensionen, die eine niedrige Varianz aufweisen, stärker gewichtet werden, als Dimensionen, die eine hohe Varianz aufweisen. Beispielsweise kann eine Geste 20-mal durchgeführt und gemessen werden. Wenn die Beschleunigung in X-Richtung für jede der 20 Gesten ähnlich ist, die Varianz also niedrig, ist dies ein Indikator, dass die Beschleunigung in X-Richtung bei jeder Ausführung der Geste ein ähnliches Signal aufweist. Somit kann die Beschleunigung in X-Richtung stark gewertet werden, da diese indikativ für eine bestimmte Bewegung ist.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung werden die Schwellwerte anhand der vorbestimmten Verläufen bestimmt. Durch das Verfahren kann für jede Geste ein eigener Schwellwertvergleich durchgeführt werden. Da die unterschiedlichen Gesten unterschiedliche Verläufe der Beschleunigungen und Rotationen aufweisen, kann vorzugsweise für jede Geste ein eigener Schwellwert bestimmt werden. Der Schwellwert basiert auf den Gesten, insbesondere auf den vorbestimmten Verläufen. Hierdurch können falsch ermittelte Gesten reduziert werden.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung wird zum Bestimmen der gefilterten Verläufe eine Auswahl der vorbestimmten Verläufe bestimmt, die für den Optimalfilter verwendet wird. Je nach Anwendungsfall möchte der Nutzer lediglich eine Auswahl bestimmter Gesten erkennen lassen. Beispielsweise kann ein vorbestimmter Verlauf für eine „Daumen hoch“-Geste vorhanden sein, die vom Nutzer in der aktuellen Situation nicht verwendet werden wird. Indem die Auswahl der vorbestimmten Verläufe für das Verfahren eingeschränkt wird, kann das Verfahren mit geringerem Energieeinsatz ausgeführt werden.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung umfasst das Bestimmen von Verläufen das Bestimmen eines Verlaufs eines Drucks und/oder eines magnetischen Felds. Durch das Verfahren werden Beschleunigungs- und/oder Rotationssignale mit vorbestimmten Signalen verglichen. Zur Erhöhung der Genauigkeit des Verfahrens können weitere Verläufe miteinbezogen werden, beispielsweise der Verlauf eines Drucks und/oder eines magnetischen Felds. Beispielsweise kann ein Verlauf eines Drucks gemessen werden und analog zu dem Verlauf der Beschleunigung mit einem Optimalfilter für jede Geste gefiltert werden. Die gefilterten Verläufe des Drucks werden dann zusammen mit den anderen gefilterten Verläufen, beispielsweise von Beschleunigung und/oder Rotation, addiert und gemäß dem Verfahren weiter analysiert um eine Geste zu ermitteln.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung basiert das Ermitteln der Geste auf einer Größe der Beschleunigung und/oder Rotation in einem Zeitraum, in dem die Geste zwischen 0% und 15%, vorzugsweise zwischen 0% und 10%, insbesondere zwischen 0% und 5% durchgeführt ist, und/oder in dem die Geste zwischen 85% und 100%, vorzugsweise zwischen 90% und 100%, insbesondere zwischen 95% und 100% durchgeführt ist. Wenn ein Nutzer eine Geste durchführt, von der er möchte, dass sie erkannt wird, beginnt er die Geste häufig aus dem Stillstand und beendet sie im Stillstand. Dieses „Stillstehen“ beziehungsweise der Stillstand kann detektiert werden und bei dem Ermitteln der Geste mitberücksichtigt werden. Wenn beispielsweise in einem bestimmten Zeitraum zunächst lediglich eine geringe Beschleunigung gemessen wird, gefolgt von einer hohen Beschleunigung und schließlich wieder eine geringe Beschleunigung, kann dies ein Indikator sein, dass eine Geste durchgeführt wird. Hierdurch können einzelne Gesten besser ermittelt werden. Insbesondere können so beispielsweise Teilgesten unterschieden werden, da andernfalls beispielsweise eine halbe Drehung bereits als Geste erkannt wird, obwohl der Nutzer eine ganze Drehung durchführt.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung basiert die Ermittlung der Geste auf einer Größe einer Beschleunigung und/oder Rotation in einem definierten Unterbereich zwischen minimaler und maximaler Beschleunigung und/oder Rotation. Insbesondere kann der Unterbereich auf dem vorbestimmten Verlauf basieren. Durch die Summierung verschiedener gefilterter Verläufe können Gesten erkannt werden, obwohl keine Geste durchgeführt wurde, wenn einzelne Verläufe hoch sind, das heißt einzelne oder alle Werte des Verlaufs einen hohen Wert aufweisen. In diesem Fall könnte der Schwellwert allein aufgrund einzelner Dimensionen überschritten werden. Durch die Unterbereiche werden derartige falsch-positiven Ermittlungen von Gesten verringert, indem lediglich Signale berücksichtigt werden, die in den bestimmten Unterbereich fallen. Signalwerte, die folglich zu weit von „erwarteten“ Werten abweichen, bleiben unberücksichtigt.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung basiert das Ermitteln der Geste auf lokalen Maxima der gefilterten Verläufe. Zusätzlich zum Ermitteln der Geste basierend auf lokalen Maxima der summierten Verläufe kann das Ermitteln auch auf lokalen Maxima der gefilterten Verläufe basieren. Wenn die Geste „perfekt“ oder „ideal“ durchgeführt wird, weist nicht nur der summierte Verlauf basierend auf dieser Geste ein lokales Maximum auf, sondern auch die einzelnen gefilterten Verläufe, auf denen der summierte Verlauf basiert. Bei einer nicht eindeutigen Ausführung der Gesten und einem Rauschen der Signale können zumindest einige der gefilterten Verläufe ein lokales Maximum aufweisen. Folglich kann zur Verifizierung einer Geste erforderlich sein, dass ein Anteil der gefilterten Verläufe ebenfalls ein lokales Maximum aufweist, insbesondere zu demselben Zeitpunkt, wie der summierte Verlauf.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung basiert das Ermitteln der Geste auf einer Orientierung des Objekts. Hierdurch können Gesten zuverlässiger erkannt werden. Das Ermitteln kann auf mehrere Arten auf der Orientierung des Objekts basieren. Eine bestimmte Geste kann beispielsweise lediglich dann ermittelt werden, wenn die Orientierung des Objekts zu bestimmten Zeitpunkten - zum Beispiel am Anfang der Geste - in einem gewissen Bereich liegt - zum Beispiel zeigt das Objekt mit einer Oberfläche zum Nutzer. Es ist ebenfalls möglich, dass der Verlauf der Orientierung ähnlich wie die Rotation oder die Beschleunigung durch einen Optimalfilter gefiltert wird und mit den gefilterten Verläufen summiert wird. Die Orientierung kann insbesondere aus dem Signal der Beschleunigung und/oder der Rotation bestimmt werden.
  • Weitere wichtige Merkmale und Vorteile der Erfindung ergeben sich aus den Unteransprüchen, aus den Zeichnungen und aus der dazugehörigen Figurenbeschreibung.
  • Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
  • Bevorzugte Ausführungen und Ausführungsformen der vorliegenden Erfindung sind in den Zeichnungen dargestellt und werden in der nachfolgenden Beschreibung näher erläutert.
  • Dabei zeigt
    • 1 in schematischer Form Schritte eines Verfahrens gemäß einer Ausführungsform der vorliegenden Erfindung;
    • 2 in schematischer Form gefilterte Verläufe und vorbestimmte Verläufe einer Beschleunigung gemäß einer Ausführungsform der vorliegenden Erfindung;
    • 3 in schematischer Form gefilterte Verläufe und vorbestimmte Verläufe einer Rotation gemäß einer Ausführungsform der vorliegenden Erfindung; und
    • 4 in schematischer Form ein Nutzer mit einem Objekt und einer Vorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung;
  • 1 zeigt in schematischer Form Schritte eines Verfahrens gemäß einer Ausführungsform der vorliegenden Erfindung.
  • In einem ersten Schritt S1 werden Verläufe zumindest einer linearen Beschleunigung in zumindest zwei Dimensionen und/oder einer Rotation in zumindest zwei Dimensionen und/oder einer linearen Beschleunigung und einer Rotation in zumindest jeweils einer Dimension eines an einem Nutzer (nicht gezeigt) angeordneten Objekts (nicht gezeigt) bestimmt. Insbesondere können auch eine Beschleunigung und eine Rotation in jeweils einer Dimension bestimmt werden. Die Rotation kann beispielsweise mittels eines an dem Objekt angeordneten Gyroskops gemessen werden. Die lineare Beschleunigung kann mittels eines an dem Objekt angeordneten Beschleunigungssensors bestimmt werden, insbesondere indem Beschleunigungssignale des Beschleunigungssensors um den Einfluss der Gravitation bereinigt werden. Eine Dimension bezeichnet dabei eine Beschleunigung und/oder eine Rotation in eine bestimmte Richtung, beispielsweise eine Beschleunigung in eine X-Richtung, oder eine Rotation um eine Y-Achse. Bevorzugt werden Beschleunigungen in drei Dimensionen und Rotationen in drei Dimensionen gemessen, insgesamt folglich in sechs Dimensionen.
  • In einem zweiten Schritt S2 werden die in Schritt S1 bestimmten Verläufe mit einem Optimalfilter gefiltert, basierend jeweils auf einem Vergleich des Verlaufs der linearen Beschleunigungen und/oder Rotationen mit vorbestimmten Verläufen, die jeweils einer vorbestimmten Geste entsprechen, für die zumindest zwei Dimensionen. Für jede Geste, die durch das Verfahren ermittelt werden soll, ist ein eigenes Set beziehungsweise Anzahl aus vorbestimmten Verläufen - einen Verlauf in jeder Dimension - vorgesehen. Jeder Verlauf der Dimensionen, mindestens zwei, bevorzugt sechs, wird mit bevorzugt jedem vorbestimmten Verlauf mittels des Optimalfilters gefiltert. Somit ergeben sich in Schritt S2 (Anzahl der Dimension * Anzahl der Gesten) gefilterte Verläufe. Der Optimalfilter - englisch: „Matched Filter“ - „sucht“ die vorbestimmten Verläufe in den bestimmten Verläufen aus dem Schritt S1. Wenn ein in Schritt S1 bestimmter Verlauf auf einem der vorbestimmten Verläufe basiert, gibt der Filter einen gefilterten Verlauf - also einen um Störeffekte bereinigten Verlauf - zurück. Andernfalls ist der gefilterte Verlauf lediglich Rauschen mit einer geringen Signalstärke. Zusätzlich können durch den Optimalfilter zeitliche Differenzen ausgeglichen werden. Wenn beispielsweise ein Verlauf einer Beschleunigung in X-Richtung einen hohen Wert zum Zeitpunkt t=0 hat und ein Verlauf einer Beschleunigung in Y-Richtung einen hohen Wert zum Zeitpunkt t=10 hat, können die Verläufe verschoben werden, sodass die hohen Werte zum selben Zeitpunkt auftreten.
  • Die vorbestimmten Verläufe können beispielsweise anhand von Messdaten ermittelt werden. Hierfür werden Beschleunigungs- und/oder Rotationssignale von an Nutzern angeordneten Objekten gemessen, während diese kontrolliert verschiedene Gesten durchführen. Jede Geste wird dabei mehrfach wiederholt. Hierdurch ergibt sich für jede Geste und jede Dimension ein Set aus mehreren Verläufen. Dieses Set wird gemittelt und ergibt so für jede Geste und Dimension einen vorbestimmten Verlauf. Insbesondere kann ein vorbestimmter Verlauf anhand von Koeffizienten charakterisiert werden - das heißt die Koeffizienten entsprechen den Beschleunigungs- und/oder Rotationswerten zu definierten Zeitpunkten.
  • In einem dritten Schritt S3 werden die gefilterten Verläufe aus dem zweiten Schritt S2 anhand von vorbestimmten Gewichten gewichtet für die zumindest zwei Dimensionen und für die vorbestimmten Verläufe. Durch die Gewichte werden einzelne Verläufe, insbesondere Verläufe einzelner Dimensionen - stärker zur Ermittlung von Gesten herangezogen beziehungsweise berücksichtigt. Die Gewichte können dabei insbesondere invers zur Varianz der zur Bestimmung der vorbestimmten Verläufe gemessenen Verläufe festgelegt sein. Die Varianz kann berechnet werden als: V = ( f n x k , n ) 2 N K f u ¨ r n = 1.. N , k = 1 K
    Figure DE102022204838A1_0001
  • Dabei ist fn der Koeffizient des vorbestimmten Verlaufs zum Zeitpunkt n und xk,n der Wert eines gemessenen Verlaufs k zum Zeitpunkt n. Indem die gefilterten Verläufe abhängig von der inversen Varianz der Verläufe gewichtet werden, können Verläufe einzelner Dimensionen, die bei einer bestimmten Geste ähnlich sind, stärker gewichtet werden. Wenn also beispielsweise von drei vorbestimmten Beschleunigungsverläufen zwei eine hohe Varianz aufweisen, ist eine Geste ausgehend von diesen Beschleunigungsverläufen folglich nicht eindeutig bestimmbar. Daher kann ein dritter Beschleunigungsverlauf, wenn er eine niedrige Varianz aufweist, stärker gewichtet werden.
  • In einem vierten Schritt S4 werden die gewichteten Verläufe der zumindest zwei Dimensionen aus dem Schritt S3 summiert für die vorbestimmten Verläufe. Für jeden vorbestimmten Verlauf werden die zugehörigen gewichteten Verläufe der einzelnen Dimensionen summiert. Somit ergibt sich für jeden vorbestimmten Verlauf, also für jede Geste, ein eindimensionaler summierter Verlauf.
  • In einem fünften Schritt S5 wird ein lokales Maximum in den summierten Verläufen aus dem Schritt S4 identifiziert für die vorbestimmten Verläufe. Das heißt, für jeden der vorbestimmten Verläufe wird versucht ein lokales Maximum zu identifizieren. Ein lokales Maximum kann beispielsweise identifiziert werden, wenn zu einem Zeitpunkt t der summierte Verlauf einen Wert W aufweist, für den gilt: W(t-2) < W(t-1) < W(t) > W(t+1) > W(t+2).
  • In einem sechsten Schritt S6 wird die von dem Nutzer ausgeführte Geste ermittelt anhand eines Vergleichs des lokalen Maximums aus dem Schritt S5 mit einem jeweiligen Schwellwert für die vorbestimmten Verläufe. Für jeden der vorbestimmten Verläufe wird in Schritt S5 ein lokales Maximum bestimmt. Der Nutzer kann jedoch maximal eine Geste gleichzeitig ausführen. Um die durchgeführte Geste korrekt zu bestimmen, wird für jeden vorbestimmten Verlauf das lokale Maximum mit einem Schwellwert verglichen, falls ein lokales Maximum existiert. Wenn das zu einem vorbestimmten Verlauf korrespondierende lokale Maximum größer als der Schwellwert ist, entspricht dieser vorbestimmte Verlauf der Geste, die der Nutzer durchgeführt hat. Somit kann die vom Nutzer durchgeführte Geste ermittelt werden. Der Schwellwert kann insbesondere für jeden vorbestimmten Verlauf verschieden sein. Bei einer „perfekt“ durchgeführten Geste, also einer Geste, die genau dem vorbestimmten Verlauf entspricht, weist das lokale Maximum einen Wert gleich der Summe der quadrierten Koeffizienten der verschiedenen Dimensionen auf. Der Schwellwert entspricht der Summe der gewichteten quadrierten Koeffizienten, wobei die Gewichte denselben wie aus Schritt S4 entsprechen. Wenn hingegen eine andere Geste ausgeführt wird, ist eine Signalstärke der gefilterten Verläufe niedrig, das heißt, dass die gefilterten Verläufe niedrige lokale Maxima aufweisen. Somit ist auch die gewichtete Summe niedrig und das in Schritt S5 bestimmte lokale Maximum ist nicht größer als der Schwellwert. Somit kann ermittelt werden, dass eine Geste nicht durchgeführt worden ist.
  • 2 zeigt in schematischer Form gefilterte Verläufe und vorbestimmte Verläufe einer Beschleunigung gemäß einer Ausführungsform der vorliegenden Erfindung.
  • In 2 ist ein Diagramm 200 mit Beschleunigungsverläufen gezeigt. Auf der X-Achse 201 ist die Zeit in Sekunden gezeigt und die Y-Achse 202 zeigt die Beschleunigung in m/s2. Die Verläufe ohne Knoten 203, 204, 205 zeigen eine gefilterte Beschleunigung eines Objekts in X-, Y- und Z-Richtung. Diese Verläufe können beispielsweise den gefilterten Verläufen gemäß Schritt S2 in 1 entsprechen. Die Verläufe mit Knoten 206, 207, 208 zeigen jeweils einen vorbestimmten Verlauf in X-, Y- und Z-Richtung, also Verläufe die einer „perfekten“ Ausübung der Geste entsprechen. Es ist zu erkennen, dass die Verläufe der linearen Beschleunigung den vorbestimmten Verläufen ähneln. Diese „Ähnlichkeit“ der Verläufe zeigt sich in dem Verfahren gemäß 1, dass ein lokales Extremum eines summierten Verlaufs (nicht gezeigt) einen Schwellwert übersteigt.
  • 3 zeigt in schematischer Form gefilterte Verläufe und vorbestimmte Verläufe einer Rotation gemäß einer Ausführungsform der vorliegenden Erfindung.
  • 3 zeigt ein Diagramm 300 mit Rotationsverläufen. Die X-Achse 301 zeigt die Zeit in Sekunden und die Y-Achse 302 die Rotationsrate in Grad/s. Analog zu 2 zeigt das Diagramm 300 gemäß 3 gefilterte Verläufe ohne Knoten 303, 304, 305, die der Rotationsrate eines Objekts um eine X-, Y- und Z-Achse entsprechen und Verläufe mit Knoten 306, 307, 308, die vorbestimmte Verläufe einer Rotationsrate um die X-, Y- und Z-Achse zeigen.
  • 4 zeigt in schematischer Form ein Nutzer mit einem Objekt gemäß einer Ausführungsform der vorliegenden Erfindung.
  • In 4 ist ein Nutzer 400 mit einem an dem Nutzer angeordneten Objekt 401 gezeigt. Das Objekt 401 kann beispielsweise ein Smartphone sein. An dem Objekt ist ein Beschleunigungssensor 402 und ein Gyroskop 403 angeordnet. Wenn der Nutzer 400 eine Geste ausführt, können von dem Beschleunigungssensor 402 und/oder Gyroskop 403 Bewegungssignale an eine Vorrichtung 404 gesendet werden. Die Vorrichtung 404 kann auch Teil des Objekts 401 sein. Mithilfe der Vorrichtung 404 kann die Geste des Nutzers 400 ermittelt werden, wobei die Vorrichtung folgendes umfasst:
    • - eine Bestimmungseinrichtung 405, ausgebildet zum Bestimmen von Verläufen zumindest einer linearen Beschleunigung in zumindest zwei Dimensionen und/oder einer Rotation in zumindest zwei Dimensionen des an dem Nutzer 400 angeordneten Objekts 401,
    • - eine Filtereinrichtung 406, ausgebildet zum Filtern der bestimmten Verläufe mit einem Optimalfilter basierend jeweils auf einem Vergleich des Verlaufs der linearen Beschleunigungen und/oder Rotationen mit vorbestimmten Verläufen, die jeweils einer vorbestimmten Geste entsprechen, für die zumindest zwei Dimensionen,
    • - eine Gewichtungseinrichtung 407, ausgebildet zum Gewichten der gefilterten Verläufe anhand von vorbestimmten Gewichten für die zumindest zwei Dimensionen und für die vorbestimmten Verläufe,
    • - eine Berechnungseinrichtung 408, zum Berechnen von summierten Verläufen anhand von Summierung der gewichteten Verläufe der zumindest zwei Dimensionen für die vorbestimmten Verläufe,
    • - eine Identifizierungseinrichtung 409, ausgebildet zum Identifizieren eines lokalen Maximums in den summierten Verläufen für die vorbestimmten Verläufe, und
    • - eine Ermittlungseinrichtung 410, ausgebildet zum Ermitteln der von dem Nutzer 400 ausgeführten Geste anhand eines Vergleichs des lokalen Maximums mit einem jeweiligen Schwellwert für die vorbestimmten Verläufe.
  • Zusammenfassend weist zumindest eine Ausführungsform der vorliegenden Erfindung zumindest eines der folgenden Merkmale auf und/oder stellt zumindest einen der folgenden Vorteile bereit:
    • - Zuverlässiges Erkennen von Gesten des Nutzers
    • - Gestenerkennung mit geringem Energie- und Rechenleistungseinsatz.
  • Obwohl die vorliegende Erfindung anhand bevorzugter Ausführungsbeispiele beschrieben wurde, ist sie nicht darauf beschränkt, sondern auf vielfältige Weise modifizierbar.

Claims (12)

  1. Verfahren zum Ermitteln einer von einem Nutzer (400) ausgeführten Geste umfassend die Schritte: - Bestimmen (S1) von Verläufen zumindest einer linearen Beschleunigung in zumindest zwei Dimensionen und/oder einer Rotation in zumindest zwei Dimensionen und/oder einer linearen Beschleunigung und einer Rotation in zumindest jeweils einer Dimension eines an dem Nutzer (400) angeordneten Objekts (401), - Filtern (S2) der bestimmten Verläufe mit einem Optimalfilter basierend jeweils auf einem Vergleich des Verlaufs der linearen Beschleunigungen und/oder Rotationen mit vorbestimmten Verläufen (206, 207, 208, 306, 307, 308), die jeweils einer vorbestimmten Geste entsprechen, für die zumindest zwei Dimensionen, - Gewichten (S3) der gefilterten Verläufe (203, 204, 205, 303, 304, 305) anhand von vorbestimmten Gewichten für die zumindest zwei Dimensionen und für die vorbestimmten Verläufe (206, 207, 208, 306, 307, 308); - Berechnen (S4) von summierten Verläufen anhand von Summierung der gewichteten Verläufe der zumindest zwei Dimensionen für die vorbestimmten Verläufe (206, 207, 208, 306, 307, 308), - Identifizieren (S5) eines lokalen Maximums in den summierten Verläufen für die vorbestimmten Verläufe (206, 207, 208, 306, 307, 308), und - Ermitteln (S6) der von dem Nutzer (400) ausgeführten Geste anhand eines Vergleichs des lokalen Maximums mit einem jeweiligen Schwellwert für die vorbestimmten Verläufe (206, 207, 208, 306, 307, 308).
  2. Verfahren gemäß Anspruch 1, wobei die lineare Beschleunigung in zumindest zwei Dimensionen anhand eines an dem Objekt (401) angeordneten Beschleunigungssensors (401) und dem Verlauf der Rotation in mehreren Dimensionen ermittelt wird, vorzugsweise anhand eines Mahony-Filters.
  3. Verfahren gemäß einem der Ansprüche 1-2, wobei die vorbestimmten Verläufe (206, 207, 208, 306, 307, 308) und/oder die vorbestimmten Gewichte auf historischen Daten basieren.
  4. Verfahren gemäß Anspruch 3, wobei die vorbestimmten Gewichte auf einer statistischen Kenngröße, insbesondere einer Varianz, der historischen Daten basieren.
  5. Verfahren gemäß einem der Ansprüche 1-4, wobei die Schwellwerte anhand der vorbestimmten Verläufen (206, 207, 208, 306, 307, 308) bestimmt werden.
  6. Verfahren gemäß einem der Ansprüche 1-5, wobei zum Bestimmen (S1) der gefilterten Verläufe (203, 204, 205, 303, 304, 305) eine Auswahl der vorbestimmten Verläufe (206, 207, 208, 306, 307, 308) bestimmt wird, die für den Optimalfilter verwendet wird.
  7. Verfahren gemäß einem der Ansprüche 1-6, wobei das Bestimmen (S1) von Verläufen das Bestimmen eines Verlaufs eines Drucks und/oder eines magnetischen Felds umfasst.
  8. Verfahren gemäß einem der Ansprüche 1-7, wobei das Ermitteln (S6) der Geste auf einer Größe der Beschleunigung und/oder Rotation in einem Zeitraum basiert, in dem die Geste zwischen 0% und 15%, vorzugsweise zwischen 0% und 10%, insbesondere zwischen 0% und 5% durchgeführt ist, und/oder in dem die Geste zwischen 85% und 100%, vorzugsweise zwischen 90% und 100%, insbesondere zwischen 95% und 100% durchgeführt ist.
  9. Verfahren gemäß einem der Ansprüche 1-8, wobei das Ermitteln (S6) der Geste auf einer Größe einer Beschleunigung und/oder Rotation in einem definierten Unterbereich zwischen minimaler und maximaler Beschleunigung und/oder Rotation basiert.
  10. Verfahren gemäß einem der Ansprüche 1-9, wobei das Ermitteln (S6) der Geste auf lokalen Maxima der gefilterten Verläufe (203, 204, 205, 303, 304, 305) basiert.
  11. Verfahren gemäß einem der Ansprüche 1-10, wobei das Ermitteln (S6) der Geste auf einer Orientierung des Objekts (401) basiert.
  12. Vorrichtung zum Ermitteln einer von einem Nutzer (400) ausgeführten Geste, umfassend - eine Bestimmungseinrichtung, ausgebildet zum Bestimmen (S1) von Verläufen zumindest einer linearen Beschleunigung in zumindest zwei Dimensionen und/oder einer Rotation in zumindest zwei Dimensionen und/oder einer linearen Beschleunigung und einer Rotation in zumindest jeweils einer Dimension eines an dem Nutzer (400) angeordneten Objekts (401), - eine Filtereinrichtung, ausgebildet zum Filtern (S2) der bestimmten Verläufe mit einem Optimalfilter basierend jeweils auf einem Vergleich des Verlaufs der linearen Beschleunigungen und/oder Rotationen mit vorbestimmten Verläufen (206, 207, 208, 306, 307, 308), die jeweils einer vorbestimmten Geste entsprechen, für die zumindest zwei Dimensionen, - eine Gewichtungseinrichtung, ausgebildet zum Gewichten (S3) der gefilterten Verläufe (203, 204, 205, 303, 304, 305) anhand von vorbestimmten Gewichten für die zumindest zwei Dimensionen und für die vorbestimmten Verläufe (206, 207, 208, 306, 307, 308), - eine Berechnungseinrichtung, zum Berechnen (S4) von summierten Verläufen anhand von Summierung der gewichteten Verläufe der zumindest zwei Dimensionen für die vorbestimmten Verläufe (206, 207, 208, 306, 307, 308); - eine Identifizierungseinrichtung, ausgebildet zum Identifizieren (S5) eines lokalen Maximums in den summierten Verläufen für die vorbestimmten Verläufe (206, 207, 208, 306, 307, 308), und - eine Ermittlungseinrichtung, ausgebildet zum Ermitteln (S6) der von dem Nutzer (400) ausgeführten Geste anhand eines Vergleichs des lokalen Maximums mit einem jeweiligen Schwellwert für die vorbestimmten Verläufe (206, 207, 208, 306, 307, 308).
DE102022204838.5A 2022-05-17 2022-05-17 Verfahren zum Ermitteln einer von einem Nutzer ausgeführten Geste Pending DE102022204838A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022204838.5A DE102022204838A1 (de) 2022-05-17 2022-05-17 Verfahren zum Ermitteln einer von einem Nutzer ausgeführten Geste

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022204838.5A DE102022204838A1 (de) 2022-05-17 2022-05-17 Verfahren zum Ermitteln einer von einem Nutzer ausgeführten Geste

Publications (1)

Publication Number Publication Date
DE102022204838A1 true DE102022204838A1 (de) 2023-11-23

Family

ID=88599956

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022204838.5A Pending DE102022204838A1 (de) 2022-05-17 2022-05-17 Verfahren zum Ermitteln einer von einem Nutzer ausgeführten Geste

Country Status (1)

Country Link
DE (1) DE102022204838A1 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080228429A1 (en) 2006-12-08 2008-09-18 Andrew Shane Huang Systems and methods for location, motion, and contact detection and tracking in a networked audiovisual device
US20090183193A1 (en) 2008-01-11 2009-07-16 Sony Computer Entertainment America Inc. Gesture cataloging and recognition
US20140282270A1 (en) 2013-03-13 2014-09-18 Motorola Mobility Llc Method and System for Gesture Recognition
WO2019016764A1 (en) 2017-07-21 2019-01-24 Sage Senses Inc. METHOD, SYSTEM AND APPARATUS FOR RECOGNIZING GESTURES

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080228429A1 (en) 2006-12-08 2008-09-18 Andrew Shane Huang Systems and methods for location, motion, and contact detection and tracking in a networked audiovisual device
US20090183193A1 (en) 2008-01-11 2009-07-16 Sony Computer Entertainment America Inc. Gesture cataloging and recognition
US20140282270A1 (en) 2013-03-13 2014-09-18 Motorola Mobility Llc Method and System for Gesture Recognition
WO2019016764A1 (en) 2017-07-21 2019-01-24 Sage Senses Inc. METHOD, SYSTEM AND APPARATUS FOR RECOGNIZING GESTURES

Similar Documents

Publication Publication Date Title
DE60020795T2 (de) Echtzeitmodellierung des Verhaltens menschlicher Sehvermögenssysteme
DE60036082T2 (de) Verfahren und vorrichtung zur wiederauffindung von texturbildern
DE102017204628A1 (de) Schlafzustandsvorhersagevorrichtung
DE19614975A1 (de) Gesichtsbildverarbeitungssystem
DE102018105169A1 (de) Anzeigesystem für Fahrzeug und Steuerungsverfahren dafür
DE102019209644A1 (de) Verfahren zum Trainieren eines neuronalen Netzes
DE112017006891T5 (de) Bewegungslerneinrichtung, fertigkeitendiskriminationseinrichtung und fertigkeitendiskriminationssystem
DE102017209262A1 (de) Verfahren und Vorrichtung zur automatischen Gestenerkennung
DE102019118202A1 (de) Robotersystem
DE102019103727A1 (de) Axialkraftmessverfahren, Befestigungsbestimmungsverfahren, Axialkraftmessvorrichtung und Befestigungsbestimmungsvorrichtung für eine Schraube
DE102018113559A1 (de) Verfahren zum Erkennen einer Fahrbahnmarkierung durch Validieren anhand der Linienbreite; Steuereinrichtung; Stellplatzerkennungssystem; sowie Fahrerassistenzsystem
DE102018213515A1 (de) Verfahren und Vorrichtung zum Erfassen einer Grenze in einem Umfeld eines Objekts
DE102018206806A1 (de) Verfahren und Vorrichtung zur Umsetzung eines Eingangsbildes einer ersten Domäne in ein Ausgangsbild einer zweiten Domäne
DE60110838T2 (de) Verfahren und system zur bewertung statischer reibung
DE102013018924A1 (de) Verfahren zum Kontrollieren eines Aktors
EP1141883B1 (de) Verfahren zum vergleichen von punktmengen
DE102022204838A1 (de) Verfahren zum Ermitteln einer von einem Nutzer ausgeführten Geste
DE112021000126T5 (de) Verfahren und Einrichtung zum Detektieren eines Zustands einer Tür oder eines Fensters
DE10027657A1 (de) Verfahren zur Ermittlung von Referenzpunkten in einem Fingerabdruckbild
DE102017219654A1 (de) Verfahren und Vorrichtung zur Bestimmung eines Belegungszustands eines Stellplatzes eines Parkraums
DE102020207613A1 (de) Verfahren zur Bewertung einer Schnittkante eines Körpers
EP1673713A1 (de) Berührungslose biometrische erkennung
DE102019114049A1 (de) Verfahren zur Validierung eines Fahrerassistenzsystems mithilfe von weiteren generierten Testeingangsdatensätzen
DE102018217390A1 (de) Verfahren zur Bestimmung eines Belegungszustands eines Stellplatzes
DE102022203199A1 (de) Verfahren zum Klassifizieren von Bewegungen

Legal Events

Date Code Title Description
R163 Identified publications notified