DE112015007204T5

DE112015007204T5 - TIME RANGE TRANSFORMATION FOR USER GESTURES

Info

Publication number: DE112015007204T5
Application number: DE112015007204.7T
Authority: DE
Inventors: Zhiqiang Liang; Tingqian Li; Jinkui Ren
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2015-12-22
Filing date: 2015-12-22
Publication date: 2018-10-04
Also published as: CN108431761A; WO2017107035A1; CN108431761B; US10782791B2; US20180329506A1

Abstract

Systeme und Verfahren zum Erkennen einer Geste bei einer tragbaren Vorrichtung werden offenbart. Das System kann während einer Gestenerfassungssitzung mehrere Sensormessungen erfassen und die Messungen mithilfe eines adaptiven Heruntertaktungsintervalls heruntertakten. Das adaptive Heruntertaktungsintervall kann basierend zumindest auf einem Bruchteil eines Verhältnisses einer Rahmenlänge der Sensormessungen zu einer festgelegten Ziellänge, die kürzer als die Rahmenlänge ist, bestimmt werden. Die Stärke der heruntergetakteten Messungen wird normalisiert, und ein Merkmalsvektor kann mithilfe der heruntergetakteten Messungen generiert werden. Ein Gestenerkennungsmodul kann mithilfe einer Gestenklassifizierung dem Merkmalsvektor eine Geste zuordnen.

Systems and methods for detecting a gesture in a portable device are disclosed. The system can capture multiple sensor measurements during a gesture capture session and downclock the measurements using an adaptive down-sampling interval. The adaptive down-sampling interval may be determined based on at least a fraction of a ratio of a frame length of the sensor measurements to a fixed target length that is shorter than the frame length. The magnitude of the down-sampled measurements is normalized, and a feature vector can be generated using the down-sampled measurements. A gesture recognition module may gesture-assign a feature to the feature vector.

Description

TECHNISCHES GEBIETTECHNICAL AREA

Dieses Dokument betrifft im Allgemeinen tragbare Vorrichtungen und insbesondere Systeme und Verfahren zum Erkennen von Benutzergesten bei einer tragbaren Vorrichtung.This document relates generally to portable devices and, more particularly, to systems and methods for detecting user gestures in a portable device.

HINTERGRUNDBACKGROUND

Mobile Vorrichtungen, wie etwa Smartphones und Tablets, verfügen über Funktionalitäten, die dem Benutzer ermöglichen, durch unterschiedliche Benutzeraktivitäten mit der Vorrichtung zu interagieren. Eine Vorrichtungsgeste kann als Bewegung der Vorrichtung durch den Benutzer beschrieben werden, wie etwa Bewegen der Vorrichtung in den Händen, Positionieren, Neigen, Drehen oder Schütteln der Vorrichtung beispielsweise in Bezug auf eine Referenzposition in der Umgebung. Andere Benutzergesten, wie etwa über eine Benutzerschnittstelle auf der mobilen Vorrichtung, können Tippen, Wischen, Auseinanderziehen oder Zusammenziehen umfassen. Eine mobile Vorrichtung kann verschiedene Gesten erkennen und diese in entsprechende Befehle zum Betreiben der Vorrichtung übertragen.Mobile devices, such as smartphones and tablets, have functionalities that allow the user to interact with the device through different user activities. A device gesture may be described as movement of the device by the user, such as moving the device in the hands, positioning, tilting, rotating, or shaking the device, for example, relative to a reference position in the environment. Other user gestures, such as via a user interface on the mobile device, may include typing, wiping, pulling apart, or contracting. A mobile device can recognize various gestures and translate them into appropriate commands to operate the device.

Tragbare Vorrichtungen sind mobile Miniaturvorrichtungen, die für Allzweck- oder Sonderzweck-Informationstechnologien und Medienentwicklung entwickelt wurden. Eine tragbare Vorrichtung kann einen Computer und Elektronik beinhalten und kann durch Benutzer getragen werden. Die Benutzer können kontinuierlich durch verschiedene Mittel einschließlich Gesten mit der Vorrichtung interagieren. Beispiele für tragbare Vorrichtungen umfassen intelligente Uhren, intelligente Aktivitätentracker, intelligente Brillen und tragbare Gesundheitsüberwachungseinrichtungen.Portable devices are miniature mobile devices designed for general purpose or special purpose information technologies and media development. A portable device may include a computer and electronics and may be worn by users. Users can continuously interact with the device through various means, including gestures. Examples of portable devices include smart watches, intelligent activity trackers, smart glasses, and portable health monitors.

Eine genaue und zuverlässige Gestenerkennung kann die Benutzerfreundlichkeit von tragbaren Vorrichtungen verbessern. Eine Gestenerkennung kann jedoch beträchtliche Strom- und Rechenressourcen verbrauchen. Zudem können Gesten nicht periodischer Natur und von kurzer Dauer sein und Störungen oder anderen Interferenzquellen unterliegen. Eine herkömmliche Gestenerkennung basierend auf statistischen Merkmalen oder Frequenzanalyse stellt möglicherweise nicht die gewünschte Erkennungsleistung bereit.Accurate and reliable gesture recognition can improve the usability of portable devices. However, gesture recognition can consume significant power and computational resources. In addition, gestures may not be periodic, short-lived and subject to interference or other sources of interference. Conventional gesture recognition based on statistical features or frequency analysis may not provide the desired recognition performance.

Figurenlistelist of figures

In den Zeichnungen, die nicht unbedingt maßstabsgetreu sind, können gleiche Bezugszeichen ähnliche Komponenten in unterschiedlichen Ansichten bezeichnen. Gleiche Bezugszeichen, die mit unterschiedlichen Buchstaben enden, können unterschiedliche Instanzen ähnlicher Komponenten bezeichnen. Einige Ausführungsformen sind in den Figuren der beiliegenden Zeichnungen lediglich beispielhaft und nicht beschränkend veranschaulicht, wobei:

1, beispielhaft und nicht beschränkend, ein Diagramm eines Systems zum Erkennen einer Geste bei einer tragbaren Vorrichtung darstellt.
2A-B, beispielhaft und nicht beschränkend, ein Diagramm eines adaptiven Heruntertaktens von Sensormessungen darstellt.
3A-B, beispielhaft und nicht beschränkend, Graphen von abtastratenkonvertierten und normalisierten Sensormessungen darstellt.
4, beispielhaft und nicht beschränkend, ein Verfahren zum Erkennen einer Geste bei einer tragbaren Vorrichtung darstellt.
5, beispielhaft und nicht beschränkend, ein Blockdiagramm darstellt, das eine beispielhafte Maschine darstellt, auf der eine oder mehrere der hierin diskutierten Techniken gemäß eines Ausführungsbeispiels durchgeführt werden können.

In the drawings, which are not necessarily to scale, like reference numerals may refer to similar components in different views. Like reference numerals ending with different letters may indicate different instances of similar components. Some embodiments are illustrated by way of example and not limitation in the figures of the accompanying drawings, in which:

1 by way of example and not limitation, illustrating a diagram of a system for detecting a gesture in a portable device.
2A-B by way of example and not limitation, depicting a diagram of adaptive down-sampling of sensor measurements.
3A-B by way of example and not limitation, graphs of sample rate converted and normalized sensor measurements.
4 by way of example and not limitation, illustrates a method of detecting a gesture in a portable device.
5 by way of example and not limitation, it is a block diagram illustrating an exemplary machine upon which one or more of the techniques discussed herein may be performed in accordance with one embodiment.

AUSFÜHRLICHE BESCHREIBUNGDETAILED DESCRIPTION

In der folgenden Beschreibung werden zu Zwecken der Erläuterung zahlreiche Einzelheiten dargelegt, um ein umfassendes Verständnis einiger Ausführungsbeispiele bereitzustellen. Es ist für Fachleute auf diesem Gebiet jedoch offensichtlich, dass die vorliegende Offenbarung ohne die speziellen Einzelheiten ausgeführt werden kann.In the following description, for purposes of explanation, numerous details are set forth in order to provide a thorough understanding of some embodiments. However, it will be apparent to those skilled in the art that the present disclosure may be practiced without the specific details.

Hierin beschrieben sind Systeme und Verfahren zum Erkennen einer Geste bei einer tragbaren Vorrichtung, wie etwa einem Smartphone oder einer intelligenten Uhr. Eine Gestenerkennung basiert auf einer Zeitbereichstransformation und einer Merkmalsextraktion. Ein hierin beschriebenes System kann während einer Gestenerfassungssitzung mehrere Sensormessungen erfassen und die Messungen mithilfe eines adaptiven Heruntertaktungsintervalls heruntertakten. Das adaptive Heruntertaktungsintervall kann basierend zumindest auf einem Bruchteil eines Verhältnisses einer Rahmenlänge der Sensormessungen zu einer festgelegten Ziellänge, die kürzer als die Rahmenlänge ist, bestimmt werden. Die Stärke der heruntergetakteten Messungen kann normalisiert werden, und ein Merkmalsvektor kann generiert werden. Ein Gestenerkennungsmodul kann mithilfe einer Gestenklassifizierung dem Merkmalsvektor eine Geste zuordnen. Described herein are systems and methods for detecting a gesture in a portable device, such as a smart phone or smart watch. Gesture recognition is based on time domain transformation and feature extraction. A system described herein may detect multiple sensor measurements during a gesture-sensing session and down-clock the measurements using an adaptive down-sampling interval. The adaptive down-sampling interval may be determined based on at least a fraction of a ratio of a frame length of the sensor measurements to a fixed target length that is shorter than the frame length. The magnitude of the down-sampled measurements can be normalized and a feature vector can be generated. A gesture recognition module may gesture-assign a feature to the feature vector.

1 stellt, beispielhaft und nicht beschränkend, ein Diagramm eines Systems 100 zum Erkennen einer Geste bei einer tragbaren Vorrichtung dar. Beispiele der von dem System 100 erkannten Gesten können Vorrichtungsgesten, die verschiedene Muster einer Bewegung einer tragbaren Vorrichtung beschreiben, oder Benutzergesten, wie etwa Handgesten, die Benutzerbefehlen zum Betreiben der tragbaren Vorrichtung entsprechen, umfassen. Beispiele der tragbaren Vorrichtung können intelligente Uhren, ein intelligentes Armband, eine intelligente Brille, tragbare medizinische und Gesundheitsüberwachungseinrichtungen oder andere tragbare Vorrichtungen umfassen. Andere Beispiele können Smartphones, Tablets oder andere mobile Vorrichtungen umfassen. 1 illustrates, by way of example and not limitation, a diagram of a system 100 for detecting a gesture in a portable device. Examples of the system 100 Detected gestures may include device gestures describing various patterns of movement of a portable device, or user gestures such as hand gestures corresponding to user commands to operate the portable device. Examples of the portable device may include smart watches, a smart bracelet, smart glasses, portable medical and health monitors, or other portable devices. Other examples may include smartphones, tablets or other mobile devices.

Das System 100 kann ein Sensormodul 110, ein Signalprozessormodul 120, ein Gestenerkennungsmodul 130, einen Speicher 140 und ein optionales Ausgabemodul 150 umfassen. In einem Beispiel kann das System 100 eine tragbare Vorrichtung umfassen, die zumindest einen Teil von einem oder mehrerer des Sensormoduls 110, des Signalprozessormoduls 120 oder des Gestenerkennungsmoduls 130 umfasst. In einigen Beispielen kann bzw. können ein oder mehrere Module des Systems 100 als ein Teil einer Mikroprozessorschaltung implementiert sein. Die Mikroprozessorschaltung kann ein dedizierter Prozessor, wie etwa ein digitaler Signalprozessor, eine anwendungsspezifische integrierte Schaltung (ASIC, Application Specific Integrated Circuit), ein Mikroprozessor oder eine andere Art von Prozessor zum Verarbeiten von Informationen einschließlich Sensormessungen, wie die von dem Sensormodul 110 empfangenen, sein. Alternativ dazu kann die Mikroprozessorschaltung ein Allzweckprozessor sein, der einen Satz von Anweisungen zum Durchführen der hierin beschriebenen Funktionen, Verfahren oder Techniken empfangen und ausführen kann.The system 100 can be a sensor module 110 , a signal processor module 120 , a gesture recognition module 130 , a store 140 and an optional output module 150 include. In one example, the system can 100 a portable device comprising at least a portion of one or more of the sensor module 110 , the signal processor module 120 or the gesture recognition module 130 includes. In some examples, one or more modules of the system may or may not 100 be implemented as part of a microprocessor circuit. The microprocessor circuit may be a dedicated processor, such as a digital signal processor, an Application Specific Integrated Circuit (ASIC), a microprocessor, or other type of processor for processing information, including sensor measurements, such as those from the sensor module 110 received, be. Alternatively, the microprocessor circuit may be a general-purpose processor that can receive and execute a set of instructions for performing the functions, methods, or techniques described herein.

In einigen Beispielen kann bzw. können ein oder mehrere Module des Systems 100 in Schaltungen oder Unterschaltungen implementiert oder ausgeführt sein. Diese Schaltungen können, allein oder in Kombination, die hierin beschriebenen Funktionen, Verfahren oder Techniken durchführen. In einem Beispiel kann die Hardware des Schaltungssatzes unwandelbar konzipiert sein, einen spezifischen Vorgang auszuführen (z. B. festverdrahtet). In einem Beispiel kann die Hardware des Schaltungssatzes variabel verbundene physische Komponenten (z. B. Ausführungseinheiten, Transistoren, einfache Schaltungen usw.) umfassen, einschließlich eines computerlesbaren Mediums, das physische modifiziert ist (z. B. magnetisch, elektrisch, bewegliche Anordnung von invarianten Masseteilchen usw.) zum Codieren von Anweisungen des spezifischen Vorgangs. Durch Verbinden der physischen Komponenten werden die zugrundliegenden elektrischen Eigenschaften eines Hardwarebestandteils geändert, zum Beispiel von einem Isolator zu einem Leiter oder umgekehrt. Durch die Anweisungen kann eingebettete Hardware (z. B. die Ausführungseinheiten oder ein Lademechanismus) Elemente des Schaltungssatzes in Hardware über die variablen Verbindungen erstellen, um bei einem Betrieb Teile des spezifischen Vorgangs auszuführen. Dementsprechend ist das computerlesbare Medium kommunikativ mit den anderen Komponenten des Schaltungssatzelements gekoppelt, wenn die Vorrichtung betrieben wird. In einem Beispiel kann jede der physischen Komponenten in mehr als einem Element von mehr als einem Schaltungssatz verwendet werden. Beispielsweise können bei einem Betrieb die Ausführungseinheiten in einer ersten Schaltung eines ersten Schaltungssatzes zu einem Zeitpunkt verwendet werden und durch eine zweite Schaltung in dem ersten Schaltungssatz oder durch eine dritte Schaltung in einem zweiten Schaltungssatz zu einem anderen Zeitpunkt wiederverwendet werden.In some examples, one or more modules of the system may or may not 100 implemented or executed in circuits or subcircuits. These circuits, alone or in combination, may perform the functions, methods, or techniques described herein. In one example, the hardware of the circuit set may be immutably designed to perform a specific operation (eg, hardwired). In one example, the hardware of the circuit set may include variably connected physical components (eg, execution units, transistors, simple circuits, etc.), including a computer-readable medium that is physically modified (e.g., magnetic, electrical, movable array of invariants Mass particles, etc.) for coding instructions of the specific operation. By connecting the physical components, the underlying electrical properties of a hardware component are changed, for example, from an insulator to a conductor or vice versa. The instructions allow embedded hardware (eg, the execution units or a loading mechanism) to create elements of the hardware circuit set through the variable links to perform portions of the specific operation during operation. Accordingly, the computer readable medium is communicatively coupled to the other components of the circuit set element when the device is operated. In one example, each of the physical components in more than one element may be used by more than one circuit set. For example, in one operation, the execution units in a first circuit of a first circuit set may be used at one time and reused by a second circuit in the first circuit set or by a third circuit in a second circuit set at a different time.

Das Sensormodul 110 kann einen Abtastverstärker umfassen, um während einer Gestenerfassungssitzung mehrere Sensormessungen zu erfassen. Der Abtastverstärker kann mit einem oder mehreren Sensoren an einer mobilen Vorrichtung gekoppelt oder einem Benutzer der mobilen Vorrichtung zugeordnet sein. In einem Beispiel kann das Sensormodul 110 einen Beschleunigungsmesssensor umfassen, der während einer Gestenerfassungssitzung mehrere Beschleunigungsmessungen erzeugen kann. Der Beschleunigungsmesser kann ein zwei- oder dreidimensionaler Beschleunigungssensor sein. In einem anderen Beispiel kann das Sensormodul 110 einen Gyroskopsensor umfassen, der während einer Gestenerfassungssitzung mehrere Ausrichtungsmessungen erzeugen kann. Weitere Beispiele für die Sensoren können unter anderem Kameras, Drucksensoren, Temperatursensoren, Ultraschallsensoren oder Magnetometer umfassen. Die Sensormessungen können vorverarbeitet werden, einschließlich Verstärkung, Digitalisierung, Filterung oder andere Signalaufbereitungsvorgänge. Die während der Gestenerfassungssitzung vorverarbeiteten Sensormessungen können einen Rahmen eines zeitdiskreten digitalen Signals mit einer Rahmenlänge (N_Frame) bilden.The sensor module 110 may include a sense amplifier to detect multiple sensor measurements during a gesture detection session. The sense amplifier may be coupled to one or more sensors on a mobile device or associated with a user of the mobile device. In one example, the sensor module 110 an accelerometer sensor capable of generating multiple accelerometer measurements during a gesture detection session. The accelerometer may be a two- or three-dimensional acceleration sensor. In another example, the sensor module 110 a gyroscope sensor that can generate multiple alignment measurements during a gesture detection session. Other examples of the sensors may include, but not limited to, cameras, pressure sensors, temperature sensors, ultrasonic sensors or magnetometers. The Sensor measurements can be pre-processed, including amplification, digitization, filtering, or other signal conditioning operations. The sensor measurements preprocessed during the gesture detection session may form a frame of a time discrete digital signal having a frame length (N _frame ).

Das Signalprozessormodul 120 kann aus den vorverarbeiteten Sensormessungen einen Merkmalsvektor generieren, der einer Geste zugeordnet ist. Wie in 2 dargestellt, kann das Signalprozessormodul 120 ein Abtastratenkonvertierungsmodul 122, ein Normalisierungsmodul 124 und ein Merkmalsgeneratormodul 126 umfassen. Das Abtastratenkonvertierungsmodul 122 kann die mehreren Sensormessungen in einem adaptiven Heruntertaktungsintervall heruntertakten, um heruntergetaktete Messungen mit einer Ziellänge von N_T zu erzeugen. Die Erfinder der vorliegenden Erfindung haben erkannt, dass Gesten einer gleichen Art eine unterschiedliche Geschwindigkeit oder unterschiedliche Dauer (d. h. unterschiedliche Dauer einer Gestenerfassungssitzung) aufweisen können. Bei den resultierenden Messungen, die unterschiedlichen Instanzen derselben Art von Geste entsprechen, können Abweichungen bei der Datenlänge bei einem selben oder unterschiedlichen Benutzern auftreten, die. Durch Heruntertakten der Sensormessungen während einer Gestenerfassungssitzung, wie etwa durch Verwenden des Abtastratenkonvertierungsmoduls 122, kann der Effekt der Abweichung bei der Aktionsgeschwindigkeit oder der Aktionsdauer der Sensormessungen reduziert werden, wodurch die Zuverlässigkeit der Gestenerkennung verbessert wird. Durch Heruntertakten der Sensormessungen kann zudem der Stromverbrauch und die Rechenanforderung für die Gestenerkennung reduziert werden.The signal processor module 120 can generate from the preprocessed sensor measurements a feature vector associated with a gesture. As in 2 shown, the signal processor module 120 a sample rate conversion module 122 , a normalization module 124 and a feature generator module 126 include. The sample rate conversion module 122 can down-clock the multiple sensor measurements in an adaptive down-sampling interval to produce down-sampled measurements with a target length of N _T. The inventors of the present invention have recognized that gestures of the same type may have a different speed or different duration (ie different duration of a gesture detection session). In the resulting measurements, which correspond to different instances of the same kind of gesture, deviations in the data length may occur for a same or different user, the. By downsampling the sensor measurements during a gesture detection session, such as by using the sample rate conversion module 122 , the effect of the deviation in the action speed or the duration of action of the sensor measurements can be reduced, thereby improving the reliability of the gesture recognition. By stepping down the sensor measurements, the power consumption and the calculation requirement for the gesture recognition can be reduced.

In einem Beispiel ist die Ziellänge N_T eine vorbestimmte, feste Länge, die kürzer als die Rahmenlänge N_Frame ist. Das adaptive Heruntertaktungsintervall (L_S) zeigt einen Zählwert von Datenabtastwerten in der vorverarbeiteten Sensormessung an, die für das Erzeugen einer heruntergetakteten Messung verwendet wurde. Beispielsweise zeigt L_S = 10 an, dass eine heruntergetaktete Messung aus jeweils zehn vorverarbeiteten Sensormessungen abgeleitet wird.In one example, the target length N _{T is} a predetermined, fixed length that is shorter than the frame length N _frame . The adaptive Down Sampling interval (L _S) denotes a count value of data samples in the pre-processed sensor measurement that was used for generating a downsampled measurement. For example, L _S = 10 indicates that a down-clocked measurement is derived from every ten pre-processed sensor measurements.

Das adaptive Heruntertaktungsintervall kann basierend zumindest auf einem Bruchteil eines Verhältnisses (R) der Rahmenlänge N_Frame zu der Ziellänge N_T bestimmt werden. Wenn N_Frame durch N_T teilbar ist, wird das Heruntertaktungsintervall L_S als gleich dem Verhältnis R bestimmt. Wenn N_Frame nicht durch N_T teilbar ist, weist das Verhältnis R einen ganzzahligen Teil R_I und einen Bruchteil R_F auf, das heißt, R = N_Frame/NT = R_I + R_F, wobei 0<R_F<1. Das Abtastratenkonvertierungsmodul 122 kann den Bruchteil (R_F) für jeden Abtastratenkonvertierungsvorgang (d. h. aR_F = aR_F + R_F) akkumulieren, und ein adaptives Heruntertaktungsintervall als eine Funktion von R_I und dem akkumulierten R_F (aR_F) bestimmen. In einem Beispiel kann das Abtastratenkonvertierungsmodul 122 ein adaptives Heruntertaktungsintervall L_S auf R_I festlegen, wenn aR_F kleiner eins ist. Wenn aR_F gleich oder größer eins ist, kann das Abtastratenkonvertierungsmodul 122 L_S auf R_I+1 festlegen, und aR_F durch Subtrahieren von eins von aR_F aktualisieren. Das heißt, $L_{S} = {\begin{array}{l} R_{I}, w e n n a R_{F} <1 \\ R_{I} + 1, w e n n a R_{F} \geq 1 \end{array}$

The adaptive down-sampling interval may be determined based at least on a fraction of a ratio (R) of the frame length N _frame to the target length N _T. If N _frame is divisible by N _T , the down-sampling interval L _{S is determined to} be equal to the ratio R. When N _{frame is} not divisible by N _T , the ratio R has an integer part R _I and a fraction R _F , that is, R = N _frame / NT = R _I + R _F , where 0 <R _F <1. The sample rate conversion module 122 may accumulate the fractional part (R _F ) for each sample rate conversion operation (ie, aR _F = aR _F + R _F ), and determine an adaptive down-sampling interval as a function of R _I and the accumulated R _F (aR _F ). In one example, the sample rate conversion module 122 set an adaptive down-sampling interval L _S to R _I if aR _{F is} less than one. If aR _{F is} equal to or greater than one, the sample rate conversion module may be 122 Set L _S to R _I +1, and update aR _F by subtracting one from aR _F. This means,

L_{S} = {\begin{array}{l} R_{I} . w e n n a R_{F} <1 \\ R_{I} + 1, w e n n a R_{F} \geq 1 \end{array}

Beispielsweise können die vorverarbeiteten Sensormessungen während einer Gestenerfassungssitzung (d. h. einem Rahmen) eine Länge von N_Frame = 129 Datenabtastwerten aufweisen. Um die Messungen auf eine feste Ziellänge N_T = 20 herunterzutakten, ist das Heruntertaktungsverhältnis R = 129/20 = 6,45, das heißt, R_I = 6 und R_F = 0,45. Tabelle 1 stellt das adaptive Heruntertaktungsintervall L_S als basierend zumindest auf dem akkumulierten Bruchteil aR_F bestimmt dar. Die 129 Abtastwerte können in mehrere aufeinanderfolgende Datenblöcke geteilt werden, wobei jeder Datenblock eine jeweilige Länge gleich L_S aufweist und bei dem nächsten Abtastwert, der dem Ende des vorhergehenden Blocks folgt, beginnt. Wie in Tabelle 1 dargestellt, hat der erste Block, der bei Index 0 beginnt, eine Länge L_S(1) = R_I = 6. Der Bruchteil R_F = 0,45 wird auf den zweiten Block angewendet, der bei Index 6 beginnt. Da der akkumulierte Bruchteil aR_F(2) = 0,45<1, bleibt das Heruntertaktungsintervall für den zweiten Block L_S(2) = R_I = 6. Gleichermaßen ist für Block 3 der akkumulierte aR_F (3) = 0,45+0,45 = 0,9<1, wodurch sich L_S(3) = 6 ergibt. Für Block 4, der beim Abtastwertindex 19 beginnt, ist der akkumulierte aR_F(4) = 0,45*3 = 1,35>1. Das Abtastratenkonvertierungsmodul 122 kann dann L_S(4) = R_I+1 = 7 festlegen, und aR_F durch Verringern von aR_F um 1 festlegen, das heißt, aR_F = aR_F - 1 = 0,35. Der adaptive Heruntertaktungsprozess kann zum Ende der Sensormessungen fortfahren. Die resultierenden 20 Datenblöcke weisen eine variable Blocklänge L_S auf, die adaptiv basierend auf dem akkumulierten Bruchteil aR_F bestimmt ist. Tabelle 1. Ein Beispiel eines adaptiven Heruntertaktens von Messungen. Blockindex 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 aR_F 0 0,45 0,9 1,35 1,8 2,25 2,7 3,15 3,6 4,05 4,5 4,95 5,4 5,85 6,3 6,75 7,2 7,65 8,1 8,55 Aktualisierter aR_F 0 0,45 0,9 0,35 0,8 0,25 0,7 0,15 0,6 0,05 0,5 0,95 0,4 0,85 0,3 0,75 0,2 0,65 0,1 0,55 Blocklänge (L_S) 6 6 6 7 6 7 6 7 6 7 6 6 7 6 7 6 7 6 7 6 Anfangsindex von Block 0 6 13 19 26 32 39 45 52 58 64 71 77 84 90 97 103 110 116 122 For example, during a gesture-sensing session (ie, a frame), the preprocessed sensor measurements may have a length of N _frame = 129 data samples. To downsample the measurements to a fixed target length N _T = 20, the down-sampling ratio is R = 129/20 = 6.45, that is, R _I = 6 and R _F = 0.45. Table 1 illustrates the adaptive down-sampling interval L _S as being based at least on the accumulated fraction aR _F determined 129 Samples may be divided into several consecutive data blocks, each data block having a respective length equal to L _s and starting at the next sample following the end of the previous block. As shown in Table 1, the first block at Index 0 begins to have a length L _S ( 1 ) = R _I = 6. The fraction R _F = 0.45 is applied to the second block, that at index 6 starts. Since the accumulated fraction aR _F ( 2 ) = 0.45 <1, the down-sampling interval for the second block L _S ( 2 ) = R _I = 6. Similarly, for block 3 the accumulated aR _F ( 3 ) = 0.45 + 0.45 = 0.9 <1, whereby L _S ( 3 ) = 6. For block 4 , the sample index 19 begins, is the accumulated aR _F ( 4 ) = 0.45 * 3 = 1.35> 1. The sample rate conversion module 122 can then L _S ( 4 ) = R _I +1 = 7, and set aR _F by decreasing aR _F by 1, that is, aR _F = aR _F - 1 = 0.35. The adaptive down-sampling process may proceed to the end of the sensor measurements. The resulting 20 data blocks have a variable block length L _S which is adaptively determined based on the accumulated fraction aR _F. Table 1. An example of adaptive down-sampling of measurements. block Index 1 2 3 4 5 6 7 8th 9 10 11 12 13 14 15 16 17 18 19 20 aR _F 0 0.45 0.9 1.35 1.8 2.25 2.7 3.15 3.6 4.05 4.5 4.95 5.4 5.85 6.3 6.75 7.2 7.65 8.1 8.55 Updated aR _F 0 0.45 0.9 0.35 0.8 0.25 0.7 0.15 0.6 0.05 0.5 0.95 0.4 0.85 0.3 0.75 0.2 0.65 0.1 0.55 Block length (L _S ) 6 6 6 7 6 7 6 7 6 7 6 6 7 6 7 6 7 6 7 6 Initial index of block 0 6 13 19 26 32 39 45 52 58 64 71 77 84 90 97 103 110 116 122

Das Abtastratenkonvertierungsmodul 122 kann die mehreren Sensormessungen durch Ersetzen jedes Datenblocks (mit einer Länge von L_S) durch einen entsprechenden repräsentativen Wert heruntertakten. Beispiele für den repräsentativen Wert können ein Mittel, ein Median, einen Modus oder einen anderen zur Mitte tendierenden Index der Messungen in jedem Datenblock umfassen. In einem Beispiel kann das Abtastratenkonvertierungsmodul 122 ein Durchschnittsfiltermodul 123 umfassen, das einen Durchschnittswert von Sensormessungen in jedem Datenblock generieren kann, wobei jeder Datenblock eine entsprechende Länge gleich dem adaptiven Heruntertaktungsintervall L_S aufweist. Durch Bilden eines Durchschnitts der Sensormessungen in einem Datenblock können Störungen oder unerwünschte Interferenzen bei den Sensormessungen reduziert werden.The sample rate conversion module 122 can downclock the multiple sensor measurements by replacing each data block (having a length of L _s ) with a corresponding representative value. Examples of the representative value may include a mean, a median, a mode, or another center-to-center index of the measurements in each data block. In one example, the sample rate conversion module 122 an average filter module 123 which can generate an average of sensor measurements in each data block, each data block having a corresponding length equal to the adaptive down-sampling interval L _S. By taking an average of the sensor measurements in a data block, interference or unwanted interference in the sensor measurements can be reduced.

Das Normalisierungsmodul 124 kann, gekoppelt mit dem Abtastratenkonvertierungsmodul 122, die Stärke der heruntergetakteten Messungen normalisieren und normalisierte Messungen erzeugen. Die Erfinder der vorliegenden Erfindung haben erkannt, dass Gesten einer gleichen Art unterschiedliche Signaturen von Signalintensität, wie etwa Stärke eines durch einen Beschleunigungsmesser erfassten Beschleunigungssignals, aufweisen können. Durch Normalisierung, wie etwa durch das Normalisierungsmodul 124, können die Abweichungen bei einem selben oder unterschiedlichen Benutzern über unterschiedliche Instanzen derselben Art von Geste reduziert werden, wodurch die Zuverlässigkeit der Gestenerkennung verbessert wird. Das Normalisierungsmodul 124 kann ein Quantisierungsmodul zum Quantisieren der heruntergetakteten Messungen auf einen festgelegten Bereich umfassen. Das Normalisierungsmodul 124 kann ferner die quantisierten Messungen mithilfe eines empirischen Faktors normalisieren.The normalization module 124 can, coupled with the sample rate conversion module 122 , normalize the strength of the down-sampled measurements and produce normalized measurements. The inventors of the present invention have recognized that same type gestures may have different signatures of signal intensity, such as magnitude of an acceleration signal sensed by an accelerometer. By normalization, such as through the normalization module 124 For example, the deviations for a same or different users may be reduced across different instances of the same type of gesture, thereby improving the reliability of gesture recognition. The normalization module 124 may include a quantization module for quantizing the down-sampled measurements to a specified range. The normalization module 124 can also normalize the quantized measurements using an empirical factor.

Das Merkmalsgeneratormodul 126 kann einen Merkmalsvektor mithilfe der durch das Normalisierungsmodul 124 bereitgestellten normalisierten Messungen generieren. Der Merkmalsvektor kann morphologische oder statistische Merkmale umfassen. In einem Beispiel kann der Merkmalsvektor charakteristische Datenabtastwerte umfassen, die aus den normalisierten Messungen extrahiert wurden, wie etwa unter anderem einen Scheitelpunkt, einen Tiefpunkt, ein lokales Maximum, ein lokales Minimum, einen maximalen Anstieg, einen minimalen Anstieg oder einen Wendepunkt. Der Merkmalsvektor kann zudem Zeitinformationen der charakteristischen Datenabtastwerte umfassen, die in dem Merkmalsvektor enthalten sind.The feature generator module 126 can use a feature vector by means of the normalization module 124 Generate provided normalized measurements. The feature vector may include morphological or statistical features. In one example, the feature vector may include characteristic data samples extracted from the normalized measurements, such as, but not limited to, a vertex, a trough, a local maximum, a local minimum, a maximum slope, a minimum slope, or a tipping point. The feature vector may further include time information of the characteristic data samples included in the feature vector.

Das Gestenerkennungsmodul 130 kann eine Geste zu einem Merkmalsvektor zuordnen. In einem Beispiel kann das Gestenerkennungsmodul 130 einen oder mehrere Klassifizierer umfassen, die den Merkmalsvektor zu einer von mehreren festgelegten Zielgestenklassen klassifiziert, wie etwa Handgesten, die Befehlen zum Betreiben einer mobilen Vorrichtung, wie etwa einem Smartphone oder Tablet, entsprechen. Die Handgesten können Ein- oder Mehrfingergesten oder Handflächen- oder Armgesten umfassen. Beispiele für Handgestenklassen können unter anderem Tippen oder wiederholtes Tippen, Halten, Wischen in eine von mehreren Richtungen, Mehrfingerbewegung, Auseinanderziehen, Zusammenziehen, Drehen in einer von mehreren Ausrichtungen, Schütteln, Kippen oder stoßartiges Bewegen in eine von mehreren Richtungen umfassen.The gesture recognition module 130 can associate a gesture with a feature vector. In one example, the gesture recognition module 130 include one or more classifiers that classify the feature vector into one of a plurality of specified target gesture classes, such as hand gestures that correspond to commands to operate a mobile device such as a smartphone or tablet. The hand gestures may include one or more finger gestures or palm or arm gestures. Examples of hand gesture classes may include, but are not limited to, jogging or repetitive typing, holding, swiping in one of several directions, multi-finger movement, pulling apart, contracting, rotating in one of several orientations, shaking, tilting, or jerking in one of several directions.

In einem Beispiel kann das Gestenerkennungsmodul 130 den Merkmalsvektor mithilfe eines regelbasierten Klassifizierers, wie etwa eines Entscheidungsbaums, klassifizieren. In einem Beispiel kann das Gestenerkennungsmodul 130 den Merkmalsvektor mithilfe einer Vorlagenübereinstimmung zwischen dem Merkmalsvektor und einer Gestenvorlage klassifizieren, wobei eine Ähnlichkeitsauswertung, wie etwa ein mehrdimensionaler Abstand zwischen den normalisierten Messungen und einer Gestenvorlage bestimmt werden kann, und eine Gestenklassifizierung kann basierend auf einem Vergleich der Ähnlichkeitsauswertung mit einem Schwellenwert erfolgen. Ein oder mehrere andere lineare oder nichtlineare Klassifizierer können verwendet werden, einschließlich eines Regressionsmodells, eines Klassifizierers eines neuronalen Netzwerks, einer Unterstützungsvektormaschine, eines Hidden-Markov-Modells, eines Random Forest-Klassifizierers, eines Wählermodells oder eines Fuzzylogikmodells. Wie in 1 dargestellt, kann das Gestenerkennungsmodul 130 mit einem Speicher 140 gekoppelt sein, der Klassifizierer und die Zuordnungsparameter, wie etwa Regeln, Schwellenwerte oder Vorlagen zur Verwendung bei der Klassifizierung des Merkmalsvektors, speichert. Der klassifizierte Merkmalsvektor kann zusätzlich in dem Speicher 140 gespeichert sein, und kann verwendet werden, um die Vorlage oder andere Klassifizierungsparameter für eine zukünftige Gestenerkennung zu aktualisieren.In one example, the gesture recognition module 130 classify the feature vector using a rule-based classifier, such as a decision tree. In one example, the gesture recognition module 130 classify the feature vector using a template match between the feature vector and a gesture template, wherein a similarity score, such as a multidimensional distance between the normalized measurements and a gesture template, can be determined, and A gesture classification may be based on a comparison of the similarity score to a threshold. One or more other linear or non-linear classifiers may be used, including a regression model, a neural network classifier, a support vector machine, a hidden Markov model, a Random Forest classifier, a voter model, or a fuzzy logic model. As in 1 shown, the gesture recognition module 130 with a memory 140 which stores classifier and mapping parameters such as rules, thresholds, or templates for use in classifying the feature vector. The classified feature vector may additionally be in memory 140 and can be used to update the template or other classification parameters for future gesture recognition.

Das optionale Ausgabemodul 150 kann die erkannte Geste einer von einem Benutzer beabsichtigten Aktion zuordnen und einen Befehl zum Betreiben der tragbaren Vorrichtung erzeugen, wie etwa Öffnen oder Schließen einer Anwendung („App“) oder andere Interaktionen mit der mobilen Vorrichtung.The optional output module 150 may associate the detected gesture with an action intended by a user and generate a command to operate the portable device, such as opening or closing an application ("app") or other interactions with the mobile device.

Die 2A-B stellen, beispielhaft und nicht beschränkend, ein Diagramm eines adaptiven Heruntertaktens der Sensormessungen dar, wie etwa mithilfe des Abtastratenkonvertierungsmoduls 122 in 1. 2A stellt Sensormessungen 210 dar, die ein Teil eines zeitdiskreten Signals sein können, das durch das Sensormodul 110 erzeugt wurde, wie etwa ein Beschleunigungssignal, das während einer Gestenerfassungssitzung erhalten wurde. Die Messungen 210 einer Länge (Anzahl an Datenabtastwerten) von N_Frame können zu einer Ziellänge N_T mithilfe eines adaptiven Heruntertaktungsintervalls L_S heruntergetaktet werden, wie oben unter Bezug auf das Abtastratenkonvertierungsmodul 122 beschrieben. Mehrere aufeinanderfolgende Datenblöcke 220A-G können generiert werden, wobei jeder eine Blocklänge L_S aufweist. Die Blocklänge L_S kann basierend auf dem Bruchteil (R_F) des Heruntertaktungsverhältnisses N_Frame/N_T adaptiv bestimmt sein, beispielsweise gemäß Gleichung (1). Wie in 2A dargestellt, sind die Blocklängen für Block 220C, 220E oder 220G jeweils länger als die Blocklängen von 220A, 220B, 220D oder 220F. 2B stellt heruntergetaktete Messungen 250A-G dar. Jeder Datenabtastwert der heruntergetakteten Messungen 250 wird als repräsentativer Wert des entsprechenden Datenblocks verwendet. In einem Beispiel können die repräsentativen Werte 250A-G jeweils als ein Durchschnitt der Datenabtastwerte in den jeweiligen Datenblöcken 220A-G berechnet werden, wie etwa durch das Durchschnittsfiltermodul 123 erzeugt. Die resultierenden heruntergetakteten Messungen 250A-G können normalisiert werden, um einen Merkmalsvektor für die Verwendung bei der Gestenerkennung zu extrahieren.The 2A-B illustrate, by way of example and not limitation, a diagram of adaptive down-sampling of the sensor measurements, such as by using the sample rate conversion module 122 in 1 , 2A provides sensor measurements 210 which may be part of a time discrete signal generated by the sensor module 110 was generated, such as an acceleration signal, which was obtained during a gesture detection session. The measurements 210 of a length (number of data samples) of N _frame may be downsampled to a target length N _T by means of an adaptive down-sampling interval L _S as described above with respect to the sample rate conversion module 122 described. Several consecutive data blocks 220A-G can be generated, each having a block length L _s . The block length L _S may be adaptively determined based on the fractional part (R _F ) of the down-sampling ratio N _frame / N _T , for example according to equation (1). As in 2A are the block lengths for block 220C . 220E or 220G each longer than the block lengths of 220A, 220B, 220D or 220F. 2 B provides down-clocked measurements 250A-G Each data sample of the down-sampled measurements 250 is used as the representative value of the corresponding data block. In one example, the representative values 250A-G each as an average of the data samples in the respective data blocks 220A-G calculated, such as by the average filter module 123 generated. The resulting down-clocked measurements 250A-G can be normalized to extract a feature vector for use in gesture recognition.

Die 3A-B stellen, beispielhaft und nicht beschränkend, Graphen von abtastratenkonvertierten und normalisierten Messungen dar, die durch einen Beschleunigungsmesser erfasst und durch das Signalprozessormodul 120 verarbeitet wurden. Die in 3A gezeigten Messungen 310 werden während einer ersten Gestenerfassungssitzung durchgeführt und entsprechen einer ersten Geste. Die in 3B gezeigten normalisierten Messungen 320 werden während einer zweiten Gestenerfassungssitzung durchgeführt und entsprechen einer zweiten, sich von der ersten Geste unterscheidenden Geste. Durch den Heruntertaktungsprozess weisen die Messungen 310 und 320 eine identische Zieldatenlänge von N_T = 60 Abtastwerten auf. Die Messungen 310 weisen eine andere Signalmorphologie als die Messung 310 auf, einschließlich Stärke und Zeit des globalen Scheitelpunkts und Tiefpunkts und der lokalen Scheitelpunkte und Tiefpunkte. Merkmalsvektoren, die morphologische Merkmale und die Zeiten umfassen, können jeweils aus den Messungen 310 und 320 generiert und für die Gestenerkennung verwendet werden, wie etwa durch Verwenden von Vorlagenübereinstimmung oder anderen Klassifizierern wie oben in Bezug auf 1 diskutiert.The 3A-B illustrate, by way of example and not limitation, graphs of sample rate converted and normalized measurements acquired by an accelerometer and by the signal processor module 120 were processed. In the 3A shown measurements 310 are performed during a first gesture capture session and correspond to a first gesture. In the 3B shown normalized measurements 320 are performed during a second gesture capture session and correspond to a second gesture different from the first gesture. Through the down-sampling process, the measurements point 310 and 320 an identical target data length of N _T = 60 samples. The measurements 310 have a different signal morphology than the measurement 310 including the strength and time of the global vertex and trough, and the local vertices and troughs. Feature vectors that include morphological features and times may each be taken from the measurements 310 and 320 generated and used for gesture recognition, such as by using template matching or other classifiers as above with respect to 1 discussed.

4 stellt, beispielhaft und nicht beschränkend, ein Verfahren 400 zum Erkennen einer Geste bei einer tragbaren Vorrichtung dar. Das Verfahren 400 kann in dem System 100 oder einer Modifizierung davon implementiert und darin ausführbar sein. In einem Beispiel kann das Verfahren 400 in einer tragbaren Vorrichtung, wie etwa einer intelligenten Uhr, einem tragbaren Aktivitätentracker oder einem Smartphone, implementiert und darin ausführbar sein. 4 provides, by way of example and not limitation, a method 400 for detecting a gesture in a portable device. The method 400 can in the system 100 or a modification thereof and be executable therein. In one example, the method may 400 in a portable device, such as a smart watch, a portable activity tracker or a smartphone, implemented and executable therein.

Das Verfahren 400 kann bei 410 durch Erfassen mehrerer Sensormessungen während einer Gestenerfassungssitzung beginnen, z. B. mithilfe eines Sensormoduls 110. Beispiele der Sensormessungen können unter anderem von einem Beschleunigungsmesser erfasste Beschleunigungssignale, durch ein Gyroskop erfasste Ausrichtungsmessungen, durch einen Drucksensor erfasste Drucksignale oder durch einen Temperatursensor erfasste Temperaturmessungen umfassen. Die Sensormessungen können verarbeitet werden, um ein zeitdiskretes digitales Signal mit einer bestimmten Rahmenlänge (N_Frame) zu erstellen.The procedure 400 may begin at 410 by detecting multiple sensor measurements during a gesture detection session, e.g. B. using a sensor module 110 , Examples of the sensor measurements may include, but are not limited to, acceleration signals sensed by accelerometers, alignment measurements sensed by a gyroscope, pressure signals detected by a pressure sensor, or temperature measurements sensed by a temperature sensor. The sensor measurements can be processed to create a time discrete digital signal with a given frame length (N _frame ).

Bei 420 kann ein adaptives Heruntertaktungsintervall (L_S) bestimmt werden. Durch Heruntertakten der Sensormessungen während einer Gestenerfassungssitzung kann die Zuverlässigkeit der Gestenerkennung verbessert werden, indem der Effekt der Abweichung bei der Aktionsgeschwindigkeit oder -dauer bei den Sensormessungen reduziert wird. Das adaptive Heruntertaktungsintervall kann mithilfe eines Verhältnisses der Rahmenlänge N_Frame zu einer vorbestimmten Ziellänge N_T bestimmt werden. Wenn N_Frame durch N_T teilbar ist, wird das Heruntertaktungsintervall L_S als gleich dem Verhältnis R bestimmt. Wenn N_Frame nicht durch N_T teilbar ist, weist das Verhältnis R einen ganzzahligen Teil R_I und einen Bruchteil R_F auf, wobei 0<R_F<1. Der Bruchteil (R_F) für jeden Abtastratenkonvertierungsvorgang kann akkumuliert werden. Der akkumulierte R_F, aR_F, kann für jeden Heruntertaktungsvorgang aktualisiert werden. In einem Beispiel wird aR_F um 1 verringert, wenn aR_F gleich oder größer eins ist. L_S kann dann als eine Funktion von R_I und dem akkumulierten R_F (aR_F), wie etwa gemäß Gleichung (1) bestimmt, bestimmt werden.at 420 An adaptive down-sampling interval (L _S ) can be determined. By down-sampling the sensor measurements during a gesture-sensing session, the reliability of gesture recognition can be improved by reducing the effect of the deviation in the action speed or duration in the sensor measurements. The adaptive down-sampling interval may be determined by using a ratio of the frame length N _frame to a predetermined target length N _T. If N _frame is divisible by N _T , the down-sampling interval L _{S is determined to} be equal to the ratio R. If N _{frame is} not divisible by N _T , the ratio R has an integer part R _I and a fraction R _F , where 0 <R _F <1. The fraction (R _F ) for each sample rate conversion process can be accumulated. The accumulated R _F , aR _F , can be updated for each down-sampling operation. In one example, aR _F is decreased by 1 if aR _{F is} equal to or greater than one. L _s can then be determined as a function of R _I and the accumulated R _F (aR _F ), such as determined according to equation (1).

Bei 430 können die Sensormessungen in dem adaptiven Heruntertaktungsintervall, wie bei Schritt 420 bestimmt, heruntergetaktet werden, um heruntergetaktete Messungen mit der Ziellänge N_T zu erzeugen. Die Sensormessungen können in mehrere aufeinanderfolgende Datenblöcke geteilt werden, wie etwa die Datenblöcke 220A-G wie in 2A dargestellt. Jeder Datenblock weist eine jeweilige Länge gleich L_S auf und beginnt bei dem nächsten Abtastwert nach dem Ende des vorhergehenden Blocks. Ein repräsentativer Wert kann für jeden Datenblock bestimmt werden, wie etwa ein Mittel, ein Median, ein Modus oder ein anderer zur Mitte tendierender Index der Messungen in jedem Datenblock. Durch Bilden eines zur Mitte tendierenden Index der Sensormessungen in einem Datenblock können Störungen oder andere unerwünschte Interferenzen in den Sensormessungen reduziert werden.at 430 For example, the sensor measurements in the adaptive down-sampling interval, as in step 420 determined to be down-clocked to produce down-clocked measurements with the target length N _T. The sensor measurements can be divided into several consecutive data blocks, such as the data blocks 220A-G as in 2A shown. Each data block has a respective length equal to L _S and begins at the next sample following the end of the preceding block. A representative value may be determined for each data block, such as a mean, median, mode, or other center-of-the-index of the measurements in each data block. By forming a center-tending index of the sensor measurements in a data block, noise or other unwanted interference in the sensor measurements can be reduced.

Bei 440 kann die Stärke der heruntergetakteten Messungen normalisiert werden, um normalisierte Messungen zu erzeugen. Durch Normalisierung, wie etwa mithilfe des Normalisierungsmoduls 124, können die Abweichungen bei einem selben oder unterschiedlichen Benutzern über unterschiedliche Instanzen derselben Art von Geste reduziert werden. Beispiele der Stärkennormalisierung können eine Quantisierung der heruntergetakteten Messungen auf einen festgelegten Bereich oder Normalisierung der quantisierten Messungen mithilfe eines empirischen Faktors umfassen.at 440 For example, the magnitude of the down-sampled measurements can be normalized to produce normalized measurements. Through normalization, such as using the normalization module 124 , the deviations for a same or different users can be reduced across different instances of the same type of gesture. Examples of strength normalization may include quantizing the down-sampled measurements to a fixed range or normalizing the quantized measurements using an empirical factor.

Bei 450 kann aus den normalisierten Messungen ein Merkmalsvektor generiert werden. Der Merkmalsvektor kann morphologische oder statistische Merkmale umfassen, wie etwa charakteristische Datenabtastwerte, die aus den normalisierten Messungen extrahiert wurden. Beispiele für charakteristische Datenabtastwerte können unter anderem einen Scheitelpunkt, einen Tiefpunkt, ein lokales Maximum, ein lokales Minimum, einen maximalen Anstieg, einen minimalen Anstieg oder einen Wendepunkt umfassen. Der Merkmalsvektor kann zudem Zeitinformationen der charakteristischen Datenabtastwerte umfassen.at 450 From the normalized measurements, a feature vector can be generated. The feature vector may include morphological or statistical features, such as characteristic data samples extracted from the normalized measurements. Examples of characteristic data samples may include, but are not limited to, a vertex, a low point, a local maximum, a local minimum, a maximum slope, a minimum slope, or a turning point. The feature vector may also include time information of the characteristic data samples.

Bei 460 kann der Merkmalsvektor einer von mehreren festgelegten Zielgestenklassen zugeordnet werden, wie etwa Handgesten (einschließlich Ein- oder Mehrfingergesten oder Handflächen-/Armgesten), die Befehlen zum Betreiben einer mobilen Vorrichtung, wie etwa einem Smartphone oder Tablet, entsprechen. Beispiele für Handgestenklassen können unter anderem Tippen oder wiederholtes Tippen, Halten, Wischen in eine von mehreren Richtungen, Mehrfingerbewegung, Auseinanderziehen, Zusammenziehen, Drehen in einer von mehreren Ausrichtungen, Schütteln, Kippen oder stoßartiges Bewegen in eine von mehreren Richtungen umfassen. Beispiele für die Gestenklassifizierung können unter anderem lineare oder nichtlineare Klassifizierer umfassen, wie etwa einen regelbasierten Klassifizierer, einen Entscheidungsbaum, eine Vorlagenübereinstimmung, ein Regressionsmodells, einen Klassifizierer eines neuronalen Netzwerks, einen Unterstützungsvektormaschinen-Klassifizierer, ein Hidden-Markov-Modell, einen Random Forest-Klassifizierer, ein Wählermodell oder ein Fuzzylogikmodell. Die erkannte Geste kann einer durch einen Benutzer beabsichtigten Aktion zugeordnet werden und einen Befehl zum Betreiben der tragbaren Vorrichtung erzeugen.at 460 For example, the feature vector may be associated with one of a number of specified target gesture classes, such as hand gestures (including one or more finger gestures or palm / arm gestures) that correspond to commands for operating a mobile device, such as a smartphone or tablet. Examples of hand gesture classes may include, but are not limited to, jogging or repetitive typing, holding, swiping in one of several directions, multi-finger movement, pulling apart, contracting, rotating in one of several orientations, shaking, tilting, or jerking in one of several directions. Examples of gesture classification may include, but are not limited to, linear or non-linear classifiers such as a rules-based classifier, a decision tree, a template match, a regression model, a neural network classifier, a support vector machine classifier, a hidden Markov model, a Random Forest classifier. Classifier, a voter model, or a fuzzy logic model. The detected gesture may be associated with an action intended by a user and generate a command to operate the portable device.

5 stellt, beispielhaft und nicht beschränkend, ein Blockdiagramm dar, das eine Maschine in der beispielhaften Form eines Computersystems 500 darstellt, in dem ein Satz oder eine Folge von Anweisungen ausgeführt werden können, um die Maschine zu veranlassen, gemäß eines Ausführungsbeispiels eine beliebige der hierin diskutierten Verfahrensweisen durchzuführen. Bei alternativen Ausführungsformen ist die Maschine als eine eigenständige Vorrichtung betrieben oder kann mit anderen Maschinen verbunden (z. B. vernetzt) sein. Bei einer vernetzten Bereitstellung kann die Maschine in der Funktion eines Servers oder einer Client-Maschine in Server-Client-Netzwerkumgebungen betrieben sein oder sie kann als eine gleichrangige Maschine in gleichrangigen (Peer-to-Peer) (oder verteilten) Netzwerkumgebungen dienen. Die Maschine kann ein bordeigenes Fahrzeugsystem, eine Set-Top-Box, eine tragbare Vorrichtung, ein Einzelplatzrechner (PC, Personal Computer), ein Tablet-PC, ein Hybrid-Tablet, ein persönlicher digitaler Assistent (PDA), ein Mobiltelefon oder jede Maschine sein, die in der Lage ist, Anweisungen (sequentiell oder auf andere Weise) auszuführen, die von der Maschine vorzunehmende Aktionen spezifizieren. Ferner ist zwar nur eine einzelne Maschinen dargestellt, der Begriff „Maschine“ soll jedoch als auch jede Ansammlung von Maschinen beinhaltend verstanden werden, die einzeln oder gemeinsam einen Satz (oder mehrere Sätze) von Anweisungen ausführen, um eine oder mehrere der hierin diskutierten Verfahrensweisen durchzuführen. Gleichermaßen soll der Begriff „prozessorbasiertes System“ als jeglichen Satz von einer oder mehreren Maschinen umfassend verstanden werden, die durch einen Prozessor (z. B. einen Computer) gesteuert oder betrieben werden, um einzeln oder gemeinsam Anweisungen auszuführen, um eine oder mehrere der hierin diskutierten Verfahrensweisen durchzuführen. 5 illustrates, by way of non-limiting example, a block diagram illustrating a machine in the exemplary form of a computer system 500 in which a set or sequence of instructions may be executed to cause the machine to perform any of the methods discussed herein according to one embodiment. In alternative embodiments, the machine is operated as a stand-alone device or may be connected (eg, networked) with other machines. In a networked deployment, the machine may operate in server-client network environments in the function of a server or a client machine, or it may serve as a peer machine in peer-to-peer (or distributed) network environments. The machine may be an onboard vehicle system, a set-top box, a portable device, a personal computer (PC, personal computer), a tablet PC, a hybrid tablet, a personal digital assistant (PDA), a mobile phone, or any machine which is capable of executing instructions (sequentially or otherwise) specifying actions to be taken by the machine. Further, although only a single machine is shown, the term "machine" is intended to be understood as including any collection of machines, which individually or collectively execute a set (or sets of instructions) to perform one or more of the procedures discussed herein. Likewise, the term "processor-based system" shall be understood to include any set of one or more machines that are controlled or operated by a processor (eg, a computer) to execute instructions individually or collectively to one or more of the herein to conduct discussed procedures.

Ein beispielhaftes Computersystem 500 umfasst mindestens einen Prozessor 502 (z. B. eine Zentraleinheit (Central Processing Unit, CPU), eine Grafikverarbeitungseinheit (Graphics Processing Unit, GPU) oder beides, Prozessorkerne, Datenverarbeitungsknoten usw.), einen Hauptspeicher 504 und einen statischen Speicher 506, die über eine Verbindung 508 (z. B. Bus) miteinander kommunizieren. Das Computersystem 500 kann ferner eine Videoanzeigeeinheit 510, eine alphanumerische Eingabevorrichtung 512 (z. B. eine Tastatur) und eine Benutzerschnittstellen (User Interface, UI)-Navigationsvorrichtung 514 (z. B. eine Maus) umfassen. In einer Ausführungsform sind die Videoanzeigeeinheit 510, die Eingabevorrichtung 512 und die UI-Navigationsvorrichtung 514 in eine berührungsempfindliche Anzeige integriert. Das Computersystem 500 kann zusätzlich eine Speichervorrichtung 516 (z. B. Laufwerkseinheit), eine Signalgenerierungsvorrichtung 518 (z. B. einen Lautsprecher), eine Netzwerkschnittstellenvorrichtung 520 und einen oder mehrere Sensoren (nicht gezeigt) wie etwa einen Global Positioning System (GPS)-Sensor, einen Kompass, einen Beschleunigungsmesser oder einen anderen Sensor umfassen.An exemplary computer system 500 includes at least one processor 502 (For example, a central processing unit (CPU), a graphics processing unit (GPU) or both, processor cores, data processing nodes, etc.), a main memory 504 and a static memory 506 that have a connection 508 (eg bus) communicate with each other. The computer system 500 may further include a video display unit 510 , an alphanumeric input device 512 (eg, a keyboard) and a user interface (UI) navigation device 514 (eg, a mouse). In one embodiment, the video display unit is 510 , the input device 512 and the UI navigation device 514 integrated into a touch-sensitive display. The computer system 500 In addition, a storage device 516 (eg drive unit), a signal generation device 518 (eg, a speaker), a network interface device 520 and one or more sensors (not shown), such as a Global Positioning System (GPS) sensor, a compass, an accelerometer or other sensor.

Die Speichervorrichtung 516 umfasst ein maschinenlesbares Medium 522, auf dem ein oder mehrere Sätze an Datenstrukturen und Anweisungen 524 gespeichert sind (z. B. Software), die eine oder mehrere beliebige der hierin beschriebenen Verfahrensweisen oder Funktionen verkörpern oder von diesen genutzt werden. Die Anweisungen 524 können sich zudem während ihrer Ausführung durch das Computersystem 500 vollständig oder zumindest teilweise in dem Hauptspeicher 504, dem statischen Speicher 506 und/oder in dem Prozessor 502 befinden, wobei der Hauptspeicher 504, der statische Speicher 506 und der Prozessor 502 auch maschinenlesbare Medien darstellen. In einem Beispiel umfassen die in dem maschinenlesbaren Speichermedium 522 gespeicherten Anweisungen 524 Anweisungen, die bewirken, dass das Computersystem 500 während einer Gestenerfassungssitzung mehrere Sensormessungen mit einer Rahmenlänge erfasst. Die Anweisungen 524 können auch bewirken, dass das Computersystem 500 ein adaptives Heruntertaktungsintervall basierend zumindest auf einem Bruchteil eines Verhältnisses der Rahmenlänge zu einer Ziellänge, die kürzer als die Rahmenlänge ist, bestimmt, um die mehreren Sensormessungen in dem adaptiven Heruntertaktungsintervall herunterzutakten, um heruntergetaktete Messungen mit der Ziellänge zu erzeugen, um die Stärke der heruntergetakteten Messungen zu normalisieren, um normalisierte Messungen zu erzeugen, um einen Merkmalsvektor mithilfe der normalisierten Messungen zu generieren und um dem Merkmalsvektor eine Geste zuzuordnen.The storage device 516 includes a machine readable medium 522 , on which one or more sets of data structures and instructions 524 stored (eg, software) that embody or are exploited by one or more of any of the methods or functions described herein. The instructions 524 can also be detected during their execution by the computer system 500 completely or at least partially in main memory 504 , the static memory 506 and / or in the processor 502 are located, with the main memory 504 , the static memory 506 and the processor 502 also represent machine-readable media. In an example, those in the machine-readable storage medium include 522 stored instructions 524 Instructions that cause the computer system 500 During a gesture capture session, capture multiple sensor measurements with one frame length. The instructions 524 can also cause the computer system 500 an adaptive down-sampling interval based on at least a fraction of a ratio of the frame length to a target length shorter than the frame length, determined to down-clock the multiple sensor measurements in the adaptive down-sampling interval to generate down-clock measurements with the target length, the magnitude of the down-clocked measurements to normalize to generate normalized measurements, to generate a feature vector using the normalized measurements, and to assign a gesture to the feature vector.

Zwar ist das maschinenlesbare Medium 522 in einem Ausführungsbeispiel als ein einzelnes Medium dargestellt, der Begriff „maschinenlesbares Medium“ kann jedoch ein einzelnes Medium oder mehrere Medien (z. B. eine zentralisierte oder verteilte Datenbank und/oder verknüpfte Caches und Server) umfassen, die eine oder mehrere Anweisungen 524 speichern. Der Begriff „maschinenlesbares Medium“ soll zudem als jedes materielle Medium umfassend verstanden werden, das in der Lage ist, Anweisungen zur Ausführung durch die Maschine zu speichern, zu codieren oder zu tragen, und die die Maschine veranlassen, eine oder mehrere der Verfahrensweisen der vorliegenden Offenbarung durchzuführen, oder das in der Lage ist Datenstrukturen zu speichern, zu codieren oder zu tragen, die durch solche Anweisungen verwendet werden oder diesen zugeordnet sind. Der Begriff „maschinenlesbares Medium“ soll dementsprechend als Festkörperspeicher und optische und magnetische Medien umfassend, aber nicht darauf beschränkt, verstanden werden. Spezielle Beispiel von maschinenlesbaren Medien umfassen nichtflüchtigen Speicher, einschließlich unter anderem beispielsweise Halbleiterspeichervorrichtungen (z. B. elektrisch programmierbarer Nur-Lese-Speicher (Electrically Programmable Read-Only Memory, EPROM), elektrisch löschbarer programmierbarer Nur-Lese-Speicher (Electrically Erasable Programmable Read-Only Memory, EEPROM)) und Flash-Speichervorrichtungen; magnetische Datenträger, wie etwa interne Festplatten und herausnehmbare Datenträger; magneto-optische Datenträger; und CD-ROM- und DVD-ROM-Datenträger.It is true that this is machine-readable medium 522 In one embodiment, however, the term "machine-readable medium" may include a single medium or multiple media (eg, a centralized or distributed database and / or associated caches and servers) containing one or more instructions 524 to save. The term "machine-readable medium" should also be comprehensively understood as any material medium capable of giving instructions store, encode or carry for execution by the machine and cause the machine to perform one or more of the methods of the present disclosure, or capable of storing, encoding or carrying data structures generated by such instructions are used or assigned to them. Accordingly, the term "machine readable medium" is to be understood as including, but not limited to, solid state memory and optical and magnetic media. Specific examples of machine-readable media include nonvolatile memory, including but not limited to, for example, semiconductor memory devices (e.g., Electrically Programmable Read Only Memory (EPROM), Electrically Erasable Programmable Read Only Memory (Electrically Erasable Programmable Read -Only Memory, EEPROM)) and flash memory devices; magnetic media such as internal hard disks and removable media; magneto-optical data carriers; and CD-ROM and DVD-ROM media.

Die Anweisungen 524 können ferner über ein Kommunikationsnetzwerk 526 mithilfe eines Übertragungsmediums über die Netzwerkschnittstellenvorrichtung 520 unter Verwendung eines von mehreren bekannten Übertragungsprotokollen (z. B. HTTP) übertragen oder empfangen werden. Beispiele für Kommunikationsnetzwerke umfassen ein lokales Netzwerk (Local Area Network, LAN), ein Weitverkehrsnetz (Wide Area Network, WAN), das Internet, Mobiltelefonnetzwerke, Netzwerke mit analogem Telefondienst (Plain Old Telephone, POTS) und drahtlose Datennetzwerke (z. B. Wi-Fi-, 3G- und 4G-LTE/LTE-A- oder WiMAX-Netzwerke). Der Begriff „Übertragungsmedium“ soll jedes immaterielle Medium umfassen, das in der Lage ist, Anweisungen zur Ausführung durch die Maschine zu speichern, zu codieren und zu tragen, und das digitale oder analoge Kommunikationssignale oder ein anderes immaterielles Medium zum Ermöglichen einer Kommunikation einer derartigen Software umfasst.The instructions 524 can also communicate over a communication network 526 using a transmission medium through the network interface device 520 be transmitted or received using one of several known transmission protocols (e.g., HTTP). Examples of communication networks include a local area network (LAN), a wide area network (WAN), the Internet, mobile telephone networks, plain old telephone (POTS) networks, and wireless data networks (e.g., Wi -Fi-, 3G- and 4G-LTE / LTE-A or WiMAX networks). The term "transmission medium" is intended to include any immaterial medium capable of storing, encoding and carrying instructions for execution by the machine and the digital or analog communication signals or other immaterial medium for facilitating communication of such software includes.

In diesem Dokument können Ausführungsformen in einem oder einer Kombination von Folgenden implementiert sein: Hardware, Firmware und Software. Ausführungsformen können zudem als auf einer maschinenlesbaren Speichervorrichtung gespeicherte Anweisungen implementiert sein, die durch mindestens einen Prozessor gelesen und ausgeführt werden können, um die hierin beschriebenen Vorgänge durchzuführen. Eine maschinenlesbare Speichervorrichtung kann jeden nicht flüchtigen Mechanismus zum Speichern von Informationen in einer Form umfassen, die durch eine Maschine (z. B. einen Computer) lesbar ist. Beispielsweise kann eine maschinenlesbare Speichervorrichtung Nur-Lese-Speicher (Read-Only Memory, ROM), Direktzugriffsspeicher (Random-Access Memory, RAM), Magnetplattenspeichermedien, optische Speichermedien, Flash-Speichervorrichtungen und andere Speichervorrichtungen und Medien umfassen.In this document, embodiments may be implemented in one or a combination of the following: hardware, firmware, and software. Embodiments may also be implemented as instructions stored on a machine-readable storage device that may be read and executed by at least one processor to perform the operations described herein. A machine-readable storage device may include any non-volatile mechanism for storing information in a form that is readable by a machine (eg, a computer). For example, a machine-readable storage device may include read-only memory (ROM), random access memory (RAM), magnetic disk storage media, optical storage media, flash memory devices, and other storage devices and media.

Ein Prozessoruntersystem kann verwendet werden, um die Anweisung auf dem maschinenlesbaren Medium auszuführen. Das Prozessoruntersystem kann einen oder mehrere Prozessoren umfassen, wovon jeder ein oder mehrere Kerne aufweist. Zusätzlich kann das Prozessoruntersystem auf einer oder mehreren physischen Vorrichtungen angeordnet sein. Das Prozessoruntersystem kann einen oder mehrere spezielle Prozessoren umfassen, wie etwa eine Grafikverarbeitungseinheit (GPU, Graphics Processing Unit), einen digitalen Signalprozessor (DSP), ein feldprogrammierbares Gate-Array (FPGA, Field Programmable Gate Array) oder einen festverdrahteten („Fixed Function“) Prozessor.A processor subsystem may be used to execute the instruction on the machine-readable medium. The processor subsystem may include one or more processors, each having one or more cores. In addition, the processor subsystem may be located on one or more physical devices. The processor subsystem may include one or more dedicated processors, such as a graphics processing unit (GPU), a digital signal processor (DSP), a field programmable gate array (FPGA), or a fixed-function (FPGA) array. ) Processor.

Hierin beschriebene Beispiele können Logik oder eine Anzahl von Komponenten, Modulen oder Mechanismen umfassen oder durch diese betrieben sein. Module können Hardware, Software oder Firmware sein, die kommunikativ mit einem oder mehreren Prozessoren gekoppelt ist, um die hierin beschriebenen Vorgänge auszuführen. Module können Hardwaremodule sein, und somit können Module als materielle Elemente betrachtet werden, die in der Lage sind, spezielle Vorgänge auszuführen, und können in einer bestimmten Weise konfiguriert oder angeordnet sein. In einem Beispiel können Schaltungen in einer speziellen Weise als ein Modul angeordnet sein (z. B. intern oder in Bezug auf externe Elemente wie andere Schaltungen). In einem Beispiel kann das gesamte oder ein Teil eines oder mehrerer Computersysteme (z. B. ein eigenständiges, Client- oder Server-Computersystem) oder ein oder mehrere Hardwareprozessoren durch Firmware oder Software (z. B. Anweisungen, einen Anwendungsteil oder eine Anwendung) als ein Modul konfiguriert sein, um spezifische Vorgänge durchzuführen. In einem Beispiel kann sich die Software auf einem maschinenlesbaren Medium befinden. In einem Beispiel bewirkt die Software, wenn sie von der zugrundeliegenden Hardware des Moduls ausgeführt wird, dass die Hardware spezifische Vorgänge durchführt. Dementsprechend ist der Begriff „Hardware“ als ein materielles Element umfassend zu verstehen, sei dies ein Element, das physisch konstruiert, speziell konfiguriert (z. B. festverdrahtet) oder vorübergehend (z. B. transitorisch) konfiguriert (z. B. programmiert) ist, um auf eine spezifische Weise betrieben zu werden oder einen Teil oder ein Gesamtes eines hierin beschriebenen Vorgangs durchzuführen. Bei Betrachtung von Beispielen, in denen Module vorübergehend konfiguriert sind, muss jedes Modul nicht zwingend zu jedem gegebenen Zeitpunkt instanziiert sein. Beispielsweise kann, wenn die Module einen mithilfe von Software konfigurierten Allzweckhardwareprozessor umfassen, der Allzweckhardwareprozessor zu unterschiedlichen Zeiten jeweils als unterschiedliche Module konfiguriert sein. Software kann dementsprechend einen Hardwareprozessor konfigurieren, beispielsweise um ein bestimmtes Modul zu einem Zeitpunkt darzustellen und ein anderes Modul zu einem anderen Zeitpunkt darzustellen. Module können auch Software- oder Firmwaremodule sein, die betrieben werden, um die hierin beschriebenen Verfahrensweisen durchzuführen.Examples described herein may include or be operated by logic or a number of components, modules, or mechanisms. Modules may be hardware, software, or firmware that is communicatively coupled to one or more processors to perform the operations described herein. Modules may be hardware modules, and thus modules may be considered as physical elements capable of performing specific operations and may be configured or arranged in a particular manner. In one example, circuits may be arranged as a module in a specific manner (eg, internally or with respect to external elements such as other circuits). In one example, all or part of one or more computer systems (eg, a stand-alone, client, or server computer system) or one or more hardware processors may be firmware or software (e.g., instructions, an application part, or an application). be configured as a module to perform specific operations. In one example, the software may reside on a machine-readable medium. In one example, when executed by the underlying hardware of the module, the software causes the hardware to perform specific operations. Accordingly, the term "hardware" is to be understood as encompassing a tangible element, whether it be an element that is physically constructed, specially configured (e.g., hardwired) or temporarily configured (eg, transitory) (eg, programmed). is to be operated in a specific way or to perform part or all of a process described herein. Considering examples in which modules are temporarily configured, each module need not necessarily be instantiated at any given time. For example, if the modules include a software configured general purpose hardware processor, the general purpose hardware processor may be configured as different modules at different times. Software can accordingly configure a hardware processor, for example, to represent one particular module at a time and display another module at a different time. Modules may also be software or firmware modules that operate to perform the procedures described herein.

Ergänzende Anmerkungen und Beispiele:Additional comments and examples:

Beispiel 1 ist ein System zum Erkennen einer Geste bei einer tragbaren Vorrichtung. Das System kann ein Signalprozessormodul und ein Gestenerkennungsmodul umfassen. Das Signalprozessormodul kann umfassen: ein Abtastratenkonvertierungsmodul zum Heruntertakten mehrerer Sensormessungen mit einer Rahmenlänge unter Verwenden eines adaptiven Heruntertaktungsintervalls zum Erzeugen von heruntergetakteten Messungen mit einer Ziellänge, die kürzer als die Rahmenlänge ist, wobei das adaptive Heruntertaktungsintervall basierend auf zumindest einem Bruchteil eines Verhältnisses der Rahmenlänge zu der Ziellänge bestimmt wird; ein Normalisierungsmodul zum Normalisieren der Stärke der heruntergetakteten Messungen zum Erzeugen von normalisierten Messungen; und ein Merkmalsgeneratormodul zum Generieren eines Merkmalsvektors mithilfe der normalisierten Messungen. Das Gestenerkennungsmodul kann dem Merkmalsvektor eine Geste zuordnen.Example 1 is a system for detecting a gesture in a portable device. The system may include a signal processor module and a gesture recognition module. The signal processor module may comprise: a sample rate conversion module for down-sampling a plurality of frame length sensor measurements using an adaptive down-sampling interval to generate down-sampled measurements having a target length shorter than the frame length, wherein the adaptive down-sampling interval is based on at least a fraction of a ratio of the frame length to the frame length Target length is determined; a normalization module for normalizing the magnitude of the down-sampled measurements to produce normalized measurements; and a feature generator module for generating a feature vector using the normalized measurements. The gesture recognition module may assign a gesture to the feature vector.

In Beispiel 2 umfasst der Gegenstand von Beispiel 1 gegebenenfalls das Abtastratenkonvertierungsmodul, das einen repräsentativen Wert von Sensormessungen in jedem der mehreren Datenblöcke generieren kann, wobei jeder Datenblock eine entsprechende Länge gleich dem adaptiven Heruntertaktungsintervall aufweist. Das Abtastratenkonvertierungsmodul kann die heruntergetakteten Messungen mithilfe der repräsentativen Werte von den mehreren Datenblöcken erzeugen. In Example 2, the subject matter of Example 1 optionally includes the sample rate conversion module that can generate a representative value of sensor measurements in each of the plurality of data blocks, each data block having a corresponding length equal to the adaptive down-sampling interval. The sample rate conversion module may generate the down-sampled measurements using the representative values from the multiple data blocks.

In Beispiel 3 umfasst der Gegenstand von Beispiel 2 gegebenenfalls das Abtastratenkonvertierungsmodul, das ferner ein Durchschnittsfiltermodul umfassen kann, um den repräsentativen Wert einschließlich eines Durchschnittswerts der Sensormessungen in jedem Datenblock zu generieren. In Example 3, the subject matter of Example 2 optionally includes the sample rate conversion module, which may further comprise an average filter module to generate the representative value including an average value of the sensor measurements in each data block.

In Beispiel 4 umfasst der Gegenstand eines oder mehrerer der Beispiele 1-3 gegebenenfalls die Ziellänge der heruntergetakteten Messungen, die einen vorbestimmten festen Wert aufweist.In Example 4, the subject matter of one or more of Examples 1-3 optionally includes the target length of the down-sampled measurements having a predetermined fixed value.

In Beispiel 5 umfasst der Gegenstand eines oder mehrerer der Beispiele 1-3 gegebenenfalls das Abtastratenkonvertierungsmodul, das einen ganzzahligen Teil (RI) und einen Bruchteil (RF) eines Verhältnisses der Rahmenlänge zu der Ziellänge bestimmen, den RF für jeden Abtastratenkonvertierungsvorgang akkumulieren und das adaptive Heruntertaktungsintervall als eine Funktion des RI und des akkumulierten RF bestimmen kann.In Example 5, the subject matter of one or more of Examples 1-3 optionally includes the sample rate conversion module which determines an integer part (RI) and a fraction (RF) of frame length to target length ratio, accumulates the RF for each sample rate conversion process, and the adaptive down-sampling interval as a function of the RI and the accumulated RF.

In Beispiel 6 umfasst der Gegenstand von Beispiel 5 gegebenenfalls das Abtastratenkonvertierungsmodul, das, in Reaktion darauf, dass der akkumulierte RF kleiner als eins ist, das adaptive Heruntertaktungsintervall auf RI festlegen kann; und, in Reaktion darauf, dass der akkumulierte RF größer oder gleich eins ist, das adaptive Heruntertaktungsintervall auf RI -1 festlegen und den akkumulierten RF durch Subtrahieren von eins von dem akkumulierten RF aktualisieren kann.In Example 6, the subject matter of Example 5 optionally includes the sample rate conversion module that, in response to the accumulated RF being less than one, may set the adaptive down-sampling interval to RI; and, in response to the accumulated RF being greater than or equal to one, setting the adaptive down-sampling interval to RI -1 and updating the accumulated RF by subtracting one from the accumulated RF.

In Beispiel 7 umfasst der Gegenstand eines oder mehrerer der Beispiele 1-3 gegebenenfalls das Normalisierungsmodul, das ein Quantisierungsmodul umfassen kann, um die heruntergetakteten Messungen auf einen festgelegten Bereich zu quantisieren.In Example 7, the subject matter of one or more of Examples 1-3 optionally includes the normalization module, which may include a quantization module, to quantize the down-sampled measurements to a predetermined range.

In Beispiel 8 umfasst der Gegenstand von Beispiel 7 gegebenenfalls das Normalisierungsmodul, das die quantisierten Messungen mithilfe eines empirischen Faktors normalisieren kann.In Example 8, the subject matter of Example 7 optionally includes the normalization module that can normalize the quantized measurements using an empirical factor.

In Beispiel 9 umfasst der Gegenstand eines oder mehrerer der Beispiele 1-3 gegebenenfalls ein Sensormodul einschließlich eines Abtastverstärkers zum Erfassen der mehreren Sensormessungen während einer Gestenerfassungssitzung.In Example 9, the subject matter of one or more of Examples 1-3 optionally includes a sensor module including a sense amplifier for detecting the multiple sensor measurements during a gesture detection session.

In Beispiel 10 umfasst der Gegenstand von Beispiel 9 gegebenenfalls das Sensormodul, das ein Beschleunigungsmessmodul zum Erzeugen mehrerer Beschleunigungsmessungen und/oder ein Gyroskopmodul zum Erzeugen mehrerer Ausrichtungsmessungen umfassen kann.In Example 10, the subject matter of Example 9 optionally includes the sensor module, which may include an acceleration measurement module for generating a plurality of acceleration measurements and / or a gyroscope module for generating a plurality of alignment measurements.

In Beispiel 11 umfasst der Gegenstand eines oder mehrerer der Beispiele 1-3 gegebenenfalls das Merkmalsvektorgenerierungsmodul, das einen Merkmalsvektor generieren kann, einschließlich morphologischer Merkmale, die aus den normalisierten Messungen extrahiert wurden.In Example 11, the subject matter of one or more of Examples 1-3 optionally includes the feature vector generation module that can generate a feature vector, including morphological features extracted from the normalized measurements.

In Beispiel 12 umfasst der Gegenstand eines oder mehrerer der Beispiele 1-3 gegebenenfalls das Gestenerkennungsmodul, das einem Merkmalsvektor eine Geste durch Klassifizieren des Merkmalsvektors zu einer von mehreren festgelegten Zielgestenklassen zuordnen kann.In Example 12, the subject matter of one or more of Examples 1-3 optionally includes the gesture recognition module that may associate a feature vector with a gesture by classifying the feature vector to one of a plurality of specified target gesture classes.

In Beispiel 13 umfasst der Gegenstand von Beispiel 12 gegebenenfalls die mehreren festgelegten Zielgestenklassen, die mehrere Handgesten umfassen können.In Example 13, the subject matter of Example 12 optionally includes the plurality of specified target gesture classes, which may include multiple hand gestures.

In Beispiel 14 umfasst der Gegenstand eines oder mehrerer der Beispiele 12-13 gegebenenfalls das Gestenerkennungsmodul, das den Merkmalsvektor mithilfe eines Unterstützungsvektormaschinen-Klassifizierers generieren kann.In Example 14, the subject matter of one or more of Examples 12-13 optionally includes the gesture recognition module that can generate the feature vector using a support vector machine classifier.

In Beispiel 15 umfasst der Gegenstand eines oder mehrerer der Beispiele 1-3 gegebenenfalls die Signalprozessorschaltung, die die mehreren Sensormessungen weiter vorverarbeiten kann, einschließlich Entfernen eines Mittelwerts von den mehreren Sensormessungen, und das Abtastratenkonvertierungsmodul kann die vorverarbeiteten Sensormessungen heruntertakten.In Example 15, the subject matter of one or more of Examples 1-3 optionally includes the signal processor circuit that can further preprocess the multiple sensor measurements, including removing an average of the multiple sensor measurements, and the sample rate conversion module may downclock the preprocessed sensor measurements.

In Beispiel 16 umfasst der Gegenstand eines oder mehrerer der Beispiele 1-3 gegebenenfalls die tragbare Vorrichtung, die das Signalprozessormodul und/oder das Gestenerkennungsmodul umfassen kann. In Example 16, the subject matter of one or more of Examples 1-3 optionally includes the portable device, which may include the signal processor module and / or the gesture recognition module.

In Beispiel 17 umfasst der Gegenstand von Beispiel 16 gegebenenfalls die tragbare Vorrichtung, die eines von Folgendem umfassen kann: ein Smartphone, eine intelligente Uhr, eine intelligente Brille, einen tragbaren Fitness- oder Aktivitätentracker oder eine tragbare Gesundheitsüberwachungseinrichtung.In Example 17, the subject matter of Example 16 optionally includes the portable device, which may include any of the following: a smart phone, a smart watch, smart glasses, a portable fitness or activity tracker, or a portable health monitor.

In Beispiel 18 umfasst der Gegenstand eines oder mehrerer der Beispiele 1-3 gegebenenfalls ein Ausgabemodul zum Erzeugen eines Befehls zum Betreiben der tragbaren Vorrichtung basierend auf der erkannten Geste.In Example 18, the subject matter of one or more of Examples 1-3 optionally includes an output module for generating a command to operate the portable device based on the detected gesture.

Beispiel 19 ist ein Verfahren zum Erkennen einer Geste bei einer tragbaren Vorrichtung, wobei das Verfahren umfassen kann: Erfassen, mithilfe eines Sensormoduls, mehrerer Sensormessungen mit einer Rahmenlänge während einer Gestenerfassungssitzung; Bestimmen eines adaptiven Heruntertaktungsintervalls basierend zumindest auf einem Bruchteil eines Verhältnisses der Rahmenlänge zu einer festgelegten Ziellänge, die kürzer als die Rahmenlänge ist; Heruntertakten der mehreren Sensormessungen unter Verwenden des adaptiven Heruntertaktungsintervalls zum Erzeugen von heruntergetakteten Messungen mit der Ziellänge; Normalisieren einer Stärke der heruntergetakteten Messungen zum Erzeugen von normalisierten Messungen; Generieren eines Merkmalsvektors mithilfe der normalisierten Messungen; und Zuordnen einer Geste zu dem Merkmalsvektor.Example 19 is a method of detecting a gesture in a portable device, the method comprising: sensing, by means of a sensor module, a plurality of sensor measurements having a frame length during a gesture detection session; Determining an adaptive down-sampling interval based at least on a fraction of a ratio of the frame length to a fixed target length that is shorter than the frame length; Down-sampling the plurality of sensor measurements using the adaptive down-sampling interval to generate down-sampled measurements with the target length; Normalizing a magnitude of the down-sampled measurements to produce normalized measurements; Generating a feature vector using the normalized measurements; and associating a gesture with the feature vector.

In Beispiel 20 umfasst der Gegenstand von Beispiel 19 gegebenenfalls ein Heruntertakten der mehreren Sensormessungen, das ein Generieren eines repräsentativen Werts von Sensormessungen in jedem der mehreren Datenblöcke, wobei jeder Datenblock eine entsprechende Länge gleich dem adaptiven Heruntertaktungsintervall aufweist, und Heruntertakten der repräsentativen Werte der mehreren Datenblöcke umfassen kann.In Example 20, the subject matter of Example 19 optionally includes stepping down the multiple sensor measurements, generating a representative value of sensor measurements in each of the plurality of data blocks, each data block having a corresponding length equal to the adaptive down-sampling interval, and down-clocking the representative values of the plurality of data blocks may include.

In Beispiel 21 umfasst der Gegenstand von Beispiel 20 gegebenenfalls den repräsentativen Wert, der einen Durchschnittswert der Sensormessungen in jedem Datenblock umfassen kann.In Example 21, the subject matter of Example 20 optionally includes the representative value, which may include an average of the sensor measurements in each data block.

In Beispiel 22 umfasst der Gegenstand eines oder mehrerer der Beispiele 19-21 gegebenenfalls die Ziellänge der heruntergetakteten Messungen, die einen vorbestimmten festen Wert aufweist.In Example 22, the subject-matter of one or more of Examples 19-21 optionally includes the target length of the down-sampled measurements having a predetermined fixed value.

In Beispiel 23 umfasst der Gegenstand eines oder mehrerer der Beispiele 19-21 gegebenenfalls ein Heruntertakten der mehreren Sensormessungen, das umfassen kann: Bestimmen eines ganzzahligen Teils (RI) und eines Bruchteils (RF) eines Verhältnisses der Rahmenlänge zu der Ziellänge; Akkumulieren des RF für jeden Abtastratenkonvertierungsvorgang; Bestimmen des adaptiven Heruntertaktungsintervalls als eine Funktion des RI und des akkumulierten RF.In Example 23, the subject matter of one or more of Examples 19-21 optionally includes down-sampling the multiple sensor measurements, which may include: determining an integer part (RI) and a fraction (RF) of a ratio of the frame length to the target length; Accumulating the RF for each sample rate conversion process; Determining the adaptive down-sampling interval as a function of the RI and the accumulated RF.

In Beispiel 24 umfasst der Gegenstand von Beispiel 23 gegebenenfalls ein Bestimmen des adaptiven Heruntertaktungsintervalls, das umfassen kann: in Reaktion darauf, dass der akkumulierte RF kleiner als eins ist, Festlegen des adaptiven Heruntertaktungsintervalls auf RI; und in Reaktion darauf, dass der akkumulierte RF größer oder gleich eins ist, Festlegen des adaptiven Heruntertaktungsintervalls auf RI -1 und Aktualisieren des akkumulierten RF durch Subtrahieren von eins von dem akkumulierten RF.In Example 24, the subject matter of Example 23 optionally includes determining the adaptive down-sampling interval, which may include: in response to the accumulated RF being less than one, setting the adaptive down-sampling interval to RI; and in response to the accumulated RF being greater than or equal to one, setting the adaptive down-sampling interval to RI -1 and updating the accumulated RF by subtracting one from the accumulated RF.

In Beispiel 25 umfasst der Gegenstand eines oder mehrerer der Beispiele 19-21 gegebenenfalls ein Normalisieren der Stärke der heruntergetakteten Messungen, das ein Quantisieren der heruntergetakteten Messungen auf einen festgelegten Bereich umfassen kann.In Example 25, the subject matter of one or more of Examples 19-21 optionally includes normalizing the magnitude of the down-sampled measurements, which may include quantizing the down-sampled measurements to a specified range.

In Beispiel 26 umfasst der Gegenstand von Beispiel 25 gegebenenfalls die heruntergetakteten Messungen, die mithilfe eines empirischen Faktors quantisiert werden können.In Example 26, the subject matter of Example 25 optionally includes the down-clocked measurements that can be quantized using an empirical factor.

In Beispiel 27 umfasst der Gegenstand eines oder mehrerer der Beispiele 19-21 gegebenenfalls ein Erfassen der mehreren Sensormessungen, das ein Erfassen mehrerer Beschleunigungsmessungen mithilfe eines Beschleunigungsmessers umfassen kann.In Example 27, the subject matter of one or more of Examples 19-21 optionally includes sensing the plurality of sensor measurements, which may include acquiring multiple acceleration measurements using an accelerometer.

In Beispiel 28 umfasst der Gegenstand eines oder mehrerer der Beispiele 19-21 gegebenenfalls ein Erfassen der mehreren Sensormessungen, das ein Erfassen mehrerer Ausrichtungsmessungen mithilfe eines Gyroskops umfassen kann.In Example 28, the subject matter of one or more of Examples 19-21 optionally includes detecting the multiple sensor measurements, which may include acquiring multiple alignment measurements using a gyroscope.

In Beispiel 29 umfasst der Gegenstand eines oder mehrerer der Beispiele 19-21 gegebenenfalls ein Generieren des Merkmalsvektors, das ein Extrahieren von morphologischen Merkmalen aus den normalisierten Messungen umfassen kann. In Example 29, the subject matter of one or more of Examples 19-21 optionally comprises generating the feature vector, which may include extracting morphological features from the normalized measurements.

In Beispiel 30 umfasst der Gegenstand eines oder mehrerer der Beispiele 19-21 gegebenenfalls ein Zuordnen der Geste zu dem Merkmalsvektor, das ein Klassifizieren des Merkmalsvektors zu einer von mehreren festgelegten Zielgestenklassen umfassen kann.In Example 30, the subject matter of one or more of Examples 19-21 optionally includes associating the gesture with the feature vector, which may include classifying the feature vector into one of a plurality of specified target gesture classes.

In Beispiel 31 umfasst der Gegenstand von Beispiel 30 gegebenenfalls die mehreren festgelegten Zielgestenklassen, die mehrere Handgesten umfassen können.In Example 31, the subject matter of Example 30 optionally includes the plurality of specified target gesture classes, which may include multiple hand gestures.

In Beispiel 32 umfasst der Gegenstand von Beispiel 30 gegebenenfalls ein Klassifizieren des Merkmalsvektors, das ein Verwenden eines Unterstützungsvektormaschinen-Klassifizierers zum Klassifizieren des Merkmalsvektors umfassen kann.In Example 32, the article of Example 30 optionally includes classifying the feature vector, which may include using a support vector machine classifier to classify the feature vector.

In Beispiel 33 umfasst der Gegenstand eines oder mehrerer der Beispiele 19-21 gegebenenfalls ein Vorverarbeiten der mehreren Sensormessungen einschließlich Entfernen eines Mittelwerts von den mehreren Sensormessungen, wobei ein Heruntertakten der mehreren Sensormessungen ein Heruntertakten der vorverarbeiteten Sensormessungen umfassen kann.In Example 33, the subject-matter of one or more of Examples 19-21 optionally includes preprocessing the plurality of sensor measurements including removing an average of the multiple sensor measurements, wherein down-sampling the multiple sensor measurements may involve down-sampling the preprocessed sensor measurements.

In Beispiel 34 umfasst der Gegenstand eines oder mehrerer der Beispiele 19-21 gegebenenfalls ein Erzeugen eines Befehls zum Betreiben der tragbaren Vorrichtung basierend auf der erkannten Geste.In Example 34, the subject matter of one or more of Examples 19-21 optionally includes generating a command to operate the portable device based on the detected gesture.

Beispiel 35 ist mindestens ein computerlesbares Speichermedium, das Anweisungen zum Durchführen eines der Verfahren der Beispiele 19 bis 34 umfasst.Example 35 is at least one computer readable storage medium that includes instructions for performing any of the methods of Examples 19-34.

Beispiel 36 ist ein System, das ein Mittel zum Durchführen eines der Verfahren der Beispiele 19 bis 34 umfasst.Example 36 is a system that includes a means for performing one of the methods of Examples 19-34.

Beispiel 37 ist ein System zum Erkennen einer Geste bei einer tragbaren Vorrichtung, wobei die Einrichtung umfassen kann: ein Mittel zum Erfassen, mithilfe eines Sensormoduls, mehrerer Sensormessungen mit einer Rahmenlänge während einer Gestenerfassungssitzung; ein Mittel zum Bestimmen eines adaptiven Heruntertaktungsintervalls basierend zumindest auf einem Bruchteil eines Verhältnisses der Rahmenlänge zu einer festgelegten Ziellänge, die kürzer als die Rahmenlänge ist; ein Mittel zum Heruntertakten der mehreren Sensormessungen mithilfe des adaptiven Heruntertaktungsintervalls zum Erzeugen von heruntergetakteten Messungen mit der Ziellänge; ein Mittel zum Normalisieren einer Stärke der heruntergetakteten Messungen zum Erzeugen von normalisierten Messungen; ein Mittel zum Generieren eines Merkmalsvektors mithilfe der normalisierten Messungen; und ein Mittel zum Zuordnen einer Geste zu dem Merkmalsvektor.Example 37 is a system for detecting a gesture in a portable device, the device comprising: means for sensing, by means of a sensor module, a plurality of sensor measurements having a frame length during a gesture-sensing session; means for determining an adaptive down-sampling interval based at least on a fraction of a ratio of the frame length to a fixed target length shorter than the frame length; means for down-sampling the plurality of sensor measurements using the adaptive down-sampling interval to generate down-sampled measurements with the target length; means for normalizing a magnitude of the down-sampled measurements to produce normalized measurements; means for generating a feature vector using the normalized measurements; and means for associating a gesture with the feature vector.

In Beispiel 38 umfasst der Gegenstand von Beispiel 37 gegebenenfalls dass: das Mittel zum Heruntertakten der mehreren Sensormessungen ein Mittel zum Generieren eines repräsentativen Werts von Sensormessungen in jedem der mehreren Datenblöcke umfasst, wobei jeder Datenblock eine entsprechende Länge gleich dem adaptiven Heruntertaktungsintervall aufweist; und das Mittel zum Heruntertakten der mehreren Sensormessungen ein Mittel zum Heruntertakten der repräsentativen Werte der mehreren Datenblöcke umfasst.In example 38, the subject matter of example 37 optionally includes: the means for down-sampling the plurality of sensor measurements comprising means for generating a representative value of sensor measurements in each of the plurality of data blocks, each data block having a corresponding length equal to the adaptive down-sampling interval; and the means for down-sampling the plurality of sensor measurements comprises means for stepping down the representative values of the plurality of data blocks.

In Beispiel 39 umfasst der Gegenstand von Beispiel 38 gegebenenfalls den repräsentativen Wert, der einen Durchschnittswert der Sensormessungen in jedem Datenblock umfassen kann.In Example 39, the subject matter of Example 38 optionally includes the representative value, which may include an average of the sensor measurements in each data block.

In Beispiel 40 umfasst der Gegenstand eines oder mehrerer der Beispiele 37-39 gegebenenfalls die Ziellänge der heruntergetakteten Messungen, die einen vorbestimmten festen Wert aufweist.In Example 40, the subject-matter of one or more of Examples 37-39 optionally includes the target length of the down-sampled measurements having a predetermined fixed value.

In Beispiel 41 umfasst der Gegenstand eines oder mehrerer der Beispiele 37-39 gegebenenfalls das Mittel zum Heruntertakten der mehreren Sensormessungen, das umfassen kann: ein Mittel zum Bestimmen eines ganzzahligen Teils (RI) und eines Bruchteils (RF) eines Verhältnisses der Rahmenlänge zu der Ziellänge; ein Mittel zum Akkumulieren des RF für jeden Abtastratenkonvertierungsvorgang; ein Mittel zum Bestimmen des adaptiven Heruntertaktungsintervalls als eine Funktion des RI und des akkumulierten RF.In Example 41, the subject matter of one or more of Examples 37-39 optionally includes the means for down-sampling the multiple sensor measurements, which may include means for determining an integer part (RI) and a fraction (RF) of a ratio of the frame length to the target length ; means for accumulating the RF for each sample rate conversion operation; means for determining the adaptive down-sampling interval as a function of the RI and the accumulated RF.

In Beispiel 42 umfasst der Gegenstand von Beispiel 41 gegebenenfalls das Mittel zum Bestimmen des adaptiven Heruntertaktungsintervalls, das umfassen kann: ein Mittel zum Festlegen des adaptiven Heruntertaktungsintervalls auf RI in Reaktion darauf, dass der akkumulierte RF kleiner als eins ist; und ein Mittel zum Festlegen des adaptiven Heruntertaktungsintervalls auf RI -1 und Aktualisieren des akkumulierten RF durch Subtrahieren von eins von dem akkumulierten RF in Reaktion darauf, dass der akkumulierte RF größer oder gleich eins ist.In Example 42, the subject-matter of Example 41 optionally includes the means for determining the adaptive down-sampling interval, which may include: means for determining the adaptive down-sampling interval Down-sampling interval to RI in response to the accumulated RF being less than one; and means for setting the adaptive down-sampling interval to RI -1 and updating the accumulated RF by subtracting one from the accumulated RF in response to the accumulated RF being greater than or equal to one.

In Beispiel 43 umfasst der Gegenstand eines oder mehrerer der Beispiele 37-39 gegebenenfalls das Mittel zum Normalisieren der Stärke der heruntergetakteten Messungen, das ein Mittel zum Quantisieren der heruntergetakteten Messungen auf einen festgelegten Bereich umfassen kann.In Example 43, the subject matter of one or more of Examples 37-39 optionally includes the means for normalizing the strength of the down-sampled measurements, which may include means for quantizing the down-sampled measurements to a predetermined range.

In Beispiel 44 umfasst der Gegenstand von Beispiel 43 gegebenenfalls das Mittel zum Quantisieren der heruntergetakteten Messungen, das ein Mittel zum Verwenden eines empirischen Faktors zum Quantisieren der heruntergetakteten Messungen umfassen kann.In Example 44, the subject-matter of Example 43 optionally includes the means for quantizing the down-sampled measurements, which may include means for using an empirical factor to quantize the down-sampled measurements.

In Beispiel 45 umfasst der Gegenstand eines oder mehrerer der Beispiele 37-39 gegebenenfalls das Mittel zum Erfassen der mehreren Sensormessungen, das ein Mittel zum Erfassen mehrerer Beschleunigungsmessungen mithilfe eines Beschleunigungsmessers umfassen kann.In Example 45, the subject matter of one or more of Examples 37-39 optionally includes the means for acquiring the plurality of sensor measurements, which may include means for acquiring multiple acceleration measurements using an accelerometer.

In Beispiel 46 umfasst der Gegenstand eines oder mehrerer der Beispiele 37-39 gegebenenfalls das Mittel zum Erfassen der mehreren Sensormessungen, das ein Mittel zum Erfassen mehrerer Ausrichtungsmessungen mithilfe eines Gyroskops umfassen kann.In Example 46, the subject matter of one or more of Examples 37-39 optionally includes the means for acquiring the plurality of sensor measurements, which may include means for acquiring multiple alignment measurements using a gyroscope.

In Beispiel 47 umfasst der Gegenstand eines oder mehrerer der Beispiele 37-39 gegebenenfalls das Mittel zum Generieren des Merkmalsvektors, das ein Mittel zum Extrahieren von morphologischen Merkmalen aus den normalisierten Messungen umfassen kann.In Example 47, the subject matter of one or more of Examples 37-39 optionally includes the feature vector generating means, which may include means for extracting morphological features from the normalized measurements.

In Beispiel 48 umfasst der Gegenstand eines oder mehrerer der Beispiele 37-39 gegebenenfalls das Mittel zum Zuordnen der Geste zu dem Merkmalsvektor, das ein Mittel zum Klassifizieren des Merkmalsvektors zu einer von mehreren festgelegten Zielgestenklassen umfassen kann.In Example 48, the subject matter of one or more of Examples 37-39 optionally includes the means for associating the gesture with the feature vector, which may include means for classifying the feature vector into one of a plurality of specified target gesture classes.

In Beispiel 49 umfasst der Gegenstand von Beispiel 48 gegebenenfalls die mehreren festgelegten Zielgestenklassen, die mehrere Handgesten umfassen können.In Example 49, the subject matter of Example 48 optionally includes the plurality of specified target gesture classes, which may include multiple hand gestures.

In Beispiel 50 umfasst der Gegenstand von Beispiel 48 gegebenenfalls das Mittel zum Klassifizieren des Merkmalsvektors, das ein Mittel zum Verwenden eines Unterstützungsvektormaschinen-Klassifizierers zum Klassifizieren des Merkmalsvektors umfassen kann.In Example 50, the subject matter of Example 48 optionally includes the feature vector classifier that may include means for using a support vector machine classifier to classify the feature vector.

In Beispiel 51 umfasst der Gegenstand eines oder mehrerer der Beispiele 37-39 gegebenenfalls ein Mittel zum Vorverarbeiten der mehreren Sensormessungen einschließlich eines Mittels zum Entfernen eines Mittelwerts von den mehreren Sensormessungen, wobei das Mittel zum Heruntertakten der mehreren Sensormessungen ein Mittel zum Heruntertakten der vorverarbeiteten Sensormessungen umfasst.In Example 51, the subject matter of one or more of Examples 37-39 optionally includes means for preprocessing the plurality of sensor measurements including means for removing an average of the multiple sensor measurements, wherein the means for down-sampling the multiple sensor measurements comprises means for down-sampling the preprocessed sensor measurements ,

In Beispiel 52 umfasst der Gegenstand eines oder mehrerer der Beispiele 37-39 gegebenenfalls ein Mittel zum Erzeugen eines Befehls zum Betreiben der tragbaren Vorrichtung basierend auf der erkannten Geste.In Example 52, the subject matter of one or more of Examples 37-39 optionally includes means for generating a command to operate the portable device based on the detected gesture.

Die obige, ausführliche Beschreibung enthält Verweise auf die beigefügten Zeichnungen, die einen Teil der ausführlichen Beschreibung bilden. Die Zeichnungen zeigen veranschaulichend spezifische Ausführungsbeispiele, in denen die Erfindung ausgeführt werden kann. Diese Ausführungsbeispiele sind vorliegend auch als „Beispiele“ bezeichnet. Solche Beispiele können Elemente einschließen, die zusätzlich zu den gezeigten und beschriebenen vorhanden sind. Es werden jedoch auch Beispiele in Betracht gezogen, die die gezeigten oder beschriebenen Elemente umfassen. Darüber hinaus werden auch Beispiele in Betracht gezogen, in denen jede Kombination oder Vertauschung der gezeigten oder beschriebenen Elemente (oder eines oder mehrerer Aspekte davon) genutzt wird, entweder in Bezug auf ein bestimmtes Beispiel (oder einen oder mehrere Aspekte davon) oder in Bezug auf andere hierin gezeigte oder beschriebene Beispiele (oder einen oder mehrere Aspekte davon).The above detailed description contains references to the attached drawings, which form a part of the detailed description. The drawings illustratively show specific embodiments in which the invention may be practiced. These embodiments are also referred to herein as "examples". Such examples may include elements that are additional to those shown and described. However, examples including the elements shown or described are also contemplated. In addition, examples are also envisaged in which any combination or interchange of the elements shown or described (or one or more aspects thereof) is used, either in relation to a particular example (or one or more aspects thereof) or in relation to other examples shown or described herein (or one or more aspects thereof).

Veröffentlichungen, Patente und Patentdokumente, auf die in diesem Dokument Bezug genommen wird, sind hierin in ihrer Gesamtheit verweishalber aufgenommen, als wenn sie einzeln verweishalber aufgenommen wären. Im Falle von Nichtübereinstimmungen in den Ausdrucksweisen zwischen diesem Dokument und den derart verweishalber aufgenommenen Dokumenten ergänzt die Ausdrucksweise in dem bzw. in den aufgenommenen Verweis(en) die Ausdrucksweise dieses Dokuments; was unvereinbare Nichtübereinstimmungen anbetrifft, so gibt die Ausdrucksweise in diesem Dokument den Ausschlag.Publications, patents and patent documents referred to in this document are hereby incorporated by reference in their entirety as if they had been individually recorded. In the event of disagreement in the expressions between this document and the documents so recorded, the language used in the reference (s) added to this text shall supplement the language of that document; As far as irreconcilable inconsistencies are concerned, the wording in this document is decisive.

In diesem Dokument wird, wie in Patentdokumenten allgemein üblich, der Begriff „ein“, „eine“ oder „einer“ verwendet, um ein oder mehr als ein, unabhängig von irgendwelchen anderen Instanzen oder Ausdrucksweisen wie „mindestens ein“ oder „ein oder mehr“, einzuschließen. In diesem Dokument wird der Begriff „oder“ dazu verwendet, um auf ein nichtausschließliches „oder“ Bezug zu nehmen derart, dass „A oder B“, „A aber nicht „B“, „B aber nicht A“ und „A und B“ einschließt, wenn nicht anderweitig angegeben. In den angefügten Ansprüchen werden die Begriffe „umfassend“ und „in denen“ als klare Äquivalente der betreffenden Begriffe „beinhaltend“ und „wobei“ verwendet. Auch sind in den folgenden Ansprüchen die Begriffe „umfassend“ und „beinhaltend“ offenendig, d. h. ein System, eine Vorrichtung, ein Artikel oder ein Prozess, das, die bzw. der Elemente zusätzlich zu denen enthält, die nach einem derartigen Begriff in einem Anspruch aufgeführt sind, ist dennoch als in den Umfang dieses Anspruchs fallend anzusehen. Außerdem werden in den folgenden Ansprüchen die Begriffe „erster“, „zweiter“ und „dritter“ usw. lediglich als Etikettierungen verwendet und sollen keine numerische Reihenfolge der Objekte andeuten.In this document, as commonly used in patent documents, the term "a", "a" or "an" is used to mean one or more than one, independently of any other instances or phrases such as "at least one" or "one or more "To include. In this document, the term "or" is used to refer to a non-exclusive "or" such that "A or B", "A but not" B "," B but not A "and" A and B "Unless otherwise stated. In the appended claims, the terms "comprising" and "in which" are used as clear equivalents of the terms "including" and "wherein". Also, in the following claims, the terms "comprising" and "including" are open-ended, i. H. a system, apparatus, article, or process that includes elements in addition to those listed in such claim after such term is nevertheless to be considered as falling within the scope of this claim. In addition, in the following claims, the terms "first," "second," and "third," etc. are merely used as labels and are not intended to indicate numerical order of the objects.

Die obige Beschreibung soll veranschaulichend und nicht einschränkend sein. So können die vorbeschriebenen Beispiele (oder ein oder mehrere Aspekte derselben) in Verbindung mit anderen verwendet werden. Andere Ausführungsbeispiele können von einem Durchschnittsfachmann bei Durchsicht der obigen Beschreibung verwendet werden. Die Zusammenfassung soll dem Leser ermöglichen, schnell die Natur der technischen Offenbarung festzustellen. Sie wird mit dem Verständnis bereitgestellt, dass sie nicht dazu verwendet wird, den Umfang oder die Bedeutung der Ansprüche zu interpretieren oder zu beschränken. In der obigen ausführlichen Beschreibung können verschiedene Merkmale auch in Gruppen zusammengefasst sein, um die Offenbarung zu straffen. Die Ansprüche können jedoch nicht jedes hierin offenbarte Merkmal darlegen, da Ausführungsformen einen Teilsatz der Merkmale darstellen können. Ferner können Ausführungsformen weniger Merkmale als die in dem jeweiligen Beispiel offenbarten umfassen. Daher sind die folgenden Ansprüche hierdurch in die ausführliche Beschreibung aufgenommen, wobei ein Anspruch als separates Ausführungsbeispiel für sich allein steht. Der Umfang der hierin offenbarten Ausführungsformen soll mit Bezug auf die angefügten Ansprüche zusammen mit dem vollen Umfang von Äquivalenten, die diese Ansprüche rechtlich abdecken, bestimmt werden.The above description is intended to be illustrative and not restrictive. Thus, the examples described above (or one or more aspects thereof) may be used in conjunction with others. Other embodiments may be used by one of ordinary skill in the art upon review of the above description. The summary is intended to enable the reader to quickly ascertain the nature of the technical disclosure. It is provided with the understanding that it will not be used to interpret or limit the scope or meaning of the claims. In the above detailed description, various features may be grouped together to streamline the disclosure. However, the claims may not set forth any feature disclosed herein, as embodiments may constitute a subset of the features. Furthermore, embodiments may include fewer features than those disclosed in the respective example. Therefore, the following claims are hereby incorporated into the detailed description, with a claim standing on its own as a separate embodiment. The scope of the embodiments disclosed herein is to be determined with reference to the appended claims, along with the full scope of equivalents that are legally intended to cover such claims.

Claims

A system for detecting a gesture on a portable device, the system comprising: a signal processor module comprising: a sample rate conversion module for down-sampling multiple frame length sensor measurements using an adaptive down-sampling interval to generate down-sampled measurements having a target length shorter than the frame length, wherein the adaptive down-sampling interval is determined based on at least a fraction of a ratio of the frame length to the target length; a normalization module for normalizing the magnitude of the down-sampled measurements to produce normalized measurements; and a feature generator module for generating a feature vector using the normalized measurements; and a gesture recognition module for associating a gesture with the feature vector.

System after Claim 1 wherein the sample rate conversion module is configured to generate a representative value of sensor measurements in each of the plurality of data blocks, each data block having a corresponding length equal to the adaptive down-sampling interval; and wherein the sample rate conversion module is configured to generate the down-sampled measurements using the representative values from the plurality of data blocks.

System after Claim 2 wherein the sample rate conversion module further comprises an average filter module to generate the representative value including an average value of the sensor measurements in each data block.

System according to one of Claims 1 - 3 wherein the sample rate conversion module is configured to: determine an integer part (RI) and a fraction (RF) of a ratio of the frame length to the target length; Accumulating the RF for each sample rate conversion process; and Determining the adaptive down-sampling interval as a function of the RI and the accumulated RF.

System after Claim 4 wherein the sample rate conversion module is configured to: set the adaptive down-sampling interval to RI in response to the accumulated RF being less than one; and in response to the accumulated RF being greater than or equal to one, setting the adaptive down-sampling interval to RI -1 and updating the accumulated RF by subtracting one from the accumulated RF.

System according to one of Claims 1 - 3 wherein the normalization module comprises a quantization module to quantize the down-sampled measurements to a predetermined range.

System according to one of Claims 1 - 3 further comprising a sensor module including a sense amplifier for detecting the plurality of sensor measurements during a gesture detection session.

System after Claim 7 wherein the sensor module comprises an acceleration measuring module for generating a plurality of acceleration measurements and / or a gyroscope module for generating a plurality of alignment measurements.

System according to one of Claims 1 - 3 wherein the feature vector generation module is configured to generate a feature vector including morphological features extracted from the normalized measurements.

System according to one of Claims 1 - 3 wherein the gesture recognition module is adapted to associate a feature vector with a gesture by classifying the feature vector to one of a plurality of predetermined target gesture classes.

System according to one of Claims 1 - 3 wherein the signal processor circuit is further configured to preprocess the plurality of sensor measurements, including removing an average of the plurality of sensor measurements, wherein the sample rate conversion module is configured to downclock the preprocessed sensor measurements.

System according to one of Claims 1 - 3 comprising the portable device comprising the signal processor module and / or the gesture recognition module.

A method of detecting a gesture in a portable device, the method comprising: Sensing, with the aid of a sensor module, a plurality of sensor measurements having a frame length during a gesture detection session of a device; Determining an adaptive down-sampling interval based at least on a fraction of a ratio of the frame length to a fixed target length that is shorter than the frame length; Down-sampling the multiple sensor measurements using the adaptive down-sampling interval to generate down-clocked measurements with the target length; Normalizing a magnitude of the down-sampled measurements to produce normalized measurements; Generating a feature vector using the normalized measurements; and Associating a gesture with the feature vector.

Method according to Claim 13 wherein downsampling the plurality of sensor measurements comprises generating a representative value of sensor measurements in each of the plurality of data blocks, each data block having a respective length equal to the adaptive down-sampling interval, and down-sampling the representative values of the plurality of data blocks.

Method according to Claim 14 wherein the representative value comprises an average of the sensor measurements in each data block.

Method according to Claim 13 wherein downsampling the plurality of sensor measurements comprises: determining an integer part (RI) and a fraction (RF) of a ratio of the frame length to the target length; Accumulating the RF for each sample rate conversion process; Determining the adaptive down-sampling interval as a function of the RI and the accumulated RF.

Method according to Claim 16 wherein determining the adaptive down-sampling interval comprises: in response to the accumulated RF being less than one, setting the adaptive down-sampling interval to RI; and in response to the accumulated RF being greater than or equal to one, setting the adaptive down-sampling interval to RI -1 and updating the accumulated RF by subtracting one from the accumulated RF.

Method according to Claim 13 wherein normalizing the magnitude of the down-sampled measurements comprises quantizing the down-sampled measurements to a predetermined range.

Method according to Claim 13 wherein detecting the plurality of sensor measurements comprises acquiring multiple acceleration measurements using an accelerometer.

Method according to Claim 13 wherein acquiring the plurality of sensor measurements comprises acquiring multiple alignment measurements using a gyroscope.

Method according to Claim 13 wherein generating the feature vector comprises extracting morphological features from the normalized measurements.

Method according to Claim 13 wherein associating the gesture with the feature vector comprises classifying the feature vector into one of a plurality of predetermined target gesture classes.

Method according to Claim 13 further comprising generating an instruction to operate the portable device based on the detected gesture.

At least one computer readable storage medium containing instructions for performing one of the methods of Claims 13 to 23 includes.

System that provides a means of performing one of the procedures of Claims 13 to 23 includes.