CN116783570A - 用于多指空中手势识别的可穿戴设备、方法和介质 - Google Patents

用于多指空中手势识别的可穿戴设备、方法和介质 Download PDF

Info

Publication number
CN116783570A
CN116783570A CN202180088645.3A CN202180088645A CN116783570A CN 116783570 A CN116783570 A CN 116783570A CN 202180088645 A CN202180088645 A CN 202180088645A CN 116783570 A CN116783570 A CN 116783570A
Authority
CN
China
Prior art keywords
data
gesture
proximity sensor
wearable device
sensor data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180088645.3A
Other languages
English (en)
Inventor
黄大源
李维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN116783570A publication Critical patent/CN116783570A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请描述了用于多指空中手势识别的可穿戴设备、方法和处理器可读介质。一种智能戒指可穿戴设备，其具有位于戒指的圆周周围的接近传感器阵列，与加速度计等运动传感器结合使用，以感测和识别多指空中手势。所述接近传感器可用于感测用户手的手指的相对位置和形状。所述运动传感器可用于检测所述手指、手和手臂的总体移动，并使用用以感测生物声学振动的加速度计数据的高频采样来检测其他移动，例如手指碰撞。手势感测系统可以由所述可穿戴设备、手势控制设备或另一设备操作，以使用训练过的支持向量机作为分类器来基于传感器数据识别所述手势。

Description

用于多指空中手势识别的可穿戴设备、方法和介质
交叉引用
本申请要求于2020年12月30日提交的发明名称为“用于多指空中手势识别的可穿戴设备、方法和介质(Wearable devices,methods,and media for multi-finger mid-airgesture recognition)”的第17/138,677号美国非临时申请的权益，其内容通过引用结合在本申请中。
技术领域
本申请大体上涉及用于控制使用手势的设备的方法和设备，特别涉及用于多指空中手势识别的可穿戴设备、方法和处理器可读介质。
背景技术
智能戒指是一种佩戴在用户手指上的设备，使用户能够向计算机等电子设备提供用户输入。一些智能戒指可能会为用户提供相对快速和免视的输入机制。智能戒指的戒指外形尺寸和大小可能会使其在社交上不显眼并实现相对私密的输入，而观察者不一定将智能戒指识别为用户输入设备。因此，智能戒指可以被认为是一种有吸引力的解决方案，用于控制在一系列社交环境中使用的电子设备，例如移动电子设备。
商用的智能戒指使用的输入机制通常涉及按钮输入、触控板输入和/或运动输入。例如，在https://us.geniusnet.com/supports/ring-mouse-2中描述的Genius戒指鼠标2是一种环形计算机鼠标，使用两个按钮和一个触控板进行输入。这些按钮用作鼠标的左右按钮，触控板用于移动光标位置。其他智能戒指通常通过使用运动传感器来使用运动输入移动光标位置。运动传感器检测戒指的加速度和朝向，用于推断手指运动。例如，在https://logbar.jp/en/中描述的由Logbar Inc.销售的戒指设备，以及Litho戒指，一种佩戴在用户手指上并在https://www.litho.cc/中描述的条形设备，包括运动和触摸传感器。用户可以执行运动和触摸手势，以控制物理世界中的物联网(internet of things，IoT)设备，或控制虚拟现实(virtual reality，VR)或增强现实(augmented reality，AR)环境中的虚拟对象。
商用的智能戒指通常不支持多指空中手势。多指空中手势允许用户使用在空中执行的手势，而不是与鼠标、键盘、触摸屏或触控板等控制表面接触时执行的手指或手移动来控制电子设备，从而可以利用人类手指的灵巧性和全方位运动。多指空中手势已经被许多平台广泛使用，例如电视、车辆驾驶舱以及VR和AR设备。人机交互(human-computerinteraction，HCI)的研究表明，用户对支持通过多指空中手势进行控制的设备反应积极。例如，用户能够通过执行直观的手势来控制设备，这可能会减少用户相对于不利用多指手势灵活性的当前智能戒指手势集学习手势控制集的学习曲线。
一种用于感测多指空中手势的实验性智能戒指CyclopsRing在以下文献中描述：在Chan、Liwei和Chen、Yi-Ling和Hsieh、Chi-Hao和Liang、Rong-Hao和Chen、Bing-Yu，(2015年)，CyclopsRing：通过鱼眼戒指实现全手和情境感知交互(CyclopsRing:EnablingWhole-Hand and Context-Aware Interactions Through a Fisheye Ring)，10.1145/2807442.2807450，可在https://dl.acm.org/doi/10.1145/2807442.2807450查阅。CyclopsRing使用位于佩戴者食指与中指之间的鱼眼摄像头。鱼眼摄像头的广角使设备能够捕捉多个手指移动，从而实现多指空中手势输入。然而，CyclopsRing有许多限制，这可能会阻止它成功商业化。
首先，CyclopsRing设备没有传统的戒指外形尺寸。鱼眼摄像头在用户的两个手指之间占据了相对较大的空间，这可能会干扰用户的其他手部运动或活动，并可能使设备在社交上非常显眼。其次，手指佩戴的摄像头会给设备的用户和任何旁观者带来隐私问题。此问题也可能降低设备的社会可接受性。第三，基于摄像头的设备耗电，减少了电池寿命，从而减少了设备的使用时间。第四，手指段很可能会阻挡使用中的鱼眼镜头。当执行多指手势时，靠近镜头的手指段占据了很大一部分视野，这降低了手势识别的可靠性。
因此，需要一种智能戒指或其他可穿戴设备来克服现有智能戒指的上述一个或多个缺点。
发明内容
本发明描述了用于多指空中手势识别的可穿戴设备、方法和处理器可读介质。本文描述的实施例使用一种智能戒指可穿戴设备，其具有位于所述戒指圆周周围的接近传感器阵列，与加速度计等运动传感器结合，以感测和识别多指空中手势。因此，本文描述的一些实施例可以提供具有传统戒指外形尺寸的可穿戴设备，所述可穿戴设备可以比基于摄像头的手势感测系统呈现更少的隐私问题，可以比基于摄像头的智能戒指更节能，并且可以通过使用接近传感器阵列来减轻现有方法的遮挡问题。所述接近传感器可用于感测用户手的手指的相对位置和形状。所述运动传感器可用于检测所述手指、手和手臂的总体移动，并使用用以感测生物声学振动的加速度计数据的高频采样来检测其他移动，例如手指碰撞和摩擦移动。
如本文所使用，关于第二项(例如，值、计算或确定)“基于”第一项的陈述可能意味着第二项的特性至少部分地受到第一项的特性的影响或由其确定。第一项可以被视为一个操作或计算或者一系列操作或计算的输入，这些操作或计算产生第二项作为不独立于第一项的输出。
在一些方面，本发明描述了一种用于基于用户手执行的空中手势来控制手势控制设备的方法。从佩戴在所述用户手的主手指上的可穿戴设备获得传感器数据。所述传感器数据包括：多个接近传感器数据信道，每个接近传感器数据信道对来自所述可穿戴设备的接近传感器的接近传感器数据进行编码；来自所述可穿戴设备的运动传感器的运动传感器数据。基于所述传感器数据向所述手势控制设备提供控制数据。
在一些示例中，所述方法还包括：基于所述传感器数据生成特征数据，所述特征数据指示所述传感器数据的一个或多个特征；基于所述特征数据对所述空中手势进行分类以生成手势分类数据。所述控制数据基于所述手势分类数据。
在一些示例中，所述方法还包括在接收到所述传感器数据之后且在生成所述特征数据之前，将所述传感器数据划分以生成：多个运动传感器数据帧；对于每个接近传感器信道，多个接近传感器数据帧。通过以下操作预处理所述多个运动传感器数据帧：针对每个运动传感器数据帧，通过对所述运动传感器数据帧执行傅里叶变换来计算运动传感器功率谱数据；基于所述多个运动传感器功率谱生成多个平均运动传感器数据值；通过基于所述接近传感器信道的所述多个接近传感器数据帧针对每个接近传感器信道生成多个平均接近传感器数据值来预处理所述多个接近传感器数据帧，其中，所述特征数据是基于所述多个平均运动传感器数据值和每个接近传感器信道的所述多个平均接近传感器数据值而生成的。
在一些示例中，所述特征数据包括：所述多个平均运动传感器数据值的一个或多个统计特征；对于每个接近传感器信道，所述多个平均接近传感器数据值的一个或多个统计特征，每个统计特征从由平均值、最小值、最大值、中值、标准偏差、范围和峰值数量组成的列表中选择。
在一些示例中，对所述手势进行分类包括融合所述特征数据以生成特征向量，以及使用分类器基于所述特征向量生成所述手势分类数据。
在一些示例中，所述分类器包括训练过的支持向量机(support-vector machine，SVM)。
在一些示例中，所述方法还包括在接收到所述传感器数据之前，使用监督学习来训练支持向量机，以生成所述训练过的支持向量机。
在一些示例中，所述运动传感器数据包括：三个加速度计数据信道，每个信道指示所述可穿戴设备相对于相应空间轴的加速度；三个陀螺仪数据信道，每个信道指示所述可穿戴设备相对于相应空间轴的角速度。
在一些示例中，所述手势分类数据包括多个手势类中的每一个的概率数据，所述多个手势类包括至少部分地由手的拇指、食指和中指的相对位置定义的至少一个手势类。
在一些方面，本发明描述了一种用于佩戴在手的主手指上的可穿戴设备。所述可穿戴设备包括用于生成指示所述可穿戴设备的运动的运动传感器信号的运动传感器，以及多个接近传感器。每个接近传感器布置在所述可穿戴设备的由所述主手指的圆周定义的多个圆周位置中的一个。每个接近传感器面向从所述主手指向外的接近传感器方向。每个接近传感器用于生成指示对象在所述接近传感器方向上与所述接近传感器的接近的接近传感器信号。
在一些示例中，所述可穿戴设备还包括通信链路，所述通信链路用于传输基于所述运动传感器信号的运动传感器数据，以及多个接近传感器数据信道。每个信道基于相应接近传感器信号。
在一些示例中，所述可穿戴设备包括用于佩戴在所述主手指上的戒指，所述主手指是食指。
在一些示例中，多个圆周位置包括在所述戒指的面向中指部分上的至少一个位置，以及在所述戒指的面向拇指部分上的至少一个位置。
在一些示例中，每个接近传感器包括从由红外光传感器、超声波传感器和雷达传感器组成的列表中选择的传感器。
在一些示例中，所述运动传感器包括加速度计，所述运动传感器信号包括三个加速度计数据信道，每个信道指示所述可穿戴设备相对于相应空间轴的加速度。
在一些示例中，所述运动传感器还包括陀螺仪，所述运动传感器数据还包括三个陀螺仪数据信道，每个信道指示所述可穿戴设备相对于相应空间轴的角速度。
在一些示例中，所述运动传感器包括加速度计，所述运动传感器数据包括以大于100Hz的频率采样的加速度计数据。
在一些示例中，所述运动传感器包括加速度计，所述运动传感器数据包括以大于3000Hz的频率采样的加速度计数据。
在一些示例中，所述可穿戴设备还包括多路复用器，所述多路复用器用于基于所述多个接近传感器信号生成多路复用接近传感器信号。所述可穿戴设备还包括至少一个信号放大器，所述信号放大器用于基于所述运动传感器信号生成放大的运动传感器信号，以及基于所述多路复用接近传感器信号生成放大的多路复用接近传感器信号。所述可穿戴设备还包括控制器，所述控制器用于基于所述放大的运动传感器信号生成所述运动传感器数据，以及基于所述放大的多路复用接近传感器信号生成所述多个接近传感器数据信道。
在一些示例中，所述可穿戴设备还包括控制器，所述控制器用于：基于所述运动传感器信号和接近传感器信号生成特征数据，所述特征数据指示所述运动传感器信号和接近传感器信号的一个或多个特征；基于所述特征数据对所述手执行的空中手势进行分类以生成手势分类数据。所述可穿戴设备还包括通信链路，所述通信链路用于传输所述手势分类数据。
在一些方面，本发明描述了一种非瞬时性处理器可读介质，其上存储有机器可执行指令，所述机器可执行指令在由处理器设备执行时使所述处理器设备基于用户手执行的空中手势来控制手势控制设备。从佩戴在所述用户手的主手指上的可穿戴设备获得传感器数据。所述传感器数据包括：多个接近传感器数据信道，每个接近传感器数据信道对来自所述可穿戴设备的接近传感器的接近传感器数据进行编码；来自所述可穿戴设备的运动传感器的运动传感器数据。基于所述传感器数据向所述手势控制设备提供控制数据。
在一些方面，本发明描述了一种非瞬时性处理器可读介质，其上有形地存储有指令。所述指令在由处理器设备执行时使所述处理器设备执行上述方法步骤。
与现有方法相比，本文描述的实施例可以表现出许多优点。运动传感器和接近传感器阵列的使用允许检测和识别多指空中手势。在一些实施例中，用于感测多指空中手势的可穿戴设备具有传统的智能戒指外形尺寸。运动传感器位于戒指内或戒指上，接近传感器围绕戒指的圆周布置。可穿戴设备使用传统形状的戒指外形尺寸可以使设备在社交上不太显眼，并且可以允许用户在不引起注意的情况下向电子设备提供输入。在一些实施例中，智能戒指可以与作为珠宝佩戴的传统戒指大小相同。在一些实施例中，运动传感器和接近传感器都仅感测手指运动，从而最小化与基于摄像头的输入设备相关联的用户和旁观者的隐私问题。与基于摄像头的输入设备相比，接近传感器的功耗可能要低得多；在某些情况下，接近传感器阵列的功耗可能与发光二极管(light-emitting diode，LED)阵列的功耗一样小。最后，由于接近传感器阵列是环形的，单独的接近传感器围绕戒指的圆周位于不同位置处，因此接近传感器阵列的感测范围可以几乎是全向的。即使接近传感器阵列的一部分被手指段阻挡，其余的接近传感器仍可用于检测其他手指移动。这可以缓解现有的基于摄像头的方法遇到的遮挡问题。
附图说明
现在将通过示例参考示出本申请示例性实施例的附图，在附图中：
图1是根据本文描述的示例的用于感测多指空中手势的可穿戴设备的框图；
图2A是根据本文描述的示例的在食指中佩戴示出为智能戒指的示例性可穿戴设备的用户手的侧视图；
图2B是示出智能戒指的多个接近传感器的位置和传感器方向的图2A的智能戒指的前视图；
图3是根据本文描述的示例的用于基于来自可穿戴设备的传感器数据来识别多指空中手势的手势控制设备的框图；
图4示出了可以由示例性手势感测系统识别的十个示例性多指空中手势；
图5是根据本文描述的示例的可以由手势控制设备、可穿戴设备或其他设备操作的示例性手势感测系统的框图；
图6是示出根据本文描述的示例的用于基于空中手势来控制手势控制设备的示例性方法的步骤的流程图。
在不同的附图中可以使用相似的附图标记来表示相似的组件。
具体实施方式
本发明描述了用于多指空中手势识别的可穿戴设备、方法和处理器可读介质。本文描述的实施例使用一种可穿戴设备，例如佩戴在用户手指上的智能戒指，来收集传感器数据。该可穿戴设备具有位于用户手指的圆周周围的接近传感器阵列，与加速度计等运动传感器结合，以感测和识别多指空中手势。所述接近传感器可用于感测用户手的手指的相对位置和形状。所述运动传感器可用于检测所述手指、手和手臂的总体移动，并使用用以感测生物声学振动的加速度计数据的高频采样来检测其他移动，例如手指碰撞和摩擦移动。
将参考附图描述示例性实施例，其中描述被分解为多个节，涉及不同类型的实施例。示例性可穿戴设备章节描述了用于获得传感器数据的示例性可穿戴设备，例如智能戒指。示例性手势控制设备章节描述了可以由用户执行的手势控制、由可穿戴设备感测并由手势感测系统识别的示例性电子设备。示例性手势章节描述了示例性多指空中手势，这些手势可以由手势感测系统分类为手势类，以生成控制数据来控制手势控制设备。示例性手势感测系统章节描述了示例性手势感测系统，该示例性手势感测系统可用于对由可穿戴设备感测的多指空中手势进行分类，并作为响应，生成用于控制手势控制设备的控制数据。用于控制手势控制设备的示例性方法章节描述了用于执行手势感测系统功能的示例性方法。在一些示例中，所描述的方法的步骤可以由可穿戴设备、手势控制设备、另一电子设备或其某种组合执行。
示例性可穿戴设备
可穿戴设备可用于收集与用户手执行的多指空中手势有关的传感器数据。可穿戴设备可以佩戴在用户手的手指上；佩戴可穿戴设备的手指在本文中被称为“主手指”，而佩戴可穿戴设备的手的其他手指可以被称为“副手指”或“其他手指”。拇指被视为用于本发明的目的的手指。如本文所使用，术语“手”和“用户手”是指佩戴可穿戴设备的手。
图1示出了用于感测多指空中手势的示例性可穿戴设备100的框图。图1中所示的各种功能块、信号和数据在本节中描述。
在一些实施例中，可穿戴设备采取智能戒指的形式。在一些实施例中，智能戒指旨在佩戴在用户的食指上。
图2A-2B示出了可穿戴设备100的示例性实施例，该可穿戴设备作为智能戒指200佩戴在作为主手指的食指上。智能戒指200包括接近传感器104、104a-f的阵列，下文将更详细地描述。
可穿戴设备100(例如，智能戒指200)可以包括运动传感器102，该运动传感器用于生成指示可穿戴设备100的运动的运动传感器信号132。在一些实施例中，运动传感器102包括加速度计122，该加速度计用于生成三个加速度计数据信道作为运动传感器信号的一部分。每个加速度计数据信道指示可穿戴设备相对于相应空间轴(例如，移动的三个维度x-y-z)的加速度。在一些实施例中，运动传感器还包括陀螺仪124，该陀螺仪用于生成三个陀螺仪数据信道作为运动传感器信号的一部分。每个陀螺仪数据信道指示可穿戴设备100相对于相应空间轴的角速度(例如，围绕轴x-y-z的角速度)。应当理解，由加速度计122测量的三个加速度轴不需要与由陀螺仪124测量的旋转轴相同。
在一些实施例中，以至少100Hz的频率对加速度计122进行采样，以便生成加速度计数据作为运动传感器数据的一部分，该加速度计数据可用于检测指示用户手的手指与其他手指、用户手的其他部分或其他对象的碰撞等手势相关事件的生物声学振动。手指碰撞事件的示例将在示例性手势章节中描述。在一些实施例中，加速度计的采样率大于3000Hz。使用非常高的频率采样率(例如，4000Hz)可以使得能够检测由用户手与其他对象的摩擦移动等事件引起的高频生物声学振动。通常，至少为生物声学振动频率的两倍的采样率将允许对生物声学振动进行编码，而不表现出混叠。
使用以高频(约4000Hz)采样的加速度计检测生物声学振动已经在以下文献中表明和描述：Gierad Laput、Robert Xiao和Chris Harrison，2016年，ViBand：使用商品智能手表加速度计的高保真生物声学传感(ViBand:High-Fidelity Bio-Acoustic SensingUsing Commodity Smartwatch Accelerometers)，在第29届用户界面软件与技术年度研讨会论文集(UIST'16)中，计算机协会，美国纽约州纽约市，第321页–第333页，DOI：https://doi.org/10.1145/2984511.2984582(以下简称“ViBand”)，该文献以全文引用的方式并入在本文中。尽管ViBand参考文献中使用的加速度计以4000Hz采样，但可能可以使用较低的采样率(例如100Hz)检测位于佩戴可穿戴设备100的手处的许多手势相关手指碰撞事件。
在一些实施例中，运动传感器102可以包括具有加速度计122和陀螺仪124的内部测量单元(internal measurement unit，IMU)，例如ICM-20948(在https://invensense.tdk.com/products/motion-tracking/9-axis/中描述)。
在一些示例中，加速度计122可用于检测主手指(例如，食指)的手指动作，以及来自主手指和/或一个或多个副手指(例如，拇指)的生物声学振动信号。陀螺仪124可用于确定可穿戴设备100的朝向(即，偏航、滚转和俯仰角)。
可穿戴设备100还包括多个接近传感器104。接近传感器104可以围绕主手指的圆周布置成阵列，使得每个接近传感器布置在可穿戴设备的由主手指的圆周定义的多个圆周位置中的一个。单独的接近传感器104在图2A中示出为在第一圆周位置206a处的接近传感器104a和104b、在第二圆周位置206b处的接近传感器104c和104d，以及在智能戒指200的面向拇指侧212上的第三圆周位置206c处的接近传感器104e和104f。在图2A的示例中，每个圆周位置206a-c包括两个接近传感器104。
图2B示出了智能戒指200的前视图，示出了在每个圆周位置206、206a-c处的每对接近传感器104、104a、104c、104e的最前面。前视图除了面向拇指侧212之外还示出了智能戒指200的面向中指侧210。在一些实施例中，多个圆周位置206包括在戒指200的面向中指部分210上的至少一个位置206和在戒指的面向拇指部分212上的至少一个位置206。应当理解，在打算佩戴在食指以外的主手指上的实施例中，面向中指部分210和面向拇指部分212可以相应地重新命名。尽管面向中指部分210和面向拇指部分212在图2B中示出为各自占据戒指200的圆周的大约25％，但是应当理解，在一些实施例中，这些部分210、212可以占据戒指200更多或更少的周长。
如图2A-2B中所示，每个接近传感器104a-f面向从主手指202向外的接近传感器方向208。每个接近传感器104用于生成指示对象在接近传感器方向208上与接近传感器206a-f的接近的接近传感器信号134。接近传感器方向208在图2A中示出为从主手指202径向向外朝向。最后面的接近传感器104b、104d、104f的接近传感器方向208朝向主手指202的基部稍微向后倾斜，而最前面的接近传感器104a、104c、104e的接近传感器方向208朝向主手指202的指尖稍微向前倾斜。
在一些实施例中，每个接近传感器104可以包括红外光传感器、超声波传感器和/或雷达传感器。在其他实施例中，接近传感器104可以包括能够检测主手指及其两个相邻手指(例如，用于佩戴在食指上的可穿戴设备的拇指、食指和中指)的绝对或相对运动的其他传感器。在一些实施例中，接近传感器104可以是2维(2-dimensional，2D)传感器，用于在以接近传感器方向208为中心的2D感觉场上检测对象接近值的2维阵列。在其他实施例中，每个接近传感器104是沿接近传感器方向208充当测距仪的1维(1-dimensional，1D)传感器。在又一些实施例中，接近传感器104可以单独或联合地用于检测对象接近值的3维阵列，例如使用超声波、具有能够穿透人体组织的光谱值的电磁辐射或其他传感模式。
示例性接近传感器104可以是主动传感器，其通过在接近传感器方向208上发射能量束(例如，超声波振动、红外光、雷达波或其他声波或电磁能)并检测从附近对象反射回来的能量的特性来操作，从而允许接近传感器104确定对象沿接近传感器方向208的距离。不同的示例性接近传感器206可以是检测从例如手指的附近对象发射的红外或其他能量的被动传感器。
在一些实施例中，接近传感器104可以包括VL6180X产品(在https://www.st.com/en/imaging-and-photonics-solutions/vl6180x.html中描述)，该产品包括红外光发射器、范围传感器和环境光传感器。在其他实施例中，接近传感器可以包括CHI101超声波传感器产品(在https://invensense.tdk.com/products/ch101/中描述)。
再次参考图1，在一些实施例中，可穿戴设备100还可以包括多路复用器108，该多路复用器用于基于多个接近传感器信号134生成多路复用接近传感器信号138多路复用器108可以有效地扩展控制器112的端口的数量，如下所述。在一些实施例中，多路复用器108可以包括M74HC151产品(在https://www.st.com/en/switches-and-multiplexers/m74hc151.html中描述)或TCA9548A产品(在https://www.ti.com/product/TCA9548A中描述)。
在一些实施例中，可穿戴设备100还可以包括至少一个信号放大器(示出为两个放大器106、110)，这些信号放大器用于基于运动传感器信号132生成放大的运动传感器信号140，以及基于多路复用接近传感器信号138生成放大的多路复用接近传感器信号142。在图1的示例中，第一放大器106生成放大的运动传感器信号140，第二放大器110生成放大的多路复用接近传感器信号142。在一些实施例中，放大器是增加传感器信号分辨率的信号放大器，这可以帮助手势感测系统310(在下面的示例性手势感测系统章节中描述)提取更多信号特征以用于手势识别，这些信号放大器例如为ADS1115 16位增益放大器产品(在https://www.adafruit.com/product/1085中描述)或PAM8302产品(在https://www.adafruit.com/product/2130中描述)。
可穿戴设备100还可以包括用于生成传感器数据144的控制器112。传感器数据包括基于放大的运动传感器信号140的运动传感器数据和基于放大的多路复用接近传感器信号142的多个接近传感器数据信道。传感器数据中的每个接近传感器数据信道可以基于相应的接近传感器信号134。传感器数据可以是在通过通信链路传输之前被压缩或以其他方式预处理的数字数据。
可穿戴设备100还可以包括用于传输传感器数据144的通信链路114。通信链路114可以是用于与网络(例如，内联网、互联网、P2P网络、WAN和/或LAN)或其他电子设备通信的有线或无线通信链路。通信链路114可以包括用于网内和/或网间通信的有线链路(例如，以太网电缆)和/或无线链路(例如，一个或多个天线)。在一些实施例中，通信链路114是蓝牙TM无线通信模块，包括蓝牙TM天线。
在一些实施例中，控制器112和通信链路114可以组合在单个单元中，例如具有无线通信能力的微控制单元。在一些实施例中，组合微控制单元可以包括STM32WB50CG设备(https://www.st.com/content/st_com/en/products/microcontrollers-microprocessors/stm32-32-bit-arm-cortex-mcus/stm32-wireless-mcus/stm32wb-series/stm32wbx0-value-line/stm32wb50cg.html中描述)或Beetle BLE产品(在https://www.dfrobot.com/product-1259.html中描述)。
在一些实施例中，在下面的用于控制手势控制设备的示例性方法章节中描述的用于基于空中手势来控制手势控制设备的方法600的一个或多个步骤可以由控制器112执行。例如，在一些实施例中，数据划分步骤604和/或预处理步骤606中的一些或全部可以在通信链路114传输分段和/或预处理的传感器数据之前由控制器112执行。
在使用中，智能戒指200可以佩戴在用户手的主手指上，例如食指上。主手指通常是预定手指，因为手势感测系统310通常由佩戴在预定主手指上的可穿戴设备100训练，如下面的示例性手势感测系统章节所述。当用户将智能戒指佩戴在食指上时，运动传感器102可用于检测食指运动和不同手指之间的碰撞事件。由于智能戒指佩戴在食指上，因此拇指和食指的动作也可以由运动传感器102使用生物声传感来检测。接近传感器104感测拇指段与食指段之间的相对空间信息，从而允许智能戒指推断三个手指之间的空间关系。这使得智能戒指200能够识别由拇指、食指和中指合成的手势。
运动传感器102不仅可以检测主手指的运动和生物声学振动，而且还可以检测用户的手、手臂和身体的总体移动。接近传感器不仅可以用于检测手指段相对于智能戒指200的位置，而且还可以在一些实施例中用于检测非手指对象的接近。由可穿戴设备100的传感器收集的所有数据都可用于在下面的示例性手势感测系统章节中描述的手势感测系统310，并且可以潜在地用于识别手势。
示例性手势控制设备
图3示出了示例性手势控制设备300的框图。尽管下文示出和描述所述手势控制设备300的一个示例性实施例，但其他实施例可以用于实现本文公开的示例，可以包括与所示的组件不同的组件。尽管图3示出了手势控制设备300的每个组件的单个实例，但示出的每个组件可以有多个实例。
图3中所示的手势控制设备300还用于执行在下面的示例性手势感测系统章节中描述的手势感测系统310的功能，该手势感测系统执行在下面的用于控制手势控制设备的示例性方法中描述的用于基于空中手势来控制手势控制设备的方法600。然而，在一些实施例中，方法600的一个或多个步骤可以由可穿戴设备100的控制器112和/或由与可穿戴设备100和手势控制设备300通信的单独设备执行。
手势控制设备300包括一个或多个处理器302，例如中央处理器、微处理器、专用集成电路(application-specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)、专用逻辑电路、张量处理单元、神经处理单元、专用人工智能处理单元，或其组合。一个或多个处理器302可以统称为“处理器设备”。手势控制设备300还包括一个或多个输入/输出(input/output，I/O)接口304，其与输入设备312(例如摄像头、麦克风、键盘或计算机鼠标)和输出设备314(例如显示器或扬声器)介接。在一些实施例中，可穿戴设备100的通信链路114经由输入接口304与手势控制设备300通信，可穿戴设备100可以被视为输入设备312。
手势控制设备300可以包括用于与网络(例如内网、互连网、P2P网络、WAN和/或LAN)或其他节点进行有线或无线通信的一个或多个可选的网络接口306。一个或多个网络接口306可以包括用于网内通信和/或网间通信的有线链路(例如，以太网线)和/或无线链路(例如，一个或多个天线)。在一些实施例中，可穿戴设备100的通信链路114经由无线网络接口(例如，802.11或蓝牙TM)等网络接口306与手势控制设备300通信。在一些示例中，手势控制设备300的蓝牙TM接口可以用于与可穿戴设备100的通信链路114通信，并且可以被视为网络接口306或输入接口304。
手势控制设备300包括一个或多个存储器308，可以包括易失性或非易失性存储器(例如，闪存、随机存取存储器(random access memory，RAM)和/或只读存储器(read-onlymemory，ROM))。非瞬时性存储器308可以存储用于由处理器302执行的指令，例如执行本发明中描述的示例。存储器308可以包括其他软件指令，例如用于实现操作系统和其他应用/功能。
在一些示例中，手势控制设备300还可以包括一个或多个电子存储单元(未示出)，例如，固态硬盘、硬式磁盘驱动器、磁盘驱动器和/或光盘驱动器。在一些示例中，一个或多个数据集和/或模块可以由外部存储器(例如与手势控制设备300进行有线或无线通信的外部驱动器)提供，也可以由瞬时性或非瞬时性计算机可读介质提供。非瞬时性计算机可读介质的示例包括RAM、ROM、可擦除可编程ROM(erasable programmable ROM，EPROM)、电可擦除可编程ROM(electrically erasable programmable ROM，EEPROM)、闪存、CD-ROM或其他便携式存储器。例如，手势控制设备300中的组件可以经由总线彼此通信。
在一些实施例中，分布式系统可以包括多个手势控制设备300，可选地包括一个或多个附加组件。分布式系统可以包括通过网络彼此通信的多个手势控制设备300；例如，电子设备可以通过网络与远程服务器或云计算平台通信，该远程服务器或云计算平台执行本文所述的方法，并将这些方法的输出提供给手势控制设备300。因此，手势识别可以通过本地处理(即，在手势控制设备300处)与远程或中央处理(即，在中央服务器处)的某种组合来进行。
示例性手势
为了帮助理解本发明，首先论述手势。在本发明中，手势通常被定义为可以由手势控制设备100识别为特定命令的不同手形。手势可以具有不同的形状和移动。例如，手势可以由手势控制设备300识别为属于图4中所示的手势类之一。
图4示出了十个手势，每个手势都是手势类的典型，手势可以由下面在示例性手势感测系统章节中描述的手势感测系统310分类为该手势类。未在图4中示出的其他手势类也可以由手势感测系统310识别。
图4中所示的手势为：捏开手势402，其中食指和拇指紧握在一起但不接触；中指捏合手势404，其中中指和拇指的指尖相互接触；食指捏合手势406，其中食指和拇指的指尖相互接触；指向手势408，其中拇指和中指紧贴手掌，食指向外指；L形手势410，其中食指和拇指伸出以形成大约90度角；枪形手势412，其中拇指平放在手的侧面，食指伸出，其他手指卷曲在手掌上；拳头手势414，其中所有手指都向内卷曲，拇指在顶部；张开手势416，其中所有手指都向外伸出，并彼此远离；拇指伸出手势，其中拇指向外伸出，所有其他手指都朝向手掌向内卷曲；打开手势420，其中手指都伸出并保持在一起以形成平坦的表面。
图4中所示的手势都代表或说明了它们各自的手势类--因此，例如，拳头手势414可能被示例性手势感测系统310分类为拳头手势类的实例。在本文描述的一些示例中，术语“手势”可以用于表示手势类的实例或手势类本身，这将从上下文理解。
图4中所示的每个手势以及由用户和/或手指的静态配置定义的其他手势可以在本文中被称为属于“静态手势类”的“静态手势”。在一些示例中，当静态手势保持在大体上固定的位置(例如，在允许一些误差幅度的定义区域内)达至少定义的时间段(例如，1秒)时，该静态手势被识别为属于静态手势类。在本文描述的一些示例中，可以参考属于“动态手势类”的“动态手势”。当动态手势表现出一个或多个静态手势类、位置和/或移动的组合时，该动态手势可以被识别为属于动态手势类。一些动态手势可以涉及静态手势类的组合以及手的位置变化，或在一个位置中为第一静态手势，然后在另一个位置中为第二静态手势。例如，动态手势类可以被定义为随着时间(例如，基于运动传感器数据132)在位置上变化的单个静态手势类。位置变化的“L形”静态手势410(例如，因为手从左向右移动，如运动传感器数据132所指示)可以被手势感测系统310识别为属于特定动态手势类。
手势感测系统310的不同实施例可以被配置或训练成将动态手势分类为任何数量的不同动态手势类。可以被示例性实施例识别为属于动态手势类的动态手势包括：鼠标点击动态手势，其中食指用于点击假想的空中鼠标按钮(例如，由右手执行时，“鼠标左键”)；中指鼠标点击动态手势，其中中指用于点击假想的空中鼠标按钮(例如，由右手执行时，“鼠标右键”)；两指捏动态手势，其中食指和拇指从捏开手势402移动到食指捏合手势406；三指捏动态手势，其中食指、中指和拇指从食指和中指保持靠近拇指但不接触拇指的第一静态手势移动到食指和中指的指尖与拇指指尖接触的第二静态手势；开枪动态手势，其中在拇指远离手伸出然后与手的侧面接触以执行标准枪形手势412的情况下执行枪形手势412的变体；缩小动态手势，其中手指从食指和中指靠近拇指的第一位置移动到食指和中指远离拇指的第二位置；放大动态手势，其中手指从食指和中指远离拇指的第一位置移动到食指和中指更靠近拇指的第二位置(即，类似于三指捏动态手势)；第一动态手势，其中拇指、食指和中指从第一延伸位置移动到第二闭合位置；指向动态手势，其中手执行指向静态手势408，然后移动手以使得食指的指尖指示空间中的特定点。与上述动态手势对应的示例性动态手势类仅作为示例提供，在不同的实施例中可以有所不同。此外，应当理解，上述所有示例性动态手势都由手的前三个手指(拇指、食指、中指)的移动定义，因此可以容易地由用于佩戴在食指上的可穿戴设备100检测，从而检测食指及其两个相邻手指的详细移动。在使用用于佩戴在不同手指上的可穿戴设备100的实施例中，涉及其他手指的其他动态手势类可以由手势感测系统310定义。
示例性手势感测系统
图5是示出示例性手势感测系统310的框图。在一些实施例中，手势感测系统310可以由手势控制设备300的处理器设备302在执行存储在存储器308中的指令时实现。在其他实施例中，手势感测系统310可以由经由网络接口306与手势控制设备300通信的远程服务器或云计算平台实现。在一些实施例中，可穿戴设备100(例如，使用控制器112)可以实现手势感测系统310。因此，在各种实施例中，手势感测系统310的不同功能可以由可穿戴设备100、手势控制设备300、另一电子设备或其某种组合执行。
手势感测系统310从可穿戴设备100接收传感器数据144。在使用可穿戴设备100本身(例如，控制器112)执行手势感测系统310的一个或多个功能的实施例中，传感器数据144可以被理解为在手势感测系统310的功能(例如，可能由控制器112本身)对传感器数据144执行之前从控制器112接收。控制器112对由控制器112生成的传感器数据144的这种使用在本文中也可以称为“从可穿戴设备”接收的传感器数据144。
如先前参考图1所述，传感器数据144包括运动传感器数据和多个接近传感器数据信道。手势感测系统310对传感器数据144执行多个操作，最终生成手势分类数据504，该手势分类数据可以包括将用户手执行的手势分类为手势类，如上面的示例性手势章节所述。手势分类数据504可以由手势控制设备300接收，并映射到控制数据，例如使得手势控制设备300的操作系统执行特定软件命令或功能的控制功能。因此，手势感测系统310可以用作由可穿戴设备100生成的对指示用户手执行的多指空中手势的传感器数据进行编码的传感器数据144与手势控制设备300的软件命令之间的转换器，从而使得用户能够通过在佩戴可穿戴设备100的同时执行多指空中手势来控制手势控制设备300。
在一些实施例中，手势感测系统310可以实现为在一个或多个处理器设备上运行的软件。在其他实施例中，手势感测系统310的一个或多个功能可以在硬件中，例如在专用集成电路(application-specific integrated circuit，ASIC)或其他专用硬件模块中实现为逻辑。
在各种实施例中，手势感测系统310可以包括一个或多个子系统。数据划分子系统506可以用于连续地从可穿戴设备100接收传感器数据144作为多个传感器信道中的每一个的时间序列，所述多个传感器信道例如六个运动传感器数据信道(三个用于x-y-z加速度计数据，三个用于滚转-俯仰-偏航陀螺仪数据))和多个接近传感器数据信道(每个接近传感器104一个接近传感器数据信道)。然后，可以基于预定义的时间窗口将每个传感器信道的时间序列划分为多个传感器数据帧。例如，时间窗口可以跨越1000个传感器信道样本，使得每个信道的一系列帧由1000个传感器数据样本组成。在一些实施例中，每个信道可以具有不同的采样速率，使得每个帧的固定时间窗口造成不同信道的每个帧的采样数量不同。因此，数据划分子系统506可以针对每个运动传感器数据信道生成多个运动传感器数据帧，并针对每个接近传感器数据信道生成多个接近传感器数据帧。
在各种实施例中，帧可以是重叠的或非重叠的。
在一些实施例中，数据预处理子系统508可用于预处理传感器数据(例如，由数据划分子系统506生成的划分传感器数据)。数据预处理子系统508可以针对每个信道分别预处理传感器数据。
针对每个运动传感器数据帧，数据预处理子系统508可以通过对运动传感器数据帧执行傅里叶变换来计算运动传感器功率谱数据。因此，例如，针对运动传感器数据的每个传入数据帧t，可以对数据帧的运动传感器数据样本执行快速傅里叶变换(fast fouriertransform，FFT)。因此，针对每个运动传感器数据信道生成功率谱：例如，用于加速度计的x、y、z轴的Xt、Yt和Zt，以及陀螺仪的滚转、俯仰、偏航轴的Rt、Pt、Wt。
对于每个接近传感器数据信道，帧t中接近传感器阵列的一系列数据值可以表示为P1t、P2t、……、PNt，其中N为阵列中接近传感器的数量。
在一些实施例中，可以执行进一步的数据预处理步骤，其中加速度计数据帧值Xt、Yt和Zt通过在时间窗中取最大值而被组合成单个加速度计帧值At，即，At,i＝max(Xt,i,Yt,i,Zt,i)。可以针对陀螺仪数据帧值Rt、Pt和Wt执行类似的计算，以生成单个陀螺仪帧值Gt，其中Gt,i＝max(Rt,i,Pt,i,Wt,i)。
在一些实施例中，可以执行进一步的数据预处理步骤，其中对预定数量(例如，预定数量w＝20)的过去帧进行平均。数据预处理子系统508可以通过基于多个运动传感器功率谱生成多个平均运动传感器数据值来预处理多个接近运动数据帧，并且可以通过基于接近传感器信道的多个接近传感器数据帧针对每个接近传感器信道生成多个平均接近传感器数据值来预处理多个接近传感器数据帧。因此，例如，对加速度计和/或陀螺仪数据的功率谱进行平均，得到：平均加速度计值Acc，其中Acci＝mean(At,i,At-1,i,...,At-w+1,i)；类似的平均陀螺仪值Gcci＝mean(Gt,i,Gt-1,i,...,Gt-w+1,i)。类似地，在w个过去帧的每个序列中对接近传感器帧P1、P2、……、PN的过去数据幅度进行平均，产生平均接近传感器值Prox1至ProxN。
在使用上述预处理步骤中的一个或多个的实施例中，预处理的传感器数据(例如，平均运动传感器数据和平均接近传感器数据)可以由后续特征提取子系统510用于执行特征提取。因此，基于多个平均运动传感器数据值和每个接近传感器信道的多个平均接近传感器数据值而生成由特征提取子系统510生成的特征数据(如下所述)。
在一些实施例中，特征提取子系统510用于基于传感器数据生成特征数据，该传感器数据例如由数据预处理子系统508生成的预处理传感器数据。特征提取算法可以应用于传感器数据以选择有用的特征。在一些实施例中，特征数据包括多个平均运动传感器数据值的一个或多个统计特征，以及对于每个接近传感器信道，多个平均接近传感器数据值的一个或多个统计特征。每个统计特征可以从由平均值、最小值、最大值、中值、标准偏差、范围和峰值数量组成的列表中选择。还可以从多个平均运动传感器数据值和/或平均接近传感器数据值中的一个或多个生成总结。在一些实施例中，生成上述统计特征中的每一个，即每个信道的平均值、最小值、最大值、中值、标准偏差、范围和峰值数量。
在一些实施例中，特征融合子系统512用于融合特征数据以生成特征向量。例如，融合由特征提取子系统510生成的统计特征数据以生成新的高维特征向量，例如，具有大量元素的一维特征向量。在一些实施例中，融合特征可以包括将所有信道的所有统计特征(即，加速度计Acc、陀螺仪Gcc和每个接近传感器Prox1至ProxN的统计特征)聚合到一维向量D中，并将向量D用作分类器514的输入。
分类器514可以是被配置或训练成基于从来自可穿戴设备100的传感器数据提取的特征对多指空中手势进行分类的任何类型的算法或模型。分类器514用于基于特征向量D生成手势分类数据504。
在一些实施例中，分类器514是训练过的支持向量机(support-vector machine，SVM)。训练SVM可能需要在可穿戴设备100安装在用户(例如当前用户或另一用户)的主手指上时从该可穿戴设备收集和标记训练数据。相同的主手指(例如，右手食指)通常既用于训练又用于手势识别，以便最大限度地提高训练的有效性。
手势分类子系统522可以使用任何合适的分类技术将多指空中手势分类为特定手势类。例如，在一些实施例中，分类器514可以使用训练过的神经网络(例如，CNN)，该神经网络已经被训练成根据预定义的手势类集对多指空中手势进行分类。在不同的实施例中可以使用不同的训练技术，例如监督学习或无监督学习、强化学习、深度学习等。
传感器数据可用于生成允许分类器514识别大范围的多指空中手势的特征。假设食指作为主手指，则3轴加速度计122可用于检测食指的手指动作和来自拇指和食指的生物声学信号。3轴陀螺仪124可用于计算可穿戴设备100的朝向(即，偏航、滚转和俯仰角)，其可以是附加输入模态，例如通过倾斜鼠标来控制鼠标光标。主手指与其他手指(例如，相邻手指)的相对位置可以至少部分地基于接近传感器数据来确定。由加速度计122检测到的生物声学数据可以用于例如，通过使用例如大于100Hz或大于3000Hz的高频加速度计采样率来检测手指碰撞事件(如上文在示例性可穿戴设备章节中所描述)。运动传感器数据还可用于检测主手指的绝对运动，这又可用于检测手和/或手臂的绝对运动。
手势分类数据504包含关于用户手基于接收到的传感器数据将执行的手势分类为一个或多个手势类(例如，静态手势类和/或动态手势类)的信息。在一些实施例中，手势分类数据504包括将当前传感器数据与手势类相关联的标签。在其他实施例中，手势分类数据504包括概率数据(例如，logits)，该概率数据指示传感器数据与多个手势类中的每一个相关联的可能性。基于概率数据，可以选择具有最高可能性的手势类作为在后续处理操作中执行的最可能手势。
在一些实施例中，可以在分类器514之前、之后或作为该分类器的一部分执行附加操作，以便利用历史手势数据来识别随时间执行的动态手势。因此，例如，手势队列可用于存储历史手势数据，该历史手势数据指示过去执行的静态手势的序列、执行它们的时间以及每次执行它们的位置。该历史手势数据可以由分类器514或单独的动态手势分类子系统(未示出)连同指示当前静态手势的当前特征向量或分类器输出一起使用，以对用户随着时间执行的动态手势进行分类。
用于控制手势控制设备的示例性方法
图6是示出用于基于用户手执行的空中手势来控制手势控制设备的示例性方法600的步骤的流程图。在一些实施例中，方法600可以由手势感测系统310执行，并且将在下面的示例中参考示例性手势感测系统310的子系统、示例性手势控制设备300和示例性可穿戴设备100来描述。可选的步骤在图6中以虚线示出。
在601，可选地，将分类器(例如，分类器514)训练成基于来自佩戴在用户手的主手指上的可穿戴设备(例如，可穿戴设备100，例如智能戒指200)的传感器数据对多指空中手势进行分类。如上所述，不同的实施例可以使用不同的分类器和不同的训练技术。在一些实施例中，训练分类器可以包括使用监督学习训练支持向量机以生成训练过的支持向量机。
在602，从佩戴在用户手的主手指(例如，右手的食指)上的可穿戴设备100接收传感器数据144。传感器数据可以包括运动传感器数据和多个接近传感器数据信道。运动传感器数据对来自可穿戴设备的运动传感器的运动传感器数据进行编码，该运动传感器数据例如放大的运动传感器信号140。多个接近传感器数据信道各自对来自可穿戴设备的接近传感器的接近传感器数据进行编码，该接近传感器数据例如从放大的多路复用接近传感器信号142导出的多信道数据。
在一些实施例中，运动传感器数据包括三个加速度计数据信道。每个加速度计数据信道指示可穿戴设备相对于相应空间轴(例如，x、y和z)的加速度。在一些实施例中，运动传感器数据还包括三个陀螺仪数据信道。每个加速度计数据信道指示可穿戴设备相对于相应空间轴(例如x、y和z)的角速度。
加速度计数据信道可对以高频采样的加速度计数据进行编码，以捕获用户体内的生物声学信号。在一些实施例中，运动传感器数据包括以大于100Hz的频率采样的加速度计数据，以便从用户手的手指碰撞事件中捕获生物声学振动。在其他实施例中，运动传感器数据包括以大于3000Hz的频率采样的加速度计数据，以捕获摩擦移动等更高频移动。
如上所述，一些实施例可以使用可穿戴设备100的控制器112来执行方法600的一些步骤。因此，本步骤602可以包括(在控制器112处)接收传感器数据144(来自同一控制器112)。因此，传感器数据144仍然可以被视为是从可穿戴设备100接收的。
在604，可选地，将传感器数据144划分以生成多个运动传感器数据帧，并且针对每个接近传感器信道，生成多个接近传感器数据帧(例如，如上文参考手势感测系统310的数据划分子系统506所描述)。
在606，可选地，(例如，由数据预处理子系统508)预处理划分的数据。可以通过对运动传感器数据帧执行傅里叶变换来针对每个运动传感器数据帧计算运动传感器功率谱数据，从而预处理多个运动传感器数据帧。在一些实施例中，还可以基于多个运动传感器功率谱生成多个平均运动传感器数据值(例如，Acc和Gcc)。可以通过基于接近传感器信道的多个接近传感器数据帧针对每个接近传感器信道(例如，P1)生成多个平均接近传感器数据值(例如，Prox1)来预处理多个接近传感器数据帧。
在608，基于传感器数据144(例如，基于由特征提取子系统510提取的多个平均运动传感器数据值和每个接近传感器信道的多个平均接近传感器数据值)生成特征数据。特征数据指示传感器数据的一个或多个特征，并且可以包括传感器数据的一个或多个统计特征(例如，多个平均运动传感器数据值的一个或多个统计特征，以及对于每个接近传感器信道，多个平均接近传感器数据值的一个或多个统计特征)。每个统计特征可以从由平均值、最小值、最大值、中值、标准偏差、范围和峰值数量组成的列表中选择，如上文参考图5的特征提取子系统510所描述。
在610，可选地，(例如，由特征融合子系统512)融合特征数据以生成特征向量。特征向量可以是聚合Acc、Gcc和Prox1至ProxN的所有特征的高维特征向量D。
在612，基于特征数据(例如，特征向量D)对由用户手执行的多指空中手势进行分类(例如，使用分类器514)，以生成手势分类数据504。在一些实施例中，分类器514是训练过的支持向量机(support-vector machine，SVM)。在一些实施例中，手势分类数据504包括多个手势类中的每一个的概率数据。多个手势类可以包括至少部分由手的拇指、食指和中指的相对位置定义的至少一个手势类，例如上面示例性手势章节中描述的静态和动态手势类。在一些实施例中，手势分类数据504将手势标识为属于特定手势类。
在614，基于手势分类数据504将控制数据提供给手势控制设备(例如，手势控制设备300)。控制数据可以包括待由手势控制设备300执行的一个或多个命令。
因此，在已通过将多指空中手势分类为手势类来识别该多指空中手势之后，手势控制设备300的软件应用程序(例如，操作系统)可以将由手势感测系统310输出的手势分类数据504(例如，包括手势类的标识)转换为包括命令(例如，执行功能的命令)的控制数据。手势类到命令的转换可以是应用程序相关的、上下文相关的或状态相关的。例如，当第一应用程序处于活动状态或处于设备的第一上下文或状态时，给定的手势类可以被转换为第一命令，但当第二应用程序处于活动状态或处于设备的第二上下文或状态时，给定的手势类可以被转换为第二命令(或可以被认为无效)。因此，在一些实施例中，分类器514可用于识别用户手执行的空中手势，并至少部分地基于识别的空中手势选择由手势控制设备300执行的功能。
在一些实施例中，由手势控制设备300响应于接收到手势分类数据504而执行的命令之一包括向用户提供指示识别手势的反馈。因此，例如，手势控制设备300可以将视觉反馈输出到输出设备314，例如指示基于识别的手势执行的功能的显示器。应当理解，许多技术可用于为空中手势控制系统提供视觉或其他类型的反馈。
在一些实施例中，陀螺仪124可用于确定可穿戴设备100的朝向(即，偏航、滚转和俯仰角)，其可在一些示例中用作附加输入模态，例如通过倾斜可穿戴设备100来控制鼠标光标。
现在将描述使用由智能戒指200检测到的多指空中手势控制的示例性面向用户的软件应用程序，以示出本文所述的各种示例性设备、系统和方法的相互关系。该软件应用程序是智能电视(television，TV)控制接口。
在一个示例性场景中，用户试图激活智能电视并调整其音量。智能电视一开始处于休眠或睡眠状态，用户的手将智能戒指200佩戴在食指上。
首先，用户执行“枪击”动态手势(在上面的示例性手势章节中描述)以打开电视。智能戒指200捕获在执行“枪击”动态手势过程中手和手指的各种移动和位置，并使用通信链路114将它们传输到智能电视。在本示例中，智能TV既是手势控制设备300，也是用于实现手势感测系统310的设备。
手势感测系统310按照由智能TV的处理器302执行的指令运行，执行方法600的步骤，生成命令智能电视从其休眠状态切换到唤醒激活状态的控制数据。智能电视的显示屏指示该设备现在处于活动状态。
然后，用户执行两次两指捏动态手势(由其中食指远离拇指移动的“捏开”手势分隔)。该手势序列被映射到控制数据，命令智能电视在智能电视的显示器上显示光标和用于基于手势的控制反馈的其他GUI小部件。
为了控制光标，用户首先执行指向动态手势，然后倾斜智能戒指200以移动光标，就像用户在控制普通空鼠一样(例如，使用陀螺仪124检测角速度，并将该陀螺仪数据转换为命令手势控制设备300移动显示器上的光标的控制数据)。请注意，在本示例中，用户不能使用其他手势控制光标，这可能会缓解“米达斯接触(Midas Touch)”问题，在该问题中，用户界面将无意的用户动作(或无动作)转换为命令。
用户倾斜智能戒指200以使光标移动到显示器上显示的音量小部件上，然后执行鼠标点击动态手势以选择该小部件。
用户执行放大和缩小动态手势来控制音频音量。用户可以保持放大动态手势达一定时间，以使音量相应地减小。同样，用户可以通过张开食指、中指和拇指达一定时间来逐渐增加音量。
最后，用户可以执行第一动态手势以使智能电视静音。
应当理解，静态和/或动态手势的任何组合可以映射到给定上下文中手势控制设备300的命令或功能的任何组合，如上所述。
综述
尽管本发明通过按照一定的顺序执行的步骤描述方法和过程，但是可以适当地省略或改变方法和过程中的一个或多个步骤。在适当情况下，一个或多个步骤可以按所描述的顺序以外的顺序执行。
尽管本发明在方法方面至少部分地进行了描述，但本领域普通技术人员将理解，本发明也针对用于执行所述方法的至少一些方面和特征的各种组件，无论是通过硬件组件、软件还是其任意组合。相应地，本发明的技术方案可以通过软件产品的形式体现。例如，合适的软件产品可以存储在预先记录的存储设备或其他类似的非易失性或非瞬时性计算机可读介质中，包括DVD、CD-ROM、USB闪存盘、可移动硬盘或其他存储介质。软件产品包括有形地存储在其上的指令，所述指令使得处理设备(例如，个人计算机、服务器或网络设备)能够执行本文中公开的方法的示例。
在不脱离权利要求书的主题的前提下，本发明可以通过其他特定形式实施。所描述的示例性实施例在各方面都仅仅是示意性的，而不是限制性的。可以组合从一个或多个上述实施例中选择的特征，以创建非显式描述的可选实施例，在本发明的范围内可以理解适合于此类组合的特征。
还公开了所公开范围内的所有值和子范围。此外，尽管本文所公开和显示的系统、设备和流程可包括特定数量的元素/组件，但可以修改所述系统、设备和组件，以包括此类元素/组件中的更多或更少的元素/组件。例如，尽管所公开的任何元件/组件可以引用为单个数量，但是可以修改本文所公开的实施例以包括多个此类元件/组件。本文所描述的主题旨在覆盖和涵盖所有适当的技术变更。

Claims (21)

1.一种用于基于用户手执行的空中手势来控制手势控制设备的方法，其特征在于，包括：
从佩戴在所述用户手的主手指上的可穿戴设备获得传感器数据，所述传感器数据包括：
多个接近传感器数据信道，每个接近传感器数据信道对来自所述可穿戴设备的接近传感器的接近传感器数据进行编码；
来自所述可穿戴设备的运动传感器的运动传感器数据；
基于所述传感器数据向所述手势控制设备提供控制数据。
2.根据权利要求1所述的方法，其特征在于，还包括：
基于所述传感器数据生成特征数据，所述特征数据指示所述传感器数据的一个或多个特征；
基于所述特征数据对所述空中手势进行分类以生成手势分类数据，
其中，所述控制数据基于所述手势分类数据。
3.根据权利要求2所述的方法，其特征在于，还包括在接收到所述传感器数据之后且在生成所述特征数据之前：
将所述传感器数据划分以生成：
多个运动传感器数据帧；
对于每个接近传感器信道，多个接近传感器数据帧；
通过以下操作预处理所述多个运动传感器数据帧：
针对每个运动传感器数据帧，通过对所述运动传感器数据帧执行傅里叶变换来计算运动传感器功率谱数据；
基于所述多个运动传感器功率谱生成多个平均运动传感器数据值；
通过基于所述接近传感器信道的所述多个接近传感器数据帧针对每个接近传感器信道生成多个平均接近传感器数据值来预处理所述多个接近传感器数据帧，
其中，所述特征数据是基于所述多个平均运动传感器数据值和每个接近传感器信道的所述多个平均接近传感器数据值而生成的。
4.根据权利要求2或3所述的方法，其特征在于，所述特征数据包括：
所述多个平均运动传感器数据值的一个或多个统计特征；
对于每个接近传感器信道，所述多个平均接近传感器数据值的一个或多个统计特征，
每个统计特征从由以下组成的列表中选择：
平均值、最小值、最大值、中值、标准偏差、范围和峰值数量。
5.根据权利要求2至4中任一项所述的方法，其特征在于，对所述手势进行分类包括：
融合所述特征数据以生成特征向量；
使用分类器基于所述特征向量生成所述手势分类数据。
6.根据权利要求5所述的方法，其特征在于，所述分类器包括训练过的支持向量机(support-vector machine，SVM)。
7.根据权利要求1至6中任一项所述的方法，其特征在于，还包括在获得所述传感器数据之前，使用监督学习来训练支持向量机，以生成所述训练过的支持向量机。
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述运动传感器数据包括：
三个加速度计数据信道，每个信道指示所述可穿戴设备相对于相应空间轴的加速度；
三个陀螺仪数据信道，每个信道指示所述可穿戴设备相对于相应空间轴的角速度。
9.根据权利要求2至8中任一项所述的方法，其特征在于：
所述手势分类数据包括多个手势类中的每一个的概率数据；
所述多个手势类包括至少部分地由手的拇指、食指和中指的相对位置定义的至少一个手势类。
10.一种用于佩戴在手的主手指上的可穿戴设备，其特征在于，包括：
运动传感器，其用于生成指示所述可穿戴设备的运动的运动传感器信号；
多个接近传感器，每个接近传感器布置在所述可穿戴设备的由所述主手指的圆周定义的多个圆周位置中的一个处，
每个接近传感器面向从所述主手指向外的接近传感器方向；
每个接近传感器用于生成指示对象在所述接近传感器方向上与所述接近传感器的接近的接近传感器信号。
11.根据权利要求10所述的可穿戴设备，其特征在于，还包括：通信链路，其用于传输：
基于所述运动传感器信号的运动传感器数据；
多个接近传感器数据信道，每个信道基于相应接近传感器信号。
12.根据权利要求10或11所述的可穿戴设备，其特征在于，包括用于佩戴在所述主手指上的戒指，所述主手指是食指。
13.根据权利要求10至12中任一项所述的可穿戴设备，其特征在于，所述多个圆周位置包括：
在所述戒指的面向中指部分上的至少一个位置；
在所述戒指的面向拇指部分上的至少一个位置。
14.根据权利要求10至13中任一项所述的可穿戴设备，其特征在于，每个接近传感器包括从由以下组成的列表中选择的传感器：
红外光传感器、超声波传感器和雷达传感器。
15.根据权利要求10至14中任一项所述的可穿戴设备，其特征在于：
所述运动传感器包括加速度计；
所述运动传感器信号包括三个加速度计数据信道，每个信道指示所述可穿戴设备相对于相应空间轴的加速度。
16.根据权利要求15所述的可穿戴设备，其特征在于：
所述运动传感器还包括陀螺仪；
所述运动传感器数据还包括三个陀螺仪数据信道，每个信道指示所述可穿戴设备相对于相应空间轴的角速度。
17.根据权利要求11至16中任一项所述的可穿戴设备，其特征在于：
所述运动传感器包括加速度计；
所述运动传感器数据包括以大于100Hz的频率采样的加速度计数据。
18.根据权利要求11至17中任一项所述的可穿戴设备，其特征在于，还包括：
多路复用器，其用于基于所述多个接近传感器信号生成多路复用接近传感器信号；
至少一个信号放大器，其用于：
基于所述运动传感器信号生成放大的运动传感器信号；
基于所述多路复用接近传感器信号生成放大的多路复用接近传感器信号；
控制器，其用于生成：
基于所述放大的运动传感器信号的所述运动传感器数据；
基于所述放大的多路复用接近传感器信号的所述多个接近传感器数据信道。
19.根据权利要求11至18中任一项所述的可穿戴设备，其特征在于，还包括：
控制器，其用于：
基于所述运动传感器信号和接近传感器信号生成特征数据，所述特征数据指示所述运动传感器信号和接近传感器信号的一个或多个特征；
基于所述特征数据对所述手执行的空中手势进行分类以生成手势分类数据；
通信链路，其用于传输所述手势分类数据。
20.一种处理器可读介质，其特征在于，其上存储有机器可执行指令，所述机器可执行指令在由处理器设备执行时使所述处理器设备执行根据权利要求1至9中任一项所述的方法。
21.一种计算机程序，其特征在于，包括指令，所述指令在由计算机执行所述程序时使所述计算机执行根据权利要求1至9中任一项所述的方法。
CN202180088645.3A 2020-12-30 2021-11-16 用于多指空中手势识别的可穿戴设备、方法和介质 Pending CN116783570A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/138,677 2020-12-30
US17/138,677 US11573642B2 (en) 2020-12-30 2020-12-30 Wearable devices, methods and media for multi-finger mid-air gesture recognition
PCT/CN2021/131007 WO2022142807A1 (en) 2020-12-30 2021-11-16 Wearable devices, methods and media for multi-finger mid-air gesture recognition

Publications (1)

Publication Number Publication Date
CN116783570A true CN116783570A (zh) 2023-09-19

Family

ID=82118715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180088645.3A Pending CN116783570A (zh) 2020-12-30 2021-11-16 用于多指空中手势识别的可穿戴设备、方法和介质

Country Status (3)

Country Link
US (1) US11573642B2 (zh)
CN (1) CN116783570A (zh)
WO (1) WO2022142807A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230093914A (ko) * 2021-12-20 2023-06-27 삼성전자주식회사 센서 정보를 이용한 스토리지 장치의 데이터 기입 방법, 데이터 독출 방법 및 이를 수행하는 스토리지 장치
US20230280741A1 (en) * 2022-03-01 2023-09-07 Logistics and Supply Chain MultiTech R&D Centre Limited Wearable Remote Control Device And Tracking System
JP2023170902A (ja) * 2022-05-20 2023-12-01 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
CN115562499B (zh) * 2022-11-16 2023-03-17 深圳市未来感知科技有限公司 基于智能指环的精准交互控制方法、系统及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009024971A2 (en) * 2007-08-19 2009-02-26 Saar Shai Finger-worn devices and related methods of use
US8743052B1 (en) * 2012-11-24 2014-06-03 Eric Jeffrey Keller Computing interface system
US20150062086A1 (en) 2013-08-29 2015-03-05 Rohildev Nattukallingal Method and system of a wearable ring device for management of another computing device
WO2016003365A1 (en) 2014-07-04 2016-01-07 Loke Kar Kit Bernard A wearable input device
WO2016137514A1 (en) * 2015-02-27 2016-09-01 Hewlett-Packard Development Company, L.P. Detecting finger movements
EP4145254A1 (en) 2017-06-09 2023-03-08 Microsoft Technology Licensing, LLC Wearable device enabling multi-finger gestures
US10860104B2 (en) 2018-11-09 2020-12-08 Intel Corporation Augmented reality controllers and related methods

Also Published As

Publication number Publication date
WO2022142807A1 (en) 2022-07-07
US11573642B2 (en) 2023-02-07
US20220206587A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
US11573642B2 (en) Wearable devices, methods and media for multi-finger mid-air gesture recognition
US11493993B2 (en) Systems, methods, and interfaces for performing inputs based on neuromuscular control
US20200310541A1 (en) Systems and methods for control schemes based on neuromuscular data
US9235278B1 (en) Machine-learning based tap detection
US11169601B2 (en) Methods and systems for determining teleoperating user intent via eye tracking
US9804679B2 (en) Touchless user interface navigation using gestures
Kikuchi et al. EarTouch: turning the ear into an input surface
CN110045829B (zh) 利用用户接口的事件的设备和方法
KR101978265B1 (ko) 손 모양 및 동작 인식장치 및 방법
KR102639904B1 (ko) 공항용 로봇 및 그의 동작 방법
US11775075B2 (en) Head and eye-based gesture recognition
US20170337422A1 (en) Biometric based false input detection for a wearable computing device
US20240028129A1 (en) Systems for detecting in-air and surface gestures available for use in an artificial-reality environment using sensors at a wrist-wearable device, and methods of use thereof
KR101899590B1 (ko) 손 모양 및 동작 인식장치 및 방법
US20240019938A1 (en) Systems for detecting gestures performed within activation-threshold distances of artificial-reality objects to cause operations at physical electronic devices, and methods of use thereof
Wilson Sensor-and recognition-based input for interaction
US20230359422A1 (en) Techniques for using in-air hand gestures detected via a wrist-wearable device to operate a camera of another device, and wearable devices and systems for performing those techniques
US20220236795A1 (en) Systems and methods for signaling the onset of a user's intent to interact
US20220293241A1 (en) Systems and methods for signaling cognitive-state transitions
Zhang et al. Rids: Implicit detection of a selection gesture using hand motion dynamics during freehand pointing in virtual reality
US11579704B2 (en) Systems and methods for adaptive input thresholding
US11782548B1 (en) Speed adapted touch detection
US11797100B1 (en) Systems and methods for classifying touch events based on relative orientation
US11782522B1 (en) Methods and systems for multimodal hand state prediction
US20230400958A1 (en) Systems And Methods For Coordinating Operation Of A Head-Wearable Device And An Electronic Device To Assist A User In Interacting With The Electronic Device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination