CN111052047B - 用于自动手势和手指识别的静脉扫描设备 - Google Patents

Abstract

本发明涉及一种能够基于用户静脉的一个或多个属性自动确定用户的手势和/或手指位置的设备及其操作方法。该设备可包括一个或多个传感器(例如，相机)以捕获用户手部的一个或多个图像。该设备可将图像转换为数字表示，并且可将静脉的数字图像与一个或多个姿势相关。根据姿势，设备可确定用户的手部运动，并且可根据手部运动确定一个或多个手势和/或手指位置。该设备可将手势和/或手指位置解释为一个或多个输入命令，并且该设备可基于该输入命令来执行操作。本公开的示例包括在虚拟现实应用程序中使用用户输入命令。

Description

用于自动手势和手指识别的静脉扫描设备

相关申请的交叉引用

本申请要求2017年9月29日提交的美国专利申请62/565,364的权益，该申请的内容全文以引用方式并入本文以用于所有目的。

技术领域

本发明整体涉及被配置为捕获用户的静脉的一个或多个图像的设备。更具体地讲，本公开涉及一种能够使用用户的静脉图像自动确定手势和/或手指位置并接收该手势和/或手指位置作为对设备的输入而无需触摸和语音输入的设备。

背景技术

许多现有的便携式电子设备使用语音或触摸输入作为用户向设备传达命令或控制设备的方法。一个示例是语音命令系统，其可将特定言语命令映射到操作，例如，通过说出人的姓名来发起电话号码的拨号。另一个示例是触摸输入系统，其中用户可通过触摸一系列虚拟按钮或执行触摸手势来选择特定设备设置，诸如调节扬声器的音量。虽然语音和触摸输入可为控制设备的有效方式，但可能存在用户说出言语命令或执行触摸手势的能力受到限制的情况。

发明内容

本发明涉及一种设备和用于操作设备的方法，该设备能够基于用户的静脉的一个或多个属性以及当用户执行姿势和/或手部运动(例如，手指运动)时属性的变化来自动确定用户的手势和/或手指位置。设备可包括一个或多个传感器(例如，相机)以捕获用户的手部的一个或多个图像。该设备可以将图像转换为数字表示，并且可将静脉的数字图像与一个或多个姿势相关。根据一个或多个姿势，设备可确定用户的手部运动(例如，手指运动)，并且可根据手部运动(例如，手指运动)确定一个或多个手势和/或手指位置。该设备可将手势和/或手指位置解释为一个或多个输入命令，并且该设备可基于输入命令来执行操作。通过检测用户静脉的运动并将该运动与输入命令相关联，该设备可除例如语音和触摸输入以外或者代替语音和触摸输入通过其他方法来接收用户输入命令。本公开的示例包括在虚拟现实(VR)(包括增强现实(AR)和混合现实(MR))应用程序中使用用户输入命令。

附图说明

图1A-图1C示出了可在其中实现本公开的示例的系统。

图2示出了根据本公开的示例的与主机设备无线通信的示例性可穿戴设备。

图3示出了根据本公开的示例的示例性可穿戴设备的框图。

图4A-图4B示出了根据本公开的示例的示例性用户的手部的顶视图。

图5A示出了根据本公开的示例的用于确定PPG信号的示例性设备的底侧的顶视图。

图5B示出了根据本公开示例的示例性可穿戴设备的透视图，该可穿戴设备具有位于设备的表冠上的一个或多个传感器。

图5C示出了根据本公开的示例的示例性可穿戴设备的透视图，该可穿戴设备具有位于条带上的一个或多个传感器。

图6A示出了根据本公开示例的用于检测手势和/或手指位置的示例性过程。

图6B-图6C示出了根据本公开示例的用户静脉的图像的示例性数字表示。

图6D示出了根据本公开示例的用于预测用户的手势和/或手指位置的示例性过程。

图7A示出了根据本公开的示例的用于记录一个或多个手势和/或手指位置的示例性过程。

图7B示出了根据本公开的示例的用于预测一个或多个手势和/或手指位置并记录该预测的示例性过程。

具体实施方式

在以下对示例的描述中将引用附图，在附图中以例示的方式示出了可被实施的特定示例。应当理解，在不脱离各个示例的范围的情况下，可使用其他示例并且可作出结构性改变。阐述了许多具体细节，以便提供对本文描述或引用的一个或多个方面和/或特征的透彻理解。然而，对于本领域的技术人员显而易见的是，对本文描述或引用的一个或多个方面和/或特征可以在不具有这些具体细节中的一些或全部的情况下实施。在其他情况下，公知的过程步骤和/或结构未详细描述从而不会模糊对本文描述或引用的方面和/或特征中的一些。

本发明涉及一种设备和用于操作设备的方法，该设备能够基于用户的静脉的一个或多个属性以及当用户执行姿势和/或手部运动(例如，手指运动)时属性的变化来自动确定用户的手势和/或手指位置。该设备可包括一个或多个传感器(例如，相机)，以捕获用户的手部的一个或多个图像。该设备可将图像转换为数字表示，并且可将静脉的数字图像与一个或多个姿势相关。根据一个或多个姿势，设备可确定用户的手部运动(例如，手指运动)，并且可根据手部运动(例如，手指运动)确定一个或多个手势和/或手指位置。该设备可将手势和/或手指位置解释为一个或多个输入命令，并且该设备可基于该输入命令来执行操作。通过检测用户静脉的运动并将该运动与输入命令相关联，该设备可除例如语音和触摸输入以外或者代替语音和触摸输入通过另一方法来接收用户输入命令。

在该部分描述了根据本公开的装置和方法的代表性应用。提供这些示例仅是为了添加上下文并有助于理解所述示例。因此，对于本领域的技术人员而言将显而易见的是，可在不具有具体细节中的一些或全部的情况下实践所述示例。其他应用是可能的，使得以下示例不应被当作是限制性的。

图1A-图1C示出了可在其中实现本公开的示例的系统。图1A示出了可包括触摸屏124的示例性移动电话136。图1B示出了可包括触摸屏126的示例性媒体播放器140。图1C示出了可包括触摸屏128且可使用条带146附接到用户的示例性可穿戴设备144。图1A-图1C的系统可利用近红外静脉扫描设备及其操作方法，如将公开的。

图2示出了根据本公开的示例的与主机设备无线通信的示例性可穿戴设备。可穿戴设备244可为具有连接至条带246的面部部分204的类似于手表的设备。所述面部部分204可包括例如触摸屏显示器228，其尺寸可根据可穿戴设备244预期被穿戴的地方来适当地确定。用户可在触摸屏显示器228上查看由可穿戴设备244呈现的信息，并且可通过触摸触摸屏显示器228来向可穿戴设备244提供输入。在一些示例中，触摸屏显示器228可占据面部部分204的大部分或所有前表面。

与面部部分204相对的可为背面部分205。背面部分205可包括用于测量生理信息的一个或多个传感器(在下面讨论)。此外，如下所述，背面部分205(除了或代替设备中包括的其他部件)可包括用于静脉扫描的近红外/红外相机。

可以设置条带246(在本文中也称为腕带或腕带)，以允许用户将可穿戴设备244可拆卸地佩戴(例如，围绕用户的手腕)。在一些示例中，条带246可包括柔性材料(例如，织物、柔性塑料、皮革、链环或由金属或其他刚性材料制成的柔性交错的板或链节)，并且可连接至面部部分204(例如，通过通过铰链、环或其他合适的附接装置或固定器)。在一些示例中，条带246可由两个或更多个由扣环208连接的刚性材料制成。一个或多个铰链可被定位在面部部分204与条带246的近端212A和212B的接合处和/或沿着条带246的长度的其他地方(例如，以允许用户穿上和脱下可穿戴设备244)。条带246的不同部分可包括不同的材料。例如，条带246可包括与刚性部分交替的柔性或可扩展部分。在一些示例中，条带246可包括可移除部分，从而允许可穿戴设备244的尺寸被调整以适应特定用户的手腕尺寸。在一些示例中，条带246可包括连续条带构件的在面部部分204后面或穿过面部部分204延伸的部分。面部部分204可与条带246分离，永久地附接到条带246或与条带246一体形成。

在一些示例中，条带246可包括扣环208，其可有助于条带246的远端的连接和断开。在一些示例中，扣环208可包括带扣、磁性扣环、机械扣环、按扣等。在一些示例中，可穿戴设备244的尺寸可被调整以适应特定用户的手腕尺寸。因此，可穿戴设备244可通过接合扣环208固定到用户的身上(例如，围绕用户的手腕)。扣环208随后可被脱开以便于将可穿戴设备244从用户的身上移除。

在一些示例中，条带246可形成为弹性材料的连续带(包括例如弹性织物、可膨胀金属链或者弹性和非弹性部分的组合)，从而允许通过拉伸由连接到面部部分204的条带246形成的带来穿上和脱下可穿戴设备244。在一些情况下，扣环208可为不需要的。

条带246(包括可能存在的任何扣环)可包括一个或多个传感器，该一个或多个传感器可允许可穿戴设备244在任何给定时间确定该设备是否被用户佩戴。可穿戴设备可根据当前是否正在被佩戴而不同地操作。例如，可穿戴设备244在其未被佩戴时可使各种用户接口部件和/或RF接口部件无效。另外，在一些示例中，可穿戴设备244可向主机设备236通知用户何时穿上或脱下可穿戴设备244。此外，条带246(除了或代替包含在设备的其他部件)可以包括近红外/红外相机用于静脉扫描，如下面所讨论。

可穿戴设备244还可包括表冠218。表冠218可为机械部件(例如，用于上链手表的杆或轴上的盖)。用户可按压、旋转和/或触摸表冠以向可穿戴设备提供输入。例如，表冠218可沿多个(例如，两个)旋转方向(例如，向前和向后，或者顺时针和逆时针)旋转。表冠218也可被推向触摸屏显示器228(例如，类似按钮)和/或被拉离触摸屏显示器228。表冠218可为触敏的，例如，使用电容触摸技术(例如，自电容、互电容)或如本文中所描述的可检测用户是否正在触摸表冠的其他合适的技术。在一些示例中，表冠218也可用作传感器的一部分，以检测对象(例如，手指)与表冠218的接触和/或接近。在一些示例中，表冠218还可被配置为在一个或多个方向上倾斜或沿着轨道至少部分地围绕可穿戴设备244的外壳的周边滑动。在一些示例中，在可穿戴设备244中可以包括一个以上的表冠218。此外，表冠218(除了或代替设备中包含的其他部件)可以包括近红外/红外相机用于静脉扫描，如下面所讨论。

主机设备236可为可与可穿戴设备244进行通信的任何设备。虽然在图中将主机设备236示出为智能电话，但本公开的示例可包括其他设备，诸如平板电脑、媒体播放器、任何类型的移动设备、膝上型计算机或台式计算机等。主机设备的其他示例可包括销售点终端、安全系统、环境控制系统等。主机设备236可使用例如蓝牙或Wi-Fi之类的协议与可穿戴设备244进行无线通信。在一些示例中，可穿戴设备244可包括电连接器(未示出)，该电连接器可用于提供到主机设备236和/或到其他设备的有线连接(例如，通过使用合适的电缆)。例如，连接器可用于连接电源以为可穿戴设备244的车载电池(未示出)充电。

在一些示例中，可穿戴设备244和主机设备236可互操作以增强在主机设备236上可用的功能。例如，可穿戴设备244和主机设备236可使用无线通信技术诸如蓝牙来建立配对。在设备配对时，主机设备236可将所选择的事件的通知(例如，接收电话呼叫、文本消息或电子邮件消息)发送至可穿戴设备244，并且可穿戴设备244可将对应警告呈现给该用户。可穿戴设备244还可提供输入接口，用户可通过该输入接口响应警报(例如，应答电话或回复文本消息)。在一些示例中，可穿戴设备244还可提供用户界面，该用户界面可允许用户在主机设备236上发起动作诸如解锁主机设备236或打开其显示屏、拨打电话呼叫、发送文本消息或控制主机设备236的媒体播放操作。本文所述的技术可被适配为通过经由可穿戴设备244提供界面来允许大范围的主机设备功能增强。

应当理解，可穿戴设备244和主机设备236为例示性的并且变型形式和修改形式是可能的。例如，可穿戴设备244可以各种可穿戴制品来实现，包括手表、手镯等。在一些示例中，不论主机设备236是否与可穿戴设备244通信，可穿戴设备244都可操作；可能不需要单独的主机设备。

图3示出了根据本公开的示例的示例性可穿戴设备的框图。设备344可包括处理子系统302、存储子系统304、用户界面306，RF接口308、连接器接口310、电源子系统312、设备传感器314和条带传感器316。设备344还可包括其他部件(未明确示出)。

存储子系统304可使用例如磁性存储介质、闪存存储器、其他半导体存储器(例如，DRAM、SRAM)或任何其他非暂态存储介质或介质的组合来实现，并且可包括易失性介质和/或非易失性介质。在一些示例中，存储子系统304可存储媒体项，诸如音频文件、视频文件、图像或原图文件；存储子系统304还可存储来自用户的联系人的信息(例如，姓名、地址、电话号码等)、关于用户的预定约会和事件的信息、注释和/或其他类型的信息。在一些示例中，存储子系统304还可存储待由处理子系统302执行的一个或多个应用程序(“app”)334(例如，视频游戏程序、个人信息管理程序、媒体回放程序、与特定主机设备和/或主机设备功能相关联的接口程序等)。

用户界面306可包括输入设备和输出设备的任何组合。用户可操作用户界面306中包括的输入设备以调用设备344的功能，并且可经由用户界面306的输出设备来查看、收听和/或以其他方式体验来自设备344的输出。

输出设备的示例可包括显示器320、扬声器322和触觉输出发生器324。可使用紧凑型显示技术(例如，液晶显示器(LCD)、发光二极管(LED)、有机发光二极管(OLED)等)来实现显示器320。在一些示例中，显示器320可结合柔性显示元件或曲面玻璃显示元件，从而允许设备344符合所需形状。可使用小型扬声器技术，包括能够将电子信号转换为可听声波的任何技术来提供一个或多个扬声器322。在一些示例中，扬声器322可用于产生音调(例如，蜂鸣声或振铃)，并且可以但无需能够再现具有任何特定保真度的声音诸如语音或音乐。触觉输出发生器324可为例如可将电信号转换成振动的设备。在一些示例中，振动可足够强，以由佩戴设备344的用户感觉到，但又不至于产生独特的声音。

输入设备的示例可包括麦克风326、触摸传感器328和相机329。麦克风326可包括将声波转换成电信号的任何设备。在一些示例中，麦克风326可足够灵敏以提供用户说出的特定词语的表示；在其他示例中，麦克风326可用于提供对总体环境声级的指示，而不必提供特定声音的高质量电子表示。

触摸传感器328可包括例如电容传感器阵列，其具有将接触定位到传感器表面上的特定点或区域的能力。在一些示例中，触摸传感器328可区分多个同时接触。在一些示例中，触摸传感器328可被上覆在显示器320上方以提供触摸屏界面(例如，图2的触摸屏显示器228)，并且处理子系统302可根据当前在显示器320上显示的内容来将触摸事件(包括轻击和/或利用一个或多个接触作出的其他手势)转译成特定用户输入。

相机329可包括例如紧凑型数码相机，该相机包括图像传感器诸如CMOS传感器以及被布置为将图像对焦到图像传感器上的光学部件(例如，镜头)，连同可操作以使用成像部件来捕获并存储静态图像和/或视频图像的控制逻辑部件。图像可被存储在例如存储子系统304中和/或由设备344传输到其他设备以进行存储。根据具体实施，光学部件可提供固定焦距或可变焦距；在一些示例中，在具有可变焦距的情况下，可提供自动对焦。在一些示例中，相机329可沿着面部构件的边缘(例如，图2的面部部分204的顶部边缘)设置并且定向成允许用户捕获环境中附近对象的图像，诸如例如条形码或QR码。在一些示例中，相机329可被设置在面部部分的前表面上(例如，以捕获用户的图像)。在一些示例中，相机可位于背面部分(例如，图2中所示的背面部分205)上，并且可捕获用户(例如，用户的手)的图像。根据具体实施，可提供任意数量的相机。

在一些示例中，用户界面306可向辅助设备诸如头戴式耳机提供输出，和/或从辅助设备接收输入。例如，音频插孔330可经由音频电缆(例如，标准的2.5mm或3.5mm音频电缆)连接到辅助设备。音频插孔330可包括输入路径和/或输出路径。因此，音频插孔330可向辅助设备提供音频和/或从辅助设备接收音频。在一些示例中，无线连接接口可用于与辅助设备进行通信。

处理子系统302可被实现为一个或多个集成电路(例如，一个或多个单核或多核微处理器或微控制器)。在操作中，处理系统302可控制设备344的操作。在一些示例中，处理子系统302可响应于程序代码来执行各种程序，并且可维护多个同时执行的程序或进程。在任何给定时间，待执行的一些或全部程序代码可存储在处理子系统302中和/或存储介质诸如存储子系统304中。

通过合适的编程，处理子系统302可为设备344提供各种功能。例如，处理子系统302可执行操作系统(OS)332和各种应用程序334，诸如电话界面应用程序、文本消息界面应用程序、媒体界面应用程序、健身应用程序和/或其他应用程序。在一些示例中，这些应用程序334中的一些或全部可例如通过生成要发送到主机设备的消息和/或通过从主机设备接收和解释消息来与主机设备进行交互。在一些示例中，应用程序中的一些或全部可对设备344进行本地操作。例如，如果设备344具有被存储在存储子系统304中的本地媒体库，则媒体界面应用程序可提供用户界面，以选择和播放本地存储的媒体项。处理子系统302还可例如通过执行手势处理代码336(其可为OS 332的一部分或根据需要单独提供)来提供基于手腕手势的控制。

RF(射频)接口308可允许设备344与各种主机设备无线通信。RF接口308可包括诸如天线和支持电路之类的RF收发器部件，以使得能够通过无线介质(例如，使用Wi-Fi/IEEE802.11家族标准)、蓝牙或用于无线数据通信的其他协议进行数据通信。RF接口308可使用硬件部件(例如，驱动电路、天线、调制器/解调器、编码器/解码器，以及其他模拟信号处理电路和/或数字信号处理电路)与软件部件的组合来实现。在一些示例中，RF接口308可提供近场通信(“NFC”)能力，例如实现ISO/IEC 18092标准等；在一些示例中，NFC可支持在非常短的范围内(例如，20cm或更小)的设备之间的无线数据交换。可将多个不同的无线通信协议和相关联的硬件结合到RF接口308中。

连接器接口310可允许设备344经由有线通信路径，例如使用通用串行总线(USB)、通用异步接收器/发射器(UART)或用于有线数据通信的其他协议来与各种主机设备进行通信。在一些示例中，连接器接口310可提供电力端口，从而允许设备344接收电力，例如以对电池340充电。例如，连接器接口310可包括连接器诸如微型USB连接器或定制连接器以及支持电路。在一些示例中，连接器可为可提供专用电源和接地触点的定制连接器，以及可用于并行实现不同通信技术的数字数据触点；例如，可将两个引脚分配为USB数据引脚(D+和D-)，并且两个其他引脚可分配为串行发送/接收引脚(例如，实现UART接口)。特定通信技术的引脚分配可为硬件，也可在建立连接时协商。在一些示例中，连接器还可提供音频和/或视频信号的连接，这些连接可以模拟和/或数字格式发送到主机设备或从主机设备发送。

在一些示例中，连接器接口310和/或RF接口308可用于支持同步操作，在同步操作中，数据可从主机设备传送到设备344(反之亦然)。例如，如下所述，用户可为设备344定制某些信息(例如，与手腕手势控制有关的设置)。虽然用户界面306可支持数据输入操作，但用户可能发现在具有更大界面(例如，包括真实或虚拟字母数字键盘)的单独设备(例如，平板电脑或智能手机)上定义自定义信息更加方便。可通过同步操作将定制信息传送到可穿戴设备。同步操作还可用于加载和/或更新存储子系统304中的其他类型的数据，诸如媒体项、应用程序、个人数据和/或操作系统程序。可响应于显式用户请求和/或自动地执行同步操作(例如，当设备344恢复与特定主机设备的通信时或响应于任一设备接收到对其同步信息副本的更新)。

设备传感器314可包括可提供与设备344周围的外部条件有关的信息的各种电子、机械、机电、光学和/或其他设备。传感器314可根据需要例如基于流传输或响应于由处理子系统302进行的轮询将数字信号提供给处理子系统302。可使用任何类型和组合的设备传感器。例如，设备传感器314可包括加速度计342、磁力仪344、陀螺仪传感器346、GPS(全球定位系统)接收器348、光学传感器362和气压传感器364。设备传感器314中的一者或多者可提供关于设备344的位置和/或运动的信息。例如，加速度计342可例如使用压电部件或其他部件来感测沿一个或多个轴的加速度(相对于自由下落)，结合相关联的电子器件以产生信号。磁力仪344可感测周围磁场(例如，地球磁场)并且可生成可被解释为罗盘方向的对应电信号。陀螺仪传感器346可例如使用一个或多个微机电系统(MEMS)陀螺仪以及相关的控制和感测电路来感测在一个或多个方向上的旋转运动。GPS接收器348可基于从GPS卫星接收的信号来确定位置。光学传感器362可感测例如在确定与用户相关联的光电容积描记图(PPG)信息中使用的光的一种或光学特性。在一些示例中，光学传感器362可包括环境光传感器(ALS)以确定环境光特性。气压传感器364可感测大气压以解析设备的垂直位置信息。

除了或代替这些示例，还可包括其他传感器。例如，声音传感器可结合麦克风326连同相关联的电路和/或程序代码以确定例如环境声音的分贝等级。还可包括温度传感器、接近传感器、超声波传感器等。

条带传感器316可包括各种电子的、机械的、机电的、光学的或其他设备，可提供有关当前是否正在佩戴设备344的信息，以及有关由于用户手腕的运动而可能作用在条带上的力的信息。例如，条带传感器316可包括光学传感器和/或一个或多个相机，如下所述。在一些示例中，例如，可使用手势处理代码336来分析来自条带传感器316的信号，以基于传感器信号来识别腕部手势和/或手指位置。此类手势和/或手指位置可用于控制设备344的操作。

电源子系统312可为设备344提供电力和电源管理功能。例如，电源子系统312可包括电池340(例如，可再充电电池)和相关联的电路，以将电力从电池340分配到设备344的可需要电力的其他部件。在一些示例中，例如，当连接器接口310可连接到电源时，电源子系统312还可包括可操作以对电池340充电的电路。在一些示例中，电源子系统312可包括“无线”充电器，诸如感应充电器，以在不依赖连接器接口310的情况下对电池340充电。在一些示例中，除了电池340之外或代替电池340，电源子系统312还可包括其他电源(例如，太阳能电池)。

在一些示例中，电源子系统312可控制对设备344内的部件的电力分配，以有效地管理功率消耗。例如，当条带传感器316或其他传感器指示用户未佩戴设备344时，电源子系统312可将设备344自动置于“休眠”(或睡眠/非活动)状态。休眠状态可被设计为减少功率消耗。例如，用户界面306(或其部件)、RF接口308、连接器接口310和/或设备传感器314可断电(例如，进入低功率状态或完全关闭)，而条带传感器316可被通电(连续地或间隔地)以检测用户何时戴上设备344。在一些示例中，当设备344正在被佩戴时，电源子系统312可根据由设备传感器314和/或条带传感器316检测到的设备344的运动和/或取向来打开或关闭显示器320和/或其他部件。例如，如果设备344可被设计为佩戴在用户的手腕上，则电源子系统312可基于加速度计342提供的信息检测用户手腕的抬起和转动，如通常与查看手表的面部相关联。响应于该检测到的运动，电源子系统312可自动打开显示器320和/或触摸传感器328。类似地，电源子系统312可响应于检测到用户的手腕已经返回到中间位置(例如，垂下)而自动关闭显示器320和/或触摸传感器328。如下所述，在一些示例中，可使用其他传感器来确定用户手腕的轴向取向，以用于唤醒(例如，从非活动状态切换至具有较高功率消耗的活动状态)设备或将设备置于休眠状态。

电源子系统312还可提供其他电源管理能力，诸如基于可用电力的来源和量来调节设备344的其他部件的功率消耗，监测并且存储电池340中的电力，如果所存储的电力下降到最低水平以下则生成用户警报，等等。

在一些示例中，电源子系统312的控制功能可使用可编程或可控制电路来实现或可实现为独立微处理器或微控制器单元(MCU)360，该可编程或可控制电路响应于由处理子系统302响应于在其上执行的程序代码所生成的控制信号而操作。

本公开的示例可包括对图3所示的框图的变型和修改。例如，可修改条带传感器316，并且设备344可包括用户可操作以提供输入的用户可操作控件(例如，按钮或开关，诸如表冠318)。表冠318可包括一个或多个传感器338(例如，相机)。还可提供控件，例如以打开或关闭显示器320、使来自扬声器322的声音静音或解除静音等。设备344可包括任何类型的传感器和传感器组合，并且在一些示例中，可包括给定类型的多个传感器。

在一些示例中，用户界面可包括任何或所有上述部件，以及未明确描述的其他部件的任何组合。例如，用户界面可仅包括触摸屏，或者触摸屏和扬声器，或者触摸屏和触觉设备。在可穿戴设备包括RF接口的情况下，可省略连接器接口，并且设备344与其他设备之间的通信可使用无线通信协议来进行。可为任何数据连接分别提供有线电源连接(例如，用于给设备344的电池充电)。

此外，尽管参考功能块描述了设备，但应当理解，定义这些块是为了描述方便，并非意在暗示部件部分的特定物理布置。此外，块不必对应于物理上不同的部件。可以例如通过对处理器进行编程或提供适当的控制电路来配置块以执行各种操作，并且根据初始配置的获得方式，各个块可能是可重新配置的或不可重新配置的。可在包括使用电路和软件的任何组合实现的电子设备的各种装置中实现本公开的示例。此外，本公开的示例不限于要求在给定的可穿戴设备中实现图中所示的每个块。

主机设备(例如，图2的主机设备236)可使用与上文所述的块类似的块(例如，处理器、存储介质、用户界面设备、数据通信接口等)和/或其他块或部件而被实现为电子设备。能够与特定可穿戴设备通信的任何电子设备都可充当相对于该可穿戴设备的主机设备。主机设备与无线设备之间的通信可根据这两个设备可被编程或以其他方式配置为进行使用的任何通信协议(或协议的组合)来实现。在一些示例中，可使用此类协议(例如，蓝牙)。在一些示例中，可定义自定义消息格式和语法(包括，例如，用于解释数字数据传输中的特定字节或字节序列的一组规则)，并且可使用标准串行协议(例如，在某些蓝牙标准中所定义的虚拟串行端口)来传输消息。

本公开的示例可包括用于使用近红外和/或红外传感器扫描用户的静脉的系统和方法。扫描用户的静脉可用于例如检测一个或多个手势和/或手指位置，其中一个或多个手势和/或手指位置可为可以不使用触摸或听觉输入的手势。图4A-4B示出了根据本公开的示例的示例性用户的手部的顶视图。用户的手部401可包括示出为手部401A的手掌侧，其包括多个静脉403A，以及示出为手部401B的手背侧，其包括多个静脉403B。一个或多个便携式电子设备可利用一个或多个传感器(例如，相机)来捕获用户静脉403的多个图像。在一些示例中，可在不同时间(例如，连续的时间帧)拍摄多个图像。该设备可将多个图像中所显示的静脉与用户的关节和一个或多个姿势(例如，手部姿势)相关。根据姿势，可确定用户的手部运动(例如，手指运动)。该设备可将一个或多个手势和/或手指位置(例如，通过与统计模型进行比较)与用户的手部运动(例如，手指运动)进行匹配，并且可执行与所确定的手势和/或手指位置相关联的一个或多个设备功能(例如，拨打电话)。

图5A示出了根据本公开的示例的用于确定PPG信号的示例性设备的底侧的顶视图。设备544可包括光发射器506和516以及光传感器504。来自光发射器506的光可入射到用户的皮肤上，并且可反射回来以被光传感器504检测到。类似地，来自光发射器516的光可入射到用户的皮肤上，并且可反射回来以被光传感器504检测到。除此之外或作为另外一种选择，一个或多个光发射器-光传感器对可用于捕获用户的手部的一个或多个图像(例如，图4A-图4B中所示的用户的手部401)。

在一些示例中，设备可包括位于设备的表冠上的一个或多个传感器。图5B示出了根据本公开的示例的示例性可穿戴设备的透视图，该可穿戴设备具有位于设备的表冠上的一个或多个传感器。设备544可包括面部504和条带546。可使用条带保持器(未示出)将条带546连接到面部部分504。表冠可为可被操纵的机械部件(例如，用于上链手表的杆或轴上的盖)。例如，表冠可在一个或多个方向上被按压、旋转、触摸、倾斜和/或沿着轨道至少部分地围绕设备544的外壳的周边滑动。表冠还可包括一个或多个传感器538(例如，相机)，用于捕获用户手部的一个或多个图像。

在一些示例中，该设备可包括位于连接到该设备的条带上的一个或多个传感器。图5C示出了根据本公开的示例的示例性可穿戴设备的透视图，该可穿戴设备具有位于条带上的一个或多个传感器。在一些示例中，条带546可包括多个柔性部分和/或多个刚性部分。在一些示例中，例如，柔性部分可被配置为在用户的手腕伸展时展开。传感器516可位于弹性部分、刚性部分或两者上。传感器516可用于捕获用户的手部的一个或多个图像。

在一些示例中，设备可包括位于沿着设备的多个位置处的传感器和/或附接到设备的附件。传感器可位于不同的位置，例如，以捕获不同的信息。例如，至少一个传感器(例如，图5A所示的光发射器506-光传感器504对)可被配置为对用户的手部的手背侧成像，而至少一个其他传感器(例如，图5C中所示的传感器538)可被配置为对用户的手部的手掌侧成像。

如上所述，该设备可包括一个或多个传感器(例如，相机)以拍摄用户静脉的一个或多个图像，该图像可以用于检测手势和/或手指位置以执行一个或多个设备功能。图6A示出了根据本公开示例的用于检测手势的过程。过程650可包括在多个时间帧上捕获多个图像(步骤652)。在一些示例中，可使用一个或多个传感器(例如，图5B中所示的传感器538，图5C中所示的传感器516等)来捕获多个图像。在一些示例中，可将多个图像(例如，静脉移植物的图像)转换成代表性数字图像。例如，如图6B所示，用户的手部可具有第一姿势611，该第一姿势可在第一时间帧内使用一个或多个传感器来捕获。该设备可将图像转换为数字表示，诸如数字图像613。数字图像613可包括静脉的数字表示(例如，数字静脉603A、数字静脉603B、数字静脉603C等)。在一些情况下，多个图像中的一者或多者(例如，连续的)可以包括用户的手部的不同姿势。在其他情况下，多个图像中的一者或多者可以包括用户手部的相同姿势。在一些示例中，时间帧可包括预先确定的时间量。在一些情况下，设备可在时间帧之间等待预先确定的延迟时间。

在步骤654中，可以将多个图像中的一个或多个特征(例如，图4A-4B所示的用户的静脉403)与用户的关节和/或一个或多个姿势相关。相关性可包括将静脉的一个或多个属性(例如，位置、相对间隔、形状、血流等)与用户的一个或多个关节和/或一个或多个姿势进行匹配。根据图像和/或相关性，设备可确定用户的手部姿势(过程650的步骤656)。例如，如图6B所示，设备可基于静脉的形状、角度和/或大小(例如，数字静脉603B相对于数字静脉603C的方向、数字静脉603C的形状等)确定用户的食指是否伸展。

在一些示例中，姿势可由于用户关节的运动而变化，其中该运动也会影响用户静脉的属性。在步骤658中，可从姿势确定用户的手部运动(例如，手指运动)。在一些示例中，可使用姿势之间的差异来确定用户的手部运动(例如，手指运动)。例如，在第一时间帧内，用户的手部可具有第一姿势(例如，用户的手指可如图6B所示张开)。第一图像可捕获相邻静脉(例如，数字静脉603B和数字静脉603C)之间的第一间隔和角度。在随后的(例如，第二)时间帧期间，用户的手部可具有第二姿势615(例如，用户的手指可如图6C所示闭合)，该第二姿势可由于用户关节的运动而与第一姿势不同。可拍摄第二图像(例如，从相同的角度，诸如用户左手的手背侧，如图6C所示)，并且设备可将图像转换为数字表示，诸如数字图像617。该设备可将数字静脉603D与用户的无名指相关，将数字静脉603E与用户的中指相关，将数字静脉603F与用户的食指相关。用户的运动可以导致数字图像中一个或多个差异。例如，数字静脉603C可与和数字静脉603F相同的手指相关，并且数字静脉的位置的差异可归因于用户的运动。

在一些示例中，可将所确定的手部运动(例如，手指运动)与预先确定的统计模型进行比较(例如，以提高确定用户的手部运动(例如，手指运动)、手势和/或手指位置的准确性)。在一些情况下，预先确定的统计模型可包括一个或多个动态预测的姿势和/或一个或多个相关的关节。例如，系统可将第一姿势和第二姿势与统计模型进行匹配，以预测用户的第三姿势可能是什么。该预测可用于防止执行一个或多个设备功能(下文讨论)的延迟和/或为了方便起见(例如，用户不必执行第三姿势)。

在步骤660中，可基于用户的手部运动(例如，手指运动)动态地确定一个或多个手势和/或手指位置。例如，手势和/或手指位置可与多个时间帧上的一系列姿势相关联。使用上面给出的示例，用户手指张开的第一姿势，接着用户手指闭合的第二姿势，可与关闭便携式电子设备上的应用程序的手势相关联。手势和/或手指位置与用户运动之间的关联可预先确定(例如，位于库文件中)。

在一些示例中，用户的手部运动(例如，手指运动)可包括一个或多个新手势和/或姿势。例如，新手势可为在用户执行手部运动(例如，手指运动)时不包括在预先确定的手势的库文件中的手势。设备可确定用户执行了新的手势和/或姿势，并且可记录新的手势和/或姿势(如下所述)。设备可将新的手势和/或姿势添加到库文件中。

在步骤662中，设备可使用所确定的手势和/或姿势来执行一个或多个设备功能。设备功能的示例可包括但不限于打电话、打开应用程序、执行与应用程序相关联的操作、记录新的手势和/或手指位置、在显示器上显示消息以及与虚拟对象进行交互。例如，用户可与三维空间中的虚拟对象进行交互。作为示例，在示例性设备的显示器上，可将三个杯子放置在桌子的顶部上。在确定“拾取”手势和/或姿势(例如，用户的手指卷曲，好像正在拾取对象)时，当用户向空中执行该手势和/或姿势时，虚拟杯子中的一者可在屏幕上被显示为拾取。随后，在确定“放下”手势和/或姿势(例如，用户的手指被打开，就好像对象被放下)时，当用户向空中执行该手势和/或姿势时，虚拟杯子可在屏幕上显示为掉落并粉碎。这样，经由此处公开的示例确定用户的手势和/或手指位置可用于虚拟现实(VR)应用程序。

在一些示例中，设备可能够在用户完成手势和/或姿势之前预测用户的手势和/或姿势，如图6D所示。过程670可包括在多个时间帧上捕获多个图像(步骤672)。在一些示例中，可以使用一个或多个传感器(例如，图3所示的传感器338)捕获多个图像。时间帧可包括预先确定的时间量。在一些情况下，设备可在时间帧之间等待预先确定的延迟时间。在一些示例中，多个图像可为可被转换成代表性数字图像的静脉移植物的图像。在步骤674中，可将多个图像中的一个或多个特征(例如，图4A-图4B所示的用户的静脉403)与用户的关节和/或一个或多个第一姿势相关。该相关性可包括将静脉的一个或多个属性(例如，位置、相对间隔、形状、血流等)与用户的关节和/或第一姿势进行匹配。

在一些示例中，第一姿势可由于用户关节的运动而变化，其中该运动也会影响用户静脉的属性。例如，在多个时间帧内，用户的手部可执行第一姿势(例如，用户的手指用手语示意字母“M”)。该设备可拍摄用户的静脉的第一图像，可将捕获的第一图像转换为代表性的数字第一图像，并且可将静脉与用户的关节相关(例如，根据上述的步骤672和步骤674)。

在步骤676中，设备可在第二多个时间帧上捕获第二多个图像。在一些示例中，第二多个时间帧可紧随在步骤672中描述的第一多个时间帧。在一些示例中，第二多个时间帧可在不立即跟随第一多个时间帧的稍晚时间发生。

在步骤678中，第二多个图像中的一个或多个特征(例如，图4A-图4B所示的用户的静脉403)可与用户的关节和/或一个或多个第二姿势相关。该相关性可包括将静脉的一个或多个属性(例如，位置、相对间隔、形状、血流等)与用户的一个或多个关节和/或一个或多个第二姿势进行匹配。在一些示例中，第一姿势和第二姿势可为不同的姿势。在其他示例中，第一姿势和第二姿势可为基本上相同的姿势。

例如，在第二时间帧，用户的手部可执行第二姿势(例如，用户的手指用手语示意字母“O”)，该第二姿势可由于用户关节的运动而不同于第一姿势。该设备可将捕获的第二图像转换为代表性的第二数字图像，并将静脉与用户的关节相关。

在步骤680中，可基于相关的第一姿势和第二姿势(例如，根据上面讨论的步骤672至678)在步骤678之后动态地预测未来姿势和/或手势。在一些示例中，预测可包括确定第一多个图像和第二多个图像中的静脉的一个或多个属性(例如，位置、相对间隔、形状、血流等)，并基于该一个或多个属性预测第三姿势。附加地或另选地，该预测可基于一个或多个模式(例如，存储在库文件中)。在其他示例中，预测的姿势或手势可基于可能的姿势或手势的有限集合。例如，可以分别基于手语中的“M”和“O”的第一姿势和第二姿势，将预测的第三姿势与手语中的字母“M”相关联。可能的姿势或手势可具有与其相关联的某个置信度值，其中较高的置信度值可指示预测正确的可能性较高。使用以上示例，字母“M”的预测姿势可比字母“X”的预测姿势具有更高的置信度值。基于预测的准确性，设备可动态地改变置信度值。在一些情况下，用户可提供有关预测是否正确的指示。

在步骤682中，可确定预测的成功(例如，基于置信度值)。当可基于预测确定一个或多个手势和/或姿势时，如果成功地预测了手势和/或姿势，则过程可前进至步骤684。在一些示例中，可将预测的姿势或手势与预先确定的统计模型进行比较以确定预测的姿势或手势的准确性。在其他示例中，可基于先前的姿势来确定预测的姿势或手势的成功。例如，按照上述示例，由于姿势序列拼写了手语中的正确单词“MOM”，因此可确定手语中的“M”的第三姿势被成功预测。如果没有成功地预测手势和/或姿势，则预测过程可返回到步骤676以捕获更多图像。例如，所捕获的图像可能不足以做出准确的预测(例如，所捕获的图像可能不包括足够的样本)，因此可以拍摄更多所捕获的图像以增加预测的姿势或手势的置信度。在一些示例中，在确定不成功的预测之后，该设备可选地可在没有预测的姿势和/或手势的情况下确定一个或多个姿势和/或手势，类似于图6A中描述的过程。

在步骤684中，在确定成功的姿势和/或手势预测之后，可根据相关的姿势和预测的姿势和/或手势来动态地确定一个或多个手势。在一些示例中，所确定的运动可包括至少一个预测姿势。在一些示例中，可使用在多个时间帧上的用户运动(例如，根据步骤672至678确定的一系列姿势)以及预测的姿势和/或手势(例如，根据步骤680确定)来确定手势。在一些示例中，可重复步骤676和678，直到获得对一个或多个手势和/或姿势的成功预测。

在一些示例中，可通过将运动与预先确定的手势和/或姿势的库文件相关来确定手势和/或姿势。在一些示例中，运动可为一个或多个新的手势和/或姿势。例如，新的手势和/或姿势可为未包括在库文件中的手势和/或姿势。在其他示例中，可将新的手势和/或姿势添加到库文件中。

在步骤686中，可执行与所确定的手势和/或姿势相关联的一个或多个设备功能。设备功能的示例可包括但不限于拨打电话、打开应用程序、执行与应用程序关联的操作、记录新手势和/或姿势以及与一个或多个虚拟对象进行交互。在一些示例中，可在执行功能之前要求用户验证设备功能，以确保预测了准确的姿势和/或手势。

除了确定手势和/或姿势之外，该设备还能够记录手势。图7A示出了根据本公开的示例的用于记录一个或多个手势和/或姿势的过程。过程750可包括在多个时间帧上捕获多个图像(步骤752)。在一些示例中，可使用一个或多个传感器(例如，图3所示的传感器338)捕获多个图像。在一些示例中，多个图像可为可被转换成代表性数字图像的静脉移植物的图像。在一些情况下，多个图像中的一者或多者可以包括用户的手部的相同姿势。时间帧可包括预先确定的时间量。在一些情况下，该设备可在时间帧之间等待预先确定的延迟时间。

在步骤754中，可将多个图像中的一个或多个特征(例如，图4A-图4B所示的用户的静脉403)与用户的关节和/或一个或多个姿势相关。相关性可包括将静脉的一个或多个属性(例如，位置、相对间隔、形状、血流等)与用户的一个或多个关节和/或一个或多个姿势进行匹配。例如，该设备可拍摄用户的手部的手背侧的图像，并将静脉与用户的相应的手指相关。

在步骤756中，对于一个或多个(例如，每个)图像和/或对于一个或多个(例如，每个)静脉关节相关性，设备可确定用户的手部姿势。例如，设备可基于静脉的形状和/或大小确定用户的手指是否卷曲。例如，卷曲的手指可模仿握住虚拟乐器(例如，握住吉他的琴颈)。

在一些示例中，姿势可由于用户关节的运动而变化，其中运动也会影响用户静脉的属性。例如，在第一时间帧内，用户的手部可具有第一姿势(例如，用户的三个手指可在代表第一吉他和弦的位置闭合)。第一图像可被捕获，并可代表用户静脉的第一取向图案。在随后的(例如，第二)时间帧内，用户的手部可具有第二姿势(例如，这三个手指可在代表第二吉他和弦的位置张开)。第二图像可被捕获，并可代表用户静脉的第二取向图案。第二取向图案可不同于第一取向图案。

在步骤758中，可根据一个或多个姿势来确定用户的手部运动(例如，手指运动)。在一些示例中，可根据一个或多个姿势之间的差异(例如，与用户的每个手指相关联的静脉形状的变化)来确定用户的手部运动(例如，手指运动)。例如，可将第一姿势的第一图像(例如，用户在第一吉他和弦位置的闭合手指)与第二姿势的第二图像(例如，用户在第二吉他和弦位置的张开手指)进行比较。可检测到一个或多个特征中的差异(例如，静脉的位置、静脉的角位移等)。

在一些示例中，可改变时间帧的持续时间以调节手势/姿势确定的粒度(例如，包括图像捕获的频率和对应的确定)。使用上面给出的示例，可以缩短时间帧的持续时间，以捕获用户手指从第一吉他和弦位置到第二吉他和弦位置的过渡。在一些情况下，如果设备做出不正确的手势和/或姿势确定，则可调整手势和/或姿势确定的粒度以提高手势和/或姿势确定的准确性。在一些示例中，可增加图像的分辨率以增强手势和/或姿势确定的粒度。例如，可采用发射器和传感器的附加组合(例如，通过激活附加的发射器或传感器或采用未使用的发射器/传感器对)。附加地或另选地，可在相同量的总持续时间期间捕获不同数量(例如，更多)的图像。这样，中间姿势(例如，在闭合和张开手指之间的姿势)可被捕获。在一些示例中，可基于置信度值和/或用户输入来动态改变该持续时间。

在步骤760中，可基于用户的手部运动(例如，手指运动)来确定一个或多个手势和/或姿势。例如，手势和/或姿势可与多个时间帧上的一系列姿势相关联。使用上面给出的示例，在弹奏虚拟吉他时，用户的闭合手势的第一姿势，然后用户张开闭合的手指的第二姿势，可与两个和弦之间的转换相关联。手势和/或姿势与用户运动之间的关联可被预先确定(例如，位于库文件中)。例如，在库文件中，可将多个卷曲的手指姿势与虚拟吉他的手势相关联。

在一些示例中，用户的手部运动(例如，手指移动)可包括一个或多个新手势和/或姿势。例如，新的手势和/或姿势可为未包括在库文件中的手势和/或姿势。设备可确定用户执行了新的手势和/或姿势，并且可记录新的手势和/或姿势。设备可将新的手势和/或姿势添加到库文件中。在另一个示例中，新的手势和/或姿势可与虚拟吉他上的不常见的和弦(例如，在相关联的统计模型中具有很少或没有样本的手势和/或姿势)相关联。

在步骤762中，设备可记录所确定的手势、姿势和/或与所确定的手势和/或姿势相关联的图像。在一些示例中，可在确定所确定的手势和/或姿势是新的手势和/或姿势之后记录手势、姿势和/或相关联的图像。例如，可确定用户在虚拟吉他琴颈上的手指位置，但是和弦可能是未知的(例如，未存储在库文件中)。用户可记录手指的位置(例如，姿势)，并将新的和弦与一个或多个姿势相关联。在一些示例中，可对所记录的手势和/或姿势以及相关联的图像进行分类。例如，包括卷曲的手指的手势和/或姿势可以被分类为针对虚拟吉他的手势和/或姿势。

在一些示例中，所记录的手势和/或姿势可为独立的。换句话说，所记录的手势和/或姿势可以不包括在库文件中和/或可以不影响库文件的属性。在其他情况下，新记录的手势和/或姿势可为库文件的一部分和/或可影响库文件的一个或多个属性。

在步骤764中，可基于所记录的图像、姿势和/或手势来更新一个或多个库文件。在一些示例中，更新库文件可包括修改一个或多个姿势与一个或多个手势的相关性，其中一个或多个姿势和/或一个或多个手势可能不是预先存在的(即，不是新的)。可用与所记录的图像、姿势和/或手势相关联的一个或多个信息来更新库文件。示例性信息可包括但不限于手势、姿势、一个或多个图像、与手势、姿势和/或图像相关联的统计模型、与手势和/或姿势相关联的一个或多个应用程序以及用户特征。附加地或另选地，更新库文件可包括向一个或多个设备功能添加和/或修改一个或多个手势和/或姿势的关联。

在一些示例中，设备可能够在用户完成手势和/或姿势并记录该手势和/或姿势之前预测用户的手势和/或姿势，如图7B所示。过程770可包括在一个或多个时间帧上捕获一个或多个图像(步骤772)。在一些示例中，可使用一个或多个传感器(例如，图3所示的传感器338)来捕获多个图像。在一些示例中，多个图像可为可被转换成代表性数字图像的静脉移植物的图像。在一些情况下，多个图像中的一者或多者可包括用户的手部的相同姿势。时间帧可包括预先确定的时间量。在一些情况下，设备可在时间帧之间等待预先确定的延迟时间。

在步骤774中，可将多个图像中的一个或多个特征(例如，图4A-图4B所示的用户的静脉403)与用户的关节和/或一个或多个姿势相关。该相关性可包括将静脉的一个或多个属性(例如，位置、相对间隔、形状、血流等)与用户的一个或多个关节和/或一个或多个姿势进行匹配。例如，该设备可拍摄用户的手部的手背侧的图像，并将静脉与用户相应的手指相关。在另一示例中，在时间帧内，用户的手部可具有姿势(例如，用户的三个手指可在代表吉他和弦的位置闭合)。可捕获用户的静脉图像并将其与用户的姿势相关。

在步骤776中，设备可在一个或多个第二时间帧上捕获一个或多个第二图像。在一些示例中，第二多个时间帧可接着第一多个时间帧(例如，步骤772)。在一些示例中，第二多个时间帧可在不立即跟随第一多个时间帧的稍晚时间发生。

在步骤778中，可将第二图像中的一个或多个特征(例如，图4A-图4B所示的用户的静脉403)与用户的关节和/或一个或多个第二姿势相关。该相关性可包括将静脉的一个或多个属性(例如，位置、相对间隔、形状、血流等)与用户的一个或多个关节和/或一个或多个第二姿势进行匹配。

在一些示例中，第一姿势和第二姿势可为不同的姿势。例如，在步骤772-774中描述的时间帧之后的后续(例如，第二)时间帧期间，用户的手部可具有第二姿势(例如，三个手指可在代表第二吉他和弦的位置打开)。在随后的第二时间帧内，可捕获用户静脉的第二图像并将其与用户的姿势相关。在一些示例中，在确定在随后的时间帧处的基本不同的第二姿势时，设备可继续执行步骤776-778中的一些或全部。

在其他示例中，第一姿势和第二姿势可为基本上相同的姿势。在一些示例中，在确定在随后的时间帧处的基本相同的第二姿势时，可放弃所捕获的图像和/或用户的静脉、手指和姿势之间的相关性。在其他情况下，第一图像可与第二图像相同，并且第一相关性可与第二相关性相同。

在步骤780中，可基于相关的第一姿势和第二姿势来动态地预测未来的姿势和/或手势(例如，根据上述的步骤772-778)。在一些示例中，预测可包括确定第一多个图像和第二多个图像中的静脉的一个或多个属性(例如，位置、相对间隔、形状、血流等)，并基于一个或多个属性预测第三姿势。在其他示例中，预测的姿势或手势可基于可能的姿势或手势的有限集合。例如，分别基于代表闭合和打开的吉他和弦的第一姿势和第二姿势(例如，用户可打手势跟着歌曲演奏)，预测的第三姿势可代表吉他上的巴利和弦(例如，食指伸直而其余手指卷曲)。在另一示例中，设备可基于闭合和打开的手指的第一姿势和第二姿势来预测用户的手指以第三姿势闭合(例如，用户可执行代表重复歌曲模式的手势和/或姿势)。

在步骤782中，可确定预测的成功(例如，基于置信度值)。在一些示例中，可将预测的姿势或手势与预先确定的统计模型进行比较以确定预测的姿势或手势的准确性。在其他示例中，可基于先前的姿势来确定预测的姿势或手势的成功。例如，按照上述示例，当与吉他和弦对应的姿势序列正确地演奏歌曲时，可确定成功预测了巴利和弦的第三姿势。

如果成功地预测了手势和/或姿势(例如，预测的手势和/或姿势与模型匹配或用户批准了该预测)，则当可从相关姿势和预测姿势和/或手势动态确定一个或多个手势和/或姿势时，该过程可前进至步骤784。在一些示例中，所确定的运动可包括至少一个预测的姿势。在一些示例中，可使用在多个时间帧上的用户运动(例如，从步骤772-778确定的一系列姿势)以及预测的姿势和/或手势(例如，根据步骤780)来确定手势和/或姿势。

如果没有成功地预测手势和/或姿势，则预测过程可以返回到步骤776以捕获附加的或不同的图像。例如，所捕获的图像可能不足以做出准确的预测(例如，所捕获的图像可能不包括足够的样本)。在这样的情况下，更多的捕获图像对于增加预测的姿势或手势的置信度可能是有用的。在另一个示例中，按照上面的示例，当在实际第三姿势中用户的食指卷曲时，可确定所预测的巴利和弦的第三姿势未成功地预测。在此示例中，可在预测第四姿势之前捕获并相关实际第三姿势中的用户静脉的图像。在一些示例中，可重复步骤776和778，直到在可确定一个或多个手势和/或姿势之前成功预测为止。在一些示例中，在确定不成功的预测时，设备可选地可确定和记录一个或多个手势和/或姿势而无需预测的手势和/或姿势。

在一些示例中，用户的手部运动(例如，手指运动)可包括一个或多个新手势和/或姿势。例如，新的手势和/或姿势可为库文件中未包括的手势和/或姿势。在步骤786中，设备可确定用户执行了新的手势和/或姿势，并且可记录新的手势和/或姿势。在一些示例中，可对所记录的手势和/或姿势以及相关联的图像进行分类(例如，与特定组相关联)。例如，包括卷曲的手指的手势和/或姿势可被分类为针对虚拟吉他的手势和/或姿势。

在一些示例中，所记录的手势和/或姿势可为独立的。换句话说，所记录的手势和/或姿势可以不属于库文件，或者可以不影响库文件的任何属性。在其他情况下，新近记录的手势和/或姿势可为库文件的一部分，或者可影响库文件的一个或多个属性。

在步骤788中，可基于所记录的图像、姿势和/或手势来更新一个或多个库文件。可使用与记录的图像、姿势和/或手势相关的一个或多个信息来更新库文件。示例性信息可包括但不限于手势、姿势、一个或多个图像、与手势、姿势和/或图像相关联的统计模型、与手势、姿势相关联的一个或多个应用程序以及用户特征。在一些示例中，可将新近更新的库文件合并到将来的预测、准确性确定等中。例如，可更新与用于跟着歌曲演奏的手势和/或姿势相关联的库文件，从而在用户将来演奏歌曲的段落时允许更快以及更准确的相关性和预测。

公开了一种用于由电子设备确定手势的方法。该方法可包括：在第一时间捕获手部中的一个或多个静脉的一个或多个第一图像；在与第一时间不同的第二时间捕获手部中的一个或多个静脉的一个或多个第二图像；基于一个或多个第一图像确定第一手部姿势；基于一个或多个第二图像确定第二手部姿势；以及至少基于第一手部姿势和第二手部姿势来确定手势。附加地或另选地，在一些示例中，第一手部姿势的确定包括将一个或多个第一图像中的一个或多个静脉与手部的一个或多个关节相关，其中第二手部姿势的确定包括将一个或多个第二图像中的一个或多个静脉与手部的一个或多个关节相关，并且其中手势的确定包括：检测第一图像和第二图像中一个或多个静脉的属性的一个或多个差异以确定一个或多个手部运动，其中，手势还基于该一个或多个手部运动。附加地或另选地，在一些示例中，所述属性可为位置、相对间隔、形状、位移和血流中的一者或多者。附加地或另选地，在一些示例中，一个或多个第一图像中的一个或多个静脉的相关性和一个或多个第二图像中的一个或多个静脉的相关性基于至少预先确定的模型。附加地或另选地，在一些示例中，该方法还包括：基于第一手部姿势和第二手部姿势预测第三手部姿势。附加地或另选地，在一些示例中，该方法还包括确定预测是否成功；并且根据确定该预测不成功：在第三时间捕获手部中的一个或多个静脉的一个或多个第三图像；以及至少基于一个或多个第三图像来确定第三手部姿势。附加地或另选地，在一些示例中，该方法还包括：确定预测是否成功；以及基于所确定的预测的成功来动态更新置信度值。附加地或另选地，在一些示例中，预测第三手部姿势包括：确定或接收相关联的置信度值，其中，所述预测是基于所述置信度值。附加地或另选地，在一些示例中，手势的确定是基于包括第一姿势和第二姿势的一系列姿势。附加地或另选地，在一些示例中，该方法还包括：验证手势的确定是否正确；以及根据确定手势不正确，动态地增加捕获一个或多个第一图像、一个或多个第二图像或两者的粒度。附加地或另选地，在一些示例中，该方法还包括：确定电子设备的与该手势相关联的一个或多个操作；以及当确定手势时，在电子设备上执行一个或多个操作。附加地或另选地，在一些示例中，该方法还包括：确定手势是否包括在库文件中；以及根据所述手势未包括在所述库文件中，在所述库文件中记录与所述手势相关联的信息，其中，所述信息包括手势、一个或多个第一图像、一个或多个第二图像、与手势相关联的统计模型、与手势相关联的一个或多个应用程序以及用户特征中的一者或多者。附加地或另选地，在一些示例中，该方法还包括：用所确定的手势来更新库文件。附加地或另选地，在一些示例中，该方法还包括：将手势分类为手势的类别；并将手势记录在相应的类别中。附加地或另选地，在一些示例中，该方法还包括：将一个或多个记录的手势的关联更新至第二设备操作，其中，在更新之前一个或多个记录的信息与第一设备操作相关联。

本文公开了一种电子设备。该电子设备可包括：一个或多个传感器，该传感器被配置为捕获手部中的一个或多个静脉的一个或多个第一图像；和处理器，所述处理器被配置成：接收所述一个或多个第一图像，接收所述一个或多个第二图像，将一个或多个第一捕获图像和一个或多个第二捕获图像分别转换为第一数字表示和第二数字表示，检测第一数字表示和第二数字表示之间的一个或多个差异，基于一个或多个差异确定一个或多个手部运动，基于一个或多个所确定的运动确定一个或多个手势，并基于一个或多个所确定的手势在电子设备上执行一个或多个操作。附加地或另选地，在一些示例中，一个或多个传感器位于设备的一侧、设备的底侧和设备的条带中的一者或多者上。附加地或另选地，在一些示例中，一个或多个传感器是位于设备底侧上的PPG传感器。附加地或另选地，在一些示例中，一个或多个传感器包括位于设备的表冠上的相机。附加地或另选地，在一些示例中，一个或多个传感器是一个或多个的近红外传感器、红外传感器，或两者。

虽然参照附图对公开的示例进行了全面的描述，但应注意，各种改变和修改对于本领域内的技术人员而言将变得显而易见。应当理解，此类改变和修改被认为包括在由所附权利要求所限定的所公开的示例的范围内。

Claims (20)

1.一种由电子设备确定手势的方法，所述方法包括：

在第一时间捕获手部中的一个或多个静脉的一个或多个第一图像；

在不同于所述第一时间的第二时间捕获所述手部中的所述一个或多个静脉的一个或多个第二图像；

基于所述一个或多个第一图像确定第一手部姿势，其中确定第一手部姿势包括将所述一个或多个第一图像中的所述一个或多个静脉与所述手部的一个或多个关节相关；

基于所述一个或多个第二图像确定第二手部姿势，其中确定第二手部姿势包括将所述一个或多个第二图像中的所述一个或多个静脉与所述手部的一个或多个关节相关；以及

至少基于所述第一手部姿势和所述第二手部姿势来确定手势。

2.根据权利要求1所述的方法，

其中手势的所述确定包括：

检测所述一个或多个第一图像和所述一个或多个第二图像中的所述一个或多个静脉的属性的一个或多个差异以确定一个或多个手部移动，其中所述手势还基于所述一个或多个手部移动。

3.根据权利要求2所述的方法，其中所述属性可为位置、相对间距、形状、位移和血流中的一者或多者。

4.根据权利要求2所述的方法，其中所述一个或多个第一图像中的所述一个或多个静脉的所述相关和所述一个或多个第二图像中的所述一个或多个静脉的所述相关至少基于预先确定的模型。

5.根据权利要求1所述的方法，还包括基于所述第一手部姿势和所述第二手部姿势来预测第三手部姿势。

6.根据权利要求5所述的方法，还包括：

确定所述预测是否不成功；以及

根据所述预测不成功：

在第三时间捕获所述手部中的所述一个或多个静脉的一个或多个第三图像；以及

至少基于一个或多个第三图像来确定所述第三手部姿势。

7.根据权利要求5所述的方法，还包括：

确定所述预测是否成功；以及

基于所确定的所述预测的成功来动态地更新置信度值。

8.根据权利要求7所述的方法，其中预测所述第三手部姿势包括：

确定或接收相关联的置信度值，其中所述预测基于所述置信度值。

9.根据权利要求1所述的方法，其中所述手势的所述确定基于包括所述第一手部姿势和所述第二姿势的姿势序列。

10.根据权利要求1所述的方法，还包括：

确定所确定的手势不正确；以及

根据所述手势不正确，动态地提高捕获所述一个或多个第一图像、所述一个或多个第二图像或两者的粒度。

11.根据权利要求1所述的方法，还包括：

确定所述电子设备的与所述手势相关联的一个或多个操作；以及

当所述手势被确定时，在所述电子设备上执行所述一个或多个操作。

12.根据权利要求1所述的方法，还包括：

确定所述手势是否包括在库文件中；以及

根据所述手势未包括在所述库文件中，将与所述手势相关联的信息记录在所述库文件中，

其中所述信息包括所述手势、所述一个或多个第一图像、所述一个或多个第二图像、与所述手势相关联的统计模型、与所述手势相关联的一个或多个应用以及用户特征中的一者或多者。

13.根据权利要求1所述的方法，还包括：

用所述手势来更新库文件。

14.根据权利要求13所述的方法，还包括：

将所述手势分类为手势的类别；以及

将所述手势记录在相应类别中。

15.根据权利要求12所述的方法，所述方法还包括：

更新以把所记录的信息关联到第二设备操作，其中在所述更新之前所记录的信息与第一设备操作相关联。

16.一种电子设备，包括：

一个或多个传感器，所述一个或多个传感器被配置为捕获手部中的一个或多个静脉的一个或多个第一图像并且捕获所述手部中的所述一个或多个静脉的一个或多个第二图像；和

处理器，所述处理器被配置为：

接收所捕获的一个或多个第一图像，

接收所捕获的一个或多个第二图像，

将所捕获的一个或多个第一图像和所捕获的一个或多个第二图像分别转换为第一数字表示和第二数字表示，

检测所述第一数字表示和所述第二数字表示之间的一个或多个差异，

基于所述一个或多个差异来确定一个或多个手部移动，其中所述一个或多个手部移动的所述确定包括将所述一个或多个第一图像中的一个或多个静脉与所述手部的一个或多个关节相关，

基于所确定的一个或多个手部移动来确定一个或多个手势，以及

基于所确定的一个或多个手势来对所述电子设备执行一个或多个操作。

17.根据权利要求16所述的电子设备，其中所述一个或多个传感器位于所述电子设备的侧面、所述电子设备的底面和所述电子设备的条带中的一者或多者上。

18.根据权利要求17所述的电子设备，其中所述一个或多个传感器为位于所述电子设备的底面上的PPG传感器。

19.根据权利要求16所述的电子设备，其中所述一个或多个传感器包括位于所述电子设备的表冠上的相机。

20.根据权利要求16所述的电子设备，其中所述一个或多个传感器是近红外传感器、红外传感器或两者中的一者或多者。

Images