CN103518179A - 虚拟键盘及其提供方法 - Google Patents

Abstract

本发明提供用于提供虚拟键盘的系统、方法和设备，包含编码在计算机存储媒体上的计算机程序。在一个方面中，一种系统包含相机、显示器、视频特征提取模块以及手势模式匹配模块。所述相机捕获含有用户的手指的图像序列，且所述显示器显示与具有多个虚拟键的虚拟键盘组合的每一图像。所述视频特征提取模块检测所述图像序列中的所述手指相对于所述虚拟键的虚拟传感器的运动，且基于所述检测到的相对于所述虚拟传感器的运动确定传感器致动数据。所述手势模式匹配模块使用所述传感器致动数据来辨识手势。

Description

虚拟键盘及其提供方法

技术领域

本发明涉及虚拟键盘。更具体地说，本发明涉及将键盘图像呈现到电子显示器上，且使用数码相机来检测用户的手指相对于所述所显示键盘的位置，以便将数据输入到计算机系统中。

背景技术

电子装置(包含个人计算机和移动电话)可具有用于接收来自用户的输入的键盘或小键盘。所述键盘可包含按钮或键的布置，且可使用机械切换装置来操作。或者，所述键盘可为显示于电子装置的显示器上的虚拟键盘，且用户可通过接触显示器的触敏表面来提供输入。

某些电子装置(例如移动电话)可具有相对较小的显示器。在某些例子中，对于用户来说，可能难以通过触摸显示屏来键入字符或输入其它命令。举例来说，用户的手指可能覆盖一个以上虚拟键，从而增加了键入错误的可能性。此外，在输入期间，用户的手可能阻挡显示器的部分，从而阻挡呈现在显示器上的信息，且使得用户难以确定是否已选择了适当的键。

发明内容

本发明的系统、方法和装置各自具有若干创新方面，其中无单独一者唯一地负责本文所揭示的合意属性。

在一个方面中，提供一种用于将数据输入到计算装置中的系统。所述系统包含：相机，其用于捕获含有用户的手指的图像序列；显示器，其用于显示与虚拟键盘组合的所述序列的每一图像；以及视频特征提取模块，其经配置以检测所述图像序列中的所述用户手指相对于所述虚拟键盘的运动。所述所显示图像中的所述手指相对于所述虚拟键盘的位置随着所述用户的所述手指相对于所述相机移动而改变，且所述虚拟键盘包含多个虚拟键，每一虚拟键具有多个虚拟传感器。所述视频特征提取模块使用所述所检测运动来捕获所述虚拟传感器的传感器致动数据。所述系统进一步包含手势模式匹配模块，其用于使用所述传感器致动数据来辨识用户的手势，且将数据输入到所述计算装置中。

在另一方面中，提供一种用于使用虚拟键盘将数据输入到电子装置中的方法。所述方法包含：接收含有用户的手指的图像序列；产生所述序列的每一图像的组合图像，所述组合图像含有所述用户的所述手指和虚拟键盘；以及检测所述图像序列中的所述手指相对于所述虚拟键盘的运动。所述虚拟键盘具有多个虚拟键，且每一虚拟键具有多个虚拟传感器。所述方法进一步包含通过将所述所检测运动的像素区与所述虚拟传感器的像素区进行比较来产生传感器致动数据；以及使用所述传感器致动数据来辨识手势以将数据输入到所述电子装置中。

在另一方面中，提供一种用于将数据输入到计算装置中的系统。所述系统包含：用于捕获含有用户的手指的图像序列的装置；用于显示与虚拟键盘组合的所述序列的每一图像的装置；以及用于检测所述图像序列中的所述用户手指相对于所述虚拟键盘的运动的装置。所述所显示图像中的所述手指相对于所述虚拟键盘的位置随着所述用户的所述手指相对于所述相机移动而改变，且所述虚拟键盘包含多个虚拟键，每一虚拟键具有多个虚拟传感器。所述用于检测运动的装置使用所述所检测运动来捕获所述虚拟传感器的传感器致动数据。所述系统进一步包含用于使用所述传感器致动数据来辨识用户的手势以将数据输入到所述计算装置中的装置。

在另一方面中，一种非暂时性计算机可读存储媒体包含指令，所述指令在被执行时实施使用虚拟键盘将数据输入到电子装置中的方法。所述方法包含：接收含有用户的手指的图像序列；产生所述序列的每一图像的组合图像，所述组合图像含有所述用户的所述手指和虚拟键盘；以及检测所述图像序列中的所述手指相对于所述虚拟键盘的运动。所述虚拟键盘具有多个虚拟键，且每一虚拟键具有多个虚拟传感器。所述方法进一步包含通过将所述所检测运动的像素区与所述虚拟传感器的像素区进行比较来产生传感器致动数据；以及使用所述传感器致动数据来辨识手势以将数据输入到所述电子装置中。

附图和以下描述中陈述本说明书中所描述的标的物的一个或一个以上实施方案的细节。其它特征、方面和优点将从描述、图式和所附权利要求书变得明白。注意，以下各图的相对尺寸可不按比例绘制。

附图说明

图1是根据一个实施例的具有服务器和所连接装置的网络的示意图。

图2是具有虚拟键盘的用户装置的一个实施例的示意图。

图3是捕获用户的手部运动的相机的示意图。

图4说明根据一个实施例的上覆于用户的手部图像上的虚拟键盘图像。

图5是用于虚拟键的虚拟传感器布局的三个实例的示意图。

图6是上覆于用户的手部图像上的图5的虚拟键的示意图。

图7是提供虚拟键盘的方法的一个实施例的流程图。

图8A是根据一个实施例的虚拟键盘的一部分。

图8B说明用于检测图8A的虚拟键盘的所述部分上的手部或手指运动的八个方向的八个手势辨识模板的实例。

图8C说明根据另一实施例的虚拟键盘的一部分。

图8D说明用于检测图8C的虚拟键盘的所述部分上的手势的手势辨识模板的实例。

图9是辨识手势的方法的一个实施例的流程图。

各个图中的相同参考编号和名称指示相同元件。

具体实施方式

以下对某些实施例的详细描述呈现本发明的特定实施例的各种描述。然而，本发明可以如由所附权利要求书界定并涵盖的众多不同方式来实施。在此描述中，参考图式，其中相同参考标号指示相同或功能上类似的元件。

本发明的实施例涉及用于控制虚拟键盘的系统和方法。本文所描述的虚拟键盘可用以将输入提供到用户装置中。举例来说，在其中用户装置为移动电话的实施例中，用户可使用虚拟键盘来拨电话号码，键入文本消息，且/或输入控制命令。在此实施例中，用户装置包含相机、显示器和处理器。相机可捕获用户的图像，且处理器可将虚拟键盘的图像上覆于所捕获的图像上。为了操作虚拟键盘，用户可使用她的手指或手在空中作出手势，例如手指键入运动，且无需触摸显示器的表面。

在某些实施例中，虚拟键盘可包含多个虚拟键，每一虚拟键具有多个虚拟传感器。可相对于虚拟传感器确定和测量用户手部和/或手指的运动，且可对照与各种用户手势相关联的一系列手势辨识模板来分析传感器数据序列。在一个实施例中，使用动态时间规整(DTW)来匹配不同速度的用户手势。

本发明结合大量其它通用或专用计算系统环境或配置来操作。可适合结合本发明使用的众所周知计算系统、环境和/或配置的实例包含但不限于个人计算机、服务器计算机、手持式或膝上型装置、多处理器系统、基于微处理器的系统、可编程消费型电子装置、网络PC、迷你计算机、包含上述系统或装置中的任一者的分布式计算环境，等等。

如本文所使用，指令涉及用于处理系统中的信息的计算机实施步骤。指令可在软件、固件或硬件中实施，且包含由系统的组件进行的任何类型的经编程步骤。

局域网(LAN)或广域网(WAN)可为包含对因特网的接入权的企业计算网络，构成系统的计算机和计算装置连接到所述企业计算网络。在一个实施例中，LAN符合传输控制协议/因特网协议(TCP/IP)行业标准。

如本文中所使用，媒体涉及输入到系统中的图像、声音、视频或任何其它多媒体类型数据。

微处理器可为任何常规通用单芯片或多芯片微处理器，例如

处理器、

处理器或

处理器。另外，微处理器可为任何常规专用微处理器，例如数字信号处理器(DSP)或图形处理器。

所述系统由如下文详细论述的各种模块组成。如所属领域的技术人员可了解，所述模块中的每一者包括各种子例程、程序、明确声明和宏。所述模块中的每一者通常分开编译，且链接到单个可执行程序中。因此，所述模块中的每一者的以下描述是用于方便描述优选系统的功能性。因此，所述模块中的每一者所经历的过程可任意重新分配给其它模块中的一者、在单个模块中组合在一起，或例如使其在可共享动态链接库中可用。

所述系统可结合例如哩纳克斯(LINUX)、尤尼克斯(UNIX)或MICROSOFT等各种操作系统使用。另外，所述系统可以任何合适编程语言写成，包含常规编程语言，例如C、C++、BASIC、Pascal、Perl或爪哇(Java)。

可使用包括网络浏览器用户接口的网络浏览器来向用户显示信息(例如，文本和图形信息)。网络浏览器可包括能够显示经由网络接收的信息的任何类型的虚拟显示器。网络浏览器的实例包含微软的Internet Explorer浏览器，苹果的Safari浏览器、摩斯拉(Mozilla)的火狐浏览器、帕姆索斯(PalmSource)的网络浏览器、谷歌的Chrome浏览器或能够与网络通信的任何其它浏览或其它应用软件。在某些实施例中，网络浏览器可包含虚拟键盘接口。

本文所揭示的本发明的实施例可实施为使用标准编程或工程设计技术来产生软件、固件、硬件或其任何组合的方法、设备或制品。如本文所使用的术语“制品”指代在例如光学存储装置以及易失性或非易失性存储器装置等硬件或计算机可读媒体中实施的代码或逻辑。此硬件可包含但不限于现场可编程门阵列(FPGA)、专用集成电路(ASIC)、复合可编程逻辑装置(CPLD)、可编程逻辑阵列(PLA)、微处理器或其它类似处理装置。

用户装置的概述

图1是网络2的示意图。所说明的网络2包含用户装置10a、用户装置10b，以及服务器8，其各自与因特网4通信。尽管仅说明用户装置10a、10b以及服务器8，但网络2可包含额外用户装置和服务器。

如图1中所示，用户装置10a为移动电话，且用户装置10b为个人计算机。然而，用户装置可为结合网络使用的任何合适通信装置。用户装置10a、10b可包含显示器和相机，且可经配置以使用虚拟键盘来操作，如本文将进一步详细描述。用户可使用虚拟键盘将输入提供到用户装置。所述输入可包含(例如)文本、数字、符号和/或控制命令。

可使用用户装置来经由因特网4将信息发射到其它装置且从其它装置接收信息。举例来说，用户装置10a可与用户装置10b和/或服务器8通信。所传送的信息可包含(例如)话音、数据和/或多媒体服务，且所发射或接收的信息的全部或一部分可从虚拟键盘获得。另外，用户可使用虚拟键盘来辅助控制用户装置与因特网4的通信。举例来说，用户可使用虚拟键盘提供控制命令来导航因特网。另外，网络浏览器可包含虚拟键盘接口，且用户可通过将输入提供到虚拟键盘来从服务器8请求多媒体。用户装置还可用以经由除因特网4之外的网络通信，包含例如蜂窝式网络。

用户装置可使用多种标准来通信。举例来说，某些用户装置可根据IEEE16.11标准(包含IEEE16.11(a)、(b)或(g))，或IEEE802.11标准(包含IEEE802.11a、b、g或n)来通信。在一些实施例中，用户装置可包含用于根据BLUETOOTH标准发射和接收RF信号的天线。对于某些用户装置，例如当用户装置为移动电话时，用户装置可使用经设计用以接收以下信号的天线来通信：码分多址(CDMA)、频分多址(FDMA)、时分多址(TDMA)、全球移动通信系统(GSM)、GSM/通用包无线电服务(GPRS)、增强型数据GSM环境(EDGE)、陆地集群无线电(TETRA)、宽带CDMA(W-CDMA)、演进数据优化(EV-DO)、1xEV-DO、EV-DO Rev A、EV-DO Rev B、高速包接入(HSPA)、高速下行链路包接入(HSDPA)、高速上行链路包接入(HSUPA)、演进型高速包接入(HSPA+)、长期演进(LTE)、AMPS，或用以在无线网络(例如利用3G或4G技术的系统)内通信的其它已知信号。

图2是具有虚拟键盘的用户装置10的一个实施例的示意图。用户装置10包含相机12、扬声器14、显示器16、视频处理模块18、特征提取模块20、存储器21、手势终点检测模块22、手势模式匹配模块24、误报拒绝模块30以及音频处理模块32。用户装置10可为例如移动电话或个人计算机。然而，用户装置10的相同组件或其稍微变化还说明例如电视机和便携式媒体播放器等其它类型的装置。

可在硬件和/或软件的各种组合中实施所述各种模块。举例来说，视频处理模块18、特征提取模块20、手势终点检测模块22、手势模式匹配模块24、误报拒绝模块30和/或音频处理模块32可实施为存储在计算机可读存储媒体上的指令，其经配置以使用一个或一个以上处理器来执行。下文稍后将详细地描述关于所述模块的实施的额外细节。

相机12可为多种相机类型。举例来说，相机12可为移动电话的前置相机，包含具有固定焦距透镜的相机。或者，相机12可为经由端口与计算机通信的网络相机。相机12可包含图像传感器，例如互补金属氧化物半导体(CMOS)传感器或电荷耦合装置(CCD)传感器。如下文将详细描述，用户装置10可使用相对较简单的相机12(包含例如具有相对较低帧速率(例如约30fps的帧速率)的相机)来提供虚拟键盘。因此，甚至在用户装置10不包含相对较高速度相机，或具有变焦、红外线、知晓深度和/或立体能力的相机时，用户装置10也可提供虚拟键盘。在一个实施例中，相机12为用于移动电话的前置相机，其具有范围在约20fps到约120fps之间的帧速率。

继续参看图2，用户装置10包含扬声器14。扬声器14可包含用于将电信号转换为声音的变换器。另外，扬声器14可包含用于升高接收到的电信号的量值的放大器和/或用于减少信号噪声的滤波器。尽管在图2中仅说明单个扬声器14，但可使用大量扬声器来提供增强的音频能力。

显示器16可为多种显示器中的任一者，包含利用等离子体、电致发光、有机发光二极管(OLED)、液晶显示器(LCD)和/或干涉式调制器装置(IMOD)技术的平板显示器。然而，在某些实施例中，显示器12可为非平板显示器，例如阴极射线管(CRT)或其它管装置。尽管虚拟键盘准许用户在不物理触摸显示表面的情况下将输入提供到用户装置12，但在某些实施例中，显示器可为触摸屏显示器，且本文所描述的虚拟键盘可用作辅助输入装置。

存储器21可为各种各样的存储媒体中的任一者，包含例如RAM存储器、快闪存储器、寄存器、硬盘、可装卸盘或卡，和/或此项技术中已知的任何其它形式的存储媒体。存储器21可包含图像数据33、虚拟键盘和传感器布局数据34、传感器致动数据35以及手势辨识模板36，如下文稍后将描述。在某些实施方案中，存储器21可包含用于执行与用户装置10的一个或一个以上模块(包含例如视频处理模块18、特征提取模块20、手势终点检测模块22、手势模式匹配模块24、误报拒绝模块30和/或音频处理模块32)相关联的功能性的全部或部分的指令。

如图2中所示，视频处理模块18可与相机12通信，且可接收由相机12捕获的图像序列。视频处理模块18可对接收到的图像执行多种功能，包含例如色彩信号处理、模/数转换和/或伽马校正。视频处理模块18可从相机12接收含有用户的手或手指的图像序列，且视频处理模块18可经配置以反转每一图像以产生镜像图像。视频处理模块18可将经反转和/或未经反转图像提供给视频特征提取模块20，以及其它模块。数据可作为图像数据21存储在存储器21中。

视频处理模块18可将经处理或未经处理图像与虚拟键盘图像组合以形成经组合图像。举例来说，可将用户的手或手指的经反转图像上覆于至少部分透明的虚拟键盘图像上。可增强经组合图像以包含视觉反馈，如下文将详细描述，且可将其提供给显示器16。如下文将描述，显示与虚拟键盘的图像组合的用户的手或手指的经反转图像可帮助用户使用虚拟键盘输入数据和/或命令。

视频特征提取模块20可从视频处理模块18和/或存储器21接收图像序列，且可处理所述图像序列以确定运动区域。举例来说，视频特征提取模块20可将接收到的帧与所捕获序列中早先的帧(例如，紧接在前的帧)进行比较，且计算所述帧之间的差异图像。可以任何合适方式对所述差异图像进行滤波，包含例如通过移除低于阈值的差异，以便产生经滤波差异图像。所述经滤波和/或未经滤波差异图像可作为图像数据33存储在存储器21中。

继续参看图2，视频特征提取模块20可将经滤波差异图像与存储在存储器21中的虚拟键盘和虚拟传感器布局34进行比较，以便确定一个或一个以上虚拟键致动。举例来说，虚拟键盘可包含多个虚拟传感器，其可在图像中具有对应像素位置。可将用户的手或手指的运动相对于虚拟传感器的位置进行比较，以便确定虚拟传感器的致动。举例来说，当在对应于特定虚拟传感器的特定像素坐标处检测到运动变化时，可在所述时刻致动虚拟传感器。如所属领域的技术人员将了解，虚拟传感器信息的传感器致动捕获与用户的手或手指在虚拟键盘上的运动有关的地理和时间信息。可随着时间的过去收集虚拟传感器致动，以形成传感器致动数据35，其可存储在存储器21中。举例来说，可将虚拟传感器致动存储在范围在约1帧到约30帧之间的数目的帧上。

手势终点检测模块22可分析由特征提取模块20产生的差异图像序列，以确定手势终点。举例来说，手势终点检测模块22可经配置以定位具有在含有相对较高运动的一个或一个以上帧的序列之后检测到的相对较低运动的一个或一个以上帧。在确定已检测到手势终点后，手势终点检测模块22可即刻将手势终点的位置传送到手势模式匹配模块24，例如含有手势终点的帧的位置或传感器致动数据35中对应于手势的终止的位置。

继续参考图2，手势模式匹配模块24可从手势终点检测模块22接收手势终点的位置。手势模式匹配模块24可与存储器21通信，且可使用手势终点和传感器致动数据35来确定传感器致动序列是否与一个或一个以上手势辨识模板36匹配。举例来说，可将输入手势致动序列与每一手势辨识模板进行比较，以确定是否已发生所辨识的手势，且可确定对应于所辨识手势的经致动键。在一个实施例中，手势模式匹配模块24使用动态时间规整(DTW)来辅助匹配不同速度的手势。

在辨识手势后和/或在辨识过程期间，手势模式匹配模块24可将检测信息提供给误报拒绝模块30。误报拒绝模块30可确定装置10的运动条件是否高于阈值。举例来说，误报拒绝模块30可确定与手势相关联的一个或一个以上帧上的所致动虚拟传感器的总数是否超过阈值，以便确定全局运动条件。另外，误报拒绝模块30可分析所致动键的地理邻域中的所致动传感器的数目，以确定局部运动条件。可使用全局和局部运动条件来确定是否存在用户手势已被不正确地辨识的充分可能性。尽管误报拒绝模块30可经配置以分析传感器致动数据35，以便确定全局运动和局部运动条件，但在某些实施例中，误报拒绝模块30还可通过分析图像数据(例如存储在存储器21中的图像数据33)来确定误报。

误报拒绝模块30可与视频处理模块18和/或音频处理模块32通信以辅助将反馈提供给用户。举例来说，在确定检测到的手势有效后，误报拒绝模块30可即刻与音频处理模块32协调，以便使用扬声器14起始指示虚拟键已致动的声音。类似地，误报拒绝模块30可与视频处理模块18协调，以便提供虚拟键被致动的视觉反馈，例如通过用色彩增强虚拟键的边界。当误报拒绝模块30确定手势模式匹配24所辨识的手势具有不可接受的为错误的高风险时，误报拒绝模块可与音频处理模块32和/或视频处理模块18通信，以向用户提供指示未辨识到手势的视觉和/或音频反馈。

尽管已将用户装置10说明为包含某些模块，但在某些实施例中，用户装置10可包含较多或较少模块。举例来说，用户装置10无需包含单独的音频处理模块32，且/或用户装置10可包含用于向用户提供振动反馈的振动模块。另外，用户装置10可包含网络接口模块，使得用户装置10可经由网络(例如图1的网络2)进行通信。网络接口模块可与用于发射和接收射频信号的天线和收发器通信。

可将用户装置10放置在由多种制造工艺(包含例如，注射模制和/或真空成形)中的任一者形成的外壳中。所述外壳可由任何合适材料构造，包含但不限于塑料、金属、玻璃、橡胶和/或陶瓷。所述外壳可包含可装卸部分，其可与不同色彩且含有标识、图片或符号的其它可装卸部分互换。此外，用户装置10可包含能量储存装置，包含(例如)可再充电电池，例如镍镉电池或锂离子电池，或太阳能电池。在某些实施例中，用户装置10可从壁式插座接收电力。

图3是捕获用户的手部运动的相机12的示意图。相机12包含相机传感器42和相机透镜44，且相机12已经定位以捕获用户的手46的手键入动作。在真实世界中，手46的点(例如指尖位置47)的运动可具有三维坐标(X，Y，Z)，其中Z表示从相机透镜到指尖位置47的距离。

相机透镜44可接收用户手部的图像，且将图像聚焦到相机传感器42上。相机透镜44可具有焦距F。相机传感器42可为例如CCD或CMOS传感器，其经配置以将接收到的光转换为对应于所述光的强度的离散信号。相机传感器42和相机透镜44可隔开像距S。

指尖位置47投影在相机传感器42的表面上的图像可具有坐标(x，y)，其可由下面的等式1表示，其中X，Y，Z，x，y以及S如上文所界定，且C是与二维空间中的所投影图像因指尖在三维空间中的深度(Z)变化而导致的水平(x)和垂直(y)变化的程度有关的常数。

等式1

$\left(\begin{array}{c}x\\ y\end{array}\right)=\frac{1}{Z}\left(\begin{array}{ccc}S& 0& C\\ 0& S& C\end{array}\right)\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)$

对于使用相对较薄相机透镜44的实施例，焦距F的倒数可等于物距Z和像距S的倒数的总和。此关系可使用下文等式2来表达。

等式2

$\frac{1}{F}=\frac{1}{S}+\frac{1}{Z}$

等式2可依据像距S来重新布置，且可经组合以得出下文的等式3。

等式3

$\left(\begin{array}{c}x\\ y\end{array}\right)=\left(\begin{array}{ccc}\frac{F}{Z-F}& 0& C\\ 0& \frac{F}{Z-F}& C\end{array}\right)\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)$

等式3可相对于时间而求微分以得出下文的等式4。

等式4

$\left(\begin{array}{c}\frac{\mathrm{dx}}{\mathrm{dt}}\\ \frac{\mathrm{dy}}{\mathrm{dt}}\end{array}\right)=\left(\begin{array}{ccc}\frac{F}{Z-F}& 0& C\\ 0& \frac{F}{Z-F}& C\end{array}\right)\left(\begin{array}{c}\frac{\mathrm{dX}}{\mathrm{dt}}\\ \frac{\mathrm{dY}}{\mathrm{dt}}\\ \frac{\mathrm{dZ}}{\mathrm{dt}}\end{array}\right)$

所属领域的技术人员将了解，可使用等式4来依据指尖位置47处的运动估计相机传感器42上的所投影指尖图像的运动。

如由等式4展示，甚至相对较简单的相机(例如移动电话的具有固定焦距透镜的相机)也可检测用户的手在空中的运动。因此，如下文将进一步详细描述，在某些实施例中，甚至在用户装置10不包含具有变焦、红外线、深度了解或立体能力的相机时，用户装置10也可提供虚拟键盘。

图4说明根据一个实施例的上覆于用户的手部图像上的虚拟键盘图像。图像50包含上覆于含有用户的手的图像52上的虚拟键盘54的图像。图像50可由视频处理模块18产生，且显示于显示器上，如上文所述。

含有用户的手的图像52已经反转，以便产生用户手部的镜像图像。虚拟键盘54的图像是半透明的，从而准许用户手部的下伏图像54为用户部分可见。如图4中所展示，已响应于用户的致动而增强虚拟键56。虚拟键的增强可包含改变所述键的键色彩、突出显示、形状、亮度或其它方面。因此，所述键的增强向用户提供虚拟键已由键击激活的虚拟指示符。另外，尽管图4中未说明，但可响应于误报(例如在含有相对较高程度的局部和/或全局运动的图像中检测到的键击或其它手势)而选择性地照亮一个或一个以上键。举例来说，误报模块30可经配置以在检测到有效键击时用第一色彩照亮一个或一个以上虚拟键，且在检测到误报时用第二色彩照亮一个或一个以上虚拟键。

图4还展示可向用户显示键击历史55，以辅助用户与虚拟键盘交互。键击历史55可在屏幕的任何合适部分上显示，例如在屏幕的顶部显示。如所说明，键击历史55指示所拨数字序列。然而，可修改键击历史55以显示用户输入的任何序列，包含例如字母、符号和/或命令。

尽管图4中仅说明一个虚拟键盘54，但可在屏幕上显示多个虚拟键盘。在屏幕上提供多个虚拟键盘为不同应用提供设计多种形状和大小的键盘的较大灵活性。

图5是用于虚拟键的虚拟传感器布局的三个实例的示意图。虚拟键盘可包含多个虚拟键，其各自具有多个虚拟传感器64。举例来说，图5说明对应于键“1”的第一虚拟键62a、对应于字母“A”的第二虚拟键62b，以及对应于符号“#”的第三虚拟键62c。

每一虚拟键可具有相同数目的传感器和相同的传感器阵列布局。然而，每一虚拟键无需具有相同数目的传感器或相同布局。举例来说，虚拟传感器64的配置在第一、第二和第三虚拟键62a到62c之间不同。第一虚拟键62a包含布置成阵列的九个虚拟传感器，第二虚拟键62b包含布置在一个圆的圆周周围的六个虚拟传感器，且第三虚拟键62包含沿所述键的对角和右边缘布置的五个虚拟传感器。在某些实施例中，字母数字键具有类似的虚拟传感器阵列布局，但一个或一个以上键(例如空格键)可具有较大数目的虚拟传感器和不同的虚拟传感器布局。

每一虚拟传感器64可对应于图像中的邻接像素的区。举例来说，每一虚拟传感器64可包含范围在约10个像素到约10,000个像素之间的像素数目。尽管将每一虚拟传感器64说明为具有大体上六边形的区域，但每一虚拟传感器可具有多种形状，包含但不限于为矩形或正方形的形状。

当向用户显示虚拟键盘时，无需显示虚拟传感器64。相反，虚拟传感器64可与虚拟键盘的像素区相关联，但不显示，且可由系统用来确定用户的手或手指手势。举例来说，用户的手或手指在虚拟传感器64上方的运动可触发虚拟传感器。在一个实施例中，当在虚拟传感器的任一像素上方检测到用户手或手指的运动时，确定虚拟传感器将被致动。在另一实施例中，当在虚拟传感器的像素的约20％到约100％之间的上方检测到用户的手或手指的运动时，确定虚拟传感器将被致动。

可为每一帧存储虚拟传感器致动的状态，且可获得多个帧上的虚拟传感器致动的模式。可使用多个帧上的虚拟传感器致动序列来辨识手势。举例来说，手势模式匹配模块(例如，图2的手势模式匹配模块24)可将虚拟传感器致动序列与一个或一个以上手势辨识模板进行比较，以确定所辨识手势的存在。使用利用虚拟传感器致动序列的模式匹配可相对于匹配整个帧的方法减少计算时间，且可准许例如动态时间规整(DTW)等匹配算法的应用，其可提供各种各样速度的手势的手势匹配。下文稍后将参看图7到9描述手势模式匹配的额外细节。

图6是上覆于用户的手部图像上的图5的虚拟键的示意图。

如图6中所示，手部图像68包含用户的手指图像69。手指图像69位于虚拟键62a上方。如先前所述，当用户移动手或手指时，可确定差异图像或运动向量。可相对于虚拟键盘跟踪运动向量，且具有大于阈值的量值的运动向量可致动对应像素位置处的虚拟传感器。因此，位于一个或一个以上虚拟传感器上方的大体静止位置中的用户手指将不导致虚拟传感器被致动。然而，在以足够速度移动用户的手指后，一个或一个以上虚拟传感器可即刻被致动。可存储虚拟传感器致动的历史，且可将虚拟传感器致动的历史与一个或一个以上手势辨识模板匹配，以便确定用户的手势。

通过使用虚拟传感器，可获得关于用户手部的运动的地理和时间信息两者。所述信息可指示用户运动的方向。下文将参看图7到9描述手势辨识的额外细节。

图7是根据一个实施例的提供虚拟键盘的方法70的流程图。将理解，不需要所有所说明框，且可在不脱离本发明的精神和范围的情况下，修改此方法。

从用户装置(例如图2的用户装置10)的角度描绘的方法70在框71处开始。在接着发生的框72中，用户装置捕获手指或手图像序列。举例来说，用户装置的相机可捕获含有用户的手或手指的图像序列。可处理图像以用于色彩信号处理、A/D转换和/或伽马校正，且可反转图像。

在接着发生的框74中，用户装置将虚拟键盘图像与每一手指或手图像进行组合。举例来说，可将虚拟键盘图像上覆于框72中获得和反转的图像上。虚拟键盘图像可至少部分透明，以便准许用户的手或手指的下伏图像在显示时至少部分地可见。

在接着发生的框75中，在显示器上显示组合的图像。提供具有虚拟键盘和用户的手或手指的组合图像可辅助用户与虚拟键盘交互。如上文相对于框72所述，用户手部的图像在向用户显示之前可反转，以便改进虚拟键盘系统的可使用性。

方法70在框76处继续，其中用户装置检测手指或手图像中相对于虚拟键盘的虚拟传感器的运动。举例来说，用户装置可处理框72中捕获的图像序列，以确定运动区域，例如通过计算循序图像之间的差异以产生一个或一个以上差异图像。可以任何合适方式对所述差异图像进行滤波，例如通过移除低于阈值的差异，以便产生经滤波差异图像。

在接着发生的框77中，使用检测到的运动来确定传感器致动数据。举例来说，可将经滤波差异图像的含有运动的像素区与虚拟传感器的像素区进行比较，且可确定具有足够运动的虚拟传感器将被致动。举例来说，虚拟传感器可占据多个像素，且在虚拟传感器的像素的20％或以上上方检测到的运动可指示传感器已被致动。虚拟传感器致动数据可在多个帧上累积。

提供虚拟键盘的方法70在框80处继续，其中使用传感器致动数据来辨识手势。举例来说，用户装置可将虚拟传感器致动数据与一个或一个以上手势辨识模板进行比较，以确定是否已检测到手势。下文相对于图8B可找到关于手势辨识模板的额外细节。手势匹配过程可得出候选手部手势的列表，其可包含不同用户手势和/或不同虚拟键。在某些实施方案中，手势模式辨识80可产生每一候选手部手势的置信度因子，且可使用所述置信度因子来确定所辨识的手势。下文参看图9描述关于框80的一个实施方案的更多细节。

图7的方法84在框84处继续，其中将例如视觉音频和/或振动反馈等触觉反馈输出给用户。举例来说，当辨识到键击时，可产生声音，其指示致动和/或键可在显示器上视觉上增强，例如通过突出显示所述键。另外，当在框80中辨识到手势，但确定具有不可接受的错误风险时，可使用视觉、听觉和/或振动反馈来指示未辨识到手势。举例来说，可向用户提供不同色彩的突出显示，且/或可产生指示被拒绝的键击的声音。

图8A是根据一个实施例的虚拟键盘的一部分。虚拟键盘的部分包含九个虚拟键91a到91i，且每一虚拟键包含七个虚拟传感器64。出于说明目的，已用字母A到G为每一虚拟键91a到91i的虚拟传感器64加标签。

键91a到91i的传感器致动数据可存储在多个帧上，如早先所描述。传感器致动数据可包含指示在给定时刻或给定帧中是否致动了键91a到91i的传感器的信息。举例来说，在其中存储传感器致动数据持续10个帧的实施例中，可记录630次传感器致动，对应于10个帧中的每一者的9个键中的每一者的7次致动。

图8B说明用于检测图8A的虚拟键盘的所述部分上的手部或手指运动的八个方向的八个手势辨识模板100a到100h的实例。每一手势辨识模板包含零和一阵列，其中一(“1”)表示致动，且零(“0”)表示无致动。手势辨识模板的行表示特定传感器位置(对应于图8A中所说明的传感器位置)，且模板的列表示随时间过去帧的前进。

可使用手势辨识模板100a到100h来检测图8A的键91a到91i中的任一者上的八个方向中的任一者上的运动。举例来说，手势辨识模板100a包含在传感器F和G条目中具有一且在其余条目中具有零的第一列、在传感器C、D和E条目中具有一且在其余条目中具有零的第二列，以及在传感器A和B条目中具有一且在其余条目中具有零的第三列。由于所说明的手势辨识模板的列以时间前进来布置，因此传感器F和G的致动，接着是传感器C、D和E的致动，接着是传感器A和B的致动可指示手或手指在虚拟键上的向上移动。通过对照键91a到91i中的每一者的传感器致动数据分析手势辨识模板100a，可检测用户的手或手指在键91a到91i中的一者或一者以上上的向上运动。类似地，可使用手势辨识模板100b到100h来确定键91a到91i中的一者或一者以上上的其它方向上的运动。

如图8B中所示，不需要所有手势辨识模板均为同一大小。相反，某些手势辨识模板可与较长持续时间的模式相关联。

手和/或运动速度可在用户之间不一致。另外，相机的帧速率在各种应用中可不同，从而导致与给定时间周期相关联的较多或较少帧。因此，使用手势辨识模板的手势辨识可在不同速度的帧序列上执行。举例来说，可在传感器致动信息序列与手势辨识模板中含有的序列之间应用动态时间规整(DTW)，以确定匹配。使用DTW准许可在时间维度上非线性地规整所述序列，以确定其相似性的度量。

手势辨识模板100a到100h经配置以使用单个键上的传感器数据来辨识手势。然而，手势辨识模板可能复杂得多，且可包含一个或一个以上额外键的全部或部分上的传感器数据。举例来说，图8C说明根据另一实施例的虚拟键盘的一部分，且图8D说明用于检测图8C的虚拟键盘的部分上的手势的手势辨识模板101的实例。手势辨识模板101包含与多个键上的传感器相关联的传感器致动信息，且可例如用以检测键上的向上运动。提供使用多个键上的传感器信息的手势辨识模板可提供若干益处，包含(例如)改进手势辨识准确性。在一个实施方案中，手势辨识模板与来自范围在约2个键到约25个键之间的数目的键(例如，约18个键)的传感器相关联。

手势辨识模板可经配置以辨识除用户的手部或手指的方向之外的各种各样的手势。举例来说，可提供手势辨识模板以用于辨识键入手势、按住并拖动手势、指点手势和/或任何其它合适手势。可基于在各种各样的用户上收集到的用户数据产生手势辨识模板，且使用静态模型(例如，隐式马尔科夫模型)来实施。然而，在某些实施方案中，可使用训练程序来辅助产生且/或细化用户特定手势辨识模板。

在某些实施方案中，模板无需与待辨识手势的传感器致动数据完美匹配。相反，可产生候选手势列表，且可计算每一候选手势的置信度因子。在某些实施方案中，具有最高置信度因子的手势可被视为所辨识的手势。举例来说，在具有i个手势模板和j个虚拟键的实施方案中，可针对i个手势和j个键中的每一者计算手势模式匹配置信度因子，且具有最高模式匹配置信度因子的键和手势模板的特定组合可为所辨识的键和手势。

图9是来自图7的辨识手势的过程框80中的方法的一个实施例的流程图。将理解，不需要所有所说明框，且可在不脱离本发明的精神和范围的情况下修改此方法。

从用户装置(例如图2的用户装置10)的角度描绘的方法80在框121处开始。在接着发生的框122中，检测手势终点。举例来说，如果帧具有相对较低等级的运动，且位于含有相对较高等级的运动的一个或一个以上帧之后，那么用户装置可确定存在手势终点。

在接下来发生的框124中，使用动态时间规整(DTW)来使传感器致动数据与多个手势辨识模板中的每一者对准。在框122中检测到的终点可用以减少与DTW处理相关联的计算负担。如先前所述，每一手势辨识模板可包含对应于可辨识手势的传感器致动序列，且传感器致动数据可表示基于用户与虚拟键盘的交互而确定的虚拟传感器致动序列。由于与手势相关联的帧的数目可基于多种因素而变化，例如用户的手和/或运动速度和/或相机帧速率，因此手势辨识模板和传感器致动数据可对应于以不同速率或速度改变的模式。因此，使用DTW可辅助将一个或一个以上手势辨识模板与传感器致动数据对准，从而促进手势匹配。

方法80在框126处继续，其中使用传感器致动数据来确定一个或一个以上候选手势和对应的置信度因子。举例来说，在使用DTW来考虑序列之间的时间变化之后，可将每一手势辨识模板与传感器致动数据进行比较。每一手势辨识模板与传感器致动数据的比较可得出一个或一个以上潜在手势匹配。可基于手势辨识模板与传感器致动数据的相似性，为每一潜在手势匹配指派置信度因子，且足够置信度因子的潜在手势匹配(例如高于阈值置信度等级的潜在手势匹配)可经确定为候选手势。使用每一手势辨识模板确定的候选手势和对应置信度因子可共同形成候选手势和置信度因子的列表。

在接下来发生的框128中，移除错误肯定。举例来说，移除错误肯定可包含确定与手势相关联的一个或一个以上帧上的经致动虚拟传感器的总数是否超过阈值，和/或分析经致动键的地理邻域中的经致动传感器的数目以确定是否存在已不正确地辨识所辨识手势的充分可能性。错误肯定的移除可包含使用全局运动条件、局部运动条件和/或一个或一个以上置信度因子从候选手势列表去除一个或一个以上候选手势。可将具有最高置信度因子且不作为错误肯定被移除的候选手势确定为所辨识手势。方法在130处结束。

结合本文所揭示的实施方案而描述的各种说明性逻辑、逻辑块、模块、电路和算法步骤可实施为电子硬件、计算机软件或两者的组合。已大体上依据功能性描述了且在上文所述的各种说明性组件、块、模块、电路和步骤中说明了硬件与软件的可互换性。所述功能性是在硬件还是软件中实施取决于特定应用及施加于整个系统的设计约束。

用以实施结合本文所揭示的方面而描述的各种说明性逻辑、逻辑块、模块和电路的硬件和数据处理设备可用经设计以执行本文中所描述的功能的通用单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件，或其任何组合来实施或执行。通用处理器可为微处理器，或任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、一个或一个以上微处理器与DSP核心的联合，或任何其它此配置。在一些实施方案中，特定步骤和方法可由特定用于给定功能的电路执行。

在一个或一个以上示范性方面中，所描述的功能可在硬件、数字电子电路、计算机软件、固件(包含本说明书中揭示的结构及其结构均等物)或其任何组合中实施。本说明书中所描述的标的物的实施方案还可实施为一个或一个以上计算机程序，即计算机程序指令的一个或一个以上模块，其编码在计算机存储媒体上以供数据处理设备执行或控制数据处理设备的操作。

当以软件实施时，可将功能作为计算机可读媒体上的一个或一个以上指令或代码而加以存储或传输。本文所揭示的方法或算法的步骤可在处理器可执行软件模块中实施，所述模块可驻存在计算机可读媒体上。计算机可读媒体包含计算机存储媒体与包含可实现计算机程序从一处传递到另一处的任何媒体的通信媒体两者。存储媒体可为可由计算机存取的任何可用媒体。作为实例而非限制，此计算机可读媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。同样，可恰当地将任何连接称作计算机可读媒体。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性地复制数据，而光盘使用激光光学地复制数据。上文的组合也应包含在计算机可读媒体的范围内。另外，方法或算法的操作可作为代码和指令中的一者或任何组合或集合而驻存在机器可读媒体和计算机可读媒体上，所述媒体可并入到计算机程序产品中。

所属领域的技术人员将容易了解对本发明中所描述的实施方案的各种修改，且本文中界定的一般原理可应用于其它实施方案而不背离本发明的精神或范围。因此，本发明无意限于本文中所展示的实施方案，而是将赋予本发明与本文所揭示所附权利要求书、原理和新颖特征一致的最广范围。词语“示范性”在本文中专门用于表示“充当实例、例子或说明”。不必将本文中描述为“示范性”的任何实施方案解释为与其它实施方案相比为优选或有利的。

本说明书中在单独实施方案的上下文中描述的某些特征还可在单个实施方案中以组合形式实施。相反，在单个实施方案的上下文中描述的各种特征还可分别在多个实施方案中或在任一合适子组合中实施。此外，尽管上文可将特征描述为以某些组合的方式起作用，且甚至最初这样主张，但来自所主张组合的一个或一个以上特征在一些情况下可从所述组合去除，且所主张的组合可针对子组合或子组合的变化。

类似地，虽然在图式中以特定次序描绘操作，但这不应理解为要求此些操作以所展示的特定次序或以循序次序执行，或执行所有所说明操作来实现合意结果。在某些情况下，多任务和并行处理可为有利的。此外，上文所描述的实施方案中的各种系统组件的分离不应理解为在所有实施方案中均要求此分离，且应理解，所描述的程序组件和系统可通常在单个软件产品中集成在一起，或封装到多个软件产品中。另外，其它实施方案在所附权利要求书的范围内。在一些情况下，所附权利要求书中所述的动作可以不同次序执行，且仍实现合意结果。

Claims (38)

1.一种用于将数据输入到计算装置中的系统，所述系统包括：

相机，其用于捕获含有用户的手指的图像序列；

显示器，其用于显示与虚拟键盘组合的所述序列的每一图像，其中所述所显示图像中的所述手指相对于所述虚拟键盘的位置随着所述用户的所述手指相对于所述相机移动而改变；

视频特征提取模块，其经配置以检测所述图像序列中的所述用户手指相对于所述虚拟键盘的运动，其中所述虚拟键盘包括多个虚拟键，每一虚拟键具有多个虚拟传感器，且其中所述视频特征提取模块使用所述所检测运动来捕获所述虚拟传感器的传感器致动数据；以及

手势模式匹配模块，其用于使用所述传感器致动数据来辨识用户的手势，且将数据输入到所述计算装置中。

2.根据权利要求1所述的系统，其中所述显示器将所述虚拟键盘上覆于所述序列中的所述图像中的每一者上，所述虚拟键盘至少部分透明。

3.根据权利要求1所述的系统，其中所述系统经配置以在辨识到所述手势时提供视觉反馈、音频反馈和振动反馈中的至少一者。

4.根据权利要求1所述的系统，其进一步包括用于检测手势终点的手势终点检测模块。

5.根据权利要求4所述的系统，其中所述手势模式匹配模块经配置以将所述传感器致动数据与多个手势辨识模板中的每一者进行比较以辨识所述手势。

6.根据权利要求4所述的系统，其中所述手势模式匹配模块经配置以在检测到所述手势终点之后，将所述传感器致动数据与所述多个手势辨识模板中的每一者进行比较。

7.根据权利要求5所述的系统，其中所述手势模式匹配模块经配置以使用动态时间规整将所述传感器致动数据与所述多个手势辨识模板中的每一者对准。

8.根据权利要求1所述的系统，其进一步包括误报拒绝模块，所述误报拒绝模块用于使用所述传感器致动数据来检测运动条件，且防止所述手势模式匹配模块在所述运动条件高于阈值时辨识所述手势。

9.根据权利要求8所述的系统，其中所述误报拒绝模块经配置以在所述运动条件高于所述阈值时提供视觉反馈、音频反馈和振动反馈中的至少一者。

10.根据权利要求1所述的系统，其中所述手势为键击。

11.一种用于使用虚拟键盘将数据输入到电子装置中的方法，所述方法包括：

接收含有用户的手指的图像序列；

产生所述序列的每一图像的组合图像，所述组合图像含有所述用户的所述手指和虚拟键盘；

检测所述图像序列中的所述手指相对于所述虚拟键盘的运动，所述虚拟键盘具有多个虚拟键，每一虚拟键具有多个虚拟传感器；

通过将所述所检测运动的像素区与所述虚拟传感器的像素区进行比较来产生传感器致动数据；以及

使用所述传感器致动数据来辨识手势以将数据输入到所述电子装置中。

12.根据权利要求11所述的方法，其进一步包括在显示器上显示所述组合图像。

13.根据权利要求12所述的方法，其中显示所述组合图像包括显示上覆于所述图像序列上的所述虚拟键盘，所述虚拟键盘至少部分透明。

14.根据权利要求12所述的方法，其进一步包括在辨识到所述手势之后突出显示至少一个虚拟键。

15.根据权利要求11所述的方法，其中辨识所述手势包括将所述传感器致动数据与多个手势辨识模板中的每一者进行比较以识别至少一个候选手势。

16.根据权利要求15所述的方法，其进一步包括使用所述所检测运动来检测手势终点。

17.根据权利要求16所述的方法，其进一步包括使用动态时间规整来使所述传感器致动数据与每一手势辨识模板对准。

18.根据权利要求15所述的方法，其进一步包括将置信度因子指派给每一候选手势。

19.根据权利要求18所述的方法，其中辨识所述手势包括从所述至少一个候选手势选择具有最高置信度因子的手势。

20.根据权利要求15所述的方法，其进一步包括使用所述传感器致动数据确定运动条件，以及防止所述至少一个候选手势中的一者或一者以上在所述运动条件高于阈值时成为所述所辨识手势。

21.一种用于将数据输入到计算装置中的系统，所述系统包括：

用于捕获含有用户的手指的图像序列的装置；

用于显示与虚拟键盘组合的所述序列的每一图像的装置，其中所述所显示图像中的所述手指相对于所述虚拟键盘的位置随着所述用户的所述手指相对于相机移动而改变；

用于检测所述图像序列中的所述用户手指相对于所述虚拟键盘的运动的装置，其中所述虚拟键盘包括多个虚拟键，每一虚拟键具有多个虚拟传感器，且其中用于检测运动的装置使用所述所检测运动来捕获所述虚拟传感器的传感器致动数据；以及

用于使用所述传感器致动数据来辨识用户的手势以将数据输入到所述计算装置中的装置。

22.根据权利要求21所述的系统，其中所述用于显示的装置将所述虚拟键盘上覆于所述序列中的所述图像中的每一者上，所述虚拟键盘至少部分透明。

23.根据权利要求21所述的系统，其中所述系统经配置以在辨识到所述手势时提供视觉反馈、音频反馈和振动反馈中的至少一者。

24.根据权利要求21所述的系统，其进一步包括用于检测手势终点的装置。

25.根据权利要求24所述的系统，其中所述用于辨识所述用户的手势的装置经配置以将所述传感器致动数据与多个手势辨识模板中的每一者进行比较以辨识所述手势。

26.根据权利要求25所述的系统，其中所述用于辨识所述用户的手势的装置经配置以在检测到所述手势终点之后将所述传感器致动数据与所述多个手势辨识模板中的每一者进行比较。

27.根据权利要求25所述的系统，其中用于辨识所述用户的手势的装置经配置以使用动态时间规整将所述传感器致动数据与所述多个手势辨识模板中的每一者对准。

28.根据权利要求21所述的系统，其进一步包括用于防止所述手势模式匹配模块在所述运动条件高于阈值时辨识所述手势的装置。

29.一种包括指令的非暂时性计算机可读存储媒体，所述指令在被执行时实施使用虚拟键盘将数据输入到电子装置中的方法，所述方法包括：

接收含有用户的手指的图像序列；

产生所述序列的每一图像的组合图像，所述组合图像含有所述用户的所述手指和虚拟键盘；

检测所述图像序列中的所述手指相对于所述虚拟键盘的运动，所述虚拟键盘具有多个虚拟键，每一虚拟键具有多个虚拟传感器；

通过将所述所检测运动的像素区与所述虚拟传感器的像素区进行比较来产生传感器致动数据；以及

使用所述传感器致动数据来辨识手势以将数据输入到所述电子装置中。

30.根据权利要求29所述的计算机可读存储媒体，其中所述方法进一步包括在显示器上显示所述组合图像。

31.根据权利要求30所述的计算机可读存储媒体，其中显示所述组合图像包括显示上覆于所述图像序列上的所述虚拟键盘，所述虚拟键盘至少部分透明。

32.根据权利要求31所述的计算机可读存储媒体，其中所述方法进一步包括在辨识到所述手势之后突出显示至少一个虚拟键。

33.根据权利要求29所述的计算机可读存储媒体，其中辨识所述手势包括将所述传感器致动数据与多个手势辨识模板中的每一者进行比较以识别至少一个候选手势。

34.根据权利要求33所述的计算机可读存储媒体，其中所述方法进一步包括使用所述所检测运动来检测手势终点。

35.根据权利要求34所述的计算机可读存储媒体，其中所述方法进一步包括使用动态时间规整来使所述传感器致动数据与每一手势辨识模板对准。

36.根据权利要求35所述的计算机可读存储媒体，其中所述方法进一步包括将置信度因子指派给每一候选手势。

37.根据权利要求36所述的计算机可读存储媒体，其中辨识所述手势包括从所述至少一个候选手势选择具有最高置信度因子的手势。

38.根据权利要求37所述的计算机可读存储媒体，其中所述方法进一步包括使用所述传感器致动数据确定运动条件，以及防止所述至少一个候选手势中的一者或一者以上在所述运动条件高于阈值时成为所述所辨识手势。

Images