CN105765516A - 通过使用已知的和有待穿戴的传感器的手势检测系统的分类 - Google Patents

Abstract

用于手势识别的装置、方法和计算机程序产品。所述装置基于由主传感器(202)检测的身体部分的运动来对手势进行分类(208)。所述装置确定辅传感器(204)的可靠性等级(214)，并且当可靠性等级满足标准时使用所述辅传感器(204)来获取与身体部分的运动相关联的证实信息。然后，所述装置基于所述证实信息来确认或否认所述手势的所述分类(216)。所述辅传感器可以是对所述装置来说已知的传感器(即，所述传感器当前正在被用户穿戴)，或者其可以是在稍后时间由用户穿戴的传感器。在后一种情况中，所述装置检测新的传感器的存在，确定新的传感器的手势识别能力并且将新的传感器整合到所述手势识别过程中。

Description

通过使用已知的和有待穿戴的传感器的手势检测系统的分类

相关申请的交叉引用

本申请要求享有于2013年9月30日递交的、题名为“CLASSIFCATIONOFGESTUREDETECTIONSYSTEMSTHROUGHUSEOFKNOWNANDYETTOBEWORNSENSORS”的美国非临时申请序列No.14/042,660的优先权，其全部内容以引用的方式被明确地并入本文中。

技术领域

本公开内容总体上涉及手势识别，并且更为具体地，涉及通过使用已知的和有待穿戴的传感器的手势检测系统的分类。

背景技术

用于实现增强现实(AR)的系统和应用已经变得非常流行和普遍。AR系统通常包括头戴式显示器(HMD)，其允许用户在与应用(诸如，电子邮件和媒体播放器)进行交互时能同时看到他们周围的环境并与之互动。虽然很多AR应用可以运行在智能手机和平板电脑上，但是用于实现AR系统的最自然的构成因素是光学设备，诸如眼镜。

一些AR系统提供对应用的手势激活和对文件和文档的选择，其中，响应于在AR眼镜的视野范围内呈现的手或手指的不同动作而发生激活或选择。然而，这些方法受困于关于手势检测准确度的严重缺陷。例如，传统的依赖于摄像机的系统由于较差的光照或较慢的帧速率，可能会以不断变化的准确度等级来追踪手势。因此，期望提高手势检测和分类的准确度。

发明内容

提供了用于手势识别的装置、方法和计算机程序产品。装置基于由主传感器检测的身体部分的运动来对手势进行分类。所述装置确定辅传感器的可靠性等级，并且在可靠性等级满足标准时使用所述辅传感器来获取与所述身体部分的所述运动相关联的证实信息。然后，所述装置基于所述证实信息来确认或否认所述手势的所述分类。所述辅传感器可以是对所述装置来说已知的传感器(即，所述传感器当前正在被所述用户穿戴)，或者其可以是在稍后时间由用户穿戴的传感器。在后一种情况中，所述装置检测新的传感器的存在，确定所述新的传感器的手势识别能力并将所述新的传感器整合到所述手势识别过程中。

附图说明

图1是示出了手势识别装置以及可以由该装置使用以对手势进行分类的不同类型的传感器的图。

图2是示出了手势识别装置中不同模块/单元/部件的操作的流程图。

图3是包括一副AR眼镜和手势识别腕带的AR系统的图。

图4是手势识别方法的流程图。

图5是示出了采用处理系统的手势识别装置的硬件实现的例子的图。

具体实施方式

下文结合附图阐述的具体实施方式旨在作为各种配置的说明，而不旨在表示仅可以在这些配置中实践本文所描述的概念。出于提供对各个概念的透彻理解的目的，该具体实施方式包括具体细节。然而，对于本领域技术人员来说显而易见的是，在没有这些具体细节的情况下也可以实践这些概念。在一些实例中，为了避免对这些概念造成模糊，以方框图的形式示出了公知的结构和部件。

现在将针对各种装置和方法来介绍手势识别装置的多个方面。将通过各个框、模块、部件、电路、步骤、过程、算法等(统称为“元素”)在下面的具体实施方式中描述并且在附图中示出这些装置和方法。可以使用电子硬件、计算机软件或者它们的任意组合来实现这些元素。至于这些元素是被实现为硬件还是软件，取决于具体应用和施加到整个系统上的设计约束。

举例来说，可以利用包括一个或多个处理器的“处理系统”来实现元素或者元素的任何部分或者元素的任意组合。处理器的例子包括微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、门逻辑、分立硬件电路以及被配置为执行贯穿本公开内容所描述的各种功能的其它适当硬件。处理系统中的一个或多个处理器可以执行软件。无论被称为软件、固件、中间件、微代码、硬件描述语言还是其它，软件都应当被广泛地解释为意味着指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行文件、执行的线程、过程、函数等等。

因此，在一个或多个示例性实施例中，可以使用硬件、软件、固件或其任何组合来实现所描述的功能。当用软件实现时，可以将功能存储为或编码为计算机可读介质上的一条或多条指令或代码。计算机可读介质包括计算机存储介质。存储介质可以是计算机能够存取的任何可用介质。举例说明而非限制，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘储存器、磁盘储存器或其它磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够被计算机访问的任何其它介质。如本文所使用的，磁盘(Disk)与光盘(disc)包含压缩光盘(CD)、激光光盘、光盘、数字多功能盘(DVD)、软盘和蓝光光盘，其中磁盘通常磁性地复制数据，而光盘利用激光来光学地复制数据。上述内容的组合也应当被包含在计算机可读介质的范围内。

图1是示出了手势识别装置100连同可以由该装置使用以对手势进行分类的各个不同传感器的图。传感器可以包括，例如：视觉传感器102(诸如，摄像机)；光传感器104；声音传感器106(诸如，麦克风)；动作传感器108；温度传感器110；肌电(EMG)传感器112。前述传感器是可以由手势分类装置采用的传感器类型的代表性示例。也可以采用其它类型的传感器。这些传感器可以提供传感器信号并且另外通过有线114或无线116连接(诸如，蓝牙)与手势识别装置进行通信。

手势识别装置100是动态的，因为它可以根据传感器的可用性在不同时间采用不同传感器。为此，手势识别装置100被配置为检测新的传感器和现有传感器的存在。例如，手势识别装置100的用户可以在初始使用该装置时没有穿戴动作传感器，但是可以在稍后的时间开始穿戴动作传感器。因此，装置100周期性地扫描传感器。这样的扫描可以通过蓝牙、WiFi、WiFi直连和蜂窝来发生。如果先前已存在的传感器不再可用，或者新的传感器变得可用，则手势识别装置100相应地调整它的操作。下面将进一步描述这样的调整。

图2是示出了从包括主传感器202、辅传感器204和可靠性传感器206的三个不同传感器接收信号的手势识别装置200的图。手势识别装置200被配置为输出与身体部分的运动相对应的手势分类。手势识别装置200以提高装置200所输出的手势分类的整体准确度的方式，来处理由一个或多个传感器感测到的手势事件，包括例如身体动作、身体图像和身体声音。

传感器202、204、206中的每一个均可以与手势识别装置200位于同一处或者可以与该装置位于不同的位置。例如，手势识别装置200可以包括在用户佩戴的一副AR眼镜中。该AR眼镜可以包括用作辅传感器204的摄像机，以及可以用作可靠性传感器206的光传感器。AR眼镜的用户可以穿戴可包括主传感器202的附加装置。例如，附加装置可以是该用户穿戴的腕带。

手势识别装置200包括主手势分类器208、辅手势分类器210、信任度模块212、可靠性模块214和手势确认模块216。在一种配置中，主传感器202被配置为感测身体运动并向主手势识别设备208输出相应的运动信号。主传感器208可以是EMG传感器或检测身体运动的压力传感器。

主手势分类器208处理该运动信号，并将该身体运动分类为该手势识别装置200所支持的多个手势中的一个。例如，主手势分类器208可以包括手势的查找表，凭借该查找表，将特定手势映射到运动信号的特定特征。在这种情况下，主手势分类器208处理所接收到的运动信号，提取信号特征(例如，频率、振幅、曲线形状、倾斜度、最小值、最大值、迟滞、平均值、中间值、标准偏差、方差、加速度)，并且在查找表中查找匹配的信号特征。由主手势分类器208将映射到匹配信号特征的手势确定为由主传感器检测出的手势。因此，主手势分类器208输出所检测的手势的指示，在图2中被称为“经分类手势”。

信任度模块212从主手势分类器208接收经分类手势的指示，并且基于查找表来确定该手势的信任等级。该信任查找表包括可以基于从主传感器202获得的运动信号和响应于该运动信号是准确的而由主手势分类器208提供的经分类手势的信任的相应测量来进行分类的手势列表。例如，特定传感器(诸如，EMG传感器)可能在检测打响指方面比检测挥手更准确。因此，针对该传感器的查找表应该在经分类手势是打响指时比在经分类手势是挥手时具有更高的信任等级。该信任查找表可以基于对应于主传感器202的传感器类型的可用信息，或者它可以基于过去响应于来自主传感器202的运动信号由主手势分类器208在对经分类手势的判定中作出的错误。

在确定了对应于经分类手势的信任等级时，信任度模块212将该信任等级与门限进行比较。如果满足该门限，则手势识别装置200将该经分类手势输出为经确认手势。如果不满足该门限，则发起手势确认过程，在这种情况下，将主手势分类器208输出的经分类手势提供给手势确认模块216以用于进一步处理，如下所述。

在一种实现方式中，以百分比来表示关于信任等级和门限的这些测量。例如，可以将该门限编程为98％。在这种情况下，信任度模块212将该经分类手势的信任等级百分比与门限百分比进行比较。如果该信任等级满足门限(例如，超过、等于或超过等等)，则由手势识别装置200将该经分类手势输出为经确认手势。如果该信任等级低于门限，则发起手势确认过程。通过编程，有可能绕开手势确认过程。例如，在一种配置中，可以将所有手势的手势信任等级设定为100％。作为替代，可以将该门限设定为0，从而使得该门限总是能得到满足。

在发起手势确认过程的情况下，手势识别装置200可以激活辅传感器204。辅传感器204可以是捕捉与由主传感器202所感测到的身体运动有关的证实事件的任何传感器。例如。辅传感器204可以是被配置为用于捕捉身体运动的图像的摄像机，或者是被配置为用于捕捉与身体运动相关联的声音的麦克风。

在替代配置中，手势识别装置200可以首先确定由辅传感器204提供的信息是可靠的。在这种情况下，手势识别装置200激活可靠性传感器206并且推迟激活辅传感器204直到辅传感器的可靠性得到确认为止。

辅传感器可靠性模块214基于从可靠性传感器206接收到的输入来评估由辅传感器204提供的数据是否可靠。例如，如果辅传感器204是摄像机，则可靠性传感器206可以是光检测器。在这种情况下，可靠性模块214评估房间内有多少光。如果亮度等级满足门限(诸如，特定数量的流明(lumen))，则可靠性模块214推断来自辅传感器的数据是可靠的。作为另一个例子，如果辅传感器204是声音检测器，则可靠性传感器206可以是麦克风。在这种情况下，可靠性模块214评估辅传感器204附近的声音等级。如果该声音等级满足指示环境不是太大声或太嘈杂的门限(诸如，低于特定数量的分贝(decibel))，则可靠性模块214推断辅传感器204是有效的传感器并且来自辅传感器的数据是可靠的。

在确定了辅传感器204是可靠的时，手势识别装置200打开辅传感器204。辅传感器204捕捉证实信息，并且将证实信息提供给辅手势分类器210。辅手势分类器210处理该证实信息并将与该证实信息相关联的身体运动分类为辅手势分类器210所支持的多个手势中的一个。例如，辅手势分类器210可以包括手势的查找表，凭借该查找表，将特定手势映射到由摄像机捕捉到的图像或由声音检测器捕捉到的声音的特定特征。在这种情况下，辅手势分类器210处理所接收到的证实信息，提取适当的特征(例如，在图像的情况下：边缘的存在、灰度直方图、色彩梯度等等；以及在声音的情况下：基本频率、通过率、滚降、频谱平滑度和频谱扩展等等)，并且在手势查找表中查找匹配特征。由辅手势分类器108将映射到匹配特征的手势确定为由该辅传感器检测出的手势。因此，辅手势分类器210输出所检测的手势的指示，在图2中被称为“证实手势”。

辅手势分类器210向手势确认模块216提供证实手势。通过信任度模块212由主手势分类器208提供的经分类手势和由辅手势分类器210提供的证实手势被处理以确定经确认手势。在一种配置中，确认模块216将经分类手势与证实手势进行比较以确定它们是否是相同的手势。如果这两个手势相匹配，则将匹配手势输出为经确认手势。如果这两个手势不相匹配，则由手势检测装置200输出手势确定错误。

信任度模块216还可以基于主手势分类器208、辅手势分类器210以及可以被添加到该系统的任何附加的传感器和相应手势分类器的各自的信任等级来输出经确认手势。例如，在主手势分类器与以EMG传感器腕带形式的主传感器配对、辅手势分类器与以麦克风形式的第二传感器配对、并且第三手势分类器与感测臀部运动的Fitbit配对的情况下，该系统考虑其接收的所有手势分类并且可以基于哪个手势分类具有最高信任等级来作出经确认手势的决定。例如，如果主手势分类器90％确信该手势是打响指(snap)，辅手势分类器60％确信该手势是打响指，而第三手势分类器10％确信该手势是挥手问好，则系统将打响指输出为经确认手势。在另一种配置中，可能当所有信任等级都基本相同时，系统可以基于多数原则来确定经确认手势。

在一个示例性实现方式中，主题手势是由用户的拇指和食指形成的捏合手势，并且主传感器202是EMG传感器。基于EMG传感器提供的运动信号，主手势分类器208确定该手势是捏合。这一手势的信任等级不满足信任门限。因此，手势识别装置200激活辅传感器204(摄像机)以确认该手势检测。基于从可靠性传感器206(其可以是包括在摄像机中的光检测器)接收到的信息，可靠性模块214基于(例如)门限数量的流明(诸如，针对典型办公室的500流明)来确定房间是否被很好地照亮。如果该房间被很好地照亮，则摄像机204进行拍照，并且辅手势分类器210处理该照片以确定该照片是否证明食指和拇指在一起产生了指示捏合的圆圈。处理该照片可以涉及用于查找皮肤的肤色检测，其用作用户将其手部放在摄像机之前以作出手势的指示，或者霍夫线变换(HoughLineTransform)，其查找线条，即手指边缘。如果辅手势分类器210确定捏合，则手势确认模块216基于经分类手势和证实手势之间的匹配来将捏合输出为经确认手势。

在另一个示例性实现方式中，其中，手势是一对连续的响指，并且主传感器202是手背上的压力感应带。基于该压力感应带提供的运动信号，主手势分类器208确定该手势是响指(例如，该一对响指中的第一个响指)。这一手势的信任等级不满足信任门限。因此，手势识别装置200发起手势确认过程。在这一过程中，装置200在激活辅传感器之前激活可靠性传感器206(麦克风)。将与由麦克风在发生第一响指的地方附近捕捉到的声音相对应的信号提供给可靠性模块214。可靠性模块214处理该声音信号以确定发生该第一响指的地方附近是否太大声，例如，声音等级高于门限分贝等级。如果确定该房间不是太大声，则手势识别装置200打开辅传感器204(麦克风)。

辅传感器麦克风204捕捉手势附近的声音，并且辅手势分类器210处理该声音(例如，DSP处理)以确定该声音是否证明了响指(例如，第二个响指)。如果辅手势分类器210确定响指，则手势确认模块216基于该经分类手势和证实手势之间的匹配来将响指输出为经确认手势。

在前述例子中，辅传感器204和可靠性传感器206二者都是麦克风并且可以是相同的麦克风。在这种情况下，传感器204、206之间的差别是可靠性模块214和辅手势分类器210分别执行的声音处理的复杂度等级。在可靠性模块214的情况下，声音处理涉及响度，其涉及确定分贝等级。在辅手势分类器210的情况下，声音处理涉及与手势有关的信号特征，诸如，经由FFT获取该声音的频域，以及将主要频率与训练期间记录的用户响指的主要频率进行比较，这涉及更复杂的数字信号处理。因此，在满足声音等级标准之前，推迟激活复杂的数字信号处理可以使系统在功率和处理开销方面更有效率。

参照图2描述的手势识别装置200包括主传感器、辅传感器和可靠性传感器。可以结合装置200中的其它部件从功能性方面来考虑这些传感器，并且这些传感器不必对应于不同的物理传感器。例如，在声音感测的情况下，可以使用相同的麦克风来捕捉由可靠性模块处理的声音和由辅手势分类器处理的声音。在这种情况下，主传感器和辅传感器是相同部件。在其它情况下，这些传感器的每一个均可以基于不同的基础技术、EMG、图像声音、压力、动作等等。

手势识别装置200可以具有三个以上传感器，其中的每一个均可以基于不同的基础技术。装置200可以具有将不同传感器指派为主传感器、辅传感器和可靠性传感器的灵活性。在一种配置中，可以指派传感器以实现操作的次序，借此首先使用具有较低功率消耗的传感器。例如，EMG传感器所消耗的电流远少于摄像机。因此，可以将EMG传感器指派为用于确定经分类手势的主传感器，而将摄像机指派为辅传感器并且只在证实手势被需要时才使用该摄像机。

来自辅手势分类器210的数据和结果可以通过重新训练来帮助提高主手势分类器208的性能。例如，如果主传感器(例如，EMG传感器)提供运动信号，主手势分类器208基于该运动信号来确定手势是捏合还是响指，但是辅传感器204(例如，摄像机)提供证实信息，辅手势分类器210基于该证实信息来确定手势是捏合，则更新或重新训练主手势分类器可能是有益的。为此目的，将在那时捕捉到的EMG数据(即，运动信号)反馈给主手势分类器208，并且更新主手势分类器的将运动信号特征映射到手势的手势查找表，从而使得过去常常导致被主手势分类器检测为捏合或响指的EMG信号的感测现在只会被更准确地检测为捏合。

手势识别装置200可以被配置为与在稍后时间变得可用的传感器配对。例如，如果手势识别装置200的用户开始佩戴计步器，则该系统可以从该计步器可获得的信息中受益。装置200可以检测新的传感器的存在并且确定其能力。基于这些能力，系统可以实现手势确定过程的附加特征。在计步器的情况下，在识别出该计步器时，手势识别装置200可以实现将该计步器用作关于EMG主传感器202的可靠性传感器206的特征。当该计步器向可靠性模块214指示用户正在步行时，可靠性模块促使该装置忽略从由EMG传感器提供的信号得出的任何手势分类器的输出。这是基于这样的前提：步行由于不稳定的电接地而产生了嘈杂EMG信号，继而又造成不准确的基于EMG的手势确定。

在添加新的传感器能力的示例性场景中，手势识别装置200使用公知的技术(诸如，AllJoyn)周期性地查找新设备。当新设备被接通时，装置200识别该设备并连接到该设备，例如，通过一些公开标准。一旦连接，装置200就向该设备查询可从该设备中包括的传感器获得的数据。随着新设备的用户作出各种手势，装置200从这些新的传感器的数据流中查找模式。

如果装置200的分类器部件208、210发现新的传感器所提供的数据和相应手势之间的关系，则将这一对应关系添加到该分类器的手势查找表中，这样就可以将该新的传感器用作手势分类装置200中的传感器。例如，在绑在用户手臂上并且提供与动作相对应的数据的设备的情况下，该分类器可以发现每次用户打响指，该设备都提供可重复的并且一致的运动信号。同样，如果装置200的分类器部件208、210没有发现新的传感器所提供的数据和相应手势之间的关系，则该系统将忽略来自该新的传感器的数据。例如，如果新的传感器是报告温度的温度传感器，但是装置200确定响指手势与温度变化没有关联，则该装置将会忽略该温度数据。

图3是包括以一副AR眼镜形式的AR设备302和以腕带形式的手势传感器设备304的AR系统300的图。AR眼镜302可以被配置为使用本领域的已知方法通过其镜片来投影内容。例如，AR眼镜302可以被配置为通过其镜片来投影应用内容，诸如，电子邮件、文档、网页或诸如视频游戏、电影或电子书之类的媒体内容。其它类型的AR设备302可以包括智能手机、平板电脑、笔记本电脑等等。

AR眼镜302包括用于与手势传感器设备304进行通信的通信设备306。通信设备306可以是(例如)蓝牙设备。AR眼镜302还包括处理器318，用于处理从手势传感器设备304接收到的信号。处理器318可以包括图2中示出的手势识别装置200的一个或多个部件。

手势传感器设备304被配置为与身体部分相关联，并且可以是有利于提供这样的关联的任何形式。例如，如果身体部分是手或手指，则该手势识别设备可以被配置为腕带304。

手势传感器设备304可以包括图2中示出的手势识别装置的一个或多个传感器。例如，在一种配置中，手势传感器设备304包括以一对提供EMG感测能力的电极308、310的形式的主传感器202。电极308、310更适合放置在腕带上，从而使得当用户佩戴腕带304时，该电极被定位以便感测从手腕的肌肉运动所得到的电活动。电极308、310结合EMG感测元件(未示出)一起用作提供指示身体部分的运动的信号的EMG传感器。EMG感测能力基于公知的技术。

手势传感器设备304可以包括其它类型的传感器，诸如，动作传感器312或压力传感器314，其可以用作主传感器。动作传感器312可以被放置在腕带上的任何地方，并且提供指示身体部分的运动的信号。所提供的指示可以是身体部分的全面整体运动或对应于手势的身体部分的精细运动中的一个。该动作传感器312可以是(例如)加速计、陀螺仪或磁力计。手势传感器设备304还包括用于与AR眼镜302通信的通信设备316。

图4是手势确定方法的流程图。该过程针对利用通过使用主传感器和辅传感器而提高的准确度来确定手势。该过程可以由图2的手势识别装置200来执行。

在步骤402处，该装置基于身体部分的运动来对手势进行分类。由主传感器来检测身体部分的运动。更具体地，对手势进行分类可以包括感测由身体部分的运动产生的动作活动，将所感测到的动作活动与映射到手势库的一个或多个对应的所存储的动作活动进行比较，以及在所感测到的动作活动与映射到手势的所存储的动作活动相匹配时推断该身体部分作出该手势。

在步骤404处，该装置可以确定准确的经分类手势的信任等级。从这一点而言，该经分类手势具有相关联的信任等级。该信任等级基于主传感器的类型。换句话说，由于不同传感器可能比其它传感器更好地检测某些手势，因此每一种类型的传感器(例如，动作、EMG、压力等等)具有将手势映射到信任等级的相关联的查找表。

一旦确定了对应于该传感器类型和手势的信任等级，则在步骤406处，该装置将信任等级与门限进行比较。如果满足该门限，则在步骤408处，该装置将该经分类手势输出为经确认手势。

如果不满足该门限，则在步骤410处，该装置发起手势识别确认过程，其中，该装置确定可用辅传感器的可靠性等级。确定辅传感器的可靠性等级可以包括测量与该辅传感器相关联的环境状况。例如，该环境状况可以是声音等级或亮度等级中的一个或多个。在一种实现方式中，在发起该手势识别确认过程之前，该装置检测辅传感器的存在。

一旦确定了可靠性等级，如步骤412，该装置将可靠性等级与标准进行比较。例如，在辅传感器是摄像机的情况下，该可靠性等级可以是如由可靠性传感器所测量的亮度测量，而该标准可以是所测量的亮度等级必须满足(例如，匹配或超过)的门限亮度等级(诸如，500流明)。如果不满足该标准，则在步骤414处，该装置输出手势检测错误。

如果满足该标准，则在步骤416处，该装置基于辅传感器来确定证实手势。更具体地，该装置使用该辅传感器获取与身体部分的运动相关联的证实信息，并且基于该证实信息来确定证实手势。该证实信息可以是身体部分的图像或从身体部分发出的声音中的一个或多个。确定证实手势包括将该证实信息与映射到手势库的对应信息进行比较。

在步骤418处，该装置基于证实信息来确认或否认手势的分类。更具体地，在步骤420处，该装置将经分类手势与证实手势进行比较。

在步骤422处，如果手势匹配，则在步骤424处，该装置输出对应于经分类手势和证实手势的经确认手势。如果手势不匹配，则在步骤426处，该装置输出手势检测错误。作为替代，该装置可以处理经分类手势和一个或多个证实手势的属性并相应输出经确认手势。例如，一个或多个证实手势和经分类手势中的每一个均可以具有相关联的信任等级。在这种情况下，该装置将各自的信任等级进行比较并且将具有最高信任度的手势输出为经确认手势。作为另一个例子，如果各自的信任等级基本相同(例如，彼此之间在某个百分比(诸如，10％)之内)，则该装置可以基于多数原则来输出经确认手势，将被指示最多的手势输出为经确认手势。

图5是示出了采用处理系统520的手势识别装置100'的硬件实现方式的例子的图。该装置包括基于由主传感器检测的身体部分的运动来对手势进行分类的手势分类模块504，确定辅传感器的可靠性等级的可靠性模块506，当该可靠性等级满足标准时使用辅传感器获得与身体部分的运动相关联的证实信息的证实模块508，以及基于该证实信息来确认或否认手势的分类的确认/否认模块510。

装置100'可以包括执行图4的前述流程图中的算法的步骤中的每一个步骤的附加模块。因此，可以由模块来执行图4的前述流程图中的每一个步骤，并且该装置可以包括这些模块中的一个或多个。这些模块可以是被专门配置为执行所陈述的过程/算法的一个或多个硬件部件，由被配置为执行所陈述的过程/算法的处理器来实现，存储在计算机可读介质中以供处理器实施，或者其某种组合。

处理系统520可以利用总线架构(通常由总线524来表示)来实现。根据处理系统520的具体应用和整体设计约束，总线524可以包括任何数量的互连总线和桥接。总线524将包括一个或多个处理器和/或硬件模块(由处理器522、模块504、506、508、510和计算机可读介质/存储器526来表示)的各个电路链接在一起。总线524还可以链接各个其它电路，诸如，定时源、外围设备、稳压器和功率管理电路，这些都是本领域内公知的，并且因此将不进行任何进一步描述。

处理系统520包括耦合到计算机可读介质/存储器526的处理器522。处理器522负责一般性处理，包括执行在该计算机可读介质/存储器526上存储的软件。当被处理器522执行时，该软件使得处理系统520执行上面针对任何特定装置所描述的各个功能。计算机可读介质/存储器520还可以用于存储在执行软件时由处理器522操纵的数据。该处理系统还包括模块504、506、508和510中的至少一个。这些模块可以是运行在处理器522上的、驻留/存储在计算机可读介质/存储器526中的软件模块，耦合到处理器522的一个或多个硬件模块，或者其某种组合。

在一种配置中，用于手势识别的装置100/100'包括用于基于由主传感器检测的身体部分的运动来对手势进行分类的单元，用于确定辅传感器的可靠性等级的单元，用于在该可靠性等级满足标准时使用辅传感器获得与身体部分的运动相关联的证实信息的单元，以及用于基于该证实信息来确认或否认该手势的分类的单元。

在一些配置中，手势具有相关联的信任等级，在这种情况下，用于手势识别的装置100/100'还可以包括用于将该信任等级与门限进行比较的单元，以及用于只在该信任等级不满足门限时执行所述确定、获取和确认或否认的单元。

用于手势识别的装置100/100'还可以包括用于在执行所述确定、获取和确认或否认之前检测辅传感器的存在的单元，用于监视在身体部分的运动期间从辅传感器提供的数据的单元，以及用于基于由该辅传感器提供的数据来评估由主传感器提供的数据的可靠性的单元。

前述单元可以是装置100的前述模块中的一个或多个，和/或被配置为执行前述单元所列举的功能的装置102'的处理系统520。

应当理解，所公开的过程中的步骤的特定次序或层次是示例性方式的实例。应当理解，基于设计偏好，可以重新排列这些过程中步骤的特定次序或层次。此外，一些步骤可以被组合或省略。所附的方法权利要求以示例性次序给出了各种步骤的元素，但并不意味着将其限制于所给出的特定次序或层次

所提供的前述说明书使得本领域任何技术人员能够实践本文所描述的各个方面。对于本领域技术人员来说，对这些方面的各种修改将是显而易见的，并且可以将本文定义的一般性原理应用于其它方面。因此，权利要求书并不旨在受限于本文所示出的各方面，而是要被给予与权利要求书的语言相一致的全部范围，其中，除非特别说明，否则用单数形式提及某一元素并不旨在意味着“一个和仅仅一个”，而是“一个或多个”。本申请中所用的术语“示例性的”意为“用作例子、实例或说明”。本文描述为“示例性的”的任何方面不必被解释为比其它方面更优选或更具优势。除非另外特别声明，否则术语“一些”指的是一个或多个。诸如“A、B或C中的至少一个”、“A、B和C中的至少一个”和“A、B、C或它们的任意组合”之类的组合包括A、B和/或C的任意组合，并且可以包括多个A、多个B或多个C。具体来讲，诸如“A、B或C中的至少一个”、“A、B和C中的至少一个”和“A、B、C或它们的任意组合”之类的组合可以是只有A、只有B、只有C、A和B、A和C、B和C或A和B和C，其中，任意这样的组合都可以包含A、B或C的一个或多个成员。对于本领域普通技术人员来说已知的或将要已知的、贯穿本公开内容描述的各个方面的元件的所有结构和功能等价物都以引用方式被明确地并入本文中，并且旨在被权利要求书所涵盖。此外，本文所公开的任何内容都不是想要奉献给公众的，不管这样的公开内容是否明确记载在权利要求书中。任何权利要求的元素都不应作为装置加功能来进行解释，除非该元素是明确地使用“用于…的单元”的措辞进行陈述的。

Claims (40)

1.一种手势识别方法，包括：

基于身体部分的运动来对手势进行分类，所述运动由主传感器来检测；

确定辅传感器的可靠性等级；

当所述可靠性等级满足标准时，使用所述辅传感器来获取与所述身体部分的所述运动相关联的证实信息；以及

基于所述证实信息来确认或否认所述手势的所述分类。

2.根据权利要求1所述的方法，其中，确定辅传感器的可靠性等级包括测量与所述辅传感器相关联的环境状况。

3.根据权利要求2所述的方法，其中，所述环境状况包括声音等级或亮度等级中的一个或多个。

4.根据权利要求1所述的方法，其中，所述证实信息包括所述身体部分的图像或从所述身体部分发出的声音中的一个或多个。

5.根据权利要求1所述的方法，其中，所述主传感器和所述辅传感器是不同类型的传感器。

6.根据权利要求1所述的方法，其中，确认或否认所述手势的所述分类包括：

基于所述证实信息来确定证实手势；以及

当所述证实手势与所述手势的所述分类相匹配时，确认所述手势的所述分类。

7.根据权利要求6所述的方法，其中，确定证实手势包括将所述证实信息与映射到手势库的对应信息进行比较。

8.根据权利要求1所述的方法，其中，基于由主传感器检测的身体部分的运动来对手势进行分类包括：

感测由所述身体部分的所述运动产生的动作活动；

将所感测到的动作活动与映射到手势库的一个或多个对应的所存储的动作活动进行比较；以及

当所感测到的动作活动与映射到所述手势的所存储的动作活动相匹配时，推断所述身体部分作出了所述手势。

9.根据权利要求8所述的方法，还包括：当基于所述证实信息否认所述手势的所述分类时，更新所述手势库。

10.根据权利要求9所述的方法，其中，更新所述手势库包括将与所感测到的动作活动相对应的所存储的动作活动重新映射到不同手势，其中，所述不同手势对应于基于所述证实信息确定的证实手势。

11.根据权利要求1所述的方法，其中，所述手势具有相关联的信任等级，所述方法还包括：

将所述信任等级与门限进行比较；以及

只在所述信任等级不满足所述门限时才执行所述确定、所述获取以及所述确认或否认。

12.根据权利要求1所述的方法，还包括：在执行所述确定、所述获取以及所述确认或否认之前，检测所述辅传感器的存在。

13.根据权利要求1所述的方法，还包括：

监视在所述身体部分的所述运动期间从所述辅传感器提供的数据；以及

基于由所述辅传感器提供的数据来评估由所述主传感器提供的数据的可靠性。

14.一种用于手势识别的装置，所述装置包括：

用于基于身体部分的运动来对手势进行分类的单元，所述运动由主传感器来检测；

用于确定辅传感器的可靠性等级的单元；

用于当所述可靠性等级满足标准时，使用所述辅传感器来获取与所述身体部分的所述运动相关联的证实信息的单元；以及

用于基于所述证实信息来确认或否认所述手势的所述分类的单元。

15.根据权利要求14所述的装置，其中，所述用于确定辅传感器的可靠性等级的单元被配置为测量与所述辅传感器相关联的环境状况。

16.根据权利要求15所述的装置，其中，所述环境状况包括声音等级或亮度等级中的一个或多个。

17.根据权利要求14所述的装置，其中，所述证实信息包括所述身体部分的图像或从所述身体部分发出的声音中的一个或多个。

18.根据权利要求14所述的装置，其中，所述主传感器和所述辅传感器是不同类型的传感器。

19.根据权利要求14所述的装置，其中，所述用于确认或否认所述手势的所述分类的单元被配置为：

基于所述证实信息来确定证实手势；以及

当所述证实手势与所述手势的所述分类相匹配时，确认所述手势的所述分类。

20.根据权利要求19所述的装置，其中，所述用于确认或否认所述手势的所述分类的单元通过被进一步配置为为了确定证实手势将所述证实信息与映射到手势库的对应信息进行比较来确定证实手势。

21.根据权利要求14所述的装置，其中，所述用于基于由主传感器检测的身体部分的运动来对手势进行分类的单元被配置为：

感测由所述身体部分的所述运动产生的动作活动；

将所感测到的动作活动与映射到手势库的一个或多个对应的所存储的动作活动进行比较；以及

当所感测到的动作活动与映射到所述手势的所存储的动作活动相匹配时，推断所述身体部分作出了所述手势。

22.根据权利要求21所述的装置，其中，所述用于对手势进行分类的单元被配置为当基于所述证实信息否认所述手势的所述分类时，更新所述手势库。

23.根据权利要求22所述的装置，其中，所述用于对手势进行分类的单元通过被进一步配置为将与所感测到的动作活动相对应的所存储的动作活动重新映射到不同手势来更新所述手势库，其中，所述不同手势对应于基于所述证实信息确定的证实手势。

24.根据权利要求14所述的装置，其中，所述手势具有相关联的信任等级，所述装置还包括：

用于将所述信任等级与门限进行比较的单元；以及

用于只在所述信任等级不满足所述门限时才执行所述确定、所述获取以及所述确认或否认的单元。

25.根据权利要求14所述的装置，还包括：用于在执行所述确定、所述获取以及所述确认或否认之前，检测所述辅传感器的存在的单元。

26.根据权利要求14所述的装置，还包括：

用于监视在所述身体部分的所述运动期间从所述辅传感器提供的数据的单元；以及

用于基于由所述辅传感器提供的数据来评估由所述主传感器提供的数据的可靠性的单元。

27.一种用于手势识别的装置，所述装置包括：

存储器；以及

处理系统，其耦合到所述存储器，并且被配置为：

基于身体部分的运动来对手势进行分类，所述运动由主传感器来检测；

确定辅传感器的可靠性等级；

当所述可靠性等级满足标准时，使用所述辅传感器来获取与所述身体部分的所述运动相关联的证实信息；以及

基于所述证实信息来确认或否认所述手势的所述分类。

28.根据权利要求27所述的装置，其中，所述处理系统通过被配置为测量与辅传感器相关联的环境状况来确定所述辅传感器的可靠性等级。

29.根据权利要求28所述的装置，其中，所述环境状况包括声音等级或亮度等级中的一个或多个。

30.根据权利要求27所述的装置，其中，所述证实信息包括所述身体部分的图像或从所述身体部分发出的声音中的一个或多个。

31.根据权利要求27所述的装置，其中，所述主传感器和所述辅传感器是不同类型的传感器。

32.根据权利要求27所述的装置，其中，所述处理系统通过被进一步配置为执行以下操作来确认或否认所述手势的所述分类：

基于所述证实信息来确定证实手势；以及

当所述证实手势与所述手势的所述分类相匹配时，确认所述手势的所述分类。

33.根据权利要求32所述的装置，其中，所述处理系统通过被配置为将所述证实信息与映射到手势库的对应信息进行比较来确定证实手势。

34.根据权利要求27所述的装置，其中，所述处理系统通过被配置为执行以下操作来基于由主传感器检测的身体部分的运动对手势进行分类：

感测由所述身体部分的所述运动产生的动作活动；

将所感测到的动作活动与映射到手势库的一个或多个对应的所存储的动作活动进行比较；以及

当所感测到的动作活动与映射到所述手势的所存储的动作活动相匹配时，推断所述身体部分作出了所述手势。

35.根据权利要求34所述的装置，其中，所述处理系统还被配置为当基于所述证实信息否认所述手势的所述分类时，更新所述手势库。

36.根据权利要求35所述的装置，其中，所述处理系统通过被进一步配置为将与所感测到的动作活动相对应的所存储的动作活动重新映射到不同手势来更新所述手势库，其中，所述不同手势对应于基于所述证实信息确定的证实手势。

37.根据权利要求27所述的装置，其中，所述手势具有相关联的信任等级，所述处理系统还被配置为：

将所述信任等级与门限进行比较；以及

只在所述信任等级不满足所述门限时才执行所述确定、所述获取以及所述确认或否认。

38.根据权利要求27所述的装置，其中，所述处理系统被进一步配置为在执行所述确定、所述获取以及所述确认或否认之前，检测所述辅传感器的存在。

39.根据权利要求27所述的装置，其中，所述处理系统还被配置为：监视在所述身体部分的所述运动期间从所述辅传感器提供的数据；以及

基于由所述辅传感器提供的数据来评估由所述主传感器提供的数据的可靠性。

40.一种用于手势识别的计算机程序产品，所述产品包括：

计算机可读介质，包括用于以下操作的代码：

基于身体部分的运动来对手势进行分类，所述运动由主传感器来检测；

确定辅传感器的可靠性等级；

当所述可靠性等级满足标准时，使用所述辅传感器来获取与所述身体部分的所述运动相关联的证实信息；以及

基于所述证实信息来确认或否认所述手势的所述分类。