CN103106391A - 手势识别设备及其方法 - Google Patents

Abstract

一种手势识别设备从获取的移动图像检测用户的指尖位置的轨迹；设定有效范围，以便从所述移动图像轻击动作检测所述用户的所述指尖位置的轨迹；当指尖位置的轨迹被包含在有效范围中时，判定指尖位置的轨迹是否是轻击动作的；以及当指尖位置的轨迹是轻击动作的时，从轻击动作识别用户的手势。

Description

手势识别设备及其方法

[相关申请的交叉引用]

这个申请是基于2011年11月14日提交的第2011-248569号在先日本专利申请，并要求其优先权，其全部内容通过引用被结合在此。

技术领域

在此描述的实施例大体涉及手势识别设备及其方法。

背景技术

在相关技术的手势识别设备中，当指定区域的当前运动被检测为快速运动时，从当前快速运动的历史中提取作为过去的快速运动的矢量信息的之前紧接的快速运动，并且使用形成在当前快速运动和之前紧接的快速运动之间形成的角度，来判定指定区域的当前状态是否是表示指定区域在预定方向中处于快速运动的轻击动作。换句话说，手势识别设备从用户的手部运动来判定手势指令。

发明内容

然而，在如上所述的相关技术的手势识别设备中，因为是从手部运动的速度来判定轻击动作，所以存在当在由用户进行的轻击动作之后出现的返回动作等于阈值或者比阈值更快时，该返回动作被错误地判定为轻击动作的问题。

根据实施例，提供一种手势识别设备，包括：图像获取单元，被配置为获取移动图像；检测单元，被配置为从所述移动图像检测用户的指尖位置的轨迹；设定单元，被配置为设定有效范围，以便从所述移动图像轻击动作检测所述用户的所述指尖位置的轨迹；判定单元，被配置为当所述指尖位置的所述轨迹被包含在所述有效范围中时，判定所述指尖位置的所述轨迹是否是轻击动作的；以及识别单元，被配置为当所述指尖位置的所述轨迹是所述轻击动作的时，从轻击动作识别所述用户的手势。

根据该实施例，可以仅仅通过轻击动作来实现判定，并且返回动作和轻击动作之间的错误判定的概率被减少。

附图说明

图1是根据实施例1的手势识别设备的方框图；

图2是手势识别设备的流程图；

图3是显示在有效范围中的指尖运动的说明图；

图4是显示根据实施例2的在有效范围中的指尖运动的说明图；

图5是根据实施例3的手势识别设备的方框图；

图6是根据实施例3的手势识别设备的流程图；

图7是根据实施例4的手势识别设备的应用的说明图；和

图8是头戴式显示器的显示屏幕。

具体实施方式

将描述根据实施例的手势识别设备。

（实施例1）

现在参考图1到图3，将描述根据实施例1的手势识别设备10。

根据该实施例的手势识别设备10被配置为通过用户的一个手指F的指尖运动来操作屏幕，检测用户的轻击动作并且使得屏幕中的显示内容被转移到相应的方向。该“轻击动作”是用户在一个方向中的指尖运动。术语“一个方向”意指诸如向上的方向、向下的方向、向左的方向、向右的方向或者倾斜向上的方向，或者倾斜向下的方向的一个方向。

例如，当用户通过该“轻击动作”在屏幕上编辑图片时，图像通过该动作被改变。例如，如果用户通过朝一个方向挥击来操作图片，那么图片被改变为下一个图片，或者是空的。另一个例子，如果用户通过在图片的中间挤压来操作该图片，那么该图片被改变为较小的图片。

当用户重复地进行指尖的轻击动作时，在轻击动作之后使指尖返回到起始位置的动作被称为“返回动作”。

现在参考图1中的方框图，将描述手势识别设备10的结构。

手势识别设备10包含图像拍摄单元11、图像获取单元12、检测单元13、判定单元14、设定单元15、识别单元16以及显示单元17。

图像拍摄单元11拍摄用户的一个手指F的指尖运动的移动图像。图像拍摄单元11是诸如图像传感器或者摄像机的成像元件，并且并不局限于单眼成像元件。可以采用距离传感器和多个成像元件，该距离传感器被配置为将到来自传感器的各个像素中成像的物体的推定距离添加到各个像素，多个成像元件能够以同样的方式获取来自传感器的距离。

该图像获取单元12获取由图像拍摄单元11获取的移动图像。

检测单元13从该移动图像检测一个手指F的指尖位置的轨迹。

判定单元14基于检测的一个手指F的指尖位置的轨迹和从设定单元15发送的有效范围A来判定指尖运动是否是轻击动作。

设定单元15设定用于判定指尖运动是否是轻击动作的有效范围A。

识别单元16从由判定单元14判定的轻击动作来识别用户的手势。

显示单元17显示由图像获取单元12获取的移动图像，并且还以重叠的方式显示由设定单元15设定的有效范围A。

现在参考图2中的流程图，将描述手势识别设备10的动作。

在步骤S101中，图像拍摄单元11拍摄用户的一个手指F的指尖运动的图像，而且图像获取单元12获取拍摄的移动图像的各个图像（各个帧）并且将获取的帧分别发送到检测单元13，过程进行到步骤S102。

在步骤S102中，检测单元13检测在发送的移动图像的各个帧中展示的一个手指F的指尖位置。以下将按顺序描述检测的方法。

首先，检测单元13预先从指尖的图案和背景的图案学习两等级分类，并且从一个获取的帧中检索被分类为指尖图案的矩形领域。指尖领域仅仅具有少数有区别的纹理，接下来出现的不同种类的特征被互补地使用和级联分类，以便实现快速高准确度的检测处理。

其次，检测单元13使用作为为了脸部检测而开发的共生关系的Haar-like特征的“JointHaar-like”特征矢量，通过AdaBoost算法学习的分类器（参见T.Mita、T.Kaneko、B.Stenger和O.Hori，用于目标检测的有区别的特征共生选择（Discriminative feature co-occurrenceselection for object detection)，IEEE Trans.Pattern Anal.Mach.Intell.，第30卷，第7号，第1257-1269页，2008），提取指尖的候选领域。

第三，检测单元13使用定位梯度的共生直方图（Co-occurrence Histograms ofOrientedGradients）特征矢量，通过支持矢量机（Support Vector Machine）（参见T.Watanabe、S.Ito和K.Yokoi，步行者检测的定位梯度的共生直方图（Co-occurrence histograms of orientedgradients ofpedestrian detection），In PSIVT 2009，LNCS，第5414卷，第37-47页，2009），最后检测指尖位置，定位梯度的共生直方图特征矢量是从包含为了人的检测而开发的组合的辉度梯度的二维柱状图获得的共生矩阵。

上游侧上的分类器的特征是具有实现非常快速分类的能力，而且下游侧上的分类器的特征是具有使用虽然没有与上游侧上的分类器一样的快速的详细特征、但是仍实现高精确度分类的能力。

当指尖的检测的结果存在于过去的帧中时，检测单元13基于该结果进行跟踪处理。

在如上所述的检测的两个方法中，因为从集中在纹理上的特征（例如，特征矢量）来检测帧中的目标是否是指尖，所以除非指尖的纹理的图像由于运动模糊而未能以高分辨率被拍摄，否则不能实现该检测。因此，基于如非专利文献（D.Comaniciu、V.Ramesh和P.Meer，基于核的目标跟踪（Kernel Based Object Tracking），PAMI，第25卷，第5号，第564-577页，2003）中描述的方法，可以使用颜色信息来追踪指尖。

检测单元13将通过逻辑加法对当前帧检测的一个手指F的指尖位置和过去的指尖位置的轨迹进行积分而获得的结果判定为当前帧的最终的指尖位置。

检测单元13将检测的当前帧的一个手指F的指尖位置（例如，由左上方的坐标和右下方的坐标表示的矩形）发送到设定单元15和判定单元14。

检测单元13连续地检测从一个帧到另一个帧的移动图像的一个手指F的指尖位置。因此，检测单元13发送检测的指尖位置的轨迹。

在步骤S103中，如图3所示，判定单元14基于相对于发送的当前帧的过去帧中的一个手指F的指尖位置的轨迹以及从设定单元15发送的有效范围A，判定一个手指F的指尖运动是否是轻击动作。为了获得指尖位置的轨迹，使用从检测单元13发送的任意的帧数N（例如，5个帧）中的各个指尖位置。

判定单元14仅仅判定在有效范围A之内的指尖运动。通过设定单元15从直到先前帧为止的帧中展示的指尖运动来设定该有效范围A，并且将稍后描述这个设定。判定单元14并不判定除了有效范围A以外的范围中的指尖运动。

判定单元14判定指尖位置的轨迹是否包含在有效范围A中，而且如果该轨迹被包含在有效范围A中，那么进行到接下来的处理，并且如果不是，那么判定不是轻击动作。

随后，判定单元14基于由在从手指位置的轨迹获得的图像中的当前时间点处的指尖的速度（x分量和y分量）和加速度（x分量和y分量）组成的特征量，判定指尖运动是否是预先学习的运动（在一个方向中的指尖运动）。在这个判定中，使用辨别器，并且通过例如k-最近邻居分类（k-Nearest Neighbour Classification）或者支持矢量机（Support VectorMachine）来预先学习运动（一个方向中的指尖运动）。利用这个判定，判定单元14能够排除诸如指尖的Z字形移动的动作。

同样，预先设定速度的阈值和加速度的阈值，以致即使该指尖运动是轻击动作，判定单元14也能够排除一个手指F的缓慢移动。

然而，在如上所述的判定中，不能排除返回动作。因此，如图3所示，用户在除了有效范围A以外的范围中进行返回动作。

判定单元14将被判定为轻击动作的指尖运动的判定的结果发送到识别单元16，并且过程进行到步骤S104。

在步骤S104中，设定单元15从检测单元13发送的N个帧中的一个手指F的指尖位置的轨迹，设定用于在下一个帧中的指尖的判定的有效范围A，并将其发送到判定单元14，以及显示有效范围A，以便被重叠在显示单元17中展示的图像上。

首先，设定单元15在整个图像上设定有效范围A的最初范围。

随后，设定单元15从由检测单元13检测的N个帧中的一个手指F的指尖位置的轨迹，将指尖被移动的范围设定为有效范围A。例如，假定N是5（N=5），设定单元15将由从过去的第n个帧上的指尖位置到第（n+4）个帧上的指尖位置的轨迹表现的领域设定为有效范围A。有效范围A不必是指尖被移动的绝对的范围，并且如图3所示，该有效范围A由矩形领域表现，而且例如，通过第n个帧上的指尖位置和第（n+4）个帧上的指尖位置来判定横向的尺寸，并且纵向上的尺寸被设定为指尖尺寸的一到三倍的尺寸。

随后，设定单元15将第（n+4）个帧上的预设的有效范围A发送到判定单元14和显示单元17。如上所述，判定单元14用于第（n+5）个帧的判定。如图3所示，显示单元17以重叠的方式显示在图像中的有效范围A。

当在第n个帧中检测到的指尖位置和在第（n+1）个帧中检测到的指尖位置彼此相隔的距离等于或者大于阈值时，设定单元15初始化有效范围A。

在步骤S105中，识别单元16基于由判定单元14判定的轻击动作来识别用户的手势，并且结束该处理。作为识别的方法，例如，可以采用专利文献1中描述的方法。

根据该实施例，可以仅仅通过轻击动作来实现判定，并且返回动作和轻击动作之间的错误判定的概率被减少。换句话说，通过用户在显示单元17中的在除了有效范围A以外的范围中进行返回动作，可以减少如相关技术的返回动作和轻击动作之间的错误判定的概率。

（实施例2）

随后，将参考图4描述根据实施例2的手势识别设备10。

这个实施例的手势识别设备10和实施例1中的手势识别设备10之间的不同点是判定单元14和设定单元15的功能。

在这个实施例中，设定单元15并不在图像中设定有效范围A，而是设定表示轻击动作的一维方向矢量。该方向矢量是预定方向的矢量，而且该方向可以是由用户选择的一个指定方向。

如图4所示，关于有效范围A中的指尖运动，判定单元14将在从指尖位置的轨迹获得的指尖运动矢量和方向矢量之间形成的角度θ1与判定角度θ0（例如，-30°≤θ0≤30°）进行比较。而且当相应的角度是θ1≤θ0时，判定单元14判定该动作是轻击动作。在图4中，轻击动作由θ1=0°表示，并且返回动作由θ1=180°表示。

然后，当预设的有效范围A和指尖位置之间的距离等于或者大于阈值时，设定单元15初始化该有效范围A。

在该实施例中，不必在显示单元17上显示该有效范围A。

根据这个实施例，如实施例1中的那样，用户并不需要在除了在显示单元17上展示的有效范围A以外的范围中进行返回动作，因此，即使当用户在有效范围A中进行返回动作时，可以仅仅判定轻击动作。

（实施例3）

随后，将参考图5和图6描述根据实施例3的手势识别设备100。

这个实施例的手势识别设备100和实施例1中的手势识别设备10之间的不同点是这个实施例的手势识别设备100具有管理单元118。换句话说，虽然实施例1的手势识别设备10基于一个手指F的指尖运动来识别手势，但是这个实施例的手势识别设备100包含管理单元118，因此基于多个手指F来识别手势。

将省略关于手势识别设备100与手势识别设备10相同的部分的描述。

现在参考图5中的方框图，将描述手势识别设备100的结构。

如图5所示，手势识别设备100除了包括图像拍摄单元111、图像获取单元112、检测单元113、判定单元114、设定单元115和识别单元116之外，还包括如上所述的管理单元118。

图像拍摄单元111拍摄用户的多个手指F的指尖的图像。

图像获取单元112获取由图像拍摄单元111拍摄的移动图像。

检测单元113检测各个帧中的各个指尖位置并且将检测的结果发送到管理单元118。检测的方法与实施例1相同。

管理单元118从多个手指F的指尖指定一个手指F的指尖，并且仅仅将指定手指位置的轨迹发送到判定单元114和设定单元115。

判定单元114基于经由管理单元118从检测单元113发送的指定指尖位置的轨迹以及由设定单元115设定的有效范围A，判定由管理单元118指定的指尖的指尖运动是否是轻击动作。判定的方法与实施例1相同。

设定单元115从经由管理单元118从检测单元113发送的指定指尖位置的轨迹设定有效范围A，以及将设定的有效范围A发送到判定单元114。这个设定的方法与实施例1相同。

管理单元118判定一个指尖运动是否是轻击动作，然后将指定指尖位置的轨迹发送到判定单元114和设定单元115，以便判定下一个指尖运动。当所有的手指F的指尖运动的判定结束时，终止该控制。

识别单元116合并判定的指尖运动（轻击动作），并且识别该运动是否是由多个指尖运动定义的手势。例如，由两个指尖运动定义的手势包含“向外挤压”和“向内挤压”，“向外挤压”是通过两个手指在不同的方向上移动以扩大两个手指之间的距离的操作，“向内挤压”是减少两个手指之间的距离的操作。此时，可以通过使用一只手的两个手指、两只手中的每只手的一个手指或者两个用户的手指来实施这些手势。

只要是可以由判定单元114判定的一维方向中的指尖运动，这些手势可以是由两个以上的手指的指尖运动定义的任何运动，而且从手的中心向外弹开一只手的所有手指（五个手指）的动作可以被定义为使显示在其上的多个目标分开和分散的手势。

现在参考图6中的流程图，将描述手势识别设备100的动作。在手势识别设备100的动作之中，图6中的步骤S101到S102与图2中的步骤S101到S102相同，所以将省略描述。

在步骤S303中，由检测单元113检测的手指F的数量以及这些手指F的指尖位置从一个帧到另一个帧被输入到管理单元118。管理单元118按顺序指定其指尖运动被判定的手指F，并且将指定的指尖位置的轨迹发送到判定单元114和设定单元115。

在步骤S304中，判定单元114关于指定的指尖位置的轨迹，基于由设定单元115设定的有效范围A来判定指尖运动是否是轻击动作。设定单元115将判定的结果发送到识别单元116。

在步骤S305中，设定单元115从指定指尖位置的轨迹，设定来自用于指尖运动的判定的下一个帧的有效范围A，并且将设定的有效范围A发送到判定单元114。

在步骤S306中，识别单元116识别所有的手指F的指尖运动的组合是否是预设手势，并且停止该处理。

（实施例4）

现在参考图7和图8，将描述实施例4。这个实施例是实施例1中的手势识别设备10适用于头戴式显示器302的实例。

如图7所示，这个实施例通过手势来进行头戴式显示器302的显示项目的滑动。对于为了手部自由操作而开发的头戴式显示器302，允许手部自由操作的手势识别的操作是有效的。

头戴式显示器302具有可佩带的计算机300、显示单元17和图像拍摄单元11。手势识别设备10作为程序被结合在可佩带的计算机300中。

图像拍摄单元11沿着用户的视线的方向拍摄景物的图像。

显示单元17在头戴式显示器302上显示图像。

可佩带的计算机300（手势识别设备10）识别用户的手指F的轻击动作，并且如图8所示，执行指令，以便基于相应的手指F的轻击动作，沿着运动的方向滚动由显示单元17在头戴式显示器302上显示的多个项目。

根据该实施例，通过沿着轻击动作的方向滚动项目，用户能够详细地观看项目。

（变形例）

将描述上述实施例的变形例。

变形例1是由判定单元14为了判定而使用的特征量的变形例。除上述实施例中描述的特征量之外的特征量如下。

作为来自其他特征量当中的第一特征量，使用四维特征量，该四维特征量包含N个帧的平均x速度、N个帧的平均x加速度、N个帧的平均y速度、和N个帧的平均y加速度。

作为来自其他特征量当中的第二特征量，使用4N-6维特征量，该4N-6维特征量具有作为要素的通过使用N-1个历史记录获得的速度以及通过使用N-2个历史记录获得的加速度。

虽然如上所述的实施例4已经利用头戴式显示器302的实例被描述，但是手势识别设备10并不局限于此，并且可以适用于其他设备。实施例2中的手势识别设备100同样可以被适用。

可以通过使用通用计算机作为基本的硬件来实现手势识别设备10和100。换句话说，可以通过使得安装在上述计算机上的处理器执行程序来实现图像获取单元12和112、检测单元13和113、判定单元14和114、设定单元15和115以及管理单元118。此时，可以通过预先在计算机上安装上述程序来实现手势识别设备10和100，或者可以通过在诸如CD-ROM的记录介质中存储程序或者通过经由网络分配上述程序、从而允许用户在需要时在计算机上安装程序，来实现手势识别设备10和100。同样，可以通过在需要时使用结合在上述计算机中或者外部连接到上述计算机的内存、硬盘、或者诸如CD-R、CD-RW、DVD-RAM或者DVD-R的存储媒体，来实现图像获取单元12和112、检测单元13和113、判定单元14和114、设定单元15和115以及管理单元118。

虽然已经描述了某些实施例，但是这些实施例仅仅是通过举例而给出的，并不是想要限定本发明的范围。实际上，在此描述的新的实施例可以包含在各种其他形态之中；此外，在没有违背本发明的精神的情况下，能够以在此描述的实施例的形式，作出各种省略、替换和变化。附带的如权利要求书和它们的等效物意欲覆盖这种属于本发明的范围和精神的形式或变形。

Claims (6)

1.一种手势识别设备，其特征在于，包括：

图像获取单元，被配置为获取移动图像；

检测单元，被配置为从所述移动图像检测用户的指尖位置的轨迹；

设定单元，被配置为设定有效范围，以便从所述移动图像轻击动作检测所述用户的所述指尖位置的轨迹；

判定单元，被配置为当所述指尖位置的所述轨迹被包含在所述有效范围中时，判定所述指尖位置的所述轨迹是否是轻击动作的；以及

识别单元，被配置为当所述指尖位置的所述轨迹是所述轻击动作的时，识别所述用户轻击动作的手势。

2.如权利要求1所述的手势识别设备，其特征在于，进一步包括显示单元，被配置为以重叠的方式显示所述移动图像和所述有效范围。

3.如权利要求1所述的手势识别设备，其特征在于，所述设定单元除了设定所述有效范围以外，还设定表示所述轻击动作的第一方向矢量，以及

当所述轨迹被包含在所述有效范围中、而且在由所述指尖位置的所述轨迹表示的第二矢量和所述第一方向矢量之间形成的角度小于判定角度时，所述判定单元判定所述指尖位置的所述轨迹是所述轻击动作。

4.如权利要求1所述的手势识别设备，其特征在于，进一步包括：

管理单元，被配置为当所述检测单元检测到多个手指的各个指尖位置的轨迹时，将各个手指的指尖位置的轨迹按顺序发送给所述判定单元和所述设定单元，其中

所述设定单元对每个手指设定所述有效范围，

所述判定单元对每个手指进行是否是所述轻击动作的判定，

所述识别单元合并所述多个手指的所述轻击动作以识别所述用户的所述手势。

5.如权利要求1所述的手势识别设备，其特征在于，所述有效范围是矩形领域。

6.一种手势识别方法，其特征在于，包括：

获取移动图像；

从所述移动图像检测用户的指尖位置的轨迹；

设定有效范围，以便从所述移动图像轻击动作检测所述用户的所述指尖位置的轨迹；

当所述指尖位置的所述轨迹被包含在所述有效范围中时，判定所述指尖位置的所述轨迹是否是轻击动作的；

以及

当所述指尖位置的所述轨迹是所述轻击动作的时，从轻击动作识别所述用户的手势。

Images