CN102906671A

CN102906671A - 手势输入装置及手势输入方法

Info

Publication number: CN102906671A
Application number: CN2011800258944A
Authority: CN
Inventors: 前田茂则
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Intellectual Property Corp of America
Priority date: 2010-07-20
Filing date: 2011-07-15
Publication date: 2013-01-30
Anticipated expiration: 2031-07-15
Also published as: CN102906671B; WO2012011263A1; US9134800B2; US20130063345A1; JPWO2012011263A1; JP5802667B2

Abstract

手势输入装置（100）具备：坐标输入检测部（102），依次检测与用户的手的位置对应的坐标；手势开始检测部（103），从检测到的第一坐标序列之中检测表示意图开始手势的第一手运动的成分；引导图像生成部（104），在检测到表示第一手运动的成分的情况下，生成用于引导用户进行包括第二手运动的手势的手势引导图像；意图动作成分检测部（105），从在将手势引导图像显示在画面（108）上之后被检测到的第二坐标序列之中检测表示第二手运动的成分作为意图动作成分；控制信号生成部（106），在检测到意图动作成分的情况下，从第二坐标序列之中检测表示与手势对应的手运动的成分，按照检测结果生成控制信号。

Description

手势输入装置及手势输入方法

技术领域

本发明涉及将用户的手摆动等的手运动识别为手势、并基于识别出的手势能够进行对象设备的控制的手势输入装置。

背景技术

以往以来，提出了如下手势输入装置：在具备图形用户接口（GUI：Graphical User Interface）的设备中，能够通过同样的手运动直观地输入将用于选择画面上的项目的指针移动或使项目自身在画面上移动的操作。在这些手势输入装置中，用户通过自己的手的运动使画面上的指针或项目直观地移动。因而，手势输入装置与键盘或鼠标那样的以往的输入装置相比，具有不需要用于熟习的训练、并且谁都能够如愿操作的优点。进而，在这些手势输入装置中还提出了通过使用摄像机等的能够捕捉用户的运动的传感器，完全不需要把持或佩戴遥控器等输入设备的装置。如果使用这样的手势输入装置，则用户什么时候都能够仅通过将手移动来远程操作对象设备。

在这些手势输入装置中，为了构成实用的GUI，除了使指示画面上的1个项目的指针随着手的运动而移动以外，还至少需要识别用于变更该指针指示的项目的选择状态的手的规定动作。对此，在以往技术中有当识别出特定的手的形状时进行选择状态的变更的技术（例如，参照专利文献1及专利文献2）。此外，另一方面，还有基于特定的手运动的识别进行选择状态的变更的技术（例如参照专利文献3）。

现有技术文献

专利文献

专利文献1：特开2004－078977号公报

专利文献2：特开2008－146243号公报

专利文献3：特开2006－209563号公报

发明概要

发明要解决的问题

上述专利文献1所公开的手势输入装置在将食指竖立的状态下随着手的运动而移动指针，如果将食指弯曲而使手成为握拳的形状，则选择指针所指示的项目。此外，上述专利文献2所公开的手势输入装置在将手指全部伸开的伸平的手掌形状时使功能焦点移动，在将手指全部弯曲的握拳形状时选择被对焦的功能。即，这些技术依赖于能够高精度地实现手的形状识别，为了进行高精度的手的形状识别所需要的高空间分辨率下的手的形状计测，不得不限定用户可能进行手势操作的场所，有难以实现使操作范围大和操作的可靠性的两全的问题。

另一方面，上述专利文献3所公开的手势输入装置即使使用空间分辨率比手的形状识别低的传感器，也能够基于手运动识别而比较高精度地控制设备。该手势输入装置在将手上下左右摆动时，使画面上的对象的强调显示向摆动手的方向移动。此外，该手势输入装置在将手朝向画面推入而移动时，进行强调显示的对象的选择决定。但是，在这些技术中，在操作中使用的手运动是在日常生活中自然地将手移动时无意地发生的运动。因而，会不小心选择画面上的项目、或执行没有意图的功能。因此，有难以实现通过自然而简单的手运动实现操作、和防止误动作的可靠性的两全的问题。

发明内容

所以，本发明是解决上述以往的问题的，目的是提供一种能够将操作范围较大、自然而简单的手运动利用于对象设备的控制、能够抑制误动作的手势输入装置。

用于解决问题的手段

为了达到上述目的，有关本发明的一技术方案的手势输入装置，基于用户的手势生成用于控制对象设备的控制信号，具备：坐标输入检测部，依次检测与用户的手的位置对应的坐标；手势开始检测部，从作为由上述坐标输入检测部检测到的坐标的序列的第一坐标序列之中，检测表示预先设定为意图开始手势的手运动的第一手运动的成分；引导图像生成部，在由上述手势开始检测部检测到表示上述第一手运动的成分的情况下，生成用于引导上述用户以使其进行包括第二手运动的手势的手势引导图像；画面控制部，将由上述引导图像生成部生成的上述手势引导图像显示到画面上；意图动作成分检测部，从作为在由上述画面控制部将上述手势引导图像显示在画面上之后由上述坐标输入检测部检测到的坐标的序列的第二坐标序列之中，检测表示上述第二手运动的成分作为上述手势的意图动作成分；以及控制信号生成部，在由上述意图动作成分检测部检测到上述意图动作成分的情况下，从上述第二坐标序列之中检测表示与上述手势对应的手运动的成分，按照检测结果生成控制信号。

根据本结构，能够将用于引导用户以使其进行包括第二手运动的手势的手势引导图像显示到画面上。因而，如果用户按照显示在该画面上的手势引导图像进行手势，则能检测到表示第二手运动的成分。所以，通过检测表示第二手运动的成分作为意图动作成分、在检测到该意图动作成分的情况下进行表示与手势对应的手运动的成分的检测，能够抑制在用户没有意图进行手势时手势被检测出的情况。即，能够抑制由手势的误检测引起的对象设备的误动作，并且实现通过手势的设备操作。此外，第二手运动是包含在由手势引导图像引导的手势中的运动。因而，如果用户按照手势引导图像进行手势，则自然进行第二手运动。即，根据本结构，能够将操作范围较大、自然而简单的手的运动利用于对象设备的控制。

此外，优选的是，上述画面控制部还在画面上的与上述坐标输入检测部检测到的坐标对应的位置上显示光标；上述引导图像生成部在与显示有上述光标的位置不同的位置上显示上述手势引导图像；上述第二手运动是用于使上述光标向显示有上述手势引导图像的位置移动的手运动。

根据本结构，能够检测表示用于使光标向显示有手势引导图像的位置移动的手运动的成分作为意图动作成分。因而，能够将更自然而简单的手的运动利用于对象设备的控制。

此外，优选的是，上述画面控制部在从显示有上述光标的位置向与检测到表示上述第一手运动的成分时的上述光标的移动方向不同的方向离开的位置上显示上述手势引导图像。

根据本结构，能够抑制在显示手势引导图像之前的手的运动原样继续时检测到意图动作成分。即，能够抑制当用户没有意图进行手势时检测到手势的情况。

此外，优选的是，上述画面控制部还在画面上的与上述坐标输入检测部检测到的坐标对应的位置上显示光标，伴随着进深表现来显示上述手势引导图像；上述第二手运动是向上述画面方向的手运动，上述进深表现是指相对于上述用户而言显示在比显示有上述光标的位置更向画面方向远离的位置上。

根据本结构，能够检测表示向画面方向的手运动的成分作为意图动作成分。一般而言，当进行手势时，多数情况下用户将手以向画面方向推出的方式移动。通过使用手势引导图像引导向画面方向的手运动，能够将更自然而简单的手运动利用于对象设备的控制。

此外，优选的是，上述坐标输入检测部基于拍摄有位于上述画面的前方的上述用户的图像，检测与上述用户的手的位置对应的坐标。

根据本结构，由于能够基于用户的图像检测与用户的手的位置对应的坐标，所以能够通过简单的结构检测与用户的手的位置对应的坐标。

此外，优选的是，上述坐标输入检测部在上述用户将具备动作传感器的手势输入遥控器把持在手中并使其移动时，基于从上述手势输入遥控器的动作传感器得到的手运动信息，检测与上述用户的手的位置对应的坐标。

根据本结构，能够基于由手势输入遥控器输出的信息检测与用户的手的位置对应的坐标，所以能够通过简单的结构检测与用户的手的位置对应的坐标。

此外，优选的是，上述手势引导图像分别是用于引导上述用户以使其进行包括第二手运动的多个手势的图像；上述控制信号生成部检测表示与上述多个手势的某个对应的手运动的成分，按照检测到的与表示手运动的成分对应的上述手势生成上述控制信号。

根据本结构，由于能够通过多个手势控制对象设备，所以能够提高用户的操作性。

此外，优选的是，上述画面控制部在由上述意图动作成分检测部检测到上述意图动作成分的情况下，使显示在上述画面上的上述手势引导图像的显示形态变化。

根据本结构，由于能够将检测到意图动作成分的情况提示给用户，所以能够进一步抑制对象设备的误动作，并且还能够提高用户的操作性。

此外，优选的是，上述第一手运动是在一定时间的期间中、在预先设定的大小的空间内移动或停止的运动。

根据本结构，由于在将手的运动停止时显示手势引导图像，所以能够将更自然而简单的手运动利用于对象设备的控制。

此外，上述手势输入装置也可以构成为集成电路。

另外，本发明不仅能够作为这样的手势输入装置实现，还能够作为以这样的手势输入装置所具备的特征性的结构部的动作为步骤的手势输入方法来实现。此外，本发明还能够作为使计算机执行包含在手势输入方法中的各步骤的程序来实现。并且，这样的程序当然能够经由CD－ROM（Compact Disc Read Only Memory）等的非暂时性的记录介质或因特网等的传送媒体分发。

发明效果

根据本发明，能够将操作范围较大、自然而简单的手运动利用于对象设备的控制，能够抑制误动作。

附图说明

图1是表示本发明的实施方式1的手势输入装置的外观和与关联设备的接口的一例的图。

图2是表示本发明的实施方式1的手势输入装置的功能结构的模块图。

图3是表示本发明的实施方式1的关于坐标输入检测的处理的流程的流程图。

图4是表示本发明的实施方式1的关于控制信号生成的处理的流程的流程图。

图5A是用于说明本发明的实施方式1的坐标输入检测方法的详细情况的图。

图5B是用于说明本发明的实施方式1的坐标输入检测方法的详细情况的图。

图6A是表示本发明的实施方式1的坐标输入方法的一例的图。

图6B是表示本发明的实施方式1的坐标输入遥控器的结构的图。

图7是表示本发明的实施方式1的手势输入装置的典型的使用情景的图。

图8是表示本发明的实施方式2的手势输入装置的典型的使用情景的图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。另外，以下说明的实施方式都表示本发明的优选的一具体例。即，在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置及连接形态、步骤、步骤的顺序等是本发明的一例，并不是限定本发明的意思。本发明仅由权利要求书限定。因而，以下的实施方式的构成要素中的、没有记载在表示本发明的最上位概念的独立权利要求中的构成要素不是为了达到本发明的目的而必须需要的，但作为构成更优选的形态的构成要素说明。

（实施方式1）

图1是表示本发明的实施方式1的手势输入装置100的外观和与关联设备的接口的一例的图。影像显示装置110连接在用于接收广播节目的天线上。此外，在本实施方式中，在影像显示装置110的上部设有1个以上的用户检测摄像机101等。手势输入装置100利用通过将用户检测摄像机101拍摄的图像信息解析而检测出的用户的位置、运动或身体特征，控制影像显示装置110。即，手势输入装置100基于用户的手势，生成用于控制影像显示装置110等的对象设备的控制信号。

另外，手势输入装置100也可以基于保持着手势输入遥控器601的用户的手的位置或运动来控制影像显示装置110。在此情况下，手势输入遥控器601例如是坐标输入遥控器等。此外，手势输入装置100也可以基于用户对手势输入遥控器601的操作（例如，配置在手势输入遥控器601上的按钮的按下等）来控制影像显示装置110。

此外，手势输入装置100也可以基于保持着其他设备（例如便携电话等）的用户的手的位置及运动、配置在该设备上的按钮的按下等的操作来控制影像显示装置110。

此外，影像显示装置110经由路由器/集线器等连接在因特网上，能够显示从因特网上取得的数字信息。

此外，虽然在图1中没有表示，但影像显示装置110也可以具备多个扬声器。在此情况下，多个扬声器也可以分离配置，如影像显示装置110的上端和下端、左端和右端。

图2是表示本发明的实施方式1的手势输入装置的功能结构的模块图。在图2中，手势输入装置100具备坐标输入检测部102、手势开始检测部103、引导图像生成部104、意图动作成分检测部105、控制信号生成部106及画面控制部107。

坐标输入检测部102依次检测与用户的手的位置对应的坐标。

手势开始检测部103从作为由坐标输入检测部102检测到的坐标的序列的第一坐标序列中检测表示预先设定为意图手势开始的手运动的第一手运动的成分。所谓坐标的序列，是指按照检测的时刻排列的坐标的集合。

具体而言，手势开始检测部103例如检测表示在一定时间的期间中、手在预先设定的大小的空间内移动的坐标的序列，作为表示第一手运动的成分。此外，例如手势开始检测部103也可以检测表示在一定时间的期间中手停止的坐标的序列作为表示第一手运动的成分。

引导图像生成部104在检测到表示第一手运动的成分的情况下，生成手势引导图像。所谓手势引导图像，是用于引导用户进行包括第二手运动在内的手势的图像。在本实施方式中，第二手运动是用于使光标向显示有手势引导图像的位置移动的手运动。另外，第二手运动并不一定需要是这样的手运动。例如，第二手运动也可以是用于使光标向手势引导图像表示的位置或方向移动的手运动。

意图动作成分检测部105从作为在手势引导图像显示在画面上之后由坐标输入检测部102检测到的坐标的序列的第二坐标序列之中，检测表示第二手运动的成分作为手势的意图动作成分。所谓手势的意图动作成分，是表示如下动作的坐标的序列，该动作表示用户有进行手势的意图。

控制信号生成部106在由意图动作成分检测部105检测到意图动作成分的情况下，从第二坐标序列之中检测表示与手势对应的手运动的成分。并且，控制信号生成部106按照检测结果生成控制信号。即，控制信号生成部106仅在由意图动作成分检测部105检测到意图动作成分的情况下，按照表示与手势对应的手运动的成分的检测结果生成控制信号。即，控制信号生成部106在意图动作成分检测部105没有检测到意图动作成分的情况下，不进行表示与手势对应的手运动的成分的检测，或者不论检测结果如何都不生成控制信号。

画面控制部107将由引导图像生成部104生成的手势引导图像显示在画面108上。即，画面控制部107向影像显示装置110发送图像信号，以将手势引导图像显示在画面108上。

此外，画面控制部107将光标依次显示在与由坐标输入检测部102检测到的坐标对应的画面108上的位置上。在本实施方式中，画面控制部107将手势引导图像显示在与显示有该光标的位置不同的位置上。更具体地讲，画面控制部107将手势引导图像显示在从显示有光标的位置向与检测到表示第一手运动的成分时的光标的移动方向不同的方向离开的位置上。另外，手势引导图像并不一定需要显示在这样的位置上，也可以显示在预先设定的位置上。

接着，对如以上那样构成的手势输入装置100的各种动作进行说明。首先，使用图3及图4对手势输入装置100的动作的概要进行说明。

首先，坐标输入检测部102检测与用户的手的位置对应的坐标（S101）。接着，画面控制部107在与检测到的坐标对应的画面108上的位置上显示光标（S102），回到步骤S101的处理。

另外，图3所示的关于坐标输入检测的步骤S101及步骤S102的处理不论以后的图4所示的关于控制信号生成的处理如何，都以预先设定的周期反复进行。

首先，手势开始检测部103从由坐标输入检测部102检测出的第一坐标序列之中，检测表示预先设定为意图手势开始的手运动的第一手运动的成分（S201）。这里，在没有检测到表示第一手运动的成分的情况下（S202的否），手势开始检测部103再次执行步骤S201的处理。

另一方面，在检测到表示第一手运动的成分的情况下（S202的是），引导图像生成部104生成用于引导用户以使其进行包括第二手运动的手势的手势引导图像（S203）。并且，画面控制部107将由引导图像生成部104生成的手势引导图像显示在画面108上（S204）。

然后，意图动作成分检测部105从将手势引导图像显示在画面108上之后由坐标输入检测部102检测到的第二坐标序列之中，检测表示第二手运动的成分作为手势的意图动作成分（S205）。这里，在没有检测到意图动作成分的情况下（S206的否），结束处理。

另一方面，在检测到意图动作成分的情况下（S206的是），控制信号生成部106从第二坐标序列之中，检测表示与手势对应的手运动的成分（S207）。这里，在没有检测到表示与手势对应的手运动的成分的情况下（S208的否），原样结束处理。

另一方面，在检测到表示与手势对应的手运动的成分的情况下（S208的是），控制信号生成部106按照检测结果生成控制信号（S209）。即，控制信号生成部106生成与手势对应的控制信号。并且，控制信号生成部106将所生成的控制信号经由画面控制部107向影像显示装置110输出。

像这样，手势输入装置100仅在检测到意图动作成分的情况下，生成与手势对应的控制信号。

接着，参照附图对各处理的详细情况进行说明。首先，对检测与用户的手的位置对应的坐标的处理（S101）的详细情况进行说明。

由用户检测摄像机101取得的图像输入到坐标输入检测部102。坐标输入检测部102从输入的图像中提取相当于用户的手的部分，计算其坐标。

图5A及图5B是用于说明本实施方式的坐标输入检测部102的用户的手的位置的检测方法的图。

如图5A所示，坐标输入检测部102从由用户检测摄像机101摄影的图像中，首先检测人物位置，在人物位置的周边进行手的位置的检测。作为手的位置的检测方法，例如使用以下的方法。以下，使用图5B说明用户的手的位置的检测方法。

首先，如图5B的（a）所示，作为离线处理，准备大量想要检测的手的学习图像（S501）。学习图像中的照明环境或照明的朝向等的条件尽量设为遵循实际检测手的环境的条件。接着，基于在步骤S501中准备的学习图像，使用主成分分析制作构成手的主成分的固有空间（S502）。此外，作为想要检测的手的样本而准备手的模板图像。模板图像既可以是准备的手的学习图像的平均图像，也可以是握拳、伸开等几个手的图像。制作出的固有空间的投影矩阵、及手的模板图像保存在手模板数据库中（S503）。

接着，使用图5B的（b）说明进行实际的手的检测的在线处理。

首先，用户检测摄像机101对存在于影像显示装置110的画面108的前方的用户进行摄影（S504）。接着，坐标输入检测部102从摄影图像中进行脸部区域的检测（S505）。

如果在步骤S505中检测出脸部区域，则坐标输入检测部102在该脸部区域的周边进行手的检测。具体而言，坐标输入检测部102在脸部区域的周边的扫描区域中，扫描与保存在手模板数据库中的手模板类似的区域（S506）。具体而言，坐标输入检测部102通过进行模板匹配，扫描与手模板类似的区域。脸部区域的周边的扫描区域既可以是以脸部位置为基准预先设定的尺寸的范围的区域，也可以是根据使用两个摄像机的立体视觉的原理在脸部的周边区域中进深距离与脸部接近的区域。由此，能够削减扫描区域的范围。

更具体地讲，坐标输入检测部102例如使用预先准备的投影矩阵将从扫描区域内切出的手的候选区域图像和手的模板图像向固有空间投影。并且，坐标输入检测部102通过将固有空间上的两者的距离比较来计算类似度。这样，坐标输入检测部102通过在表示手的主成分的空间上比较距离，能够在与手模板类似的区域的检测中减小背景等噪声的影响。坐标输入检测部102在扫描区域内，检测满足预先设定的阈值、并且能够得到与手模板最近的距离的区域的位置作为手位置（S507）。

这样，坐标输入检测部102基于由用户检测摄像机101拍摄、并且拍摄有位于画面108的前方的用户的图像，检测与用户的手的位置对应的坐标。

另外，在搜索区域内没有满足阈值的区域的情况下，坐标输入检测部102认为用户没有朝向画面伸出手而结束检测。

在该例中，坐标输入检测部102在手位置的检测中使用了模板匹配方法，但也可以使用其他方法、例如Boosting等的方法检测手位置。

画面控制部107基于由坐标输入检测部102检测到的手位置的信息，例如如图5A所示，在影像显示装置110的画面108上的对应的位置上显示光标501。结果，用户能够判断出由光标501指示的选择项502是选择状态，接着，通过进行规定的选择动作（将手推出或拉近等），能够将选择项502选择。将这样用户通过改变手的位置来操作影像显示装置110的方式称作基于徒手手势（freehand Gesture）的操作方式。

接着，使用图6A及图6B，对与基于徒手手势的操作方式不同的操作方式进行说明。

图6A及图6B是用于说明本实施方式的使用手势输入遥控器的坐标输入方法的图。

如图6A所示，用户在将手势输入遥控器601把持在手中的状态下按照预先规定的运动（摆动或旋绕等）将手移动、或用手指示影像显示装置的希望的位置，由此能够操作光标602的位置。

图6B是表示手势输入遥控器601的结构的图。手势输入遥控器601在其内部中具备动作传感器6011。动作传感器6011检测把持手势输入遥控器601的用户的手的运动。此外，手势输入遥控器601也可以如图6B所示具备按钮。

动作传感器6011由加速度传感器、角加速度传感器（速率陀螺仪）及地磁传感器（电子罗盘）的某一个或它们的两个以上的组合构成。加速度传感器检测相对于规定的轴的加速度。加速度传感器例如如图6B所示，检测相互正交的3轴（X轴、Y轴、Z轴）的加速度。

例如，假设用户在用手把持着手势输入遥控器601的状态下移动了手腕及手臂的至少一方。在此情况下，手势输入遥控器601的位置及姿势的至少一方被变更。所以，坐标输入检测部102进行表示由手势输入遥控器601检测到的运动的数据与表示预先规定的手的运动（手势）的数据的对照。结果，求出用户要用手势输入遥控器601指示的画面上的位置。

这里，示出了作为手势输入遥控器601的位置及姿势的至少一方的检测机构而使用加速度传感器的例子，但也可以以同样的目的使用角加速度传感器（速率陀螺仪）或地磁気传感器（电子罗盘）。

画面控制部107基于与该影像显示装置110的画面108上的位置对应的位置的输入进行应用的控制（例如，如图6A所示移动光标602、或者启动该光标602所指示的应用等）。

将像这样用户通过在将手势输入遥控器601把持在手中的状态下进行预先规定的手运动（手势）或指示影像显示装置110的希望的位置，来操作影像显示装置110的方式称作基于手势输入遥控器的操作方式。

如以上这样，图2的本实施方式的坐标输入检测部102在基于徒手手势的操作方式及基于手势输入遥控器的操作方式的哪种操作方式的情况下，都输出与用户的手的位置对应的坐标。画面控制部107将该坐标与影像显示装置110的画面108上的位置建立对应，用于显示在画面108上的GUI的控制。

接着，按照图7所示的使用情景，对图4所示的流程图的详细情况进行说明。图7的（a）是例示画面控制部107在与用户的手的坐标对应的画面108上的位置上提示光标301的状况的图。

手势开始检测部103从由坐标输入检测部102输入的表示用户的手的位置的坐标的序列之中，检测表示既是预先规定的手运动、也是表示手势的开始的用户的手运动的成分。即，手势开始检测部103检测表示意图手势开始的第一手运动的成分。

这里，手势开始检测部103例如只要将用户的手运动停止规定时间（即，从坐标输入检测部102输出的手的坐标在规定时间的期间中不从规定的较小的空间内脱离）判断为表示手势开始的第一手运动就可以。由此，用户能够在表示开始手势的意图后自然地进行手势。

在由手势开始检测部103检测到表示手势开始的第一手运动后，引导图像生成部104生成引导用户接着应进行的手运动的手势引导图像，向画面控制部107输出。并且，画面控制部107将手势引导图像显示在画面108上。

图7的（b）表示引导继续进行向上下左右4个方向摆动手的手势、例如用于向各个方向滚动画面的手势的手势引导图像的一例。在该例中，画面控制部107在由手势开始检测部103检测到表示第一手运动的成分时的与用户的手的坐标对应的画面上的位置（显示有光标301的位置）加上矢量V2后的位置上显示第一手势引导图像302。即，画面控制部107在与显示光标301的位置不同的位置上显示第一手势引导图像302。

另外，优选的是，矢量V2的方向与矢量V1（图7的（a））不同，该矢量V1表示：检测到表示示出手势开始的用户的手运动的成分的紧前的手运动方向。特别优选的是，矢量V2是与矢量V1相反方向或正交的方向。

即，画面控制部107优选的是在从显示有光标301的位置向与检测到表示第一手运动的成分时的光标的移动方向（矢量V1）不同的方向（矢量V2）离开的位置上显示手势引导图像。特别是，画面控制部107优选的是在从显示有光标301的位置向与矢量V1相反的方向或正交的方向离开的位置上显示手势引导图像。

由此，能够期待违背用户的意图而进入到其后说明的手势接纳状态的情况变少。即，手势输入装置100能够抑制在显示手势引导图像前的手运动原样继续时，意图动作成分被检测出。因而，手势输入装置100能够抑制在用户没有进行手势的意图时，意图动作成分被检测出、生成控制信号的情况。

然后，用户将手移动，以使光标301移动到第一手势引导图像302的中央部。此时，意图动作成分检测部105从坐标输入检测部102取得表示用于将光标301移动到第一手势引导图像302的中央部的手运动的坐标的序列。

由此，意图动作成分检测部105检测表示进行由引导图像生成部104所生成的第一手势引导图像302引导的用户的手势的意图的意图动作成分。即，意图动作成分检测部105从手势引导图像显示到画面上之后检测到的第二坐标序列中，检测表示用于使光标301移动到显示有第一手势引导图像302的位置的手运动的成分作为意图动作成分。

并且，意图动作成分检测部105对控制信号生成部106指示，以使其进入手势接纳状态。控制信号生成部106在手势接纳状态时，从由坐标输入检测部102检测到的坐标的序列之中检测表示与手势对应的手运动的成分。

此时，控制信号生成部106优选的是对画面控制部107指示以使其进行表示进入了手势的接纳状态的显示。图7的（c）表示该显示的一例。在图7的（c）中，从图7的（b）所示的第一手势引导图像302被替换为第二手势引导图像303。该第二手势引导图像303是表示进入了手势的接纳状态的图像，并且是将第一手势引导图像302的边界线清晰化的图像。

像这样，画面控制部107优选的是，在由意图动作成分检测部105检测到意图动作成分的情况下，使显示在画面108上的手势引导图像的显示形态变化。由此，手势输入装置100能够向用户提示检测到了意图动作成分，所以能够进一步抑制误动作。此外，当没有检测到意图动作成分时，用户能够识别出手势不会被受理。因而，手势输入装置100能够抑制用户有意进行的手势不被检测到的情况，能够提高用户的操作性。

另外，在图7的（c）中，第二手势引导图像303是将第一手势引导图像302的边界线清晰化的图像，但并不一定需要是这样的图像。第二手势引导图像303只要是使用户识别出从第一手势引导图像302发生变化情况的图像，是怎样的图像都可以。即，第二手势引导图像303只要是使第一手势引导图像302的显示形态变化的图像就可以。例如，第二手势引导图像303也可以是使第一手势引导图像302的颜色变化的图像。

接着，用户进行在画面108上表示的可接纳的手势（向上下左右4个方向的某个方向摆动手的运动）。此时，控制信号生成部106从在进入到手势接纳状态后由坐标输入检测部102检测到的坐标的序列之中，检测表示向4个方向的某个方向摆动手的运动的成分，作为表示与手势对应的手运动的成分。

并且，控制信号生成部106按照检测到的表示与手势对应的手运动的成分生成控制信号。例如，在用户进行了将手向左摆动的手势的情况下，控制信号生成部106对画面控制部107输出表示“左手摆动手势”的控制信号。并且，画面控制部107例如在画面108上排列显示有照片等的许多内容的情况下，将控制信号向影像显示装置110发送，以使这些内容整体向左方向滚动、在右端显示新的内容。即，画面控制部107控制影像显示装置110，以使得与控制信号建立了对应的功能被执行。

如以上这样，有关本实施方式的手势输入装置100在用户通过作为规定的手运动的手势对影像显示装置110的画面108上的GUI进行控制时，事先将引导该手势的手势引导图像显示在画面108上。并且，手势输入装置100检测在看到了该手势引导图像的用户具有进行手势的意图的情况下会包含在手运动中的成分即意图动作成分。在检测到该意图动作成分的情况下，手势输入装置100转变为手势接纳状态。由此，手势输入装置100能够抑制因没有意图的手运动而进行误动作，能够可靠地用手势控制影像显示装置的画面上的GUI。

即，根据有关本实施方式的手势输入装置100，能够将用于引导用户进行包括第二手运动的手势的手势引导图像显示到画面上。因而，如果用户按照显示在该画面上的手势引导图像进行手势，则检测到表示第二手运动的成分。所以，通过检测表示第二手运动的成分作为意图动作成分，并在检测到该意图动作成分的情况下进行表示与手势对应的手运动的成分的检测，能够抑制当用户没有进行手势的意图时手势被检测出。即，能够抑制由手势的误检测引起的对象设备的误动作，并且能够实现通过手势的设备操作。此外，第二手运动是包含在由手势引导图像引导的手势中的运动。因而，只要用户按照手势引导图像进行手势，就自然进行第二手运动。即，根据手势输入装置100，能够将操作范围大、自然而简单的手运动利用于对象设备的控制。

另外，在本实施方式中，手势开始检测部103检测与用户的手的位置对应的坐标在规定时间的期间中停在规定的较小的空间内的情况，作为表示意图手势开始的手运动的成分。但是，也可以是，手势开始检测部103还使用与用户的手的位置对应的坐标以外的信息来检测手势开始。

例如，也可以是，仅在用户的脸朝向画面108的方向的情况下，手势开始检测部103检测表示意图手势开始的手运动的成分。由此，能够避免在用户没有看画面108的方向而完全没有进行手势的意图的情况下引导图像生成部104在画面108上显示手势引导图像。另外，用户的脸的朝向例如通过将从用户检测摄像机101摄影的图像中检测的脸部区域与朝向各种方向的脸部的模板对照来检测就可以。

此外，在本实施方式中，由手势引导图像引导的手势是在为了使光标移动到该图像的中心而将手移动后、向上下左右的某个方向摆动手的运动，但本发明并不仅限定于这些手势。例如，手势也可以是将手向近前拉回、或将手向画面方向推出的运动。进而，手势也可以是使手在身体前向顺时针方向或逆时针方向旋转的运动。此外，由手势引导图像引导的手势不需要是多个手势，也可以是1个手势（例如，仅一方向的手势）。

（实施方式2）

接着，对本发明的实施方式2进行说明。

图8是表示本发明的实施方式2的手势输入装置的典型的使用情景的图。在本实施方式中，表示手势输入装置100的功能结构的模块图与图2相同，但引导图像生成部104及意图动作成分检测部105的功能的一部分不同。关于引导图像生成部104及意图动作成分检测部105以外的构成要素，功能是相同的，所以省略说明。

图8的（a）表示在手势开始检测部103检测到表示意图手势开始的手运动的成分的紧后、将由引导图像生成部104生成的第一手势引导图像402显示在画面108上的状态。

这里，如图8的（c）所示，在用户朝向影像显示装置110的画面108进行将手摆动的手势时检测到的坐标的序列T1中，有容易包含表示朝向画面108的方向d（屏幕）（与画面108的法线方向相反方向）的运动的成分的倾向。所以，引导图像生成部104在用户有进行手势的意图的情况下，生成向朝向画面108的方向d（屏幕）的手运动放大的第一手势引导图像402。

即，如图8的（a）所示，画面控制部107伴随着三维显示效果来显示第一手势引导图像402，该三维显示效果是指看起来比显示在与当前的用户的手的坐标对应的画面108上的位置上的光标401更靠里侧。即，画面控制部107伴随着进深表现来显示第一手势引导图像402，该进深表现是指由用户看起来像显示在比显示有光标401的位置更向画面方向远离的位置上。

例如，画面控制部107也可以将第一手势引导图像402以比光标模糊的状态显示。此外，例如画面控制部107也可以以将第一手势引导图像402配置在比光标靠里侧的方式进行3维显示。此外，画面控制部107也可以伴随着利用远近法的进深表现来显示第一手势引导图像402。

此外，意图动作成分检测部105从在检测到表示意图手势开始的手运动的成分之后检测到的坐标的序列（第二坐标序列）之中，检测表示与朝向画面108的方向d（屏幕）相同的方向的手运动的成分作为意图动作成分。并且，意图动作成分检测部105在检测到意图动作成分的情况下，向控制信号生成部106发送用于指示进入手势接纳状态的信息。即，意图动作成分检测部105检测表示画面方向的手运动的成分作为意图动作成分。

画面控制部107在进入到手势接纳状态时，例如如图8的（b）所示，将用于指示显示边界线比第一手势引导图像402清晰的第二手势引导图像403的信息向画面控制部107发送。

如以上这样，本实施方式的手势输入装置100能够引导要输入手摆动手势的用户一边将手向进深方向（即朝向画面108的方向d（屏幕））推出一边将手向想要指示的方向摆动的手势。因而，手势输入装置100能够防止在用户没有进行手摆动手势的意图地将手移动的情况下（例如，在进行手摆动手势后将手放回到原来的位置的情况下）误检测出手摆动手势。

（变形例）

另外，基于上述实施方式说明了本发明，但本发明当然并不限定于上述实施方式。以下这样的情况也包含在本发明中。

（1）上述各手势输入装置具体而言是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。在上述ROM或硬盘单元中存储有计算机程序。通过由上述微处理器按照上述计算机程序动作，各手势输入装置实现其功能。这里，计算机程序是为了达到规定的功能而将表示对计算机的指令的命令代码组合多个而构成的。

（2）构成上述各手势输入装置的构成要素的一部分或全部也可以由1个系统LSI（Large Scale Integration：大规模集成电路）构成。系统LSI是将多个构成部分集成到1个芯片上而制造的超多功能LSI，具体而言，是包括微处理器、ROM、RAM等而构成的计算机系统。在上述RAM中存储有计算机程序。通过由上述微处理器按照上述计算机程序动作，系统LSI实现其功能。

（3）构成上述各手势输入装置的构成要素的一部分或全部也可以由相对于各手势输入装置可拆装的IC卡或单体的模组构成。上述IC卡或上述模组是由微处理器、ROM、RAM等构成的计算机系统。上述IC卡或上述模组也可以包括上述超多功能LSI。通过由微处理器按照计算机程序动作，上述IC卡或上述模组实现其功能。该IC卡或该模组也可以具有防篡改性。

（4）本发明也可以是上述所示的手势输入方法。此外，也可以是将这些手势输入方法通过计算机实现的计算机程序，也可以是由上述计算机程序构成的数字信号。

此外，本发明也可以是将上述计算机程序或上述数字信号记录到计算机可读取的非暂时性的记录介质（例如，软盘、硬盘、CD－ROM、MO、DVD、DVD－ROM、DVD－RAM、BD（Blu－ray Disc（注册商标））、半导体存储器等）中的产品。此外，也可以是记录在这些记录媒体中的上述数字信号。

此外，本发明也可以是将上述计算机程序或上述数字信号经由电气通信线路、无线或有线通信线路、以因特网为代表的网络、数据广播等传送的结构。

此外，本发明也可以是具备微处理器和存储器的计算机系统，上述存储器存储有上述计算机程序，上述微处理器按照上述计算机程序动作。

此外，也可以通过将上述程序或上述数字信号记录在上述记录介质中并移送、或者通过将上述程序或上述数字信号经由上述网络等移送，由独立的其他计算机系统实施。

（5）也可以将上述实施方式及上述变形例分别组合。

工业实用性

有关本发明的一形态的手势输入装置具有能够通过自然而简单的手运动可靠地操作GUI的特征，作为在较大的画面上提示内容及信息的显示器系统、例如电视或数字标牌的输入单元具有实用性。此外，也能够应用到将手运动用于输入的游戏等的用途中。

符号说明

100手势输入装置

101用户检测摄像机

102坐标输入检测部

103手势开始检测部

104引导图像生成部

105意图动作成分检测部

106控制信号生成部

107画面控制部

108画面

110影像显示装置

301、401、501、602光标

302、402第一手势引导图像

303、403第二手势引导图像

502选择项

601手势输入遥控器

6011动作传感器

Claims

1.一种手势输入装置，基于用户的手势生成用于控制对象设备的控制信号，具备：

坐标输入检测部，依次检测与用户的手的位置对应的坐标；

手势开始检测部，从第一坐标序列中，检测表示预先设定为意图开始手势的手运动的第一手运动的成分，上述第一坐标序列是由上述坐标输入检测部检测到的坐标的序列；

引导图像生成部，在由上述手势开始检测部检测到表示上述第一手运动的成分的情况下，生成手势引导图像，该手势引导图像用于引导上述用户进行包括第二手运动的手势；

画面控制部，将由上述引导图像生成部生成的上述手势引导图像显示在画面上；

意图动作成分检测部，从第二坐标序列中，检测表示上述第二手运动的成分作为上述手势的意图动作成分，上述第二坐标序列是在由上述画面控制部将上述手势引导图像显示在画面上之后由上述坐标输入检测部检测到的坐标的序列；以及

控制信号生成部，在由上述意图动作成分检测部检测到上述意图动作成分的情况下，从上述第二坐标序列中检测表示与上述手势对应的手运动的成分，按照检测结果生成控制信号。

2.如权利要求1所述的手势输入装置，

上述画面控制部还在画面上的与上述坐标输入检测部检测到的坐标对应的位置上显示光标；

上述引导图像生成部在与显示有上述光标的位置不同的位置上显示上述手势引导图像；

上述第二手运动是用于使上述光标移动到显示有上述手势引导图像的位置的手运动。

3.如权利要求2所述的手势输入装置，

上述画面控制部在从显示有上述光标的位置向与检测到表示上述第一手运动的成分时的上述光标的移动方向不同的方向离开的位置上显示上述手势引导图像。

4.如权利要求1所述的手势输入装置，

上述画面控制部还在画面上的与上述坐标输入检测部检测到的坐标对应的位置上显示光标，伴随进深表现来显示上述手势引导图像，上述进深表现是指由上述用户看起来像显示在比显示有上述光标的位置更向画面方向远离的位置上；

上述第二手运动是向上述画面方向的手运动。

5.如权利要求1所述的手势输入装置，

上述坐标输入检测部基于拍摄有位于上述画面的前方的上述用户的图像，检测与上述用户的手的位置对应的坐标。

6.如权利要求1所述的手势输入装置，

在上述用户将具备动作传感器的手势输入遥控器把持在手中而使其移动时，上述坐标输入检测部基于从上述手势输入遥控器的动作传感器得到的手运动信息，检测与上述用户的手的位置对应的坐标。

7.如权利要求1所述的手势输入装置，

上述手势引导图像是用于引导上述用户进行分别包括第二手运动的多个手势的图像；

上述控制信号生成部检测表示与上述多个手势中的某一个对应的手运动的成分，按照与检测到的表示手运动的成分对应的上述手势生成上述控制信号。

8.如权利要求1所述的手势输入装置，

上述画面控制部在由上述意图动作成分检测部检测到上述意图动作成分的情况下，使显示在上述画面上的上述手势引导图像的显示形态变化。

9.如权利要求1所述的手势输入装置，

上述第一手运动是在一定时间的期间中在预先设定的大小的空间内移动或停止的运动。

10.如权利要求1所述的手势输入装置，

上述手势输入装置构成为集成电路。

11.一种手势输入方法，基于用户的手势，生成用于控制对象设备的控制信号，包括：

坐标输入检测步骤，依次检测与用户的手的位置对应的坐标；

手势开始检测步骤，从第一坐标序列中，检测表示预先设定为意图手势开始的手运动的第一手运动的成分，上述第一坐标序列是由上述坐标输入检测步骤检测到的坐标的序列；

引导图像生成步骤，在由上述手势开始检测步骤检测到表示上述第一手运动的成分的情况下，生成手势引导图像，该手势引导图像用于引导上述用户进行包括第二手运动的手势；

画面控制步骤，将由上述引导图像生成步骤生成的上述手势引导图像显示在画面上；

意图动作成分检测步骤，从第二坐标序列中，检测表示上述第二手运动的成分作为上述手势的意图动作成分，上述第二坐标序列是在由上述画面控制步骤将上述手势引导图像显示在画面上之后由上述坐标输入检测步骤检测到的坐标的序列；以及

控制信号生成步骤，在由上述意图动作成分检测步骤检测到上述意图动作成分的情况下，从上述第二坐标序列中检测表示与上述手势对应的手运动的成分，按照检测结果生成控制信号。

12.一种程序，用于使计算机执行权利要求11所述的手势输入方法。

13.一种计算机可读取的非暂时性的记录介质，记录有用于使计算机执行权利要求11所述的手势输入方法的程序。