CN104850221A - 手势识别装置以及手势识别装置的控制方法 - Google Patents

Abstract

本发明提供手势识别装置以及手势识别装置的控制方法。一种手势识别装置，取得由操作者进行的手势，并生成与该手势对应的命令，具有：手势取得部件，取得由操作者进行的手势；视线追踪部件，取得所述操作者的视线的活动；视线模式判定部件，判定所述视线的活动是否满足预定的模式；手势选择部件，当所述视线的活动满足了预定的模式时，决定接受其输入的允许手势；以及命令生成部件，只有在所述取得的手势为所述允许手势的情况下，生成与该手势对应的命令。

Description

手势识别装置以及手势识别装置的控制方法

技术领域

本发明涉及识别基于手势的输入操作的手势识别装置。

背景技术

利用手势对计算机或电子设备进行输入的装置显示出普及的预兆。如果利用手势则能够对多功能且操作复杂的设备直观地进行输入。此外，即使在手沾湿的情况等不适合直接接触设备而进行操作的情况下，也能够操作设备。

用于操作设备的手势例如像“使手在一个方向上移动”这般，通常是人能够自然地进行的动作。因此，在识别手势的装置中，必须防止将没有打算输入的动作识别为手势。

作为用于解决该课题的发明，例如在专利文献1记载的手势识别装置中采用了如下结构，即检测操作者的视线，只有在检测出的视线位于允许手势输入的位置时识别手势。根据该输入装置，例如能够进行如下动作，即只有在操作者注视着想要进行操作的设备时识别手势，看着无关的地方时不进行识别。即，能够防止将与手势无关的动作识别为手势。

[专利文献1](日本)特开2000-163196号公报

在专利文献1记载的发明中，能够根据利用者正在注视的对象而变更识别对象的手势，因此当进行操作的对象设备有多个时，能够防止对于未打算的设备的误操作。

但是，当进行操作的对象设备只有一个并且能够对该设备进行多个手势的情况下，通过注视该设备会导致所有的手势都成为识别对象，因而无法完全排除发生误操作的顾虑。

例如，当对象为电子书阅读器时，能够通过检测用户在注视着画面的情况而使得对于该阅读器的手势输入变得有效。但是，即便是对于该阅读器的操作，也有用户没有打算的动作被识别为手势的情形。例如，如果在进行了翻页动作之后将手返回，则会有被识别为页面返回动作的情形。

为了解决这样的课题，手势识别装置需要在预测出用户从现在起要进行怎样的操作的基础上，只把认为适合的手势设为识别的对象。

发明内容

本发明考虑上述的课题而完成，其目的在于提供一种在识别操作者进行的手势的手势识别装置中，防止将操作者有意进行的手势以外的、并非有意的动作错误识别为手势，且防止不恰当的手势识别所引起的误操作的发生的技术。

为了解决上述课题，本发明的手势识别装置的结构为，基于操作者的视线的活动，限定允许输入的手势。

具体地说，本发明的手势识别装置是，

取得由操作者进行的手势，并生成与该手势对应的命令的手势识别装置，其特征在于，该手势识别装置具有：手势取得部件，取得由操作者进行的手势；视线追踪部件，取得所述操作者的视线的活动；视线模式判定部件，判定所述视线的活动是否满足预定的模式；允许手势存储部件，将接受其输入的手势作为允许手势来存储；手势选择部件，当所述视线的活动满足了预定的模式时，使预先决定的一个或者多个手势存储到允许手势存储部件；以及命令生成部件，只有在所述取得的手势为所述允许手势的情况下，生成与该手势对应的命令。

本发明的手势识别装置是取得由操作者进行的手势，并生成对应的命令的装置。具体地说，从拍摄操作者的摄像机或输入设备取得表现为手势的活动或身体部位的形状等，在对手势进行了识别的基础上，生成对于外部设备的命令(指令等)。

视线追踪部件是追踪操作者的视线的活动的部件。视线的活动可以是视线的方向的变化，也可以是操作者正在注视的点(以下，注视点)的坐标的变化等。

此外，视线模式判定部件是判定已取得的视线的活动是否与预定的模式一致的部件，手势选择部件是基于视线模式判定部件进行的判定结果来决定接受其输入的手势(允许手势)，并使允许手势存储部件存储允许手势的部件。预定的模式只要是基于视线的活动的模式，则可以是任意模式。例如，可以是注视点的场所的变化、移动方向、移动速度、停留时间等，也可以是它们的组合。

在本发明的手势识别装置中，只有在视线的活动与预定的模式一致的情况下，将对应的手势设为有效。根据这样的结构，能够防止并非有意进行的动作的动作被错误识别为手势的情况，能够防止这样的错误识别所引起的误操作。

此外，其特征也可以是，在所述允许手势存储部件中预先存储了一个或者多个手势作为与所述视线模式判定部件进行的判定无关地接受其输入的手势。

预先在允许手势存储部件中存储的手势是，与视线模式判定部件的判定的结果或是否进行判定无关地始终接受其输入的手势。这样，通过针对一部分手势始终允许输入，而一部分手势则只有在视线的活动与预定的模式一致的情况下才设为有效，从而能够兼顾便利性和防止错误输入。另外，预先存储的手势、只有在视线的活动与预定的模式一致的情况下才设为有效的手势也可以分别包含多个手势。此外，视线的活动的模式和被设为有效的手势的组合可以是多个。

此外，其特征也可以是，所述视线模式判定部件在所述操作者应注视的多个注视对象的全部被注视的情况下，判定为满足了预定的模式。

此外，其特征也可以是，所述视线模式判定部件在所述多个注视对象的全部中所述操作者的注视点停留了预定的时间以上的情况下，判定为满足了预定的模式。

这样，也可以在判定为操作者注视了所有应注视的对象的情况下，允许对应的手势。例如，在将本发明的手势识别装置应用于管理生产线的计算机的情况下，只有在操作者目视确认了全部所显示的多个项目的情况下，才允许用于进入下一工序的手势。操作者应注视的对象可以是与操作对象的设备关联的对象，也可以是与操作对象的设备没有直接关系的对象。

此外，期望在判断是否注视了对象时利用注视点的停留时间。

此外，其特征也可以是，所述视线模式判定部件在所述操作者进行视觉识别的对象物上的、所述操作者的注视点的移动距离大于预定的值的情况下，判定为满足了预定的模式。

即，也可以只在能够判定为操作者充分地视觉识别了对象物的情况下，才允许对应的手势。当对象物为用眼顺序跟随的类型时，能够利用注视点的移动距离来进行判定。

此外，其特征也可以是，所述视线模式判定部件在所述操作者的注视点沿着预定的移动轨迹移动了的情况下，判定为满足了预定的模式。

同样地，当对象物为文章等的情况下，通过将注视点的移动与预定的移动轨迹进行比较，能够估计出操作者是否充分地视觉识别了对象物。

此外，其特征也可以是，所述视线模式判定部件在所述操作者进行视觉识别的对象物上判定操作者进行了视觉识别的区域，当所述区域相对于对象物整体的比例大于预定的比例的情况下，判定为满足了预定的模式。

这样，也可以通过判定操作者进行了视觉识别的区域相对于对象物整体的比例，从而判定操作者是否充分地视觉识别了对象物。当对象物为网页等俯瞰信息整体的对象的情况下，优选采用这样的判定方法。

此外，其特征也可以是，所述视线模式判定部件取得所述操作者进行视觉识别的对象物上的、所述操作者的注视点的停留时间，在预定的期间内所述停留时间的最大值没有超过阈值的情况下，判定为满足了预定的模式。

这样，也可以在操作者的注视点的位置不固定的情况下，判断为满足了预定的模式。对象物上的注视点的停留时间少意味着操作者没有发现想要的信息。在这样的情况下，考虑将操作者用于获得所期望的信息的手势设为有效的对策。

另外，本发明能够作为包含上述部件的至少一部分的手势识别装置而确定。此外，能够作为所述手势识别装置的控制方法、用于使所述手势识别装置动作的程序、记录了该程序的记录介质来确定。上述处理和部件只要不产生技术上的矛盾则能够自由地组合实施。

根据本发明，在识别操作者进行的手势的手势识别装置中，能够防止将操作者有意进行的手势以外的、并非有意的动作错误识别为手势，且防止不恰当的手势识别所引起的误操作的发生。

附图说明

图1是第一实施方式的手势识别系统的结构图。

图2是说明手势识别装置和对象设备的关系的图。

图3是说明检测对象基板中用户应进行视觉识别的部位的图。

图4的(A)～(B)是第一实施方式中的视线模式判定表的例子。

图5是第一实施方式中的手势定义表的例子。

图6是提取视线模式并决定允许手势的处理的流程图。

图7是识别手势的处理的流程图。

图8是第二实施方式中的视线模式判定表的例子。

图9是说明第二实施方式中的页面读完条件的图。

图10的(A)～(B)是说明第二实施方式中的页面读完条件的图。

图11是第二实施方式中的手势定义表的例子。

图12是第三实施方式中的视线模式判定表的例子。

图13是第三实施方式中的手势定义表的例子。

标号说明

100...手势识别装置

101...图像取得部

102...视线检测部

103...视线模式判定部

104...允许手势决定部

105...手势识别部

106...指令生成部

200...对象设备

具体实施方式

(第一实施方式)

<系统结构>

参照作为系统结构图的图1来说明第一实施方式的手势识别系统的概要。第一实施方式的手势识别系统是由手势识别装置100以及对象设备200构成的系统。

手势识别装置100是通过摄像机来识别用户进行的手势，并且生成与该手势对应的指令，发送到对象设备200的装置。

此外，对象设备200是从手势识别装置100接收指令而进行处理的控制对象的设备，典型的是，电视机、录像机、计算机、空调、电视会议系统等的电气产品。对象设备200只要能够通过有线或者无线从手势识别装置100接收指令，则可以是任意设备。

在第一实施方式中，假设对象设备200是用于管理电子基板的检查线的计算机(以下，称为检查控制装置200)。

在进行各装置的详细的说明之前，参照图2简单地说明第一实施方式中的、手势识别装置100和检查控制装置200的关系。

在第一实施方式中的检查线中，检查员对于运送来的基板进行基于目视的检查，在进行了是否合格的判定的基础上，将判定结果输入到检查控制装置200。本实施方式的手势识别装置100是用于通过手势来进行对于检查控制装置200的输入的装置。

具体地说，检查员在进行了基板的目视检查的基础上，进行表示检查对象物品的合格/不合格的手势，且检查控制装置200基于该手势而进行处理。例如，如果检查员进行表示检查对象物品为合格品的手势，则检查控制装置200记录是合格品的意旨的检查结果，并将该基板存储到合格品的容器。此外，如果进行表示检查对象物品为不合格品的手势，则检查控制装置200记录是不合格品的意旨的检查结果，并将该基板存储到不合格品的容器。

返回到图1，说明手势识别装置100的结构。手势识别装置100具有图像取得部101、视线检测部102、视线模式判定部103、允许手势决定部104、手势识别部105、指令生成部106。

图像取得部101是取得图像的部件。在本实施方式中，利用被安装在检查员的旁边的摄像机101A来拍摄检查员的手的动作。摄像机101A可以是取得RGB图像的摄像机，也可以是取得灰度图像或红外线图像的摄像机。此外，图像不一定要通过摄像机来取得，例如也可以是距离传感器生成的表示距离的分布的图像(距离图像)。此外，也可以是距离传感器和摄像机的组合等。图像取得部101取得的图像(以下，摄像机图像)只要能够取得用户进行的手势，则可以是任意图像。

视线检测部102是通过检测用户的视线的方向，从而确定用户正在注视的对象的部件。视线的方向例如能够通过由红外线摄像机102A从正面拍摄用户的面部，并检测角膜反射以及瞳孔的位置而取得。此外，能够基于已取得的视线的方向来确定用户正在注视的点(以下，注视点)。

另外，注视点利用以用户为中心的坐标系(以下，用户坐标系)来表示。在图2的例子中，能够确定在以X轴和Y轴表示的用户坐标系中用户正在注视基板上的何处。

视线模式判定部103是取得用户的视线的变化(即，注视点的位置的变化)，并判定该变化是否与预先决定的模式一致的部件。例如，存储“相继注视区域A和区域B”这样的模式，并判定已取得的视线的变化是否与该模式一致。将这样的、表示注视点的活动的变化的模式称为视线模式。关于具体的例子将在后面叙述。

允许手势决定部104是在通过视线模式判定部103提取了视线模式的情况下，基于该视线模式来决定允许输入的手势(以下，允许手势)的部件。关于允许手势的信息，与手势识别部105共享。

手势识别部105是基于图像取得部101取得的摄像机图像，确定所输入的手势的部件。具体地说，例如根据摄像机图像，检测进行手势的身体部位(以下，对象部位)，在设定了代表该对象部位的位置的点即代表点的基础上，追踪该代表点的活动。由此，能够提取通过手势所表现的活动。此外，手势识别部105存储将代表点的活动和手势的内容相关联的数据，并基于已提取的代表点的活动来确定手势的内容。另外，在本实施方式中，举出基于对象部位的活动来确定手势的内容的例子，但手势识别部105也可以基于对象部位的形状来确定手势的内容。例如，当对象部位为人的手的情况下，也可以基于竖起的手指的个数来确定手势的内容。这些识别手势的技术是公知的技术，因而省略详细的说明。

指令生成部106是生成与手势识别部105确定的手势对应的指令的部件。指令是用于控制检查控制装置200的信号。具体地说，可以是电信号，也可以是通过无线而调制的信号、脉冲调制后的红外线信号等。

手势识别装置100是具有处理器、主存储装置、辅助存储装置的计算机，在辅助存储装置中存储的程序被载入主存储装置，通过由处理器执行，从而前述的各个部件发挥作用(处理器、主存储装置、辅助存储装置均未图示)。

<基于视线的手势的允许和限制>

下面，详细说明基于用户的视线的活动来允许或者限制手势的方法。

图3是示出了用户进行检查的对象的基板的图。用户对以阴影线圆示出的区域(合计9处)进行基于目视的检查，并将其结果(是合格品还是不合格品)通过手势而输入到检查控制装置200。

这里成为问题的点在于，在以往的手势识别装置中，将不是手势的动作(即，并非用户有意进行的动作)识别为手势。例如，当有“将右手向下方向移动”这样的手势，且使该手势具有“检查对象是不合格品”这样的意思的情况下，有时只不过是将抬起的手臂放下，尽管尚未进行检查，也会输入检查结果。

为了防止这一情形，必须使手势识别装置具备“只有在检查已结束的情况下将手势设为有效”的功能。

在专利文献1记载的发明中，能够只在注视了对象物时将手势输入设为有效，但无法判定检查是否已结束。

因此，在本实施方式的手势识别装置中，检测用户的视线的活动而进行模式匹配，只有在与表示“视觉识别了所有检查对象部位”的视线模式一致的情况下，将用于输入检查结果的手势设为有效。具体地说，在图3所示的9处检查部位中哪怕有一处尚未视觉识别的情况下，即便进行了用于输入检查结果的手势，也不进行处理。

首先，说明视线模式判定部103进行的处理。

图4(A)是将视线的活动和视线模式相关联的表(以下，视线模式判定表)的例子。通过利用视线模式判定表，在用户的注视点产生了某些固定的活动的情况下，能够将该活动进行模式分类。

此外，图4(B)是在用户坐标系中表示了注视点的位置的图。涂成黑色示出的部位对应于检查对象的基板的应检查的部位。

视线模式判定部103经由视线检测部102取得用户的视线的方向，在确定了注视点的基础上，当用户视觉识别了所有已定义的9个区域时，提取如“基板检查完成”的视线模式。除此以外的情况下成为“没有一致模式”。另外，视觉识别例如能够定义为在各区域中注视点停留预定的时间(例如1秒间)以上。

这里，说明定义手势的表(手势定义表)。图5是本实施方式中的手势定义表的例子。手势定义表是将手势的内容和对应的指令、为了接受手势而应满足的视线模式建立关联而记录的表，并且包含该手势是否被允许的信息。手势定义表由允许手势决定部104以及手势识别部105共享。

另外，在本例中以文章方式记载了各字段，但手势定义表也可以通过用于识别手势的特征量、要生成的指令的数据串等来表示。

下面，说明允许手势决定部104进行的处理。

允许手势决定部104从手势定义表中提取与视线模式判定部103确定的视线模式相关联的手势，并将其设定为允许手势。例如，在提取出了如“基板检查完成”的视线模式的情况下，对应的手势成为“1：将右手向右方向移动”、“2：将右手向下方向移动”、“3：将右手向左方向移动”的三种。即，该三个手势成为允许输入的手势(允许手势)，手势定义表的、与该三个手势对应的行的“允许”列的值被设定为1。另外，在没有提取出一致的视线模式的情况下，只有“3：将右手向左方向移动”的一种被设定为允许手势。

手势识别部105基于手势定义表和图像取得部101取得的图像而识别手势，并将该手势发送到指令生成部106。这时，在被输入了由允许手势决定部104设定的手势以外的手势的情况下，不进行该手势的发送。即，只有在被输入了允许手势的情况下，由指令生成部106生成对应的命令。

例如，如“1：将右手向右方向移动”的手势被允许，在被输入了该手势的情况下，将表示“检查结果输入(合格品判定)”的命令发送到检查控制装置200。如果在该手势没有被允许的状态下使右手向右方向移动时，该手势不会被处理，也不进行命令的输出。该手势是否已被允许的判定通过参照手势定义表的“允许”列的值而进行。

<处理流程图>

下面，说明用于实现以上说明的功能的处理流程图。

图6是提取视线模式并决定允许手势的处理的流程图。该处理在手势识别装置100的电源被接通时开始，且以预定的间隔重复执行。另外，也可以只在装置识别出用户的存在时执行。

首先，在步骤S11中，视线模式判定部103通过视线检测部102取得用户的注视点。在本步骤中，在利用用户的正面所具备的红外线摄像机拍摄了红外线图像的基础上，取得用户的视线的方向，并运算用户坐标系中的注视点。

接着，在步骤S12中，视线模式判定部103将已取得的注视点的坐标追加到表示注视点的活动的时间序列数据中。该时间序列数据由队列构成，在所包含的数据(注视点的坐标)中一定时间以上旧的数据按照从旧到新的顺序被删除。

在步骤S13中，视线模式判定部103参照时间序列数据和视线模式判定表，判定是否存在一致的视线模式。当存在一致的视线模式时，选择该模式，且处理转移到步骤S14。当不存在一致的视线模式时，处理返回到步骤S11。

接着，步骤S14中，允许手势决定部104参照手势定义表，提取与选择中的视线模式对应的手势。这里提取出的手势成为允许手势，且提取出的手势的“允许”列的值被设定为1。

图7是手势识别处理的流程图。该处理与图6所示的处理同时开始，且周期性地执行。

步骤S21是手势识别部105识别手势的处理。具体地说，从图像取得部101取得摄像机图像，在检测出作为进行手势的身体部位的对象部位(例如右手)的基础上，取得代表点的坐标。然后，基于已取得的代表点的坐标的变化来识别手势。例如，在图5所示的手势定义表的情况下，当检测出设定在右手的代表点的坐标向右方向移动时，判定为进行了表示“检查结果输入(合格品判定)”的手势。

接着，在步骤S22中，手势识别部105判定在步骤S21中取得的手势是否为在该时刻的允许手势中包含的手势。具体地说，在手势定义表内参照已取得的手势，当该手势存在于手势定义表内时参照对应的“允许”列的值。其结果，当已取得的手势为在允许手势中包含的手势时(也就是说，已取得的手势存在于手势定义表内，并且，对应的“允许”列的值为1时)，将该手势发送到指令生成部106，处理转移到步骤S23。除此以外的情况下，丢弃已取得的手势，处理返回到步骤S21。

接着，在步骤S23中，指令生成部106生成与识别出的手势对应的指令而发送到检查控制装置200。在前述的例子中，例如生成并发送表示“检查结果输入(合格品判定)”的指令。另外，也可以设为如下结构，即生成指令，且在发送的时刻再次设定允许手势，取消在步骤S14中提取出的手势的允许(将“允许”列的值设定为0)。此外，也可以在步骤S14中设定了允许手势之后，有一定时间没有手势的输入时，取消该已设定的手势的允许。

如以上说明的那样，第一实施方式的手势识别装置基于用户的视线的活动来设定允许输入的手势，关于除此以外的手势，即使检测出也不进行处理。由此，能够防止将与手势无关的动作错误识别为是手势的情况。此外，能够防止这样的错误识别所引起的误操作。

(第二实施方式)

在第一实施方式中，当用户视觉识别了所有预先设定的多个区域时，允许输入对应的手势。相对于此，第二实施方式是，当用户读完了所有对用户展示的画面的内容时，允许输入对应的手势的实施方式。第二实施方式的手势识别系统的结构除了以下说明的点之外，与第一实施方式相同。

在第二实施方式中，对象设备200是具有在显示画面上显示电子书或照片等的功能的、平板型的电子书阅读器，具有通过手势来进行操作(例如翻页操作等)的功能。此外，手势识别装置100被纳入对象设备200，通过在该设备上执行的程序而实现。

第二实施方式的手势识别装置100进行的处理与图6以及图7所示的处理相同，但视线模式的判定条件不同。

图8是第二实施方式中的视线模式判定表的例子。在第二实施方式中，画面显示横写的页面，当判定为用户已将该页面都读完时，提取出如“页面读完”的视线模式。用户是否已读完页面能够通过各种方法来判断，但在本例中，以下举出四个例子进行说明。将与各自对应的视线模式设为“页面读完(A)～页面读完(D)”。

(1)基于注视点的水平方向的移动距离来判断

例如，当电子书为横写的文章，且文章的一行的长度为平均500像素的情况下，在取得了注视点的水平方向的移动距离(像素)的基础上，将该距离除以500，从而能够估计出用户已读的文章的行数。在本例的情况下，例如也可以在已经读了在页面内显示的文章(行数)的90％的情况下判断为“页面读完”。

(2)基于注视点返回到左端的次数来判断

当位于左端的注视点向右侧方向移动之后返回到了左端的情况下，能够估计为读完一行而开始读下一行。因此，也可以基于注视点返回到左端的次数而判断读完了页面的情况。例如，在图9中，注视点位于区域901的右侧，在该注视点移动到了区域901内时进行递增计数，可以在计数值超过了预定的值(例如，基于在页面内包含的换行的个数而设定的值)的情况下判断为“页面读完”。

另外，当所显示的文章为阿拉伯语等不是从左向右记述的语言时，也可以将左右的判定设为相反。同样地，当所显示的文章为竖写时，也可以基于注视点的上下方向的移动而非左右方向的移动来进行页面读完的判定。

(3)基于注视点的移动距离的合计来判断

当进行显示的内容为漫画或照片的缩略图时，也可以基于注视点的移动距离的合计来判断读完了页面的情况。例如，当内容为漫画时，将对场面的中心之间的距离进行合计后的值设为阈值，当注视点的移动距离比该阈值还要长时，能够估计为读完了页面。

(4)基于注视点进入的区域的比例来判断

也可以将画面分割为多个区域，通过求出注视点进入的区域和此外的区域的比例，从而判断读完了页面的情况。例如，将显示区域分割为如图10(A)那样，求出注视点至少进入了一次的区域和注视点一次都没有进入的区域的比例，当该比例超过了阈值时，能够估计为读完了页面。另外，被分割的区域不一定要是正方形，也可以如图10(B)那样设为长方形。若设为如图10(B)那样，则能够仅基于视线的纵向的活动来判断页面读完。此外，当进行显示的内容为漫画时，也可以将场面本身设定为各自的区域。

在第二实施方式中，如以上那样判定了“页面读完”的基础上设定允许手势。图11是第二实施方式中的手势定义表的例子。具体地说，在判定为“页面读完”的情况下，将进行页面传送的手势加到允许手势(将与该手势对应的“允许”列的值设定为1)，除此以外的情况下，只有进行页面返回的手势和关闭电子书的手势这两个被设定为允许手势，且与这些手势对应的“允许”列的值被设定为1。

根据第二实施方式，判定用户将画面上显示的信息已读了多少，并设定允许手势。由此，能够防止因手势的错误识别而发生意外的页面传送。

另外，在第二实施方式的说明中举出了四个用于判定页面读完的条件，但只要能够基于视线的活动来判断已读完页面的情况，则也可以利用其他方法。例如，除了已说明的条件之外，还可以将“注视点最终位于右下(图9中的区域902内)”作为页面读完的条件。

此外，也可以在注视点的停止和移动重复了预定的次数以上时判断为页面读完，也可以比较注视点移动的轨迹和预先设定的轨迹从而在有预定值以上的一致度时判断为页面读完。此外，在追踪注视点的移动轨迹时，也可以排除明显无关的活动。

(第三实施方式)

在第二实施方式中，判定用户是否读完了在画面上显示的内容。相对于此，第三实施方式是检测在画面内没有用户所期望的内容的情况，并允许对应的手势的实施方式。

第三实施方式的手势识别系统的结构与第二实施方式相同，只有视线模式的判定条件不同。

图12是第三实施方式中的视线模式判定表的例子。在第三实施方式中，如图10(A)所示，将画面分割为多个区域，在预定的期间(例如10秒间)内不存在注视点停留了预定的时间以上的区域时，提取如“没有期望信息”的视线模式。注视点不停留在一处意味着在画面内不存在用户所寻求的信息，因而将图13所示那样的、用于寻找信息的手势(例如，用于转移到检索画面或目录画面的手势、用于转移到下一页/前一页的手势)设定为允许手势。

这样，根据第三实施方式，判定在画面内没有用户所期望的信息的情况，并设定允许手势。由此，能够防止因手势的错误识别而发生意外的页面转移。

(变形例)

另外，各实施方式的说明是用于说明本发明的例示，本发明在不脱离发明的宗旨的范围内能够适当变更或者组合而实施。

例如，在实施方式的说明中，设为在手势定义表内设置“允许”列，并通过参照该值是1还是0而判断对应的手势是否被允许的结构，但也可以设为单独设置用于仅存储允许手势的信息的表，允许手势决定部对该表进行手势信息的追加/删除，手势识别部通过参照该表而判断该手势是否被允许的结构。

此外，在第一以及第二实施方式中，以用户视觉识别了对象物作为条件而决定了允许手势，但在已决定了应视觉识别对象物的顺序的情况下，也可以基于对象物被视觉识别的顺序来决定允许手势。

此外，在实施方式的说明中，将手势识别装置应用到了检查控制装置以及电子书阅读器，但只要是在用户视觉识别了对象物的基础上通过手势来唤起行动(action)的设备，则本发明的手势识别装置也可以应用于任何系统或装置。例如，也可以应用于车载装置或个人计算机。

此外，在第二以及第三实施方式中，将电子书阅读器的画面作为视觉识别对象进行了例示，但用户进行视觉识别的对象也可以是画面以外。例如，在第一实施方式中的检查线中，也可以在检查员的注视点没有停留在一处时，估计为其尚未掌握检查方法，并将用于显示操作指南的手势加入允许手势。

此外，在允许手势被变更时，也可以将其意旨、被允许的手势的一览通知给用户。

Claims (9)

1.一种手势识别装置，取得由操作者进行的手势，并生成与该手势对应的命令，其特征在于，该手势识别装置具有：

手势取得部件，取得由操作者进行的手势；

视线追踪部件，取得所述操作者的视线的活动；

视线模式判定部件，判定所述视线的活动是否满足预定的模式；

允许手势存储部件，将接受其输入的手势作为允许手势来存储；

手势选择部件，当所述视线的活动满足了预定的模式时，使预先决定的一个或者多个手势存储到允许手势存储部件；以及

命令生成部件，只有在所述取得的手势为所述允许手势的情况下，生成与该手势对应的命令。

2.如权利要求1所述的手势识别装置，其特征在于，

在所述允许手势存储部件中预先存储了一个或者多个手势作为与所述视线模式判定部件进行的判定无关地接受其输入的手势。

3.如权利要求1或2所述的手势识别装置，其特征在于，

所述视线模式判定部件在所述操作者应注视的多个注视对象的全部被注视的情况下，判定为满足了预定的模式。

4.如权利要求3所述的手势识别装置，其特征在于，

所述视线模式判定部件在所述多个注视对象的全部中所述操作者的注视点停留了预定的时间以上的情况下，判定为满足了预定的模式。

5.如权利要求1或2所述的手势识别装置，其特征在于，

所述视线模式判定部件在所述操作者进行视觉识别的对象物上的、所述操作者的注视点的移动距离大于预定的值的情况下，判定为满足了预定的模式。

6.如权利要求1或2所述的手势识别装置，其特征在于，

所述视线模式判定部件在所述操作者的注视点沿着预定的移动轨迹移动了的情况下，判定为满足了预定的模式。

7.如权利要求1或2所述的手势识别装置，其特征在于，

所述视线模式判定部件在所述操作者进行视觉识别的对象物上判定操作者进行了视觉识别的区域，当所述区域相对于对象物整体的比例大于预定的比例的情况下，判定为满足了预定的模式。

8.如权利要求1或2所述的手势识别装置，其特征在于，

所述视线模式判定部件取得所述操作者进行视觉识别的对象物上的、所述操作者的注视点的停留时间，在预定的期间内所述停留时间的最大值没有超过阈值的情况下，判定为满足了预定的模式。

9.一种手势识别装置的控制方法，该手势识别装置取得由操作者进行的手势，并生成与该手势对应的命令，其特征在于，该控制方法包含：

手势取得步骤，取得由操作者进行的手势；

视线追踪步骤，取得所述操作者的视线的活动；

视线模式判定步骤，判定所述视线的活动是否满足预定的模式；

手势选择步骤，当所述视线的活动满足了预定的模式时，使预先决定的一个或者多个手势作为接受其输入的允许手势而存储到允许手势存储部件；以及

命令生成步骤，只有在所述取得的手势为所述允许手势的情况下，生成与该手势对应的命令。