CN103116397A - 运动识别装置、运动识别方法、操作装置、电子装置和程序 - Google Patents

Abstract

本发明提供了一种简化计算处理并且可以无需大量计算资源即实施的运动识别技术，以及提供了一种利用该运动识别技术对控制目标装置进行控制的技术。公开了一种运动识别装置、运动识别方法、操作装置、电子装置和程序，其包括运动识别部件，配置来使得基于识别到识别目标对象从一个确定区域移动到其他确定区域，之后移动回所述一个确定区域，所述运动识别部件识别预定摆动运动。

Description

运动识别装置、运动识别方法、操作装置、电子装置和程序

技术领域

本公开涉及运动识别装置、运动识别方法、操作装置、电子装置和程序。更具体地，本公开涉及用于识别诸如操作者的手或头的识别目标对象（测试对象）的运动的技术（运动识别技术），该技术适用于例如用于基于识别结果对控制目标装置进行控制的操作装置（指令输入装置）和接口装置。

背景技术

现今，提出了一些用于识别人（例如，全身、头、手、手指）的运动以及使用识别结果来操作诸如电视机、音频设备和计算机的电子装置（控制目标装置）的技术（作为利用姿势识别的操作技术）。

例如，已经提出了接口装置用于显示控制，在该显示控制下，根据由并入显示单元中的CCD照像机拍摄的包括操作者的图像来识别操作者手的形状和动作，以及基于识别结果来改变在屏幕上显示的指令图标的形状和位置，从而可以通过手势发出指令。在此情况下，操作则需要记忆用于发出指令的手势。该记忆努力可能是操作者给出指令中的负担。

为此，日本专利公开No.2008-52590（下文称专利文献1）提出了一种接口装置，其识别操作者做出的手势，从而可以基于识别的手势，使得操作者更可靠地操作控制目标装置。根据该公开的技术，姿势识别部分拍摄包括操作者手的图像，根据输入图像识别一个或更多个手形或手势作为识别目标，以及基于对应于识别的手形或手势的指令信息，控制目标装置，同时使得姿势信息显示部分显示可识别的手形或手势的规范图像。例如，姿势信息显示部分可以显示要用于操作的姿势列表、姿势识别部分识别的结果以及可能被视为操作者手的部分的图像。允许操作者在确认屏幕的同时进行操作，而无需记忆姿势。因而有可能修正操作者做出的姿势，从而姿势识别部分可以更容易地识别姿势，这提升了易操作性。该技术允许操作者进行操作，而无需记忆操作接口装置的手形或手势。

另外，日本专利公开No.平10-113343(下文称之为专利文献2)提出了一种自动识别诸如人、动物或机器的移动对象的运动和行为的识别装置。根据该公开的技术，测量部分被附于测试对象，以观察测试对象的运动或行为的状态变化。特征量提取部分基于观察结果提取特征量。此外，提供存储部分，用于预先存储要由识别装置识别的运动或行为的特征量。基于从观察结果提取的特征量和存储部分中保持的特征量，识别测试对象的运动或行为，以及输出识别结果。例如，测量仪器附于人对象以测量人对象运动或行为的状态变化。特征量提取部分用于从测量信号提取人对象当前做出的运动或行为的特征量。用于运动或行为识别的信号处理装置确定提取的特征量和在包含先前存储的运动或行为的特征量的数据库中包括的参考数据之间的相关性。信号处理装置输出相关性最高的特征量所意味的运动或行为，作为识别结果。根据该技术，测量人对象或测量对象的状态变化，但是测量结果并不简单用作测量值。相反，测量的状态变化的特征量经过自动识别处理，从而允许比以前更准确地识别人对象的运动或行为。

发明内容

用于识别操作者的运动（例如，手势）的可了解技术包括专利文献1和2中描述的技术和用于识别一识别目标对象（例如，手）的形状的其他技术。但是，一些识别目标对象具有复杂形状（例如，手的情况），并且难于识别。专利文献2中公开的技术提出了通过学习的识别。在此情况下，需要大量计算资源，包括高速CPU（中央处理单元）和海量存储器。难于识别诸如人手的形状变化的对象。实施此类识别涉及大量学习数据以及复杂耗时的学习处理。此外，需要大量存储空间用于容纳学习过程得到的数据。

本公开鉴于上述情形而做出，提供了一种简化计算处理并且可以无需大量计算资源即实施的运动识别技术，以及提供了一种利用该运动识别技术对控制目标装置进行控制的技术。

根据本公开的一个实施例，提供了一种运动识别装置，包括：运动识别部件，配置来使得基于识别到识别目标对象从一个确定区域移动到其他确定区域，之后移动回所述一个确定区域，所述运动识别部件识别预定摆动运动。优选地，此实施例的运动识别装置可以以提供进一步利益的变形来实施。

根据本公开的另一个实施例，提供了一种运动识别方法，包括：对识别目标对象从一个确定区域移动到其他确定区域、之后移动回所述一个确定区域进行识别；以及在对控制目标装置进行控制中使用该识别结果。

根据本公开的再一个实施例，提供了一种操作装置，包括：运动识别部件，配置来使得基于识别到识别目标对象从一个确定区域移动到其他确定区域，之后移动回所述一个确定区域，所述运动识别部件识别预定摆动运动；以及控制部件，配置来基于所述运动识别部件的识别结果，对控制目标装置进行控制。

根据本公开的再一个实施例，提供了一种电子装置，包括：处理部件，配置来执行对应于装置功能的过程；运动识别部件，配置来使得基于识别到识别目标对象从一个确定区域移动到其他确定区域，之后移动回所述一个确定区域，所述运动识别部件识别预定摆动运动；以及控制部件，配置来基于所述运动识别部件的识别结果，控制所述处理部件。

本公开的技术还可以使用运行于软件上的计算机来实施。可能提取这样的程序和其上存储该程序的记录介质作为本公开的其他实施例。例如，作为本发明的另一个实施例提供的程序可以使得计算机用作下述装置的程序，该装置包括：运动识别部件，配置来使得基于识别到识别目标对象从一个确定区域移动到一个其他确定区域，之后移动回该一个确定区域，运动识别部件识别预定摆动运动；以及控制部件，配置来基于运动识别部件的识别结果，对控制目标装置进行控制。该程序可以被提供为存储在计算机可读存储介质上或经由有线或无线通信部分分布。

优选地，上面概述实施例的该运动识别方法、操作装置、电子装置和程序中的每个均可以以变形实施，该变形提供进一步利益，并且相当于实施本公开的运动识别装置的变形。

简言之，本说明书中公开的技术涉及识别所述识别目标对象从一个确定区域移动到一个其他确定区域，之后移动回该一个确定区域，以及基于识别结果来控制所述控制目标装置或者控制目标的处理部件。如果识别到识别目标对象从一个位置移动到一个其他位置之后移动回该一个位置，则识别到预定摆动运动。识别这样的预定摆动运动仅涉及识别该识别目标对象的粗略移动状况。能够以相对容易的方式来识别摆动运动的有无；不需要将涉及复杂的计算处理的形状识别或将需要大量计算资源的学习方法。

在使用实施本公开的运动识别装置、运动识别方法、操作装置、电子装置或程序的情况下，可能带来一种能够简化计算处理，并且无需大量计算资源即实施的运动识别技术，以及可能实现一种使用本公开的运动识别技术来对控制目标装置进行控制的技术。

附图说明

图1A和图1B是说明本公开第一实施例的说明性视图；

图2是说明典型翻手姿势的说明性视图；

图3是说明供识别方向中使用的典型区域的说明性视图；

图4是当运动识别装置识别方向时生效的状态转移图；

图5是说明由运动识别部件执行的过程的流程图；

图6A和图6B是说明由第一实施例的操作控制部件执行的控制的示例的说明性视图；

图7A、图7B和图7C是说明如何典型地利用翻手动作来标识用于菜单操作的确认(finalize)指令、返回指令和结束指令的说明性视图；

图8A和图8B是说明本公开第二实施例的说明性视图；

图9A、图9B和图9C是说明如何典型地利用翻手动作来标识用于菜单操作的确认指令、返回指令和结束指令的说明性视图；

图10A和图10B是说明本公开第三实施例的说明性视图；以及

图11A和图11B是说明本公开第四实施例的说明性视图。

具体实施方式

现在将参考附图详细描述本公开的一些优选实施例。在接下来的描述中以及贯穿附图，在区分各实施例的情况下，本公开的技术的功能元件将用每个可能具有字母字符后缀的参考标号来指明，以标识特定实施例。在这样的区分不必要的情况下，将省略这些用于参考目的的字母字符。

将按下述标题进行描述：

1、概述，以及

2、具体应用示例，包括：

－第一实施例，藉以识别二维运动中的识别目标对象

-第二实施例，藉以识别三维运动中的识别目标对象

-第三实施例，藉以使用网络来控制多个电子装置

-第四实施例，藉以使用学习远程控制器来控制多个电子装置

<概述>

首先说明本公开的技术的基本事项。利用本说明书中公开的运动识别装置、运动识别方法、操作装置、电子装置和程序，基于识别到识别目标对象从一个确定区域移动到一个其他确定区域，之后移动回所述一个确定区域，运动识别部件识别预定摆动运动。控制部件基于运动识别部件的识别结果来控制控制目标装置或者控制目标的处理部件。

例如，如果识别目标对象是人手，则能够仅使用例如作为相对容易获取的信息的手的中心（重心）坐标来识别构成识别目标对象的手（手势）的运动状况。并非使用手形来仅识别操作者指定的方向。相反，识别手的摆动运动以执行在操作者指定的方向上多达N步的移动。此类技术在例如进行GUI（图形用户界面）菜单选择操作中是有用的。

例如，基于识别到识别目标对象从原点确定区域移动到一个确定区域，然后移动回原点确定区域而未经过任何其他确定区域，运动识别部件识别指示该一个确定区域相对于原点确定区域的存在方向的摆动运动。更具体地，如果以原点确定区域为基准在多个方向中定义确定区域、且每个确定区域到原点确定区域的距离均超过阈值，以及如果识别到识别目标对象从原点确定区域移动到一个确定区域，之后移动回原点确定区域而未经过任何其他确定区域，则运动识别部件识别指示方向的摆动运动。以此方式，识别指示方向的一个翻手操作的有无。

或者，在识别除了指示方向的一个翻手操作以外的任意操作（例如，确认、返回或结束操作）中，运动识别部件可以识别该识别目标对象顺序移动经过多个确定区域。在该情况下，运动识别部件识别预定摆动运动，该预定摆动运动与指示任意方向的摆动运动不同，且对应于对象移动顺序。

指示方向的一个翻手操作的有无、以及除了该类型的翻手操作以外的操作的有无可以基于仅使用对象的感兴趣点（例如，中心坐标）——其是能够相对容易获得的信息——识别的移动状态来识别。使用该识别结果来确定是否执行了预定摆动运动。控制部件指示控制目标装置执行对应于由运动识别部件识别的摆动运动的预定操作。

顺便说一下，识别目标对象可能不总是按预期顺序移动。在这样的情况下，例如，如果识别目标对象从原点确定区域移动到一个确定区域，然后在移动回原点确定区域之前通过预期之外的区域，则运动识别部件可以识别区域间移动无效（nullified）状态。进而，如果在识别到区域间移动无效状态之后，识别到识别目标对象移动回原点确定区域，运动识别部件可以在此时间点取消所述区域间移动无效状态。

此外，识别目标对象可能不总是从相同的原点确定区域开始。在这样的情况下，基于识别到识别目标对象从原点确定区域移动到一个其他区域并停留于该其他区域至少预定时间段，运动识别部件可以将该其他区域设置为新原点确定区域。

当移动识别目标对象时，可能不能确定地而是波动地识别区域之间的边界。如果依原样识别波动的边界，则难于识别按预期顺序移动的识别目标对象。为了应对此瓶颈，可以在确定区域之间提供不可被识别为任何区域的缓冲区域。

存在用于识别识别目标对象的各种可用基本技术（即，感测部分）。可以使用各种传感器（速度和加速度传感器、屈曲角度传感器等）来检测运动中的识别目标对象（例如，操作者的手）。还存在利用包括例如超声和压力传感器阵列、麦克风（用于声音识别）和人传感器（热电传感器）的各种传感器的识别技术。还可能使用深度图传感器、热像图（thermography）或图像感测技术。图像感测技术可以与为了识别容易的标记结合使用。在任何情况下，仅需识别识别目标对象的粗略运动；不需要诸如形状分析的详细计算处理。在应用图像感测技术的情况下，提供图像摄取装置以拍摄识别目标对象的图像。运动识别部件基于图像摄取装置拍摄的识别目标对象的图像，来执行识别运动中的识别目标对象的处理。

此外，当应用图像感测技术时，识别目标对象的识别不限于其二维运动。如果使用立体图像，还能够识别三维运动中的识别目标对象。即，运动识别部件基于拍摄的识别目标对象的立体图像，来执行识别三维运动中的所述识别目标对象的处理。可以使用多个单目摄像机或立体（双目）摄像机来获取立体图像。应该注意，如果彼此间距较长距离地设置多个单目摄像机，则必然增加由此拍摄的图像的识别误差。因而，图像摄取装置可能优选为能够拍摄对象的立体图像的双目（立体）摄像机。

当操作者通过移动例如他或她的手给出操作指令时，在不知道运动识别装置正识别出什么的情况下操作者不能顺畅地给出指令。为了应对此瓶颈，本说明书中公开的运动识别装置、运动识别方法、操作装置、电子装置或程序应该优选地配备有通知部件，用于给出运动识别部件正识别的状态的通知或给出控制部件正控制的控制目标装置的状态的通知

对于本说明书中公开的操作装置或程序，可以存在不止一个电子装置（即，控制目标装置）。即，控制部件可以配置来控制多个控制目标装置。在此情况下，操作装置和作为控制目标装置的电子装置之间的接口可以使用网络或远程操作装置（所谓的远程控制器，诸如红外线远程控制器）来实施。远程控制器可以用来控制远隔的目标装置。优选地，控制部件可以配置来经由学习型远程操作装置（学习远程控制器）来控制所述多个控制目标装置。学习型远程操作装置是学习（即，存储）由多个控制目标装置产生的操作信号以便独自控制这些装置的远程操作装置。这样，学习型远程操作装置也称作可编程远程控制器。或者，远程控制器可以在内部存储设备中预先设置用于操作多个远程操作装置的信号信息。单个学习型远程操作装置可以用来控制配置的全部控制目标对象。

<具体应用示例>

接下来说明本说明书中公开的运动识别装置、运动识别方法、操作装置、电子装置和程序的具体示例。接下来的描述将参考未使用标记的图像感测技术作为用于识别识别目标对象的基本技术（感测部分）。但是，这并非本公开的限制。替代地，可以使用各种传感器作为感测部分。

[第一实施例]

图1A和图1B是说明本公开第一实施例的说明性视图。更具体地，图1A是第一实施例中的电子装置的外观视图，且图1B是第一实施例中的操作装置的功能框图。

第一实施例是识别二维运动中的识别目标对象的图像以及使用识别结果来操作电子装置（控制目标装置）的设置。识别目标对象可想象为例如人手或手指。

如图1A所示，第一实施例的电子装置具体地是配备有节目记录功能的电视机310。在第一实施例中，电视机310具有安装在显示面板312的外部面板框314顶部的单目图像摄取装置320。或者，图像摄取装置320可以内置于面板框314自身中，而不是安装在其顶部。

如图1B所示，第一实施例的操作装置100A包括图像摄取装置320、运动识别装置200A和操作控制部件110。运动识别装置200A和操作控制部件110可以内置于电视机310中，如图1B所示，或者与电视机310分开提供，如图1A所示。在图示的示例中，作为构成执行对应于电视机310的功能的处理的处理部件的控制对象功能部件，可以提供接收处理部件（改变频道的功能部件）、用于处理视频信号的视频处理部件、用于处理音频信号的音频处理部件、和用于记录和再现图像的记录和再现部件。

运动识别装置200A包括运动识别部件210A和通知部件230。在该实施例的一些变形中，可以省略通知部件230。图像摄取装置320拍摄包括操作者的手的图像，并且将拍摄的图像供给到运动识别部件210A。运动识别部件210A根据输入的拍摄的图像来识别该识别目标对象的运动，以及将识别结果输出到操作控制部件110和通知部件230。基于从运动识别部件210A输入的识别结果，操作控制部件110确定担任控制目标装置的电视机310的控制内容，以及因此控制后者（电视机310）。

通知部件230通过图像或者通过声音向操作者通知当操作者对操作装置100A给出指令时要参考的信息，该信息表示例如正被识别的操作装置100A的状态和/或正被控制的控制目标装置的状态（即，操作状态）。显示面板312可以兼任用于通知部件230的显示设备。或者，通知部件230可以利用与显示面板312分离的专用显示设备。作为另一替代，在显示图像的同时（或者没有图像显示），可以发出声音来指示检测到原点（稍后讨论）或检测到运动。

[运动识别部件]

运动识别部件210A包括基准标识部分212、移动区域标识部分214和移动方向标识部分216。基准标识部分212确定识别目标对象（例如手）是否属于原点确定区域。移动区域标识部分214确定识别目标对象（例如手）是否属于移动确定区域。移动方向标识部分216基于由基准标识部分212和移动区域标识部分214做出的确定结果，来确定运动目标对象的上下左右的运动的方向（翻手(flip)运动，下文也称为翻手姿势）。基于识别到识别目标对象从原点确定区域移动到移动确定区域、之后移动回原点确定区域，运动识别部件210A中的运动方向标识部分216识别在由移动区域标识部分214识别的移动确定区域的方向上的一个翻手运动。

当识别到这样的翻手姿势时，运动识别部件210A建立在拍摄的图像的各个位置中的各种尺寸的部分区域，并且将图像切片（slice up）成部分区域。例如可以通过提供多达N个窗口尺寸来建立部分区域，对于图像扫描每个尺寸的窗口。运动识别部件210A将输入的部分区域规范化到预定尺寸，并且使用在存储部件中预先设置的教科书数据（textbook）来扫描这些区域，以查看是否存在要识别的对象。

上述技术仅仅是可由运动识别部件210A实施的技术的一个示例。例如，还可以使用用于评估从输入图像生成的轮廓图像一方和参考图像另一方之间的相似度的方法，或者用于评估输入图像的肤色区域之间在模式上的相似度的方法。如果采用用于肤色区域评估的方法，当使用与人类视觉特性匹配的均匀感知的色彩空间来表达彩色信息时，可以稳定地从输入图像中提取类肤色区域。应该注意，当利用均匀感知的色彩空间来用于彩色信息表达时，不同照明条件和其他因素下的亮度可能造成显著影响。为了应对此瓶颈，可以使用诸如HSL空间或HSV空间的奥斯瓦德（Ostwald）色彩系统的信号来处理感知的色彩空间，其中H表示色相（hue）、S表示饱和度、L表示亮度以及V表示色调（value）。

操作控制部件110基于由运动识别部件210A识别的翻手姿势来确定控制内容、以及因此控制担任控制目标装置的电视机310。利用此实施例，首先建立手的原点确定区域（原点区域），在其每个相对于建立的原点确定区域均超出阈值的距离上在各个方向上定义确定区域。当手从原点确定区域移动到感兴趣方向上的确定区域、之后返回到原点确定区域时，识别给定方向上的运动（姿势）。下面将更详细地讨论对象识别的该实施例。

[翻手姿势]

图2到图5是说明由第一实施例执行的操作控制的说明性视图。图2说明了典型的翻手姿势。图3说明供识别方向中使用的典型区域。图4是当识别方向时生效的状态转移图。图5是说明运动识别部件210A在识别方向中执行的过程的流程图。

如图2所示，翻手姿势是操作者的手在给定方向上移动之后移动回其初始位置而执行的运动。在此方面，当如图3所示手的重心（即，中心）坐标移入一个确定区域之后移动回初始位置时，第一实施例概念上识别摆动运动（指示方向的一个翻手姿势），该移动指示相对于原点确定区域而言一个确定区域的存在方向。当识别到识别目标对象顺序移动经过多个确定区域时，本实施例概念上识别与指示方向的任意摆动运动不同且对应于该对象移动顺序的预定的摆动运动。

首先，假定已经从图像摄取装置320拍摄的图像中提取了手的区域。根据本实施例的运动识别的基本概念，首先标识手的原点（重心）。当识别到手从原点确定区域移动到上、下、左或右确定区域之后移动回原点确定区域时，识别一个翻手姿势的输入。为了实现此类运动识别，运动识别部件210A具有两个状态转移机：原点检测状态机（对应于基准标识部分212）和方向检测状态机（对应于移动区域标识部分214和移动方向标识部分216），如图4所示。原点检测状态机连续捕捉手位置以查看手是否保持在给定位置。方向检测状态机监视原点和手可能相对于该原点移动的方向，以便检测翻手姿势的有无和该姿势的方向。

初始状态是尚未确认原点的状态（图4中的T110）。当操作者的手在图像摄取装置320前面保持静止达预定时间段（例如，一秒）时，原点检测状态机确定原点被确认并且转移到原点确认状态。同时，初始化方向检测状态机。方向检测状态机的初始状态是原点状态（图4中的T120）。即，运动识别部件210A获得手的原点（图5中的S 110）。例如，运动识别部件210A获得手区域的重心（即，中心），并且当中心保持实质静止达预定时间段时，将手的重心的位置作为原点。

在该情况下，考虑操作者的手的无意抖动，将被识别到落入预定半径的圆形区域中达预定时间段的重心视为属于原点确定区域（如图3所示）。在原点确定区域一方和上下左右确定区域另一方之间插入建立不可被识别为任何区域的缓冲区域。尽管未示出，不过也可以在上下左右确定区域之间提供缓冲区域。这可以防止诸如假如位于区域边界附近的操作者的手无意地抖动而连续地识别到手势的误操作。例如，运动识别部件210A可以获得手所属于的区域（图5中的S120）。如果识别到手保持在原点确定区域中，则运动识别部件210A确定不存在手移动（S122中的“是”）。

方向检测状态机监视原点和手相对于原点而移动的方向，以及检测翻手姿势的有无和该姿势的方向。此时，基于识别到手移出一个先前识别的确定区域、之后未经过任何其他确定区域就移动回原点确定区域，方向检测状态机识别到一个翻手姿势的存在。例如，基于识别到手移出原点确定区域（图5的S122中的“否”），在任何方向上移动至少超过阈值距离（即，超过缓冲区域）之后，运动识别部件210A确定手是否属于上下左右确定区域中的任一个（图5中的S130）。在此示例中，确定手现在属于右确定区域。如果识别到手移出原点确定区域、之后未经过任何上下左右确定区域就返回到原点确定区域，则确定不存在翻手姿势，如前面解释的。

例如，如果操作者的手图3所示移动到右确定区域，则方向检测状态机转移到右确定区域移动状态（图4中的T130）。如果操作者又将手移动到原点确定区域，则方向检测状态机返回到原点状态，并且识别到向右翻手姿势（图4中的T140）。例如，运动识别部件210A确定手是否移出先前识别的右确定区域至少超过阈值距离（即，超过缓冲区域）从而移入原点确定区域中（图5中的S132）。如果识别到手移出“先前识别的右确定区域”、之后未经过任何其他确定区域就移动回原点确定区域，则运动识别部件210A识别一个翻手姿势（在此示例中，是向右的手摆动运动；图5中S132中的“是”、S140）。如果识别到手移出“先前识别的右确定区域”、之后未移入原点确定区域（图5中S132中的“否”）而移动回该先前识别的右确定区域（图5中S134中的“是”），则运动识别部件210A确定尚未执行翻手姿势。如果识别到手以预期之外的方式移动，例如手移动到右确定区域之后移入上确定区域，则方向检测状态机转移到区域间移动无效状态（图4中的T150）。当识别到手移动回原点确定区域时，取消该状态（图5中S134中的“否”）。

反之，如果识别到手向左移动超过至少阈值距离（进入图3中的左确定区域）之后移动回原点确定区域，则识别向左翻手姿势。类似地，如果识别到手向上移动超过至少阈值距离（进入图3中的上确定区域）之后移动回原点确定区域，则识别向上翻手姿势。反之，如果识别到手向下移动超过至少阈值距离（进入图3中的下确定区域）之后移动回原点确定区域，则识别向下翻手姿势。在任一确定中，可以在原点确定区域和每个方向上的确定区域之间提供不属于任何区域的缓冲区域，如图3所示。缓冲区域的存在防止由于操作者手的无意抖动导致的误操作。

运动识别部件210A还灵活处理手以完全超出预期的方式移动的情况。例如，原点检测状态机与方向检测状态机并行地连续操作。如果操作者的手在不同于原点确定区域的给定区域（一确定区域或者进一步更远离任何确定区域的某处）中保持静止达预定时间段，则将原点（原点确定区域的中心位置）设置到最新的手的重心的位置，以及再次初始化方向检测状态机（图4中的T160）。以此方式，操作者可以在希望的任何时候改变原点确定区域的位置，并可以在识别到手的范围内的任意希望的位置进行翻手姿势。

[第一实施例的操作控制]

图6A和图6B说明由第一实施例的操作控制部件110执行的控制示例。图7A、图7B和图7C说明利用翻手动作来标识用于菜单操作的确认、返回和结束的典型技术。

例如，尽管所附流程图中未示出，但是操作者首先执行手摆动运动以便传达他或她的操作意图。运动识别装置200A根据由图像摄取装置320拍摄的图像来“检测手摆动运动”，并且从图像中发现（pick up）操作者。还能够使用诸如红外线传感器的测距传感器以便获取三维位置信息，计算对象距图像摄取装置的距离以用于变焦（zooming）操作，以及隔离候选区域对象以供姿势识别处理。之后，可以从例如关于手摆动位置的彩色信息中提取手区域。利用这样提取的手区域，操作控制部件110在显示面板312等上显示诸如图6A和图6B中的操作屏幕的操作屏幕。

操作控制部件110基于由运动识别部件210A识别的翻手姿势的方向来确定控制内容，以及因此控制控制目标装置（此例中为电视机310）。图6A和图6B示出在显示面板312上显示的典型菜单屏幕。这些屏幕上的识别状态区域用于通知操作者该操作控制部件110的内部状态。每个菜单屏幕由多个矩形区域231（彼此用参考字母a、b等区分）组成。矩形区域231的每个与用于操作电视机310的特定命令相关联。

如图7A所示，当识别到手在相对短的时间段内连续经过上下左右区域中的多个邻接区域（例如，三个或四个区域）之后移动回原点确定区域时，即，当识别到手在相对短时间内描画近似圆形时，运动识别装置200A确定发出用于菜单操作的确认指令。此外，如图7B所示，当识别到手在相对短时间段内从原点确定区域移动到上确定区域、到原点确定区域、到下确定区域、到原点确定区域（或反之，手从原点确定区域移动到下确定区域、到原点确定区域、到上确定区域、到原点确定区域）时，即当识别到手在相对短时间内近似垂直移动时，运动识别装置200A确定发出返回指令。此外，如图7C所示，当识别到手在相对短时间段内从原点确定区域移动到左确定区域、到原点确定区域、到右确定区域、到原点确定区域（或反之，手从原点确定区域移动到右确定区域、到原点确定区域、到左确定区域、到原点确定区域）时，即当识别到手在相对短时间内近似水平移动时，运动识别装置200A确定发出结束指令。当识别到手从原点确定区域移入上下左右区域中的任一个、之后移动回原点确定区域并在该处停留至少预定时间段时，运动识别装置200A识别一个翻手姿势的输入。以此方式，将指示给定方向的一个普通翻手姿势的输入与返回指令或结束指令区分开。依赖于使用中的操作屏幕，可能不需要确认、返回和结束指令中的一些或全部。

例如，在图6A中，以不同于其他矩形区域的状态的状态（图示中以阴影线示出）来显示矩形区域231e。这意味着当前选择了矩形区域231e。“不同状态”可以采取诸如高亮或利用不同于其他区域的色彩的许多形式。

当操作者的手相对于图像摄取装置320如图2所示上、下、左或右移动时，操作控制部件110与手移动一致地改变菜单屏幕上选择的矩形区域。例如，在图6A的状态下，如果操作者的手从原点确定区域移动到左确定区域、到原点确定区域，之后在最后一个区域中停留至少预定时间段，则取消矩形区域231e的选择状态，以及矩形区域231d变成选择候选。以不同于其他矩形区域的状态的状态来显示该矩形区域231d。应该注意，在该状态下，尚未确认操作菜单。为了确认分配到矩形区域231d的操作菜单，如图7A所示执行对应于确认指令的翻手姿势。这样发出的确认指令引起操作控制部件110执行与确认的矩形区域（在此例中，矩形区域231d）相关联的命令（例如，用于频道改变操作或用于显示记录预约操作屏幕）。

另一方面，如果因为操作者的误操作或者由于运动识别部件210A的错误识别而导致矩形区域231d变为选择候选，则操作者如图7B所示执行用于返回指令的翻手姿势。在此情况下，操作控制部件110取消矩形区域231d的选择状态，再次将初始矩形区域231e变为选择候选，以及以不同于其他矩形区域的状态的状态来显示矩形区域231e。或者，如果希望基于翻手姿势来结束操作指令，则操作者如图7C所示执行用于结束指令的翻手姿势。在此情况下，操作控制部件110关闭图6A中所示的操作屏幕。

当如图6B所示响应于确认指令而选择频道改变操作屏幕时，在图6B的操作屏幕上的每个矩形区域231被示出为分配了频道号。在此情况下，以不同于其他区域的状态的状态来显示对应于当前选择的频道的矩形区域231。当通过翻手姿势选择了另一矩形区域231时，操作控制部件110切换到被分配到所选矩形区域231的频道，而无需等待发出确认指令。例如，虽然图6B中示出选择了频道6，但如果选择左侧的频道5，则操作控制部件110立即切换到频道5。如果该状态可接受，则操作者可以执行如图7B所示的用于返回指令的翻手姿势或者如图7C所示的用于结束指令的翻手姿势。如果希望进一步选择与频道5邻接的频道（即，频道1、2、4、7或8），则操作者前进来执行用于频道选择的翻手姿势。

[通知部件]

基于使用翻手姿势发出操作指令，操作者可能需要知道是否已经检测到原点或者是否已经识别到姿势。否则，操作者可能无法顺畅地使用翻手姿势发出操作指令。为了应对该潜在瓶颈，第一实施例包括用于该目的的通知部件230。通知部件230以容易理解的方式（参见图6A和图6B中的识别状态区域）来通知操作者关于是否已经检测到原点、姿势识别是否已经成功的信息和其他信息。依赖于电子装置的类型，通知部件230可以使得显示面板312显示消息、发光点、和闪烁的手形状以便假定当正检测原点时使得手保持静止。此时，通知部件230也可以显示面板312显示由操作装置100A（具体地，由其基准标识部分212）标识的手的重心位置。一旦原点检测被确认，则可以关闭发光点和闪烁的手形状（以返回到正常显示）。

在要检测给定方向的情况下，可以显示图标，用于在该方向上执行翻手姿势后操作该装置。例如，在要操作电视机310的音量时，作为对操作者的反馈，可以在右侧显示“加（+）”图标用于调高音量以及在左侧显示“减（-）”图标用于调低音量。此外，在显示面板312上进行显示的同时，作为操作者的反馈，当检测到原点时或者当识别到翻手姿势时可以发出声音。

[第一实施例的效果]

根据上述第一实施例，能够识别供操作中使用的翻手姿势，由此控制操作中的控制目标装置。这提升了装置的易操作性。不需要对普通运动识别视为必要的大量样本数据和复杂的学习处理。此外，不需要将容纳学习结果的存储器。一旦识别到翻手姿势，就能够以非接触形式来操作接触式终端上的使用翻手姿势的应用（用于因特网浏览、书籍/新闻阅读、照片显示等），这增强了操作者使用的简易性。

可能存在非接触操作能力的其他优势。例如，当操作诸如电视机的家用电器时，用户无需操作远程遥控器或者寻找远程遥控器，这提升了有关家用电器的可用性。作为另一示例，在希望从远处位置（诸如从客车的后座）操作目标装置（诸如空调、车辆导航系统等）的情况下，或者在因为污手而难于直接操作某装置的情况下，非接触操作能力允许远距离操作该装置。作为另一示例，可以以非接触形式操作作为娱乐的新形式的视频游戏机和数字看板（digital signage station）。在这样的情况下，因为无需控制器，所以可以扩展游戏和看板的操作性的范围。

在识别翻手姿势中，第一实施例仅需要识别识别目标对象的大致运动状态（例如，在前面示例中利用手的重心位置的移动）。因为无需识别手的详细形状或者其变化状态，所以能够利用不包括众多高速计算资源的设备配置来实施本实施例。

[第二实施例]

图8A和图8B说明本公开的第二实施例。图8A是第二实施例中的电子装置的外观视图，和图8B是第二实施例中的操作装置的功能框图。

第二实施例涉及进行三维运动中的识别目标对象的图像识别以及使用识别结果来操作目标电子装置（控制目标装置）。

具体地，如图8A所示，第二实施例中的电子装置也是电视机310。第二实施例与第一实施例不同在于，在面板框的顶部安装双目图像摄取装置（立体摄像机322）以使用图像来识别三维运动。立体摄像机322不仅用作图像摄取装置，而且用作测距传感器，以供使用图像来识别三维运动。但是，测距传感器不限于立体摄像机。替代地，可以使用诸如红外线传感器的其他测距传感器以检测三维运动。

如图8B所示，第二实施例中的操作装置100B包括图像摄取装置322、运动识别装置200B和操作控制部件110。运动识别装置200B和操作控制部件110可以内置于电视机310中，或者可以如图示地与电视机310分开提供。运动识别装置200B包括运动识别部件210B和通知部件230。依赖于该实施例的变形，可以省略通知部件230。

第二实施例的运动识别部件210B与第一实施例的运动识别部件210A不同在于，运动方向标识部分216识别三维翻手姿势。基本思想是，运动识别部件210B也可以识别前后方向运动中的识别目标对象。运动识别部件210B的该翻手姿势识别本质上与上下左右任一方向上目标对象的运动识别相同。

一般地，在立体应用中，获得多个摄像机之间的对应关系，以及从摄像机拍摄的二维图像中获取三维位置。例如，可想象地以相互适当的关系来设置多个单目摄像机以用于位置识别。但是，在摄像机之间距离较远的情况下，难于获得相互间精确的对应关系；因而导致识别中错误增加。鉴于此，第二实施例不使用单目摄像机，而是使用立体摄像机322来拍摄立体图像，这允许识别识别目标对象的三维位置。

操作者从而进行手摆动运动以便传达他或她的操作意图。运动识别部件210B根据由立体摄像机322拍摄的图像来“检测手摆动运动”，并且通过立体测量而获得手摆动运动的三维位置。基于此位置信息，使得立体摄像机322平移、倾斜或变焦以密切观察其中执行姿势识别处理的区域。基于检测到手摆动运动，变焦设置应该优选地在广角侧，以便在室内较广范围内检测手摆动运动。然后使用例如关于手摆动位置的色彩信息来提取手区域。此外，识别翻手姿势的方向。操作控制部件110基于由运动识别部件210B识别的翻手姿势的方向而确定控制内容，以及因此控制控制目标装置（此例中为电视机310）。

[第二实施例的操作控制]

图9A、图9B和图9C说明利用翻手姿势由第二实施例标识用于菜单操作的确认、返回和结束指令的典型技术。第二实施例执行三维运动中的识别目标对象的图像识别，将手的前后向运动分配到确认、返回和结束指令。第二实施例的功能性的其他实施例与第一实施例中的相同。

例如，如图9A所示，运动识别装置200B可以识别手从身体远离进入近侧确定区域、之后移动回原点确定区域以及停留该处达至少预定时间段。在这样的情况下，运动识别装置200B确定输入了与用于菜单操作的确认指令对应的一个翻手姿势。此外，如图9B所示，运动识别装置200B可以识别手拉向身体以及移入深度确定区域、之后移动回原点确定区域以及停留该处达至少预定时间段。在这样的情况下，运动识别装置200B确定输入了与返回指令对应的一个翻手姿势。此外，如图9C所示，运动识别装置200B可以识别手在相对短时间段内从原点确定区域移动到深度确定区域、到原点确定区域、到近侧确定区域、到原点确定区域（或反之从原点确定区域到近侧确定区域、到原点确定区域、到深度确定区域、到原点确定区域）。即，运动识别装置200B可以识别手在短时间内近似在前后方向上移动。在这样的情况下，运动识别装置200B确定发出了结束指令。以此方式，能够在对应于确认指令的一个翻手姿势的输入、对应于返回指令的另一翻手姿势的输入和结束指令之间进行区分。

同样，在上述情况下，考虑操作者的手的无意抖动，将被识别到停留于预定范围（图9A到图9C中的原点确定区域）达预定时间段的手的重心视为原点。在原点确定区域一方和前后区域（深度确定区域和近侧确定区域）另一方之间插入建立不可被识别为任何区域的缓冲区域。这可以防止诸如假如位于确定区域的前后方向的区域边界附近的操作者的手无意地抖动而连续地识别到手势的误操作。

[第二实施例的效果]

基于识别到手移入近侧确定区域而标识确认指令。这变为近似与在物理远程控制器上按压按钮相同的操作。操作者从而能够感觉仿佛实际操作远程遥控器一样地发出确认指令。

[第二实施例的变形]

在前面的描述中，示出了基于识别手在前后方向上的移动来标识确认、返回和结束指令。或者，矩形区域231可以三维地展开，为每个三维建立的矩形区域231分配给定命令。

[第三实施例]

图10A和图10B说明本公开的第三实施例。图10A是示出第三实施例的总体配置的示意性视图。图10B是第三实施例中的操作装置的功能框图。

第三实施例具有使之可控制的多个电子装置（控制目标装置）。第三实施例与稍后讨论的第四实施例不同在于，第三实施例的操作装置100C配置来通过有线或无线网络来控制电子装置1。顺便说一下，运动中的识别目标对象可以如第一实施例那样二维地识别，或者如第二实施例那样三维地识别。接下来的段落将解释如何如第二实施例那样使用图像来识别所述识别目标对象的三维运动。

第三实施例的实际应用典型地设想实现操作在办公室内的信息机器以及基于信息的家用电器（例如，个人计算机（PC）、电视机、DVD播放器、蓝光播放器和其他AV（音频视频）机器）。

如图10A所示，作为构成控制目标装置的电子装置，室内可以存在电视机310、视频记录再现装置330、音频机器340、PC 350和照明器具360。操作装置100C经由网络（有线或无线）连接到电子装置（电视机310、PC 350、视频记录再现装置330和照明器具360）。

在适于监视室内的位置（例如，天花板附近）设置每个均具有平移－倾斜－变焦功能的多个立体摄像机322，以便执行三维运动中的识别目标对象的图像识别。或者，可以用用于拍摄立体图像的图像摄取装置320替换立体摄像机322。一般地，立体成像涉及获得多个图像摄取装置之间的对应关系和基于获得的对应关系从二维图像中获取目标对象的三维位置。例如，可以将多个单目图像摄取装置附于房间的天花板以执行位置识别。如果图像摄取装置之间距离较远，则难于获得相互间精确的对应关系，这可导致测量中错误增加。为了绕开此瓶颈，第三实施例利用多个双目图像摄取装置（即，立体摄像机322），而不使用单目图像摄取装置320。

[利用计算机的配置]

第三实施例的操作装置100C利用具有CPU、RAM（随机存取存储器）、ROM（只读存储器）等的计算机来配置，用于通过软件来实施第二实施例的操作装置100B的功能。即，用于控制操作中的电子装置的技术不限于使用硬件处理电路；也可以用运行于包含用于带来功能的计算机代码的软件上的计算机来实现该技术。为此，可以提供作为计算机执行来实施第三实施例的技术的软件的程序或者承载该程序的计算机可读介质作为本公开的另一实施例。软件的使用意味着可以容易地变更所涉及的过程而无需硬件变动。

如图10B所示，构成操作装置100C——其构建用于处理电子装置的操作的控制特征——的计算机系统900包括：由CPU或微处理器构成的中央控制部件910、包括用于只读操作的ROM或用于随机读写操作的RAM的存储部件912、操作部件914、其他未示出的外围部件。计算机系统900连接到监视器和扬声器，以便可以通过图像或通过声音通知操作者当操作电子装置时要参考的信息。

中央控制部件910基本上与将基于计算机的计算和控制功能置于微型集成电路的以CPU为代表的计算机的核心相同。ROM存储用于处理电子装置的操作的控制程序和其他资源。操作部件914是接受用户做出的操作的用户接口。

计算机系统900的控制部分可以配置来具有可移除地附接的诸如存储卡的外部记录介质（未示出），以便与诸如因特网的通信网络建立连接。除了中央控制部件910和存储部件912之外，控制部分的配置还可以包括用于从便携记录介质读取信息的存储器读取部件920和用于与外部实体相接口的通信接口922。存储器读取部件920，如果提供了的话，可以从外部记录介质安装或更新程序。通信接口922，如果附接了的话，可以经由通信网络安装或更新程序。利用第三实施例，通信接口922还用于从操作装置100C向配置的电子装置（电视机、PC 350、视频记录再现装置330和照明器具360）传送控制信号。用于处理电子装置的操作的基本方法与第二实施例相同。

顺便说一下，计算机系统900藉以控制电子装置的操作的程序可以例如与并入这些装置的远程控制器中的程序相同。这使得能够实现与用于操作目标电子装置的远程控制器功能相同的远程控制器功能。

程序可以被提供为记录在计算机可读记录介质（例如，半导体存储器、磁盘或光盘）上，或者经由有线或无线通信部分分布。例如，可以使用便携记录介质来提供或分布用于使得计算机执行控制电子装置的操作的程序。例如，可以在CD-ROM（致密盘只读存储器）或FD（软盘）上提供或分布程序。还能够设置用于在MO（磁光盘）上记录程序的MO驱动。还可以记录在包括利用诸如闪存的非易失性半导体存储器的卡型存储介质的其他记录介质上地提供或分布程序。构成软件的程序不局限于使用记录介质提供或分布；程序也可以经由通信部分（有线或无线）提供或分布。例如，可以通过诸如因特网的网络下载或更新程序。以描述用于实现控制电子装置的操作的功能的程序代码的文件的形式提供程序。在此情况下，不局限于以单个程序文件来提供程序；依赖于使用中的计算机的系统硬件配置，还可以以离散程序模块的形式提供程序。

前述段落说明了如何使用计算机上执行的软件具体实现用于处理电子装置的操作的控制特征。但是，对本领域技术人员来说，很显然可以使用硬件、软件、通信部分、其组合或某些其他适当单元来具体实现用于处理电子装置的操作的控制特征的组件（包括功能块）。作为另一替代，可以将一些功能块组合来形成单个功能块。同样，依赖于配置模式的组合，可以以分布式形式安装用于使得计算机执行程序处理的软件。

[操作控制]

在图10A中所示的设置中，立体摄像机322的变焦设置在广角侧。在室内适当位置（优选地在监视器附近），操作者做手势以便传达他或她操作给定电子装置的意图。当立体摄像机322检测到手势时，操作装置100C（计算机系统900；下同）通过立体测量获得手势的三维位置。基于如此获得的位置信息，操作装置100C使得立体摄像机322平移、倾斜或变焦以密切观察其中执行姿势识别处理的区域。在证实监视器屏幕的同时，操作者前进来执行翻手姿势，从而给出选择和操作目标电子装置的指令。在此时间点，操作装置100C基于识别的翻手姿势的方向来确认目标电子装置的选择和其控制内容，并因此控制该控制目标装置（此例中即选择的电子装置）。可以通过监视器上的显示和通过来自扬声器的声音来证实识别结果。

[第四实施例]

图11A和图11B说明本公开的第四实施例。图11A是示出第四实施例的总体配置的示意性视图。图11B是第四实施例中的操作装置的功能框图。

第四实施例具有使之可控制的多个电子装置（控制目标装置）。第四实施例与第三实施例不同在于，第四实施例的操作装置100D配置来使用学习远程控制器（学习型红外线远程控制器）来控制电子装置1。即，使用连接到计算机系统900的学习远程控制器将来自操作装置100D的控制信号发送到电子装置（电视机310、PC 350、视频记录再现装置330和照明器具360）。当使用学习远程控制器时，仅需在计算机系统900中安装用于远程控制器的一个程序。相反，上述第三实施例涉及在其中安装各个程序，用于控制用作控制目标的所有电子装置的操作。在第三实施例中，即使利用了（多个）远程控制器，也将需要安装用于电子装置的远程控制器的各个程序。

尽管以上使用具体实施例描述了本说明书中公开的技术，但是所附权利要求中描述的技术范围不受实施例描述的限制。在本说明书中公开的技术的范围和精神内，可以以各种形式修改、变更或改进以上说明的实施例。应该理解，这样的修改、变更或改进落入本公开技术的技术范围。上述实施例并不限制所附权利要求中描绘的技术，并非结合实施例说明的所公开技术的特征的全部组合对用于解决本说明书中讨论的技术所解决的问题的手段都是必不可少的。上述实施例包括各种阶段的本公开的技术，据此使用本文公开的多个配置要件的适当组合能够提取各种技术。即使省略结合实施例描述的所有配置要件的一些，也可以提取去掉省略的要件的配置，作为本说明书中公开的技术之一，只要公开的技术提供了解决针对的问题的效果即可。

例如，在前述段落中，示出了仅使用手的重心（即中心）坐标而识别作为运动中的识别目标对象示例的手。显然，替代地，可以识别手以外的对象。尽管说明了使用无需借助标记的图像感测技术，不过可以利用相同的算法来识别比如摆动装有标记的棒杆作为翻手姿势。本技术的该实施例因为扩展了操作者可选取的可用操作方法的范围，所以认识是有用的。

现今，提出了一些利用姿势识别的操作技术，由此识别人（例如，全身、头、手、手指）的运动以及使用识别结果来操作诸如电视机和计算机的电子装置（控制目标装置）。这些技术也因为对于操作机器人有用而引人注意。例如，通过图像感测技术或通过传感器测量当手上下、左右、前后或环形摆动时生成的运动动量（momentum），并且测量信息用作操作信息。例如，姿势识别涉及识别识别目标对象的运动（动态姿势）和该对象的形状（静态姿势）。识别动态姿势可以以三种形式中的一种来实现：利用使用非接触图像摄取装置（摄像机）来识别运动中的识别目标对象的位移（不仅整体位移而且打开和闭合手指的位移）、其速度和其加速度的图像感测技术；使用包括速度传感器、加速度传感器和屈曲角度传感器的各种传感器来测量操作者的运动中的识别目标对象；或者这两种形式的组合。在使用图像感测技术的一些情况下，可以使用标记来促进识别目标对象的识别。静态姿势的识别涉及识别识别目标对象特有的运动。例如，如果识别目标对象是手，由手的打开和闭合、手的手指增减的展示、以及手的手指张开角度的变化导致的手的形状和手指方向可以作为静态画面被检测，其中手的倾斜作为重力加速度的分量被检测。在将本说明书中提出的技术应用于各种情况的情况下，能够简化通常执行来识别运动中的识别目标对象的识别计算处理，以及省却众多计算资源。

鉴于本公开的实施例的前述描述，所附权利要求中声明的技术例示了公开的技术。可以提取下述技术作为来自本公开的这样的示例：

[附加声明1]

一种运动识别装置，包括：运动识别部件，配置来使得基于识别到识别目标对象从一个确定区域移动到其他确定区域，之后移动回所述一个确定区域，所述运动识别部件识别预定摆动运动。

[附加声明2]

如上述附加声明1所述的运动识别装置，其中，基于识别到所述识别目标对象从原点确定区域移动到一个其他确定区域，之后移动回所述原点确定区域而未经过任何额外的确定区域，所述运动识别部件识别指示所述一个其他确定区域相对于所述原点确定区域的存在方向的摆动运动。

[附加声明3]

如上述附加声明1或2所述的运动识别装置，基于识别到所述识别目标对象顺序移动经过多个其他确定区域，所述运动识别部件识别预定指令摆动运动，该预定指令摆动运动与指示任意方向的摆动运动不同且对应于对象移动顺序。

[附加声明4]

如上述附加声明1到3任一个所述的运动识别装置，基于识别到所述识别目标对象从原点确定区域移动到一个其他确定区域，然后在移动回所述原点确定区域之前通过预期之外的区域，所述运动识别部件识别区域间移动无效状态。

[附加声明5]

如上述附加声明4所述的运动识别装置，基于在识别到所述区域间移动无效状态之后识别到所述识别目标对象移动回所述原点确定区域，所述运动识别部件取消所述区域间移动无效状态。

[附加声明6]

如上述附加声明1到5任一个所述的运动识别装置，基于识别到所述识别目标对象从原点确定区域移动到一个其他区域，并停留于所述其他区域达至少预定时间段，所述运动识别部件将所述其他区域设置为新原点确定区域。

[附加声明7]

如上述附加声明1到6任一个所述的运动识别装置，其中，，在确定区域之间提供不可被识别为任何区域的缓冲区域。

[附加声明8]

如上述附加声明1到7任一个所述的运动识别装置，所述运动识别部件基于拍摄的所述识别目标对象的图像，来执行识别处于运动中的所述识别目标对象的过程。

[附加声明9]

如上述附加声明8所述的运动识别装置，其中，所述运动识别部件基于拍摄的所述识别目标对象的立体图像，来执行识别处于三维运动中的所述识别目标对象的过程。

[附加声明10]

如上述附加声明1到9任一个所述的运动识别装置，其中，还包括：通知部件，配置来给出由所述运动识别部件识别的状态的通知。

[附加声明11]

一种运动识别方法，包括：对识别目标对象从一个确定区域移动到其他确定区域、之后移动回所述一个确定区域进行识别；以及在对控制目标装置进行控制中使用该识别结果。

[附加声明12]

一种操作装置，包括：运动识别部件，配置来使得基于识别到识别目标对象从一个确定区域移动到其他确定区域，之后移动回所述一个确定区域，所述运动识别部件识别预定摆动运动；以及控制部件，配置来基于所述运动识别部件的识别结果，对控制目标装置进行控制。

[附加声明13]

如上述附加声明12所述的操作装置，其中，基于识别到所述识别目标对象顺序移动经过多个其他确定区域，所述运动识别部件识别对应于对象移动顺序的预定指令摆动运动；以及所述控制部件指示所述控制目标装置执行对应于由所述运动识别部件识别的指令摆动运动的预定操作。

[附加声明14]

如上述附加声明12或13所述的操作装置，还包括：图像摄取装置，配置来拍摄所述识别目标对象的图像，其中，所述运动识别部件基于由所述图像摄取装置拍摄的所述识别目标对象的图像，来执行识别处于运动中的所述识别目标对象的过程。

[附加声明15]

如上述附加声明14所述的操作装置，其中，所述图像摄取装置配置来具有用于拍摄立体图像的复眼镜头布置，以及所述运动识别部件基于拍摄的所述识别目标对象的立体图像，来执行识别处于三维运动中的所述识别目标对象的过程。

[附加声明16]

如上述附加声明12到15任一个所述的操作装置，还包括：通知部件，配置来给出由所述运动识别部件识别的状态和由/或所述控制部件控制的所述控制目标装置的状态的通知。

[附加声明17]

如上述附加声明12到16任一个所述的操作装置，其中，所述控制部件配置来控制多个控制目标装置。

[附加声明18]

如上述附加声明17所述的操作装置，其中，所述控制部件配置来经由学习型远程操作装置来控制所述多个控制目标装置。

[附加声明19]

一种电子装置，包括：处理部件，配置来执行对应于装置功能的过程；运动识别部件，配置来使得基于识别到识别目标对象从一个确定区域移动到其他确定区域，之后移动回所述一个确定区域，所述运动识别部件识别预定摆动运动；以及控制部件，配置来基于所述运动识别部件的识别结果，控制所述处理部件。

[附加声明20]

一种用于使得计算机用作下述装置的程序，所述装置包括：运动识别部件，配置来使得基于识别到识别目标对象从一个确定区域移动到其他确定区域，之后移动回所述一个确定区域，所述运动识别部件识别预定摆动运动；以及控制部件，配置来基于所述运动识别部件的识别结果，对控制目标装置进行控制。

本公开包含与2011年9月26日在日本专利局提交的日本优先权专利申请JP 2011-208947中公开的主题有关的主题，通过引用将其全部内容合并于此。

Claims (20)

1.一种运动识别装置，包括：

运动识别部件，配置来使得基于识别到识别目标对象从一个确定区域移动到其他确定区域，之后移动回所述一个确定区域，所述运动识别部件识别预定摆动运动。

2.根据权利要求1的运动识别装置，其中，基于识别到所述识别目标对象从原点确定区域移动到一个其他确定区域，之后移动回所述原点确定区域而未经过任何额外的确定区域，所述运动识别部件识别指示所述一个其他确定区域相对于所述原点确定区域的存在方向的摆动运动。

3.根据权利要求1的运动识别装置，其中，基于识别到所述识别目标对象顺序移动经过多个其他确定区域，所述运动识别部件识别预定指令摆动运动，该预定指令摆动运动与指示任意方向的摆动运动不同且对应于对象移动顺序。

4.根据权利要求1的运动识别装置，其中，基于识别到所述识别目标对象从原点确定区域移动到一个其他确定区域，然后在移动回所述原点确定区域之前通过预期之外的区域，所述运动识别部件识别区域间移动无效状态。

5.根据权利要求4的运动识别装置，其中，基于在识别到所述区域间移动无效状态之后识别到所述识别目标对象移动回所述原点确定区域，所述运动识别部件取消所述区域间移动无效状态。

6.根据权利要求1的运动识别装置，其中，基于识别到所述识别目标对象从原点确定区域移动到一个其他区域，并停留于所述其他区域达至少预定时间段，所述运动识别部件将所述其他区域设置为新原点确定区域。

7.根据权利要求1的运动识别装置，其中，在确定区域之间提供不可被识别为任何区域的缓冲区域。

8.根据权利要求1的运动识别装置，其中，所述运动识别部件基于拍摄的所述识别目标对象的图像，来执行识别处于运动中的所述识别目标对象的过程。

9.根据权利要求8的运动识别装置，其中，所述运动识别部件基于拍摄的所述识别目标对象的立体图像，来执行识别处于三维运动中的所述识别目标对象的过程。

10.根据权利要求1的运动识别装置，其中，还包括：

通知部件，配置来给出由所述运动识别部件识别的状态的通知。

11.一种运动识别方法，包括：

对识别目标对象从一个确定区域移动到其他确定区域、之后移动回所述一个确定区域进行识别；以及

在对控制目标装置进行控制中使用该识别结果。

12.一种操作装置，包括：

运动识别部件，配置来使得基于识别到识别目标对象从一个确定区域移动到其他确定区域，之后移动回所述一个确定区域，所述运动识别部件识别预定摆动运动；以及

控制部件，配置来基于所述运动识别部件的识别结果，对控制目标装置进行控制。

13.根据权利要求12的操作装置，

其中，基于识别到所述识别目标对象顺序移动经过多个其他确定区域，所述运动识别部件识别对应于对象移动顺序的预定指令摆动运动；以及

所述控制部件指示所述控制目标装置执行对应于由所述运动识别部件识别的指令摆动运动的预定操作。

14.根据权利要求12的操作装置，还包括：

图像摄取装置，配置来拍摄所述识别目标对象的图像，

其中，所述运动识别部件基于由所述图像摄取装置拍摄的所述识别目标对象的图像，来执行识别处于运动中的所述识别目标对象的过程。

15.根据权利要求14的操作装置，

其中，所述图像摄取装置配置来具有用于拍摄立体图像的复眼镜头布置，以及

所述运动识别部件基于拍摄的所述识别目标对象的立体图像，来执行识别处于三维运动中的所述识别目标对象的过程。

16.根据权利要求12的操作装置，还包括：

通知部件，配置来给出由所述运动识别部件识别的状态和由/或所述控制部件控制的所述控制目标装置的状态的通知。

17.根据权利要求12的操作装置，其中，所述控制部件配置来控制多个控制目标装置。

18.根据权利要求17的操作装置，其中，所述控制部件配置来经由学习型远程操作装置来控制所述多个控制目标装置。

19.一种电子装置，包括：

处理部件，配置来执行对应于装置功能的过程；

运动识别部件，配置来使得基于识别到识别目标对象从一个确定区域移动到其他确定区域，之后移动回所述一个确定区域，所述运动识别部件识别预定摆动运动；以及

控制部件，配置来基于所述运动识别部件的识别结果，控制所述处理部件。

20.一种用于使得计算机用作下述装置的程序，所述装置包括：

运动识别部件，配置来使得基于识别到识别目标对象从一个确定区域移动到其他确定区域，之后移动回所述一个确定区域，所述运动识别部件识别预定摆动运动；以及

控制部件，配置来基于所述运动识别部件的识别结果，对控制目标装置进行控制。

Images