CN102591451B - 影像处理装置和影像显示装置 - Google Patents

Abstract

本发明提供一种影像处理装置和影像显示装置，具有可以进行能够用姿势少的模式对应多种操作的输入操作的输入装置以及输入系统。为了实现上述目的，上述输入装置中包括：检测手的位置的手检测单元；检测例如脸等用户的身体的部位的位置的身体的部位检测单元；根据上述手检测单元的检测结果即手的位置信息和上述身体部位检测单元的检测结果即身体部位的位置信息算出手与该身体部位的相对位置的相对位置算出单元；以及基于上述手检测单元的检测结果即手的位置信息的变化识别手的姿势的姿势识别单元。在识别出手的姿势时，根据上述手与身体部位的相对位置，切换作为该用户的姿势的对象的输入装置的操作。

Description

影像处理装置和影像显示装置

技术领域

本发明涉及电子机器的操作。

背景技术

作为本技术领域的背景技术，有日本特开2003-233452号公报(专利文献1)。在该公报中记载了，发明目的是“提供利用性良好的姿势命令输入装置，能够与应用程序或其它用户任意注册的姿势命令无关，用户使用自己习惯使用的姿势进行命令输入，并且能够识别哪个用户在对输入单元进行姿势输入，多个用户能够用各自的姿势进行命令输入”(参照专利文献1[0013]段)等，其解决方案是“一种姿势命令输入装置，用用户身体的一部分或专用指示介质把对输入单元进行的姿势输入变换成命令，该姿势命令输入装置包括：预先针对各用户注册了该用户固有的姿势命令的存储单元；识别对上述输入单元进行姿势输入的用户的用户识别单元；以及如果上述用户识别单元识别了对上述输入单元进行上述姿势输入的用户，则基于与该被识别了的用户对应地、在上述存储单元中注册的用户固有的姿势命令，把该用户从上述输入单元输入的姿势变换成命令的控制单元”(参照专利文献1[0025]段)等。

<专利文献1>日本特开2003-233452号公报

发明内容

(发明要解决的问题)

但是，在专利文献1的技术构思中，必须存储向各电子机器预先注册的姿势，用户使用不方便。

(用来解决问题的方案)

为了解决上述问题，采用例如权利要求中记载的构成。

本申请包含多个解决上述问题的手段，如果举出一例，则有一种输出影像信号的影像处理装置，其特征在于：具有：拍摄影像的相机、和基于用相机拍摄的影像控制影像处理装置的控制部；控制部从用相机拍摄的影像检测用户的身体的多个部位，基于该被检测到的多个部位的位置选择针对影像处理装置的操作的种类，如果从用相机拍摄的影像识别出用户的预定的姿势，则执行被选择的种类的操作。

(发明的效果)

根据上述方案，可以效率良好地利用姿势进行电子机器的操作，可以提高该电子机器的用户使用方便性。

附图说明

图1是示出实施例1的输入装置的概貌图。

图2是示出实施例1的输入装置的构成的框图。

图3是示出操作实施例1的输入装置时用户的手和脸的位置的概貌图。

图4是说明实施例1的输入装置的用户的手的位置与显示画面的对应关系的概貌图。

图5是说明实施例1的输入装置的动作的流程图。

图6是示出实施例2的输入装置的概貌图。

图7是示出实施例2的输入装置的用户的姿势操作的区域的概貌图。

图8是说明实施例2的输入装置的、用户的手的动作与显示画面的对应关系的概貌图。

图9是示出实施例3的输入装置的、以用户的躯干轴为基准的用户的手的操作区域的概貌图。

图10是示出实施例3的输入装置的、以用户的躯干的中心点的纵位置为基准的用户的手的操作区域的概貌图。

图11是示出实施例3的输入装置的、以用用户的脸的位置信息制作的假想边界线为基准的操作区域的概貌图。

图12是说明实施例3的输入装置的动作的流程图。

图13是示出实施例4的输入装置的用户的姿势操作的区域的概貌图。

图14是说明实施例4的输入装置的动作的流程图。

图15是说明实施例4的输入装置的、用户的手的位置与显示画面的对应关系的概貌图。

图16是示出实施例5的输入装置的用户的姿势的概貌图。

(附图标记说明)

100：输入装置；101：拍摄部；110：显示部；111：第一菜单；112：第二菜单；120：用户；131：用户的手；122：用户的脸；200：系统控制部；201：身体的部位检测部；202：姿势识别部；210：影像处理部；300：脸的横位置；301：脸的纵位置；302：手的横位置；303：手的纵位置；310：脸的中心点；320：手的中心点；304、305、902、903、1000、1001、1101、1102、1302、1303、1304：个别操作区域；600：操作区域显示；601：手的位置显示；602：操作区域显示的中间线；700、700-b操作区域范围；900：躯干的中心点；901、901-b、901-c、901-d：操作边界线；1600：姿势操作

具体实施方式

下面，用附图说明实施例。

(实施例1)

本实施例的输入装置100是，可以从拍摄了用户的动态图像检测用户身体的部位的位置，可以检测用户的动作(以下也称为“姿势”)，根据该动作执行预定的处理，并且变更GUI(图形用户界面的英文缩写)的显示的装置。

图1示出用户使用输入装置100时的动作环境的概貌。

拍摄部101是用来向输入装置100输入动态图像的相机。显示部110是输入装置具有的显示装置，由例如液晶显示器、等离子体显示器等的显示装置构成。显示部110由显示屏、屏控制电路和屏控制驱动器构成，在显示屏上显示由从后述的影像处理部210供给的数据构成的影像。

第一菜单111和第二菜单112是显示部110上示出的GUI，与预定的用户操作对应。另外，本实施例中，第一菜单111是音量调整的GUI，第二菜单112是频道切换的GUI，但与各菜单对应的操作也可以是其它的操作。

用户120是对输入装置100进行操作的用户。用户的操作是，例如，在将用户的脸122面对输入装置100时，用户做出在横方向上或者在纵方向上晃动用户的手121，或者用户的手121从某一预定的位置向上、下、左或右拂动(以下记为挥动，swipe)、或者使手转动的姿势，输入装置100识别上述姿势，根据上述姿势的识别结果执行预定的处理。

图2是示出输入装置100的构成的一例的框图。输入装置100例如像图2所示的那样，具有：拍摄部101、系统控制部200、影像处理部210、显示部110。系统控制部200具有实现部位检测部201、姿势识别部202的功能的部分。

部位检测部201利用例如形状检测算法等的处理，从由拍摄部101得到的动态图像检测手、脸、躯干等用户的各身体部位的位置。姿势识别部202是利用由部位检测部201检测到的用户的手的位置信息识别操作输入装置100的预定姿势的部分。另外，本实施例中，说明了识别手的姿势的例子，但本发明不限于此。例如，也可以是识别脸、脚的姿势或把多个身体部位组合得到的姿势的构成。

系统控制部200是进行部位检测部201的输出、针对姿势识别部202的输出等的数据进行数据处理的部分。系统控制部200可以通过由CPU执行在存储器上存储的软件模块来实现，也可以通过专用的硬件电路来实现。

影像处理部210由例如ASIC、FPGA、MPU等的处理装置构成。影像处理部210根据系统控制部200的控制把GUI的影像数据变换成可用显示部110处理的方式后输出。

输入装置100通过搭载在具有显示器的电视机、监视器上，可以利用用户的姿势操作这些装置。另外，在图2中是输入装置100包括显示部110的构成，但不是必须要包括显示部110。例如，也可以构成为，搭载在不包括显示装置的光盘播放器等上，利用与该光盘播放器连接的外部的显示装置向用户提供影像。另外，使例如具有拍摄部的摄像机与显示装置、光盘播放器等连接，基于由摄像机拍摄的影像在显示装置、光盘播放器等中进行处理。

另外，图2示出在本实施例和本实施例以外的实施例中的说明中使用的构成，但根据需要可以追加其它构成，这是不言而喻的。例如，在接收播送的电视机上搭载了输入装置100时，在该电视机上也可以包括接收播送、显示用的显像管和多路解调器、解码器、输出声音的扬声器等。

图3示出用户利用姿势操作本实施例的输入装置的样子。用户的手121的位置例如由被检测到的手的形状区域的中心点320的横位置302和该中心点320的纵位置303构成的坐标表示。另外，用户的脸122的位置例如由被检测到的脸的中心点310的横位置300和脸的中心点310的纵位置301构成的坐标表示。

本实施例中，说明把检测用户的手121的范围分成位于通过用户的脸的横位置300的线的右侧的操作区域304和位于左侧的操作区域305的方法。

在此，根据系统控制部200的数据处理，有用户做出姿势时的手121的位置在用户的脸122的横位置300右侧的区域(操作区域304)中被检测的状态和在脸122的横位置300左侧的区域(操作区域305)中被检测的状态。在本实施例的输入装置100中，根据这两种状态对用户进行的预定姿势分配不同的操作。

图4示出使用输入装置100的用户的手121在操作区域304中被检测到时和在操作区域305中被检测到时的显示部110的概貌图。图4(A)中示出用户的手在操作区域304中被检测到时用户120与输入装置100的显示画面的状态。输入装置100通过在显示部110中对第一菜单111的显示进行加强等，如果在该状态下用户做出预定的姿势则执行与第一菜单111有关的操作(在本实施例中是音量调整)，向用户120示出。

图4(B)中示出用户的手在操作区域305中(脸的左侧)被检测到时用户120与输入装置100的显示画面的状态。输入装置100，通过在显示部110中对第二菜单112的显示进行加强等，向用户120示出：如果在该状态下用户做出预定的姿势则执行与第二菜单112有关的操作(在本实施例中是频道切换)。

下面，用图5的流程图说明利用根据实施例1的输入装置100的姿势进行的操作。用户的姿势的检测处理是图2所示的系统控制部200进行的处理。

首先，在系统控制部200中检测用户的手121和脸122的位置，计算相对于脸的位置的手的位置(步骤500)。

根据上述步骤500的结果，根据检测到的手相对于脸的位置变更GUI显示(步骤501)。像图4所示的那样，在脸的右侧检测到手时加强第一菜单111，在脸的左侧检测到手时加强第二菜单112。通过本步骤用户自己可以据此了解利用姿势执行了哪种操作。

在本实施例中构成为加强显示与被检测到的手的位置对应的菜单，但只要是用户可以识别利用姿势执行了哪种操作的显示，则对显示的方法没有限制。例如，也可以构成为，在脸的右侧检测到手时只显示第一菜单111，不显示第二菜单112。

另外，如果因不能检测手或脸时等而不存在手或脸的位置信息，则例如在显示部110上不显示第一菜单111和第二菜单112。

然后，在系统控制部200中进行姿势的识别(步骤502)，如果未识别出预先注册的姿势，则就这样结束处理(步骤503：否)。如果识别出预先注册的姿势，则进入步骤504(步骤503：是)。

然后，判断手是在脸的右侧，还是左侧(步骤504)。

检查作为步骤504的判断结果的手相对于脸的位置是否与上述步骤501中加强显示的GUI的位置匹配(步骤505和步骤506)。如果不匹配，则不接受利用姿势进行的操作，结束处理(步骤505：否，和步骤506：否)。如果匹配，则根据步骤504的结果进入步骤507和步骤508(步骤505：是，和步骤506：是)。

虽然在显示部110上加强显示第一菜单111(右侧的菜单)，但如果根据步骤504的结果判断为识别了姿势时手的位置在左侧(步骤504：左)，则由于GUI的显示与输入装置100据此执行的操作不匹配，所以视为发生了姿势识别的错误，不接收用户的姿势。

在判断为识别了姿势时手的位置在脸的右侧的情况下、即在图3所示的操作区域304中检测到手的位置的情况下(步骤504：右)，且该判断结果与显示中的GUI匹配的情况下(步骤505：是)，输入装置100执行与第一菜单111有关的操作(在本实施例中是音量调整)(步骤507)。

同样地，在判断为识别了姿势时手的位置在脸的左侧的情况下、即在图3所示的操作区域305中检测到手的位置的情况下(步骤504：左)，且该判断结果与显示中的GUI匹配的情况下(步骤506：是)，输入装置100执行与第二菜单112有关的操作(在本实施例中是频道切换)(步骤508)。

这样，在输入装置100中，通过识别手相对于脸的位置，可以对多个操作分配用户的预定的姿势，用户无须存储多个姿势就可以进行多个操作。另外，通过在脸的右侧检测到手的位置时加强第一菜单111的显示，在脸的左侧检测到手的位置时加强第二菜单112的显示，用户可以据此明白所做的姿势对应于哪种操作。而且，还具有在操作机器的过程中减少进行菜单切换所需的麻烦的效果，可以更快地执行用户所期望的操作。

另外，与可以利用姿势操作的现有的装置相比，还可以减轻利用姿势进行的操作的处理负担。

另外，在上述实施例中说明了用手相对于脸的位置在右或左两种状态对两种操作分配用户的姿势，但也可以用手相对于脸的位置在上或下的状态等。另外，也可以通过用相对于脸的位置在左上、右上、右下、左下的状态等，对三种以上的操作分配用户的姿势。

(实施例2)

以下，用图6～图8说明实施例2。

实施例1的输入装置100在脸的右侧或左侧检测到手的位置时加强显示对应的第一菜单111或第二菜单112。在本实施例中，除了实施例1的操作方法以外，还用GUI显示用户的手位于脸的位置的哪边。

图6示出用户120操作输入装置100的概貌图。输入装置100的显示部110，除了显示实施例1中的第一菜单111和第二菜单112以外，还显示示出检测用户的手的区域的操作区域显示600和示出检测用户的手的位置的手的位置显示601的GUI。输入装置100用操作区域显示600和手的位置显示601的组合，显示在相对于脸的哪个位置上检测到用户的手。中间线602是把操作区域显示600左右分开的中间的边界线。用户一边确认输入装置100的显示部110的画面，一边做出手势，操作输入装置100。

图7示出根据本实施例的用户和在显示部110上显示的画面的关系。操作区域范围700是可以识别姿势的范围。在本实施例中，操作区域范围700的中间点与脸的横位置300对应。在显示部110上显示的操作区域显示600的横方向长度表示该操作区域范围700，中间线602与脸的横位置300对应。

图8是说明根据本实施例的输入装置100的、用户的手的位置与显示画面的对应关系的概貌图。图7的操作区域范围700中的手的位置与操作区域显示600中的手的位置显示601的位置对应。即，如果在该操作区域范围700中用户的手121移动到右侧，则像图8(A)所示的那样，手的位置显示601的位置移动到操作区域显示600的右侧。同样地，如果在该操作区域范围700中用户的手121移动到左侧，则像图8(B)所示的那样，手的位置显示601的位置移动到操作区域显示600的左侧。

通过上述的构成，除了实施例1的效果以外，还有用户可以看到操作区域显示600中的手的位置显示601的位置来确认自己的手的位置的效果。

(实施例3)

以下，用图9～图12说明实施例3。

实施例1和实施例2的输入装置100用脸的位置信息设定预定基准的位置，根据相对于该基准的位置的手的相对位置，分配不同的操作。在本实施例中说明用手与用户的身体的其它部位的相对位置分配利用姿势进行的操作的方法。

首先，以用户的身体的各部位的位置为基准，用纵、横或预定的倾角制作假想的某一边界线。通过制作边界线生成两个以上的操作区域。在本实施例中说明根据在哪个操作区域中检测到用户的手来对预定的姿势分配操作的方法。下面，说明用假想的边界线制作操作区域的例子。

图9是示出根据本实施例的、以用户的躯干轴为基准时的用户的手的操作区域的概貌图。输入装置100用例如部位检测部201检测用户的躯干的中心点900和躯干的倾角。边界线901通过检测到的躯干的中心点900，其倾角与检测到的躯干的倾角相同。

通过制作边界线901，生成操作区域902和操作区域903这两个手的操作区域。然后，关于用户的利用姿势进行的输入装置100的操作，分配在操作区域902中检测到手的位置时的操作和在操作区域903中检测到手的位置时的操作这两种操作。

由此，可以根据用户的姿势，更合适地对多个操作分配利用姿势对输入装置100进行的操作，可以提高用户使用方便性。另外，也可以用例如通过脸的中心点310和躯干的中心点900的线定义等其它方法制作假想线901。

图10是示出根据本实施例的、以用户的躯干的中心点的纵位置为基准时用户利用姿势进行操作的操作区域的概貌图。如果在上述躯干的中心点900的纵位置处沿横方向制作假想的边界线901-b，则生成图10所示的操作区域1000和操作区域1001。然后，关于用户的利用姿势进行的输入装置100的操作，分配在操作区域1000中检测到手的位置时的操作和在操作区域1001中检测到手的位置时的操作这两种操作。

由此，可以使用手在身体的中心点以上的状态下的姿势或以下的状态下的姿势，对输入装置分配多个操作。

图11是示出以用用户的脸的位置信息制作的边界线为基准的操作区域的概貌图。如果在利用右手的姿势进行的输入装置100的操作中，把通过脸和躯干的中心的线作为假想的边界线，则与分配给右侧的操作相比，分配给左侧的操作难以进行。于是，如果在离用户的脸的横位置300有一定距离的1100处制作纵向的假想的边界线901-c，则生成图11所示的操作区域1001和操作区域1002。关于用户的利用姿势进行的输入装置100的操作，分配在操作区域1101中检测到手的位置时的操作和在操作区域1102中检测到手的位置时的操作这两种操作。

这样，通过在脸的纵位置的右侧(在用左手做出姿势时则是左侧)设定假想的边界线901-c，与把通过脸和躯干的中心的线作为假想的边界线时相比，用户容易进行用右手的姿势分配给左侧的区域的操作。

另外，用例如部位检测部201判断做出姿势的手是右手还是左手，在判断为用户用左手做出姿势时，通过在脸的左侧设定上述边界线901-c，容易进行用左手的姿势进行的操作。

下面，用图12的流程图说明根据本实施例的针对预定的姿势，对输入装置100分配两种操作的方法。

输入操作的检测处理是图2所示的系统控制部200进行的处理。首先，在系统控制部200中检测用户的手121和作为制作操作区域的基准的身体的部位的位置(步骤1200)。

用步骤1200的输出即用户的身体的部位的位置信息制作例如像图9～图11那样的假想的边界线，生成两个操作区域(步骤1201)。

然后，与图5的流程图的步骤501同样地，根据在哪个操作区域中检测到手而变更GUI显示(步骤1202)。

然后，与图5的流程图的步骤502同样地，进行姿势的识别(步骤1203)。如果未识别出预先注册的姿势，则就这样结束处理(步骤1204：否)。如果识别出预先注册的姿势，则进入步骤1205(步骤1204：是)。

然后，判断是在第一操作区域检测到手还是在第二操作区域检测到手(步骤1205)。

然后，检查步骤1205的判断结果是否与上述步骤1202中处理的GUI匹配(步骤1206和步骤1207)。如果不匹配，则不接受利用姿势进行的操作，结束处理(步骤1206：否，和步骤1207：否)。如果匹配，则根据步骤1205的结果进入步骤1208和步骤1209(步骤1206：是，和步骤1207：是)。

例如，虽然通过上述步骤1202在显示部110上加强显示第一菜单111(右侧的菜单)，但如果根据步骤1205的结果判断为识别了姿势时手在用户左侧的操作区域中，则由于用户看到的GUI显示与输入装置据此执行的操作不匹配，所以视为发生了姿势识别的错误，不接收用户利用姿势进行的操作。

在做出了姿势时，在手在第一操作区域中的情况下(步骤1205：第一操作区域)且该判断结果与显示中的GUI匹配的情况下(步骤1206：是)，输入装置100执行第一用户操作(步骤1208)。同样地，在做出了姿势时，在手在第二操作区域中的情况下(步骤1205：第二操作区域)，且该判断结果与显示中的GUI匹配的情况下(步骤1207：是)，输入装置100执行第二用户操作(步骤1209)

这样，用身体的部位的位置信息定义假想的边界线和操作区域，如果用手的位置在哪个操作区域中这两种状态，则在做出预定姿势时，可以分配两种用户操作。另外，假想的边界线也可以构成为根据识别用户的手的位置的区域的划分方法适当设定。例如，在把识别用户的手的位置的区域沿左右划分时，可以像上述那样用通过用户的脸的中心点310和躯干的中心点900的线定义；在把识别用户的手的位置的区域沿上下划分时，也可以用连接用户的双肩的线定义。进而，也可以使假想的边界线为两条以上，使识别用户的手的位置的区域为三个以上，从而对三种以上的用户操作分配预定的姿势。

(实施例4)

以下，用图13～图15说明实施例4。

在上述实施例1、实施例2和实施例3中说明了用相对于预定的基准位置手在右、左、上、下等的状态，对输入装置100分配多个操作的方法。在本实施例中，说明用手到预定的基准位置的距离对输入装置100分配多个操作的方法。

图13示出操作本实施例中的输入装置100时的用户的样子。操作的边界线901-d是例如从预先确定的身体的部位(脸、肩等)的位置设定的假想的操作的边界线。在此，把假想的边界线(用户右边的边界线1300，左侧的边界线1301)设定成，从操作的边界线901-d向左右两侧以某预定的距离生成第一操作区域1302、第二操作区域1303和第三操作区域1304。在用户利用姿势对输入装置100进行操作时，用手的位置是在第一操作区域1302中检测出、还是在第二操作区域1303中检测出、或者还是在第三操作区域1304中检测出这三个条件，对输入装置100分配不同的操作。另外，操作区域范围700-b与图7所示的操作区域范围700相同。

图14示出在上述三个操作区域中检测到了用户的手时用户的手的位置和输入装置100的显示部110的显示画面。

图14(A)示出在第一操作区域1302中检测到了用户的手时用户与显示部110画面的关系。虽然在显示部110上显示第一菜单111和第二菜单112，但也可以浅浅地显示这些显示，以表示哪个菜单都不能操作。操作区域显示600中的手的位置显示601在操作区域显示600的正中显示。在本实施例中，由于不对该区域分配操作，所以用户即使做出姿势，也不能操作输入装置100。

图14(B)示出在第二操作区域1303中检测到了用户的手时用户与显示部110画面的关系。在显示部110中第一菜单111比第二菜单112加强显示，向用户示出可以用预定的姿势进行第一菜单111所示的操作。在操作区域显示600中，手的位置显示601的显示位置设在右侧。此时，如果用户做出姿势则对输入装置100执行第一操作(在本实施例中是音量调整)。

图14(C)示出在第三操作区域1304中检测到了用户的手时用户与显示部110画面的关系。在显示部110中第二菜单112比第一菜单111加强显示，向用户示出可以用预定的姿势进行第二菜单112所示的操作。在操作区域显示600中，手的位置显示601的显示位置设在左侧。此时，如果用户做出姿势则对输入装置100执行第二操作(在本实施例中是频道切换)。

下面，用图15的流程图说明根据本实施例的对多个操作分配预定的姿势操作的方法。

首先，在系统控制部200中检测用户的手121和作为制作操作区域的基准的身体的部位的位置(步骤1500)。在图13的情况下，用户的肩是设定操作区域的基准。

用上述步骤1500的输出即用户的身体的部位的位置信息，例如像图13所示的那样确定假想的边界线，用离该边界线的预定的距离定义三种操作区域(步骤1501)。

然后，根据在哪个操作区域中检测到手而变更GUI显示(步骤1502)。像图14所示的那样，根据在哪个操作区域中检测到用户的手而变更GUI显示。

在本实施例中构成为加强显示与被检测到的手的位置对应的菜单，但只要是用户可以识别利用姿势执行了哪种操作的显示，则对显示的方法没有限制。例如，也可以构成为，在操作区域1303中检测到手时只显示第一菜单111，不显示第二菜单112；或者在操作区域1302中检测到手时不显示菜单。另外，也可以构成为不显示操作区域显示600和手的位置显示601。

然后，进行姿势的识别处理(步骤1503)。如果未识别出预先注册的姿势，则就这样结束处理(步骤1504：否)。如果识别出预先注册的姿势，则进入步骤1505(步骤1504：是)。

然后，判断是在第一操作区域检测到手，还是在第二操作区域检测到手，或者还是在第三操作区域中检测到手(步骤1505)。

然后，检查步骤1505的判断结果是否与通过上述步骤1502的处理所显示的GUI匹配(步骤1506、步骤1507和步骤1508)。如果不匹配，则不接受利用姿势进行的操作，结束处理(步骤1506：否，步骤1507：否，和步骤1508：否)。如果匹配，则根据步骤1505的结果进入步骤1509、步骤1510或步骤1511。

例如，虽然利用上述步骤1502在显示部110上加强显示第一菜单111(右侧的菜单)，但在步骤1505中判断的手的检测位置是左侧的区域1304时，不接收用户利用姿势进行的操作。

在做出了姿势时，在判断为在第一区域中检测到用户的手(步骤1505：第一操作区域)且该判断结果与通过上述步骤1502的处理所显示的GUI匹配的情况下(步骤1506：是)，输入装置100执行第一用户操作(步骤1509)。

在做出了姿势时，在判断为在第二区域中检测到用户的手时和判断为在第三区域中检测到用户的手时也是一样的(步骤1507、1510、1508、1511)。

这样，通过根据从基于用户的身体的预定部位的位置设定的边界线算起的距离定义多个操作区域，可以根据检测到用户的手的位置对输入装置100分配多个操作。

另外，在本实施例中以三个操作区域为例，但也可以通过减少或增加边界线的数目来减少或增加操作区域。另外，在本实施例中基于预定部位设定边界线，通过根据从该边界线算起的距离设定多个操作区域，但也可以构成为不设定边界线，根据从预定部位算起的距离设定多个操作区域。

(实施例5)

以下，用图16说明实施例5。

在本实施例中，用预定的身体的部位的位置定义操作输入装置100的用户的姿势的方法。

在现有技术中，为了定义摆动姿势，在某时间范围内，在相机的拍摄范围内，手的位置从某一位置到另一位置连续地向右或左运动时进行定义。但是，由于使用相机的拍摄范围的信息，因用户的身高差、用户操作位置到输入装置的距离等，有时即使用户做出了相同的摆动姿势也不能被识别。

在本实施例中，取代相机的拍摄范围，而以实际拍摄的用户的身体的部位的位置为基准，定义摆动姿势。

图16是示出根据本实施例的用户对输入装置100做出的姿势的概貌图。例如，姿势1600定义为，在用户的手从上述操作区域1302运动到上述操作区域1304时成立。由于边界线1201的位置基于被检测到的用户的身体的部位的位置信息而设定，所以操作区域1302和操作区域1304的大小与被检测到的用户的身体的大小和位置对应地变化。由此，即使在身高或体格不同的多个用户操作时或同一用户从不同的位置操作时，也都能够适当地操作输入装置。

这样，通过用身体的部位的位置信息定义姿势，可以实现能够与用户、操作位置的变化相对应的输入装置100的利用姿势的操作。

另外，也可以把上述输入装置100检测到的脸、躯干的中心点等的身体的部位的位置作为定义其它姿势(手晃动、手旋转等)的基准。例如也可以构成为，用户的手动是以躯干的中心点的位置为中心旋转时，把用户的手的旋转半径在从躯干的横向宽度算出的预定范围时等情形判断为使手旋转的姿势。

以包括显示影像的显示部110、影像处理部210的装置为前提说明了上述实施例1～5，但本发明不限于此，只要是具有拍摄影像的相机和基于该相机拍摄的影像控制装置的控制部的装置，则可以基于由相机拍摄的用户的影像进行上述实施例1～5说明过的利用姿势操作装置。此时，虽然不能加强显示菜单等，但可以对同一姿势分配多个操作。另外，也可以构成为，取代菜单的加强显示，通过使装置包括的LED(发光二极管)等的发光元件发光(利用发光元件的位置、光的颜色等)，向用户示出用姿势进行了何种操作。

另外，在上述实施例中说明过的处理也可以构成为用软件执行。只要是具有相机等的拍摄元件的装置，则可以通过由该装置的CPU执行可以进行上述实施例中说明过的处理的软件，实现与上述实施例相同的作用、效果。

Claims (6)

1.一种输出影像信号的影像处理装置，其特征在于，

具有：

拍摄包括用户的影像的相机；以及

控制部，基于用上述相机拍摄的影像识别用户的姿势，对上述影像处理装置输出的不包括用上述相机拍摄的影像的操作用影像，执行与该姿势对应的操作，

上述控制部从用上述相机拍摄的影像检测用户的身体的部位，设定以一个部位的位置为基准的边界线，基于该检测到的部位相对于该边界线的相对位置，从上述影像处理装置输出的操作用影像所包含的多个菜单中决定成为与上述姿势对应的操作的对象的菜单。

2.如权利要求1所述的影像处理装置，其特征在于：

还具有：处理输出的影像信号的影像处理部，

上述影像处理部对影像信号进行处理，以表示由上述控制部决定了成为操作的对象的菜单。

3.如权利要求1或2所述的影像处理装置，其特征在于：

上述控制部从用上述相机拍摄的影像检测用户的脸的位置和手的位置，设定以检测到的脸的位置为基准的边界线，在由该边界线划分出的第一区域中检测到的检测出的手的位置的情况下，决定成为第一操作的对象的菜单，在由该边界线划分出的第二区域中检测到检测出的手的位置的情况下，决定成为第二操作的对象的菜单。

4.如权利要求1或2所述的影像处理装置，其特征在于：

上述控制部从用上述相机拍摄的影像检测用户的手和手以外的预定的部位，根据检测到的手的位置与上述边界线的距离决定成为针对上述影像处理装置的操作的对象的菜单。

5.如权利要求3所述的影像处理装置，其特征在于：

上述操作用影像中包含与示出由上述控制部检测到的用户的手的位置的操作区域显示有关的影像信号。

6.如权利要求4所述的影像处理装置，其特征在于：

上述操作用影像中包含与示出由上述控制部检测到的用户的手的位置的操作区域显示有关的影像信号。