CN100542217C - 电子设备的控制装置及控制方法 - Google Patents

Abstract

本发明提供一种电子设备的控制装置，该电子设备抽取由摄像机摄影的用户的手图像，按照该手的运动进行对于希望的操作按钮的操作，如果手跨在显示的多个操作按钮上，则阻碍希望的操作。在显示在显示装置上的多个操作按钮中的任意操作按钮的图像前方的空间位置，使操作者的手相对着，利用手指进行规定的动作。此时，预先对多个操作按钮按优先顺序分配了号码或标记，控制信息判断器(18)根据来自从摄像机摄影而得到的输入图像中抽取各种各样特征的对象特征数据检测部(32)的信号，即使存在多个作为手等的图像位于相对位置上而被检测出的操作按钮，只将其中优先顺序最高的操作按钮作为激活按钮检测出来，并输出该激活按钮的用于操作的控制信息。

Description

电子设备的控制装置及控制方法

技术领域

本发明涉及电子设备，特别涉及改良了如电视接收机和个人计算机那样地具有显示装置的电子设备中的远距离操作方法的电子设备。

背景技术

在20世纪80年代，在以电视接收机为首的家电设备上附加了红外线遥控器(通常称为遥控器)，在手边能够控制的用户接口得到广泛普及，极大地改变了家电产品的利用方式。即使在当今，该操作方式也是主流，遥控器的基本结构是通过按压1个键(按钮)执行1个功能，例如在电视接收机中，“电源”、“频道”、“音量”、“输入切换”等键分别属于这种键，对于以前的电视接收机来说是非常方便的远距离操作方法。

但是，最近开始的数字广播中，为了选择希望的菜单画面，要多次按下遥控器的“上”、“下”、“左”、“右”、“确定”键，繁琐且使用不方便。此外，EPG(电子节目表)要从排列成矩阵的介绍画面中选择希望的位置并按下键，因此具有同样的问题。

本申请人在之前申请的日本特开2006-091948号公报(专利文件1)中提出了同时实现对多种电子设备的灵活性和远距离操作的便利性、不需要在手边利用像遥控器那样的远距离操作用设备的电子设备。专利文件1记载的电子设备是，用摄像机拍摄用户的手的动作，根据该动作识别与显示在显示装置上的操作按钮对应的操作内容。

在专利文件1记载的电子设备中，能够以很高的精度检测出用户将手伸在显示于显示装置的操作按钮上进行了操作的情况。但是，在用户的手伸在包括希望的操作按钮在内的多个按钮上、或者用户的手在伸到希望的操作按钮上时手之外的物品被置于多个按钮上的情况下，难以进行适当的控制。

专利文件1：日本特开2006-091948号公报

发明内容

本发明着眼于该问题点而做出，其目的在于提供一种电子设备，在将手等伸在显示于显示装置的操作按钮上对操作按钮进行操作时，能够更可靠地检测出操作按钮的操作。

本发明的第1方案涉及的电子设备的控制装置中，该电子设备具有显示装置，该控制装置具备：摄像机，对位于上述显示装置的前面的操作者进行摄影；镜像变换器，对由上述摄像机摄影的图像进行镜像变换，输出镜像变换图像信号；操作用图像生成器，生成与包含被附加了优先顺序的多个操作检测区域的操作用图像相对应的操作用图像信号；混合器，混合上述镜像变换图像信号和上述操作用图像信号，生成混合图像信号；检测器，从被显示在上述显示装置上的上述混合图像信号的图象中的上述多个操作检测区域中，检测出显示在上述图像上的、被判断为操作者指示的操作检测区域，在该检测出的操作检测区域有多个的情况下，检测出该多个操作检测区域中的、在上述显示装置中显示在最上方的位置上的一个上述操作检测区域，作为操作对象区域，在该检测出的操作检测区域为一个的情况下，将该操作检测区域作为操作对象区域；以及控制部，检测上述操作者是否操作了上述操作对象区域，当检测出上述操作者已操作的情况下，进行与上述操作对象区域对应的上述电子设备的控制动作。

本发明的第2方案涉及的电子设备的控制装置中，该电子设备具有显示装置，该控制装置具备：摄像机，对位于上述显示装置的前面的操作者进行摄影；镜像变换器，对由上述摄像机摄影的图像进行镜像变换，输出镜像变换图像信号；操作用图像生成器，生成与在上述显示装置的显示画面中形成各分割区域的操作用图像相对应的操作用图像信号，上述各分割区域分别包含被附加了优先顺序的多个操作检测区域；混合器，混合上述镜像变换图像信号和上述操作用图像信号，生成混合图像信号；检测器，在被显示在上述显示装置上的上述混合图像信号的图象中的上述各个分割区域，从包含在该分割区域内的上述多个操作检测区域中，检测出显示在上述图像上的、被判断为操作者指示的操作检测区域，在该检测出的操作检测区域有多个的情况下，检测出该多个操作检测区域中的上述优先顺序最高的一个操作检测区域，作为操作对象区域，在该检测出的操作检测区域为一个的情况下，将该操作检测区域作为操作对象区域；以及控制部，对于在每个上述分割区域检测出的每个上述操作对象区域，检测上述操作者是否进行了操作，当检测出上述操作者已操作的情况下，进行与检测出该操作的操作对象区域对应的上述电子设备的控制动作。

第3方案涉及的电子设备的控制装置是，在上述第1方案或第2方案中，上述检测器具备特定色滤波器，为了检测出指示了上述操作检测区域的上述操作者的手，上述特定色滤波器从上述镜像变换图像信号中抽取特定色的区域。

第4方案涉及的电子设备的控制装置是，在上述第3方案中，上述检测器具备：灰度限定器，从上述镜像变换图像信号中抽取预定的灰度范围；以及合成器，将由上述特定色滤波器抽取的特定色的区域、且由上述灰度限定器抽取的预定的灰度范围内，作为表示上述操作者的手的区域抽取。

第5方案涉及的电子设备的控制装置是，在上述第4方案中，上述检测器具备选通器，上述选通器将上述镜像变换图像信号中的、由上述合成器抽取的表示上述操作者的手的区域以外，替换为特定的亮度或颜色。

本发明的第6方案涉及的电子设备的控制方法是，该电子设备具有显示装置，该控制方法包括：摄影步骤，对位于上述显示装置的前面的操作者进行摄影；镜像变换步骤，对在上述摄影步骤摄影的图像进行镜像变换，输出镜像变换图像信号；操作用图像生成步骤，生成与包含被附加了优先顺序的多个操作检测区域的操作用图像相对应的操作用图像信号；混合步骤，混合上述镜像变换图像信号和上述操作用图像信号，生成混合图像信号；检测步骤，在将由上述混合步骤生成的上述混合图像信号显示在上述显示装置的画面上的状态下，检测出显示在上述画面上的、被判断为操作者指示的操作检测区域，在该检测出的操作检测区域有多个的情况下，检测出该多个操作检测区域中的、在上述显示装置中显示在最上方的位置上的一个上述操作检测区域，作为操作对象区域，在该检测出的操作检测区域为一个的情况下，将该操作检测区域作为操作对象区域；以及控制步骤，在由上述检测步骤检测出指示了某一个上述操作检测区域的状态下，当检测出上述操作者已操作的情况下，进行与上述操作对象区域对应的上述电子设备的控制动作。

本发明的第7方案涉及的电子设备的控制方法是，该电子设备具有显示装置，该控制方法包括：摄影步骤，对位于上述显示装置的前面的操作者进行摄影；镜像变换步骤，对在上述摄影步骤摄影的图像进行镜像变换，输出镜像变换图像信号；操作用图像生成步骤，生成与在上述显示装置的显示画面中形成各分割区域的操作用图像相对应的操作用图像信号，上述各分割区域分别包含被附加了优先顺序的多个操作检测区域；混合步骤，混合上述镜像变换图像信号和上述操作用图像信号，生成混合图像信号；检测步骤，在将由上述混合步骤生成的上述混合图像信号显示在上述显示装置的画面上的状态下，检测出显示在上述画面上的、被判断为操作者指示的上述分割区域内的操作检测区域，在该检测出的操作检测区域有多个的情况下，检测出该多个操作检测区域中的上述优先顺序最高的一个操作检测区域，作为操作对象区域，在该检测出的操作检测区域为一个的情况下，将该操作检测区域作为操作对象区域；以及控制步骤，对于在每个上述分割区域检测出的每个上述操作对象区域，检测上述操作者是否进行了操作，当检测出上述操作者已操作的情况下，进行与检测出该操作的操作对象区域对应的上述电子设备的控制动作。

第8方案涉及的电子设备的控制方法是，在上述第7方案或第8方案中，上述检测步骤为了检测出指示了上述操作检测区域的上述操作者的手，从上述镜像变换图像信号中抽取特定色的区域。

第9方案涉及的电子设备的控制方法是，在上述第8方案中，上述检测步骤包括：灰度限定步骤，从上述镜像变换图像信号中抽取预定的灰度范围；以及合成步骤，将上述抽取的特定色的区域、且在上述灰度限定步骤抽取的预定的灰度范围内，作为表示上述操作者的手的区域抽取。

第10方案涉及的电子设备的控制方法是，在上述第9方案中，将上述镜像变换图像信号中的、在上述合成步骤抽取的表示上述操作者的手的区域以外，替换为特定的亮度或颜色。

根据本发明，在将手等伸在显示于显示装置的操作按钮上对操作按钮进行操作时，能够更可靠地检测出操作按钮的操作。

附图说明

图1是说明以往的遥控装置的操作方式和本发明的操作方式的不同点的图。

图2是本发明的电子设备的控制装置的一实施方式涉及的电视接收机主要部分的方框图。

图3是表示操作者的图像和操作用图像的一个例子的图。

图4是说明重叠(混合)了操作者的图像和操作用图像的状态的一个例子的图。

图5是说明图2所示的检测器和显示装置画面上的检测区域之间的对应的图。

图6是图2所示的检测器和控制信息判断器的一实施方式的方框图。

图7是图6所示对象抽取器的一个例子的方框图。

图8是表示将手伸在画面上的操作按钮上的状态的图。

图9是表示在画面上的操作按钮之上弯曲了手指的状态的图。

图10是表示通过了图6及图7的对象抽取器的操作按钮区域的信号的图，图10A表示伸出了手的情况，图10B表示弯曲手的情况。

图11是表示由图6及图7的对象抽取器抽取出的对象物的面积变化和手的动作内容的图。

图12是说明动作检测器的内容的图。

图13是表示控制按钮的配置和控制按钮的号码的图。

图14是表示将手伸在操作画面上的控制按钮上时的状态的图。

图15是表示已激活的控制按钮的状态的图。

图16是表示动作检测器的一实施方式的方框图。

图17是表示将手伸在操作画面上的控制按钮上时的本发明一实施方式的状态的图。

图18是本发明的一实施方式的动作检测器的方框图。

图19是图20的动作检测器的详细结构图。

图20是表示已激活的控制按钮的状态的图。

图21是说明将手伸在操作画面上的控制按钮上时的状态的图。

图22是说明控制按钮的区段的图。

图23是说明将手伸在操作画面上的控制按钮上时的状态的图。

图24是本发明的一实施方式的动作检测器的方框图。

图25是说明控制按钮的区段的图。

具体实施方式

图1是说明在操作电子设备(电视接收机1)的方法中利用遥控装置的以往操作方法和作为本发明的一实施方式的操作方法的区别点的图。

在操作者(用户)3用以往的操作方法操作电视接收机2的情况下，用户3手持遥控装置4，朝着电视接收机1按下起动希望功能的键。因此，没有遥控装置4就不能操作电视接收机1，经常发生操作不方便的情况。

与此相比，在本实施方式的操作方式中，在电视接收机1中设有摄像机2，由摄像机2拍摄用户3，从摄像机2的图像中得到用户3的动作，进行电视接收机1及其关联设备的操作。

用户3的动作指的是，具体来说从在电视接收机1的显示装置21上显示的菜单画面中选择希望按钮的身体(手、脚、脸等)的动作。在本实施方式中，如后所述地采用了用最实用的手动作进行操作的方法。此外，在电视接收机1的周围较暗时，通过使用具备了自发光功能的远距离操作用设备(手边控制设备)，能够得到与手的动作同样的效果。关于远距离操作用设备，在后面记述。

图2是表示电视接收机1的结构的框图，电视接收机1具备摄像机2、标准同步发生器11、定时脉冲发生器12、镜像变换器13、定标器14、图形发生器15、第一混合器16、检测部17、控制信息判断器(CPU)18、像素数变换器19、第二混合器20以及显示装置21。

标准同步发生器11根据输入的同步信号，发生成为电视接收机1的标准的水平周期脉冲和垂直周期脉冲。在此，同步信号是向像素数变换器19输入的影像信号的水平及垂直同步信号。在接收电视广播时或者从外部设备输入影像信号的情况下，标准同步发生器11生成与该输入信号的同步信号同步的脉冲。定时脉冲发生器12生成图2所示的各构成部分所必需的、具有水平方向和垂直方向的任意相位和宽度的脉冲。

摄像机2拍摄图1所示地位于电视接收机1前面的用户3、或者电视接收机1前方的影像。摄像机2的输出信号是亮度(y)信号和色差(R-Y、B-Y)信号，与从标准同步发生器11输出的水平周期脉冲和垂直周期脉冲同步。此外，在本实施方式中，设由摄像机2拍摄的图像的像素数同显示装置23的像素一致。并且，在像素数不一致的情况下，插入像素数变换器使像素数一致即可。

镜像变换器13将用摄像机2拍摄的用户3的图像(被摄体像)在显示装置21上和镜子一样地反转左右进行显示。因此，在显示字符的情况下，和镜子一样左右被反转。在本实施方式中，通过活用存储器来反转水平方向的图像的方法进行镜像转换。显示装置21使用阴极射线管(CRT)的情况下，通过相反地操作水平偏转，能够得到同样的效果。在该情况下，需要将图形和其它混合侧的图像预先在水平方向上左右反转。

定标器14是放大或缩小由摄像机2拍摄的被摄体像的大小进行调整的图像调整器，在控制信息判断器18的控制下二维地调整放大率和缩小率。此外，也可以不进行放大缩小，就进行水平和垂直的相位调整。

图形生成器15根据从控制信息判断器18供给的、用于生成菜单画面(操作用图像)的控制信号，展开菜单画面，即使存储器上的信号以R(红)信号、G(绿)信号、B(蓝)信号的原色信号被展开，在后级与影像信号合成或混合的输出信号成为亮度(Y)信号和色差(R-Y、B-Y)信号。此外，不限定所生成的图形的平面数，但本实施方式中可以是1个平面。

在本实施方式中，构成菜单画面的图形的像素数和显示装置21的像素数一致。在不一致的情况下，在图形生成器15内或者图形生成器15的后级设置像素数变换器，使两者的像素数一致即可。

第一混合器16按照控制值α1控制混合比例，来混合定标器14的输出信号S1和图形生成器15的输出信号Gs。具体地说，用下述式1表示输出信号M1o。

M1o＝α1×S1+(1-α1)×Gs    …(1)

控制值α1被设定为0至1之间的值，若加大控制值α1，则定标器14的输出信号S1的比例变大，图形生成器15的输出信号Gs的比例变小。作为混合器的例子不限于此，但在本实施方式中，只要包含有被输入的2个系统的信号信息，就可以得到同样的效果。并且，如上所述地在摄像机2和镜像变换器13之间设置了定标器14的情况下，将从镜像变换器13输出的信号作为输出信号S1即可。

检测部17具备第一检测器171、第二检测器172、……第n检测器17n。被包含在检测部17的检测器数量并不是确定的，与表示同图形生成器15所生成的菜单画面相关联的控制内容的后述的操作按钮数相对应地变化。并且，操作按钮指的是，相当于在计算机中用鼠标进行点击操作的操作按钮的按钮。

控制信息判断器18进行从检测器17输出的数据(检测信号)的解析，输出各种控制信号。控制信息判断器18根据输入的数据生成与被操作的操作按钮对应的控制信号，控制各部分。控制信息判断器18利用软件进行各种处理，算法的详细内容在后面记述。在本实施方式中，同时存在硬件(各功能块)的处理和软件(控制信息判断器18的CPU)的处理，但并不限于在此示出的划分，无论怎样使用硬件和软件都可以。

像素数变换器19进行使被输入的影像信号的像素数和显示装置21的像素数一致的像素数变换。输入影像信号是由通过省略了图示的内置的调谐器接收的电视信号(包括数据广播等)决定的影像信号，以及从录像机(VTR)输入等电视接收机1的外部输入的影像信号。在此虽然省略了图示，是从输入影像信号中抽出水平及垂直同步信号，利用标准同步发生器11使各部分和输入影像信号的水平及垂直同步信号同步。

第二混合器20具有和第一混合器16同样的功能。即，按控制值α2控制混合比例，来混合第一混合器16的输出信号M1o和像素数变换器19的输出信号S2。具体地说，用下述式2表示输出信号M2o。

M2o＝α2×M1o+(1-α2)×S2...(2)

控制值α2被设定为0至1之间的值，若加大控制值α2，则第一混合器16的输出信号M1o的比例变大，像素数变换器19的输出信号S2的比例变小。作为混合器的例子不限于此，但在本实施方式中，只要包含有所输入的2个系统的信号信息，就可以得到同样的效果。

显示装置21假想为CRT、液晶显示器(LCD)、等离子体显示器(PDP)或者投影显示器等，但这不是用于限定显示器的显示方式。显示装置21的输入信号是亮度信号Y和色差信号R-Y及B-Y，在显示装置21的内部被矩阵变换为RGB原色信号进行显示。

同时说明如上所述地构成的电视接收机1的动作和用户3的动作。图3示出图2所述的图形生成器15的输出图像41(下面称为图形图象)、和对由图2所示的摄像机2拍摄的图像进行镜像转换并通过定标处理使像素数与图形图像41一致的定标器14的输出图像(下面称为定标器输出图像)43。由第一混合器16混合与该2个图像41及43对应的信号。

图形图像41形成用于进行操作的菜单画面(操作用画面)，矩形的框42表示控制按钮(操作按钮)。一方的定标器输出图像43是拍摄用户3并且像镜子一样显示的图像。由定标器输出图像43中的虚线表示的矩形的框44，表示用由多个检测器171～17n构成的检测部17检测的检测区域，被配置在与图形图像41上的控制按钮42相同的位置。

图4是用于说明第一混合器16中的混合处理的图。图4A表示由图3所示的图形生成器15生成的操作菜单画面(图形图像41)的图，包含有控制按钮(1-1)～(1-8)。图4B是图3所示的定标器输出图像43，是用摄像机2拍摄了用户3且已进行了镜像转换及定标处理的画面。在定标器输出图像43中还包含有与检测部17的各检测器对应的检测区域(2-1)～(2-8)。

图4C示出通过第一混合器16按照对应于控制值α1的混合比例混合了图4A及图4B所示画面的画面。并且，同图4B所示的图像相比，实际上图4C所示的用户3的图像对应着控制值α其亮度和对比度降低了。

如上所述，在显示装置21上同镜子一样显示用户3的图像，并且还重叠显示操作菜单画面。由此，用户3能够识别自己的动作和操作菜单(控制按钮(1-1)～(1-8))的位置。用户3看着画面移动手(身体)来接触画面上的控制按钮(1-1)～(1-8)，由此进行电视接收机1的操作。

并且，在此表现为接触控制按钮(1-1)～(1-8)，但也可以是用户3不实际接触到画面，而是将手伸在相当于控制按钮(1-1)～(1-8)的位置上，使得显示在显示装置21上的用户3的影像接触到控制按钮(1-1)～(1-8)。换言之，用户3看着画面动作，使手位于控制按钮(1-1)～(1-8)上，由此操作电视接收机1。

检测部17检测与用户3放置了手的控制按钮(1-1)～(1-8)相对应而设置的检测区域(2-1)～(2-8)内的手，控制信息判断器18识别出相应的控制按钮(1-1)～(1-8)被按下。因此，能够从控制信息判断器18输出与相应的控制按钮的控制内容相当的控制信号。此时，最好是改变菜单画面上的、被操作的控制按钮的形状或颜色，在画面上表示动作被识别的情况。例如，将图像改变成像控制按钮被按下那样。

图5表示在来自摄像机2的图像(定标器输出图像43)上设定的检测区域(2-1)～(2-8)和检测部17的检测器171～174之间的对应关系，还示出确定检测区域(2-1)～(2-8)中的检测区域(2-1)和(2-8)的水平及垂直定时脉冲。由图2的定时脉冲发生器12发生定时脉冲。

如图6所示，各检测器171～17n具备对象抽取器30、定时选通器31和对象特征数据检测部32。对象抽取器30具备符合图像特征的滤波器，向定时选通器31输出进行了滤波处理的图像信号。

定时选通器31根据定时脉冲控制来自摄像机2的图像信号的通过。通过的区域是对应的检测区域内。对于限定在该检测区域内的信号，对象特征数据检测部32实施各种滤波处理，抽取用摄像机2拍摄的用户3的手的图像。

对象特征数据检测部32具备从抽取的用户3的手(对象物)的图像信号中检测出各种各样的特征并产生检测信号的功能块。在本实施方式中，具备直方图(histogram)检测器33、平均亮度(APL)检测器34、高频频度检测器35、最小值检测器36、最大值检测器37。除此之外还有对图像赋予特征的要件，但在本实施方式中，利用由这些检测器产生的检测信号，由控制信息判断器18判别出是手，并且识别其动作。

直方图检测器33～最大值检测器37(检测器33～37)向第一动作检测器181～第五动作检测器185分别输出检测信号。第一动作检测器181～第五动作检测器185根据检测信号判别出是手，并且识别其动作。从第一动作检测器181～第五动作检测器185输出的数据，被输入到控制信息发生器186。

第一动作检测器181～第五动作检测器185将接收到的数据作为变量进行存储，利用软件处理数据。在本实施方式中，检测后述的手动作的处理是利用软件进行的处理。

并且，最好是具备所有的检测器33～37，但例如仅用直方图检测器33也能够识别手的动作，所以也可以是只具备直方图检测器33的结构。

图7表示对象抽取器30的详细方框图。在本实施方式中，为了检测用户3的手，特别进行着眼于肤色的滤波处理。即，本实施方式的对象抽取器30具备特定色滤波器71、灰度限定器72、动作检测滤波器75、合成器73、对象选通器74。

特定色滤波器71、灰度限定器72和动作检测滤波器75分别是确定对象的滤波器。特定色滤波器71用色差信号限定输入的颜色信号的色相和色的浓度(饱和度)，灰度限定器72限定亮度信号的特定的灰度范围。动作检测滤波器75根据图像的运动，抽取并识别人手。

在本实施方式中，将人手作为操作后述的操作按钮的对象物，但是，通过调整作为参数的色相和灰度并使其最佳化，对象抽取器30还能够检测出手以外的对象物。

合成器73合成从特定色滤波器71、灰度限定器72和动作检测滤波器75输入的信号，转换为区域脉冲。在本实施方式中，通过了特定色滤波器71的信号、通过了灰度限定器72的信号和通过了动作检测滤波器75的信号全都存在(AND)的情况下，输出成为高电平的区域脉冲。并且，也可以是，如果存在通过了特定色滤波器71、灰度限定器72和动作检测滤波器75中的1个或2个的信号，就输出成为高电平的区域脉冲。

如果存在通过了特定色滤波器71、灰度限定器72和动作检测滤波器75中的2个的信号就成为高电平，则难以产生误检测；如果存在通过了3个的信号就成为高电平，则更加难以产生误检测。

由合成器73合成的区域脉冲被供给对象选通器74。当区域脉冲是高电平时，对象选通器74使亮度信号和色差信号通过。当区域脉冲是低电平(区域脉冲外的范围)时，使亮度信号和色差信号都不通过，输出规定值的信号。在本实施方式中，输出黑电平的亮度信号和饱和度为0的色差信号。

特定色滤波器71计算以色差信号输入的色信号的色相和色浓度(饱和度)，检测色差信号是否进入到公知的色差平面图中的希望区域。色差平面图是将B-Y作为x轴、将R-Y作为y轴的图，色相用以第一象限的B-Y轴为基准(0度)左旋转的角度表示，饱和度用向量的纯量表示。色差平面的原点成为饱和度为0(零)且无色的状态，随着离开原点，表示饱和度变大、颜色变浓。

在本实施方式中，检测了色差信号是否进入到与抽取的人类的手颜色即肤色相当的区域，但是，抽取的颜色区域并不特别限定于此。

灰度限定器72限定亮度信号的特定的灰度范围，输出被包含在特定的灰度范围内的亮度信号。在本实施方式中，使人手的灰度的亮度信号通过。

动作检测滤波器75根据输入的亮度信号检测图像的运动。在本实施方式中，基于对象物伸在检测区域的图像和伸出前的图像，检测出对象物的图像。

特定色滤波器71限定以色差信号输入的色信号的色相(角度)和饱和度，灰度限定器72限定亮度信号的特定的灰度范围，动作检测滤波器75按照图像的运动来限定亮度信号。

通过用特定色滤波器71限定色相和饱和度，能够集中在人的肤色上，但是人的肤色按照日晒状况变化，并且因人种而不同，所以肤色有很多种。因此，根据从控制信息判断器18输入的控制信号，由特定色滤波器71调整被输入到对象抽取器30的影像信号的色相及饱和度，即本实施方式中仅使手肤色的区域通过。此外，在灰度限定器72中使被限定的亮度信号的灰度区域通过，能够大致检测出人的手。再者，根据图像的运动，由动作检测滤波器75抽取区别于背景的手的区域，从对象抽取器30输出表示手的区域的图像信号。

此外，在本实施方式中，将人手作为操作控制按钮(1-1)～(1-8)的对象物，但是，也可以调整作为参数的色相和灰度并使其最佳化，还能够检测出手以外的对象物。

图7所示的对象选通器74生成将通过了各滤波器的区域以外的区域作为黑色(亮度信号和色信号都是0)的信号，基于信号的图像如后述的图10(A)、(B)所示，手指以外的区域、即用斜线表示的区域成为黑色。在此，将肤色区域以外的区域设定为黑色的原因，是为了提高后级的对象特征数据检测部32中的检测精度，根据要检测的对象物来设定最佳电平(特定的电平)。

从对象选通器74输出的信号，进一步在图6的定时选通器31中被限定与控制按钮(1-1)～(1-8)对应的区域(检测区域)，检测区域以外的区域被忽视。

图6所示的对象特征数据检测部32利用表示对象物的区域的图像信号，使用直方图检测器33～最大值检测器37(检测器33～37)进一步检测各种各样的特征，并且产生检测信号。从各检测器33～37输出的各检测信号分别被输入到第一动作检测器181～第五动作检测器185，检测手指的弯曲动作。并且，如果检测出弯曲，则从控制信息发生器186输出与分配给被操作的控制按钮(1-1)～(1-8)的电子设备的动作相对应的控制信号。

在本实施方式中对象特征数据检测部32的各检测器33～37由硬件构成，按画面单位(场单位、或帧单位：垂直周期单位)生成表示画面上的检测区域(2-1)～(2-8)内的各特征的数据(检测信号)，经由CPU总线向控制信息判断器18送出。

直方图检测器33根据表示手的区域的图像信号，产生如下的检测信号。在此，将从定时选通器31输出的亮度信号的灰度例如划分为8阶(记为灰度“0”～“7”)，对存在于各阶的像素数进行计数，按每一个画面(1场或1帧画面)向第一动作检测器181输出表示直方图的数据。灰度“0”的频度示出表示黑色的像素数。本实施方式的第一动作检测器181从直方图检测器33接受表示每一个画面的直方图的数据(检测信号)，该直方图基于表示手的区域的图像信号，并根据检测信号，计算出对应伸在控制按钮1～16内的手区域的大小而发生的发生量。

APL检测器34向第二动作检测器182输出同样地将一个画面内的亮度电平相加、并用全部像素数除之后的1个画面的平均亮度值。

高频发生量检测器35通过空间滤波器(二维滤波器)抽出高频成分，向第三动作检测器183输出1个画面内的高频成分的发生量。最小值检测器36向第四动作检测器184输出一个画面内的亮度信号的最小灰度值，而且，最大值检测器37向第五动作检测器185输出1个画面内的亮度信号的最大灰度值。

图8A及图9A表示对从摄像机2输入的图像设定了用虚线表示的检测区域(2-1)～(2-8)。如前所述，在本实施方式中如果用户3将手伸在与显示于显示装置21上的各控制按钮(1-1)～(1-8)对应的检测区域(2-1)～(2-8)上，则该动作作为操作信息被判别。

图8B及图9B表示手的运动。图8B表示伸直手指放在与控制按钮(1-8)对应的检测区域(2-8)上的状态，图9B表示弯曲了手指的状态。本实施方式中，通过重复2次弯曲该手指的动作，使控制信息判断器18认识到按下(操作)了控制按钮(1-1)～(1-8)。控制信息判断器18输出与分配给被操作的控制按钮的电子设备的动作对应的控制信号。并且，可以在仅将手放置时、或者进行1次或3次以上弯曲动作时，使其认识到按下了控制按钮(1-1)～(1-8)，只要适当设定即可。

图10A、10B示出与图7的对象抽取器30的输出信号对应的图像。图10A表示如图8B那样伸直手指放在检测区域(2-8)上的状态，图10B表示如图9B那样弯曲手指放置的状态。

在直方图检测器33中，可以考虑各种根据直方图的数据来判别手(指)处于何种状态的方法。例如，可以合计限定了灰度的范围、即灰度“4”～“7”的频度，来判别手的动作。

比较图10A、10B可知，在伸直手指的状态和弯曲手指的状态下，作为黑色部分的灰度“0”的频度不同。这是因为，在对象抽取器30的输出信号中包含的灰度“0”的部分的量不同。因此，仅根据灰度“0”的频度，也能够判别手的动作。在这样的仅根据灰度“0”的频度进行的判别中，简化了控制信息判断器18中的判别动作的处理，因此是方便的。

接着，参照图11A、11B沿时间轴说明手的动作。从伸直手指的状态到弯曲的状态为止的经过时间作为Tm。在图11A、11B中为了容易理解说明，作为动作的最小单位，将时间划分为T0、T1…T7。下面，按时间经过进行说明。在图11B的左端部概略地示出了控制按钮(1-1)～(1-8)或检测区域(2-1)～(2-8)的一部分。

从伸直手的状态到弯曲的状态为止需要的期间设为Tm，成为手的动作的标准期间(时间间隔)。从时刻T0到T1的约Tm期间是放置了手的期间，是检测相应的控制按钮是否被激活的期间。并且，控制按钮被激活是指，控制按钮被操作(将手伸在对应控制按钮的检测区域上)的状态。

时刻T-1表示不存在手的状态。时刻T1到T2表示弯曲手指的过程。时刻T2到T3表示伸直手指的过程。时刻T3～T4表示再次弯曲手指的过程。时刻T4～T5表示再次伸直手指的过程。时刻T5～T6表示伸直手指、并且将伸直的手指保持约Tm期间的状态。这一连串的动作类似于鼠标的点击动作，是对人来说可以很容易进行的动作。

以上是控制按钮(1-1)～(1-8)或检测区域(2-1)～(2-8)上的手的动作。图11A的波形图表示在图11B上模式化地描绘的控制按钮上的手掌投影面积的变化。通过分析该波形，能够确定手的动作。

在此，如图11A所示的时刻T1那样伸直手指将手放在控制按钮上的情况下，如图10A所示地黑色的图像区域变小，所以，例如直方图检测器33在直方图的灰度“5”附近频度最高，APL检测器34的输出检测值表示比较高的值。此外，如图11A所示的时刻T2那样弯曲伸在控制按钮上的手指的情况下，如图10B所示地黑色的图像区域变大，所以，直方图检测器33在直方图的灰度“5”附近的频度变低，并且直方图的灰度“0”的频度变高。此外，APL检测器34的输出检测值表示比较低的值。直方图的合计值的变动成为与APL的变动相近的变动，只要值的比例(scale)不同，就能够用同样的分析判别手的动作。

图12是说明对从对象特征数据检测部32输入的波形进行处理的控制信息判断部18内的第一动作检测器181～第五动作检测器185的内容的图。图12所示的T0～T6对应着图11的T0～T6。

图12A表示与在图11中对应手的动作而表现的波形相同的波形，是表示与控制按钮对应的检测区域内的手的区域的图。在本实施方式中，图12A是表示由直方图检测器33算出的手的区域的检测信号，从直方图检测器33输入到第一动作检测器181。在此，说明了基于直方图的第一动作检测器181的动作，但第二动作检测器182～第五动作检测器185也同样地动作。例如，从平均亮度检测器34输出的、与控制按钮对应的检测区域内的图像的平均值(APL)的波形，也表示与此相近的值。

图12B所示的波形是在第一动作检测器181内从图12A的输入信号中除去了DC截止成分的信号波形。DC截止成分的除去是在Tm时间前后利用具有(-1/2，1/2)的抽头系数的通过高频的数字滤波器进行的。数字滤波器从将图12A的检测信号延迟了时间Tm的延迟信号中减去未延迟的检测信号而求出差分信号，并且输出使差分信号的电平成为1/2倍的截止成分除去信号。Tm期间的延迟用于使手动作的波形通过。

图12C所示的波形是表示对图12A的检测信号中的阈值TH0以上的信号进行了积分的值的波形，在第一动作检测器181内得到。直到图12C所示的积分值超过阈值TH1为止的时间带是检测期间。

当图12C所示的波形成为阈值TH1以上时，第一动作检测器181生成图12D所示的激活标志(激活期间)。激活标志在手伸在控制按钮上的期间输出，表示控制按钮被选择。

图12E是表示基于在第一动作检测器181内将图12B所示的截止成分除去信号输入到互相关数字滤波器而得到的互相关计算值的波形的波形包络线的图。图12E表示与手的运动的相关。随着时间的推移，同基于手的动作得到的波形的一致度增加，因此包络线的峰值变大。假设在包络线的峰值超过阈值TH4的时刻，带着相关计算的结果进行规定的动作，确定控制(判断期间)。

并且，在图12A所示的波形为阈值TH0以下时进行初始化。进行相关计算来确定手的点击动作的算法是公知的，而且这不是本发明的主要内容，因此省略其详细说明。

接着，说明在本发明中为了控制而被激活的控制按钮的选择动作。图13表示用于进行与本发明的控制按钮的选择有关的说明的、控制按钮的排列一例。在图13所示的显示装置21上显示着包含了对应16种控制的16个控制按钮的操作菜单画面。为了说明，对各个控制按钮付与1至16的识别号码。在本实施方式中，具备与对应于各控制按钮1～16的各检测区域相对应的检测器171～176。

利用控制按钮进行的控制例如是电视接收机1的媒体选择(CS广播、BS广播、地上波数字广播、视频输入、设定)、频道选择等，也可以是作为与电视接收机1连接的其它电子设备的录像机、DVD播放器等的电源开/关控制等。

图14A是表示用户3将手伸在控制按钮5上的状态的图。实际上，如图14A所示，有时不仅在控制按钮5上，手还会伸到控制按钮9和13上。

因此，从对应于各控制按钮5、9、13的各检测区域的检测器17n如前所述地输出激活标志。

图14B是将得到了激活标志的控制按钮5、9、13用斜线表示的图。在此，为了说明，未图示用户3的手。控制按钮5、9、13如上所述地按照规定的显示方式被显示。

图15A表示检测信号B[5]、B[9]、B[13]的时序变化，该检测信号B[5]、B[9]、B[13]表示如图14A所示地放置了手的控制按钮5、9、13的各检测区域中的手区域。检测信号B[5]由与对应于控制按钮5的检测区域相对应的检测器175生成，同样地，检测信号B[9]由检测器179、检测信号B[13]由检测器1713生成。并且，[]内的数字是按钮号码，是对应的控制按钮的号码。该检测信号相当于图12A所示的检测信号。图15A还在图的左侧示出了表示控制按钮5、9、13与手的关系的图。

控制按钮5、9、13在菜单画面中按照该顺序从上朝下地配置，用户3的手相对于显示装置21的画面从下朝上地升起，因此用户3的手从位于最下侧的控制按钮13开始按控制按钮9、5的顺序伸出。由此，输出来自对应于控制按钮13的检测器1713的检测信号B[13]，如图15A所示地对应于控制按钮13的检测信号B[13]的累积值最先超过阈值。接着，对应于控制按钮9的检测信号B[9]、对应于控制按钮5的检测信号B[5]的累积值超过阈值。

在此，将与对应于控制按钮n的检测区域相对应的检测器17n作为控制按钮n的检测器n，而且将来自检测器17n的检测信号B[n]作为对应于控制按钮n的检测信号B[n]。

图15B是表示对应于控制按钮5、9、13的各激活标志F[5]、F[9]、F[13]的图。激活标志F[i]是如图12D所示地基于检测信号B[i]得到的，若在时间方向上累积了检测信号B[i]的累积值超过阈值，则激活标志F[i]成为1(高电平)。图15B同时还表示控制按钮5、9、13的颜色变化。当激活标志成低电平时，用白色表示控制按钮，成高电平时，用斜线表示控制按钮。控制信息判断器18根据激活标志F[i]来改变控制按钮的颜色。

如图15B所示，激活标志F[i]也按照F[13]、F[9]、F[5]的顺序从低电平上升为高电平。

如果手如图14A所示地在指尖接触到控制按钮5的位置停止，则如图15B所示3个激活标志F[5]、F[9]、F[13]同时成为高电平。此时，产生不能确定用户3选择了哪个控制按钮、即希望的控制是哪个的问题。

但在本实施方式中，在希望的控制按钮上进行2次弯曲手指的动作，从而确定与控制按钮对应的控制。因此，即使多个激活标志成为高电平，执行其中的与最终确定的控制按钮相对应的控制即可。如图15A所示，与控制按钮5、9对应的各检测信号B[5]、B[9]都表示2次弯曲手指，但是，在此其振幅大小不同，所以能够确定与控制按钮5对应的控制。

图16表示本实施方式的第一动作检测器181的方框图，由于第二动作检测器182～第五动作检测器185也是相同的结构，所以在这里不特别说明。

第一动作检测器181具备与对应于16个各控制按钮的检测区域相对应的激活按钮检测器101～116、动作内容评价器201～216和动作内容判断器301～316。第一动作检测器181利用软件实现。

激活按钮检测器101～116检测是否将手伸在对应的控制按钮1～16的检测区域上，当检测出伸出了手时，将激活标志设为“1”(高电平)。

激活按钮检测器101～116的输入是表示图12A所示的手的区域的检测信号B[i](i＝1～16)，激活按钮检测器101～116根据各检测信号，在图12C所示的积分值成为阈值TH1以上时使图12D所示的激活标志F[i](i＝1～16)成为高电平。激活标志被输出到动作动作内容评价器201～216。

动作内容评价器201～216若检测到来自对应的激活按钮检测器101～116的激活标志F[i]是高电平，则进行图12E所示的相关计算。动作内容评价器201～216输出表示相关计算值的信号。

动作内容判断器301～316根据对应的动作内容评价器201～216的输出信号，判断2次弯曲手指的动作是否妥当，在妥当的情况下，输出表示确定与控制按钮对应的控制的确定标志D[1]～D[16]。动作内容判断器301～316判断图12E所示的波形是否超过了阈值TH4，进行引导到确定的处理。各确定标志D[1]～D[16]被输入到后级的图6所示的控制信息发生器186。

控制信息发生器186根据确定标志，输出用于进行与控制按钮对应的控制的控制信号。

《第一实施方式》

如前所述，图15A所示的检测信号B[5]、B[9]的振幅的大小不同，因此，能够确定对应于控制按钮5的控制，但是，也可以想到在对应于多个控制按钮的检测信号中其振幅相同的情况。该情况下，有可能同时将2个控制按钮引导到确定。

下面，说明在手伸在多个控制按钮上时选择用户3作为目标的控制按钮的选择动作的第一实施方式。

图17A同图14A一样地表示将手伸在控制按钮5上的状态，手伸在控制按钮5、9、13上。

图17B表示利用本实施方式的方法被激活的控制按钮5。

在本实施方式中，优先使放置了手的多个控制按钮中的、在操作菜单画面上配置在最上方的控制按钮(这里是控制按钮5)激活。这是因为，在本实施方式中通过进行在控制按钮上弯曲手指的动作来确定控制，所以指尖所在的控制按钮是重要的。

但是，这只不过是看电视接收机1的姿势为坐着或站着的情况，以如图17A所示地指尖位于手或手掌的上方作为条件。再者，关于左右，没有特别决定优先顺序的理由，但如果激活的控制按钮是一个，则必须决定为某一个。

此外，在本实施方式中，按照对控制按钮付与的号码从小到大的顺序决定了优先顺序。如各图那样，对控制按钮付与的号码从画面的上方到下方、而且从左侧到右侧号码变大。按照该控制按钮的号码的大小关系考虑优先顺序。

图18表示本实施方式的第一动作检测器181的方框图。在本实施方式中，第一动作检测器181～第五动作检测器185是相同的结构，因此不特别说明第二动作检测器182～第五动作检测器185。

如图18所示，第一动作检测器181具备激活按钮检测器91、按钮选择器92、动作内容评价器93和动作内容判断器94。激活按钮检测器91输入与16个全部控制按钮对应的检测信号B[1]～B[16]。激活按钮检测器91基于检测信号B[i]检测被放置了手的控制按钮，向按钮选择器92输出检测出放置了手的控制按钮的号码(在此是1～16中的某一个)。此外，激活按钮检测器91基于检测信号B[i]生成激活标志F[i]。激活标志F[i]输出到后级的动作内容评价器93和动作内容判断器94。

动作内容评价器93是与先前说明的动作内容评价器201～216相同的结构，动作内容判断器94是与先前说明的动作内容判断器301～316相同的结构。动作内容判断器94向图6所示的控制信息发生器186输出确定标志D[i](i＝1～16)。

并且，当检测出手伸在多个控制按钮上的情况下，向按钮选择器92输出优先顺序高的控制按钮的号码。

按钮选择器92输入与16个全部控制按钮对应的检测信号B[1]～B[16]。按钮选择器92根据从激活按钮选择器91输入的按钮号码，选择从对应按钮号码的控制按钮输出的检测信号。

动作内容评价器93和动作内容判断器94根据与如图12所示在设置了激活标志F[i]的期间被选择的控制按钮相对应的检测信号B[i]，评价并判断动作内容。

图19是表示在激活按钮检测器91中检测放置了手的控制按钮的流程的图。

向激活按钮检测器91输入与16个全部控制按钮对应的检测信号B[1]～B[16]。在步骤S11，激活按钮检测器91在时间方向上对各检测信号B[1]～B[16]进行累积计算，计算出各累积值。

在本实施方式中，在对象特征数据检测部32以后传输在每一个垂直周期变换的数据，该数据成为图12A所示的波形并输入到控制信息判断器18，因此，在步骤S11，在1个垂直周期期间使用例如1阶的循环型滤波器进行上述的累积计算。

接着，在步骤S12，激活按钮检测器91比较各累积值和预定的阈值，生成对于阈值以上的累积值设定了值“1”(高电平)、对于小于阈值的累积值设定了值“0”(低电平)的激活标志F[1]～F[16]。

然后，在步骤S13，激活按钮检测器91从激活标志F[1]～F[16]中选择表示值“1”的激活标志中的、具有最小的按钮号码的激活标志，取得该按钮号码(要素号码)。在步骤S14，激活按钮检测器91将具有最小按钮号码的激活标志F[i]以外设为值“0”，只将具有选择的最小按钮号码的激活标志F[i]设为“1”，输出给动作内容评价器93和动作内容判断器94。而且，向按钮选择器92输出所选择的标志的按钮号码。

按钮选择器92从输入的各检测信号B[1]～B[16]中选择具有输入的按钮号码的检测信号，并且输出给动作内容评价器93。

说明图17所示情况下的激活按钮检测器91的动作。与控制按钮5、9、13对应的检测信号B[5]、B[9]、B[13]的累积值是阈值以上，所以激活按钮检测器91生成值“1”的标志F[5]、F[9]、F[13]。其余的标志生成为“0”。

从值为“1”的标志F[5]、F[9]、F[13]中，激活按钮检测器91选择按钮号码最小的标志F[5]，将其余的F[9]、F[13]变更为值“0”。激活按钮检测器91向动作内容评价器93和动作内容判断器94输出标志F[5]，向按钮选择器92输出按钮号码“5”。

按钮选择器92从输入的各检测信号B[1]～B[16]中选择B[5]，输出给动作内容评价器93。

图20A与图15A一样地表示检测信号B[5]、B[9]、B[13]的时序变化，该检测信号B[5]、B[9]、B[13]表示放置了手的控制按钮5、9、13的各检测区域中的手的区域。该检测信号相当于图12A所示的检测信号。并且，在图20A中，同时在附图左侧示出了表示控制按钮5、9、13和手的关系的图。

图20B是表示与控制按钮5、9、13对应的各激活标志F[5]、F[9]、F[13]的图。图20B同时表示控制按钮5、9、13的颜色变化。激活标志为低电平时，用白色表示控制按钮，在高电平时，附加斜线表示控制按钮。

如前所述，手相对于显示装置21的画面从下向上地升起，所以从控制按钮13开始按照控制按钮9、5的顺序放置，图20A与图15A同样，首先，从控制按钮13的检测器1713来的检测信号B[13]的累积值最先超过阈值，接着，控制按钮9的检测信号B[9]和控制按钮5的检测信号B[5]的累积值超过阈值。

图20B与图15B不同，首先，基于检测信号B[13]的激活标志F[13]首次成为高电平，但如果激活标志F[9]成为高电平，则激活标志F[13]成为低电平。同样地，接着若激活标志F[5]成为高电平，则激活标志F[9]成为低电平。因此，只有激活标志F[5]成为高电平。

在本实施方式中，如前所述地只有一个激活标志F[i]成为高电平。此外，成为高电平的激活标志F[i]具有最小的按钮号码。

当伸在控制按钮5上的手离开时，手从控制按钮5开始依次向控制按钮9、13移动。因此，激活按钮F[5]、F[9]、F[13]依次成为高电平。

在此，如图20B所示地示出了激活标志的变迁。但是，实际上用户3将对应控制按钮5的控制作为目标，所以在控制按钮5上进行2次弯曲手的动作。如果对应控制按钮5的控制内容被引导到确定，则包含激活标志F[5]的所有激活标志被复位而返回到初始状态。

《第二实施方式》

接着，说明第二实施方式的选择控制按钮的选择动作。在此如图21所示，考虑不仅将手伸在包括作为目标的控制按钮5的多个控制按钮上，还将用户3的脸伸在多个控制按钮上的情况。

对象抽取器30为了根据特定的颜色、灰度和动作抽取对象物，与手同样地抽取出脸等。因此，如果是第一实施方式，成为高电平的激活标志[i]中只有按钮号码最小的成为高电平，所以如图21B所示，控制按钮3的激活标志F[3]成为高电平。从图21A可知，这是由于用户3的脸伸在控制按钮上所产生的，与要控制的内容对应的控制按钮的激活标志不成为高电平。

因此，即使用伸在控制按钮5上的手进行点击动作，也难以确定控制内容。

在第二实施方式中，将配置在菜单画面上的多个控制按钮分割为多个区段。然后，在各区段设置一个激活标志。图22A、22B表示将画面左右分割的2个区段。

图22A表示在区段内使控制按钮的号码连续地配置了控制按钮的第一实施例，图22B表示用区段分割如前所示配置的控制按钮的第二实施例。

图22A所示的第一实施例中，第一区段101具备控制按钮1～8，第二区段102具备控制按钮9～16。图22B所示的第二实施例中，第一区段103具备控制按钮1、2、5、6、9、10、13、14，第二区段104具备控制按钮3、4、7、8、11、12、15、16。

在第一实施例及第二实施例中，在各区段内将小号码的控制按钮配置在画面的上侧，这是考虑了如前所述地手指尖较多地放在画面的上方而做出的。控制按钮的排列是从左侧向右侧号码变大，从上侧向下侧号码变大。因此，在各区段中具有最小的按钮号码的控制按钮，配置在区段的左侧上方。

控制按钮在每个区段中号码也可以从1开始。该情况下，基于控制按钮号码和区段号码进行控制即可。

接着，在第二实施方式中，研讨如图23A所示地将手和用户3的脸伸在包含作为目标的控制按钮5的多个控制按钮上时的控制按钮的选择。控制按钮的排列和区段的分割与图22A所示的第一实施例相同。

在第一区段101中，控制按钮3的激活标志F[3]成为高电平，在第二区段102中，控制按钮9的激活标志F[9]成为高电平。图23B表示控制按钮3、9被按下那样地改变图象的图。

在控制按钮3中，由于进行手的弯曲动作，能够确定与控制按钮3对应的控制，但用户3的脸伸在控制按钮9上，所以不能检测出确定对应于控制按钮9的控制的动作。因此，即使2个按钮的激活标志F[3]、F[9]成为高电平，也能够进行希望的控制。

图24是表示本实施方式的第一动作检测器181的方框图。第二动作检测器182～第五动作检测器185也是与第一动作检测器181相同的结构，所以在此不特别说明。

如图24所示，第一动作检测器181具备第一激活按钮检测器911、第二激活按钮检测器912、第一按钮选择器921、第二按钮选择器922、第一动作内容评价器931、第二动作内容评价器932、第一动作内容判断器941、第二动作内容判断器942。第二实施方式的第一动作检测器181具备将与多个区段对应的激活按钮检测器、按钮选择器、动作内容评价器和动作内容判断器作为一组的多个检测部。

在此，第一动作检测器181与第一实施例的控制按钮的排列相对应，所以具备与2个区段101、102对应的2组检测部。第一检测部具备第一激活按钮检测器911、第一按钮选择器921、第一动作内容评价器931和第一动作内容判断器941，第二检测部具备第二激活按钮检测器912、第二按钮选择器922、第二动作内容评价器932和第二动作内容判断器942。

第一激活按钮检测器911输入与存在于第一区段101中的控制按钮1～8对应的检测信号B[1]～B[8]。第一激活按钮检测器911具有与激活按钮检测器91相同的结构，根据检测信号B[i]，检测放置了手的控制按钮并输出控制按钮号码(在此是1～8中的某一个)，生成各激活标志F[i]。控制按钮号码向第一按钮选择器921输出，激活标志F[i]向后极的第一动作内容评价器931和第一动作内容判断器941输出。

动作内容评价器931与前面说明的动作内容评价器201～216相同，动作内容判断器941与前面说明的动作内容判断器301～316相同。

第一按钮选择器921输入与8个控制按钮对应的检测信号B[1]～B[8]。第一按钮选择器921根据从第一激活按钮检测器911输入的按钮号码，选择从对应于按钮号码的控制按钮的检测器输出的检测信号B[i]。

第一动作内容评价器931和第一动作内容判断器941根据与在设置了激活标志F[i]的期间选择的控制按钮相对应的检测信号B[i]，评价并判断动作内容。

第二激活按钮检测器912输入与存在于第二区段102的控制按钮9～16对应的检测信号B[9]～B[16]。第二激活按钮检测器912根据检测信号B[i]检测出放置了手的控制按钮并输出控制按钮号码(在此是9～16中的某一个)，生成各激活标志F[i]。控制按钮号码向第二按钮选择器922输出，激活标志F[i]向后级的第二动作内容评价器932和第二动作内容判断器942输出。

动作内容评价器932与前面说明的动作内容评价器201～216相同，动作内容判断器942与前面说明的动作内容判断器301～316相同。

第二按钮选择器922输入与8个控制按钮对应的检测信号B[9]～B[16]。第二按钮选择器922根据从第二激活按钮选择器912输入的按钮号码，选择从对应按钮号码的控制按钮输出的检测信号B[i]。

第二动作内容评价器932和第二动作内容判断器942根据与在设置了激活标志F[i]的期间所选择的控制按钮相对应的检测信号B[i]，评价并判断动作内容。

用软件处理的情况下，各区段的动作检测器在C语言中成为函数，调用与分割为区段的数量相当的函数。并且，将按区段单位不同的控制按钮数和控制按钮的开始号码等作为变量传递过去。图24的结构是以硬件表现的，处理规模变大，用软件处理的情况下，只要总的控制按钮数相同，即使分割成区段其处理规模与不分割时几乎相同。

图25表示区段分割的其它实施例。图25A是将排列成4行4列的16个控制按钮进行四分割，使纵向的列成为一个区段的第三实施例。从画面的左侧向着右侧分割为第一区段105、第二区段106、第三区段107、第四区段108。控制按钮排列成从上向着下方、从左侧向着右侧号码依次变大。

图25B表示将16个控制按钮分割为6个区段111～116的第四实施例。画面最左侧的第一区段111具备在画面左侧纵向排列的4个控制按钮1～4，最右侧的第六区段116具备在画面右侧纵向排列的4个控制按钮13～16。位于画面中央的第二区段112～第五区段115分别具备其余8个控制按钮5～12中的各2个。

区段化可以从一个控制按钮起进行多种多样的分配。在本发明的实施方式中，在纵向上分割区段，按照被分配的号码对区段内的控制按钮赋予优先顺序，就可以避免操作上的问题。对应于多样的操作画面适当地进行区段分割，能够提高使用方便性，并且能够以区段为单位设定多样的操作功能。

在以上说明的本发明的第二实施方式中具有以下特征。通过使控制按钮具有优先顺序，利用弯曲2次手指的动作(空间点击)操作的控制按钮成为一个。并且，通过进行区段化，能够避免激活状态转移到手以外的物体上而不能操作的问题。再者，动作内容评价器被分配在各区段中，用变量控制各个区段，由此能够使点击次数不同等提供不同的操作内容。共用功能块来实现多样的操作方法的优点是很大的，不必加大处理规模就能够实现。

并且，本发明并不限定于以上的实施方式，例如说明了控制按钮号码小的控制按钮，具有较高的优先顺序，但也可以优先按钮号码大的控制按钮，并且在此基础上进行画面内的配置，也能够得到同样的效果。此外，在上述实施方式中，说明了对控制按钮进行空间点击的是用户的手指，但本发明不限于此，例如，即使是模仿了手的棒、发光的物体等特定的对象物，也可以用其前端部进行空间点击的操作。再者，说明了为了识别控制按钮(操作按钮)而附加了连续的号码，但是也可以附加连续的标记(例如字母等)进行识别。进一步，本发明也可以适用于电视接收机1以外的其它具有显示装置的电子设备。

Claims (10)

1.一种电子设备的控制装置，该电子设备具有显示装置，其特征在于，该控制装置具备：

摄像机，对位于上述显示装置的前面的操作者进行摄影；

镜像变换器，对由上述摄像机摄影的图像进行镜像变换，输出镜像变换图像信号；

操作用图像生成器，生成与包含被附加了优先顺序的多个操作检测区域的操作用图像相对应的操作用图像信号；

混合器，混合上述镜像变换图像信号和上述操作用图像信号，生成混合图像信号；

检测器，从被显示在上述显示装置上的上述混合图像信号的图象中的上述多个操作检测区域中，检测出显示在上述图像上的、被判断为操作者指示的操作检测区域，在该检测出的操作检测区域有多个的情况下，检测出该多个操作检测区域中的、在上述显示装置中显示在最上方的位置上的一个上述操作检测区域，作为操作对象区域，在该检测出的操作检测区域为一个的情况下，将该操作检测区域作为操作对象区域；以及

控制部，检测上述操作者是否操作了上述操作对象区域，当检测出上述操作者已操作的情况下，进行与上述操作对象区域对应的上述电子设备的控制动作。

2.一种电子设备的控制装置，该电子设备具有显示装置，其特征在于，该控制装置具备：

摄像机，对位于上述显示装置的前面的操作者进行摄影；

镜像变换器，对由上述摄像机摄影的图像进行镜像变换，输出镜像变换图像信号；

操作用图像生成器，生成与在上述显示装置的显示画面中形成各分割区域的操作用图像相对应的操作用图像信号，上述各分割区域分别包含被附加了优先顺序的多个操作检测区域；

混合器，混合上述镜像变换图像信号和上述操作用图像信号，生成混合图像信号；

检测器，在被显示在上述显示装置上的上述混合图像信号的图象中的上述各个分割区域，从包含在该分割区域内的上述多个操作检测区域中，检测出显示在上述图像上的、被判断为操作者指示的操作检测区域，在该检测出的操作检测区域有多个的情况下，检测出该多个操作检测区域中的上述优先顺序最高的一个操作检测区域，作为操作对象区域，在该检测出的操作检测区域为一个的情况下，将该操作检测区域作为操作对象区域；以及

控制部，对于在每个上述分割区域检测出的每个上述操作对象区域，检测上述操作者是否进行了操作，当检测出上述操作者已操作的情况下，进行与检测出该操作的操作对象区域对应的上述电子设备的控制动作。

3.如权利要求1或2所述的电子设备的控制装置，其特征在于，

上述检测器具备特定色滤波器，为了检测出指示了上述操作检测区域的上述操作者的手，上述特定色滤波器从上述镜像变换图像信号中抽取特定色的区域。

4.如权利要求3所述的电子设备的控制装置，其特征在于，

上述检测器具备：灰度限定器，从上述镜像变换图像信号中抽取预定的灰度范围；以及合成器，将由上述特定色滤波器抽取的特定色的区域、且由上述灰度限定器抽取的预定的灰度范围内，作为表示上述操作者的手的区域抽取。

5.如权利要求4所述的电子设备的控制装置，其特征在于，

上述检测器具备选通器，上述选通器将上述镜像变换图像信号中的、由上述合成器抽取的表示上述操作者的手的区域以外，替换为特定的亮度或颜色。

6.一种电子设备的控制方法，上述电子设备具有显示装置，其特征在于，该控制方法包括：

摄影步骤，对位于上述显示装置的前面的操作者进行摄影；

镜像变换步骤，对在上述摄影步骤摄影的图像进行镜像变换，输出镜像变换图像信号；

操作用图像生成步骤，生成与包含被附加了优先顺序的多个操作检测区域的操作用图像相对应的操作用图像信号；

混合步骤，混合上述镜像变换图像信号和上述操作用图像信号，生成混合图像信号；

检测步骤，在将由上述混合步骤生成的上述混合图像信号显示在上述显示装置的画面上的状态下，检测出显示在上述画面上的、被判断为操作者指示的操作检测区域，在该检测出的操作检测区域有多个的情况下，检测出该多个操作检测区域中、在上述显示装置中显示在最上方的位置上的一个上述操作检测区域，作为操作对象区域，在该检测出的操作检测区域为一个的情况下，将该操作检测区域作为操作对象区域；以及

控制步骤，在由上述检测步骤检测出指示了某一个上述操作检测区域的状态下，当检测出上述操作者已操作的情况下，进行与上述操作对象区域对应的上述电子设备的控制动作。

7.一种电子设备的控制方法，上述电子设备具有显示装置，其特征在于，该控制方法包括：

摄影步骤，对位于上述显示装置的前面的操作者进行摄影；

镜像变换步骤，对在上述摄影步骤摄影的图像进行镜像变换，输出镜像变换图像信号；

操作用图像生成步骤，生成与在上述显示装置的显示画面中形成各分割区域的操作用图像相对应的操作用图像信号，上述各分割区域分别包含被附加了优先顺序的多个操作检测区域；

混合步骤，混合上述镜像变换图像信号和上述操作用图像信号，生成混合图像信号；

检测步骤，在将由上述混合步骤生成的上述混合图像信号显示在上述显示装置的画面上的状态下，检测出显示在上述画面上的、被判断为操作者指示的上述分割区域内的操作检测区域，在该检测出的操作检测区域有多个的情况下，检测出该多个操作检测区域中的上述优先顺序最高的一个操作检测区域，作为操作对象区域，在该检测出的操作检测区域为一个的情况下，将该操作检测区域作为操作对象区域；以及

控制步骤，对于在每个上述分割区域检测出的每个上述操作对象区域，检测上述操作者是否进行了操作，当检测出上述操作者已操作的情况下，进行与检测出该操作的操作对象区域对应的上述电子设备的控制动作。

8.如权利要求6或7所述的电子设备的控制方法，其特征在于，

上述检测步骤为了检测出指示了上述操作检测区域的上述操作者的手，从上述镜像变换图像信号中抽取特定色的区域。

9.如权利要求8所述的电子设备的控制方法，其特征在于，

上述检测步骤包括：灰度限定步骤，从上述镜像变换图像信号中抽取预定的灰度范围；以及合成步骤，将上述抽取的特定色的区域、且在上述灰度限定步骤抽取的预定的灰度范围内，作为表示上述操作者的手的区域抽取。

10.如权利要求9所述的电子设备的控制方法，其特征在于，

将上述镜像变换图像信号中的、在上述合成步骤抽取的表示上述操作者的手的区域以外，替换为特定的亮度或颜色。

Images