CN1867039A - 电子设备 - Google Patents

Abstract

本发明提供一种可以兼顾对于电子设备的遥控操作的灵活性和方便性，同时即使在暗室中也可进行遥控操作，可以进一步提高方便性的电子设备。摄像机(2)拍摄操作者(3)的图像。镜像变换所拍摄的图像。混合包含操作按钮的操作用图像和镜像变换后的操作者的图像，并显示在电视接收机1的画面上。在所显示的画面上，操作者(3)使用具有发光部的通用遥控器(401)选择预定操作按钮，来进行操作。电视接收机(1)内的检测部检测出操作了其中一个操作按钮的情况，电视接收机(1)执行对应于所操作的操作按钮的控制动作。

Description

电子设备

技术领域

本发明涉及例如电视接收机和个人计算机那样的具有显示装置的电子设备，尤其涉及改进了电子设备中的遥控操作的方法的电子设备。

背景技术

20世纪80年代红外线遥控器(下面称为遥控器)附属于以电视接收机为代表的家电设备，可手动控制的用户接口广泛普及，而使家电产品的使用方式大大改变。当前该操作方式还是主流，遥控器以通过按下一个键(按钮)来执行一个功能的构造为基础，例如，在电视接收机中，“电源”、“频道”、“音量”、“输入切换”等的键相当于此，是对电视接收机来说很方便的遥控操作方法。

但是，最近开始的数字广播为了选择希望的菜单画面，几次按下遥控器的“上”“下”“左”“右”或“确定”键，麻烦且很难使用。另外，由于EPG(电子节目指南)从矩阵状配置的引导画面选择希望的位置后按下键，所以有相同的问题。

专利文献1中为了解决这种问题，提出了如下的控制装置，即该控制装置将通过鼠标或与其类似的位置指定操作装置得到的位置指定信息编码为作为键按下信号的时序图案的键按下时序编码，并将该键按下时序编码发送到电视接收机。

【专利文献1】(日本)特开2003-283866号公报。

专利文献1所示的控制装置通过与个人计算机(PC)的操作类似的指示操作，来遥控操作电视接收机。因此，对于不使用个人计算机的人来说很难使用，从信息读写(literacy)(自由使用信息的能力)的观点来看，原样导入个人计算机的使用方式并不合理。需要适合于需要遥控操作的电视接收机的使用方式的新的操作手段。

进一步，因网络化的发展，可将从屋内的存储媒体和屋外的互联网得到的多种信息显示在电视接收机或个人计算机的显示器上。由于这种网络化的电子设备的操作方式依赖于作为与网络相连的设备的信息源，所以需要对应于多种操作方式，通过附属于家电设备的当前的遥控器不能充分对应。

如上所说明，现有的遥控器中，相对于电视接收机等的功能的多样化和复杂化，遥控器变大。若通过现有的遥控器进行数据广播等的菜单画面的选择操作，则由于作为指示装置的作用更重要，所以现有的遥控器在使用便利性方面困难多。另外，网络化使得经显示装置控制与网络相连的所有设备的功能，存在有遥控器的数目与相连的设备的数目成正比增加的问题。若遥控器的数目增加，则在操作与电视接收机相连的VTR、影碟、其他音频设备等时，产生不能判断哪个遥控器是要操作的相应遥控器的问题。进一步，在互联网中，选择控制各种站点的信息，显然现有的遥控器的方式已经达到了极限。

对此，本申请人着眼于上述方面，提出了兼顾对各种电子设备的灵活性和遥控操作的便利性，同时，不需要手动使用如遥控器这样的遥控操作用设备的电子设备的控制装置。该控制装置通过摄像机拍摄用户的手动作而根据该动作来识别操作内容。但是，在该装置有在暗室中不能发挥功能的问题。

发明内容

本发明着眼于该方面作出，其目的是提供一种兼顾对电子设备的遥控操作的灵活性和方便性，同时还可在暗室中进行遥控操作，可进一步提高便利性的电子设备。

本发明为了解决上述现有技术的问题，提供了一种电子设备，其特征在于，包括：显示装置(23)；摄像机(2)，拍摄位于所述显示装置前面的操作者；镜像变换器(14)，对由所述摄像机拍摄的图像进行镜像变换；操作用图像生成器(16)，生成至少包含一个操作按钮的操作用图像；混合器(17)，混合所述镜像变换了的图像的图像信号和所述操作用图像的图像信号；检测器(31～34，110～116，110’、120～123)，在使通过所述混合器混合后的图像显示在所述显示装置的画面上的状态下，对在所述画面上显示的操作者使用具有发光部的手持控制设备进行的、选择所述操作按钮的预定选择动作进行检测；控制器(20)，进行与由所述检测器检测出所述预定选择动作的操作按钮对应的控制动作。

这里，所述手持控制设备的所述发光部最好所述手持控制设备的所述发光部具有发出N色光的发光单元，所述手持控制设备具有与所述N色对应的N个颜色选择按钮，N是2以上的整数；所述检测器具有识别所述N色颜色的识别单元；所述控制器进行与由所述检测器的所述识别单元识别出的颜色对应的控制动作。

另外，所述手持控制设备最好具有：操作按钮，用于使所述发光部动作，以使与所述预定选择动作对应的光发光；红外线发光单元，将表示所述预定选择动作的选择确定的红外线信息进行发光输出；所述发光部和所述红外线发光单元根据所述操作按钮的操作状态而动作；所述电子设备具有检测出红外线信息的红外线检测器；所述控制器根据所述红外线检测器检测出的、表示所述选择确定的红外线信息，确定由所述检测器检测出的所述预定选择动作，进行所述控制动作。

进一步，所述手持控制设备最好具有自发光单元，以与M个的空间频域对应的发光图案进行发光，M是1以上的整数；M个频域选择按钮，对应于与所述M个空间频域对应的发光图案；所述检测器具有识别单元，该识别单元识别与所述M个空间频域对应的发光图案；所述控制器进行与由所述检测器的所述识别单元识别出的空间频域对应的控制动作。

另外，所述手持控制设备最好具有：自发光单元，以与M个的空间频域对应的发光图案发出N色光，M是1以上的整数，N是1以上的整数；M×N个频域·颜色选择按钮，以所述M个发光图案与N色发光对应；所述检测器具有识别单元，该识别单元识别所述M×N种的发光状态；所述控制器进行与由所述检测器的所述识别单元识别出的发光状态对应的控制动作。

发明效果

根据本发明的电子设备，可以兼顾对于电子设备的遥控操作的灵活性和方便性，即使在暗室中也可进行遥控操作，可以进一步提高方便性。另外，通过使用颜色选择按钮，使得使用手持控制器的电子设备的操作更加简便，可以提高操作性。进一步，若兼用从红外线发光单元检测出红外线信息的检测器，可以使操作者选择的控制动作更可靠且可以在短时间内确定。

进一步，通过使用预定频域的发光图案，可以使手持控制设备的操作更加简单，可以使操作性提高，且可以使操作者选择的控制动作更加可靠。另外，通过使发光图案和发光颜色组合，可以使可用手持控制设备操作的操作内容大幅度增加，可提高操作性。

附图说明

图1是用于说明本发明的电子设备操作方法的概要的图；

图2是表示本发明的各实施方式的电子设备(电视接收机)的主要部分的结构的框图；

图3是表示操作者的图像和操作用图像的图；

图4是用于说明混合了操作者的图像和操作用图像的状态的图；

图5是用于说明图2所示的检测器和显示装置的画面上的检测区域的对应的图；

图6是表示图2所示的检测器的结构的框图；

图7是表示图6所示的对象提取器的结构的框图；

图8是用于说明由对象提取器提取的对象物的色相和饱和度的图；

图9是根据色差信号算出色相的处理的流程图；

图10是表示由对象提取器提取的对象物的亮度信号电平的图；

图11是表示手放在画面上的操作按钮的状态的图；

图12是表示在画面上的操作按钮上弯曲手指的状态的图；

图13是两次进行弯曲手指的动作的情况下的手在画面上的投影面积的变化的时序图；

图14是表示操作按钮和手图像重合的状态的图；

图15是表示第一实施方式中所用的通用遥控器的结构例的图；

图16是用于说明使用了通用遥控器的操作的概要的图；

图17是用于说明通用遥控器的发光元件的发光内容的时序图；

图18是用于说明颜色区域滤波器的通过区域的一例的色差平面图；

图19是用于说明颜色区域滤波器的通过区域的另一例的色差平面图；

图20是表示颜色识别对象提取器的结构的框图；

图21是表示包含颜色识别对象提取器的检测器的结构的图；

图22是用于说明应用颜色识别功能的通用遥控器的操作概要的图；

图23是用于说明电视接收机的画面上的按钮、通用遥控器的按钮和检测器的关系的图；

图24是用于说明通用遥控器的另一应用例的图；

图25是表示图13所示的时刻T0、T1、T3、T5、T6中的亮度的频度分布和平均亮度灰度(APL)的图；

图26是表示图13所示的时刻T2、T4中的亮度的频度分布和平均亮度灰度(APL)的图；

图27是用于说明图2所示的控制信息判断器(CPU)的动作的功能框图；

图28是表示基于BT601标准的亮度信号振幅值的图；

图29是说明用于确定选择操作按钮的动作的数据处理的时序图；

图30是表示用于去除DC成分的数字滤波器的结构的框图；

图31是用于说明图30所示的数字滤波器的具体结构和处理波形的关系的图；

图32是表示与预定选择动作的彼此相关计算值的推移的时序图；

图33是表示第二实施方式中所用的通用遥控器的结构例的图；

图34是用于说明现有的红外线遥控器的操作的图；

图35是用于说明第二实施方式中所用的通用遥控器的操作的图；

图36是表示红外线遥控控制码的内容的图；

图37是用于说明操作了第二实施方式中所用的通用遥控器的情况下的处理的第一时序图；

图38是用于说明操作了第二实施方式中所用的通用遥控器的情况下的处理的第二时序图；

图39是表示第三实施方式中所用的通用遥控器的结构例的图；

图40是用于说明第三实施方式中所用的通用遥控器的发光元件的发光内容的时序图；

图41是说明第三实施方式中所用的通用遥控器的发光元件的发光内容的时序图；

图42是说明第三实施方式中所用的通用遥控器的发光元件的发光内容的时序图；

图43是表示图像的相关映射的图；

图44是表示第三实施方式中所用的通用遥控器的位置、摄像信号的波形与空间频率的关系的图；

图45是表示进行了纵条发光的情况下的通用遥控器的倾斜和空间频率的关系的图；

图46是表示进行了横条发光的情况下的通用遥控器的倾斜和空间频率的关系的图；

图47是表示进行了方格发光的情况下的通用遥控器和空间频率的关系的图；

图48是表示水平方向通过域90度扇形滤波器的设计例的图；

图49是表示垂直方向通过域90度扇形滤波器的设计例的图；

图50是表示频率识别对象提取器的结构的框图；

图51是表示包含频率识别对象提取器的检测器的结构的框图；

图52是用于说明第三实施方式中所用的通用遥控器的操作的概要的图；

图53是用于说明电视接收机的画面上的按钮、第三实施方式中所用的通用遥控器的按钮和检测器的关系的图；

图54是表示低通滤波器的设计例的图；

图55是表示水平高通滤波器的设计例的图；

图56是表示垂直高通滤波器的设计例的图；

图57是表示频率和颜色识别对象提取器的结构的框图；

图58是表示包含频率和颜色识别对象提取器的检测器的结构的框图；

图59是用于说明电视接收机的画面上的按钮、第四实施方式中所用的通用遥控器的按钮和检测器的关系的图；

图60是分配给第四实施方式中所用的通用遥控器按钮的频率和颜色的组合的表。

具体实施方式

<第一实施方式>

下面，参照附图来说明本发明的第一实施方式。

图1是用于说明现有的遥控器装置的操作方式和本发明的操作方式的不同点的图。在用户(操作者)3操作电视接收机1的情况下，现有技术中用户3手持遥控器装置4朝向电视接收机1按下使希望的功能工作的键，从而进行操作。

与此相对，第一实施方式中，在电视接收机1上设置摄像机2，通过摄像机2来拍摄用户3，从摄像机2的图像中得到用户3的动作，进行电视接收机1和与此相关的设备的操作。所谓用户3的动作，具体的是指从在电视接收机1上显示的菜单画面中选择希望的按钮的身体(手、脚、脸等)的动作。第一实施方式中，如后所述，采用了由最实用的手的动作来操作的方法。另外，在电视接收机1的周围暗时，通过使用具有自发光功能的遥控操作用设备(手持控制设备)，得到与手的动作相同的效果。后面详细描述遥控操作用设备。

图2是表示电视接收机1的结构的框图，电视接收机1包括基准同步发生器11、定时脉冲发生器12、图形生成器16、摄像机2、镜像变换器14、缩放器(スケ一ラ)15、第一混合器17、象素数转换器21、第二混合器22、显示装置23、检测部19、红外线检测器24、控制信息判断器(CPU)20。

基准同步发生器11根据所输入的同步信息，产生作为电视接收机1的基准的水平周期脉冲和垂直周期脉冲。这里，同步信号是输入到象素数转换器21的视频信号的水平和垂直同步信号。在电视广播接收时或从外部设备输入了视频信号的情况下，基准同步发生器11生成与该输入视频信号的同步信号同步的脉冲。定时脉冲发生器12生成具有图2所示的各块需要的水平方向和垂直方向的任意的相位和幅度的脉冲。摄像机2如图1所示，位于电视接收机1的前面，拍摄用户3或电视接收机1前方的视频。摄像机2的输出信号是亮度(Y)信号和色差(R-Y、B-Y)信号，与从基准同步发生器11输出的水平周期脉冲和垂直周期脉冲同步。另外，在第一实施方式中，设通过摄像机2拍摄的图像的象素数与显示装置23的象素数一致。另外，在象素数不一致的情况下，也可插入象素数转换器。

镜像变换器14在显示装置23上如同镜子那样左右翻转显示由摄像机23拍摄的被摄体像。因此，在显示文字的情况下，如同镜子那样进行左右反转。在第一实施方式中，通过利用存储器使水平方向的图像反转的方法，进行镜像变换。在使用阴极射线管(CRT(Cathode Ray Tube))来作为显示装置23的情况下，也可通过反向操作水平偏转，来得到相同的效果。这时，需要预先沿水平方向左右反转图形或其他混合侧的图像。

缩放器15调整通过摄像机2拍摄的被摄体像的大小，并通过控制信息判断器20的控制来二维调整放大率和缩小率。另外，还可进行水平和垂直的相位调整，而不进行放大缩小。

图形生成器16展开从控制信息判断器20传送的菜单画面，即使存储器上的信号以R(红色)信号、G(绿色)信号、B(蓝色)信号的基色信号来展开，后级中与视频信号合成或混合的输出信号也为Y(亮度)信号和色差信号(R-Y、B-Y)。并不限定生成的图形的平面数，第一实施方式中也可以是一个平面。使得构成菜单画面的图形的象素数在第一实施方式中与显示装置23的象素数一致。在不一致的情况下，也可插入象素数转换器使其一致。

第一混合器17利用控制值α1控制混合比例来混合图形生成器16的输出信号Gs和缩放器15的输出信号S1。具体地，通过下述式来表示输出信号M1o。

M1o＝α1·S1+(1-α1)·Gs

将控制值α1设置为“0”到“1”之间的值，若增大控制值α1，则缩放器输出信号S1的比例增大，图形生成器16的输出信号Gs的比例减小。作为混合器的例子并不限于此，在第一实施方式中，若所输入的两个系统的信号信息进入，则也可得到相同的效果。

检测部19具有第一检测器31、第二检测器32、第三检测器33和第四检测器34、...。检测部19中包含的检测器不特定数目，其与表示控制内容的按钮的数目相对应地改变，所述控制内容与由图形生成器16生成的菜单图像协作。另外，所谓按钮相当于在个人计算机中通过鼠标点击操作的操作按钮。

控制信息判断部20进行从检测部19输出的数据的分析，而输出各种控制信号。控制信息判断部20是根据所输入的数据控制各部分的控制器。控制信息判断器20通过软件来进行各种处理，后面详细描述算法。第一实施方式中，虽然混合了硬件(各功能块)的处理和软件(控制信息判断器20的CPU)的处理，但是怎样使用硬件和软件都可以，而不限定于尤其是这里表示的区分。

象素数转换器21进行象素数转换，用于使输入的视频信号的象素数与显示装置23的象素数匹配。输入视频信号是由省略了图示的内置的调谐器接收的电视信号(包含数据广播等)的视频信号或录像机(VTR)输入等从电视接收机1的外部输入的视频信号。这里省略了图示，但是从输入视频信号中提取水平和垂直同步信号，并通过基准同步发生器11使各部分与输入视频信号的水平和垂直同步信号同步。

第二混合器22具有与第一混合器17相同的功能。即，以控制值α2控制混合比例来混合第一混合器17的输出信号M1o和象素数转换器21的输出信号S2。具体地，用下述式来表示输出信号M2o。

M2o＝α2·M1o+(1-α2)·S2

控制值α2设置为“0”到“1”之间的值，若增大控制值α2，则第一混合器输出信号M1o的比例增大，象素数转换器21的输出信号S2的比例减小。作为混合器的例子并不限于此，第一实施方式中若输入两个系统的信号信息，则得到相同的效果。

显示装置23假定了CRT、液晶显示器(LCD)、等离子显示器(PDP)或投影显示器等，但是并不限定显示器的显示方式。显示装置23的输入信号是亮度信号Y、色差信号R-Y和B-Y，在显示装置23的内部矩阵转换为RGB基色信号后进行显示。

红外线检测器24通过红外线遥控器的受光部读取来自红外线遥控器的控制信息，并将读取的信息输出到控制信息判断部20中。在控制信息判断部20中，包含来自红外线遥控器的信息和从检测部19供给的信息来确定控制信息(用户3进行的操作内容)。

与用户3的动作一起来说明如上构成的电视接收机1的动作。图3表示图形图像41，镜像变换摄像机图像、并通过缩放使象素数与图形图像41一致的缩放器15的输出图像(下面为缩放输出图像)43。用第一混合器17混合对应于该两个图像41和43的信号。图形图像41形成用于控制的菜单画面，矩形状的框42表示按钮(操作按钮)。另一缩放输出图像43是拍摄用户3、并如同镜子那样显示的图像。缩放输出图像43的由虚线所示的框44表示由多个检测器31～34等构成的、用检测部19检测出的检测区域，配置在与图形图像41上的按钮42相同的位置上。

图4是用于说明第一混合器17中的混合处理用的图。图4(A)表示用图形生成器16生成的控制菜单画面，包含按钮(1-1)～(1-8)。图4(B)是用摄像机2拍摄用户3的已经过镜像变换和缩放处理后的画面，包含对应于检测部19的各检测器的检测区域(2-1)～(2-8)。通过第一混合器17，以与控制值α1对应的混合比例来混合图4(A)和(B)所示的画面的画面表示在图4(C)。另外，图4(C)中表示的用户3的图像实际上与图4(B)所示的图像相比，根据控制值α1降低了亮度和对比度。

这样，在显示装置23上如同镜子那样显示用户3的图像，并且，还叠加控制菜单画面来进行显示。由此，用户3可以识别自己的动作和控制菜单(按钮(1-1)～(1-8))的位置。通过用户3看画面，使手(身体)运动，而使其接触画面上的按钮(1-1)～(1-8)，由此来进行电视接收机1的控制。这里，虽然表现为接触按钮(1-1)～(1-8)，但是用户3实际上没有接触画面，而是手放在相当于按钮(1-1)～(1-8)的位置上，在显示装置23上显示的用户3的视频接触按钮(1-1)～(1-8)。换言之，通过用户3看画面来动作，使得手位于按钮(1-1)～(1-8)上，由此来进行电视接收机1的控制。

并且，若检测出与放了手的按钮(1-1)～(1-8)对应地设置的检测区域(2-1)～(2-8)内的手，则可以识别按下了该按钮(1-1)～(1-8)。因此，可以从控制信息判断器20输出相当于该按钮的控制内容的控制信号。这时，最好使操作菜单画面的按钮的形状或颜色改变，以在画面上表示识别出动作的情况。例如，改变图像显示为按压了按钮。

图5表示在来自摄像机2的图像上设置的检测区域(2-1)～(2-8)和检测部19的检测器31～34的对应关系，进一步表示确定检测区域(2-1)～(2-8)内的，检测区域(2-1)和(2-8)的水平和垂直的定时脉冲。

各检测器31～34如图6所示，包括：对象提取器51、定时选通(gate)器52和对象特征数据检测器53。定时选通器52利用图5所示的定时脉冲来控制来自摄像机2的图像信号的通过。通过的区域是图5中虚线框所示的检测区域(2-1)～(2-8)内。对在该检测区域(2-1)～(2-8)内限定的信号实施各种滤波处理，来提取由摄像机2拍摄的用户3的手图像。

对象提取器51具有与图像的特征对应的滤波器，在第一实施方式中为了检测出用户3的手，尤其进行着眼于肤色的滤波处理。具体而言，对象提取器51，如图7所示，具有特定色过滤器71、灰度限定器72、合成器73和对象选通器74。参考图8来说明特定色过滤器71。在图8的色差平面图上，使纵轴为R-Y、横轴为B-Y。电视信号的所有的颜色信号可以由该坐标上的矢量来表示，可以用极坐标来评价。特定色过滤器71限定通过色差信号输入的颜色信号的色相和颜色的浓度(饱和度)。为了进行特定，色相以第一象限的B-Y轴为基准(0度)，用左转的角度表现。另外，饱和度是矢量的标量(scalar)，色差平面的原点是饱和度为0、为没有颜色的状态，表示随着离开原点，饱和度变大，颜色变浓。

图8中，将由特定色过滤器71提取的范围设置为比与等色相线L1对应的角度θ1小且比与等色相线L2对应的角度θ2大的范围，另外，将颜色的浓度设置为比等饱和度线S2小且比S1大的范围。第二象限的该范围相当于第一实施方式中提取的作为人的手颜色的肤色区域，但是提取的颜色区域并不限于此。特定色过滤器71检测出从摄像机2输出的色差信号(R-Y、B-Y)是否进入到由等色相线和等饱和度线包围的区域内。因此，根据色差信号算出角度和饱和度来进行判断。

作为角度运算的一例，通过图9所示的处理，对各个输入象素，计算出在图8所示的色差平面上形成的角度。图9通过流程图来图示角度运算处理，但是角度运算处理也可通过软件、硬件的其中之一来实现。在第一实施方式中，用硬件来实现。图9表示用硬件进行的角度运算处理的顺序。在图9的步骤S401中，从各个输入象素的色差信号R-Y、B-Y成分的码中检测出输入象素的色相位于色差平面上的第几象限上。在步骤S402中，将色差信号R-Y、B-Y成分中各自的绝对值大的作为A算出，将小的作为B算出。

并且，在步骤S403，根据B/A检测出角度T1。从步骤S402的处理可以看出，该角度T1为0～45度。角度T1可以通过折线近似或ROM表格来算出。在步骤S404中，判断A是否为|R-Y|，即是否|R-Y|＞|B-Y|。若不是|R-Y|＞|B-Y|，则直接进入到步骤S406。若是|R-Y|＞|B-Y|，则在步骤S405中，将角度T1置换为(90-T1)。由此，求出tan-1((R-Y)/(B-Y))。

在步骤S403中检测出的角度T1为0～45度是因为若tan-1((R-Y)/(B-Y))的曲线超过45度，则梯度急剧变大，不适合于角度的运算。

此外，在步骤S406中，使用在步骤S401检测出的象限的数据来判断是否为第二象限，若是第二象限，则在步骤S407中，算出T＝180-T1。若不是第二象限，则在步骤S408中，判断是否是第三象限，若是第三象限，在步骤S409中，算出T＝180+T1。若不是第三象限，则在步骤S410中，判断是否是第四象限，若是第四象限，算出T＝360-T1。在不是第四象限，即是第一象限时，将角度T设为T1(步骤S412)。并且，最终，在步骤S413中，输出输入象素各自在图8的色差平面上所成的角度T。

通过以上的处理，可以在0～360的范围内求出所输入的色差信号R-Y、B-Y在色差平面上的角度。步骤S404～S411是将步骤S403中检测出的角度T1校正为角度T的处理。另外，步骤S404～S411根据第一～第四象限来校正角度T1。

接着，通过下式来进行作为颜色的浓度的饱和度的运算。

Vc＝sqrt(Cr×Cr+Cb×Cb)

其中，Cr如图8所示，是颜色信号的(R-Y)轴成分，Cb是(B-Y)轴成分。另外，sqrt()是进行平方根运算的运算符。

这里的处理并不特定软件或硬件，但是由于乘法和平方根不容易由硬件实现，另外，通过软件来运算的步骤也多，所以如下来近似求出。

Vc＝max(|Cr|，|Cb|)+0.4×min(|Cr|，|Cb|)

其中，max(|Cr|，|Cb|)是在|Cr|和|Cb|中选择大的一个的运算处理，min(|Cr|，|Cb|)是在|Cr|和|Cb|中选择小的一个的运算处理。另外，Vc是矢量的标量，这里表示饱和度。

评价如上求出的角度(色相)T和饱和度Vc是否进入到等色相线的角度θ1到θ2的范围，颜色的浓度进入到比等饱和度线S2小且比S1大的范围。使进入范围的信号通过是图7所示的特定色过滤器71的任务。

图7的灰度限定器72如图10所示，限定亮度信号的特定灰度。在8比特数字信号的情况下，具有0～255的256个灰度，设定限定该范围的灰度的最大电平Lmax和最小电平Lmin，并输出电平处于其间的亮度信号。

合成器73合成从特定色过滤器71和灰度限定器72输入的信号后转换为区域脉冲。即，在存在(AND)通过了特定色过滤器71的信号和通过了灰度限定器72的信号两者的情况下，输出成为高电平的脉冲。

将由合成器73生成的区域脉冲供给对象选通器74。对象选通器74在区域脉冲为高电平时，使亮度信号和色差信号通过。在区域脉冲外的范围(区域脉冲为低电平时)，即不使输入信号通过的情况下，输出规定值的信号。第一实施方式中，在不通过的范围中，输出黑电平的亮度信号和饱和度为0的色差信号。

该对象提取器51的动作进一步利用亮度信号电平对由特定色过滤器71限定了颜色信号的色相(角度)和饱和度的颜色。通过由特定色过滤器71限定色相和饱和度，可以缩小为人的肤色。但是，人的肤色因日照情况而变化，另外因人种而不同。虽然对于肤色而言也各种各样，但是若通过输入到特定色过滤器71的控制信号，来调整色相、饱和度、亮度信号的灰度限定范围，则可以大致检测出人的手。若适当调整色相、饱和度、灰度，则通过使参数最佳化，可以区分人的手和手之外的范围。

图11(A)和图12(A)表示对从摄像机2输入的图像设置了由虚线表示的检测区域(2-1)～(2-8)的情况。第一实施方式中，若用户3将手放在与显示装置23上显示的按钮(1-1)～(1-8)对应的检测区域(2-1)～(2-8)，则将该动作判断为控制信息。图11(B)和图12(B)表示该手的动作。图11(B)表示伸手指放在与按钮(1-8)对应的检测区域(2-8)上的状态，图12(B)表示弯手指的状态。第一实施方式中，通过两次重复弯曲该手指的动作而识别出按下了(操作了)按钮(1-1)～(1-8)。识别出按下了按钮(1-1)～(1-8)的也可以设定为仅放了手，也可以设定为弯曲动作为1次或3次以上，适当设置就可以。

接着，参考图13(A)、(B)随时间轴来说明手的动作。设从伸开手的状态到弯曲的状态的经过时间为Tm。图13(A)、(B)中为了使说明容易明白，作为动作的最小单位，将时间划分为T0、T1、...T6。下面随时间经过来进行说明。在图13(B)的左端部示意性图示了按钮(1-1)～(1-8)或检测区域(2-1)和(2-8)的一部分。

在时刻T-1，表示不存在手的状态，在时刻T0，表示了将手放在希望的按钮上的状态，从时刻T1开始将手保持最低Tm期间，在时刻T2，表示了弯曲手指的状态，在时刻T3，表示了从弯曲手指的状态到伸开手指的状态。在时刻T4，表示了再次弯曲手指的状态，在时刻T5，表示再次伸开弯曲的手指的状态，从时刻T6开始将伸手指的状态保持最低Tm期间，在时刻T7，示出不存在手的情况。

以上是按钮(1-1)～(1-8)上的手的动作。图13(A)的波形图表示在图13(B)中模型化描绘的按钮上的手伸开的投影面积的变化。通过分析该波形可以确定手的动作。

图14表示与对象提取器51的输出信号对应的图像。通过对象提取器51的信号被定时选通器52限定按钮(1-1)～(1-8)的区域，而忽略除此之外的区域。在定时选通器52内，由特定色过滤器71来特定颜色，这里仅手的肤色的区域通过，另外，还由灰度限定器72来限定灰度，仅所限定的区域通过，除此之外的区域为黑色(亮度信号·颜色信号同时为0)。因此，如图14所示，手指之外如阴影所示，为黑色。图14(A)表示伸开手指放着的状态，图14(B)表示弯曲手指的状态。这里将肤色区域之外的区域设置为黑色是为了提高后级的检测部19中的检测精度。

从该图14中进一步检测出图像的特征。图6所示的对象特征数据检测器53具有从图像中检测出各种特征的功能块，即，直方图检测器61、平均亮度(APL)检测器62、高频域频度检测器63、最小值检测器64和最大值检测器65。除此之外虽然存在图像中有特征的要件，但是在第一实施方式中，通过这些内容来判断为是手，并且识别其动作。另外，最好具有所有直方图检测器61～最大值检测器65，但是由于例如可仅通过直方图检测器61来识别手的动作，所以可以至少具有直方图检测器61。

这些检测器61～65在第一实施方式中由硬件构成，以画面为单位(场和帧单位：垂直同步单位)来生成画面上的检测区域(2-1)～(2-8)内的各特征，并经CPU总线送到控制信息判断器20。控制信息判断器20在软件上将由检测器61～65生成的数据存储为变量，并进行后述的数据处理。

直方图检测器61将亮度信号的灰度划分为例如8个阶梯(step)，来计数在各阶梯中存在的象素数目，并按每个画面(场或帧画面)将各阶梯的频度值输出到控制信息判断器20中。APL检测器62同样相加一个画面内的亮度灰度，并将用象素数除后的一个画面的平均亮度值输出到控制信息判断器20。高频域频度检测器63用空间滤波器(二维滤波器)提取高频成分，并以一个画面为单位将该高频成分的频度输出到控制信息判断器20。最小值检测器64将一个画面的亮度信号的最小灰度值输出到控制信息判断器20，最大值检测器65将一个画面内的亮度信号的最大灰度值输出到控制信息判断器20。

控制信息判断器20将所接收的数据存储为变量，并用软件来处理数据。这些之后为检测手动作的处理，但是在第一实施方式中之后为基于后述的软件的处理。

但是，在设置了电视接收机1的房间暗的状态，即在暗室状态下，有来自摄像机2的视频不鲜明、用户3的手动作的识别困难的问题。因此，在第一实施方式中，为了在使用民用电视接收机的各种环境下可以可靠进行遥控操作，而使用通用遥控器。该通用遥控器是：解决了暗室状态下的问题，并且具有可以用于对应于网络化的所有设备的操作的通用性的遥控器，且与用户3的手动作有替代性，并进一步通过扩展功能，使用便利性好、对各种设备具有操作的灵活性的新概念的遥控器。

图15(A)～(E)表示在第一实施方式中使用的通用遥控器401的结构例。图15(A)是表示面向操作通用遥控器401的用户3的表面的俯视图，图15(B)是侧视图。通用遥控器401由主体301和可开合的盖302构成。图15(A)、(B)表示盖302关闭的状态，图15(B)的虚线表示盖302打开的状态。盖302在关闭的状态下露出的面上具有矩形的发光部303和位于发光部303的四角的圆形发光部304。主体301上设置了无彩色或特定色的按钮(下面称作“特定色按钮”)310、着色为红色的R按钮311、着色为绿色的G按钮312、着色为蓝色的B按钮313、着色为青色的C按钮314、着色为品红色的M按钮315和着色为黄色的Y按钮316。在打开盖302时露出特定色按钮31。将311～316称作颜色选择按钮。

图15(C)是打开盖的状态的俯视图，表示面向用户3的面。图15(D)是从背面看打开了盖子的状态的俯视图，表示发光部303和304位于背面的状态。图15(E)是打开了盖子的状态的侧视图，为盖子带小角度的状态。图15(E)表示的箭头示意性地表示发光部303和304输出的光。将该通用遥控器401的发光部303、304面向电视接收机1的方向，通过按下按钮310～316来发光，由此代替手动作，用摄像机2拍摄发光部303、304，由此识别操作内容。

使用图16来说明通用遥控器401的操作。另外，图16中按钮为3行×3列的9个。通用遥控器401使发光部303的发光状态变化而代替手动作，以使其波形与通过手的动作由检测部19检测出的波形相同。用户3使在画面上显示的通用遥控器401的位置在图形上描绘的按钮上移动，接着按下通用遥控器401的预定按钮，使电视接收机1执行赋予按钮的功能。

由此，可以与手的动作有替换性地通过遥控器进行操作，且由于通用遥控器401自发光，所以也可在接近于暗室的状态下。通过使发光部303、304发光，即使通用遥控器401移动也可识别通用遥控器401的位置。也可不设置发光部304，而在发光部303上，使用用于电视画面等的显示元件作为发光元件而仅使发光部303的周围发光。另外，在下面的说明中，将菜单画面的按钮称作画面按钮，将通用遥控器401的按钮称作遥控器按钮来进行区分。

接着，说明发光部303的亮灯内容。

图17(A)是与图13(A)所示的波形图相同的波形图，表示手的动作的投影面积的变化，即图6的APL检测器62的检测结果。图17(B)、(C)、(D)的纵轴表示画面的垂直方向，横轴表示时间的经过。另外，矩形框的图形以发光部303的发光部分的形状为基础来进行描述，表示发光内容随时间经过变化的情况。该图17中，交叉阴影表示最低的亮度，阴影表示中间的亮度。另外，每次重新描绘矩形图形的每个时间变化，为了容易理解，沿垂直方向上稍微偏移一些来进行描绘。实际上在操作通用遥控器401的情况，可以允许这种程度的偏移。

图17(B)表示通过使发光部303的发光区域的面积变化，图6的直方图检测器61和APL检测器62的检测结果为图17(A)的波形那样的情况。图17(C)表示通过使发光部303的整体发光，使灰度变化，从而使平均亮度检测结果成为如图17(A)的波形的情况。图17(D)表示通过使发光部303的发光强度变化，平均亮度检测结果成为如图17(A)的波形的情况。

用于发光部303的发光元件是可以使发光面积变化，或使发光强度(亮度)变化的元件，可以使用电灯泡、发光二极管(LED)、LCD、场致发光元件(EL)等各种发光元件或蓄光涂料等的蓄光材料。通过使具有与此相同的发光功能的便携电话或便携信息终端(PDA：PersonalDigital Assistants)的显示装置也具有输出与图17(A)的波形对应的光的功能，可以起到通用遥控器401的作用。这样，即使通用遥控器401是操作电视接收机1的专用的遥控器，也可与如便携电话那样的其他装置兼用。另外，由于使发光面积或发光强度变化的发光元件本身可以通过公知的技术实现，所以对通用遥控器401中的用于使发光面积或发光强度变化的具体结构，省略说明。

接着，说明增加通用遥控器401的发光色的种类、并根据用户3选择的发光色的不同来控制画面按钮的方法。该方法调整仅使图7的色差平面上的特定区域的颜色通过的特定色过滤器71的等色相线，使用分别对应于通用遥控器401的不同发光色的特征色滤波器，检测出用户3选择的通用遥控器401的发光色是什么颜色。第一实施方式中，通用遥控器401的发光色为肤色和下面的6种颜色，但是并不限于该6色。

图18是色差平面图，是将360度平面等间隔分割为6个颜色区域的例子，第一～第六的颜色区域分别对应于蓝色、品红色、红色、黄色、绿色、青色。图19是将第一到第六的各个颜色区域的幅度变窄的图。若使发光部303进行任意颜色的发光，则通用遥控器401可以使所决定的颜色准确发光，这样，可以使滤波器71的通过区域的设置相当窄。可以考虑基于外光的影响的误检测的可能性而以最佳的幅度来设置区域。

图20是表示发展了图7的对象提取部51的、具有颜色识别功能的对象提取器51-N的结构的框图。将图7所示的对象提取器51的特定色过滤器71改变为第N颜色区域过滤器71-N，并进一步追加第N颜色区域频度运算器75。将第N颜色区域过滤器71-N设定为对应于图19所示的6个颜色区域的第N颜色区域。因此，N是1到6的整数，按颜色区域类存在6个对象提取器51-N。

第N颜色区域频度运算器75在第N颜色区域过滤器的输出为1时，或不是二值的情况下，在为特定值以上时，使计数器(图中未示)进行递增计算，来输出输入了第N颜色区域的色差信号的频度。频度用于判断后级的处理中通用遥控器401发出的色是什么色。所输入的亮度信号和色差信号通过合成器73的输出，由对象选通器74来进行选通。合成器73逻辑合成第N颜色区域过滤器71-N和灰度限定器72的输出，这里的处理在第一实施方式中通过1、0的二值来进行。代替此，可根据颜色饱和度或亮度灰度，通过合成器73加减乘除具有几比特的灰度的信号，并在对象选通器74中根据合成器73的输出的灰度来进行选通。

图21是表示可进行颜色识别的检测器110的结构的框图。该检测器110使图6所示的检测器31～34的结构发展为可识别颜色的结构，具有第一～第六的颜色识别对象提取器51-1～51-6、定时选通器52-1～52-6、对象特征数据检测器53-1～53-6和颜色识别检测器54。

将分别对应于6个不同颜色区域的第N颜色识别对象提取器51-N(N：1～6)内的对象选通器74的输出输入到定时选通器52-N(N：1～6)，将第N颜色区域频度运算器75-N(N：1～6)的输出输入到颜色识别检测器54。颜色识别检测器54算出各(第N)颜色区域的频度的最大值。这是因为通用遥控器401使画面按钮发光的颜色为最高频度的颜色。颜色识别检测器54经CPU总线将表示输出最大值的颜色区域的值传送到控制信息判断器20中。从颜色识别检测器54向控制信息判断器20供给的表示颜色区域的值为在控制信息判断器20中判断哪个颜色有效的信息，换而言之，是表示哪个画面按钮有效，应控制的内容是什么的信息。

由于6个定时选通器52-N在同一画面按钮区域进行颜色区域识别，所以在同一定时中进行选通处理。将选通后的信号输出到按每个颜色区域设置的对象特征数据检测器53-N(N：1～6)，并经CPU总线将直方图等的数据传送到控制信息判断器20中。由于控制信息判断器20可以根据颜色识别检测器54输入的信息判断哪个颜色区域有效，所以将一个有效区域的数据从对象特征数据检测器53-N供给在控制信息判断器20内设置的后述的比例补偿器221～225和动作检测器201～205。

接着，说明怎样处理由颜色识别对象提取器51-N的第N颜色区域频度运算器75-N算出的各区域的频度。

图22与图16同样，是说明用户3的操作的图，在图形上描绘的菜单画面由一个无彩色按钮110B和分为6色的6个颜色按钮，即红按钮111B、绿按钮112B、蓝按钮113B、青按钮114B、黄按钮115、品红按钮116B构成的方面不同。

通用遥控器401的按钮上没有记载如通常的遥控器那样的表示按钮的功能的标记文字，例如，“电源”、“频道”、“音量”、“输入切换”等。将用于选择这种操作的标记文字记载在画面的图形菜单上的6个按钮111B～116B上，用户3看这些来选择希望的画面上的按钮。

这里，用户3在操作画面上的6个颜色按钮111B～116B的情况下，使在画面上显示的图15的通用遥控器401移动到希望按钮上之后按下特定色按钮310。图22所示的箭头Y11表示该操作。也可在画面上的颜色按钮111B～116B上记载按钮的功能，用户3确认该功能后使通用遥控器401移动到希望的按钮上并按下特定色按钮310即可。这时，由于通过颜色按钮111B～116B，按每个功能来分配颜色，所以在操作颜色按钮111B～116B的其中之一的情况下，也可仅按下特定色按钮310。

作为其他方法，也可将颜色按钮111B～116B仅设定为说明每个颜色的功能的信息，将选择各个功能用的按钮设定为画面的左下的无彩色按钮110B。在操作无彩色按钮110B的情况下，使在画面上显示的图15的通用遥控器401移动到无彩色按钮110B上，并按下通用遥控器401上的6色颜色选择按钮311～316中之一。图22所示的箭头Y12表示其操作。这时，由于按下的按钮仅是无彩色按钮110B，所以电视接收机1必需判断选择了对应于哪个颜色的功能。因此，按下通用遥控器401中的6色颜色选择按钮311～316中之一。

通用遥控器401发出的光是处于图18的6种颜色和无彩色或特定色(这里是与手相同的肤色)。如上所述，对于画面上的6个颜色按钮11B～116B，通过特定色按钮310的按下来选择希望的功能，对于无彩色按钮110B，通过通用遥控器401的6个颜色选择按钮311～316的按下来选择希望的功能。

以上两种操作的不同点是选择画面上的按钮或选择通用遥控器401的按钮，适当区分使用就可以了。另外，在使用颜色按钮111B～116B来选择功能的情况下，由于无彩色按钮110B不是必需，所以可以删除。

随图23所示的第一应用例，来说明怎样由检测器19检测出该用户3的两种选择操作。图23(A)表示混合了电视接收机1的菜单和摄像机系统信号的画面。图23(B)是表示通用遥控器401的按钮内容。图23(C)表示对应于在图23(A)上描述的菜单画面的检测部19和控制信息判断器20。这里的检测部19代替图2的检测器31～34，具有检测器110～116。

图23(A)中的菜单画面的内容与图22相同，表示了表示6个颜色区域的画面上的颜色按钮111B～116B和无彩色按钮110B。为了容易理解，在图23(A)的无彩色按钮110B和6个颜色按钮111B～116B上添加与图23(C)的检测器110～116对应的符号110B～116B。另外，图23(B)上表示了通用遥控器401的各按钮和对应的检测器的号码，进一步，表示了图23(A)的画面按钮110B～116B和检测器110～116的号码的对应关系。

图23(C)所示的第一检测器110对应于图23(A)的无彩色按钮110B。如前所述，无彩色按钮110B通过通用遥控器401的6个颜色选择按钮311～316的其中之一来操作。由于检测器110通过摄像机2来接收基于6种颜色的信息，所以检测器110需要识别颜色。因此，检测器110是可进行图2的颜色判断的具有颜色识别对象提取器51-N的可识别颜色的检测器。因此，从检测器110中得到来自图21中的颜色识别检测器54的检测输出和来自对象特征数据检测器53-N的输出。另一方面，由于与颜色按钮111B～116B对应地设置的检测器111～116可以通过画面位置来进行6种控制的判断，所以也可具有与图7相同的对象提取器51。但是，特定色过滤器71也对应于无彩色。

具有颜色识别对象提取器51-N的检测器110通过定时选通器52-N仅使画面按钮的位置的范围的光通过，并将该范围的直方图、APL、高频度检测、最小值、最大值等的数据传送到控制信息判断器20中。在检测器110中，根据来自颜色识别对象提取器51-N信号，从图21所示的颜色识别检测器54的将哪个颜色有效的信息传送到控制信息判断器20。控制信息判断器20评价来自有效的颜色区域的对象特征数据检测器53-N的数据，并检测出通用遥控器401进行的操作。

图24是用于说明颜色识别的通用遥控器401的第二应用例的图。图24(A)表示电视接收机1的画面，在为了说明而添加的虚线的下侧，将摄像机系统信号与图形的菜单画面混合显示。在位于虚线上侧的部分显示了图形的图像或根据情况在图形画面的背景上混合了广播或电视输入等信号的视频。

虚线上侧的具有6个颜色的标识(Banner)不是如图23(A)所示的画面按钮，而是告知是用于颜色识别的颜色所对应的功能的标识。将该标识称作通用信息。如图24(A)所示，将画面按钮110B1和110B2配置在画面下侧的左右。图24(B)表示了通用遥控器401，图24(C)表示第一检测器110’和控制信息判断器20。与画面按钮110B1和110B2对应的图24(C)的第一检测器110’，具有与图23(C)的第一检测器110相同的功能。将两个定时脉冲输入到第一检测器110’，表示检测器110’动作的相位有画面按钮110B1、110B2的两个位置。第一检测器110’还具有颜色识别对象提取器51-N。

图24所示的通用遥控器401的操作方法如下。用户3看电视接收机1的画面而确认操作信息的“红(R)：1频道、绿(G)：2频道、蓝(B)：3频道、品红(M)：5频道、青(C)：6频道”，将通用遥控器401放在画面按钮110B1、110B2的其中之一上并按下颜色选择按钮311～316中之一，来使发光部303以预定的颜色发光。另外，1频道～6频道的操作信息仅仅是一例。

这样施加了颜色识别操作的通用遥控器401在该第一实施方式中可以通过一个动作来进行6个选择动作。设置两个位置的画面按钮110B1、110B2是因为可以选择用户喜欢容易使用的一个。如图23所示，也可以是一个位置。由于用户使通用遥控器401移动到画面按钮110B1或110B2上就可以了，所以使用较便利。

通用遥控器401将手动选择操作置换为使用了发光部303的选择操作，即向检测部19的输出，输出了与手动作相同的波形。第一实施方式中，表示了：通过使无彩色或肤色这样的特定色的光发光，而得到与手动作相同效果的方式；以及，可通过颜色识别的手动选择操作，来固定放置通用遥控器401的位置的方式两种。这两种方式在通过检测部19的各检测器31～34、110～116、110’的对象提取器51后，可以通过相同的结构来进行处理。

图25和图26是表示直方图检测器61和APL检测器62的输出数据的图。其表示灰度的直方图、平均亮度(APL)，对于APL，用箭头来进行表示，使得感觉上清楚大小。在这些图中，纵轴表示频度，横轴按8个阶梯区分表示灰度(亮度)。情况1和情况2手的亮度不同，情况1是手的亮度的频度集中在特定的灰度(这里是灰度“5”)的情况，情况2是手的亮度的频率跨两个灰度(这里是灰度“5”和“6”)分布的情况。

图25是对应于图13所示的各个时刻T0、T1、T2、T5、T6的直方图，图26是对应于时刻T2和T4的直方图。通过对象提取器51限定为特定色的肤色或无彩色而提取对象(对象物)，并通过具有颜色识别功能的对象提取器51-N限定为6个颜色来提取对象，由于通过特定色过滤器71和第N颜色区域过滤器71-N阻止的部分为黑色，所以将直方图上的频率在黑色的部分(灰度“0”)和限定了灰度的部分(灰度“4”～“7”)分布。

考虑各种根据直方图的数据来判断手(手指)为哪种状态，或通用遥控器401的发光为哪种状态的方法。例如，总计作为限定了灰度的范围的灰度“4”～“7”的频度，而可判断手的动作或通用遥控器401的发光的状态。另外，若比较图25和图26，则可以看出，在伸开手指的状态和弯曲手指的状态下作为黑色的部分的灰度“0”的频度不同。这是因为如从图14看出，对象提取器51、51-N的输出信号中包含的灰度“0”的部分的量不同。因此，还可以仅根据灰度“0”的频度来判断手的动作或通用遥控器401的发光的状态。由于仅基于这种灰度“0”的频度的判断中，简化了控制信息判断器20中的判断动作的处理，所以情况较好。

直方图的总计值的改变为与APL的改变接近的内容，由于仅值的比例不同，所以基于APL的分析可以通过与直方图的分析相同的方法来进行。因此，可以根据APL来判断手的动作或通用遥控器401的发光的状态。为了提高判断的精度，最好使用不同的检测手段来评价判断。还可同样评价来自图6所示的高频域频度检测器63、最小值检测器64、最大值检测器65的检测数据，通过从更多的不同检测数据中进行判断来使判断的精度提高。

高频域频度检测器63检测出手指和背景的黑色的边缘成分的频度，从图14看出，弯曲手指时，边缘成分少，其改变与直方图和APL相同。在上述的例子中离开对象提取范围的部分为黑色，但是还存在这样的情况：根据由摄像机2捕捉的对象物的颜色和灰度，是白色而不是黑色。这种情况下，若使用最小值检测器64和最大值检测器65，则可以使判断的精度提高。

控制信息判断器20中的手动作或通用遥控器401的发光状态的判断，在对象特征数据检测器53、53-N中的其中一个检测项目中算法的基础都相同，根据检测项目，比例不同。将对象特征数据检测器53、53-N的输出经CPU总线传到控制信息判断器20中。控制信息判断器20判断手的动作或通用遥控器401的发光的状态，来输出适当的控制信息。

图27是用于说明控制信息判断器20的动作的功能框图。控制信息判断器20具有选择器230、第一～第五比例补偿器221～225、第一～第五动作检测器201～205和控制信息发生器210。第一～第五比例补偿器221～225和第一～第五的动作检测器201～205如图27所示，分别与对象特征数据检测器53内的直方图检测器61、APL检测器62、高频域频度检测器63、最小值检测器64、最大值检测器65对应地设置。如图27所示，在对象特征数据检测器53是按每个颜色区域设置的对象特征数据检测器53-N的情况下，选择器230从对象特征数据检测器53-N的输出中选择出与希望的颜色区域对应的数据。将从图21的颜色识别检测器54得到的表示颜色区域的数据输入到选择器230中，选择器230根据该数据来选择对象特征数据检测器53-N中之一的输出。

这里，虽然设置6个对象特征数据检测器53-N，在对象特征数据检测器53-N的后级选择对象特征数据检测器53-N的输出，但是还考虑对象特征数据检测器53仅设一个，在对象特征数据检测器53的前级选择颜色区域的结构。若这样，虽然简化了结构，但是需要通过一个画面内的不同的画面按钮使对象特征检测器53的动作不同，变得复杂。因此，在第一实施方式中，设置6个对象特征数据检测器53-N，在控制信息判断器20内选择对象特征数据检测器53-N的输出。

第一～第五比例补偿器221～225根据直方图和APL这样的对象特征数据检测器53-N内的检测器61～65的内容，或在颜色识别的情况下，对每个颜色调整所输入的数据的比例。其起到用于对后级的动作检测器201-205供给一定比例的信号的标准化的作用。这里，对于颜色，在第一～第五比例补偿器221～225中明确决定了校正值。图28(A)表示对于与ITU-RBT601比色法对应的亮度信号的各色的振幅，图28(B)表示基于对于各颜色的振幅的亮度振幅顺序的彩条信号。

从图28中可以看出，由于每个颜色亮度信号振幅不同，所以除了评价直方图和APL信号等之外，需要进行校正。各颜色的亮度振幅的倒数成为振幅值。第一～五的比例补偿器221～225尽量使每个颜色数据的振幅一致，来供给动作检测器201～205。另外，这里在标准的电视广播标准BT601中进行了说明，但是在HDTV(高版本)中是BT709，根据标准，系数值不同，校正值也不同。

动作检测器201～205根据对应的检测器61～65的检测结果，输出检测曲线，并供给控制信息发生器210。控制信息发生器210评价所输入的检测曲线的内容，并输出预定的控制信息。这里的评价通过使用计算机语言的运算符、例如逻辑和、逻辑积、异、＞、＜等来进行，控制信息发生器210根据基于包含这些运算符的运算式的运算结果，输出控制信号。第一实施方式中，在所有的动作检测器201～205的输出的逻辑和、即，至少一个动作检测器输出了检测曲线时，输出控制信息。

详细说明动作检测器201～205。这里说明从直方图的限定范围的灰度中的频度的总计数据检测出动作的情况。图29表示从直方图得到的数据的改变。该图29所示的时刻T0～T6与图13所示的时刻T0～T6对应。图29(A)表示总计直方图的灰度“4”～“6”中的频度后的值的改变，表示手占据的面积或通用遥控器401的发光部303的平均亮度。图29(B)为从图29(A)的波形中去除DC成分(直流)后的成分的波形，在Tm期间中没有变化的情况下，值为0。图29(C)是积分图29(A)的波形后的波形，用箭头表示判断手动作和通用遥控器401的选通脉冲。图29(D)表示通过数字滤波器施加与图29(B)的波形彼此相关，与手动作的相关。图29(C)、(D)表示若用户操作了画面按钮或进行了通用遥控器401的预定的操作时，直到控制信息判断器20确定判断为止的过程。

下面，详细说明图29。图29(A)表示与在图13中与手动作对应地表示的波形相同的波形。尤其省略了对判断没有贡献的部分。这里，将伸开手的状态到弯曲的状态为止所花的期间设作Tm，作为手动作的基准期间(时间间隔)。时刻T0到T1的约Tm期间为放置手的期间，是检测是否激活了该画面按钮的期间。另外，所谓激活画面按钮是指操作了画面按钮(在对应于画面按钮的检测区域上放置手或通用遥控器401)的状态。

时刻T1到T2表示弯曲手指的过程。时刻T2到T3表示伸开手指的过程。时刻T3～T4表示再次弯曲手指的过程。时刻T4～T5表示再次伸开手指的过程。时刻T5～T6表示伸开手指，将伸开后的手指保持约Tm期间的的状态。这一系列的动作与鼠标的双击动作类似，对于人来说可以合理地操作。通用遥控器401使发光元件303发光，使其得到与该手动作完全相同的波形，是与手动作有替换性的输入手段。

图30表示用于从图29(A)的波形中去除DC成分后得到图29(B)的波形的滤波器80的结构例。滤波器80设置在动作检测器201～205上。该滤波器80由使输入信号延迟时间Tm的延迟器81、从延迟器81的输出信号中减去输入信号的减法器82、使信号电平衰减为1/2的衰减器83构成，在Tm期间前后是具有(-1/2，1/2)的抽头系数的高通数字滤波器。Tm期间的延迟用于使手动作的波形通过。数字滤波器的方式尤其不限于此，这里是简单的结构，表示了绝对延迟量小的滤波器。

图31(C)表示用于与图29(B)的波形施加彼此相关而得到图29(D)的波形的彼此相关数字滤波器90。将彼此相关数字滤波器90设置在动作检测器201～205上。图31(A)、(B)与图29(A)、(B)相同。记载为构成彼此相关数字滤波器90的D的块是一个垂直周期的延迟电路，相当于D触发器(下面为DFF)。k0、k1、...k8是彼此相关数字滤波器90的抽头系数。记载为×的块是乘法器，记载为∑的块是进行乘法器的输出的总和运算的运算器。从该运算器中输出彼此相关计算值Y(nτ)。由于作为抽头系数k0、k1、...k8设置了相当于图31(B)的波形的值，所以输入到彼此相关数字滤波器90的波形和图31(B)的波形的一致度越高，从彼此相关数字滤波器90输出的彼此相关计算值Y(nτ)成为越大的值。若两者完全一致，彼此相关计算值Y(nτ)成为最大值。

可以用下面的公式来表示图31所示的数字滤波器的运算处理。图31的构成例中，N是“9”。

【公式1】

$Y\left(\mathrm{n\&tau;}\right)=\underset{i=0}{\overset{N-1}{\mathrm{\&Sigma;}}}x(n+\mathrm{i\&tau;})k\left(\mathrm{i\&tau;}\right)$

描绘图，使其从图的右侧向图31所示的彼此相关数字滤波器90输入图31(B)的波形。这是为了使图31(B)的波形的各值、输入该各个值的DFF和乘法器的对应关系容易理解。由于抽头系数k0、k1、...k8计算要检测的手动作或通用遥控器401的发光内容的相关，所以在要检测的与如上述的双击的动作不同的情况下，也可以为对应于各个动作的抽头系数。另外，若使多个具有彼此不同的多个抽头系数的彼此相关数字滤波器作用，则可以检测出不同的多个动作。

但是，图31的例子中，由于彼此相关数字滤波器90是9抽头，所以取彼此相关的期间为9垂直周期。在1秒有60垂直周期的电视信号的情况下，为约1/7秒。由于实际上在1/7秒期间进行如双击的手动作困难，所以可以进一步增加抽头数使取彼此相关的期间变长。在使用通用遥控器401的情况下，由于可以在比手动作短的时间内进行如双击的手动作，所以不需要进一步增加抽头数。

第一实施方式中，为与图31(B)的波形赋予彼此相关的结构，但是也可使用图31(A)所示的波形。其中，使用图31(B)的情况精度更高。进一步，为了使精度好，也可使用平方了图31(B)的波形后的波形。

回到图29，说明图29(D)的波形901。图29(D)模型化表示从彼此相关数字滤波器90输出的彼此相关计算值Y(nτ)的波形901。随时间行进，根据手动作得到的波形和抽头系数的一致度增加，峰值变大。对图29(D)的波形进行绝对值化来进行积分，表示该积分波形的包络线的波形是波形902。波形902在超过阈值TH4的时刻确定为通过手或通用遥控器401进行了预定的操作。也可为如图32所示，平方波形901来进行积分，并根据表示该积分波形的包络线的波形903来确定手或通用遥控器401的操作的结构。

图29(C)的波形是沿时间轴来积分来自图29(A)的直方图的数据的波形。到时刻T1为止的期间是放置手或通用遥控器401的期间，图29(B)的波形是仅提取图29(A)的波形的高频成分的波形，所以在图29(A)的波形没有变化时，为0。这意味着在放置手或通用遥控器401时为静止状态。当然即使手或通用遥控器401静止也可有一些运动，但是可以忽略一些运动而看作静止。因此，图29(B)的波形在位于阈值TH1a、TH1b之间，且图29(A)的波形在阈值TH0以上时进行积分且积分值In变大时，成为图29(C)，在图29(A)的波形为阈值TH0以下时进行初始化，而变为开始积分的初始状态。若图29(C)所示的积分值In超过阈值TH2，则激活画面按钮。将之前的动作检测区域称作检测区域。也可在图29(B)位于阈值TH1a、TH1b之间时，或图29(A)为阈值TH0以上时算出积分值In。

在图29(C)所示的积分值In超过阈值TH2后，如箭头Y1那样设置具有特定的时间常数的期间，到达其之后的判断区域之前成为激活区域。所谓激活区域还是彼此相关计算的区域。判断区域是根据相关计算的结果，来判断手或通用遥控器401的动作的区域，对彼此相关数字滤波器90的输出进行绝对值化后进行了积分的值(波形902)从超过阈值TH4的时刻开始。图29(C)的阈值TH3是比阈值TH2小的值，将超过了该阈值TH3的用箭头Y2-1表示的期间作为判断区域使用。手指的弯曲动作在最后伸开手指后终止。对于通用遥控器401，使发光部303亮灯，以得到相同的波形。阈值TH3用于确认该最后的动作。去除由箭头Y2-1表示的期间的箭头Y2-2的期间是禁止判断的期间，通过设置该箭头Y2-2的禁止期间，可以避免误识别。并且，动作检测器201～205在箭头Y1、箭头Y2-1、箭头Y3一致的时刻确定为操作了画面按钮。

最好在图29(D)所示的检测区域中，使构成画面按钮的图形的颜色或形状变化，或使发出声音，而使用户3知道达到了检测区域。另外，最好在激活区域的最终时刻或在判断区域中确定了操作的时刻同样使图形的颜色或形状变化，或发出声音，而使用户3识别出确定了操作。最好在达到检测区域的情况和确定了操作的情况下，使图形的颜色和形状或声音不同。由此，用户3可以识别可靠进行了操作，可以避免误操作。

接着，说明阈值TH3、TH4的绝对水平。彼此相关数字滤波器90的输出值根据放手区域的范围大小变化。也可根据到阈值TH2的积分所花的时间Tr，来适当设置阈值TH3。若放手的面积大，则越大，时间越短，相反，在面积小时，时间变长。因此，在时间Tr大时，阈值TH3和TH4变大，在时间Tr小时，阈值TH3和TH4变小。另外，通过校正相关数字滤波器90的增益，与阈值TH3、TH4的调整有相同的效果。这样，通过适当设置阈值TH3、TH4，即使对画面按钮放手的面积有偏差，也可进行正确的识别。对于通用遥控器401全部相同，即使与画面按钮的位置稍微偏移也可吸收该误差。

根据第一实施方式，可以将一般的遥控器具有的“电源”、“频道”、“音量”、“输入切换”、“上”、“下”、“左”、“右”、“确定”等的按钮完全置换为由通用遥控器401操作的画面按钮。在电视接收机1通过网络与其他设备相连，并经电视接收机1操作其他设备的情况下，也可使用与操作其他设备的画面按钮显示在电视接收机1的画面上来操作其他设备。由于可以与其他设备的操作内容对应地设置画面按钮，所以可以操作各种设备。

通用遥控器401是手持操作设备，由于自发光，所以即使设置了电视接收机1的房间是暗室状态，也可操作电视接收机1。若利用颜色识别功能，则将放通用遥控器401的位置固定在特定的位置上，并通过通用遥控器401的颜色按钮来选择功能。

作为本发明的操作对象的电子设备并不限于电视接收机，还可以是个人计算机、电视接收机和影碟录像装置的组合或电视接收机和录像机的组合等具有显示装置的设备。

<第二实施方式>

第二实施方式是可以加快电视接收机1对通用遥控器401的操作的响应速度的实施方式。第二实施方式中，以与第一实施方式的不同点为中心来进行说明，省略共同部分的说明。第二实施方式尤其适用于使用了光量不可变的蓄光材料来作为发光部303的情况。当然，即使在使用了蓄光材料之外的材料来作为发光部303的情况下也可采用。

图33是用于说明混合装载了上述的第一实施方式的通用遥控器401的功能和广泛使用的红外线遥控器的功能的、在第二实施方式中所用的通用遥控器402的图。

图33(A)是通用遥控器402的表面的俯视图，设在中央的按钮320共用用于使通用遥控器402的无彩色或特定色发光的按钮、和现有红外线遥控器的称作“确定”或“OK”的按钮的功能，将该按钮320称作通用确定按钮(操作按钮)来进行说明。

图33(B)是通用遥控器402的背面的俯视图，里面设置了特定色发光部305，在特定色发光部305的附近设置了红外线遥控用的红外线发光部306。特定色发光部305和红外线发光部306构成为特定色的光和红外线可沿同一方向发光。

图33(C)是通用遥控器402的侧视图，假定手持通用遥控器402向电视接收机1的方向放置发光部305、306时的角度，来进行描述。第一发光是来自通用遥控器402的特定色发光部305的光，该发光代替第一实施方式中说明的手动作来使用。第二发光是来自红外线遥控器发光部306的红外线。第一和第二发光通过按下通用确定按钮320，同时或在预定的定时下进行。

为了使第二实施方式的理解变得容易，说明基于当前一般使用的红外线遥控器的操作。图34是说明红外线遥控器的操作方式的图。图34(A)是从正面看电视画面1a的图，显示了菜单画面。描绘了操作用的画面按钮1-1到1-20。用于操作图34(A)中描绘的菜单画面的红外线遥控器的按钮有两种。其中之一表示为图34(B)，“上”、“下”、“左”、“右”、“确定”由分别独立的按钮构成，通过按下各个按钮，在按钮上写着的控制功能的红外线发光。另一个表示为图34(C)，“上”、“下”、“左”、“右”、“确定”的功能由一个按钮构成，通过按压按钮的边缘而使按钮的方向倾斜，使各个“上”、“下”、“左”、“右”的控制功能的红外线发光，通过垂直按压按钮的中央，“确定”的控制功能的红外线发光。

图34(B)、(C)所示的按钮在其按压方法上有所不同，但是在通过用户3选择的红外线的发光来操作菜单画面的方面都相同。在通过这种一般的红外线遥控器来操作图34(A)的画面菜单的情况下，在当前光标的位置位于画面按钮1-1上，想控制的画面按钮是1-13时，例如通过第一箭头和第二箭头所示的路径使光标移动的情况下，按下两次“右”按钮使光标从1-1向1-6移动，从1-6向1-11移动，接着按下两次“下”按钮使光标从1-1向1-12，从1-12向1-13移动。进一步，通过按下“确定”按钮来确定控制。因此，总共按压了5下遥控器按钮。

接着，参考图35，来说明通用遥控器402的操作。图35(A)是从正面看电视画面1a的图，将摄像机2安装在画面的上侧，将红外线遥控器受光部6安装在下侧。这里，在光标位于画面按钮1-1上，选择在画面按钮1-20上记载的功能的情况下，在现有的红外线遥控器中为了进行从画面按钮1-1到画面按钮1-20的光标移动和”确定”，必需按下8次遥控器按钮。

另一方面，在使用通用遥控器402的情况下，用户3仅通过使在画面上显示的通用遥控器402的图像移动到画面按钮1-20上，并按下通用确定按钮320就可以了。另外，402IM表示由摄像机2拍摄的通用遥控器402的图像。由此，如图35(B)所示，在预定的定时下进行通用遥控器402的第一发光和第二发光。后面描述这时的第一发光和第二发光的发光定时。

第一发光是特定色的发光，用于选择在画面按钮1-20上记载的功能。红外线受光部6通过读取由第二发光发送的红外线遥控器的”确定”按钮的码，使确定执行所选择的画面按钮的功能之前的时间为短时间且可靠。

图36是用于说明红外线遥控器发送机的码的内容的图。对于遥控码的格式，有财团法人家电产品协会(Association for Electric HomeAppliances)的称作格式遥控的标准码基准或各制造商定的码标准。这里表示其中的一例来进行说明。

标题是在为了使红外线的接收电路(图2的红外线检测器24)稳定而开始发送时输出，接着，输出由一个字16比特构成的第一码，在第二码之后多次输出相同内容的码。一个字16比特的比特结构由制造码4比特、电视和摄像机的功能码4比特、频道选择等的功能动作码8比特构成。

在上述代码基准的标准中规定了使用了红外线的载波波形和脉冲的“1(Hi)”“0(Lo)”的波形等。接收时需要读取上述的16比特的码的至少2个字的一致，接收所需的最短时间与标题匹配为约94ms(毫秒)。在读取4个字的一致的情况下，接收时间需要约186ms。接收开始到操作确定所需的时间包含对码进行解码的时间，在读取2个字的一致的情况下为约100ms，在读取4个字的一致的情况下为约200ms。

若将从该红外线遥控器的接收到操作确定为止的时间换算为视频信号的垂直周期，则若考虑每秒60场的视频信号，则一垂直周期为16.6ms，所以为6垂直周期到12垂直周期。

图37是用于说明通用遥控器402发光后到操作确定为止的处理的第一时序图。图37(A)表示在时刻ts到te期间按下了通用确定按钮320的情况，在时刻ts中第一发光和第二发光同时开始。图37(B)表示用摄象机2拍摄作为第一发光的特定色的发光，并由检测部19进行特征提取的波形。该波形是与对手的动作进行特征提取的波形相同的波形。

图37(C)示出了表示激活区域的脉冲，在作为检测区域的由第一箭头所示的期间，判断通用遥控器402放在预定的画面按钮上。由此，判断出选择了哪个画面按钮。并且，所选择的画面按钮是如第二箭头所示，仅在特定的期间输出脉冲的激活区域。激活区域是用彼此相关数字滤波器90来评价与基于通用遥控器402的手弯曲动作等效的动作的期间。在激活区域后，在由第三箭头所示的判断区域中确定操作。

图37(D)表示在时刻ts，接收红外线发送部306发光的红外线的码内容后进行解码，并表示确定控制内容之前的期间。如上所述，从遥控码的接收到判断的时间在垂直周期中最短为6周期左右，将该期间描述为脉冲，之后的第四箭头是确定红外线遥控器的操作的红外线遥控确定区域。即使在同时进行第一发光和第二发光的情况下，第一、第二发光的受光后的信息处理过程中也有时间差，所以最终确定控制的时刻是图37(E)、(F)、(G)中之一。

图37(E)所示的例子在位于图37(D)的红外线遥控确定区域，且在图37(C)所示的激活区域的脉冲上升的时刻确定。图37(F)所示的例子在位于红外线遥控器确定区域，且与第二箭头的重叠达到特定期间(例如由第五箭头所示的5个垂直周期)时确定。图37(G)所示的例子在图37(F)中假定确定且评价图37(B)的发光的变化来在第三箭头的开始时刻进行最终确定。

在要求快速响应的情况下，采用图37(E)所示的时刻或将图37(F)的第五箭头的期间设定为较短的时刻，若为更加避免误检测，则只要采用图37(F)所示的时刻即可。另外，也可通过操作内容区分使用三个判断时刻。例如，也可在录像装置的菜单画面中，快速响应再现或暂时停止等的图37(E)、(F)所示的时刻确定，与录像有关的控制在图37(F)所示的时刻确定。若图37(B)所示的Tm为10帧，即约1/6秒，则图37(E)、(F)所示的判断与利用了图37(G)所示的特定色的发光的判断相比，响应快1秒。另外，按下通用确定按钮320后到确定操作为止为约0.4秒。

图38与图37相同，是用于说明通用遥控器402发光后起到操作确定为止的处理的第二时序图。在该图所示的例子中，与图37的情况相比，按下通用确定按钮320的时间较长，另外，第一发光和第二发光的开始时刻不同。图37所示的例子中，认为先传送红外线的”确定”码，之后，通用遥控器402从画面按钮上移动而不能达到激活区域，但是在图38所示的例子中，用户3不但识别出到达激活区域的情况，还可发送红外线遥控器的确定码。

图38(A)表示在由第六箭头所示的时刻ts到te的期间按下了通用确定按钮320的情况。用户3确认在电视画面上显示的通用遥控器402的视频，并按下通用遥控器确定按钮320。首先，在第一发光即特定色的发光开始到按下终止的te期间，特定色的发光持续，而不变化。期间用户3选择进行希望的操作用的画面按钮，而将通用遥控器402的图像重叠到相应的图像按钮上。图38(B)所示的第八箭头的期间相当于该期间。

图38(C)表示第八箭头的期间后，经过预定的时间(第一箭头的期间)后激活所选择的画面按钮的情况，第二箭头的激活区域的起始是脉冲的上升沿。这时由于画面按钮的颜色和形状等变化，所以用户3确认画面按钮的变化而离开所按下的通用确定按钮320。将离开所按下的通用确定按钮320的时刻te设作起始点，第二发光即红外线发光，而送出红外线的”确定”码。

图38(D)表示在时刻te接收红外线发光部306发出的红外线的码内容进行解码，并确定操作之前的红外线遥控确定区域。另外，如图38(B)所示，将时刻te作为起始点，而开始第一发光即特定色的发光变化，并在图38(A)的第七箭头所示的期间通过发光部305进行与手动作的检测结果大致相同的发光变化。

最终确定操作的时刻是图38(E)、(F)、(G)中之一。图38(E)所示的例子为激活所选择的画面按钮(第二箭头)，并将之后发送来的红外线码的解码终止的时刻设为最终操作的确定时刻。

图38(F)所示的例子激活所选择的画面按钮(第二箭头)，并结束之后发送的红外线码的解码，将第五箭头所示的特定的期间(例如5个垂直周期)经过的时间设为最终操作的确定时刻。

图38(G)所示的例子进一步由图38(E)、(F)中之一进行假设确定，评价图38(B)的发光的变化并在第三箭头的开始时刻最终确定。图38(E)、(F)所示的确定时刻比图38(G)所示的确定时刻早。在图37的情况下，有约1秒响应的差，但是在图38的情况下差比其小。

为了实现以上的第二实施方式，图2中，红外线检测器24检测出从通用遥控器402的红外线遥控器发光部306发出的红外线信息。将红外线检测器24的检测输出供给控制信息判断器20。控制信息判断器20通过检测部19检测出通过来自通用遥控器402的特定色发光部305的第一发光选择了预定画面按钮的情况、在从红外线检测器24输入表示画面按钮的选择确定的检测输出的情况下，进行与所选择的画面按钮对应的控制动作。

在图37、图38的情况下，将现有的遥控器的“上”、“下”、“左”、“右”按钮的操作置换为在画面按钮上放置通用遥控器402的操作，所以可以立即选择希望的画面按钮，使用便利性好。例如，在图38的情况下，将第一发光即特定色发光设为到图38(B)的时刻te为止，不进行其之后的发光，该第一发光仅为了画面按钮的选择而使用，并通过由红外线码来进行控制的最终确定，从而可以缩短通用遥控器402的发光时间。在使用蓄光材料来作为通用遥控器402的发光部303的情况下，由于得到相当于双击的波形困难，所以最好构成为通过红外线码来进行控制的最终确定。

根据以上说明的第二实施方式，通过将通用遥控器402的按钮与现有的红外线遥控器的”确定”按钮共用，并在操作确定中利用对确定按钮的红外线码进行解码的结果，从而可以大幅度缩短直到操作确定所需的期间。

<第三实施方式>

第三实施方式中省略与第一实施方式相同部分的说明，并以不同点为中心进行说明。与上述的图1～图32有关的说明还可适用于第三实施方式。

图39(A)～(E)表示第三实施方式的通用遥控器403的方式。图39(A)是表示面向用户3，用户3操作的表面的俯视图，图39(B)是侧视图。通用遥控器403由主体301和可开合的盖302构成。图39(A)、(B)表示盖302关闭的状态，图39(B)表示通过虚线打开盖302的状态。在盖302上，在关闭盖302的状态下露出的面上有矩形的发光部303和位于发光部303的四角的圆形的发光部304。图39(C)是打开盖302的状态的俯视图，表示面向用户3的面。在主体301上设置无彩色或特定色的按钮(下面称作“特定色按钮”)310和频域选择按钮317、318、319。

图39(D)是从背面看打开盖302的状态的俯视图，表示发光部303、304位于背面的状态。图39(E)是打开了盖302的状态的侧视图，盖子302相对于在主体301稍微有角度的状态。图39(E)所示的箭头表示从发光部303、304出射的光。通过使该通用遥控器403的发光部303、304面向电视接收机1的方向，并按下按钮310、317～319而发光，从而代替手动作，通过由摄像机2拍摄发光部303、304，来识别操作内容。

接着，说明发光部303的亮灯内容。

图40(A)是与图13(A)所示的波形图相同的波形图，表示手动作的投影面积的变化、即图6的APL检测器62的检测结果。图40(B)、(C)、(D)纵轴表示画面的垂直方向，横轴表示时间经过。另外，矩形框的图形以发光部303的发光部分的形状为基础进行描绘，表示随时间经过发光内容变化的情况。图40(B)～(D)中，交叉阴影表示完全没有发光的状态，图40(C)的纵方向的粗的阴影表示沿横方向交替排列发光的区域和完全没有发光的区域的状态，图40(D)的横方向的粗阴影表示沿纵方向交替排列发光的区域和完全没有发光的区域的状态。另外，每次叠加描绘矩形图形的每个时间的变化，为了使容易理解，沿垂直方向稍微偏移来进行描述。

图40(B)～(D)的发光通过使发光部303的发光区域的面积完全变化，使得图6的直方图检测器61和APL检测器62的检测结果成为图40(A)的波形。第三实施方式的通用遥控器403使用空间(水平、垂直)频域识别功能，发光部303可以使可在空间频域上识别的发光内容变化。将图40(C)的发光图案称作纵条发光，将图40(D)的发光图案称作横条发光。从空间频域的观点来看，图40(B)的发光在检测的画面按钮的区域中具有频谱集中到频率0的DC(直流)附近的特征，图40(C)的纵条发光具有频谱集中到水平的高频的特征，图40(D)的横条发光具有频谱集中到垂直的高频的特征。

图41表示通过使发光部303的发光的发光强度(亮度)随时间经过变化，图6的直方图检测器61和APL检测器62的检测结果为图41(A)的波形的情况。图41中，交叉阴影表示完全没有发光的状态，右斜阴影表示中间亮度的发光。图41(C)的纵条发光和图41(D)的横条发光与图40(C)、(D)相同。

图42表示发光部303的发光区域为方格状的情况下的发光内容的变化。图42中，交叉阴影也表示完全没有发光的状态，右斜阴影表示中间的亮度。图42(B)的带右斜阴影的部分是中间亮度部分。图42(B)表示发光部303的发光面积随时间变化，图42(C)表示通过发光强度变化，图6的直方图检测器61和APL检测器62的检测结果为图42(A)的波形的情况。图42所示的方格状的发光在空间频域上可以容易地区分为纵条发光和横条发光。以下，将该发光图案称作网格发光。

接着，通过通用遥控器403的不同的发光图案具有的空间频域的不同来说明控制画面按钮的方法。图43是用于说明图像的空间内(水平和垂直)上的相关关系的图。图43(A)是图像的水平方向的波形例，将两个水平周期(行)分为第一行和第二行来进行描述。纵轴表示振幅，对所有幅度(レンジ)，设中央值为0，最大值为+1，最小值为-1。这里相乘相邻象素的振幅而得的值为该图像的水平的相关值。另外，相乘第一行上和第二行上的相同位置的象素振幅的值是垂直的相关值。

图43(B)是描绘图像的空间内的相关值的相关图，横轴表示水平相关值(-1～+1)，纵轴表示垂直相关值(-1～+1)。由摄像机2拍摄的一般的图像的全部水平相关值、垂直相关值的相关性高，包含在图43(B)的区域A中。与此相对，上述的纵条发光具有水平相关值低的特征，其相关值包含在图43(B)的区域B中。另外，上述的横条发光具有垂直相关值低的特征，其相关值包含在图43(B)的区域C中。同样，上述的网格发光都具有水平相关值、垂直相关值低的特征，其相关值包含在图43(B)的区域D中。这样特定的重复图案相对重复的方向没有相关性，在图43(B)所示的相关映射中可以区分各个分布区域与一般的图像分布。

换言之，作为特定图案的发光即纵条发光、横条发光、网格发光在一般图像中存在很少，通过在通用遥控器403的发光中采用纵条发光、横条发光、网格发光，可以减少遥控器操作中的误识别。另外，一般图像的频率频谱有越高频越弱的特征。因此，通过在通用遥控器403的发光中特别使频率频谱的高频成分很强地发光，可以使检测部19中的检测更可靠。

但是，使通用遥控器403的发光部303的发光面积和发光强度变化，或如为如纵条发光、横条发光、网格发光这样的发光图案本身可以通过公知的技术来实现，所以对于这些具体的结构省略说明。

图44表示根据纵条发光的通用遥控器403和具有摄像机2的电视接收机1的位置关系，怎样使由摄像机2拍摄的画面按钮上的信号波形变换的情况。图44(A)表示通用遥控器403位于与电视接收机1较近的距离的位置P1上的状态、和通用遥控器403位于相对电视接收机1比位置P1远的距离的位置P2的状态。

图44(B)所示的波形表示通用遥控器403在位置P1上，由摄像机2拍摄纵条发光的光的信号图案，图44(C)的波形表示通用遥控器403在位置P2上由摄像机2来拍摄纵条发出的光的信号图案。通用遥控器403与摄像机2的距离越远，信号图案的重复周期越短。图44(D)在空间频率平面上模型化表示信号图案的波形。

在纵条发光的情况下，频谱在水平频率轴上分布，通用遥控器403和电视接收机1的距离远的位置P2上的频谱分布在高频成分侧，其距离更近的位置P1上的频谱分布在其相反的低频侧。另外，在横条发光的情况下，同样对应于通用遥控器403和电视接收机1的距离的不同，在垂直频率轴上分布频谱。这样，在操作通用遥控器403的位置，频谱的分布变化，所以为了进行频谱判断，需要假定频谱分布的范围。

接着，说明通用遥控器403没有随画面按钮准确地水平放置的情况下的频谱分布。图45(B)描绘了纵条发光的通用遥控器403向右倾斜的情况，图45(C)描绘了纵条发光的通用遥控器403向左倾斜的情况，图45(A)是将图45(B)、(C)分别在画面上镜像变换而叠加在菜单画面的按钮上显示的情况。图45(D)描绘了在空间频率平面上倾斜通用遥控器403的情况下的频谱的分布。频谱的分布的频谱轴沿空间频率平面上倾斜的方向移动。频谱轴以频率0的DC为原点来相对通用遥控器403的左右的倾斜来旋转。因此，在第三实施方式中最好考虑该倾斜的允许范围。

图46表示通用遥控器403的发光为横条发光的情况，在通用遥控器403的向左右的倾斜中频谱轴以垂直频率轴为中心旋转。图47表示通用遥控器403的发光为网格发光的情况，频谱轴位于水平、垂直且为高频成分的倾斜方向。在通用遥控器403沿左右倾斜的情况下，虽然受方格的形状和大小左右，但是与纵条发光和横条发光相比，不会产生频谱分布轴的变化。

若归纳上述，则如图44中所说明，通用遥控器403和摄像机2的距离与空间频率平面的频谱的位置有比例关系，若通用遥控器403接近于摄像机2，则频谱分布接近作为空间频率平面的原点的DC。另外，若通用遥控器403倾斜，则存在空间频率平面上的频谱分布以原点为中心其分布轴旋转的情况。因此，为了识别频域，而考虑这些频谱变化，需要用在空间频率平面上以原点为中心的扇形进行过滤。

这里，使用设计例来说明用于区别纵条发光和横条发光的扇形的过滤。以原点为中心的扇形的滤波器一般称作扇形滤波器(fan filter)或速度滤波器(velocity filter)。图48表示以水平方向为通过域的90度扇形滤波器的设计例。图49表示以垂直方向为通过域的90度扇形滤波器的设计例。

图48、图49所示之一的滤波器都由具有最平坦特性的二维半波段(half band)FIR滤波器构成，具有数字滤波器的抽头数少，抑制了硬件的规模，且波形响应、阻尼少的特征。因此，是用于识别通用遥控器403的频域的有效的滤波方式。通过将这些滤波器的通过区域与通用遥控器403的发光的频谱配合，可以进行基于频域的发光的识别。另外，用于识别频域的滤波器并不限于扇形滤波器。通用遥控器403的水平度(倾斜)和通用遥控器403的位置(通用遥控器403和摄像机2的距离)引起的空间频率平面上的频谱的分布频带和滤波器的通过区域也可一致。

图48、图49中的“rad”用离散信号的水平和垂直频率的单位弧度(radian)来表示，2π是取样频率，π是奈亏斯特边界频率。在通用遥控器403与电视接收机1远离来进行操作的情况下，存在通过摄像机2具有的分辨力不能捕捉到纵条发光和横条发光的情况，但是若超过了奈亏斯特边界的折返成分是二维平面上的滤波器的通过区域，则可以同样进行检测。但是，其中有条件，有允许连续信号部分的折返的区域通过，在二维频率平面上不会折返到不同的频域上是条件。

图50是表示具有空间频域识别功能的对象提取器51-M(M：21～23)的结构的框图。将图7所示的对象提取器51的特定色过滤器71改变为第M频域滤波器76-M(M是正的整数)，进一步，追加第M频域频度运算器77-M。这里，M是1～3。

第M频域滤波器76-M由分割亮度信号的空间频域的上述的扇形滤波器等的二维数字滤波器构成。M是分割空间频域的数目，这里将空间频域分成3个。第M频域频度运算器77-M算出通过第M频域滤波器76-M的频谱的频度。由于在该通过的频谱是不包含DC成分的高频成分的情况下，频谱的振幅正负振动，所以第M频域频度运算器77-M在振幅值的绝对值为特定值以上时，增加计数计数器(图中未示)，而算出通过了第M频域滤波器76-M的频谱的频度。另外，也可评价频谱的强度、即波形的振幅的大小来算出频度。在包含DC成分的情况下，仅仅在频谱的振幅值为特定的值以上时，增加计数计数器，并算出进入第M频域的频度。

灰度限定器72限定亮度信号的灰度，这里由于是利用通用遥控器403的情况，所以即使振幅的灰度区域变宽也没有问题，但是评价去除了高频成分的灰度的平均值是否在希望的灰度的范围中。所输入的亮度信号和色差信号根据合成器73的输出，通过对象选通器74进行选通。合成器73逻辑合成第M频域滤波器76-M和灰度限定器72的输出，在各个输出为1时，取AND，而选通对象选通器74。这里的处理在例如1、0的2值下进行，但是也可代替此，根据频谱的强度和亮度信号的灰度，在合成器73中加减乘除第M频域滤波器76-M和灰度限定器72的输出，在对象选通器74中根据合成器输出的灰度来进行选通。

图51是表示可识别空间频域的检测器120的结构框图。该检测器120设置在图2的检测部19内，对应于各个画面按钮进行设置。该检测器120具有：分别装载了以3个不同的频域作为通过区域的滤波器的第一～第三频率识别对象提取器51-21～51-23、定时选通器52-1～52-3、对象特征数据检测器53-1～53-3和频域识别检测器55。

将对应于三个不同的频域的第M频率识别对象提取器51-2M(M：1～3)内的对象选通器74的输出输入到定时选通器52-M(M：1～3)，将第M频域频度运算器77-M(M：1～3)的输出输入到频域识别检测器55中。频域识别检测器55算出各个频域的频谱的频度的最大值。这是因为通用遥控器403对画面按钮发光的频率成分表示最高的频度。频域识别检测器55将表示输出最大值的频域的值传送到控制信息判断器20中。其是判断控制信息判断器20中判断哪个频域有效，换言之，哪个画面按钮有效，应控制的内容是什么的信息。

三个定时选通器52-M(M：1～3)在同一定时下进行选通处理。这是为了对一个画面按钮的区域识别三个频域。将选通后的信号供给按每个频域设置的对象特征数据检测器53-M(M：1～3)。将对象特征数据检测器53-M中的直方图等的由各检测器61～65得到的数据经CPU总线传送到控制信息判断器20中。控制信息判断器20可以根据频域识别检测器55输入的信息中判断哪个频域有效，所以从对象特征数据检测器53-M(M：1～3)内处理一个有效区域的数据。

接着，说明怎样处理由具有空间频域识别功能的对象提取器51-M内的第M频域频度运算器77-M算出的各频域的频度。图52与图16相同，是用于说明用户3的操作的图，在由图形描绘的菜单画面由一个无彩色按钮120B和三个图案按钮，即相同的灰色按钮121B、纵条按钮122B和横条按钮123B构成的这一点与图16不同。通用遥控器403的按钮上没有记载如通常遥控器那样的表示按钮的功能的标记文字，例如“电源”、“频道”、“音量”、“输入切换”等。将用于选择这种操作的标记文字记载在画面的图形菜单上的三个按钮121B～123B上，用户3看这些来选择希望的画面上的按钮。

这里，用户3对于画面上的三个图案按钮121B～123B，使在画面上显示的图39的通用遥控器403移动到希望的按钮上并按下特定色按钮310。图54所示的箭头Y11表示该操作。另外，对于画面的左下的无彩色按钮120B，使在画面上显示的图39的通用遥控器403移动到无彩色按钮120B上，并通过按下通用遥控器403上的三个频域选择按钮317～319的一个来进行对应。图54所示的箭头Y12表示该操作。

用户3从在画面上的图案按钮121B～123B上记载的功能中确认希望的功能，确认写了该功能的画面按钮的图案，并选择分配了该图案的通用遥控器403的按钮来按下。识别画面上的各个按钮的原理与放置手的情况相同，通用遥控器403发光的光如图40(B)、(C)、(D)或图41(B)、(C)、(D)或图42(B)、(C)所示。对于画面上的三个图案按钮121B～123B，通过按下通用遥控器403的特定色按钮310发出的无彩色或特定色起作用，对于画面上的无彩色按钮120B，通过按下三个频域选择按钮317～318有选择地发光的发光图案起作用。以上的两种操作的不同点在于选择画面上的按钮或选择通用遥控器403的按钮。

图52中为了容易理解选择频域的操作，将三个图案按钮设作灰色按钮121B、纵条按钮122B、横条按钮123B，也可代替图案，添加如1、2、3这样的号码。

随图53所示的例子来说明怎样由检测器121检测出该用户3的两种选择操作的情况。图53(A)表示混合了电视接收机1的菜单和摄像机系统信号的画面。图53(B)表示通用遥控器403的按钮内容。图53(C)表示与在图53(A)上描绘的菜单画面对应的检测部19和控制信息判断器20。菜单画面的内容与图52描绘的内容相同，表示了表示三个频域的画面上的图案按钮121B～123B和无彩色按钮120B。图53(A)的表示无彩色按钮120B和三个频域的图案按钮121B～123B的符号分别对应于检测器120～123。另外，图53(B)中表示与通用遥控器403的各按钮310、317～319对应的检测器的号码，进一步，表示了图53(A)的无彩色按钮120B、图案按钮121B～123B和检测器120～123的号码的对应关系。

由于无彩色按钮120B通过通用遥控器403的三个频域选择按钮317～139中之一来进行操作，所以与无彩色按钮120B对应地设置的检测器120通过摄像机2接收三种图案(发光图案)的信息，检测器120需要识别图案。因此，检测器120是具有可进行图51所示的空间频域的判断的频率识别对象提取器51的可识别空间频域的检测器。图51的第一频率识别对象提取器51-21具有的频域滤波器如图54所示，是具有频谱的通过区域为DC附近部分的特性的滤波器。图51的第二频率识别对象提取器51-22具有的频域滤波器如图55所示，是具有频谱的通过区域为水平频率的高频域的特征的滤波器。如图56所示，图51的第三频率识别对象提取器51-23所具有的频域滤波器，是具有频谱的通过区域是垂直频率的高频域的特性的滤波器。根据该频谱的通过区域的不同，可以通过无彩色按钮120B来区别三种控制信息。

另一方面，对于三种图案按钮121B～123B，用户3使在画面上显示的通用遥控器403的位置移动到希望的画面按钮上，并按下通用遥控器403的特定色按钮310。这时，由于通过画面位置来进行三种控制的判断，所以检测器121～123也可具有与图50相同的对象提取器51-M。

具有频率识别对象提取器51的检测器120通过定时选通器52-M仅使画面按钮位置范围的光通过，并将该范围的直方图、APL、高频检测、MIN、MAX等数据传送到控制信息判断器20中。控制信息判断器20如前所述，通过根据输入的数据评价的检测区域、激活区域、判断区域来确定控制动作。检测器120内的频域识别检测器55根据来自频率识别对象提取器51的信号生成哪个频域有效的信息，并传送到控制信息判断器20中。控制信息判断器20评价来自有效的频域的对象特征数据检测器53-1～53-3中之一的数据，并检测出控制动作。

如上所说明的，第三实施方式中，通过由通用遥控器403的发光部303使与特定的空间频域对应的发光图案的光发光，从而可以可靠地与一般图像区分，可以防止检测部19中的误识别。另外，光图案并不限于上述纵条发光、横条发光、网格发光、灰度发光，发光图案的数目任意。

<第四实施方式>

第四实施方式对第三实施方式的空间频域识别功能追加了颜色识别功能。

图57是表示对具有图50所示的空间频域识别功能的对象提取器51-M组合了颜色识别功能的对象提取器51’-L的框图。L是相乘M的最大值和N的最大值后的数。图57中对与图50相同部分添加同一符号。通用遥控器403与图15相同，设置使例如6色的发光色发光的按钮。图57的第N颜色识别滤波器71-N是调整图7的特定色过滤器71的等色相线，并分别对应于通用遥控器403的不同发光色的特定色过滤器。

图57中，第N颜色区域频度运算器75-N在第N颜色识别滤波器71-N的输出为二值的情况下为1时，或在不是2值的情况下为特定的值以上时，增加计数计数器(图中未示)而输出进入第N颜色区域的频度。合成器73a逻辑合成第M频域滤波器76-M、第N颜色识别滤波器71-N与灰度限定器72的输出，在各个输出为1时，取AND并选通对象选通器74。这里的处理在例如1、0的二值下进行，但是在具有灰度而不是二值的情况下，不仅通过逻辑运算，通过加减乘除所输入的三个值来连续选通对象选通器。

这样，通过组合空间频域识别和颜色识别，除了可以增加通用遥控器403的可选择的按钮的数目，还可以通过与一般图像没有相关性的图案和颜色的发光来防止误识别。

图58是表示装载了可进行图57所示的空间频域识别和颜色识别的对象提取器51’-L的检测器125的结构的框图。该检测器125设置在图2的检测部19内，对应于各个画面按钮进行设置。该检测器125具有频率和颜色识别检测器56、第L的频率和颜色识别对象提取器51-L(L：1～12)、定时选通器52-L(L：1～12)、由除直方图检测器之外的检测器61～65构成的对象特征数据检测器53-L(L：1～12)。

并且，将由第一～第六频率和颜色识别对象提取器51-1～6、定时选通器52-1～6、对象特征数据检测器53-1～6构成的群作为簇A，将第7～12频率和颜色识别对象提取器51-7～12、定时选通器52-7～12、对象特征数据检测器53-7～12构成的群作为簇B。簇A使通过的光的空间频域具有水平高频成分，其对应于通用遥控器403的纵条发光。第1～6的频率和颜色识别对象提取器51-1～51-6分别对应于通用遥控器403发光的不同的6色。

簇B使通过的光的空间频域具有垂直高频成分，其对应于通用遥控器403的横条发光。并且，第7～12的频率和颜色识别对象提取器51-7～51-12分别对应于通用遥控器403发光的不同的6色。

将各频率和颜色识别对象提取器51’-L内的对象选通器74的输出输入到定时选通器52-L中，将第M频域频度运算器77-M和第L颜色识别区域频度运算器75-N的输出输入到频率和颜色识别器56中。频率和颜色识别检测器56算出各频率和颜色的频度的最大值。这是因为通用遥控器403对画面按钮发光的频率成分和颜色表示最高的频度。频率和颜色识别检测器56将表示输出最大值的频域和颜色的值传送到控制信息判断器20中。其为在控制信息判断器20中判断哪个频域和颜色有效，换而言之，是判断哪个按钮有效、应控制的内容是什么的信息。

12个定时选通器52-L在同一定时下进行选通处理。将选通后的信号供给分别设置的对象特征数据检测器53-L，将直方图等的数据经CPU总线传送到控制信息判断器20中。控制信息判断器20由于可以根据频率和颜色识别检测器56输入的信息，判断哪个频域和哪个颜色有效，所以从对象特征数据检测器53-L处理一个有效区域的数据。从频率和颜色识别对象提取器51-L输出的频域和颜色区域的频度值在频率和颜色识别检测器56中进行评价，并由12个对象提取器51-L识别相应的提取器。所识别的提取器是频域和颜色区域的频度均为最大值的对象提取器51-1，将其数据传送到CPU总线上。

该检测器125具有2分割频域、6分割颜色区域，总共具有12种识别功能，这里，将频率分割区域称作簇A、B。进一步，还可进行更多的分割，考虑用户3看画面来选择控制项目，并按下通用遥控器403的预定按钮的操作，则在使用便利性方面自然有边界。也可综合评价菜单画面的设计上的问题、用户3的按钮选择的手续、识别率的问题，来决定适当的分割数。具有通过组合频域和颜色区域提供多种选择项的优点。

图59是用于说明第四实施方式的基于空间频域和颜色识别的通用遥控器403的例子用的图。这里，称作通用遥控器403’。图59(A)表示电视接收机1的画面，在为了说明而添加的虚线的下侧，混合显示摄像机系统信号和图形的菜单画面。在位于虚线上侧的部分，根据图形的图像和情况显示在图形画面的背景上混合了广播和视频输入等信号的信息。

分别位于虚线上侧的簇A和簇B的具有6个颜色(R：红、G：绿、B：蓝、Y：黄、M：品红、C：青)的标志(Banner)不是如图53所示的画面按钮，而是为进行颜色识别和空间频域识别，显示各颜色对应的功能和各频率对应的功能(簇A、B)的标识。将画面按钮125B1和125B2配置在下侧的左右。分别与画面按钮125B1、125B2对应地设置。

图59(B)表示通用遥控器403’，图59(C)表示检测器125和控制信息判断器20。向检测器125输入两个定时脉冲。其表示检测器125动作的相位有两个位置。所谓两个位置的相位是指对应于下侧左右两个画面按钮125B1、125B2的相位。检测器125如图58中所说明的结构，具有频率和颜色识别对象提取器51’-L。检测器125可以识别通用遥控器403’的两个发光图案即纵条发光和横条发光和6色发光色的组合的12种发光状态。

图59(B)表示通用遥控器403’的按钮的配置。与属于簇A的按钮311A～316A对应的发光图案是纵条发光，从按钮311A到316A的各自的发光色是红、绿、蓝、黄、品红、青6色。与属于簇B的按钮311B～316B对应的发光图案是横条发光，从按钮311B到316B的各自的发光色是红、绿、蓝、黄、品红、青6色。图60表示对该频率(2分割)和颜色(6分割)的12种功能识别按钮的分配。

图59所示的通用遥控器403’的操作方法如下。用户3看电视接收机1的画面而确认“红(R)：控制例1频道、绿(G)：控制例2频道、蓝(B)：控制例3频道、黄(Y)：控制例4频道、品红(M)：控制例5频道、青(C)：控制例6频道”来作为簇A，确认“红(R)：控制例7频道、绿(G)：控制例8频道、蓝(B)：控制例9频道、黄(Y)：控制例10频道、品红(M)：控制例11频道、青(C)：控制例12频道”来作为簇B。并且，用户3将通用遥控器403’放在画面按钮125B1、125B2中之一上，而按下其中一个按钮311A～316A、311B～316B。

这样，增加了空间频域识别和颜色识别操作的通用遥控器403’在该图59所示的例子中可以通过一个动作来进行12个选择操作，由于可以使通用遥控器403’移动到画面按钮125B1、125B2中之一上，所以使用便利性良好。

如以上所说明，第四实施方式中，通过根据通用遥控器403’的发光部303的发光使空间频域和颜色变化，与第一～第三实施方式相比，可以增加画面按钮的选择操作的选择项。

本发明不仅限于以上说明的第一～第四实施方式，可以在不脱离本发明的精神的范围内适当进行改变。另外，还可以使第二实施方式的结构和第三、第四实施方式的结构等的多个实施方式适当组合。

Claims (5)

1、一种电子设备，其特征在于，包括：

显示装置；

摄像机，拍摄位于所述显示装置前面的操作者；

镜像变换器，进行由所述摄像机拍摄的图像的镜像变换；

操作用图像生成器，生成至少包含一个操作按钮的操作用图像；

混合器，混合所述镜像变换后的图像的图像信号和所述操作用图像的图像信号；

检测器，在使通过所述混合器混合后的图像显示在所述显示装置的画面上的状态下，对在所述画面上显示的操作者使用具有发光部的手持控制设备进行的、选择所述操作按钮的预定选择动作进行检测；

控制器，进行与由所述检测器检测出所述预定选择动作的操作按钮对应的控制动作。

2、根据权利要求1所述的电子设备，其特征在于：所述手持控制设备的所述发光部具有发出N色光的发光单元，所述手持控制设备具有与所述N色对应的N个颜色选择按钮，N是2以上的整数；

所述检测器具有识别所述N色颜色的识别单元；

所述控制器进行与由所述检测器的所述识别单元识别出的颜色对应的控制动作。

3、根据权利要求1或2所述的电子设备，其特征在于：所述手持控制设备具有：操作按钮，用于使所述发光部动作，以使与所述预定选择动作对应的光发光；红外线发光单元，将表示所述预定选择动作的选择确定的红外线信息进行发光输出；所述发光部和所述红外线发光单元根据所述操作按钮的操作状态而动作；

所述电子设备具有检测出红外线信息的红外线检测器；

所述控制器根据所述红外线检测器检测出的、表示所述选择确定的红外线信息，确定由所述检测器检测出的所述预定选择动作，进行所述控制动作。

4、根据权利要求1所述的电子设备，其特征在于：所述手持控制设备具有自发光单元，以与M个的空间频域对应的发光图案进行发光，M是1以上的整数；M个频域选择按钮，对应于与所述M个空间频域对应的发光图案；

所述检测器具有识别单元，该识别单元识别与所述M个空间频域对应的发光图案；

所述控制器进行与由所述检测器的所述识别单元识别出的空间频域对应的控制动作。

5、根据权利要求1所述的电子设备，其特征在于：所述手持控制设备具有：自发光单元，以与M个的空间频域对应的发光图案发出N色光，M是1以上的整数，N是1以上的整数；M×N个频域·颜色选择按钮，以所述M个发光图案与N色发光对应；

所述检测器具有识别单元，该识别单元识别所述M×N种的发光状态；

所述控制器进行与由所述检测器的所述识别单元识别出的发光状态对应的控制动作。

Images