CN101651804B - 信息处理装置和方法 - Google Patents

Abstract

本发明涉及一种信息处理装置和方法，包括：成像单元；图标显示控制单元；获取图像显示处理单元，输入操作区域图像由构成成像单元获取的图像的像素区域中包括用户手部至少一部分的像素区域构成；图标管理单元，管理操作图标的事件发布定义信息；操作确定单元，确定用户是否已经操作该操作图标；处理执行单元，计算构成输入操作区域图像的像素区域的重心并计算重心的运动矢量，运动矢量的轨迹被显示为光标图形用户界面轨迹，光标图形用户界面轨迹是与用户手部的移动一致地绘制，在判断为未绘制出闭合曲线的情况下，确定是否满足轨迹插值条件，在满足轨迹插值条件时进行轨迹插值确定闭合曲线，按照用户设置改变对闭合曲线指定的显示区域的决定。

Description

信息处理装置和方法

技术领域

本发明涉及一种信息处理装置、信息处理方法和信息处理程序。

背景技术

近年来，随着TV视频递送技术的发展和网络设备如记录/再现设备的功能越来越复杂，电视机配备有各种功能。因而，需要经由遥控器等的来自用户的更复杂操作。另一方面，由于具有诸多操作按钮的遥控器对于用户而言可操作性不佳，具有简易按钮配置的遥控器现在是遥控器的主流。然而，即使使用具有简易按钮配置的遥控器，用户仍有必要从遥控器多次发送指令到显示器中显示的分级菜单。毕竟需要来自用户的、经由构成遥控器的按钮的复杂操作和经由具有简易按钮配置的遥控器对显示器中显示的复杂菜单的操作中的任一种操作。

作为一种消除经由遥控器的操作困难的方法，例如日本专利申请特许公开第2004-356819号公开了一种用以通过由成像装置获得的用户手部移动来执行电视机的各种功能而不使用遥控器的方法。在日本专利申请特许公开第2004-356819号中描述的方法使得用手指等对象来使电视显示器进行菜单显示。电视机配备有用以获取用户图像的成像装置。另外，确定由成像单元获取的用户手指移动与菜单显示中的手指是否匹配，而如果确定匹配，则可以执行与菜单对应的功能。因此，用户可以选择电视机配备有的各种功能。

发明内容

然而，根据在日本专利申请特许公开第2004-356819号中描述的方法，用户有必要根据由手指对象代表的菜单显示来移动手指，以选择显示器中显示的各种功能。因此，用户有必要进行如显示器中显示的运动。有一个问题在于难以通过直观地移动手指来选择电视机具有的各种功能。

已经考虑到上述问题而实现本发明，并且希望提供一种使用户能够在操作图标被显示于显示器中之后通过直观地移动用户手指来选择/执行各种功能的、新颖的和改进的信息处理装置、信息处理方法和信息处理程序。

根据本发明的一个实施例，提供了一种信息处理装置，该信息处理装置包括：获取对象的成像单元；图标显示控制单元，其使显示器显示与预定处理对应的操作图标；获取图像显示处理单元，其使显示器依次地显示输入操作区域图像，该输入操作区域图像由构成成像单元获取的图像的像素区域之中包括用户手部至少一部分的像素区域构成；图标管理单元，其管理针对各操作图标的事件发布定义信息，该事件发布定义信息是用于确定用户已经操作该操作图标的条件；操作确定单元，其基于显示器中显示的输入操作区域图像和事件发布定义信息来确定用户是否已经操作该操作图标；以及处理执行单元，其根据操作确定单元的确定结果来进行与操作图标对应的预定处理，其中所述操作确定单元计算构成所述输入操作区域图像的像素区域的重心并通过链接构成所述显示器中依次显示的所述输入操作区域图像的像素区域的所述重心来计算所述重心的运动矢量，从而识别所述成像单元获取的用户手部的移动，以及其中所述运动矢量的轨迹被显示为光标图形用户界面轨迹，所述光标图形用户界面轨迹是与用户手部的移动一致地绘制的，以及所述操作确定单元还判断所述光标图形用户界面轨迹是否绘制出闭合曲线，并且在判断为未绘制出闭合曲线的情况下，所述操作确定单元确定绘制出的未闭合曲线是否满足轨迹插值条件，并且在满足所述轨迹插值条件的情况下，通过进行轨迹插值确定绘制出了闭合曲线，其中所述轨迹插值是连接实际上没有绘制出闭合曲线的重心轨迹，以使该轨迹形成闭合曲线的处理，其中，按照用户的设置来改变对闭合曲线指定的显示区域的决定。

根据上述配置，信息处理装置可以使显示器依次地显示由以下像素区域构成的输入操作区域图像：该像素区域包括成像单元获取的图像中的用户手部至少一部分。信息处理装置可以使显示器显示与预定处理对应的操作图标。信息处理装置可以管理事件发布定义信息，该事件发布定义信息是用于确定用户已经操作了使显示器进行显示的操作图标的条件。信息处理装置可以基于输入操作区域图像和在显示器中显示的操作图标以及事件发布定义信息，来确定用户是否已经操作该操作图标。另外，信息处理装置可以根据确定结果来进行与操作图标对应的预定处理。

操作确定单元可以基于重心、运动矢量和事件发布定义信息来确定用户是否已经操作该操作图标。

图标管理单元可以通过将操作图标与对应于操作图标的事件发布定义信息和当满足事件发布定义信息时处理执行单元执行的处理内容关联，来管理显示器中显示的各操作图标。

如果操作确定单元确定用户已经操作显示器中显示的显示图标，则处理执行单元可以进行与图标管理单元管理的操作图标关联的处理内容。

图标显示控制单元可以根据用户的操作来更新显示器中显示的操作图标。

信息处理装置还可以包括：移动检测单元，其通过比较成像单元获取的图像与此前一帧获取的图像来检测发生改变的像素区域，以生成仅由检测到的像素区域构成的移动区域掩模图像；以及肤色检测单元，其检测在构成成像单元获取的图像的像素区域中具有预定色调的像素区域，以生成仅由检测到的像素区域构成的肤色区域掩模图像。在这一情况下，输入操作区域图像可以由如下像素区域构成：该像素区域通过对构成移动区域掩模图像的像素区域和构成肤色区域掩模图像的像素区域进行AND(与)运算来计算。

如果构成输入操作区域图像的像素的数目在与预先设置的预定时间相等或者更长的时段上等于或者大于预先设置的预定像素数目，则获取图像显示处理单元可以使显示器显示输入操作区域图像。

获取图像显示处理单元可以用构成输入操作区域图像的像素的数目与显示器中可显示的像素的数目之比变成预定比这样的方式缩放输入操作区域图像。

显示器可以设置在与信息处理装置分离的外部设备中。在这一情况下，信息处理装置可以使设置在外部设备中的显示器显示操作图标和输入操作区域图像。

信息处理装置还可以包括显示广播信号中包含的预定视频的显示单元，而显示单元还可以包括显示器。

信息处理装置还可以包括：声音输入单元，用户将声音输入到该声音输入单元中；以及声音识别处理单元，其识别输入到声音输入单元中的声音的类型。在这一情况下，图标管理单元可以针对各类声音根据声音的类型来管理与显示器中显示的操作图标有关的信息，而图标显示控制单元可以根据声音识别处理单元识别的声音类型、基于图标管理单元管理的信息来使显示器显示与识别的声音类型对应的操作图标。

图标显示控制单元可以基于操作确定单元计算的重心的运动矢量来使显示器显示重心轨迹。

如果显示器中显示的重心轨迹变成闭合曲线，则图标显示控制单元可以使显示器显示下述操作图标，该操作图标对应于与闭合曲线包围的显示区域有关的预定处理。

根据本发明的另一实施例，提供了一种包括以下步骤的信息处理方法：由成像单元获取对象；使显示器显示与预定处理对应的操作图标；使显示器依次地显示输入操作区域图像，该输入操作区域图像由构成成像步骤中获取的图像的像素区域之中包括用户手部至少一部分的像素区域构成；基于图标显示步骤中在显示器中显示的操作图标、获取图像显示步骤中在显示器中显示的输入操作区域图像和事件发布定义信息来确定用户是否已经操作该操作图标，其中该事件发布定义信息针对各操作图标来管理并且是用于确定用户已经操作该操作图标的条件；以及根据操作确定步骤中的确定结果来进行与操作图标对应的预定处理，其中计算构成所述输入操作区域图像的像素区域的重心并通过链接构成所述显示器中依次显示的所述输入操作区域图像的像素区域的所述重心来计算所述重心的运动矢量，从而识别所述成像单元获取的用户手部的移动，以及其中所述运动矢量的轨迹被显示为光标图形用户界面轨迹，所述光标图形用户界面轨迹是与用户手部的移动一致地绘制的，以及所述信息处理方法还包括判断所述光标图形用户界面轨迹是否绘制出闭合曲线，并且在判断为未绘制出闭合曲线的情况下，确定绘制出的未闭合曲线是否满足轨迹插值条件，并且在满足轨迹插值条件的情况下，通过进行轨迹插值来确定绘制出了闭合曲线，其中所述轨迹插值是连接实际上没有绘制出闭合曲线的重心轨迹，以使该轨迹形成闭合曲线的处理，其中，按照用户的设置来改变对闭合曲线指定的显示区域的决定。

根据本发明的另一实施例，提供了一种信息处理程序，该信息处理程序使计算机进行：成像处理，用以由成像单元获取对象；图标显示处理，用以使显示器显示与预定处理对应的操作图标；获取图像显示处理，用以使显示器依次地显示输入操作区域图像，该输入操作区域图像由构成成像步骤中获取的图像的像素区域之中包括用户手部至少一部分的像素区域构成；操作确定处理，用以基于图标显示处理中在显示器中显示的操作图标、获取图像显示处理中在显示器中显示的输入操作区域图像和事件发布定义信息来确定用户是否已经操作该操作图标，该事件发布定义信息针对各操作图标来管理并且是用于确定用户已经操作该操作图标的条件；以及执行处理，用以根据操作确定处理中的确定结果来进行与操作图标对应的预定处理。

根据上述本发明实施例，提供了一种使用户能够在操作图标被显示于显示器中之后通过直观地移动用户手指来选择/执行各种功能的、新颖和改进的信息处理装置、信息处理方法和信息处理程序。

附图说明

图1是使用根据本发明一个实施例的信息处理装置的例子的概念图；

图2是示出了根据本发明第一实施例的TV 100的功能配置的框图；

图3是举例说明在实施例中坐标变换处理单元128的坐标变换处理的概念图；

图4是举例说明在实施例中由GUI(图形用户界面)管理单元110管理的GUI的说明图；

图5是举例说明在实施例中由GUI管理单元110管理的GUI和事件发布定义信息的说明图；

图6是示出了用户使用根据实施例的TV 100来进行GUI操作的整个处理流程的流程图；

图7是示出了在实施例中在图6中所示步骤700的成像数据处理的具体处理流程的流程图；

图8是示出了在实施例中在图6中所示步骤800的状态转变处理的具体处理流程的流程图；

图9是举例说明在实施例中当向GUI操作状态转变时GUI显示控制单元108将在显示单元118中显示的GUI的说明图；

图10是示出了在实施例中在图6中所示步骤1000的获取图像显示处理的具体处理流程的流程图；

图11是举例说明在实施例中在显示单元118中显示输入操作区域图像的情况的说明图；

图12是示出了在实施例中在图6中所示步骤1200的操作按钮GUI的具体处理流程的流程图；

图13是举例说明在实施例中在图12中所示步骤1210的更新显示单元118的流程的概念图；

图14是示出了在第一改进方案中的电视机200的功能配置的框图；

图15是在第二改进方案中用户使用电视机300来选择显示器中的任意图像区域的概念图；

图16是示出了在第二改进方案中的电视机300的功能配置的框图；

图17是举例说明在第二改进方案中的电视机300与用户手指的移动一致地对预定显示区域进行预定处理的处理流程的流程图；

图18是举例说明在第二改进方案中的电视机300中的重心运动矢量计算的概念图；并且

图19是举例说明在第二改进方案中的电视机300中的轨迹插值处理的概念图。

具体实施方式

下文将参照附图具体地描述本发明的优选实施例。注意在本说明书和附图中，用相同标号表示具有基本上相同功能和结构的结构单元，并且省略对这些结构单元的重复说明。

按以下所示顺序进行描述：

1.本发明实施例的概述

2.根据实施例的信息处理装置

2-1.TV 100的功能配置

2-2.本实施例中的处理流程(成像处理到GUI操作处理)

2-3.成像数据处理流程

2-4.状态转变处理流程

2-5.获取图像显示处理流程

2-6.GUI操作处理流程

3.改进方案

3-1.第一改进方案(使用声音输入功能)

3-2.第二改进方案(使用光标GUI)

(1.本发明实施例的概述)

在描述根据本发明实施例的信息处理装置的细节之前，首先提供本发明实施例的概述。如上所述，信息处理装置如相关领域中配备有显示器的电视机可以使用用户手指对象在显示器上显示与各种功能对应的菜单。因而，用户可以通过与显示器上显示的手指一致地进行运动来选择信息处理装置如电视机具有的各种功能。然而，用户有必要按照显示器上显示的指令来移动手指。因此，用户终究难以通过手指的直观移动来选择信息处理装置的各种功能。

对照而言，根据本发明一个实施例的信息处理装置使用户能够通过由用户直观地移动手指(包括比如手掌这样的部分)来选择/执行信息处理装置具有的各种功能。更具体而言，根据本实施例的信息处理装置可以使显示器显示用户可以容易地识别其可操作性的操作图标(GUI：图形用户界面)。根据本实施例的信息处理装置也可以使显示器显示由成像单元成像的用户手指的移动。另外，根据本实施例的信息处理装置可以检测用户手指的移动以识别用户对显示器上显示的GUI进行的操作。因此，根据本实施例的信息处理装置可以根据显示器上显示的GUI和用户手指的移动来执行各种功能。结果是用户可以通过直观地移动手指来操作显示器上显示的各种GUI，从而可以选择/执行信息处理装置具有的各种功能。

图1是使用根据本发明一个实施例的信息处理装置的例子的概念图。如图1中所示，用户可以通过移动手指，就如同通过用户的手指来操作显示器上显示的各种GUI而不使用遥控器一样，来选择/执行信息处理装置具有的各种功能。

下文将描述具有上述特征的根据本发明一个实施例的信息处理装置的细节。在以下实施例中以TV 100作为根据本发明一个实施例的信息处理装置的例子，以描述该实施例，但是本发明不限于这样的例子。例如，信息处理装置可以是个人计算机或者是具有用于各种操作的显示器的信息处理装置。或者，信息处理装置可以使外部设备的显示器显示这样的操作菜单，比如各种记录/再现设备如硬盘记录器和数字万用盘(DVD)记录器或者游戏机。在以下描述中，“手指”这一表达并非必然地仅表示人类手指的一部分，而是可以表示包括手掌和腕部的整个手部。

(2.根据一个实施例的信息处理装置)

(2-1.TV 100的功能配置)

首先将描述电视机100(下文称为TV 100)的功能配置，该TV是根据本发明一个实施例的信息处理装置的例子。图2是示出了根据实施例的TV 100的功能配置的框图。

如图2中所示，TV 100主要包括成像单元102、用户区域检测单元104、状态转变处理单元105、获取图像显示处理单元106、GUI显示控制单元108、GUI管理单元110、GUI操作确定单元112、GUI操作存储单元114、处理执行单元116和显示单元118。这些部件由总线连接并由中央处理单元(CPU)控制。下文将描述TV 100的各部件的细节。

(成像单元102)

成像单元102包括用于使来自对象的光在成像表面上形成图像的光学系统如透镜，和具有成像表面的图像获取器件如电荷耦合器件(CCD)。成像单元102将通过透镜捕获的对象图像转换成电信号并且输出电信号。附带地，设置在成像单元102中的图像获取器件不限于CCD，而可以例如是互补金属氧化物半导体(CMOS)。也有可能通过控制成像单元102的驱动机构来驱动变焦透镜、聚焦透镜(未示出)等，从而根据用户操作以适当变焦和焦距对对象进行成像。由成像单元102成像的视频信号由AD转换器(未示出)转换成数字信号、然后发送到用户区域检测单元104。

(用户区域检测单元104)

用户区域检测单元104检测由成像单元102成像的视频区域中包含的用户手指(手部)区域。如图2中所示，用户区域检测单元104主要包括移动检测单元120、肤色检测单元122和算术处理单元124。下文将描述构成用户区域检测单元104的各部件的细节。

(移动检测单元120)

移动检测单元120基于所谓的帧差值方法来检测用户手部的移动，该帧差值方法提取由成像单元102成像的预定帧与在该帧之前成像的帧之间的视频差值。例如，移动检测单元120可以提取由成像单元102成像的帧与帧存储器(未示出)中记录的先前图像之间的差值、也就是两帧之间的差值部分。因此，移动检测单元120可以通过提取两帧之间的差值来识别从先前帧移动的部分。移动检测单元120生成仅由与以这一方式识别的移动部分对应的区域构成的图像作为移动区域掩模图像，并且将该图像发送到算术处理单元124。

在本实施例中，移动检测单元120根据在前帧与在后帧之间的差值来检测成像对象的移动，但是本发明不限于此。例如，移动检测单元120可以通过包括更复杂的检测功能来更精确地识别用户的移动，但是本发明并非旨在于提高对用户移动的检测准确度，因此将不描述细节。也就是说，移动检测单元120可以通过各种方法检测由成像单元102成像的区域内的移动，并且该检测不限于具体检测方法。

(肤色检测单元122)

肤色检测单元122检测由成像单元102成像的预定帧中存在的肤色区域。尽管上述移动检测单元120可以检测预定对象在成像区域中的移动，但是例如如果除了用户手部以外的任何躯体在移动，则移动检测单元120将检测到躯体的移动。因此，通过除了提供移动检测单元120之外还提供肤色检测单元122，根据本实施例的用户区域检测单元104可以更可靠地检测用户手部的移动。

为了检测肤色区域，例如基于构成由成像单元102获取的获取图像的各像素的颜色信息来计算各像素的信息，比如色调、饱和度和亮度。基于计算的信息，肤色检测单元122可以确定获取图像中包含的肤色区域。

由成像单元102获取的图像具有各像素的由红(R)、绿(G)和蓝(B)组成的RGB颜色信息。肤色检测单元122将RGB信息转换成色调、饱和度和亮度(HSV)信息。这里，HSV是由色调、饱和度和亮度这三个分量组成的信息。色调是指颜色类型，比如红色、蓝色和黄色。饱和度是指颜色鲜艳度。亮度是指颜色亮度。

肤色检测单元122例如按照下文所示公式将构成由成像单元102获取的图像的各像素的RGB颜色信息转换成HSV信息：

$H=60\×\frac{G-B}{\mathrm{MAX}-\mathrm{MIX}}---\left(1\right)$

$H=60\×\frac{B-R}{\mathrm{MAX}-\mathrm{MIN}}+120---\left(2\right)$

$H=60\×\frac{R-G}{\mathrm{MAX}-\mathrm{MIN}}+240---\left(3\right)$

$S=255\×\frac{\mathrm{MAX}-\mathrm{MIN}}{\mathrm{MAX}}---\left(4\right)$

V＝MAX                            (5)

这里，R、G和B是构成由成像单元102获取的图像的各像素的RGB颜色信息的值，并且例如由数字0到255表示。“MAX”是构成由成像单元102获取的图像的各像素的RGB值的最大值，而“MIN”是其最小值。在公式(1)中，当R值是某一图像的RGB值之中的最大值(MAX)时可以确定色调(H)。在公式(2)中，当G值是某一图像的RGB值之中的最大值(MAX)时可以确定色调(H)。在公式(3)中，当B值是某一图像的RGB值之中的最大值(MAX)时可以确定色调(H)。根据上文所示公式(1)到公式(5)，计算范围为0到359的H值、0到255的S值和0到255的V值。

肤色检测单元122可以根据上文所示公式(1)到公式(5)计算构成由成像单元102获取的图像的各像素的HSV值。例如，如果构成由成像单元102获取的图像的某一像素的颜色信息是R＝208、G＝145和B＝130，则将HSV值计算为H＝11、S＝95和V＝208。

由于HSV值中与色调有关的值(H)是独立的，所以肤色检测单元122可以确定由成像单元102获取的图像中的预定色调区域。

这里，代表人类皮肤的色调根据经验已知约为H＝6到38。因此，肤色检测单元122可以通过从构成成像单元102获取的图像的像素提取具有H＝6到38的像素来提取获取图像中包含的肤色区域作为肤色区域掩模图像(该肤色区域仅由以这一方式识别的肤色区域构成)，并且将该图像发送到算术处理单元124。

上述RGB值和HSV值仅为用来描述本实施例的例子，并且本发明不限于这样的例子。例如，上述例子中的RGB值表示为0到255这些值，但是当然地也可以使用其它数值如0到1或者百分比表示，并且应当理解将相应地改变上述公式(1)到(5)。

(算术处理单元124)

算术处理单元124基于上述由移动检测单元120生成的移动区域掩模图像和由肤色检测单元122生成的肤色区域掩模图像来生成将在显示单元118中显示的输入操作区域图像。算术处理单元124可以例如通过基于AND(与)运算合成构成移动区域掩模图像的图像区域和构成肤色区域掩模图像的图像区域来生成输入操作区域图像。因此，通过基于AND运算来合成移动区域掩模图像和肤色区域掩模图像，可以通过仅提取用户手部在其中移动了的区域来生成输入操作区域图像。

在状态转变处理单元105和获取图像显示处理单元106对以这一方式生成的输入操作区域图像进行各种处理之后，在显示单元118中显示图像。因此，在显示单元118中仅显示由成像单元102获取的视频中用户的手部在其中移动了的视频部分。

在本实施例中，用户区域检测单元104通过联合地使用移动检测和肤色检测来确定用户手部在其中移动了的区域，但是本发明并非必然地限于上述例子。例如，配备有红外线传感器的成像单元102当然可以生成温度分布图像，以进一步提高对用户手部在其中移动了的区域进行检测的精度。另外，根据上述肤色检测，有可能也提取与用户面部对应的区域。因此，也有可能通过使用面部感测技术来确定获取图像区域中与用户面部对应的部分，以基于NOT(非)运算从输入操作区域图像排除与用户面部对应的区域。作为面部感测技术，例如可以使用支持向量机(SVM)、增强(boosting)、神经网络或者本征-面部(Eigen-Face)。

(状态转变处理单元105)

将描述基于由用户区域检测单元104生成的输入操作区域图像来确定是否在显示单元118中显示各种GUI或者获取图像的状态转变处理单元105。用户可以通过移动手部来操作显示单元118中显示的各种GUI。因此，如果在由成像单元102获取的视频中没有包含用户手部，或者即使包含手部而手部几乎没有移动，则无需使显示单元118显示获取图像。也就是说，仅当用户移动手部希望进行预定操作时，才有必要使显示单元118显示获取图像。因此，在本实施例中，状态转变处理单元105基于用户区域检测单元104生成的输入操作区域图像来确定是否在显示单元118中显示获取图像。

状态转变处理单元105例如确定构成输入操作区域图像的像素的数目在与预先设置的预定时间相等或者更长的时段上是否持续等于或者大于预先设置的预定阈值。如果构成输入操作区域图像的像素的数目在与预定时间相等或者更长的时段上等于或者大于预定阈值，则状态转变处理单元105确定用户希望操作显示单元118中显示的GUI，并且将输入操作区域图像发送到获取图像显示处理单元106。随后，在获取图像显示处理单元106进行缩放处理和坐标变换处理之后，在显示单元118中显示输入操作区域图像。

附带地，下文将其中用户可以在显示单元118中显示包括用户的移动手部的输入操作区域图像的情况下操作显示单元118中显示的各种GUI的状态称为“GUI操作状态”。另一方面，下文将其中显示单元118由于用户没有操作显示单元118中显示的各种GUI而没有显示任何获取图像的状态称为“操作等待状态”。

用以确定是否允许向GUI操作状态转变的预定时间或者像素数目阈值可以被任意地设置并且不限于具体值。为了允许从操作等待状态向GUI操作状态的转变而设置的预定时间将在以下描述中称为“操作状态转变设置时间”。

如果如上所述构成输入操作区域图像的像素的数目在与操作状态转变设置时间相等或者更长的时段上持续等于或者大于预先设置的预定阈值，则状态转变处理单元105允许从操作等待状态向GUI操作状态的转变。另一方面，如果构成输入操作区域图像的像素的数目没有在与操作状态转变设置时间相等或者更长的时段上持续等于或者大于预先设置的预定阈值，则状态转变处理单元105维持操作等待状态。如果在GUI操作状态中例如构成输入操作区域图像的像素的数目在与预先设置的预定时间相等或者更长的时段上持续等于或者少于预先设置的预定阈值，则状态转变处理单元105允许从GUI操作状态向操作等待状态的转变。为了允许从GUI操作状态向操作等待状态的转变而设置的预定时间将在以下描述中称为“等待状态转变设置时间”。

在状态转变处理单元105以这一方式控制在GUI操作状态与操作等待状态之间的转变的情况下，根据本实施例的TV 100可以仅当用户希望操作GUI时才使显示单元118显示输入操作区域图像。因此，当不希望对GUI的操作时，比如当用户乐于观看预定节目时，并不使显示单元118显示输入操作图像区域。

(获取图像显示处理单元106)

接着将描述获取图像显示处理单元106，该获取图像显示处理单元对由用户区域检测单元104生成的输入操作区域图像进行预定处理，从而使输入操作区域图像可以显示于显示单元118中。如果上述状态转变处理单元105引起从操作等待状态向GUI操作状态的转变，则获取图像显示处理单元106对输入操作区域图像进行预定处理。如图2中所示，获取图像显示处理单元106主要包括缩放处理单元126和坐标变换处理单元128。下文将描述构成获取图像显示处理单元106的各部件的细节。

(缩放处理单元126)

缩放处理单元126基于显示单元118的有效像素数目来缩放输入操作区域图像。如上所述，输入操作区域图像基本上是仅仅包括用户的移动手部的图像。因此，包括用户手部的区域的像素数目根据TV 100与用户之间的距离和成像单元102的成像性能而不同。因此，缩放处理单元126对输入操作区域图像进行缩放处理，从而使显示单元118通常显示尺寸恒定的输入操作区域图像。

例如在由状态转变处理单元105引起向GUI操作状态的转变之后，缩放处理单元126计算多达若干以前帧的平均图像数目和输入操作区域图像的重心。然后，缩放处理单元126计算缩放比，从而使计算的平均像素数目与显示单元118的有效像素数目之比变成预定比。例如，缩放处理单元126可以缩放输入操作区域图像，从而使该图像具有数目与显示单元118的有效像素数目的10％相等的像素。在这一情况下，缩放处理单元126可以缩放例如在计算的重心周围的输入操作区域图像。

因而，无论成像单元102的成像性能或者与用户的距离如何，在显示单元118中通常显示尺寸恒定的输入操作区域图像。

上述缩放比可以例如在初始化期间设置成预定值，并且当然可以在必要时由用户改变。

(坐标变换处理单元128)

在如上所述对输入操作区域图像进行缩放处理之后，坐标变换处理单元128可以对之进行坐标变换处理。坐标变换处理单元128对已经进行缩放处理的输入操作区域图像进行向与显示单元118对应的屏幕坐标的坐标变换。

根据获取图像生成的输入操作区域图像的坐标系可以根据成像单元102的规格或者显示单元118的显示规格而不同于显示单元118的屏幕坐标。在这样的情况下，坐标变换处理单元128对输入操作区域图像进行坐标变换处理，以将图像转换成与显示单元118的屏幕坐标适应的坐标系。因而，输入操作区域图像在对之进行了坐标变换处理之后将正确地显示于显示单元118中。

图3是举例说明坐标变换处理单元128的坐标变换处理的概念图。图3中所示例子是如下情况：其中已经进行缩放处理的输入操作区域图像的坐标系是中心为原点的坐标系，而显示单元118的屏幕坐标是原点在左上角的1920(水平)×1080(竖直)。在这样的情况下，如果显示单元118的屏幕坐标是Xs和Ys，而输入操作区域图像的坐标是Xc和Yc，则坐标变换处理单元128可以通过下文所示公式进行坐标变换：

Xs＝屏幕宽度(1920)×(Xc+1.0)/2

Ys＝屏幕高度(1080)×(2.0-(Yc+1.0))/2

上述公式提供了没有考虑高宽比的坐标变换，并且当然有可能通过考虑由成像单元102获取的图像和显示单元118的显示器的高宽比来进行坐标变换。例如通常应用的剪裁处理可以用于考虑了高宽比的坐标变换，而且将不描述该处理的细节。在上述例子中描述了其中坐标变换处理单元128以使由成像单元102获取的图像的坐标系适应于显示单元118的屏幕坐标这样的方式进行坐标变换处理的情况，但是本发明不限于这样的例子。例如，坐标变换处理单元128可以进行坐标变换处理，从而使显示单元118的屏幕坐标适应于由成像单元102获取的图像的坐标系。

以这一方式，将已经进行各种处理的输入操作区域图像发送到显示输入操作区域图像的显示单元118。

(显示单元118)

显示单元118是显示装置，比如阴极射线管(CRT)、液晶显示器(LCD)和有机电致发光显示器(有机EL显示器)。显示单元118可以显示经由天线(未示出)从广播台接收的预定节目、从获取图像显示处理单元106发送的输入操作区域图像、各种GUI等。用户可以基于显示单元118中显示的各种GUI和输入操作区域图像中包含的用户手部的视频来选择/执行TV 100的各种功能。

(GUI显示控制单元108)

接着将描述对显示单元118中与TV 100具有的各种功能对应的GUI的显示进行控制的GUI显示控制单元108。GUI显示控制单元108作为本发明的图标显示控制单元来工作。

当上述状态转变处理单元105引起向GUI操作状态的转变或者用户通过下述GUI操作确定单元112选择某一功能时，GUI显示控制单元108控制显示单元118切换各种GUI等的显示。例如，GUI显示控制单元108使显示单元118显示由GUI管理单元110管理的GUI之中由GUI操作确定单元112指示的那些GUI。将在下述处理流程中描述GUI显示控制单元108对显示单元118中的GUI的显示控制细节。

(GUI管理单元110)

GUI管理单元110管理与TV 100具有的各种功能对应的GUI。显示单元118中显示的GUI被使得显示用户直观地识别其操作的操作图标。因此，有必要使显示单元118显示与TV 100具有的各种功能对应的不同GUI。GUI管理单元110管理这样的多个不同GUI。GUI管理单元110作为本发明的图标管理单元来工作。

这里，将参照图4描述由GUI管理单元110管理的GUI的例子。图4是举例说明由GUI管理单元110管理的GUI的说明图。

图4中所示的滑动条GUI 400例如用于音量调节、显示器的亮度/明度调节或者屏幕的竖直滑动。也就是说，用户可以通过针对显示单元118中显示的滑动条GUI 400竖直地移动用户手指来使TV 100进行音量调节、显示器的亮度/明度调节或者屏幕的竖直滑动。

接着，拨盘GUI 402例如用于音量调节、帧前进或者切换设置屏幕中的输入数。也就是说，用户可以通过移动用户手指，就如同针对显示单元118中显示的拨盘GUI 402绘制圆圈一样，来使TV 100进行音量调节、帧前进或者切换设置屏幕中的输入数。

接着，按钮GUI 404例如用于频道选择、设置屏幕的数输入或者菜单选择判决。也就是说，用户可以通过针对显示单元118中显示的按钮GUI 404例如向下移动用户手指来使TV 100进行频道选择、设置屏幕的数输入或者菜单选择判决。

接着，开/关(ON/OFF)切换GUI 406例如用于预定模式如消声模式、暂停模式或者双语模式的开/关判决。也就是说，用户可以通过针对显示单元118中显示的开/关切换GUI 406例如向上移动用户手指来使TV100进行用于预定模式如消声模式、暂停模式或者双语模式的开/关判决。

接着，微动拨盘(jog dial)GUI 408例如用于频道切换、音量调节、设置模式切换或者菜单显示切换。也就是说，用户可以通过针对显示单元118中显示的微动拨盘GUI 408例如竖直地移动用户手指来使TV 100进行频道切换、音量调节、设置模式切换或者菜单显示切换。

图4中显示的GUI仅为在本实施例中由GUI管理单元110管理并且使显示单元118显示的GUI的例子，并且本发明不限于这些GUI。也就是说，GUI管理单元110可以具有与TV 100具有的各种功能和模式对应的各种GUI，并且GUI显示控制单元108可以使显示单元118显示这些GUI。

GUI管理单元110还管理与管理的GUI对应的事件发布定义信息。如上所述，用户可以通过针对显示单元118中显示的各GUI移动用户手指来选择/执行TV 100的与各GUI对应的各种功能。用户是否已经操作显示单元118中显示的GUI由下述GUI操作确定单元112确定。因此，GUI操作确定单元112有必要知道将用户手指什么方式的移动确定为对GUI的操作。因此，GUI管理单元110需要管理对于操作输入所必需的用户手指移动有关的信息、也就是针对各GUI的事件发布定义信息。通常，操作输入所必需的用户手指移动对于各GUI是不同的。例如，图4中所示滑动条GUI 400仅支持竖直操作，而拨盘GUI 402仅支持旋转方向上的操作。特别是对于按钮GUI 404等，有必要预先定义对于操作输入所必需的用户手指移动。因此，GUI管理单元110管理针对各GUI的事件发布定义信息。因而，GUI操作确定单元112可以基于显示单元118中显示的GUI、输入操作区域图像中包含的用户手指移动和由GUI管理单元110管理的事件发布定义信息来正确地确定用户是否已经操作GUI。

图5是举例说明在实施例中由GUI管理单元110管理的GUI和事件发布定义信息的说明图。如图5中所示，GUI管理单元110可以在数据库中管理TV 100的功能、与功能对应的GUI以及与GUI对应的事件发布定义信息。

例如，水平方向上的滑动条GUI对应于TV 100的音量调节，而GUI管理单元110具有与滑动条GUI对应的事件发布定义信息。在图5中所示的例子中，滑动条GUI的事件发布定义信息是“从光标位置水平地移动五个连续帧”。这意味着例如当示出用户移动手指的输入操作区域图像中的像素区域的重心从滑动条GUI的光标位置连续地向左或者向右移动五帧时，可以接受对滑动条GUI的操作输入。也就是说，如果输入操作区域图像中的像素区域的重心从滑动条GUI的光标位置连续地向右移动五帧，则提高音量，而如果输入操作区域图像中的像素区域的重心连续地向左移动五帧，则降低音量。因此，在GUI管理单元110管理如图5中所示数据库的情况下，GUI操作确定单元112可以基于数据库正确地接受来自用户的GUI操作。

图5中所示数据库仅为用以描述本实施例的例子，并且本发明不限于该例子。也就是说，当然例如有可能图5中所示的事件发布定义信息在初始化等中被设置或者由用户任意地修改。因此，用户可以任意地修改GUI或者事件发布定义信息，从而可以通过最适合于用户感知的手指移动来操作GUI。

(GUI操作确定单元112)

如上所述，GUI操作确定单元112基于显示单元118中显示的GUI、输入操作区域图像中的像素区域的重心和由GUI管理单元110管理的事件发布定义信息来确定用户是否已经操作GUI。GUI操作确定单元112作为本发明的操作确定单元来工作。

例如，GUI操作确定单元112针对各帧计算已经由获取图像显示处理单元106进行预定处理的输入操作区域图像中包含的用户手指像素区域的重心。以这一方式计算的重心存储于下述GUI操作存储单元中。因而，GUI操作确定单元112可以通过计算从以往帧的重心到当前帧的重心的轨迹来识别用户手指的移动。通过比较以这一方式计算的重心轨迹与显示单元118中显示的GUI所在的像素区域，GUI操作确定单元112可以基于事件发布定义信息来确定是否接受GUI的操作输入。GUI操作确定单元112确定的GUI操作的例子的细节将在下述处理流程中描述。

(GUI操作存储单元114)

如上所述，GUI操作存储单元114是用以存储由GUI操作确定单元112计算的重心、重心轨迹等的存储域。GUI操作存储单元114可以由非易失性存储器或者硬盘构成。

(处理执行单元116)

处理执行单元116根据上述GUI操作确定单元112的确定结果来执行TV 100具有的各种功能。如上所述，显示单元118中显示的各GUI对应于TV 100具有的各种功能。因此，如果例如GUI操作确定单元112确定用户已经操作与音量调节对应的滑动条型GUI，则处理执行单元116进行对TV 100的音量调节。类似地，如果例如GUI操作确定单元112确定用户已经操作与频道选择对应的按钮型GUI，则处理执行单元116切换TV 100的频道。

在提供上述功能配置的情况下，根据本实施例的TV 100可以使显示单元118显示用户可以容易识别其操作的操作图标的GUI。TV 100也可以使显示单元118显示由设置在TV 100中的成像单元102获取的用户手指移动。与显示单元118中显示的各GUI对应的事件发布定义信息可以由GUI管理单元110管理。因而，根据本实施例的TV 100可以基于显示单元118中显示的GUI、用户手指的移动和事件发布定义信息来接受GUI的操作输入。也就是说，根据本实施例的TV 100通过在显示单元118中显示操作图标的GUI来使用户能够通过直观地移动用户手指来选择/执行各种功能。

(2-2.从成像处理到GUI操作处理的整个处理流程)

接着将描述用户使用如上所述配置的本实施例中的TV 100来进行GUI处理的整个处理流程。

图6是示出了用户使用根据该实施例的TV 100来进行GUI操作的整个处理流程的流程图。图6示出了整个处理流程，并且图6中所示各段处理的细节将在下述各段处理的处理流程中描述。

如图6中所示，在步骤700进行成像数据输入处理。这是如下处理，其中通过从成像单元102获取的获取图像中仅确定用户手指(手部)在其中移动了的区域，来生成将在显示单元118中显示的输入操作区域图像。如上所述，上述处理由设置在用户区域检测单元104中的移动检测单元120、肤色检测单元122和算术处理单元124进行。

接着在步骤800基于在步骤700生成的输入操作区域图像来进行引起向GUI操作状态或者操作等待状态的转变的处理。这是如下处理，其中基于在步骤700生成的输入操作区域图像的像素数目、预先设置的预定时间和阈值等确定要引起向哪个状态的转变，并且引起向所确定的状态的转变。如上所述，上述处理由状态转变处理单元105进行。

接着在步骤900确定当前状态是GUI操作状态还是操作等待状态。如果当前状态是GUI操作状态，则将进行在步骤1000和随后的处理，而如果当前状态是操作等待状态，则将不进行用户的GUI操作。

接着在步骤1000进行获取图像显示处理，以使显示单元118正确地显示在步骤700生成的输入操作区域图像。这是如下处理，其中对在步骤700生成的输入操作区域图像进行缩放处理和坐标变换处理。如上所述，上述处理由设置在获取图像显示处理单元106中的缩放处理单元126和坐标变换处理单元128进行。

随后在步骤1200基于在步骤1000在显示单元118中显示的用户手指移动和显示单元118中显示的GUI来进行执行TV 100的与各GUI对应的功能的处理。这是如下处理，其中例如基于显示单元118中显示的GUI、构成输入操作区域图像的用户手指像素区域的重心轨迹和事件发布定义信息来确定用户是否已经操作GUI。另外，这是如下处理，其中根据确定结果或者TV 100具有的各种功能的执行结果来改变显示单元118中显示的GUI。如上所述，上述处理由GUI操作确定单元112、GUI显示控制单元108和处理执行单元116进行。

利用上述处理流程，根据本实施例的TV 100可以通过显示用户容易理解的操作图标的GUI，根据用户的手指的直观移动来执行TV 100具有的各种功能。

接着下文将描述图6中所示各段处理的具体处理流程。

(2-3.成像数据处理流程)

首先将描述在图6中所示处理流程之中在步骤700的关于成像数据处理的具体处理流程。图7是示出了在图6中所示步骤700的成像数据处理的具体处理流程的流程图。

在成像数据处理流程中，首先在步骤702将成像单元102获取的成像数据输入到设置在用户区域检测单元104中的移动检测单元120和肤色检测单元122中。

接着在步骤704，移动检测单元120基于输入的当前图像数据与以往图像数据之间的差值仅确定由成像单元102获取的图像中有移动的部分。然后，移动检测单元120生成移动区域掩模图像(该图像是仅由以这一方式确定的移动区域构成的图像)并且将该图像发送到算术处理单元124。

接着在步骤706，肤色检测单元122对输入的当前图像数据进行上述HSV转换处理等。肤色检测单元122由此仅确定由成像单元102获取的图像中的肤色区域。然后，肤色检测单元122生成肤色区域掩模图像(该图像是仅由以这一方式确定的肤色区域构成的图像)并且将该图像发送到算术处理单元124。

接着在步骤708，算术处理单元124基于在步骤704发送的移动区域掩模图像和在步骤706发送的肤色区域掩模图像来生成输入操作区域图像。如上所述，算术处理单元124通过对构成移动区域掩模图像的像素区域和构成肤色区域掩模图像的像素区域进行AND运算来生成输入操作区域图像。结果是，如果可能，则算术处理单元124可以生成仅通过移动用户手指来构成的图像作为输入操作区域图像。

接着在步骤710将在步骤708生成的输入操作区域图像发送到状态转变处理单元105。

在预定时间对成像单元102获取的各段成像数据进行由上述处理流程组成的成像数据处理。

(2-4.状态转变处理流程)

接着将描述在图6中所示处理流程之中在步骤800的关于状态转变处理的具体处理流程。图8是示出了在图6中所示步骤800的状态转变处理的具体处理流程的流程图。

在状态转变处理流程中，首先在步骤802，状态转变处理单元105确定构成从用户区域检测单元104发送的输入操作区域图像的像素的数目是否等于或者大于预先设置的预定阈值。如果在由成像单元102获取的图像中没有包含用户的移动手指(手部)，也就是说，如果用户并不希望GUI操作，则无需使显示单元118显示获取图像。因此，如果在步骤802确定构成输入操作区域图像的像素的数目并不等于或者大于预先设置的阈值，则状态转变处理单元105在步骤812维持操作等待状态。也就是说，在显示单元118中并不显示由成像单元102获取的图像。

另一方面，如果在步骤802确定构成输入操作区域图像的像素的数目等于或者大于预先设置的阈值，则状态转变处理单元105进行在步骤804的处理。也就是说，状态转变处理单元105确定其中构成输入操作区域图像的像素的数目等于或者大于阈值的状态是否在操作状态转变设置时间或者更长时间上持续。例如，如果用户手部仅瞬间地进入成像单元102的可成像区域，则在显示单元118中显示获取图像只会产生骚扰用户的结果。因此，状态转变处理单元105在步骤804进行确定处理，从而仅当用户真正地希望操作显示单元118中显示的GUI时才使显示单元118显示获取图像。也就是说，只有确定构成输入操作区域图像的像素的数目在操作状态转变设置时间或者更长时间上持续等于或者大于预先设置的阈值时，状态转变处理单元105才引起向GUI操作状态的转变。结果是只有用户在预定时间或者更长时间上持续在成像单元102的可成像区域中移动手部时，包括用户手部的图像才会显示于显示单元118中。

随后在步骤808将输入操作区域图像发送到获取图像显示处理单元106，在其中对图像进行在显示单元118中的显示所必需的处理。

在引起向GUI操作状态的转变之后，在步骤810，GUI显示控制单元108可以使显示单元118显示预定GUI。例如，GUI显示控制单元108可以在用户希望操作GUI时使显示单元118显示初始菜单。

图9是举例说明在步骤810 GUI显示控制单元108将在显示单元118中显示的GUI的说明图。在图9中所示的例子中，在构成显示单元118的显示器中显示用以调节音量的滑动条GUI、用以选择频道的按钮GUI、用以将屏幕切换到节目向导的按钮GUI和用以记录正在观看的节目的开/关切换GUI。当发生向GUI操作状态的转变时在显示单元118中显示的这些GUI可以任意地被默认设置或者以别的方式设置，并且不限于图9中所示的例子。例如，用户可以任意地进行设置，从而当发生向GUI操作状态的转变时，在显示单元118中显示与常用功能对应的GUI。尽管在图8中所示的流程中描述了其中当发生向GUI操作状态的转变时在显示单元118中显示GUI的例子，但是当然有可能也在操作等待状态中使显示单元118显示这些GUI。也就是说，尽管使显示单元118通常显示预定GUI，但可以是仅当发生向GUI操作状态的转变时才显示包括用户手指(手部)的输入操作区域图像。因此，哪个GUI何时显示于显示单元118的什么位置可以由用户任意地设置和改变。

(2-5.获取图像显示处理流程)

接着将描述在图6中所示处理流程之中在步骤1000的关于获取图像显示处理的具体处理流程。图10是示出了在图6中所示步骤1000的获取图像显示处理的具体处理流程的流程图。

在获取图像显示处理流程中，首先在步骤1002，缩放处理单元126对输入操作区域图像进行缩放处理。如上所述，缩放处理单元126以如下方式进行缩放处理：使得构成从状态转变处理单元105发送的输入操作区域图像的像素的数目与显示单元118的有效像素数目之比变成预定比。如上所述，基于输入操作区域图像的重心、平均像素数目等进行缩放处理。

接着在步骤1004，坐标变换处理单元128对已经进行缩放处理的输入操作区域图像进行坐标变换，使得输入操作区域图像适应于显示单元118的屏幕坐标。如上所述，当输入操作区域图像的坐标系和显示单元118的屏幕坐标是不同系统时进行该处理。

然后在步骤1006，在显示单元118中显示输入操作区域图像、也就是由成像单元102获取的图像中包括用户手指部分的区域。在此，获取图像显示处理单元106可以通过水平地翻转图像而在显示单元118中显示输入操作区域图像。因而，在显示单元118中与用户手指的移动一致地显示用户的手部。结果，用户可以选择/执行TV 100的与各GUI对应的功能，就如同以用户自己的手部操作显示单元118中显示的GUI一样。

图11是举例说明在步骤1006在显示单元118中显示输入操作区域图像的情况的说明图。根据图11明显的是，在构成显示单元118的显示器中显示包括用户手部的输入操作区域图像。用户可以通过参照显示器中显示的用户手部位置移动手部来操作显示器中显示的任何GUI。

(2-6.GUI操作处理流程)

接着将描述在图6中所示处理流程之中在步骤1200的关于GUI操作处理的具体处理流程。在以下描述中以图11中所示例子中的用于节目向导显示的按钮GUI的操作处理为例。图12是示出了在图6中所示的步骤1200的操作按钮GUI的具体处理流程的流程图。

在GUI操作处理流程中，首先在步骤1202，GUI操作确定单元112计算构成显示单元118中当前显示的输入操作区域图像的像素区域的重心。

接着在步骤1204，GUI操作确定单元112确定在步骤1202计算的重心是否定位于显示单元118的显示按钮GUI的像素区域中。如果显示单元118中显示的用户手指没有位于按钮GUI处，则无需执行与GUI对应的功能。因此，如果在步骤1204确定重心没有位于显示单元118的显示按钮GUI的像素区域中，则不进行与GUI对应的处理。

另一方面，如果在步骤1204确定重心位于显示单元118的显示按钮GUI的像素区域中，则GUI操作确定单元112进行在步骤1206的处理。也就是说，GUI操作确定单元112基于GUI操作存储单元114中记录的以往输入操作区域图像的重心和当前重心来计算重心的运动矢量。下文将描述其细节，并且在步骤1212在GUI操作存储单元114中记录由GUI操作确定单元112计算的重心。因此，GUI操作确定单元112可以通过基于当前重心以及与以往预定数目的帧一样多的重心计算重心的轨迹来识别重心的运动矢量。

接着在步骤1208，GUI操作确定单元112确定在步骤1206计算的运动矢量是否满足由GUI管理单元110管理的事件发布定义信息。如果例如参考图5中所示的事件发布定义信息，则与节目向导显示对应的按钮GUI的事件发布定义信息是“从按钮位置连续向下移动三帧”。因此，如果基于计算的当前重心和以往两帧的重心计算的运动矢量在显示单元118中向下移动，则GUI操作确定单元112可以确定满足事件发布定义信息。另一方面，如果基于计算的当前重心和以往两帧的重心计算的运动矢量没有在显示单元118中向下移动，则GUI操作确定单元112可以确定没有满足事件发布定义信息。

如果在步骤1208确定满足事件发布定义信息，则GUI操作确定单元112将确定结果发送到处理执行单元116和GUI显示控制单元108。在接收到确定结果之后，处理执行单元116在步骤1210在显示单元118中显示节目向导。另外，GUI显示控制单元108在步骤1210在显示单元118中显示新的GUI。

图13是举例说明在步骤1210更新显示单元118的流程的概念图。参照图13示出了如果用户在固定时间上(在本实施例中为与三帧对应的时间)在按钮GUI上向下移动手指，则显示单元118的显示器切换到节目向导。也明显的是，用以竖直地或者水平地滑动节目向导的新滑动条GUI显示于显示单元118中。因而，用户可以通过在与滑动条GUI对应的位置移动手指来滑动显示单元118中显示的节目向导。

当选择节目向导显示中的按钮GUI时将显示哪些GUI可以例如由GUI管理单元110管理。因此，在从GUI操作确定单元112接收指令之后，GUI显示控制单元108可以基于由GUI管理单元110管理的信息在显示单元118中显示新的GUI。

然后在步骤1212，GUI操作确定单元112在GUI操作存储单元114中记录在步骤1202计算的重心。如上所述，在这一步骤记录的重心将用来计算运动矢量。

以这一方式，GUI操作确定单元112可以确定用户是否已经操作显示单元118中显示的节目向导显示中的按钮GUI。另外，根据确定结果，处理执行单元116可以在显示单元118中显示节目向导，而GUI显示控制单元108可以在显示单元118中显示新的GUI。

在上述例子中以节目向导显示中的按钮GUI的操作处理为例，并且当然有可能在相似处理流程中执行其它GUI。也就是说，基于目标GUI的事件发布定义信息，GUI操作确定单元112可以参照由GUI管理单元110管理的数据库确定存在/不存在用户的GUI操作。

在上述例子中，GUI操作确定单元112基于构成输入操作区域图像的像素区域的重心来计算运动矢量，但是本发明不限于此。可以使用除了重心之外的值(例如构成输入操作区域图像的像素区域的预定位置，比如与指尖对应的像素值)而不是重心作为参考值。因此，可以在必要时通过改变设置来改变使用构成输入操作区域图像的像素区域的哪个位置作为用于确定的参考值。

利用上述处理流程，TV 100(该TV是根据本实施例的信息处理装置的例子)可以仅在用户希望选择/执行TV 100的预定功能时才使显示单元118显示包括由用户移动的手指(手部)的输入操作区域图像。TV 100也可以根据TV 100具有的各种功能来使显示单元118显示其操作性可易于由用户识别的操作图标的GUI。另外，TV 100可以通过管理针对各GUI的事件发布定义信息来容易地确定用户是否操作显示单元118中显示的GUI。因而，TV 100可以根据用户手指的移动来执行TV 100具有的各种功能或者在显示单元118中显示新的GUI。也就是说，TV 100(该TV是根据本实施例的信息处理装置的例子)可以使用户能够在操作图标的GUI显示于例如由显示器构成的显示单元118中之后通过用户直观地移动手指来选择/执行各种功能。

(3.改进方案)

上述TV 100是用以描述上述实施例的例子，本发明不限于这样的例子，并且仍然可以添加其它功能。下文将描述上述实施例中的信息处理装置的改进方案。

(3-1.第一改进方案(使用声音输入功能))

将描述作为根据上述实施例的TV 100的第一改进方案的TV 200。除了上述TV 100拥有的各种功能之外，第一改进方案中的TV 200还具有声音输入功能，从而可以根据声音输入来使显示单元118显示各种GUI。

图14是示出了在第一改进方案中的电视机200的功能配置的框图。与上述TV 100相比，在第一改进方案中的TV 200还包括声音输入单元202和声音识别处理单元204。TV 200也包括根据来自声音输入单元202的声音输入来进行比如切换显示单元118中显示的GUI这样的处理的GUI显示控制单元208，以及包括将与预定声音输入对应的GUI作为数据库来管理的GUI管理单元210。

声音输入单元202例如由麦克风构成，并且在被输入由用户说出的声音之后将声音转换成作为电信号的声音信号。然后，声音信号由AD转换器(未示出)等转换成数字信号，该数字信号被发送到声音识别处理单元204。

声音识别处理单元204按预定间隔进行对例如从声音输入单元202供应的声音数据的频率分析，以提取频谱和其它声学特征量(参数)。声音识别处理单元204基于如上所述提取的参数和预设声音模式来识别输入到声音输入单元202中的声音。声音识别处理单元204的确定结果发送到GUI显示控制单元208。

声音识别处理单元204的声音识别不限于特定识别方法，并且可以使用能够识别输入到声音输入单元202中的声音的各种方法。

GUI显示控制单元208基于从声音识别处理单元204发送的声音确定结果等来执行对显示单元118中显示的GUI的显示切换。GUI显示控制单元208可以例如基于由GUI管理单元210管理的声音输入以及和与声音对应的GUI关联的数据库来决定将在显示单元118中显示的GUI。GUI管理单元210可以管理将声音输入与对应于声音的GUI关联的数据库，这些对应于声音的GUI例如是针对声音输入如“声音音量”、“音量”和“声音”的用于声音音量调节的滑动条GUI，以及针对声音输入如“频道”和“xx台”的用于频道切换的按钮GUI。因此，GUI显示控制单元208可以基于由GUI管理单元210管理的数据库来选择适当的GUI并且使显示单元118显示该GUI。

前述内容的结果是，在第一改进方案中的TV 200可以根据由用户说出的声音来使显示单元118显示与用户希望的TV 200的各种功能对应的GUI。结果，用户可以通过直观地说出用户希望的TV 200的功能来使显示单元118显示与该功能对应的GUI，并且通过针对显示的GUI直观地移动手指来选择/执行各种功能。

(3-2.第二改进方案(使用光标GUI))

接着将描述作为根据上述实施例的TV 100的第二改进方案的TV300。除了上述TV 100拥有的各种功能之外，第二改进方案中的TV 300还使用户能够通过移动手指来指定包括显示器中显示的文本和任何对象如人物和物品的任何显示区域。另外，在第二改进方案中的TV 300可以对用户指定的任何显示区域进行预定处理。

图15是其中用户使用在第二改进方案中的电视机300来选择显示器中的任意显示区域的概念图。如图15中所示，例如如果在正在观看的节目中有用户关心的任何场面、人物或者文本，则用户直观地移动手指就如同要包围适当的人物一样。响应于手指移动，TV 300通过成像单元102对用户手指的移动进行成像，并且使光标GUI与用户手指的移动一致地在显示器中移动。用户可以具有欣赏以这一方式由光标的轨迹包围的显示区域的诸多方式，比如放大显示、打印、附到电子邮件中和使用WEB进行搜索。下文将描述在具有上述特征的第二改进方案中的电视机300的细节。

图16是示出了在第二改进方案中的电视机300的功能配置的框图。在第二改进方案中的电视机300具有与上述电视机100的功能配置相似的功能配置，并且主要是GUI显示控制单元308和GUI操作确定单元312还具有不同功能。更具体而言，GUI显示控制单元308具有使显示单元118与用户手指的移动一致地显示光标GUI的功能。GUI操作确定单元312具有基于光标GUI的移动来确定用户是否已经选择预定显示区域的功能。

如图15中所示，GUI显示控制单元308使显示单元118与用户手指的移动一致地显示光标GUI。诸如检测用户手指移动的方法等的细节与根据上述实施例的TV 100的细节相同，因此将不加以描述。基于例如输入操作区域图像的由GUI操作确定单元312计算的重心，GUI显示控制单元308可以使显示单元118在重心周围显示预定尺寸的圆形光标GUI。与在根据上述实施例的TV 100中相似，GUI操作确定单元312可以计算输入操作区域图像的重心和运动矢量(该运动矢量是重心的轨迹)以在GUI操作存储单元114中存储重心和轨迹。因此，GUI显示控制单元308可以使显示单元118与GUI操作确定单元312计算的重心运动矢量一致地显示光标GUI的轨迹。也就是说，GUI显示控制单元308可以使显示单元118与用户手指的移动一致地显示光标GUI的轨迹。

与在根据上述实施例的TV 100中相似，GUI操作确定单元312计算输入操作区域图像的重心和运动矢量(该运动矢量是重心的轨迹)，以在GUI操作存储单元114中记录重心和轨迹。GUI操作确定单元312也基于运动矢量来确定显示单元118中显示的光标GUI的轨迹是否绘制出闭合曲线。也就是说，GUI操作确定单元312可以确定用户是否已经通过移动手指来指定显示单元118的预定区域。例如，GUI操作确定单元312可以基于当前运动矢量是否与以往运动矢量相交来确定光标GUI的轨迹是否绘制出闭合曲线。即使运动矢量没有相交，如果运动矢量满足预定图案，则GUI操作确定单元312仍然可以通过进行轨迹插值处理来确定用户已经指定预定显示区域。这里，轨迹插值处理是如下处理，该处理用以即使重心运动矢量实际上没有绘制出闭合曲线仍然例如通过连接运动矢量的起点和当前重心来生成包围预定显示区域的闭合曲线。通过进行这样的轨迹插值处理，即使用户没有使手指正确地画圆，用户仍然可以容易地指定显示单元118的预定显示区域。

如果GUI操作确定单元312确定用户已经指定预定显示区域，则GUI操作确定单元312将确定结果发送到GUI显示控制单元308和处理执行单元116。因而，GUI显示控制单元308可以使显示单元118显示与针对指定显示区域的预定处理有关的操作GUI，例如用于放大显示的滑动条GUI、用于访问WEB的按钮GUI等。处理执行单元116可以根据用户的GUI操作来进行各种处理，比如放大显示、访问WEB、打印和附到电子邮件中。

接着将描述在具有上述特征的第二改进方案中的TV 300对任意显示区域进行的预定处理的流程例子。图17是举例说明在第二改进方案中的电视机300确定与用户手指的移动一致地指定的预定显示区域并且对显示区域进行预定处理的处理流程的流程图。当用户希望在预定显示区域上进行指示(例如选择显示单元118中显示的预定按钮GUI或者有声音输入)时，TV 300可以进行图17中所示的处理流程。

如图17中所示，在步骤1700，GUI操作确定单元312计算构成输入操作区域图像的像素区域的重心。GUI操作确定单元312也在GUI操作存储单元114中记录计算的重心。

接着在步骤1702，GUI操作确定单元312计算将当前重心与GUI操作存储单元114中记录的以往重心连接的运动矢量。GUI操作确定单元312可以由此识别重心的轨迹。GUI操作确定单元312也在GUI操作存储单元114中存储计算的运动矢量。通过以这一方式连接GUI操作存储单元114中记录的运动矢量，GUI操作确定单元312可以识别重心的轨迹。图18示出了举例说明通过连接重心来计算运动矢量的情况的概念图。如图18中所示，GUI操作确定单元312可以通过将当前重心连接到先前输入操作区域图像的像素区域的重心来计算运动矢量。通过连接以这一方式计算的运动矢量，GUI操作确定单元312可以识别显示单元118的显示区域中的输入操作区域图像的重心轨迹。

以这一方式计算的重心和运动矢量发送到GUI显示控制单元308。在接收重心和运动矢量之后，在步骤1704，GUI显示控制单元308可以使显示单元118在重心的坐标位置周围显示预定尺寸的光标GUI和显示运动矢量轨迹作为光标GUI轨迹。因此，GUI显示控制单元308可以在显示单元118中与用户手指的移动一致地绘制光标GUI轨迹。

接着在步骤1706，GUI操作确定单元312确定重心的轨迹是否绘制出闭合曲线、也就是预定显示区域是否由重心的轨迹包围。例如，GUI操作确定单元312可以基于在步骤1702计算的运动矢量是否与以往计算的运动矢量相交来确定重心的轨迹是否绘制出闭合曲线。

如果在步骤1706确定重心绘制出闭合曲线，则GUI操作确定单元312确定由闭合曲线包围的显示区域是由用户指定的区域，并且将确定结果发送到GUI显示控制单元308和处理执行单元116。然后在步骤1708，GUI显示控制单元308在显示单元118中显示预定操作图标GUI，而处理执行单元116执行与用户的GUI操作对应的事件。可以通过由用户指定预定显示区域来执行的事件(功能)例如包括放大显示区域、打印、附到电子邮件中和使用WEB进行搜索，但是不限于特定功能。因此，例如通过具有通信单元或者至打印机的连接单元，TV 300可以在由用户指定的显示区域上执行各种功能。在上述例子中，GUI操作确定单元312确定由闭合曲线包围的显示区域作为由用户指定的区域，但是例如在闭合曲线以外的显示区域可以确定为由用户指定的区域。

在以上描述中，如果在步骤1706确定绘制出闭合曲线，则进行步骤1708的处理，但是本发明不限于此。有可能设置为：例如如果绘制出闭合曲线一次则暂时地决定指定区域，如果绘制出闭合曲线两次则正式地决定指定区域，而如果绘制出闭合曲线三次则取消指定区域。因此，可以例如按照用户设置来任意地改变对闭合曲线指定的显示区域的决定。

然后在步骤1710，GUI操作确定单元312清除显示单元118中显示的光标GUI和光标GUI的轨迹。GUI操作确定单元312也可以删除GUI操作存储单元114中存储的重心运动矢量。因而，用户可以通过移动手指来再次指定另一显示区域。

另一方面，如果在步骤1706确定重心轨迹没有绘制出闭合曲线，则在步骤1712，GUI操作确定单元312确定重心轨迹是否满足轨迹插值条件。这里，轨迹插值是如下处理，该处理连接实际上没有绘制出闭合曲线的重心轨迹，从而使该轨迹形成闭合曲线。因而，即使用户没有移动手指以正确地绘制出闭合曲线，GUI操作确定单元312仍然可以通过进行轨迹插值处理来确定绘制出了闭合曲线。

轨迹插值条件也是用于GUI操作确定单元312进行轨迹插值处理的条件。轨迹插值条件可以被任意地设置并且不限于特定条件。轨迹插值条件的一个例子可以是：运动矢量完成顺时针方向图案如“++”、“+-”、“--”和“-+”的圆圈、然后成对相同符号+或者-重新出现。类似地，可以设置如下条件：运动矢量完成逆时针方向图案如“--”、“+-”、“++”和“-+”的圆圈，然后成对相同符号+或者-重新出现。无需赘言，这些轨迹插值条件仅为本实施例中的例子并且不限于此。

如果在步骤1712确定满足轨迹插值条件，则在步骤1714，GUI操作确定单元312进行轨迹插值处理。也就是说，GUI操作确定单元312通过连接当前重心和重心轨迹的起点等来生成伪闭合曲线。图19是举例说明通过轨迹插值处理来连接实际上没有绘制出闭合曲线的重心轨迹的概念图。参照图19，其示出了尽管重心轨迹实际上没有绘制出闭合曲线、但是通过连接当前重心和以往任何重心来生成闭合曲线。GUI操作确定单元312将以这一方式生成的闭合曲线确定为由用户指定的显示区域，并且将确定结果发送到GUI显示控制单元308和处理执行单元116。然后在上述步骤1708和步骤1710对由用户指定的显示区域进行预定处理。

另一方面，如果在步骤1712确定没有满足轨迹插值条件，则GUI操作确定单元312确定用户尚未选择预定显示区域。因而，GUI显示控制单元308继续在显示单元118中显示光标GUI。

通过针对由成像单元102成像的各帧执行上述步骤，在第二改进方案中的TV 300可以确定用户是否已经指定显示单元118的预定显示区域。另外，在第二改进方案中的TV 300可以使显示单元118显示与可以对用户指定的预定显示区域进行的预定处理对应的操作图标GUI。如果用户选择以这一方式显示的操作图标GUI，则在第二改进方案中的TV 300可以执行与GUI对应的各种功能。也就是说，在第二改进方案中的TV 300可以对通过用户直观地移动手指以指定显示器中显示的对象或者文本来指定的预定对象或者文本执行各种功能。

在前文中已经参照附图具体地描述本发明的优选实施例，但是本发明不限于这些例子。本领域技术人员应当理解，可以构思出在所附权利要求或者其等效含义的范围内的各种改进方案和变更。

例如在上述实施例中，描述以作为本发明的信息处理装置例子的TV为中心，但是本发明不限于这样的例子。例如，信息处理装置可以是个人计算机或者配备有用于各种操作的显示器的信息处理装置，比如音乐播放器和数字收音机。或者，信息处理装置可以是各种记录/再现设备如硬盘记录器和数字万用盘(DVD)记录器，或者是使外部设备的显示器显示GUI的信息处理装置如游戏机。对于无显示器的此类信息处理装置，可以通过向设置在外部设备等中的显示器提供视频输出端子来实现本发明的上述效果而不必提供上述TV 100的实施例中的显示单元118。

可以通过执行信息处理程序来实现信息处理装置，该信息处理程序进行上述实施例和改进方案的各种功能的处理。程序例如存储于设置在信息处理装置等中的程序存储单元中，而且信息处理装置可以通过由中央处理单元(CPU)读取和执行程序来执行上述各种功能和处理。因此，信息处理装置可以通过更新程序来添加新功能或者升级。信息处理程序可以由信息处理装置可以读取的记录介质提供。记录介质例如是磁盘、光盘、磁光盘或者闪存。或者，可以例如经由网络递送信息处理程序而不使用记录介质。

上述移动检测、肤色检测、缩放处理、坐标变换处理和轨迹插值处理是用来描述上述实施例的例子，并且本发明不限于上述例子。例如，允许根据与以上描述中的技术、条件或者公式不同的技术、条件或者公式的移动检测、肤色检测、坐标变换处理或者轨迹插值处理。

当然有可能组合根据上述实施例的TV 100、在第一改进方案中的TV200和在第二改进方案中的TV 300具有的功能。如果例如用户在第二改进方案中的TV 300中指定预定显示区域，则可以根据来自用户的声音输入来引起显示与对显示区域的处理对应的GUI。

在流程图中描述的步骤在这里不仅包括按描述的顺序以时间顺序进行的处理，而且包括并非必然地以时间顺序进行而是可以并行或者单独进行的处理。即使是以时间顺序处理的步骤也当然可以根据情况通过改变其顺序来执行。例如，在图7中所示步骤704的生成移动区域掩模图像和在步骤706的生成肤色区域掩模图像的顺序并不限于图7中所示的顺序，这些步骤的逆序或者并行处理当然也有可能。

本发明包含与2008年8月14日向日本专利局提交的日本专利申请JP 2008-208948有关的主题内容，该申请的全部内容通过引用结合于此。

Claims (14)

1.一种信息处理装置，包括：

获取对象的成像单元；

图标显示控制单元，其使显示器显示与预定处理对应的操作图标；

获取图像显示处理单元，其使所述显示器依次地显示输入操作区域图像，所述输入操作区域图像由构成所述成像单元获取的图像的像素区域之中包括用户手部至少一部分的像素区域构成；

图标管理单元，其管理针对各操作图标的事件发布定义信息，所述事件发布定义信息是用于确定所述用户已经操作所述操作图标的条件；

操作确定单元，其基于所述显示器中显示的所述输入操作区域图像和所述事件发布定义信息来确定所述用户是否已经操作所述操作图标；以及

处理执行单元，其根据所述操作确定单元的确定结果来进行与所述操作图标对应的预定处理，

其中所述操作确定单元计算构成所述输入操作区域图像的像素区域的重心并通过链接构成所述显示器中依次显示的所述输入操作区域图像的像素区域的所述重心来计算所述重心的运动矢量，从而识别所述成像单元获取的用户手部的移动，

其中所述运动矢量的轨迹被显示为光标图形用户界面轨迹，所述光标图形用户界面轨迹是与用户手部的移动一致地绘制的，以及所述操作确定单元还判断所述光标图形用户界面轨迹是否绘制出闭合曲线，并且在判断为未绘制出闭合曲线的情况下，所述操作确定单元确定绘制出的未闭合曲线是否满足轨迹插值条件，并且在满足所述轨迹插值条件的情况下，通过进行轨迹插值确定绘制出了闭合曲线，其中所述轨迹插值是连接实际上没有绘制出闭合曲线的重心轨迹，以使该轨迹形成闭合曲线的处理，以及

其中，按照用户的设置来改变对由所述闭合曲线指定的显示区域的决定。

2.根据权利要求1所述的信息处理装置，其中所述操作确定单元基于所述重心、所述运动矢量和所述事件发布定义信息来确定用户是否已经操作所述操作图标。

3.根据权利要求2所述的信息处理装置，其中所述图标管理单元通过将操作图标与对应于所述操作图标的事件发布定义信息以及当满足所述事件发布定义信息时所述处理执行单元执行的处理内容关联，来管理显示器中显示的各操作图标。

4.根据权利要求3所述的信息处理装置，其中如果所述操作确定单元确定用户已经操作所述显示器中显示的显示图标，则处理执行单元进行与所述图标管理单元管理的操作图标关联的处理内容。

5.根据权利要求4所述的信息处理装置，其中所述图标显示控制单元根据所述用户的操作来更新所述显示器中显示的操作图标。

6.根据权利要求5所述的信息处理装置，还包括：

移动检测单元，其通过比较所述成像单元获取的图像与此前一帧获取的图像来检测发生改变的像素区域，以生成仅由检测到的像素区域构成的移动区域掩模图像；以及

肤色检测单元，其检测在构成所述成像单元获取的图像的像素区域中具有预定色调的像素区域，以生成仅由检测到的像素区域构成的肤色区域掩模图像，其中，

所述输入操作区域图像由通过对构成所述移动区域掩模图像的像素区域和构成所述肤色区域掩模图像的像素区域进行AND运算而计算的像素区域构成。

7.根据权利要求6所述的信息处理装置，其中如果构成所述输入操作区域图像的像素的数目在与预先设置的预定时间相等或者更长的时段上等于或者大于预先设置的预定像素数目，则所述获取图像显示处理单元使所述显示器显示输入操作区域图像。

8.根据权利要求7所述的信息处理装置，其中所述获取图像显示处理单元以使构成所述输入操作区域图像的像素的数目与所述显示器中能够显示的像素的数目之比变成预定比这样的方式来缩放所述输入操作区域图像。

9.根据权利要求1所述的信息处理装置，其中所述显示器设置在与所述信息处理装置分离的外部设备中，并且

所述信息处理装置使设置在外部设备中的显示器显示操作图标和输入操作区域图像。

10.根据权利要求1所述的信息处理装置，还包括显示广播信号中包含的预定视频的显示单元，其中，

所述显示单元包括显示器。

11.根据权利要求1所述的信息处理装置，还包括：

声音输入单元，所述用户将声音输入到所述声音输入单元中；以及

声音识别处理单元，其识别输入到所述声音输入单元中的声音的类型，其中，

所述图标管理单元针对声音的各类型根据声音类型来管理与所述显示器中显示的操作图标有关的信息；以及

所述图标显示控制单元根据所述声音识别处理单元识别的声音类型、基于所述图标管理单元管理的信息来使所述显示器显示与识别的声音类型对应的操作图标。

12.根据权利要求1所述的信息处理装置，其中所述图标显示控制单元基于所述操作确定单元计算的重心的运动矢量来使所述显示器显示重心的轨迹。

13.根据权利要求12所述的信息处理装置，其中如果所述显示器中显示的重心的所述轨迹变成闭合曲线，则所述图标显示控制单元使所述显示器显示下述操作图标，所述操作图标对应于与所述闭合曲线包围的显示区域有关的预定处理。

14.一种信息处理方法，包括以下步骤：

由成像单元获取对象；

使显示器显示与预定处理对应的操作图标；

使所述显示器依次地显示输入操作区域图像，所述输入操作区域图像由构成成像步骤中获取的图像的像素区域之中包括用户手部至少一部分的像素区域构成；

基于图标显示步骤中在所述显示器中显示的操作图标、获取图像显示步骤中在所述显示器中显示的输入操作区域图像和事件发布定义信息，来确定所述用户是否已经操作所述操作图标，所述事件发布定义信息针对各操作图标来管理并且是用于确定所述用户已经操作所述操作图标的条件；以及

根据操作确定步骤中的确定结果来进行与操作图标对应的预定处理，

计算构成所述输入操作区域图像的像素区域的重心并通过链接构成所述显示器中依次显示的所述输入操作区域图像的像素区域的所述重心来计算所述重心的运动矢量，从而识别所述成像单元获取的用户手部的移动，以及

其中所述运动矢量的轨迹被显示为光标图形用户界面轨迹，所述光标图形用户界面轨迹是与用户手部的移动一致地绘制的，

所述信息处理方法还包括判断所述光标图形用户界面轨迹是否绘制出闭合曲线，并且在判断为未绘制出闭合曲线的情况下，确定绘制出的未闭合曲线是否满足轨迹插值条件，并且在满足轨迹插值条件的情况下，通过进行轨迹插值来确定绘制出了闭合曲线，其中所述轨迹插值是连接实际上没有绘制出闭合曲线的重心轨迹，以使该轨迹形成闭合曲线的处理，以及

其中，按照用户的设置来改变对由所述闭合曲线指定的显示区域的决定。

Images