CN102012780B - 用于管理在显示器上呈现的内容的方法和设备 - Google Patents

用于管理在显示器上呈现的内容的方法和设备 Download PDF

Info

Publication number
CN102012780B
CN102012780B CN201010266911.0A CN201010266911A CN102012780B CN 102012780 B CN102012780 B CN 102012780B CN 201010266911 A CN201010266911 A CN 201010266911A CN 102012780 B CN102012780 B CN 102012780B
Authority
CN
China
Prior art keywords
image
operator
pointer
display
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201010266911.0A
Other languages
English (en)
Other versions
CN102012780A (zh
Inventor
野田卓郎
山本一幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102012780A publication Critical patent/CN102012780A/zh
Application granted granted Critical
Publication of CN102012780B publication Critical patent/CN102012780B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop

Abstract

本发明公开了一种信息处理设备、控制显示的方法以及控制显示的程序。提供了用于管理在显示器上呈现的内容的方法、计算机可读存储介质和设备。所述方法包括：接收表示用户的第一特征和第二特征的信号；在所述显示器上呈现第一图像和第二图像，所述第一图像和所述第二图像分别与所述第一特征和所述第二特征相关联；在所述显示器上呈现关联信息，所述关联信息指示所述第一图像与所述第二图像之间的关联；确定所述第一图像和所述第二图像的显示位置；生成所确定的显示位置之间的直线；基于所述直线来计算曲线；以及呈现所述曲线作为所述关联信息。

Description

用于管理在显示器上呈现的内容的方法和设备
相关申请的交叉引用
本申请要求享有于2009年9月4日提交的日本专利申请第2009-204957号的优先权，通过引用将其全部内容合并于此。
技术领域
本公开涉及信息处理设备、用于控制显示的方法以及用于控制显示的程序，并且适合应用于例如实现允许多个操作者同时进行操作的图形用户界面(GUI)的信息处理设备。
背景技术
当前在许多信息处理设备上实现GUI。实际上，这样的信息处理设备均被设计成使例如根据由操作者进行的操作在屏幕上移动的指针被显示，并且允许在用该指针选择屏幕上的任意位置时在屏幕上显示的图标被选择。
此外，作为用于在屏幕上移动指针的定点设备，通常使用鼠标和触摸板；然而，还提出了一种控制器，该控制器通过用运动传感器检测该控制器在空间中的运动来移动指针。例如，参见日本未经审查的专利申请公报第2009-157919号。
在假定一个屏幕由一个操作者操作的前提下设计许多这样的信息处理设备。
另一方面，在假定一个屏幕由多个操作者操作的前提下设计诸如游戏机的某些信息处理设备。从现在开始，预期这样的信息处理设备会增多。
实际上，这样的信息设备被设计成使分别被分配给各操作者中相对应的一个操作者的各指针被显示在一个屏幕上，并且允许每个操作者操作他/她的指针并指定屏幕上的任意位置。
发明内容
然而，如上所述，当使多个指针被显示在一个屏幕上时，难以觉察出哪个操作者正在操作哪个指针。与一个操作者进行操作的情况相比，存在可操作性降低的问题。
因此，公开了一种用于管理在显示器上呈现的内容的方法。该方法可以包括：接收表示用户的第一特征和第二特征的信号；以及在显示器上呈现第一图像和第二图像。第一图像和第二图像可以分别与第一特征和第二特征相关联。该方法还可以包括：在显示器上呈现关联信息，该关联信息可以指示第一图像与第二图像之间的关联。该方法进而可以包括：确定第一图像和第二图像的显示位置；生成所确定的显示位置之间的直线；基于该直线来计算曲线；以及呈现该曲线作为关联信息。
还公开了一种用于管理在显示器上呈现的内容的设备，该设备包括：用于接收表示用户的第一特征和第二特征的信号的装置；用于在所述显示器上呈现第一图像和第二图像的装置，所述第一图像和所述第二图像分别与所述第一特征和所述第二特征相关联；用于在所述显示器上呈现关联信息的装置，所述关联信息指示所述第一图像与所述第二图像之间的关联；用于确定所述第一图像和所述第二图像的显示位置的装置；用于生成所确定的显示位置之间的直线的装置；用于基于所述直线来计算曲线的装置；以及用于呈现所述曲线作为所述关联信息的装置。
附图说明
图1是示出作为实施例的概览的信息处理设备的结构的示意图；
图2是示出作为实施例的具体示例的多操作者同时操作系统的结构的示意图；
图3是示出TV的硬件结构和立体摄像机的硬件结构的块图；
图4是示出图像列表屏幕的结构的示意图；
图5是用于说明从已进行了镜像的摄像机图像中检测脸区域和手区域的示意图；
图6是示出在脸区域的图像被显示为操作者图标时所获得的显示示例的示意图；
图7是示出在指针被显示在手的位置处时所获得的显示示例的示意图；
图8是示出在显示线时所获得的显示示例的示意图；
图9A及图9B是用于说明线的形状的改变的示意图；
图10A及图10B是示出指针的动画的示意图；
图11是指针显示处理过程的流程图；以及
图12是示出根据其它实施例的图像列表屏幕的结构的示意图。
具体实施方式
按以下顺序进行实施例的描述：
1.实施例
2.其它实施例
<1.实施例>
[1-1.实施例的概览]
首先，将描述实施例的概览。顺便提及，在描述该概览之后，将描述实施例的具体示例。
在图1中，1表示信息处理设备。该信息处理设备1设置有识别单元2，其按照操作主体与来自该操作主体的指令彼此相关的方式识别该操作主体和来自该操作主体的指令。此外，信息处理设备1使显示单元(未示出)显示指示由识别单元2识别的操作主体的第一图像或显示信息，以及根据来自操作主体的指令被操作的第二图像或显示信息。此外，信息处理设备1设置有控制单元3，其根据操作主体与来自该操作主体的指令之间的对应关系，使显示单元显示指示第一显示信息与第二显示信息之间的相关性的关联信息或相关性信息。
利用这样的结构，信息处理设备1可以使操作者容易地识别哪个操作主体正在操作第二显示信息(例如，指针)，其根据来自该操作主体(例如，操作者)的指令被操作。因此，即使在例如存在多个操作主体并且多条第二显示信息被显示的情况下，信息处理设备1也可以使各操作者容易地识别各操作主体中的哪个正在操作各第二显示信息中的哪条。
更具体地说，控制单元3使例如连接第一显示信息和第二显示信息的线显示为相关性信息。此外，在这种情况下，控制单元3可以根据对第二显示信息进行的操作使作为相关性信息的线变弯并且变粗。
此外，在未对第二显示信息进行操作超过预定时间时，控制单元3还可以使第二显示信息不被显示。此外，在这种情况下，当开始对第二显示信息进行操作时，控制单元3可以使第二显示信息被显示在第一显示信息的位置处，然后使第二显示信息移动。当终止对第二显示信息进行操作时，控制单元3还可以使第二显示信息移动到第一显示信息的位置，然后使第二显示信息不被显示。
此外，信息处理设备1还可以设置有从摄像机图像中检测作为操作主体的操作者的检测单元4。在这种情况下，识别单元2根据由检测单元4检测的操作者的第一特征或脸以及该操作者的第二特征或手的运动，按照该操作者与来自该操作者的指令彼此相关的方式识别该操作者和来自该操作者的指令。此外，在这种情况下，控制单元3使由检测单元4检测的操作者的脸图像被显示为第一显示信息，并且使第二显示信息的显示位置根据操作者的手的运动而移动。
此外，在这种情况下，控制单元3还可以使第一显示信息被显示在与摄像机图像内由检测单元4检测的操作者的位置相对应的位置处。
此外，识别单元2还可以根据作为操作主体的外部机器和来自该外部机器的输入信号，按照该外部机器与来自该外部机器的指令彼此相关的方式识别该外部机器和来自该外部机器的指令。
此外，识别单元2还可以识别经由网络输出指令的操作主体以及不经由网络而直接地输出指令的操作主体。在这种情况下，根据来自识别单元2的识别结果，控制单元3使与经由网络输出指令或信号的操作主体相对应的第一显示信息被显示在第一显示区域中，并且使与不经由网络而直接地输出指令的操作主体相对应的第一显示信息被显示在第二显示区域中。
在下文中将具体地描述具有这种结构的信息处理设备1的具体示例。[1-2.实施例的具体示例]
[1-2-1.多操作者同时操作系统的结构]
接下来，将描述实施例的具体示例。在图2中，100表示多操作者同时操作系统，其在假定多个操作者同时进行操作的前提下设计。
该多操作者同时操作系统100包括电视(也可以称作TV)101和连接到该TV101的立体摄像机102。
立体摄像机102以面向从TV101的前方延伸的方向安装在TV101的顶部，并且拾取TV101前方的图像。
这里，存在例如在立体摄像机102的图像拾取区域内存在四个操作者A至D的情况。这里，TV101根据从由立体摄像机102拾取的摄像机图像中检测的操作者A至D的手的运动来识别由各个操作者A至D进行的操作，并且根据这些操作来操作。
这样，按照各个操作者A至D可以在各个操作者A至D面对TV101的同时通过移动他们的手同时操作该TV101的方式设计该多操作者同时操作系统100。
此外，TV101可以利用移动终端103进行无线通信。TV101根据从该移动终端103发送的命令来识别操作者E经由移动终端103进行的操作，并且根据该操作来操作。注意，该移动终端103是具有远程控制TV101的功能的终端。
即，该多操作者同时操作系统100被设计成，允许操作者E即使从立体摄像机102的图像拾取区域外，也经由移动终端103，与图像拾取区域内的其它操作者A至D相似且同时地操作TV101。
[1-2-2.TV和立体摄像机的硬件结构]
接下来，将使用图3来描述TV101的硬件结构和立体摄像机102的硬件结构。
TV101经由外部接口110电缆连接到立体摄像机102。此外，TV101经由无线接口111无线连接到移动终端103。
在该TV101中，中央处理单元(CPU)112被设计成对各种单元进行中央控制。CPU112在随机存取存储器(RAM)114中展开程序(该程序存储在非易失性存储器113中)，读取该程序，并且根据该程序来进行各种处理并控制各种单元。
如上所述，该TV101被设计成检测操作者的手的运动，并且将该运动识别为操作。具体地说，TV101的CPU112控制立体摄像机102拾取立体摄像机102前方(即，TV101前方)的图像，并且从作为图像拾取的结果而获得的摄像机图像中检测例如各个操作者A至D的手的运动。然后，立体摄像机102根据所检测的各个操作者A至D的手的运动来识别由各个操作者A至D进行的操作(例如，指针操作或手势操作)，并根据这些操作来进行处理。
此外，CPU112还被设计成根据从移动终端103发送的命令来识别由操作者E经由移动终端103进行的操作，并且根据该操作来进行处理。
顺便提及，CPU是中央处理单元的缩写，RAM是随机存取存储器的缩写。
此外，该TV101具有电视广播(也可以称作TV广播)输出功能。实际上，当通过由操作者进行的操作指示TV101输出TV广播时，TV101向调谐器116输入由外部天线115接收到的TV广播信号。在由CPU112进行的控制下，调谐器116获得通过由操作者进行的操作指定的信道的TV广播信号，并且将该TV广播信号发送到TV广播信号处理单元117。
在由CPU112进行的控制下，TV广播信号处理单元117通过对该TV广播信号进行预定处理，从该TV广播信号中获得节目的视频数据和音频数据。从这些数据中，将视频数据从TV广播信号处理单元117发送到显示处理单元118，并且将音频数据从TV广播信号处理单元117发送到音频处理单元119。
在由CPU112进行的控制下，显示处理单元118通过对视频数据进行预定显示处理来获得视频信号，并且将该视频信号发送到显示器120。结果，放送中的节目的视频被显示在显示器120上。
另一方面，在由CPU112进行的控制下，音频处理单元119通过对音频数据进行预定音频处理来获得音频信号，并且将该音频信号发送到扬声器121。结果，放送中的节目的音频从扬声器121输出。
这样，TV101输出TV广播，并且允许用户观看TV广播节目。
此外，该TV101具有显示图像列表的功能。实际上，CPU112使非易失性存储器113存储从例如移动终端103接收的图像数据，移动终端103经由无线接口111无线连接到TV101。
然后，当通过由操作者进行的操作指示CPU112显示图像的列表时，CPU112从非易失性存储器113中读取多个图像数据，并将表示这些图像数据的信号发送到显示处理单元118。
在由CPU112进行的控制下，显示处理单元118根据所接收到的图像数据来生成图像列表屏幕(后面将具体地描述)的显示数据。显示处理单元118通过对该显示数据进行预定显示处理来获得屏幕信号，并将该屏幕信号发送到显示器120。结果，图像列表屏幕被显示在显示器120上。
这样，TV101显示图像列表屏幕，从而允许用户观看图像的列表。注意，该图像列表屏幕是在假定多个操作者同时进行操作的前提下设计的屏幕，并允许各个操作者选择任意图像。
另一方面，立体摄像机102包括图像拾取单元122和外部接口123。立体摄像机102经由该外部接口123而连接到TV101。
图像拾取单元122设置有例如水平排列的两个摄像机122A和122B。图像拾取单元122被设计成通过使用这两个摄像机122A和122B来实立体镜地拾取图像拾取单元122前方空间的图像。
实际上，在由TV101进行的控制下，图像拾取单元122通过使用摄像机122A和122B中的每个，以预定时间间隔拾取图像拾取单元122前方的图像，并经由外部接口123将所得到的摄像机图像数据按顺序发送到TV101。
注意，发送给TV101的摄像机图像数据包括由摄像机122A拾取的摄像机图像数据以及由摄像机122B拾取的摄像机图像数据。
TV101根据从立体摄像机102发送的摄像机图像数据来识别例如处于TV101前方的各个操作者A至D。
具体地说，TV101的CPU112对由例如摄像机122A拾取的摄像机图像数据进行人检测处理，该摄像机图像数据包括在从立体摄像机102发送的摄像机图像数据中。CPU112通过进行该人检测处理来检测例如操作者的脸和手。
存在用于脸检测的各种算法。例如，存在一种算法，其中，从摄像机图像中提取肤色区域和该肤色区域内的特征值(被假定为眼睛和嘴的部分)，并且根据这些特征值之间的位置关系来确定肤色区域是否为脸。
CPU112通过利用这样的算法从摄像机图像中检测被确定为脸的各区域(也可以称作脸区域)，并且获得所检测的脸区域中的每个的坐标(例如，脸区域的中心坐标)。
这些坐标被表示为xy平面上的坐标，其中例如摄像机图像的中心被设定为原点，水平轴被设定为x轴，并且垂直轴被设定为y轴。即，这些坐标被认为是xy平面上的坐标，其中立体摄像机102的图像拾取区域的中心被设定为原点，从立体摄像机102的视点观看的水平轴被设定为x轴，并且从立体摄像机102的视点观看的垂直轴被设定为y轴。该xy平面也是平行于显示器120的显示面的平面。
另一方面，还存在用于手检测的各种算法。例如，存在一种算法，其中，从摄像机图像中提取肤色区域和该肤色区域内的特征值(例如，轮廓)，并且通过将这些特征值与手的轮廓的模板图像进行匹配处理来确定该肤色区域是否为手。此外，这里，还可以通过例如准备不同的手形状的模板图像并使用各模板图像中的每个进行匹配处理来确定手的形状。例如，可以将如石头剪子布(paper-rock-scissor)中的石头的握拳的形状(也可以称作石头形状)与如石头剪子布中的布的张开手掌的形状(也可以称作布形状)区分开。
CPU112通过利用这样的算法从摄像机图像中检测被确定为手的各区域(也可以称作手区域)，并获得所检测的各手区域中的每个的坐标(例如，手区域的中心坐标)。
这里，例如，如果摄像机图像中包括四个操作者A至D，则通过进行人检测处理在xy平面上获得四张脸和八只手中的每个的坐标。因此，CPU112可以识别从立体摄像机102的视点观看的四张脸与八只手之间的水平和垂直位置关系。
此外，CPU112根据由摄像机122A拾取的摄像机图像数据以及由摄像机122B拾取的摄像机图像数据，通过使用立体方法来计算从立体摄像机102到四张脸及八只手中的每个的距离。
这里，当立体摄像机102的位置被设定为原点并且从立体摄像机102的视点观看沿深度方向的轴被设定为z轴时，可以通过z轴上的点来指示每个距离。
这样，获得四张脸和八只手中的每个在xy平面上的坐标及在z轴上的点，从而获得xyz空间中四张脸和八只手中的每个的坐标。
因此，CPU112可以识别从立体摄像机102的视点观看沿水平和垂直方向以及深度方向他们的四张脸中的每个与八只手中的每个之间的位置关系，即，三维空间中的位置关系。
然后，CPU112根据三维空间中的这些位置关系来确定他们的脸与他们的手之间的对应关系。即，CPU112确定哪张脸和哪只手属于同一人(即，操作者)。具体地说，CPU112确定例如脸和三维空间中距该脸最近的两只手属于同一人。
结果，对于四个操作者A至D中的每个，他/她的脸和手(双手)被彼此相关。其后，通过从以预定时间间隔自立体摄像机102发送的摄像机图像数据中检测各个操作者A至D的脸和手，CPU112保持他们的脸与他们的手之间的对应关系，并检测他们的手中的每个的运动(位置和形状的改变)。
然后，根据各个操作者A至D的手(双手)的运动(如上所述检测该运动)，CPU112识别由各个操作者A至D进行的各个操作(例如，指针操作和手势操作)，并根据这些操作来进行处理。
[1-2-3.图像列表屏幕]
接下来，将具体地描述要被显示在TV101的显示器120上的图像列表屏幕和多个操作者要对该图像列表屏幕进行的操作。注意，这里，将描述包含由立体摄像机102捕获的四个操作者A至D和具有移动终端103的操作者E的5个操作者进行操作的示例。此外，CPU112根据从非易失性存储器113中读取的程序对该图像列表屏幕130进行显示控制。
当通过由操作者进行的操作指示TV101的CPU112显示图像的列表时，CPU112使显示器120显示如图4所示的图像列表屏幕130。
该图像列表屏幕130由两个区域构成：作为图像列表屏幕130的上部三分之二的区域130A，以及作为图像列表屏幕130的下部三分之一的区域130B。与从非易失性存储器113中读取的多个图像数据之一相对应的各图像图标Pi排列并显示在两个区域中作为图像列表屏幕130的上部三分之二的区域130A中。此后，该区域130A也可以称作图像显示区域130A。
此外，分别与多个操作者(例如，操作者A至E)中的每个相对应的各操作者图标Ui(UiA至UiE)横向排列并显示在作为图像列表屏幕130的下部三分之一的区域130B中。此后，该区域130B也可以称作操作者显示区域130B。
这里，关于由立体摄像机102捕获的四个操作者A至D，从摄像机图像中提取的各个操作者A至D的脸图像在该操作者显示区域130B中被显示为操作者图标UiA至UiD。另一方面，关于移动终端103的操作者E，作为他/她的脸图像的替代，移动终端103的图像被显示为操作者图标UiE。操作者图标UiA至UiD也可以基于非易失性存储器113、RAM114和/或外部存储装置中存储的预定图像数据生成。该预定图像数据可以与用户的脸的表示相对应，并且可以不表示用户的实际脸。
此外，由各个操作者A至E操作的多个指针Po(PoA1、PoB1、PoB2、PoC1、PoC2、PoD1、PoE1)被显示在该图像列表屏幕130上。指针Po可以基于非易失性存储器113、RAM114和/或外部存储装置中存储的预定图像数据生成。该预定图像数据可以与用户的手的表示相对应，并且可以不表示用户的实际手。
这里，在操作者显示区域130B内的位置处显示由立体摄像机102捕获的分别与四个操作者A至D中的每个相对应的操作者图标UiA至UiD，所述位置与摄像机图像内它们的各个脸沿水平方向所处的位置相对应。
此外，由这四个操作者A至D中的每个操作的指针Po被设计成显示在图像列表屏幕130内的位置处，所述位置与摄像机图像内他们的手(双手)沿垂直和水平方向所处的位置相对应。
具体地说，CPU112水平地翻转由立体摄像机102拾取的摄像机图像(对其进行镜像)，并将该摄像机图像的分辨率转换成显示器120的分辨率。
此后，CPU112从摄像机图像中检测各个操作者A至D的脸区域Fa和手区域Hr(图5)，并获得这些区域在摄像机图像内的坐标。这些坐标与显示器120的屏幕内的坐标相对应。
此外，CPU112把各个操作者A至D的脸区域Fa的y坐标固定在操作者显示区域130B沿垂直方向的中心处，并使操作者图标UiA至UiD被显示在与各个操作者A至D的脸区域Fa的x坐标相对应的位置处(图6)。结果，分别与各个操作者A至D相对应的操作者图标UiA至UiD被显示在操作者显示区域130B中分别与各个操作者A至D的脸在摄像机图像内的位置相对应的位置处。
即，操作者图标UiA、UiB、UiC和UiD从左侧起按顺序排列，并按照操作者图标UiA、UiB、UiC和UiD的位置分别与TV101前方的操作者A至D的实际脸的位置相对应的方式被显示在操作者显示区域130B中。
此外，CPU112使指针Po被显示在与各个操作者A至D的手区域Hr的坐标相对应的位置处(图7)。结果，要由各个操作者A至D操作的指针Po被显示在图像列表屏幕130上与各个操作者A至D的手在摄像机图像内的位置相对应的位置处。
即，例如，指针PoB1被显示在图像列表屏幕130上与处于TV101前方的操作者B的左手的实际位置相对应的位置处。指针PoB2被显示在图像列表屏幕130上与他/她的右手的实际位置相对应的位置处。
此外，CPU112从摄像机图像中检测各个操作者A至D的手的位置的改变，并使指针Po根据所检测的他们的手的位置的改变而移动。
这样，按照可以通过移动各个操作者A至D的手将与他们的手相对应的指针Po移动到例如期望图像图标Pi上的方式设计图像列表屏幕130。
此外，CPU112被设计成通过在指针Po位于图像图标Pi上时在该图像图标Pi的边缘处显示框Fr(图4)，来以图形方式示出图像图标Pi处于被指针Po指定的状态。
此外，当指针Po处于位于图像图标Pi上的状态时，如果CPU112检测到与该指针Po相对应的他/她的手的形状从布形状改变成石头形状，则CPU112使图像图标Pi处于被该指针Po选择的状态。
这里，CPU112被设计成通过使该图像图标Pi被显示得比其它图像图标Pi大(图4)，来以图形方式示出该图像图标Pi处于被选择的状态。
这样，按照各个操作者A至D可以通过操作指针Po选择期望图像图标Pi的方式设计图像列表屏幕130。
此外，如果与指针Po相对应的他/她的手的位置在图像图标Pi处于被该指针Po选择的状态的同时移动，则CPU112使该图像图标Pi与指针Po一起移动。
此外，当图像图标Pi处于被指针Po选择的状态时，如果与指针Po相对应的他/她的手的形状从石头形状改变成布形状，则CPU112使该图像图标Pi处于被释放的状态。
这样，还按照各个操作者A至D可以通过操作指针Po来拖放期望图像图标Pi的方式设计图像列表屏幕130。
此外，CPU112使指针Po的形状根据各个操作者A至D的手的形状的改变而改变。即，当他/她的手的形状是石头形状时，CPU112使与该手相对应的指针Po的形状改变成石头形状。另一方面，当他/她的手的形状是布形状时，CPU112使与该手相对应的指针Po的形状改变成布形状。
这样，CPU112被设计成通过指针Po的形状以图形方式示出由各个操作者A至D进行的手势。
此外，根据操作者A至D的脸与手之间的对应关系，在图像列表屏幕130上显示连接分别与各个操作者A至D的脸相对应的操作者图标UiA至UiD和与各个操作者A至D的手相对应的指针Po的线St或关联信息。
具体地说，如上所述，CPU112根据摄像机图像确定各个操作者A至D的脸与手之间的对应关系。然后，CPU112根据这些对应关系使连接操作者图标Ui和指针Po的线St被显示在图像列表屏幕130上(图8)。这里，CPU112计算连接操作者图标Ui的显示位置或坐标(例如，中心坐标)和指针Po的显示位置或坐标(例如，中心坐标)的曲线，并且使该曲线被显示为线St。
注意，CPU112被设计成，通过每当操作者图标Ui的坐标或指针Po的坐标改变时重新计算线St的曲线，即使在指针Po被移动时，也总是经由线St连接操作者图标Ui和指针Po。
结果，例如，如图4所示，连接与操作者B的脸相对应的操作者图标UiB和与操作者B的左手相对应的指针PoB1的线StB1被显示在图像列表屏幕130上。此外，连接该操作者图标UiB和与操作者B的右手相对应的指针PoB2的线StB2被显示。
因此，该图像列表屏幕130可以使观看该图像列表屏幕130的人(例如，操作者A至E)容易地识别各个指针Po中的哪个由操作者A至D中的哪个操作。
此外，CPU112还被设计成根据指针Po的形状是布形状还是石头形状来改变线St的形状。
具体地说，如图9所示，CPU112计算曲线Cu，其与连接操作者图标Ui的中心坐标和指针Po的中心坐标的直线Li(实际上未显示)相比是弯曲的。这里，如图9A所示，当指针Po的形状是布形状时，CPU112计算具有顶点Pm的曲线Cu(该顶点Pm与线Li的距离最远并且位于曲线Cu的中部)，并使该曲线Cu被显示为线St。
相对照地，与指针Po是布形状时的情况相比，当指针Po是石头形状时，CPU112计算具有顶点Pm的曲线Cu，该顶点Pm位于距操作者图标Ui较近处且与线Li的距离更远。此外，与指针Po是布形状时的情况相比，CPU112使该曲线Cu更粗并被显示为线St。
即，在该图像列表屏幕130上，线St被比作操作者的手臂。该图像列表屏幕130被设计成通过在指针Po的形状变成石头形状时使线St变弯并变厚，来以图形方式给出这样的观感：操作者通过弯曲他/她的手臂来给予指针Po好的拉动。
因此，操作者可以按照与操作者用他/她自己的手抓取图像几乎相同的方式，通过使用指针Po在该图像列表屏幕130上选择图像图标Pi。
此外，如果多个指针Po被连续地显示在该图像列表屏幕13o上，则该屏幕可能看起来凌乱。因此，设计成使超过预定时间未移动的指针Po临时地不被显示在图像列表屏幕130上。
具体地说，对于操作者A至D的每只手，如果他/她的手停止移动并且因此指针Po中的相对应的指针停止移动，则CPU112开始计数。然后，如果从指针Po停止移动起经过了预定时间，则CPU112使指针Po不被显示。
这里，CPU112不是简单地使未移动的指针Po不被显示。如图10A所示，CPU112首先使动画被显示，其中，该指针Po正在被拉近指针Po经由线St连接到的操作者图标Ui，然后使该指针Po不被显示。
此后，假定与该指针Po相对应的他/她的手再次移动。然后，CPU112并不简单地使该指针Po再次被显示。如图10B所示，CPU112首先使指针Po被显示在操作者图标Ui附近，然后使动画被显示，其中，指针Po正在被移动到与他/她的手的实际位置相对应的位置。
注意，不仅在CPU112使指针Po再次被显示时，而且例如在CPU112使指针Po第一次被显示在屏幕上时，CPU112都类似地使动画被显示。在这种情况下，例如，CPU112使每个指针Po不被显示，直到CPU112检测到与指针Po相对应的他/她的手的移动。当CPU112检测到与指针Po相对应的他/她的手的移动时，CPU112使指针Po被显示，然后使动画被显示。
因此，该图像列表屏幕130可以使观看该图像列表屏幕130的人(例如，操作者A至E)容易地识别各指针Po中的哪个由各操作者中的哪个操作。此外，可以防止尽管多个指针Po未被操作但它们仍被连续地显示在屏幕上的情况。
另一方面，与移动终端103相对应的操作者图标UiE被显示在例如操作者显示区域130B内的开放区域中。此外，经由该移动终端103被操作的指针Po被设计成根据从移动终端103发送的命令移动。
注意，这里，移动终端103是具有操作单元的终端，其在假定用一只手操作的前提下设计。因此，该移动终端103每次可以操作一个指针Po。因此，在图像列表屏幕130上仅显示一个指针PoE作为可以经由移动终端103被操作的指针Po。该指针PoE的形状被固定成箭头形状。
因此，按照这样的方式设计图像列表屏幕130：类似于各个操作者A至D，操作者E可以通过经由移动终端103操作指针PoE来拖放期望图像图标Pi。
此外，还按照这样的方式设计该图像列表屏幕130：连接操作者图标UiE和指针PoE的线St被显示。这里，CPU112根据命令与发送该命令的移动终端103之间的对应关系，使连接操作者图标UiE和指针PoE的线StE被显示。注意，按照这样的方式显示线StE：该线StE由例如不同于连接由立体摄像机102捕获的操作者A至D的操作者图标Ui和指针Po的线St的形式(例如，虚线)指示。
此外，当该指针PoE未被移动超过预定时间时，该指针PoE还被设计成在显示关于指针PoE的动画之后不被显示。当指针PoE正在被再次移动时，该指针PoE还被设计成在显示关于指针PoE的动画之后再次被显示。
顺便提及，在实施例的概览中描述的包括信息处理设备1的识别单元2、控制单元3和检测单元4的硬件的具体示例是上述TV101的CPU112。此外，在实施例的概览中描述的操作主体的具体示例是上述操作者A至D和移动终端103。此外，在概览中描述的指示操作主体的第一显示信息的具体示例是上述操作者图标Ui。此外，在概览中描述的根据来自操作主体的指令被操作的第二显示信息的具体示例是上述指针Po。此外，示出第一显示信息与第二显示信息之间的相关性的相关性信息的具体示例是上述线St。
[1-2-4.指针显示处理过程]
这里，将描述关于指针Po的显示的处理过程(也可以称作指针显示处理过程)。顺便提及，该指针显示处理过程是由TV101的CPU112根据从非易失性存储器113中读取的程序执行的指针显示处理的过程。CPU112被设计成针对每个指针Po执行该指针显示处理。因此，这里，将关于要针对某个指针Po执行的指针显示处理进行描述。
当通过操作者的操作指示CPU112例如显示图像的列表时，CPU112使图像列表屏幕130被显示并开始图11中所示的指针显示处理过程RT1，并且进行到步骤SP1。
在步骤SP1中，CPU112确定指针Po当前是否正在被显示。这里，如果由于指针Po当前未被显示因此获得否定确定，则CPU112进行到步骤SP2。
在步骤SP2中，CPU112确定该指针Po是否正在被移动。这里，如果获得肯定确定，则这意味着由于与该指针Po相对应的手被移动或从移动终端103发送命令，因此指针Po被移动。
这里，CPU112进行到步骤SP3。在步骤SP3中，CPU112开始显示该指针Po。这里，CPU112使动画被显示，其中该指针Po从操作者图标Ui引出，并且还使连接该指针Po和操作者图标Ui的线St被显示。
在以这种方式显示指针Po之后，CPU112返回到步骤SP1。
相对照地，如果在上述步骤SP2中获得否定确定，则这意味着指针Po未被移动。这里，CPU112跳过步骤SP3中的处理，并返回到步骤SP1。
另一方面，如果在上述步骤SP1中获得肯定确定，则这意味着指针Po当前正在被显示。这里，CPU112进行到步骤SP4。
在步骤SP4中，CPU112确定该指针Po是否正在被移动。这里，如果由于该指针Po未被移动因此获得否定确定，则CPU112进行到步骤SP5。
在步骤SP5中，CPU112确定从该指针Po的移动停止起是否经过了预定时间。这里，如果由于未经过预定时间因此获得否定确定，则CPU112返回到步骤SP4。
相对照地，如果由于从指针Po的移动停止起经过了预定时间因此在该步骤SP5中获得肯定确定，则CPU112进行到步骤SP6。在步骤SP6中，CPU112终止显示该指针Po(即，使指针Po不被显示)，并且返回到步骤SP1。这里，CPU112使动画被显示，其中该指针Po被拉近操作者图标Ui。
此外，如果由于指针Po正在被移动因此在上述步骤SP4中获得肯定确定，则CPU112跳过步骤SP5和SP6中的处理，并返回到步骤SP1。
CPU112被设计成根据该指针显示处理过程RT1来控制显示和不显示指针Po。
[1-2-5.操作和效果]
利用上述结构，TV101的CPU112从由立体摄像机102拾取的摄像机图像中检测处于TV101前方的各个操作者A至D的脸和手。此外，CPU112根据各个操作者A至D的脸与手之间的位置关系来确定他们的脸中的哪张脸和他们的手中的哪只手属于同一人。即，CPU112确定他们的脸与他们的手之间的对应关系。
然后，CPU112使分别与各个操作者A至D的脸相对应的操作者图标UiA至UiD以及分别根据各个操作者A至D的手的运动而移动的多个指针PoA至PoD被显示在图像列表屏幕130上。
此外，这里，CPU112根据所确定的操作者A至D的脸与他们的手之间的对应关系，使连接与各个操作者A至D的脸相对应的操作者图标UiA至UiD和与各个操作者A至D的手相对应的指针Po的线St被显示在图像列表屏幕130上。
因此，TV101可以使观看图像列表屏幕130的人(操作者)容易地识别指针Po与操作者图标Ui之间的相关性，即，各指针Po中的哪个由各操作者中的哪个操作。
此外，当移动终端103连接到TV101时，CPU112使与移动终端103相对应的操作者图标UiE被显示在图像列表屏幕130上。此外，这里，CPU112使根据从该移动终端103发送的命令而移动的指针PoE被显示在图像列表屏幕130上。
此外，CPU112根据命令与发送该命令的移动终端103之间的对应关系使连接与移动终端103相对应的操作者图标UiE和经由移动终端103被操作的指针PoE的线St被显示。
因此，TV101可以使观看图像列表屏幕130的人(操作者)容易地识别指针PoE是经由移动终端103被操作的。
此外，通过以这种方式显示连接操作者图标Ui和指针Po的线St，TV101可以使观看图像列表屏幕130的人以指针Po和线St的整体运动的方式感知指针Po的运动。因此，即使在例如指针Po的运动较慢时，图像列表屏幕130也能使指针Po的运动被容易地识别。
利用上述结构，TV101可以使操作者容易地识别指针Po与操作者图标Ui之间的相关性，即，各指针Po中的哪个由各操作者中的哪个操作。因此，即使在显示多个操作者和多个指针Po时，也可以使操作者容易地识别各指针Po中的哪个由各操作者中的哪个操作。因此，无论同时进行操作的操作者的数量如何，都可以获得优选的可操作性。
<2.其它实施例>
[2-1.其它实施例1]
注意，在上述实施例的具体示例中，TV101附近的操作者A至E在直接地看着显示器120的同时操作TV101，但并不限于此。远程站点处的操作者可以经由网络操作TV101。
在这种情况下，例如，准备两套TV101和立体摄像机102。然后，两个TV101经由网络而彼此连接。注意，在这种情况下，两个TV101中的每个具有网络接口。
此外，例如，两个TV101中的一个被视作主机，并且另一个被视作客户端。允许操作者直接地或经由作为客户端的TV101对作为主机的TV101进行操作。这里，作为主机的TV101也可以称作主机设备101，并且作为客户端的TV101也可以称作客户端设备101。
这里，主机设备101的CPU112使显示器120显示例如图12中所示的图像列表屏幕200。
图像列表屏幕200由三个区域构成：区域200A，其为图像列表屏幕200的上部四分之一；区域200B，其为图像列表屏幕200的下部四分之一；以及区域200C，其为区域200A与200B之间的区域。与从主机设备101的非易失性存储器113中读取的多个图像数据相对应的图像图标Pi排列并显示在三个区域中的区域200C中。即，该区域200C是图像显示区域200C。
此外，由主机侧的立体摄像机102捕获的、分别与各个操作者A、C和D相对应的操作者图标UiA、UiC和UiD横向排列并显示在作为图像列表屏幕200的下部四分之一的区域200B中。该区域200B也称作操作者显示区域200B。
此外，由主机侧的立体摄像机102捕获的、分别与各个操作者F和G相对应的操作者图标UiF和UiG横向排列并显示在作为图像列表屏幕200的上部四分之一的区域200A中。该区域200A也称作通信对方显示区域200A。
注意，主机设备101的CPU112从客户端设备101获得由客户端侧的立体摄像机102拾取的摄像机图像，从该摄像机图像中检测操作者F和G的脸，并使操作者图标UiF和UiG被显示。
此外，各指针Po被显示在图像列表屏幕200上与主机侧的各个操作者A、C和D的手相对应的位置处，各个操作者A、C和D的手是从主机侧的摄像机图像中检测的。此外，各指针Po被显示在与从客户端侧的摄像机图像中检测的各个操作者F和G的手相对应的位置处。
此外，根据各个操作者A、C、D、F和G的脸与手之间的对应关系在图像列表屏幕200上显示连接操作者图标Ui和指针Po的线St，所述对应关系是根据主机侧的摄像机图像和客户端侧的摄像机图像确定的。
然后，CPU112根据主机侧的摄像机图像和客户端侧的摄像机图像检测操作者A、C、D、F和G的手的位置的改变，并使指针Po根据这些改变而移动。
此外，CPU112通过经由网络接口将该图像列表屏幕200的屏幕数据发送到客户端设备101，使客户端设备101的显示器120也显示该图像列表屏幕200。
因此，客户端侧的操作者F和G可以经由网络与主机侧的操作者A、C和D相似且同时地操作图像列表屏幕200上的指针Po。
顺便提及，主机侧的操作者图标Ui可以被显示在通信对方显示区域200A中，并且客户端侧的操作者图标Ui也可以被显示在使客户端设备101显示的图像列表屏幕200上的操作者显示区域200B中。
此外，客户端设备101不必总是包括TV101的结构，但是必须至少包括显示器120、外部接口110和网络接口。
[2-2.其它实施例2]
在上述实施例的具体示例中，立体摄像机102从外部连接到TV101，但并不限于此。立体摄像机102也可以内置在TV101中。
此外，作为立体摄像机102的替代，红外摄像机或普通单目摄像机也可以连接到TV101或内置在TV101中。顺便提及，在单目摄像机的情况下，因为关于深度方向的信息丢失，所以确定他们的脸与他们的手之间的对应关系时的精度降低；然而，该结构可以比立体摄像机的结构简单。此外，立体摄像机102的位置并不限于显示器120的顶部，而也可以附装在其底部。
此外，作为立体摄像机102的替代，多个控制器可以连接到TV101，并且多个操作者中的每个也可以经由控制器同时操作TV101。
在这种情况下，TV101的CPU112使根据来自各个控制器的输入信号而被操作的多个指针Po以及与各个控制器相对应的操作者图标Ui被显示在图像列表屏幕130上。此外，CPU112根据来自控制器的输入信号与输入这些输入信号的控制器之间的对应关系使连接操作者图标Ui和指针Po的线St被显示。
[2-3.其它实施例3]
在上述实施例的具体示例中，已描述了将本发明的实施例应用于图像列表屏幕130的示例，但是该示例并不限于此。本发明的实施例可以并且能够应用于各种其它屏幕，只要可以在该屏幕上操作指针即可。
例如，本发明的实施例可以应用于多个操作者中的每个操作指针以移动角色的游戏屏幕。
此外，作为第一显示信息的操作者图标Ui、作为第二显示信息的指针Po和作为相关性信息的线St中的每个在其功能作用不改变的情况下也可以用各种其它信息替代。例如，指针Po也可以用光标替代。
[2-4.其它实施例4]
在上述实施例的其它具体示例中，线St由曲线指示。然而，如果可以示出指针Po连接到操作者图标Ui，即，可以示出指针Po与操作者图标Ui之间的相关性，则线St可以由直线指示。
此外，例如，线St也可以由虚线指示，或者线St也可以由一串图形(例如，圆形或三角形)指示。
在上述实施例的其它具体示例中，未述及线St的显示颜色。然而，显示颜色也可以从操作者图标Ui、他/她的指针Po和他/她的线St的组合改变成其它。
因此，操作者也可以根据显示颜色识别指针Po与操作者图标Ui之间的相关性。
此外，这里，在由指针Po指定的图像图标Pi的边缘处显示的框Fr的显示颜色也可以与该指针Po的显示颜色相同。通过这样做，可以容易地识别哪个操作者通过使用指针Po指定图像图标Pi。
在上述实施例的其它具体示例中，当终止显示指针Po时，显示指针Po正在被拉近图像图标Pi的动画。当开始显示指针Po时，显示指针Po从图像图标Pi跳出的动画。
这里，例如，当显示指针Po从图像图标Pi跳出的动画时，也可以按照指针Po、线St和操作者图标Ui闪烁或者放大显示它们的方式突出显示它们。此外，当显示指针Po正在被拉近图像图标Pi的动画时，也可以按相似的方式突出显示它们。
此外，指针Po、线St和操作者图标Ui的显示方式也可以随指针Po是石头形状时到指针Po是布形状时而不同。例如，当指针Po是石头形状时，也可以按照它们闪烁的方式显示它们。当指针Po是布形状时，也可以正常地显示它们。
在上述实施例的其它具体示例中，通过将指针PoE的形状固定为箭头形状，使通过移动终端103被操作的指针PoE的显示方式不同于其它指针Po的显示方式，但并不限于此。指针PoE也可以具有与其它指针Po相同的显示方式。
此外，通过用虚线指示连接该指针PoE和与移动终端103相对应的操作者图标UiE的线StE，使线StE的显示方式不同于其它线St的显示方式，但并不限于此。线StE也可以具有与其它线St相同的显示方式。
[2-5.其它实施例5]
在上述实施例的其它具体示例中，可以通过操作指针Po在图像列表屏幕130上拖放图像图标Pi。这里，可以使回收站图标被显示在图像列表屏幕130上。如果图像图标Pi被拖放到该回收站图标上，则还可以将与该图像图标Pi相对应的图像数据从非易失性存储器113中删除。
此外，例如，如果图像图标Pi被拖放到与移动终端103相对应的操作者图标UiE上，则与图像图标Pi相对应的图像数据还可以被传送到移动终端103。
[2-6.其它实施例6]
在上述实施例的其它具体示例中，终止超过预定时间未被移动的指针Po的显示(即，不显示)，但并不限于此。无论指针Po是否正在被移动，也可以都连续地显示指针Po。
此外，在上述实施例的具体示例中，当未显示指针Po时，如果检测到关于指针Po的运动，则开始显示指针Po。这里，还可以将对其进行了镜像并且其分辨率已被转换成显示器120的分辨率的摄像机图像在显示器120上显示给定时间段。
在这种情况下，例如，还可以按半透明方式显示图像列表屏幕130给定时间段，然后还可以使摄像机图像被显示为图像列表屏幕130的背景。或者，也可以将显示从图像列表屏幕130切换到摄像机图像达给定时间段。
当以这种方式开始显示指针Po时，如果使显示器120显示在那时拾取的摄像机图像，则可以使操作者容易地根据哪个操作者的哪只手的运动识别指针Po的显示开始。
此外，通过以这种方式显示摄像机图像，可以使操作者识别立体摄像机102的图像拾取区域，即，TV101可以检测操作者的手的运动的区域。
此外，当从摄像机图像中检测到新人时，也可以显示该摄像机图像。
顺便提及，可以从摄像机图像中检测刚好经过立体摄像机102前方的人等。因此，例如，当从摄像机图像中检测到的人在该摄像机图像内停留超过预定时间时，也可以将此人识别为操作者。
此外，例如，为了排除由操作者进行的无意的手势，例如，也可以在从检测到他/她的手的运动起经过给定时间段之后显示与该手相对应的指针Po。
[2-7.其它实施例7]
在上述实施例的其它具体示例中，图像列表屏幕130的上部三分之二被设定为图像显示区域130A，并且图像列表屏幕130的下部三分之一被设定为操作者显示区域130B，并且使操作者图标Ui被显示在操作者显示区域130B中。
具体示例并不限于此。图像显示区域130A的位置和尺寸以及操作者显示区域130B的位置和尺寸是非限制性的。例如，图像列表屏幕130的上部四分之一也可以被设定为操作者显示区域130B，并且图像列表屏幕130的下部四分之三也可以被设定为图像显示区域130A，并且也可以使操作者图标Ui被显示在操作者显示区域130B中。此外，图像列表屏幕130的整个屏幕也可以被设定为图像显示区域130A，并且也可以使操作者图标Ui与图像图标Pi一起被显示在该图像显示区域130A中。
在这种情况下，CPU112从已被水平翻转并且其分辨率已被转换成显示器120的分辨率的摄像机图像中获得各个操作者A至D的脸区域的坐标。然后，CPU112使操作者图标UiA至UiD被显示在图像显示区域130A内分别与各个操作者A至D的脸区域的坐标相对应的位置处。
[2-8.其它实施例8]
在上述实施例的其它具体示例中，移动终端103位于立体摄像机102的图像拾取区域外，并且与该移动终端103相对应的操作者图标UiE被显示在操作者显示区域130B内的开放区域中。
这里，例如，移动终端103位于立体摄像机102的图像拾取区域内。这里，TV101的CPU112从摄像机图像中检测该移动终端103，并获得移动终端103在摄像机图像内的位置。此外，CPU112将从该移动终端103的位置的视点观看在预定范围内最近的操作者的手确定为操作该移动终端103的手。
这样，CPU112确定移动终端103与操作该移动终端103的操作者之间的对应关系。然后，CPU112根据该对应关系使例如与移动终端103相对应的操作者图标UiE被显示在与操作该移动终端103的操作者相对应的操作者图标Ui附近。具体地说，CPU112使与移动终端103相对应的操作者图标UiE邻近于操作者图标Ui地显示，或以覆盖操作者图标Ui的方式显示。
在可以以这种方式从由立体摄像机102捕获的操作者中确定操作移动终端103的操作者的情况下，使与移动终端103相对应的操作者图标UiE被显示在与该操作者相对应的操作者图标Ui附近。
[2-9.其它实施例9]
在上述实施例的其它具体示例中，作为信息处理设备的TV101设置有作为识别单元、控制单元和检测单元的CPU112。
本发明的实施例并不限于此。上述TV101的每个功能单元(识别单元、控制单元和检测单元)也可以由各种其它硬件或软件构成，只要功能单元具有类似的功能即可。
在上述实施例的其它具体示例中，已将本发明的实施例应用于包括TV101和立体摄像机102的多操作者同时操作系统100，但并不限于此。本发明的实施例也可以并且能够应用于各种其它系统，只要系统可以由多个操作者同时操作即可。例如，本发明的实施例也可以应用于包括个人计算机、显示器和立体摄像机等的系统。
[2-10.其它实施例10]
在上述实施例的其它具体示例中，用于执行各种处理的程序存储在TV101的非易失性存储器113中。
存储程序的地方并不限于此。例如，该程序也可以存储在诸如光盘或存储卡的记录介质中，并且TV101的CPU112也可以从该记录介质中读取程序。在这种情况下，记录介质的驱动器连接到TV101的外部接口110。
此外，TV101可以设置有网络接口，并且该程序也可以经由网络接口下载并安装在非易失性存储器113中。
[2-11.其它实施例11]
此外，本发明的实施例并不限于上述实施例的概览及具体示例以及其它实施例。即，本发明的范围包括这样的实施例：上述实施例的概览及具体示例与其它实施例部分地且任意地组合；上述实施例的概览及具体示例与其它实施例全部地且任意地组合；以及上述实施例的概览及具体示例以及其它实施例被部分地提取。
此外，上述实施例的概览及具体示例以及其它实施例是示例。本发明也可以应用于且能够应用于本发明的要旨内的各种其它实施例。
本领域技术人员应当理解，根据设计要求及其它因素，可以想到各种修改、组合、子组合和变更，只要它们在所附权利要求书或其等同物的范围内即可。

Claims (18)

1.一种用于管理在显示器上呈现的内容的方法，包括：
接收表示用户的第一特征和第二特征的信号；
在所述显示器上呈现第一图像和第二图像，所述第一图像和所述第二图像分别与所述第一特征和所述第二特征相关联；
在所述显示器上呈现关联信息，所述关联信息指示所述第一图像与所述第二图像之间的关联；
确定所述第一图像和所述第二图像的显示位置；
生成所确定的显示位置之间的直线；
基于所述直线来计算曲线；以及
呈现所述曲线作为所述关联信息。
2.根据权利要求1所述的方法，其中所述第一特征与所述用户的脸相对应，并且所述第二特征与所述用户的手相对应。
3.根据权利要求1所述的方法，还包括：
捕获图像数据，其中所接收到的信号基于所述图像数据；
处理所述图像数据以识别所述用户的所述第一特征和所述第二特征，其中识别所述第一特征包括检测所述用户的脸，并且识别所述第二特征包括检测所述用户的手；以及
呈现所述脸的图像作为所述第一图像。
4.根据权利要求3所述的方法，还包括：
呈现所述手的图像作为所述第二图像。
5.根据权利要求1所述的方法，还包括：
存储与所述第一图像和所述第二图像相对应的图像数据；
在接收所述信号之后取回所述图像数据；以及
使用所取回的图像数据来呈现所述第一图像和所述第二图像。
6.根据权利要求1所述的方法，还包括：
检测所述用户的移动，其中响应于所检测到的移动而呈现所述关联信息。
7.根据权利要求1所述的方法，其中所述关联信息被呈现为连接所述第一图像和所述第二图像的线。
8.根据权利要求1所述的方法，还包括：
检测所述用户的手势；以及
基于所检测到的手势改变所述第二图像的呈现，其中所述第二图像的改变的呈现指示所述用户的所述手势。
9.根据权利要求1所述的方法，其中：
所述第二特征与所述用户的手相对应；并且
所述方法包括：
检测所述手的形状；以及
基于所检测到的所述手的形状以第一配置或第二配置之一呈现所述第二图像。
10.根据权利要求1所述的方法，其中所述关联信息被呈现为连接所述第一图像和所述第二图像的曲线，所述曲线具有顶点。
11.根据权利要求10所述的方法，还包括：
检测所述用户的所述第二特征的移动；以及
基于所检测到的移动改变所述曲线的呈现，其中改变所述曲线的呈现包括改变所述顶点的位置。
12.根据权利要求1所述的方法，还包括：
监视所述用户的移动程度；以及
基于所述移动程度防止所述第二图像的呈现。
13.根据权利要求1所述的方法，还包括：
将所述关联信息呈现为具有显示性质的线，所述线连接所述第一图像和所述第二图像；
检测所述用户的移动；以及
基于所检测到的移动改变所述线的所述显示性质。
14.根据权利要求13所述的方法，其中改变所述显示性质包括改变所述线的颜色、宽度、长度、尺寸和形状中的至少一个。
15.根据权利要求1所述的方法，还包括：
在所述显示器上呈现内容；
呈现包围所述内容的框；以及
将所述关联信息呈现为连接所述第一图像和所述第二图像的线，其中以单一显示颜色显示所述框和所述线。
16.根据权利要求1所述的方法，还包括：
在所述显示器上呈现内容；
检测所述用户的移动；以及
基于所检测到的移动改变所述内容的呈现。
17.根据权利要求1所述的方法，还包括：
检测所述用户的移动；以及
当在预定时间段检测到连续的移动时改变所述第二图像的呈现。
18.一种用于管理在显示器上呈现的内容的设备，包括：
用于接收表示用户的第一特征和第二特征的信号的装置；
用于在所述显示器上呈现第一图像和第二图像的装置，所述第一图像和所述第二图像分别与所述第一特征和所述第二特征相关联；
用于在所述显示器上呈现关联信息的装置，所述关联信息指示所述第一图像与所述第二图像之间的关联；
用于确定所述第一图像和所述第二图像的显示位置的装置；
用于生成所确定的显示位置之间的直线的装置；
用于基于所述直线来计算曲线的装置；以及
用于呈现所述曲线作为所述关联信息的装置。
CN201010266911.0A 2009-09-04 2010-08-27 用于管理在显示器上呈现的内容的方法和设备 Expired - Fee Related CN102012780B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-204957 2009-09-04
JP2009204957A JP5343773B2 (ja) 2009-09-04 2009-09-04 情報処理装置、表示制御方法及び表示制御プログラム

Publications (2)

Publication Number Publication Date
CN102012780A CN102012780A (zh) 2011-04-13
CN102012780B true CN102012780B (zh) 2014-01-15

Family

ID=43242809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010266911.0A Expired - Fee Related CN102012780B (zh) 2009-09-04 2010-08-27 用于管理在显示器上呈现的内容的方法和设备

Country Status (6)

Country Link
US (1) US8687845B2 (zh)
EP (1) EP2306272B1 (zh)
JP (1) JP5343773B2 (zh)
CN (1) CN102012780B (zh)
BR (1) BRPI1003250A2 (zh)
RU (1) RU2010136267A (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4804277B2 (ja) * 2006-08-30 2011-11-02 キヤノン株式会社 画像処理装置、携帯端末装置及び画像処理システム
CN103221968A (zh) * 2010-11-10 2013-07-24 日本电气株式会社 信息通知系统、信息通知方法、信息处理设备及其控制方法和控制程序
JP5323126B2 (ja) * 2011-05-20 2013-10-23 シャープ株式会社 画像処理システム、画像処理装置、及び、指示受付装置
JP2012256110A (ja) 2011-06-07 2012-12-27 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2013030140A (ja) * 2011-07-29 2013-02-07 Toshiba Corp 映像処理装置及び映像処理方法
US8847881B2 (en) 2011-11-18 2014-09-30 Sony Corporation Gesture and voice recognition for control of a device
CN103491848B (zh) * 2011-12-26 2015-10-07 奥林巴斯医疗株式会社 医疗用内窥镜系统
EP2613226A1 (en) * 2012-01-05 2013-07-10 Alcatel Lucent Initiating a logical connection between two devices using eye-gazing detection
US20140003674A1 (en) * 2012-06-27 2014-01-02 Christopher D. Coley Skin-Based User Recognition
KR20140020568A (ko) * 2012-08-09 2014-02-19 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
JP6011165B2 (ja) * 2012-08-31 2016-10-19 オムロン株式会社 ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
KR101621524B1 (ko) * 2012-11-02 2016-05-31 삼성전자 주식회사 디스플레이장치 및 그 제어방법
FR2999847A1 (fr) 2012-12-17 2014-06-20 Thomson Licensing Procede d'activation d'un dispositif mobile dans un reseau, dispositif d'affichage et systeme associes
SE536989C2 (sv) * 2013-01-22 2014-11-25 Crunchfish Ab Förbättrad återkoppling i ett beröringsfritt användargränssnitt
JP5911440B2 (ja) * 2013-02-06 2016-04-27 三菱電機株式会社 電子機器
US10139925B2 (en) 2013-03-04 2018-11-27 Microsoft Technology Licensing, Llc Causing specific location of an object provided to a device
CN104461324B (zh) * 2013-09-16 2017-12-29 联想(北京)有限公司 一种信息处理方法以及电子设备
US20150139483A1 (en) * 2013-11-15 2015-05-21 David Shen Interactive Controls For Operating Devices and Systems
JP6270495B2 (ja) * 2014-01-16 2018-01-31 キヤノン株式会社 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体
EP3352051A4 (en) 2015-09-18 2019-05-15 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
JP6632298B2 (ja) * 2015-09-29 2020-01-22 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10102423B2 (en) * 2016-06-30 2018-10-16 Snap Inc. Object modeling and replacement in a video stream
USD800780S1 (en) * 2016-10-21 2017-10-24 Microsoft Corporation Display screen with animated graphical user interface
USD803889S1 (en) * 2016-10-21 2017-11-28 Microsoft Corporation Display screen with animated graphical user interface
CN112817437A (zh) * 2019-11-15 2021-05-18 苹果公司 用于可变用途的经着色视觉标记

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63231487A (ja) * 1987-03-20 1988-09-27 株式会社東芝 十字カ−ソルの表示方法
JPH04328627A (ja) * 1991-04-30 1992-11-17 Nippon Telegr & Teleph Corp <Ntt> カーソル表示方法
EP0657833A2 (en) * 1993-12-13 1995-06-14 International Business Machines Corporation Workstation conference pointer-user association mechanism
JPH08279998A (ja) * 1995-04-07 1996-10-22 Fuji Facom Corp 共同作業支援用計算機システム
JPH09247638A (ja) * 1996-03-04 1997-09-19 Atsushi Matsushita テレビ会議システム
JPH10257151A (ja) * 1997-03-14 1998-09-25 Kokusai Electric Co Ltd 携帯電話機
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
JP2001157184A (ja) * 1999-11-22 2001-06-08 Hitachi Ltd 画面共有端末装置とその表示方法
JP3725460B2 (ja) * 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2002259989A (ja) * 2001-03-02 2002-09-13 Gifu Prefecture ポインティングジェスチャ検出方法及びその装置
JP3926837B2 (ja) * 2004-06-04 2007-06-06 松下電器産業株式会社 表示制御方法および装置、プログラム、並びに携帯機器
US20060087510A1 (en) * 2004-09-01 2006-04-27 Nicoletta Adamo-Villani Device and method of keyboard input and uses thereof
CN100444612C (zh) * 2005-12-14 2008-12-17 日本胜利株式会社 电子设备
US7969418B2 (en) * 2006-11-30 2011-06-28 Cherif Atia Algreatly 3-D computer input device and method
JP4720738B2 (ja) * 2006-12-20 2011-07-13 日本ビクター株式会社 電子機器
AU2008299883B2 (en) * 2007-09-14 2012-03-15 Facebook, Inc. Processing of gesture-based user interactions
EP2597868B1 (en) * 2007-09-24 2017-09-13 Qualcomm Incorporated Enhanced interface for voice and video communications
JP5228439B2 (ja) * 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
US20090201249A1 (en) 2007-12-07 2009-08-13 Sony Corporation Input apparatus, control apparatus, control system, and handheld apparatus
JP5412812B2 (ja) 2007-12-07 2014-02-12 ソニー株式会社 入力装置、制御装置、制御システム、及びハンドヘルド装置
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device

Also Published As

Publication number Publication date
JP5343773B2 (ja) 2013-11-13
JP2011054117A (ja) 2011-03-17
US20110058711A1 (en) 2011-03-10
RU2010136267A (ru) 2012-03-10
CN102012780A (zh) 2011-04-13
EP2306272B1 (en) 2020-01-22
EP2306272A2 (en) 2011-04-06
US8687845B2 (en) 2014-04-01
BRPI1003250A2 (pt) 2013-01-08
EP2306272A3 (en) 2016-10-19

Similar Documents

Publication Publication Date Title
CN102012780B (zh) 用于管理在显示器上呈现的内容的方法和设备
US9256283B2 (en) Mobile terminal and method of controlling operation thereof
US8239753B2 (en) Information sharing support system providing corraborative annotation, information processing device, computer readable recording medium, and computer controlling method providing the same
US20160224128A1 (en) Display control apparatus, display control method, and display control program
CN109565542B (zh) 电子装置及其控制方法
US8797921B2 (en) Communication terminal and method for data transmission
CN110427110B (zh) 一种直播方法、装置以及直播服务器
US20190335115A1 (en) Display control device, head-mounted display, and control program
US9007399B2 (en) Information processing apparatus and method for generating image of virtual space
CN106255940A (zh) 信息处理系统以及信息处理方法
CN104301507A (zh) 移动终端及其控制方法
KR102218041B1 (ko) 이동 단말기
CN104040474A (zh) 信息处理设备、信息处理方法以及计算机程序
AU2014219558A1 (en) Method for controlling display of multiple objects depending on input related to operation of mobile terminal, and mobile terminal therefor
EP2824905B1 (en) Group recording method, machine-readable storage medium, and electronic device
CN103125115A (zh) 信息处理装置、信息处理系统和信息处理方法
KR20120012698A (ko) 3차원 그래픽 기반 단말기에서 객체 렌더링 시 부가정보 합성 장치 및 방법
CN111432245B (zh) 多媒体信息的播放控制方法、装置、设备及存储介质
US10747490B2 (en) Method and device for displaying an image transmitted from a wearable device
WO2015072091A1 (ja) 画像処理装置、画像処理方法及びプログラム記憶媒体
CN103455253A (zh) 一种与视频设备交互的方法及用于交互的视频设备
US20140184520A1 (en) Remote Touch with Visual Feedback
JP7279113B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
CN110706497A (zh) 图像处理装置以及计算机可读存储介质
CN108600797B (zh) 一种信息处理法方法和电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140115

Termination date: 20210827