CN103309556B - 信息处理设备、信息处理方法及计算机可读介质 - Google Patents

Abstract

本发明涉及一种信息处理设备、用于该设备的信息处理方法及计算机程序。该信息处理设备意图同时显示从两个或更多个源获得的视频内容。在互相并行或者互相叠加的显示从两个或更多个源获得的视频内容时，信息处理设备通过使用例如每个图像的比例和对应的区域的信息来对每个图像进行正规化。在正规化时，对数字图像例如静止图像和运动图像执行图像处理，例如数字变焦。如果互相并行或者互相叠加的显示的图像之一是利用摄像头块拍摄的图像，则对实际摄像机执行光学控制，例如平摇、俯仰或变焦。

Description

信息处理设备、信息处理方法及计算机可读介质

技术领域

本公开内容涉及一种信息处理设备、用于该设备的信息处理方法及计算机程序，其中，该设备具有也用作基于例如触摸面板的输入块的显示屏。更具体地，本公开内容涉及下述信息处理设备、信息处理方法及计算机程序，其被配置成允许两个或更多个用户通过具有由这些用户共同使用的大屏幕的触摸面板来执行协同操作。

背景技术

近来，平板终端已经迅速普及，这些平板终端各自具有也用作基于例如触摸面板的输入块的显示屏。平板终端具有基于窗口小部件（widget）和桌面的界面，并且因此易于用户直观地理解操作方法，以使得用户能够比需要用户通过例如键盘和鼠标来进行输入操作的个人电脑更容易地来使用平板终端。

例如，已提出一种触敏装置，其中从例如多点触摸屏的多点感测装置读取属于与该多点感测装置相关联的触摸输入的数据，由此基于从多点感测装置提供的数据来识别多点手势（例如参照日本特开2010-170573号公报）。

通常，用户要操作的多个对象被沿着各个方向布置在平板终端的屏幕上。每个单独的对象是可再现的内容，例如运动图像或静止图像、或者从其他用户接收到的邮件信息或消息。为了在与用户相对的方向上显示期望的对象，用户需要单独地转动平板终端本身。例如，对于用户来说转动A4或A5尺寸的平板终端是容易的。然而，对于具有大约二十或三十英寸的大型屏幕的平板终端，对单个用户来说，每次用户对期望的对象进行操作时转动这样的平板终端是麻烦的。

还考虑的是：允许两个或更多个用户在具有大型屏幕的平板终端上同时单独地操作不同的对象。

例如，提出了一种平板终端，其中，当通过接近传感器来检测用户位 于终端的边缘侧的位置时，识别用户的右手与左手之间的区域，并将识别的区域映射到该用户的触点区域上（例如，参照http://www.autodeskresearch.com/publications/medusa（自2011年12月15日起））。当检测到两个或更多个用户时，平板终端可以被配置成允许对待由用户操作的每个对象设置单个用户的操作权限，或者例如通过事先禁止另外的用户参与来阻止用户操作平板终端，例如，用户将正在被其他用户操作的对象以相对于自己的方向进行转动。

然而，在其中两个或更多个用户共有具有大屏幕的平板终端的使用形式中，除了每个用户对对象的单独操作之外，还假定用户互换对象来执行协同任务。如果设置由每个用户占有的触点区域，并且每个用户在该区域内对被给予操作权限的对象执行操作，则难以实现协同任务。

此外，如果无论例如用户的距离或用户状态如何，在终端的屏幕上显示的GUI（图形用户界面）都是恒定的，则存在如下问题：例如对于与屏幕距离的非常远的用户，屏幕上显示的信息太细小而不能理解，或者例如虽然用户距离屏幕足够近，屏幕上显示的信息量太少。同样地，如果无论例如用户与屏幕的距离或用户状态如何，用户用以操作终端的输入手段不变，则存在如下不便：例如因为没有远程控制器，所以用户不能操作终端，或者用户需要接触终端以便操作触摸面板。

现有技术的对象显示系统在屏幕上显示真实对象的图像，而不考虑关于该对象的实际尺寸信息。因此，存在下述问题：待显示的对象的尺寸根据屏幕大小和分辨率（dpi）而变动。

此外，在现有技术的显示系统中，同时将两个或更多个源的视频内容的两个或更多个项并行或者叠加地显示在屏幕上可能导致：如果没有正确地显示同时显示的图像之间的大小关系，导致图像区域的变化的尺寸和位置，则用户难以看见图像。

此外，改变具有旋转机构的终端中的屏幕方向使得用户难以看见显示，因而为了用户的最佳观看必须旋转显示屏。

发明内容

因此，期望提供一种信息处理设备、信息处理方法及计算机程序，其被配置成允许两个或更多个用户通过具有由这些用户共同使用的大屏幕的触摸面板来适当地进行协同工作。

此外，期望提供一种信息处理设备、信息处理方法及计算机程序，其被配置成无论用户位置和用户状态如何，总是便于用户操作。

此外，期望提供一种信息处理设备、信息处理方法及计算机程序，其被配置成无论每个真实对象的大小以及屏幕大小和分辨率如何，总是在屏幕上以适当的大小显示每个对象的图像。

更进一步，期望提供一种信息处理设备、信息处理方法和计算机程序，其被配置成并行地或叠加地在屏幕上适当地显示从两个或更多个源获得的视频内容的两个或更多个项。

再者，期望提供一种信息处理设备、信息处理方法和计算机程序，其被配置成在旋转主体时，在给定的旋转角度处或在转变过程中优选地调整视频内容的显示格式。

在执行本技术时，根据本技术的一个实施方式，提供一种信息处理设备。该信息处理设备具有：摄像头块；显示块和计算部，该计算部被配置成当要在显示块的屏幕上显示利用摄像头块所拍摄的用户图像时，对该用户图像进行正规化。

上述信息处理设备还包括：对象图像捕获块，用于捕获要在所述显示块的所述屏幕上显示的对象图像；以及并行和叠加模式捕获块，用于捕获并行和叠加模式，所述并行和叠加模式用于使所述用户图像和所述对象图像在所述显示块的所述屏幕上处于并行布置和叠加布置之一，其中，所述计算部对所述用户图像和所述对象图像进行正规化，使得所述用户图像和所述对象图像之间的大小关系及所述用户图像和所述对象图像的位置变得正确，由此根据所捕获的并行和叠加模式使正规化的用户图像和正规化的对象图像处于所述并行布置和所述叠加布置之一。

在上述的信息处理设备中，计算部对摄像头块进行控制以对利用摄像头块拍摄的用户图像进行正规化。

上述的信息处理设备更进一步包括：用户面部数据捕获块，用于捕获利用摄像头块拍摄的用户面部数据；以及对象中面部数据捕获块，用于捕获要在在显示块的屏幕上显示的对象中的面部数据。在该配置中，计算部对用户面部数据和对象中面部数据进行正规化，使得用户面部数据和对象中面部数据之间的大小关系和位置变得正确。

在上述的信息处理设备中，计算部对摄像头块进行控制以对利用摄像头块拍摄的用户图像进行正规化。

在执行本技术中，根据本技术的另一个实施方式，提供一种信息处理方法。该信息处理方法包括：捕获要在显示块的屏幕上显示的对象图像；捕获并行和叠加模式，所述并行和叠加模式用于使利用摄像头块拍摄的用户图像和所述对象图像在所述显示块的屏幕上处于并行布置和叠加布置之一；对所述用户图像和所述对象图像进行正规化，使得所述用户图像和所述对象图像之间的大小关系及所述用户图像和所述对象图像的位置变得正确；以及根据所捕获的并行和叠加模式使正规化的用户图像和正规化的对象图像处于并行布置和叠加布置之一。

在执行本技术中，根据本技术的另一实施方式，提供一种信息处理方法。该信息处理方法包括：捕获利用摄像头块拍摄的用户的面部数据；捕获要在在屏幕上显示的对象中面部数据；以及对用户面部数据和对象中面部数据进行正规化，以使得用户面部数据和对象中面部数据之间的大小关系和位置变得正确。

在执行本技术中，根据本技术的又一实施方式，提供一种以计算机可读的语言编写的计算机程序，该计算机程序使计算机用作：摄像头块；显示块和计算部，该计算部被配置成当要在显示块的屏幕上显示利用摄像头块拍摄的用户图像时，对该用户图像进行正规化。

上述的计算机程序定义了以计算机可读的语言编写的计算机程序，以便在计算机上实现预定的处理。换句话说，将上述计算机程序安装在计算机上实现了计算机上的协同操作，以提供与上述的信息处理设备基本类似的功能效果。

根据本说明书中公开的本技术的实施方式，提供了一种出色的信息处理设备、信息处理方法和计算机程序，其被配置成使得两个或更多个用户能够通过由用户共有的屏幕上的触摸面板来合适地执行协同工作。

此外，根据本说明书中公开的本技术的实施方式，提供了一种出色的信息处理设备、信息处理方法和计算机程序，其被配置成根据用户位置和用户状态，使显示GUI和输入手段最优化，由此显著地增加用户的便利性。

此外，根据本说明书中公开的本技术的实施方式，提供了一种出色的信息处理设备、信息处理方法和计算机程序，其被配置成不依赖于真实对象的大小以及真实屏幕的大小和分辨率，始终以最佳尺寸在屏幕上显示对象图像。

更进一步，根据本说明书中公开的本技术的实施方式，提供了一种出色的信息处理设备、信息处理方法和计算机程序，其被配置成当在屏幕上相互并行或者相互叠加的同时显示从两个或更多个源获得的视频内容时，对图像进行正规化以使得图像的对应区域的大小和位置被很好的对齐，由此呈现给用户易于观看的屏幕。

另外，根据本说明书中公开的本技术的实施方式，提供了一种出色的信息处理设备、信息处理方法和计算机程序，其被配置成当旋转信息处理设备的主体时，在任意给定的旋转角度处和在旋转的转变过程中最优地调整视频内容的显示格式。

根据参照附图对实施方式的以下描述，本技术的实施方式的其他特征和优点将变得明显。

附图说明

图1是示出具有大型屏幕的信息处理设备的示例性使用形式（墙）的示意图；

图2是示出信息处理设备的另一示例性使用形式（桌面）的示意图；

图3A是示出信息处理设备的另一示例性使用形式的示意图；

图3B是示出信息处理设备的又一示例性使用形式的示意图；

图3C是示出信息处理设备的单独的示例性使用形式的示意图；

图4是示出信息处理设备的示例性功能配置的示意图；

图5是示出输入接口部的示例性内部配置的示意图；

图6是示出输出接口部的示例性外部配置的示意图；

图7是示出计算部对被操作对象执行处理的示例性内部配置的框图；

图8是示出在屏幕上设置用户占用区域的示例性外观的示意图；

图9A是示出下述方式的示意图：在设置用户占用区域A之前，被操作对象#1至#6被随机定向；

图9B是示出下述方式的示意图：在设置用户A的用户占用区域A时，被操作对象#1至#6被定向成与用户A相对；

图10是示出下述方式的示意图：在除了用户A之外还检测到用户B 的情况下，附加地设置用户B的用户占用区域B和公共区域；

图11是示出下述方式的示意图：在除了用户A和用户B之外还检测到用户D的情况下，附加地设置用户D的用户占用区域D和公共区域；

图12是示出下述方式的示意图：在除了用户A、用户B和用户D之外还检测到用户C的情况下，附加地设置用户C的用户占用区域C和公共区域；

图13A是示出下述区域划分模式的示意图：该区域划分模式根据屏幕的形状和大小以及用户数量将屏幕划分成多个用户占用区域；

图13B是示出另一区域划分模式的示意图：该区域划分模式根据屏幕的形状和大小以及用户数量将屏幕划分成多个用户占用区域；

图13C是示出再一区域划分模式的示意图：该区域划分模式根据屏幕的形状和大小以及用户数量将屏幕划分成多个用户占用区域；

图13D是示出又一区域划分模式的示意图：该区域划分模式根据屏幕的形状和大小以及用户数量将屏幕划分成多个用户占用区域；

图13E是示出不同的区域划分模式的示意图：该区域划分模式根据屏幕的形状和大小以及用户数量将屏幕划分成多个用户占用区域；

图14是说明要由监视器区域划分块执行的监视器区域划分处理的过程的流程图；

图15是示出下述方式的示意图：在该方式中，通过拖拽或投掷被操作对象来将这些被操作对象移动到用户占用区域，从而将这些被操作对象沿着与用户相对的方向自动旋转；

图16是示出下述方式的示意图：在该方式中，沿着与用户相对的方向自动旋转新形成的用户占用区域中的被操作对象；

图17是说明要由对象优化处理块执行的对象优化处理的过程的流程图；

图18是示出下述方式的示意图：在该方式中，根据用户触摸被操作对象的位置来控制旋转方向；

图19是示出另一方式的示意图：在该方式中，根据用户触摸被操作对象的位置来控制旋转方向；

图20是示出用于在信息处理设备与用户自有终端之间传递被操作对 象的示例性交互的示意图；

图21是说明要由装置协同（coordinated）数据发送/接收块730执行的装置协同数据发送/接收处理的过程的流程图；

图22是示出下述方式的示意图：在该方式中，通过在用户占用区域之间移动被操作对象来复制被操作对象；

图23是示出计算部根据用户距离执行优化处理的示例性内部配置的框图；

图24A是要由显示GUI优化块执行的、根据用户位置和用户状态的GUI显示优化处理的表；

图24B是示出根据用户位置和用户状态的、信息处理设备的屏幕转变的图；

图24C是示出根据用户位置和用户状态的、信息处理设备的另一屏幕转变的图；

图24D是示出根据用户位置和用户状态的、信息处理设备的又一屏幕转变的图；

图24E是示出根据用户位置和用户状态的、信息处理设备的又一屏幕转变的图；

图25A是示出如下屏幕显示示例的示意图，其中，各个被操作对象被随机地显示以自动切换（zapping）；

图25B是示出如下屏幕显示示例的示意图，其中，要被自动切换的两个或更多个被操作对象的位置和大小不时地改变；

图26是示出其中用户正在观看电视节目并未操作电视的屏幕显示示例的示意图；

图27A是示出其中用户正在对电视进行操作的屏幕显示示例的示意图；

图27B是示出其中用户正在对电视进行操作的屏幕显示示例的另一示意图；

图28是示出要由输入手段优化块根据用户位置和用户状态执行的输入手段优化处理的表；

图29是示出要由距离检测方案切换块根据用户位置执行的距离检测 方案切换处理的表；

图30是示出现有技术的对象显示系统的问题的示意图；

图31是示出现有技术的对象显示系统的问题的示意图；

图32是示出计算部120用于根据监视器性能来执行对象实际尺寸显示处理的示例性内部配置的框图；

图33是示出其中同一对象的图像以实际尺寸显示在具有不同监视器规格的屏幕上的示例的示意图；

图34是示出其中在同一屏幕上显示具有不同实际尺寸的两个对象的图像同时维持这些对象的大小关系的示例的示意图；

图35是示出其中以实际尺寸显示对象图像的示例的示意图；

图36是示出其中以实际尺寸显示的对象图像被旋转或被变换姿势的示例的示意图；

图37A是示出其中估计被摄体的实际尺寸信息的示例的示意图；

图37B是示出了下述示例的示意图，其中，基于估计的被摄体的实际尺寸信息来对被操作对象执行实际尺寸显示处理；

图38A是示出其中视频聊天的用户的面部的大小和位置互相不同的示例的示意图；

图38B是示出下述示例的示意图，其中，通过执行两个或更多个图像间的正规化处理，视频聊天的用户的面部的大小和位置大致一致；

图39A是示出下述示例的示意图，其中，在屏幕上并行显示的用户与教练的大小和位置没有对准；

图39B是示出下述示例的示意图，其中，通过两个或更多个图像间的正规化处理，在屏幕上并行显示的用户的图像与教练的图像的大小和位置对准；

图39C是示出下述示例的示意图，其中，通过两个或更多个图像间的正规化处理而正规化的用户的图像与教练的图像叠加；

图40A是示出下述示例的示意图，其中，产品的样品图像没有以正确地大小关系与用户的图像叠加；

图40B是示出下述示例的示意图，其中，通过两个或更多个图像间的正规化处理，产品的样品图像与用户的图像正确地叠加；

图41是示出计算部用于执行图像正规化处理的示例性内部配置的框图；

图42是示出下述示例性显示格式的示意图，其中，显示视频内容的整个区域以使得在给定的旋转角度处视频内容没有被隐藏；

图43是示出下述显示格式的示意图，其中，在给定的旋转角度处，视频内容中的关注区域被最大化；

图44是示出下述显示格式的示意图，其中，旋转视频内容以使得不存在无效区域；

图45是示出视频内容相对于图42至图44中所示的显示格式中的旋转位置的缩放倍率的示意图；

图46是说明当旋转信息处理设备时用于在计算部中控制视频内容的显示格式的处理过程的流程图；以及

图47是示出计算部用于在信息处理设备的给定旋转角度处或者在旋转的转变过程中来调整视频内容的显示格式的示例性内部配置的框图。

具体实施方式

下面参照附图详细描述本说明书中公开的技术的实施方式。

（A）系统配置

实施为本技术的一个实施方式的信息处理设备100具有大型屏幕，设想该大型屏幕如图1所示那样用在墙上或如图2所示那样用在桌面上。

在图1所示的墙状态下，通过例如旋转/安装机构块180将信息处理设备100可旋转且可拆卸地安装在墙上。旋转/安装机构块180还用作信息处理设备100与外部之间的电接触。通过该旋转/安装机构块180将电缆和网络线（两者都未示出）连接到信息处理设备100。因此，信息处理设备100可以从商用AC（交流）电源接收驱动电力，并且可以访问因特网上的各种服务器。

如后面将描述的，信息处理设备100具有距离传感器、接近传感器和触摸传感器，由此来识别面向信息处理设备100的屏幕的用户的位置（距离和方位）。在检测用户或者用户处于被检测状态时，信息处理设备100在屏幕上示出例如波纹状指示（稍后将描述）和指示检测状态的照明呈现， 由此向用户提供视觉反馈。

信息处理设备100被配置成根据用户位置自动选择最优交互。例如，信息处理设备100根据用户位置自动地选择或者调整GUI(图形用户界面)指示，例如信息密度和要被操作的对象的框架。此外，信息处理设备100可以根据例如用户位置或与用户的距离来自动地选择两个或更多个输入手段之一，该输入手段包括：利用手向屏幕触摸、靠近、做手势；远程控制器以及基于用户状态的间接操作。以下，为简单起见，“要被操作的对象”也称为“被操作对象”。

此外，信息处理设备100具有一个或更多个摄像头，以基于由一个或更多个摄像头所拍摄的图像来识别用户位置以及人物、对象和装置。此外，信息处理设备100具有超近距离通信块，其与进入信息处理设备100周围的超近距离的用户所拥有的装置进行直接且流畅的数据发送/接收。

在处于墙状态的大型屏幕上定义要由用户操作的被操作对象。每个被操作对象具有针对功能模块的特定显示区域，除了例如运动图像、静止图像或文本内容之外，功能模块例如为给定的因特网网站、应用或窗口小部件。被操作对象包括：电视广播的接收内容、从记录介质再现的内容、通过网络捕获的流运动图像、从例如用户的移动终端的其他设备捕获的运动图像内容和静止图像内容等。

如图1所示，如果置于墙上的信息处理设备100的旋转位置被设置成使得大型屏幕处于横向状态，则作为具有整个屏幕的尺寸的被操作对象，视频可以被显示成与通常由电影所描绘的世界一样。

如图3A所示，如果置于墙上的信息处理设备100的旋转位置被设置成使得大型屏幕处于纵向状态，则可以垂直地布置各自具有纵横比为16:9的三个屏幕。例如，垂直地布置可以同时显示的三种类型的内容#1至#3，即，同时从不同的广播电台接收的广播内容、从记录介质再现的内容以及网络上的流运动图像。此外，如果用户例如使用用户的手指上下操作屏幕，则如图3B所示，显示的内容因而上下滚动。如果用户在三个堆叠的屏幕中的任何一个处使用用户的手指水平地操作屏幕，则在被操作的屏幕层处屏幕水平地滚动。

另一方面，在图2所示的桌面状态下，信息处理设备100直接安装在桌子上。在图1所示的墙状态下，旋转/安装机构块180还用作电接触（如上所述）。在如图2所示的桌面安装状态下，没有到信息处理设备100的 电接触。因此，在所示的桌面状态下，可以将信息处理设备100配置成基于内部电池可操作，而无需借助于外部电源。此外，如果信息处理设备100设置有相当于例如无线LAN（局域网）的移动站功能的无线通信块，并且旋转/安装机构块180具有相当于无线LAN接入点功能的无线通信块，则在桌面状态下，信息处理设备100可以通过与作为接入点的旋转/安装机构块180无线通信来访问因特网上的各服务器。

在处于桌面状态下的大型屏幕上，定义了要被操作的两个或更多个被操作对象。每个被操作对象具有针对功能模块的特定显示区域，除了例如运动图像、静止图像或文本内容之外，功能模块例如为给定的因特网网站、应用或窗口小部件。

信息处理设备100在大型屏幕的四个边缘中的每个边缘上具有用于检测用户的存在或用户状态的接近传感器。如上所述，可以使用摄像头拍摄接近大型屏幕的用户，以进行人物识别。另外，超近距离通信块检测已检测到其存在的用户是否具有例如移动终端的装置，以及检测来自由用户所持有的其他终端的数据发送/接收请求。当检测到用户或由用户所持有的终端或者处于检测到用户状态时，在屏幕上执行表明波纹状检测指示或者检测状态的照明呈现（稍后描述），由此向用户提供视觉反馈。

当利用例如接近传感器检测用户的存在时，信息处理设备100使用该检测结果来进行UI（用户界面）控制。除了检测用户的存在之外，还检测用户的身体、手和脚或者头的位置，这使得能够进行更详细的UI控制。此外，信息处理设备100具有通过其与由进入超近距离的用户拥有的装置进行直接且流畅的数据发送/接收（如上所述）的超近距离通信块。

针对UI控制的一个示例，信息处理设备100根据检测到的用户的布置，在大型屏幕中设置每个用户的用户占用区域和由两个或更多个用户共有的公共区域。然后，信息处理设备100在用户占用区域和公共区域中检测每个用户的触摸传感器输入。应该注意，屏幕形状和区域划分模式不限于矩形；即，例如，这些模式可以包括任何形状（例如正方形和圆形）和立方体（例如锥体）。

信息处理设备100的屏幕的尺寸的增加在空间中提供了足够宽的余地（room），以便两个或更多个用户同时执行触摸输入操作。如上所述，设置每个用户的用户占用区域和公共区域使得能够实现由两个或更多个用户进行的流畅且有效的同步操作。

将置于用户占用区域中的被操作对象的操作权限赋予相应的用户。当用户将被操作对象从公共区域或其他用户的用户占用区域移动到该用户拥有的用户占用区域时，移动后的被操作对象的操作权限被转让给该用户。当被操作对象进入用户的用户占用区域时，自动地改变显示，其中，该被操作对象直接面向该用户。

当被操作对象在用户占用区域之间移动时，根据在其处已执行移动操作的触摸位置，被操作对象物理地流畅移动。此外，两个或更多个用户拖拽一个被操作对象使得可以分割或复制拖拽的被操作对象。

图4示意性地示出了信息处理设备100的示例性功能配置。信息处理设备100具有：输入接口部110，通过其输入外部信息信号；计算部120，用于基于输入的信息信号来执行用于控制显示屏幕的计算处理；输出接口部130，通过其将基于计算处理结果而获得的信息发送至外部；由例如硬盘驱动器（HDD）组成的大容量的存储部140；用于与外部网络进行通信的通信部150；处理驱动电力的电源部160；以及电视/调谐部170。存储部140存储要由计算部120执行的各种处理算法和在要由计算部120执行的计算处理中使用的各种数据库。

输入接口部110的主要功能包括：检测用户存在、检测所检测到的用户在屏幕上（即在触摸面板上）进行的触摸操作、检测例如用户的移动终端的装置以及从该装置提供的发送数据的接收处理。图5示出了输入接口部110的示例性内部配置。

远程控制接收块501接收从远程控制器或移动终端提供的远程控制信号。信号分析块502对所接收的远程控制信号进行解调并对解调的远程控制信号进行解码，从而提供远程控制命令。

摄像头块503具有单目式/双目式和/或主动式摄像头机构。摄像头基于成像元件，CMOS（互补金属氧化物半导体）或CCD（电荷耦合装置）。摄像头块503还具有用于执行平摇（pan）、俯仰（tilt）和变焦的摄像头控制块。摄像头块503可以将诸如平摇、俯仰和变焦的摄像头信息发送到计算部120，并且摄像头块503根据从计算部120提供的摄像头控制信息来控制平摇、俯仰和变焦。

图像识别块504对由摄像头块503拍摄的拍摄图像进行识别。更具体地，图像识别块504通过基于背景差分检测用户的面部和手的运动来识别例如用户所做的手势、包括在所拍摄图像中的用户面部、包括在所拍摄图 像中的人体以及与用户的距离。

扩音器块505用于获得音响和由用户发出的声音。音频识别块506对获得的音频信号进行识别。

由例如PSD（位置灵敏检测器）构成的距离传感器507检测从用户或对象返回的信号。信号分析块508通过分析所检测到的信号来测量与用户或对象的距离。除了PSD传感器外，热电传感器或者简易摄像头可以被用于距离传感器507。距离传感器507始终监视在距离信息处理设备100例如5米至10米的半径范围内是否存在用户。为此，期望对于距离传感器507使用具有相对小的功耗的传感器元件。

由例如与屏幕叠加的触摸传感器构成的触摸检测块509从用户的手指在屏幕上触摸的位置输出检测信号。信号分析块510分析该检测信号以获得位置信息。

布置于大型屏幕的四个边缘中的每个边缘上的接近传感器511以静电电容方式来检测用户的身体靠近屏幕。信号分析块512分析该检测信号。

超近距离通信块513通过例如NFC（近场通信）接收从用户持有的装置提供的非接触通信信号。信号分析块514对所接收的非接触通信信号进行解调，并且对解调后的信号进行解码以获得接收数据。

三轴传感器块515例如由陀螺仪构成，并且检测围绕信息处理设备100的x，y和z轴线中的每个轴线的姿势。GPS（全球定位系统）接收块516接收来自GPS卫星的信号。信号分析块517分析来自三轴传感器块515和GPS接收块516的信号，以获得与信息处理设备100相关联的位置信息和姿势信息。

输入接口集成块520集成上述信息信号的输入，并将集成后的信号传送到计算部120。输入接口集成块520集成信号分析块508、信号分析块510、信号分析块512和信号分析块514的分析结果，以获得位于信息处理设备100周围的用户的位置信息，由此将所获得的位置信息传送到计算部120。

计算部120的主要功能包括：基于从输入接口部110提供的用户检测结果、屏幕触摸检测结果和从用户持有装置接收的数据来执行计算处理（例如UI屏幕生成处理），并且将计算结果输出到输出接口部130。计算部120从例如存储部140加载应用程序，并执行所加载的应用，由此实现 针对每个应用的计算处理。将在后面描述与每个应用对应的计算部120的示例性功能配置。

输出接口部130的主要功能包括：基于从计算部120提供的计算结果执行屏幕上的UI显示，以及将数据发送到用户持有的装置。图6示出了输出接口部130的示例性内部配置。

输出接口集成块610集成地处理基于由计算部120执行的例如监视器划分处理、对象优化处理和装置关联数据发送/接收处理的计算结果获得的信息输出。

输出接口集成块610指示内容显示块601将接收到的电视广播内容和从记录介质（例如蓝光光盘）再现的内容输出到用于显示静止图像内容和运动图像内容的显示块603及扬声器块604。

此外，输出接口集成块610指示GUI显示块602将GUI（例如被操作对象）显示在显示块603上。

此外，输出接口集成块610指示照明显示块605输出表示从照明块606提供的检测状态的照明显示。

此外，输出接口集成块610指示超近距离通信块513基于例如与用户持有的装置的非接触通信执行数据发送。

信息处理设备100可以基于由摄像头块503所拍摄的图像的识别以及从距离传感器507、触摸检测块509、接近传感器511和超近距离通信块513提供的检测信号来检测用户。此外，通过对由摄像头块503所拍摄的图像的面部识别和经由超近距离通信块513对用户持有的装置的识别，信息处理设备100可以识别出检测的用户的人物。所识别出的用户可以登录信息处理设备100。显然，登录帐户可以限于特定的用户。此外，根据用户位置和用户状态，信息处理设备100可以使用距离传感器507、触摸检测块509和接近传感器511中的任何一个来接收来自用户的操作。

此外，信息处理设备100经由通信部150连接到外部网络。与外部网络连接的形式可以是有线形式或无线形式。通过通信部150，信息处理设备100可以与移动终端（例如用户所持有的所谓的智能手机）和其他装置（例如平板终端）进行通信。信息处理设备100、移动终端和平板终端可以配置所谓的三屏幕监视器。信息处理设备100可以将用于三屏幕监视器协同的UI提供到下述屏幕上，该屏幕在尺寸上大于其余两个移动终端和平板终端的屏幕。

例如，当用户执行动作（例如触摸屏幕以进行操作或者移动用户的终端使其靠近信息处理设备100）时，在信息处理设备100与相应的用户持有终端之间执行数据的发送/接收，该数据例如是诸如运动图像、静止图像的内容，或作为被操作对象的实质的文本内容。此外，在外部网络上设置云服务器，从而三屏幕监视器可以使用云服务器计算性能，通过信息处理设备100来从云计算中受益。

下面描述由信息处理设备100运行的一些应用。

（B）在大型屏幕上两个或更多个用户同时进行操作

信息处理设备100使得能够在大型屏幕上由两个或更多个用户同时进行操作。更具体地，信息处理设备100在大型屏幕的四个边缘部分中的每个边缘上具有用于检测用户存在或用户状态的接近传感器511。根据用户布置在屏幕内设置用户占用区域和公共区域使得两个或更多个用户能够进行舒适且有效的同时操作。

增加信息处理设备100的屏幕的尺寸提供了用于由两个或更多个用户在桌面状态下同时进行触摸输入的足够大的空间。如上所述，在屏幕中设置针对每个用户的用户占用区域和公共区域实现了两个或更多个用户的舒适且有效的同时操作。

将置于用户占用区域中的被操作对象的操作权限赋予相应的用户。当用户将被操作对象从公共区域或其他用户的用户占用区域移动到该移动用户的用户占用区域时，移动后的被操作对象的操作权限属于该移动用户。当被操作对象进入该移动用户的用户占用区域时，该被操作对象自动地直接面向该移动用户。

如果被操作对象在用户占用区域之间移动，则根据进行移动操作的触摸位置物理流畅地移动被操作对象。此外，两个或更多个用户拖动一个被操作对象使得能够进行所拖动的被操作对象的分割或复制。

用于实现上述应用的计算部120的主要功能包括：基于通过输入接口部110获得的用户检测结果、屏幕触摸检测结果和从用户所持有的装置接收的数据来优化被操作对象，以及生成UI。图7示出计算部120用于执行被操作对象的处理的示例性内部配置。计算部120具有监视器区域划分块710、对象优化处理块720和装置协同数据发送/接收块730。

当从输入接口集成块520接收用户位置信息时，监视器区域划分块710参照与形状和传感器配置相关联的装置数据库711和区域划分模式数 据库712，以在屏幕上设置前文所述的用户占用区域和公共区域。然后，监视器区域划分块710将所设置的区域信息传送到对象优化处理块720和装置协同数据发送/接收块730。稍后将描述监视器区域划分的处理过程的细节。

对象优化处理块720从输入接口集成块520输入由用户在屏幕上对被操作对象进行的操作的信息。然后，对象优化处理块720根据从存储部140加载的优化处理算法721，对对应于用户操作的被操作对象执行优化处理，例如对由用户操作的被操作对象进行旋转、移动、显示、分割或复制，由此将优化后的被操作对象输出到显示块603的屏幕。稍后将描述对象优化处理的细节。

装置协同数据发送/接收块730从输入接口集成块520输入用户持有装置的位置信息和从该装置发送的/该装置接收的数据。然后，装置协同数据发送/接收块730根据从存储部140加载的发送/接收处理算法731，与用户持有的装置协作来执行数据发送/接收处理。此外，装置协同数据发送/接收块730对相应的被操作对象执行优化处理。稍后将描述对象优化处理的细节。装置协同数据发送/接收块730与用户持有的装置协作地对对应于发送/接收数据的被操作对象执行这种优化处理，例如对与发送/接收数据相关联的被操作对象进行旋转、移动、显示或复制，由此将优化后的被操作对象输出到显示块603的屏幕。稍后将描述装置协同中涉及的对象优化处理的细节。

下面描述监视器区域划分处理的细节。对于监视器区域划分，假定如下使用形式下的处理，在该使用形式中，主要由两个或更多个用户在桌面状态下使用信息处理设备100。显然，在墙状态下也可以执行监视器区域划分。

当通过输入接口集成块520检测到用户存在时，监视器区域划分块710在屏幕上分配所检测到的用户的用户占用区域。图8示出了下述情况，当通过设置在屏幕的一个边缘上的接近传感器511（或距离传感器507）的检测信号检测到用户A的存在时，如何通过监视器区域划分块710在屏幕中设置用户A的用户占用区域A。如果检测到一个用户的存在，则如图中所示出，可以将整个屏幕设置为所检测到的用户的用户占用区域。

在设置了用户占用区域A的情况下，对象优化处理块720基于通过输入接口集成块520获得的用户A的位置信息，来切换用户占用区域A中的每个被操作对象的方向，以使得每个被操作对象直接面向用户A。图 9A示出了在设置用户占用区域A之前，被操作对象#1至#6是如何随机定向的。图9B示出了在设置了用户A的用户占用区域A之后，在用户占用区域A中所有被操作对象#1至#6的方向如何被切换成面向用户A。

如果检测到只存在用户A，则可以将整个屏幕设置为用户A的用户占用区域A。另一方面，如果检测到存在两个或更多个用户，则期望设置由这些用户共有的公共区域，以便执行协同操作。

图10示出了下述情形下监视器区域划分块710如何将用户B的用户占用区域B和公共区域设置到屏幕上：除了用户A之外，基于从接近传感器511或距离传感器507提供的检测信号在邻近的屏幕边缘上检测到存在用户B。基于用户A和用户B的位置信息，用户A的用户占用区域A在用户A的方向上缩减，并且在用户B的位置附近出现用户B的用户占用区域B。同时，用户B的检测使得，在用户占用区域B中显示波纹状检测指示。然后，屏幕中除了用户占用区域A和用户占用区域B之外的区域变成公共区域。还可实行的是，在由于用户B接近信息处理设备100而使得设置了用户占用区域B之后，当第一次触摸用户占用区域B中的任意被操作对象时使用户占用区域B有效。应该注意，尽管没有在图10中示出，当设置用户占用区域B或者使用户占用区域B有效时，新的用户占用区域B中的每个被操作对象被改变方向以使得每个被操作对象面向用户B。

图11示出了下述情形下监视器区域划分块710如何将用户占用区域D设置在靠近用户D的位置的屏幕上：除了用户A和用户B之外，还在屏幕的又一边缘上检测到用户D的存在。在用户占用区域D中，显示波纹状检测指示，以表示检测到用户D的存在。图12示出了下述情形下监视器区域划分块710如何将用户占用区域C设置在靠近用户C的位置的屏幕上：除了用户A、用户B和用户D之外，还在屏幕的另一边缘上检测到用户C的存在。在用户占用区域C中显示波纹状检测指示，以表示检测到用户C的存在。

应该注意，图8至图12示出的用户占用区域和公共区域的区域划分模式仅是示例性的。每个区域划分模式取决于屏幕的形状、检测到其存在的用户的数量、以及检测到的用户的布置。区域划分模式数据库712根据屏幕形状和尺寸以及用户的数量存储与区域划分模式相关联的信息。装置数据库711存储与要由所关注的信息处理设备100使用的屏幕的形状和尺寸相关联的信息。当输入了通过输入接口集成块520所检测到的用户的位 置信息时，监视器区域划分块710从装置数据库711读取屏幕的形状和尺寸，并且从区域划分模式数据库712查询区域划分模式。图13A至图13E各自示出了用于根据屏幕的形状和尺寸以及用户的数量，将屏幕划分成每个用户的用户占用区域的示例性区域划分模式。

图14以流程图的形式示出了由监视器区域划分块710执行的监视器区域划分的处理过程。

首先，监视器区域划分块710基于对从接近传感器511或距离传感器507提供的检测信号的信号分析结果来检查在屏幕周围是否存在用户（步骤S1401）。

如果发现存在用户（步骤S1401的“是”），则监视器区域划分块710获得存在的用户的数量（步骤S1402），然后获得每个用户的位置（步骤S1403）。基于从输入接口集成块520接收的每个用户的位置信息来实现步骤S1401至步骤S1403的处理操作。

接下来，监视器区域划分块710从装置数据库711查询装置信息（例如信息处理设备100使用的显示块603的屏幕形状以及接近传感器511的布置），并且基于获得的装置信息加上用户位置信息来从区域划分模式数据库712查询相应的区域划分模式（步骤S1404）。

接下来，根据所获得的区域划分模式，监视器区域划分块710在屏幕上设置每个用户的用户占用区域和公共区域（步骤S1405），此时该处理例程结束。

下面描述由对象优化处理块720执行的对象优化处理的细节。

当通过输入接口集成块520输入关于用户在屏幕上对被操作对象进行的操作的信息时，对象优化处理块720根据用户操作在屏幕上对被操作对象执行显示处理，例如旋转、移动、显示、分割或复制。用户通过例如拖拽和投掷操作来执行的例如旋转、移动、显示、分割和复制的显示处理与在计算机的桌面屏幕上的GUI操作类似。

在本实施方式中，在屏幕上设置用户占用区域和公共区域，使得对象优化处理块720根据其中存在被操作对象的区域来对这些区域的显示进行优化。优化处理的典型示例是切换用户占用区域中的每个被操作对象的方向，使得每个被操作对象面向该用户。

图15示出了下述情形：当公共区域中的被操作对象#2被拖拽或投掷到用户A的用户占用区域A且被操作对象#2的一部分或者中心坐标进入 用户占用区域A时，对象优化处理块720如何沿面向用户A的方向来自动旋转被操作对象#2。图15还示出了下述情形：当用户B的用户占用区域B中的被操作对象#1被拖拽或投掷到用户A的用户占用区域A且被操作对象#1的一部分或者中心坐标进入用户占用区域A时，对象优化处理块720如何沿面向用户A的方向来自动旋转被操作对象#1。

如图10所示，当用户B接近信息处理设备100时，在屏幕上靠近用户B处新设置用户占用区域B。在用户占用区域B中被操作对象#3目前正面向用户A的情况下，如果如图16所示地新出现用户占用区域B，则对象优化处理块720立即沿面向用户B的方向自动旋转被操作对象#3。

替代地，代替立即自动旋转被操作对象，在用户B接近信息处理设备100时新设置了用户占用区域B之后，当第一次触摸用户占用区域B中的任何被操作对象时，对象优化处理块720可以使用户占用区域B有效。在这种情况下，当用户占用区域B有效时，对象优化处理块720可以沿面向用户B的方向同时旋转用户占用区域B中的所有被操作对象。

基于通过输入接口集成块520获得的用户操作信息和从监视器区域划分块710传送的区域信息，对象优化处理块720可以对被操作对象进行优化。图17以流程图的形式示出了由对象优化处理块720执行的对被操作对象进行优化的过程。

当对象优化处理块720从输入接口集成块520接收由用户操作的被操作对象的位置信息并从监视器区域划分块710获得监视器区域信息时，对象优化处理块720检查由用户操作的被操作对象位于哪个区域（步骤S1701）。

如果在用户占用区域中发现由用户操作的被操作对象，则对象优化处理块720检查该被操作对象在用户占用区域中是否面向用户（步骤S1702）。

如果发现被操作对象没有面向用户（步骤S1702中的“否”），则对象优化处理块720旋转被操作对象以使得在该用户占用区域中被操作对象面向用户（步骤S1703）。

还可实行的是，当用户将被操作对象从公共区域或其他用户的用户占用区域拖拽或投掷到自身的用户占用区域时，根据用户触摸该被操作对象的位置来控制该被操作对象的旋转方向。图18示出了下述情形：当用户触摸被操作对象的重心位置的右侧以拖拽或投掷并且拖拽或投掷的被操 作对象进入用户占用区域时，该被操作对象如何在绕着其重心位置顺时针旋转之后变成面向用户。图19示出了下述情形：当用户触摸被操作对象的重心位置的左侧以拖拽或投掷并且拖拽或投掷的被操作对象进入用户占用区域时，该被操作对象如何在绕着其重心位置逆时针旋转之后变成面向用户。

如图18和图19所示，参照被操作对象的重心位置来在其旋转方向之间进行切换，可以给用户提供自然的操作感。

下面描述由装置协同数据发送/接收块730执行的装置协同数据发送/接收处理。

如图4所示，信息处理设备100能够通过通信部150与其他装置（例如用户所持有的移动终端）进行通信。例如，当用户正在执行动作（例如，触摸屏幕以进行操作或者移动用户的终端使其靠近信息处理设备100）时，在信息处理设备100与用户持有的相应终端之间执行下述数据的发送/接收，该数据例如是运动图像、静止图像或作为被操作对象的实质的文本内容。

图20示出了在信息处理设备100与用户持有的终端之间传递被操作对象的示例性交互。在图中所示的该示例中，响应于用户A使用户A持有的终端越来越靠近分配给用户A的用户占用区域A的周围，执行下述UI呈现：被操作对象从终端周围出现，以流入用户占用区域A中。

基于对由超近距离通信块513检测的信号的信号分析结果和对由摄像头块503拍摄的用户图像的识别结果，信息处理设备100可以检测用户持有的终端对用户占用区域A的接近。还可实行的是，配置装置协同数据发送/接收块730，以通过用户A与信息处理设备100之间的到此为止的环境（context）（或用户A与其他用户之间通过信息处理设备100的数据的传递）来确认是否存在用户要发送到信息处理设备100的数据，或者发送数据的内容。如果发现发送数据，当用户使由用户所持有的终端越来越靠近用户占用区域A时，装置协同数据发送/接收块730在信息处理设备100与相应的用户终端之间执行下述数据的发送/接收，该数据例如是运动图像、静止图像或作为被操作对象的实质的文本内容。

当装置协同数据发送/接收块730与用户所持有的终端进行数据发送/接收时，执行UI呈现，使得通过由对象优化处理块720执行的对象优化处理，被操作对象从用户所持有的终端出现在显示块603的屏幕上。图 20示出了被操作对象从用户终端流入相应的用户占用区域的示例性UI呈现。

图21以流程图的形式示出了由装置协同数据发送/接收块730执行的装置协同数据发送/接收的处理过程。基于对超近距离通信块513的检测信号的信号分析结果，当用户所持有的终端接近用户占用区域A时，激活由装置协同数据发送/接收块730执行的处理。

例如，基于对超近距离通信块513的检测信号的信号分析结果，装置协同数据发送/接收块730检查是否存在与其进行通信的用户持有的终端（步骤S2101）。

如果发现与其进行通信的用户持有的终端（步骤2101中的“是”），则装置协同数据发送/接收块730基于对超近距离通信块513的检测信号的信号分析结果，来获得发现终端的位置（步骤S2101）。

接下来，装置协同数据发送/接收块730检查是否存在要发送至该用户终端的数据/从该用户终端接收的数据（步骤S2103）。

如果发现要发送至该用户终端的数据/从该用户终端接收的数据（步骤S2103中的“是”），则装置协同数据发送/接收块730通过遵循发送/接受处理算法731，根据用户终端的位置来执行被操作对象的UI呈现（参照图20）。此外，在UI呈现背景下，装置协同数据发送/接收块730向用户终端发送作为被操作对象的实质的数据/从用户终端接收该数据（步骤S2104）。

如图20和图21所示，信息处理设备100从用户终端获得的被操作对象布置在相应用户的用户占用区域中。此外，当在两个或更多个用户之间发送/接收数据时，可以执行操作以使得被操作对象在用户的用户占用区域之间移动。图22示出了下述情形：用户A如何将用户占用区域B中的用户B持有的被操作对象复制到用户占用区域A上。替代地，可以分割被操作对象而不是进行复制。

如果所复制的被操作对象是例如运动图像或静止图像的内容，则屏幕上复制的被操作对象简单地提供独立的另一数据。如果所复制的被操作对象是应用的窗口，则所复制的被操作对象提供应用的另一窗口，其可以在原本具有被操作对象的用户与具有所复制的被操作对象的用户之间协同地操作。

（C）对应于用户位置的输入手段和显示GUI的最优选择

信息处理设备100具有如上所述的距离传感器507和接近传感器511，并且因此在例如如图1和图3中所示的墙安装状态下，可以检测从信息处理设备100的主体或屏幕到用户的距离。

此外，信息处理设备100具有如上所述的触摸检测块509、接近传感器511、摄像头块503和远程控制接收块501，并且因此可以给用户提供两个或更多个输入手段，例如，触摸屏幕、接近屏幕、利用手等的手势、远程控制器以及基于用户状态的间接操作。在操作中，这些输入手段中的每一个取决于从信息处理设备100的主体或屏幕到用户的距离。例如，如果用户距离信息处理设备100的主体50cm以内，则用户可以直接触摸屏幕以确实地对被操作对象进行操作。如果用户距离信息处理设备100的主体2m以内，则对于用户而言太远而不能直接触摸屏幕，但是通过对利用摄像头块503所拍摄的图像执行识别处理，用户可以正确地捕捉用户的面部或手的运动，由此能够进行姿势输入。此外，用户与信息处理设备100的主体分开2m或更多，即使图像识别的精度降低，远程控制信号也可以确实地到达信息处理设备100的主体，因此实现了利用远程控制器的操作。此外，在屏幕上显示的被操作对象的例如框架和信息密度的最优GUI显示也取决于信息处理设备100的主体与用户之间的距离。

在本实施方式中，根据用户的位置或信息处理设备100的主体与用户之间的距离自动选择输入手段之一，并且根据用户的位置自动选择或调整GUI显示，由此增强用户便利性。

图23示出了计算部120用于根据信息处理设备100与用户之间的距离来执行优化处理的示例性内部配置。计算部120具有显示GUI优化块2310、输入手段优化块2320和距离检测方案切换块2330。

显示GUI优化块2310根据用户位置和用户状态对GUI显示（例如显示块603的屏幕上显示的被操作对象的框架和信息密度）执行优化处理。

通过由距离检测方案切换块2330从其他方案切换的距离检测方案可以获得用户的位置。当用户越来越接近屏幕时，通过例如对由摄像头块503所拍摄图像的面部识别或者与用户所持有的终端的接近通信，可以实现个人认证。通过对由摄像头块503所拍摄图像的图像识别或者对距离传感器507的信号分析来识别用户状态。用户状态是下述两者之一：“存在用户”和“不存在用户”。“存在用户”状态是下述两者之一：“用户正在观看电视（或者显示块603的屏幕）”和“用户没在观看电视（未观看）”。 此外，“用户正在观看电视”状态是下述两者之一：“用户正在操作电视（正在操作）”和“用户没在操作电视（没有操作）”。

在确定用户状态时，显示GUI优化块2310参考存储部140中的装置输入手段数据库。此外，根据所确定的用户位置和用户状态，在优化显示GUI时，显示GUI优化块2310参考存储部140中的GUI显示（框架和密度）数据库和内容数据库。

图24A是示出了由显示GUI优化块2310根据用户位置和用户状态所执行的显示GUI优化处理操作的表。图24B至图24E示出了根据用户位置和用户状态发生的信息处理设备100的屏幕转变。

在“不存在用户”状态中，显示GUI优化块2310停止显示块603的屏幕显示并且等待，直到检测到用户的存在为止（参照图24B）。

如果“存在用户”但“用户没在观看电视”，则显示GUI优化块2310选择“自动切换”作为最优显示GUI（参照图24C）。自动切换以随机的方式显示各被操作对象以吸引用户的关注，由此使用户期望观看电视节目。用于自动切换的被操作对象除了在电视/调谐部170接收的电视广播节目内容之外，还包括由显示GUI优化块2310基于内容数据库所选择的被操作对象，例如通过通信块150从因特网下载的网络内容以及从其他用户接收的邮件和信息。

图25A示出了其中执行自动切换的示例性显示GUI。如图25B所示，显示GUI优化块2310可以不时地变化屏幕上显示的每个被操作对象的位置和大小（即露出的程度），由此，影响用户的潜意识。此外，如果用户位置越来越靠近屏幕，使得能够进行个人认证，则显示GUI优化块2310可以通过使用所识别的个人信息来选择或丢弃要进行自动切换的被操作对象。

如果“用户正在看电视”但“用户没在操作电视”，则显示GUI优化块2310选择“自动切换”作为最优显示GUI（参照图24D）。然而，应该注意，不像上述示例那样，如图26中所描述的那样，通过堆叠来规则地布置基于内容数据库而选择的两个或更多个被操作对象，由此利于检查每个单独的被操作对象的显示内容。此外，如果用户位置越来越靠近屏幕而使得能够进行个人认证，则显示GUI优化块2310可以通过使用所识别的个人信息来选择或丢弃要进行自动切换的被操作对象。此外，显示GUI优化块2310可以根据用户位置来控制显示GUI的信息密度，以使得当用 户相对远离屏幕时抑制显示GUI的信息密度，并且例如当用户越来越靠近屏幕时，增加显示GUI的信息密度。

另一方面，如果“用户正在观看电视”且同时“用户正在操作电视”，这表示用户正在通过使用由输入手段优化块2320优化的输入手段来操作信息处理设备100（参照图24E）。输入手段包括：例如，将远程控制信号发送到远程控制接收块501、到摄像头块503的手势、由触摸检测块509检测到的对触摸面板的触摸、到扩音器块505的音频的输入以及到接近传感器511的接近输入。显示GUI优化块2310可以根据用户进行的输入操作将被操作对象成堆显示作为最优显示GUI，由此根据用户进行的操作执行对被操作对象的滚动和选择操作。如图27A所示，光标被显示在通过所选择的输入手段所指示的屏幕上的位置处。认为光标没有位于其处的被操作对象是用户不关注的被操作对象，因此可以如图中所示的通过阴影线来表示的那样降低这些被操作对象的亮度级，以提供与用户所关注的被操作对象的对比差（在图中，光标位于用户手指所触摸的被操作对象#3处）。此外，如图27B所示，还可实行的是，当用户选择光标所在处的被操作对象时，所选择的被操作对象被全屏显示（或者放大到可能的最大尺寸）(在图中，以放大的方式显示所选择的被操作对象#3)。

输入手段优化块2320根据用户位置和用户状态对用户通过其来操作信息处理设备100的输入手段进行优化。

如前所述，通过由距离检测方案切换块2330选择的距离检测方案来获得用户的位置。当用户越来越接近屏幕时，对由摄像头块503所拍摄的图像的面部识别和通过与用户所持有的终端的接近通信的个人认证变得可执行。基于对由摄像头块503所拍摄的图像的图像识别和对距离传感器507的信号分析来识别用户的状态。

在确定用户状态时，输入手段优化块2320参照存储部140中的装置输入手段数据库。

图28示出了输入手段优化块2320根据用户位置和用户状态执行的输入手段的优化处理。

在“不存在用户”状态、“存在用户”但是“用户没在观看电视”状态以及“用户正在观看电视”但“用户没在操作电视”状态中，输入手段优化块2320等待直到用户操作开始。

然后，在“用户正在观看电视”状态和“用户正在操作电视”状态中， 输入手段优化块2320主要根据用户位置来优化每种输入手段。输入手段包括：例如，到远程控制接收块501的远程控制输入、到摄像头块503的手势输入、由触摸检测块509检测到的触摸输入、到扩音器505的音频输入以及到接近传感器511的接近输入。

针对所有用户位置激活远程控制接收块501（即：始终激活），以等待接收远程控制信号。

随着用户越来越远离屏幕，对由摄像头块503所拍摄的图像的识别精度降低。另一方面，如果用户变得太靠近屏幕，用户的身形易于超出摄像头块503的成像范围。因此，当用户的位置进入距离屏幕几十厘米至几米的范围内时，输入手段优化块2320接通到摄像头块503的手势输入。

对于与显示块603的屏幕重叠的触摸面板的触摸限于用户的手可以到达的范围。因此，当用户的位置进入距离屏幕几十厘米的范围中时，输入手段优化块2320接通到触摸检测块509的触摸输入。如果用户没有触摸触摸面板，接近传感器511可以检测在达到几十厘米范围中的用户。因此，直到用户位置远于触摸输入时，输入手段优化块2320接通接近输入。

随着用户远离屏幕，到扩音器块505的音频输入的识别精度降低。因此，在用户位置达到几米的范围中，输入手段优化块2320接通到摄像头块503的手势输入。

距离检测方案切换块2330使信息处理设备100根据用户位置在用于检测与用户的距离和用户位置的方案之间进行切换。

在确定用户状态时，距离检测方案切换块2330参考存储部140中的针对每个检测方案的覆盖范围数据库。

图29示出了其中示出距离检测方案切换块2330根据用户位置来执行的切换处理操作的表。

距离传感器507由简单且低功耗的传感器元件构成，例如PSD传感器、热电传感器或简易摄像头。为了在距离信息处理设备100五米至十米的半径内始终监视用户的存在，距离检测方案切换块2330始终接通距离传感器507。

如果摄像头块503是单目式的，则图像识别块504基于例如背景差来执行用户移动识别、面部识别和人体识别。当用户位置在70厘米至6米的范围中时，距离检测方案切换块2330开启由图像识别块504进行的识别（或距离检测）功能，其中，在该范围中基于所拍摄的图像可以获得足 够的识别精度。

如果摄像头块503是双目式或主动式的，在60厘米至5米的范围中时，图像识别块504可以获得足够的识别精度，其中，该范围比上述单目式摄像头略微靠近屏幕。在该用户位置范围中，距离检测方案切换块2330开启由图像识别块504进行的识别（或者距离检测）功能。

如果用户变得太靠近屏幕，用户的身形易于超出摄像头块503的范围。因此，如果用户太靠近屏幕，距离检测方案切换块2330可以关闭摄像头块503和图像识别块504。

对于与显示块603的屏幕叠加的触摸面板的触摸限于用户的手可以到达的范围。因此，在用户位置达到几十厘米的范围中，距离检测方案切换块2330开启由触摸检测块509执行的距离检测功能。即使用户没有触摸触摸面板，接近传感器511也可以检测远至几厘米的用户。因此，直到用户位置远于触摸输入，距离检测方案切换块2330开启距离检测功能。

在具有两个或更多个距离检测方案的信息处理设备100的设计策略中，用于在超过几米或十米的相对远的范围中执行检测的距离检测方案必须一直开启，以识别用户的存在。因此，针对该距离检测方案期望使用低功耗的检测装置。相反，用于检测一米或更小的接近距离的距离检测方案可以获得高密度的信息，以具有以相对大功耗为代价的用于识别处理的识别功能，例如面部识别和人体识别。因此，针对该距离检测方案，期望在不能获得足够的识别精度的距离处关闭这些功能。

（D）根据监视器性能的对象的实际尺寸显示

利用现有技术的对象显示系统，在屏幕上显示该真实对象的图像而不考虑该对象的实际尺寸信息。因此，显示的对象的尺寸根据屏幕的大小和分辨率（dpi）而变动。例如，通过将宽度为“a”厘米的包显示在32英寸的监视器屏幕上所获得的宽度“a′”与通过将相同的包显示在50英寸的监视器屏幕上所获得的宽度“a″”不同（“a”≠“a′”≠“a″”）（参照图30）。

在同一监视器屏幕上同时显示两个或更多个对象的图像时，除非考虑每个对象的实际尺寸信息，否则对象之间的大小关系不能被正确显示。例如，在同一监视器屏幕上同时显示宽度为“a”厘米的包和宽度为“b”厘米的钱包时，包的宽度显示为“a′”厘米而钱包的宽度显示成“b′”厘米，包与钱包之间的大小关系没有被正确显示（“a”:“b”≠“a′”:“b′”） (参照图31)。

例如，在网购商品时，除非以实际尺寸再现商品的样品图像，否则该商品可能不能正确低适合他的/她的体型，由此使得用户可能购买错误的产品。在通过网购同时购买两个或者更多的商品的情况下，当这些样品图像同时显示在屏幕上时，除非正确地显示这些样品图像之间的大小关系，否则用户不能正确的组合并适合这些商品，由此使得用户可能购买错误的商品组合。

不同于现有技术，根据本实施方式的信息处理设备100被配置成管理显示的对象的实际尺寸信息以及显示块603的屏幕的大小和分辨率（或者像素间距），以始终确保在屏幕上以实际尺寸显示每个对象的图像，即使对象尺寸和/或屏幕尺寸发生改变。

图32示出了计算部120用于根据监视器性能来执行对象的实际尺寸显示处理的示例性内部配置。计算部120具有：实际尺寸显示块3210、实际尺寸估计块3220和实际尺寸扩展块3230。应该注意，实际尺寸显示块3210、实际尺寸估计块3220和实际尺寸扩展块3230中的至少一个功能块可以被假定为在通过通信部150连接到信息处理设备100的云服务器上实现。

在同一监视器屏幕上显示两个或更多个对象的图像时，实际尺寸显示块3210根据显示块603的屏幕的大小和分辨率（或者像素间距），来考虑每个对象的实际尺寸信息以始终以实际尺寸显示对象的图像。此外，在显示块603的屏幕上同时显示两个或更多个对象的图像时，实际尺寸显示块3210正确地显示这些对象之间的大小关系。

实际尺寸显示块3210从存储部140读取监视器规格，例如显示块603的屏幕的大小和分辨率（或像素间距）。此外，实际尺寸显示块3210从旋转/安装机构块180获得监视器状态，例如显示块603的屏幕的方向和斜度。

此外，实际尺寸显示块3210从存储部140中的对象图像数据库中读取要显示的对象的图像，并且同时，从存储部140中的对象实际尺寸数据库中读取这些对象的实际尺寸信息。应该注意，对象图像数据库和对象实际尺寸数据库可以被假定为位于通过通信部150连接到信息处理设备100的数据库服务器上。

然后，实际尺寸显示块3210基于监视器性能和监视器状态执行对象 图像转换处理，使得要显示的对象在显示块603的屏幕上变成实际尺寸（或者两个或更多个对象之间的大小关系变正确）。即，即使在不同监视器规格的屏幕上显示同一对象的图像时，如图33所示出的那样，获得“a”=“a′”=“a″”的关系。

此外，在同一屏幕上同时显示具有不同的实际尺寸的两个对象的图像时，实际尺寸显示块3210确保“a”:“b”“=“a′”:“b′”的关系，由此正确地显示两个对象之间的大小关系。

例如，当用户通过样品图像的显示来网购产品时，信息处理设备100可以如上所述的那样实现对象的实际尺寸显示和两个或更多个样品之间的正确的大小关系，因此用户可以对商品执行正确的配合，由此将购买错误的商品的几率最小化。

以下通过使用示例来扩展上述描述，在该示例中，实际尺寸显示块3210中的对象图像的实际尺寸显示被应用到网购应用。响应于用户在商品目录显示屏幕上触摸期望的商品，被触摸的商品的图像被切换成实际尺寸显示（参照图35）。此外，根据用户对以实际尺寸显示的图像的触摸操作，图像可以被旋转或变换姿势，由此以改变的方向来显示实际尺寸的对象（参照图36）。

实际尺寸估计块3220执行对下述对象的实际尺寸进行估计的处理，该对象为通过参考对象实际尺寸数据库不能获得其实际尺寸信息的对象，例如利用摄像头块503所拍摄的人物。例如，如果要估计其实际尺寸的对象是用户面部，则实际尺寸估计块3220基于如下信息估计用户的实际尺寸：通过图像识别块504对利用摄像头块503所拍摄的图像进行识别而获得的用户面部数据（例如用户面部的大小、年龄、和方向）以及通过距离检测方案切换块2330所选择的距离检测方案而获得的用户位置。

所估计的用户实际尺寸信息被馈送至实际尺寸显示块3210，以存储在例如对象图像数据库中。然后，根据用户面部数据估计的实际尺寸信息被用于实际尺寸显示块3210中根据随后的监视器性能的实际尺寸显示。

例如，如图37A所示，当被操作对象包括主体（婴儿）的拍摄图像时，实际尺寸估计块3220基于该面部数据估计实际尺寸。然后，如图37B所示，如果用户试图通过触摸操作来放大该被操作对象，该被操作对象不会被放大到超过主体的实际尺寸。即，婴儿图像不会被不自然地放大，由此保持了视频的真实性。

此外，在并排地或者互相叠加地在显示块603上显示网络内容和由摄像头块503所拍摄的内容时，可以基于估计的实际尺寸来对内容视频进行正规化，以实现平衡的并行或叠加显示。

此外，实际尺寸扩展块3230对在实际尺寸显示块3210中在显示块603的屏幕上实现的对象的实际尺寸显示进行了3D（三维）实现，即包括深度。应该注意，在基于双目式方案或仅在水平方向上的光束再现方案（light-ray reproduction scheme）来执行3D实现时，仅在3D视频生成时所假设的观看位置处获得期望的效果。在全方向光束再现方案中，可以在任何位置处实现实际尺寸显示。

此外，在双目式方案或仅在水平方向上的光束再现方案中，实际尺寸扩展块3230还可以检测用户观看位置，以通过该位置来矫正3D视频，由此从任何位置获得类似的实际尺寸。

例如，参考已转让给本申请人的日本特开第2002-300602号、日本特开第2005-149127号和日本特开第2005-142957号公报。

（E）图像组的同时显示

在显示系统中，可以以并行或叠加的方式在同一屏幕上同时显示从两个或更多个源的获得的视频内容。例如：（1）在两个或更多个用户执行互相视频聊天的情况中；（2）在例如在瑜伽课程中从例如DVD的记录介质再现的（或经由网络的流再现的）瑜伽教练的视频与用摄像头块503拍摄的用户的视频同时显示的情况中；以及（3）在网购时为了匹配而以叠加的方式显示商品样品图像和由摄像头块503拍摄的用户的视频的情况中。

在上述（1）和（2）的每个情况中，如果同时显示的图像之间的大小关系没有被正确显示，则用户将不能适当地使用所显示的视频。例如，如果进行视频聊天的用户的面部的大小和位置变得不一致（参照图38A），则削弱了面对面的虚拟现实感，从而丧失了流畅的谈话。此外，如果用户的身形与教练的身形的大小和位置不一致（参照图39A），用户将难以衡量自身的动作与教练动作之间的差别，从而不能明白改正和改进的点，导致不满意的课程效果。另外，如果在商品样品图像与摆出拿着商品的姿势的用户视频之间，商品样品图像没有以正确的大小关系叠加在适当的位置，用户将难以检查该商品是否适合自己，从而使得不能提供正确的匹配（图40A）。

另一方面，在相互并行地布置来自两个和更多的源的视频内容或者互 相叠加地布置来自两个和更多的源的视频内容时，根据本实施方式的信息处理设备100通过使用例如图像比例和对应区域的信息来对图像进行正规化以便以并行或叠加的方式来显示。在正规化时，执行图像处理，例如对包括静止图像和运动图像的数字图像数据进行数字变焦处理。此外，如果以并行或叠加的方式布置的多个图像之一是由摄像头块503所拍摄的图像，则实际的摄像头被光学地控制，例如平摇、俯仰和变焦。

通过使用由面部识别获得的信息（例如面部的大小、年龄和方向）以及由个体识别获得的信息（例如身体的身形和大小），可以容易地实现图像的正规化处理。此外，以并行或者叠加方式布置两个或更多个图像时，对图像之一自动地执行镜像和旋转以利于与其他图像对应。

图38B示出了通过在两个或更多个图像之间执行正规化处理而使得正在视频聊天的用户的面部的大小和位置变得一致的方式。图39B示出了通过在两个或更多个图像之间进行正规化处理而使得在屏幕上互相并行显示的用户身形与教练身形的大小和位置一致的方式。图40B示出了通过在两个或更多个图像之间进行正规化处理而使得商品的样品图像被显示为在正确的位置以正确的大小关系叠加在摆出拿着商品的姿势的用户的视频上的方式。应该注意，在图39B和图40B中，除了对大小关系进行正规化处理外还进行了镜像，以利于用户根据由摄像头块503所拍摄的图像来改正用户姿势。根据需要也可以执行旋转处理。此外，如果用户的身形可以与教练的身形进行正规化，则可以如图39C中所示出的那样互相叠加正规化后的身形，而不是如图39B中所示出的那样互相并行地布置这些身形，从而进一步利于用户在视觉上辨别用户的姿势与教练的姿势之间的差别。

图41示出了计算部120用于对图像执行正规化处理的示例性内部配置。计算部120具有：图像间正规化处理块4110、面部正规化处理块4120和实际尺寸扩展块4130。应该注意，图像间正规化处理块4110、面部正规化处理块4120和实际尺寸扩展块4130中的至少一个功能块被假设成在通过通信部150连接的云服务器上来实现。

图像间正规化处理块4110执行正规化处理，以使得在两个或更多个图像之间正确地显示用户的图像与其他对象的图像之间的大小关系。

图像间正规化处理块4110通过输入接口集成块520输入由摄像头块503所拍摄的用户的图像。在该处理中，在拍摄用户图像时也获得了摄像头块503的摄像头信息，例如平摇、俯仰和变焦。此外，图像间正规化处 理块4110从图像数据库获得要与用户图像并行显示或在用户图像上叠加显示的其他对象的图像，以及获得用于并行或互相叠加地显示用户图像和其他对象图像的模式。图像数据库可以存储在存储部140中或通过通信部150访问的数据库服务器中。

然后，图像间正规化处理块4110进行图像处理（例如根据正规化算法对用户图像进行缩放、旋转和镜像），使得与其他对象的大小关系和用户图像的姿势变得合适。同时，为了拍摄合适的用户图像，生成用于控制摄像头块503的平摇、俯仰和变焦的摄像头控制信息。例如，如图40B所述，由图像间正规化处理块4110进行的处理使得能够以正确的大小关系来显示用户图像和其他对象的图像。

面部正规化处理块4120执行正规化处理，使得适当地显示由摄像头块503所拍摄的用户的面部图像与其他被操作对象中的面部图像（例如，从记录介质再现的图像中的教练的面部，或者视频聊天的伙伴用户的面部）之间的大小关系。

面部正规化处理块4120通过输入接口集成块520输入由摄像头块503拍摄的用户图像。同时，在拍摄用户图像的时侯获得摄像头信息，例如摄像头块503的平摇、俯仰和变焦。此外，面部正规化处理块4120从存储部140或通过通信部150获得要与所拍摄的用户图像并行或叠加显示的其他被操作对象中的面部图像。

接下来，面部正规化处理块4120执行图像处理（例如对用户图像进行缩放、旋转和镜像），使得用户的面部图像与另一对象的面部图像之间的大小关系变得合适。同时，为了拍摄合适的用户图像，生成用于控制摄像头块503的平摇、俯仰和变焦的摄像头控制信息。例如，如图38B、图39B和图39C所示，由面部正规化处理块4120进行的处理使得能够以正确的大小关系来显示用户的面部图像与其他对象的面部图像。

此外，实际尺寸扩展块4130对在图像间正规化处理块4110中或者图像间正规化处理块4110中的显示块603的屏幕上实现的两个或更多个图像的并行或重叠显示实现了3D显示，即，包括深度的显示。应该注意，在基于双目式方案或仅在水平方向上的光束再现方案来执行3D显示时，仅在3D视频生成时所假设的观看位置处可以获得期望的效果。在全方向光束再现方案中，可以在任何位置实现实际尺寸显示。

此外，在双目式方案或仅在水平方向上的光束再现方案中，实际尺寸 扩展块4130还可以检测用户的观看位置以将3D视频校正到该位置，由此获得从任何位置的类似的实际尺寸显示。

例如，参考已转让给本申请人的日本特开第2002-300602号、日本特开第2005-149127号和日本特开第2005-142957号公报。

（F）旋转屏幕上的视频内容的显示方法

如前所述，通过例如旋转/安装机构块180将与本实施方式相关联的信息处理设备100的主体可旋转且可拆卸地安装在墙上。此外，当在通电期间（即，被操作对象正显示在显示块603上期间）旋转信息处理设备100时，被操作对象被旋转，以使用户能够以正确的姿势观察被操作对象。

下面描述针对信息处理设备100的主体的给定旋转角度和旋转的转变过程来优化调整视频内容的显示格式的方法。

在给定的旋转角度处和在屏幕的旋转的转变过程中，视频内容的显示格式包括：（1）在给定旋转角度处视频内容是完全可见的显示格式；（2）在每个旋转角度处，对关注视频内容的尺寸最大化的显示格式；和（3）旋转视频内容以消除无效区域的显示格式。

图42示出了下述显示格式：显示视频内容的所有区域，使得当信息处理设备100（或者其屏幕）被逆时针旋转90度时，视频内容没有以任何给定角度处被切掉。如图中所示，当在处于水平显示布置的屏幕上显示处于横向显示布置的视频内容时，试图将屏幕逆时针旋转90度以使屏幕处于垂直显示布置，使显示的视频内容缩小，并且同时，提供了以黑色表示的无效区域。在将屏幕从水平显示布置转到垂直显示布置的过程中，显示的视频内容的尺寸被最小化。

如果视频内容的至少一部分被从视野中切掉，则存在下述问题：作为版权作品的视频内容丧失同一性。图42中所示的显示格式始终确保了在任意给定的旋转角度处或者在旋转的过程中作为版权作品的同一性。即，图42中所示的显示格式适于受版权保护的内容。

图43示出了下述显示格式：在该格式中，当信息处理设备100（或其屏幕）被旋转90度时，在任意给定的旋转角度处，视频内容中的关注区域被最大化。在图中，将视频内容中由虚线环绕的包括主体的区域设置成关注区域，以在任意给定的旋转角度处最大化该关注区域。因为关注区域是纵向显示的，因此通过将屏幕从横向显示变成纵向显示来放大视频内容。在将屏幕从横向显示变成纵向显示的过程中，在屏幕上对角线方向地 最大化关注区域。在将屏幕从横向显示变成纵向显示的转变过程中，在屏幕上出现以黑色表示的无效区域。

作为视频内容中的关注区域采用的显示格式，下述变形是可能的：视频内容被旋转的同时关注区域的大小保持不变。在该变形中，随着屏幕旋转，关注区域看起来流畅的旋转，但是无效区域增加。

图44示出了下述显示格式：当信息处理设备100（屏幕）被逆时针旋转90度时，旋转视频内容且不造成无效区域。

图45示出了关于图42至图44中示出的每种显示格式的相对于旋转位置的视频内容的变焦比关系。在图42所示的显示格式中，在任意给定的旋转角度处没有从视野中切除视频内容，这可以保护视频内容的版权但是在旋转的转变过程中将出现相对大的无效区域。此外，由于在旋转的转变过程中视频内容变小，所以在转变过程中用户会有不自然感。在图43所示的显示格式中，在任意给定的旋转角度处视频内容的关注区域被最大化，可以更加流畅地旋转关注区域，但是在旋转的转变过程中将产生无效区域。在图44所示的显示格式中，尽管在旋转的转变过程中没有出现无效区域，但是在转变过程中视频内容被过度放大，由此可能使观看用户感到不自然。

图46以流程图的形式示出了下述处理过程：在旋转信息处理设备100（或显示块603的屏幕）时，通过计算块120来控制视频内容的显示格式。当通过旋转/安装机构块180检测到信息处理设备100的主体的旋转或者通过三轴传感器块515检测到信息处理设备100的主体的旋转位置的改变时开始该处理过程。

在旋转信息处理设备100（或显示块603的屏幕）时，首先，计算块120获得在屏幕上显示的视频内容的属性信息（步骤S4601）。然后，计算块120检查在屏幕上显示的视频内容是否是例如受版权保护的（步骤S4602）。

如果在屏幕上显示的视频内容被发现是受版权保护的（步骤S4602中的“是”），则计算块120选择下述显示格式：显示视频内容的整个区域，使得如图42中所示出的那样没有从视野中切除视频内容（步骤S4603）。

如果在屏幕上显示的视频内容被发现不是受版权保护的（步骤S4602中的“否”），则计算块120检查是否存在由用户指定的显示格式（步骤S4604）。

如果用户选择了显示视频内容的整个区域的显示格式，则处理进行到步骤S4603。如果用户选择了最大化显示关注区域的显示格式，则处理进行到步骤S4605。如果用户选择了不显示无效区域的显示格式，则处理进行到步骤S4606。如果用户没有选择这些显示格式，则选择这三种显示格式中被设置为默认值的显示格式。

图47示出了计算块120用于在信息处理设备100的主体的给定旋转角度处或者在旋转的转变过程中执行调整视频内容的显示格式的处理的示例性内部配置。计算块120具有：显示格式确定块4710、旋转位置输入块4720和图像处理块4730，以调整所接收的电视广播和从介质再现的视频内容的显示格式。

在信息处理设备100的主体的给定的旋转角度处或者在旋转的过程中，显示格式确定块4710根据图46中所示的处理步骤来确定用于旋转视屏内容的显示格式。

旋转位置输入块4720通过输入接口集成块520来输入信息处理设备100的主体（或显示块603的屏幕）的旋转位置，该旋转位置是通过旋转/安装机构块180或三轴传感器块515而获得的。

图像处理块4730根据由显示格式确定块4710所确定的显示格式来执行图像处理，以使得所接收的电视广播或从介质再现的视频内容与在由旋转位置输入块4720输入的旋转角度处倾斜的显示块603的屏幕适配。

（G）本文公开的技术

本文公开的技术还可以采用以下配置：

（101）一种信息处理设备，包括：显示块；用户检测块，用于检测在上述显示块周围存在的用户；以及计算部，用于在通过上述用户检测块检测到用户时对要在上述显示块上显示的被操作对象进行处理。

（102）根据上述（101）所述的信息处理设备，其中，上述用户检测块具有接近传感器，所述接近传感器被布置在上述显示块的屏幕的四个边缘部分中的每一个上，由此检测在四个边缘部分中的每个边缘附近存在的用户。

（103）根据上述（101）所述的信息处理设备，其中，所述计算部根据由上述用户检测块所检测到的用户的布置，在上述显示块的屏幕中设置由所检测到的用户共有的共用区域以及针对每个检测到的用户的用户占用区域。

（104）根据上述（103）所述的信息处理设备，其中，上述计算部在上述显示块的屏幕上显示由用户操作的一个或更多个被操作对象。

（105）根据上述（104）所述的信息处理设备，其中，上述计算部对用户占用区域中的被操作对象进行优化。

（106）根据（104）所述的信息处理设备，其中，上述计算部执行旋转处理，使得用户占用区域中的被操作对象面向所关注的用户。

（107）根据上述（104）所述的信息处理设备，其中，上述计算部执行旋转处理，使得从共用区域或其他用户占用区域移动到该用户占用区域中的被操作对象面向所关注的用户。

（108）根据（107）所述的信息处理设备，其中，当用户通过拖拽在区域间移动被操作对象时，上述计算部根据用户操作被操作对象的位置相对于被操作对象的重心位置来控制旋转被操作对象时的旋转方向。

（109）根据上述（103）所述的信息处理设备，其中，当在上述显示块的屏幕上设置由用户检测块新检测到的用户的用户占用区域时，上述计算部显示表示新检测到用户的检测指示。

（110）根据（104）所述的信息处理设备，还包括用于向用户所持有的终端发送数据/从用户所持有的终端接收数据的数据发送/接收块。

（111）根据上述（110）所述的信息处理设备，其中，上述数据发送/接收块向由上述用户检测块检测到的用户所持有的终端进行数据发送/从/由上述用户检测块检测到的用户所持有的终端进行数据接收，并且上述计算部使被操作对象对应于从由所关注的用户占用区域中出现的用户所持有的终端接收的数据。

（112）根据上述（104）所述的信息处理设备，其中，上述计算部根据每个用户的用户占用区域之间的被操作对象的移动，将被操作对象复制到被操作对象被移动到其处的用户占用区域中或对被操作对象进行分割。

（113）根据（112）所述的信息处理设备，其中，上述计算部将产生为另外的数据的被操作对象的复本显示在被操作对象被移动到其处的用户占用区域上。

（114）根据上述（112）所述的信息处理设备，其中，上述计算部将下述被操作对象的复本显示在被操作对象被移动到其处的用户占用区域上：该被操作对象提供用户间能够进行协同工作的应用的另外的窗口。

（115）一种信息处理方法，包括下述步骤：检测在上述显示块周围存在的用户；以及在上述用户检测步骤中检测到用户时，对要显示的被操作对象进行处理。

（116）一种以计算机可读语言编写的计算机程序，其使计算机用为：显示块；用户检测块，用于在通过上述用户检测块检测到用户时对要在上述显示块上显示的被操作对象进行处理。

（201）一种信息处理设备，包括：显示块；用户位置检测块，用于相对于上述显示块的屏幕检测用户位置；用户状态检测块，用于相对于上述显示块的屏幕检测用户状态；以及计算部，用于根据由上述用户状态检测块检测到的用户状态和由上述用户位置检测块检测到的用户位置来控制要在上述显示块上显示的GUI。

（202）根据（201）所述的信息处理设备，其中，上述计算部根据用户位置和用户状态来控制待由用户操作的一个或更多个被操作对象的框架或信息密度，所述框架或信息密度显示在上述显示块的屏幕上。

（203）根据（201）所述的信息处理设备，其中，上述计算部根据用户是否在观看上述显示块的屏幕来控制要显示在屏幕上的被操作对象的框架。

（204）根据（201）所述的信息处理设备，其中，上述计算部根据用户位置来控制要在显示块的屏幕上显示的被操作对象的信息密度。

（205）根据（201）所述的信息处理设备，其中，上述计算部根据用户是否处于可以进行人物识别的位置来控制对要显示在显示块的屏幕上的被操作对象的选择。

（206）根据（201）所述的信息处理设备，还包括：一个或更多个输入手段，用户通过其来操作显示在上述显示块的屏幕上的被操作对象，其中，上述计算部根据用户是否正在通过上述输入手段对被操作对象进行操作来控制要显示在屏幕上的被操作对象的框架。

（207）一种信息处理设备，包括：显示块；一个或更多个输入手段，用户用其对上述显示块的屏幕上显示的被操作对象进行操作；用户位置检测块，用于检测相对于上述显示块的用户位置；用户状态检测块，用于检测相对于显示块的屏幕的用户状态；以及计算部，用于根据由上述用户位置检测块所检测到的用户位置和由上述用户状态检测块所检测到的用户状态对所述输入手段进行优化。

（208）根据（207）所述的信息处理设备，其中，上述计算部根据用户是否正在观看上述显示块的屏幕来控制上述输入手段的优化。

（209）根据（207）所述的信息处理设备，其中，在用户正在观看上述显示块的屏幕的状态下，上述计算部根据由用户位置检测块所检测到的用户位置对所述输入手段进行优化。

（210）一种信息处理设备，包括：显示块；用户位置检测块，用于检测相对于上述显示块的用户位置；多个距离检测方案，用于检测从上述显示块的屏幕与用户的距离；以及计算部，用于根据由上述用户位置检测块所检测到的用户位置来控制上述多个距离检测方案之间的切换。

（211）根据（210）所述的信息处理设备，其中，上述计算部始终开启上述多个距离检测方案，以检测与远处用户的距离。

（212）根据（210）所述的信息处理设备，其中，只在获得足够的识别精度的范围内，上述计算部才开启所述多个距离检测方案的功能，所述多个距离检测方案检测近处用户的距离且执行识别处理。

（213）一种信息处理方法，包括：检测相对于显示屏幕的用户位置；检测相对于显示屏幕的用户状态；以及根据在上述用户位置检测步骤中所检测到的用户位置和在上述用户状态检测步骤中所检测到的用户状态来控制要在上述显示屏幕上显示的GUI。

（214）一种信息处理方法，包括：检测相对于显示屏幕的用户位置；检测相对于上述显示屏幕的用户状态；以及根据在上述用户位置检测步骤中所检测到的用户位置和在上述用户状态检测步骤中所检测到的用户状态来对用户用以对上述显示屏幕上显示的被操作对象进行操作的一个或更多个输入手段进行优化。

（215）一种信息处理方法，包括：检测相对于显示屏幕的用户位置；以及根据在上述用户位置检测步骤中所检测到的用户位置来控制多个距离检测方案的切换，该多个距离检测方案用于检测上述显示屏幕与用户的距离。

（216）一种以计算机可读语言编写的计算机程序，该程序使计算机用作：显示块；用户位置检测块，用于检测相对于上述显示块的用户位置；用户状态检测块，用于检测相对于上述显示块的屏幕的用户状态；以及计算部，用于根据由所述用户位置检测块所检测到的用户位置和由所述用户状态检测块所检测到的用户状态来控制要在上述显示块上显示的GUI。

（217）一种以计算机可读语言编写的计算机程序，该程序使计算机用作：显示块；一个或更多个输入手段，用户用其对上述显示块的屏幕上显示的被操作对象进行操作；用户位置检测块，用于检测相对于上述显示块的用户位置；用户状态检测块，用于检测相对于显示块的屏幕的用户状态；以及计算部，用于根据由上述用户位置检测块所检测到的用户位置和由上述用户状态检测块所检测到的用户状态对所述输入手段进行优化。

（218）一种以计算机可读语言编写的计算机程序，该程序使计算机用作：显示块；用户位置检测块，用于检测相对于上述显示块的用户位置；多个距离检测方案，用于检测从上述显示块的屏幕与用户的距离；以及计算部，用于根据由上述用户位置检测块所检测到的用户位置来控制上述多个距离检测方案之间的切换。

（301）一种信息处理设备，包括：显示块；对象图像捕获块，用于捕获要在上述显示块的屏幕上显示的对象图像；实际尺寸捕获块，用于捕获与要在上述显示块的屏幕上显示的上述对象的实际尺寸信息；以及计算部，用于基于由上述实际尺寸捕获块所捕获的上述对象的实际尺寸来对上述对象图像进行处理。

（302）根据（301）所述的信息处理设备，还包括：显示性能捕获块，用于捕获与显示性能相关联的信息，该显示性能包括上述显示块的屏幕大小和分辨率，其中，上述计算部基于由上述显示性能捕获块所获得的显示性能和由上述实际尺寸捕获块所捕获的对象的实际尺寸，来处理对象图像，以使得对象图像以实际尺寸显示在上述显示块的屏幕上。

（303）根据（301）所述的信息处理设备，其中，当在上述显示块的屏幕上同时显示由上述对象图像捕获块所捕获的多个对象图像时，上述计算部处理所述多个对象图像以使得正确地显示多个对象图像之间的大小关系。

（304）根据（301）所述的信息处理设备，还包括：摄像头块；和实际尺寸估计块，用于估计包括在由上述摄像头块所拍摄的图像中的对象的实际尺寸。

（305）根据（301）所述的信息处理设备，还包括：摄像头块；图像识别块，用于识别包括在由所述摄像头块所拍摄的图像中的用户面部数据，由此捕获面部数据；距离检测块，用于检测与上述用户的距离；以及实际尺寸估计块，其基于与上述用户的距离和上述用户的面部数据来估计上述用户面部的实际尺寸。

（306）一种信息处理方法，包括：捕获要在屏幕上显示的对象图像；捕获要在屏幕上显示的上述对象的实际尺寸信息；以及基于通过上述实际尺寸捕获步骤所捕获的对象的实际尺寸来处理所述对象图像。

（307）一种以计算机可读语言编写的计算机程序，该程序使计算机用作：显示块；对象图像捕获块，用于捕获要在上述显示块的屏幕上显示的对象图像；实际尺寸捕获块，用于捕获要在上述显示块的屏幕上显示的上述对象的实际尺寸信息；以及计算部，用于基于由上述实际尺寸捕获块所捕获的上述对象的实际尺寸来对上述对象图像进行处理。

（401）一种信息处理设备，包括：摄像头块；显示块；以及计算部，用于在要在所述显示块的屏幕上显示利用所述摄像头块拍摄的用户图像时，对所述用户图像进行正规化。

（402）根据（401）所述的信息处理设备，还包括：对象图像捕获块，用于捕获要在所述显示块的所述屏幕上显示的对象图像；以及并行和叠加模式捕获块，用于捕获并行和叠加模式，所述并行和叠加模式用于使所述用户图像和所述对象图像在所述显示块的所述屏幕上处于并行布置和叠加布置之一，其中，所述计算部对所述用户图像和所述对象图像进行正规化，使得所述用户图像和所述对象图像之间的大小关系及所述用户图像和所述对象图像的位置变得正确，由此根据所捕获的并行和叠加模式使正规化的用户图像和正规化的对象图像处于所述并行布置和所述叠加布置之一。

（403）根据（402）所述的信息处理设备，其中，所述计算部对所述摄像头块进行控制，以便对利用所述摄像头块拍摄的所述用户图像进行正规化。

（404）根据（401）所述的信息处理设备，还包括：用户面部数据捕获块，用于捕获利用所述摄像头块拍摄的用户面部数据；以及对象中面部数据捕获块，用于捕获要在所述显示块的所述屏幕上显示的对象中的面部数据，其中，所述计算部对所述用户面部数据和所述对象中面部数据进行正规化，使得所述用户面部数据和所述对象中面部数据之间的大小关系和所述用户面部数据和所述对象中面部数据的位置变得正确。

（405）根据（404）所述的信息处理设备，其中，所述计算部对所述摄像头块进行控制，以对利用所述摄像头块拍摄的用户图像进行正规化。

（406）一种信息处理方法，包括：捕获要在显示块的屏幕上显示的 对象图像；捕获并行和叠加模式，所述并行和叠加模式用于使利用摄像头块拍摄的用户图像和所述对象图像在所述显示块的屏幕上处于并行布置和叠加布置之一；对所述用户图像和所述对象图像进行正规化，使得所述用户图像和所述对象图像之间的大小关系及所述用户图像和所述对象图像的位置变得正确；以及根据所捕获的并行和叠加模式使正规化的用户图像和正规化的对象图像处于并行布置和叠加布置之一。

（407）一种信息处理方法，包括：捕获利用摄像头块拍摄的用户的面部数据；捕获要在屏幕上显示的对象中面部数据；以及对所述用户面部数据和所述对象中面部数据进行正规化，使得所述用户面部数据和所述对象中面部数据之间的大小关系及所述用户面部数据和所述对象中面部数据的位置变得正确。

（408）一种以计算机可读的语言编写的计算机程序，所述计算机程序使计算机用作：摄像头块；显示块；以及计算部，用于要在所述显示块的屏幕上显示利用所述摄像头块拍摄的用户图像时，对所述用户图像进行正规化。

（501）一种信息处理设备，包括：显示块，用于在屏幕上显示视频内容；旋转角度检测块，用于检测上述屏幕的旋转角度；显示格式确定块，用于在上述屏幕的给定旋转角度处和在旋转的转变过程中来确定视频内容的显示格式；以及图像处理块，用于根据由上述显示格式确定块所确定的显示格式来执行图像处理，以使得视频内容与在由上述旋转角度检测块所检测的旋转角度处倾斜的屏幕适配。

（502）根据（501）所述的信息处理设备，其中，上述显示格式确定块确定如下三种显示格式之一：在给定旋转角度处没有从视野中切除视频内容的显示格式；在每个旋转角度处将视频内容中的关注部分尺寸最大化的显示格式；以及视频内容被旋转以使得不存在无效区域的显示格式。

（503）根据（501）所述的信息处理设备，其中，上述显示格式确定块基于视频内容的属性信息来确定在上述屏幕的给定旋转角度处和在旋转的转变过程中的显示格式。

（504）根据（501）所述的信息处理设备，其中，上述显示格式确定块确定显示格式以使得在给定旋转角度处不从视野中切除受版权保护的视频内容的整体。

（505）一种信息处理方法，包括：检测在其上显示视频内容的屏幕 的旋转角度；在屏幕的给定旋转角度处和在旋转的转变过程中确定视频内容的显示格式；以及根据在显示格式确定步骤中所确定的显示格式来执行图像处理，以使得视频内容与在旋转角度检测步骤中所检测的旋转角度处倾斜的屏幕适配。

（506）一种以计算机可读语言编写的计算机程序，该程序使计算机用作：显示块，用于在屏幕上显示视频内容；旋转角度检测块，用于检测上述屏幕的旋转角度；显示格式确定块，用于在上述屏幕的给定旋转角度处和在旋转的转变过程中来确定视频内容的显示格式；以及图像处理块，用于根据由上述显示格式确定块所确定的显示格式来执行图像处理，以使得视频内容与在由上述旋转角度检测块所检测的旋转角度处倾斜的屏幕适配。

尽管已经使用具体的术语描述了本发明的优选实施方式，但是这样的描述仅是出于说明性的目的，并且应该理解，在不脱离所附权利要求的范围或精神的情况下可以做出改变和替换。

本文中，至此描述了基于本文中公开的技术的实施方式，该实施方式假定具有大型屏幕的电视接收机作为信息处理设备100；然而，本文中公开的技术的要点不限于此。本文中公开的技术还适用于除了电视接收机之外的信息处理设备，例如个人电脑和平板终端，以及具有尺寸不大的屏幕的信息处理设备。

换句话说，仅说明性的描述了本文中所公开的技术，所以本文中的描述不应该被解释为是限制性的。为了判断本文中公开的技术的要点，还应该考虑到所附权利要求的范围。

本公开内容包括与2012年1月13日提交日本专利局的日本在先专利申请JP2012-005504中公开的主题相关的主题，其全部内容通过引用合并到本文中。

Claims (3)

1.一种信息处理设备，包括：

摄像头块；

显示块；以及

计算部，用于通过使用真实尺寸信息或估计的真实尺寸信息，对利用所述摄像头块拍摄的第一人的第一图像和从不同于所述摄像头块的源提供的第二人的第二图像进行正规化，以使得所述第一人的第一图像和所述第二人的第二图像之间的尺寸关系变得正确，以便分别形成所述第一人的正规化第一图像和所述第二人的正规化第二图像；以及使得所述第一人的所述正规化第一图像和所述第二人的所述正规化第二图像以叠加布置同时显示在所述显示块的屏幕上，在所述叠加布置中，所述第一人的所述正规化第一图像和所述第二人的所述正规化第二图像中的一个叠加在所述第一人的所述正规化第一图像和所述第二人的所述正规化第二图像的另一个上，以提供所述第一人叠加在所述第二人之上的叠加图像或所述第二人叠加在所述第一人之上的叠加图像。

2.一种信息处理方法，包括：

利用摄像头块捕获第一人的第一图像；

从不同于所述摄像头块的源获取第二人的第二图像；

通过使用真实尺寸信息或估计的真实尺寸信息，对所述第一人的第一图像和所述第二人的第二图像进行正规化，以使得所述第一人的第一图像和所述第二人的第二图像之间的尺寸关系变得正确，以便分别形成所述第一人的正规化第一图像和所述第二人的正规化第二图像；以及

使得所述第一人的所述正规化第一图像和所述第二人的所述正规化第二图像以叠加布置同时显示在显示块的屏幕上，在所述叠加布置中，所述第一人的所述正规化第一图像和所述第二人的所述正规化第二图像中的一个叠加在所述第一人的所述正规化第一图像和所述第二人的所述正规化第二图像的另一个上，以提供所述第一人叠加在所述第二人之上的叠加图像或所述第二人叠加在所述第一人之上的叠加图像。

3.一种存储有与信息处理设备一起使用的计算机程序的非暂态计算机可读介质，所述信息处理设备包括摄像头块、显示块和计算部，当执行所述计算机程序时使得所述计算部执行一种信息处理方法，所述信息处理方法包括：

利用所述摄像头块捕获第一人的第一图像；

从不同于所述摄像头块的源获取第二人的第二图像；

通过使用真实尺寸信息或估计的真实尺寸信息，对所述第一人的第一图像和所述第二人的第二图像进行正规化，以使得所述第一人的第一图像和所述第二人的第二图像之间的尺寸关系变得正确，以便分别形成所述第一人的正规化第一图像和所述第二人的正规化第二图像；以及

使得所述第一人的所述正规化第一图像和所述第二人的所述正规化第二图像以叠加布置同时显示在所述显示块的屏幕上，在所述叠加布置中，所述第一人的所述正规化第一图像和所述第二人的所述正规化第二图像中的一个叠加在所述第一人的所述正规化第一图像和所述第二人的所述正规化第二图像的另一个上，以提供所述第一人叠加在所述第二人之上的叠加图像或所述第二人叠加在所述第一人之上的叠加图像。