CN104025004A - 信息处理设备、信息处理方法和计算机程序 - Google Patents

Abstract

一种信息处理设备可包括控制单元，该控制单元用于基于根据从设备的外部输入到设备的至少一个信息信号而进行的对用户的检测来控制对显示在显示单元上的操作对象的处理，其中，操作对象的操作权利被给予用户。

Description

信息处理设备、信息处理方法和计算机程序

对相关申请的交叉引用

本申请要求2012年1月13在日本专利局提交的日本专利申请JP2012-005258的优先权，该申请的全部内容通过引用合并于此。

技术领域

本说明书中公开的技术涉及一种设置有基于触摸面板方案等的也用作输入单元的显示屏幕的信息处理设备、信息处理方法和计算机程序，具体地，涉及包括大屏幕的并且由多个用户共同使用的信息处理设备、信息处理方法和计算机程序，其中，用户通过对触摸面板的操作而执行协作工作。

背景技术

近年来，设置有基于触摸面板方案等的也用作输入单元的显示屏幕的平板终端已迅速普及。由于平板终端具有作为接口的窗口小部件(widget)或桌面，并且易于在视觉上理解操作方法，因此与经由键盘或鼠标执行输入操作的个人计算机相比，用户可以容易地使用平板终端。

例如，提出了如下触敏装置：其从诸如多点触摸屏的多点感测装置读取属于与多点感测装置有关的触摸输入的数据，并且基于来自多点感测装置的数据而识别多点手势(例如，参见专利文献1)。

一般地，用户要操作的多个操作目标对象以各种朝向布置在平板终端的屏幕上。各个操作目标对象是诸如视频图像和静止图像的再现内容、从其他用户接收的电子邮件和消息等。用户需要分别对平板终端主体执行旋转操作以便将期望操作目标对象显示为面向用户。在具有A4或A5大小的平板终端的情况下，易于执行旋转操作。然而，在大约几十英寸的大屏幕的情况下，每次单个用户对操作目标对象进行操作时对平板终端执行旋转操作对于用户是麻烦的。

另外，还可以考虑如下使用状态：其中，多个用户分别同时对具有大屏幕的平板终端中的操作目标对象执行操作。

例如，提出了如下平板终端：当接近传感器在终端的侧面边缘检测到用户存在的位置时，该平板终端识别右臂与左臂之间的区域，并且在用户的触摸点区域中执行映射(例如，参见非专利文献1)。平板终端可以被设计为当平板终端检测到多个用户时，通过预先针对每个操作目标对象设置每个用户的操作权利或者禁止另外的用户参与而使得其他用户无法执行某些操作，诸如用于将正由特定用户操作的操作目标对象在该操作目标对象面向用户本身的方向上旋转的操作。

然而，作为多个用户共同使用具有大屏幕的平板终端的使用状态，还可存在用户交换操作目标对象以执行协作工作的情况以及用户分别对操作目标对象执行操作的上述情况。如果每个用户占据的触摸点区域被设置并且每个用户在单独区域中对提供了其操作权利的操作目标对象执行操作，则难以实现协作工作。

另外，如果显示在终端的屏幕上的GUI是恒定的而与用户到屏幕的距离或者用户状态无关，则存在屏幕上示出的信息的大小过小并且无法被位于远处位置的用户很好地理解的问题，或者尽管用户处于近处位置但是屏幕上示出的信息量小的问题。类似地，如果用于允许用户操作终端的输入手段是恒定的而与用户到屏幕的距离或用户状态无关，则尽管用户处于相对于终端的近处位置，但是由于没有遥控器，因此用户无法执行任何操作，或者用户需要接近终端以便操作触摸面板，而这是不方便的。

另外，根据传统的主体显示系统，实际对象的图像显示在屏幕上而不考虑其真实大小信息。为此，存在所显示的对象的大小根据屏幕的大小或分辨率(dpi(每英寸点数))而变化的问题。

另外，当多个源的影片内容以并列方式或者以重叠方式同时显示在显示系统中的屏幕上时，同时显示的图像之间的大小关系没有正确显示，图像的相应区域的大小和位置没有调整，因此，得到了用户无法容易地观看的图像。

另外，由于如果设置有旋转机制的终端等的屏幕的方向被改变则用户无法容易地观看屏幕，因此需要旋转显示屏幕。

引用列表

专利文献

PTL1：日本未审查专利申请公布2010-170753

非专利文献

NPL1:http://www.autodeskresearch.com/publications/medusa(于2011年12月15日)

发明内容

技术问题

该说明书中公开的技术的目的是提供一种出色的信息处理设备、信息处理方法和计算机程序，其中，该信息处理设备包括大屏幕并且由多个用户共同使用，用户可以优选地通过对触摸面板的操作而执行协作工作。

另外，该说明书中公开的技术的目的是提供一种由用户恒定地且方便地操作而与用户位置或用户状态无关的出色信息处理设备、信息处理方法和计算机程序。

另外，该说明书中公开的技术的目的是提供一种可以恒定地在屏幕上以适当大小显示对象的图像而与实际对象的大小和或屏幕的大小或分辨率无关的出色信息处理设备、信息处理方法和计算机程序。

另外，该说明书中公开的技术的目的是提供一种可以优选地以并列方式或者以重叠方式在屏幕上同时显示多个源的影片内容的出色信息处理设备、信息处理方法和计算机程序。

另外，该说明书中公开的技术的目的是提供一种当主体被旋转时可以最优地调整其转变过程中的任意旋转角度处的影片内容的显示模式的出色信息处理设备、信息处理方法和计算机程序。

问题的解决方案

本申请是考虑到以上问题而做出的。

根据本公开的实施例，提供了一种信息处理设备，其可包括：控制单元，基于根据从设备外部输入到设备的至少一个信息信号而进行的对用户的检测而控制对显示在显示单元上的操作对象的处理，其中，该操作对象的操作权利被给予用户。

根据本公开的实施例，提供了一种信息处理方法，其可包括：由处理器基于根据从信息处理设备外部输入到该设备的至少一个信息信号而进行的对用户的检测而控制对显示在显示单元上的操作对象的处理，其中，该操作对象的操作权利被给予用户。

根据本公开的实施例，提供了一种记录有计算机可执行的程序的非暂态记录介质，其中，该程序可包括基于根据从信息处理设备外部输入到该设备的至少一个信息信号而进行的对用户的检测而控制对显示在显示单元上的操作对象的处理，其中，该操作对象的操作权利被给予用户。

本发明的有利效果

根据该说明书中公开的技术，可以提供出色的信息处理设备、信息处理方法和计算机程序，该信息处理设备包括大屏幕并且由多个用户共同使用，其中，用户可以优选地通过对触摸面板的操作而执行协作工作。

另外，根据该说明书中公开的技术，可以提供通过根据用户位置或用户状态优化显示GUI或输入手段而由用户方便地使用的出色信息处理设备、信息处理方法和计算机程序。

另外，根据该说明书中公开的技术，可以提供可以恒定地在屏幕上以适当大小显示对象的图像而与实际对象的大小和或屏幕的大小或分辨率无关的出色信息处理设备、信息处理方法和计算机程序。

另外，根据该说明书中公开的技术，可以提供出色的信息处理设备、信息处理方法和计算机程序，当多个源的影片内容以并列方式或者以重叠方式同时显示在屏幕上时，该信息处理设备可以通过对图像执行归一化处理而向用户示出易观看的屏幕，其中图像的相应区域具有调整后的大小和位置。

另外，根据该说明书中公开的技术，可以提供当主体被旋转时可以在其转变过程中最优地调整任意旋转角度处的影片内容的显示模式的出色信息处理设备、信息处理方法和计算机程序。

该说明书中公开的技术的其它目的、特征和优点将通过基于稍后描述的实施例和附图的详细描述而变得明显。

附图说明

[图1]图1是示出设置有大屏幕的信息处理设备100的使用状态的示例(壁式(Wall))的图。

[图2]图2是示出设置有大屏幕的信息处理设备100的使用状态的另一示例(台式(Tabletop))的图。

[图3A]图3A是示出设置有大屏幕的信息处理设备100的使用状态的另一示例的图。

[图3B]图3B是示出设置有大屏幕的信息处理设备100的使用状态的另一示例的图。

[图3C]图3C是示出设置有大屏幕的信息处理设备100的使用状态的另一示例的图。

[图4]图4是示意性地示出信息处理设备100的功能配置的图。

[图5]图5是示出输入接口单元110的内部配置的图。

[图6]图6是示出输出接口单元130的内部配置的图。

[图7]图7是示出对操作目标对象执行处理的计算单元120的内部配置的图。

[图8]图8是示出在屏幕中设置了用户占据区域的状态的图。

[图9A]图9A是示出在设置用户占据区域A之前操作目标对象#1至#6随机地定向的状态的图。

[图9B]图9B是示出通过设置用于用户A的用户占据区域A而使得操作目标对象#1至#6的方向被转变为操作目标对象#1至#6面向用户A的方向的状态的图。

[图10]图10是示出由于不仅检测到存在用户A而且检测到存在用户B因此在屏幕中另外设置了用于用户B的用户占据区域B和公共区域的状态的图。

[图11]图11是示出由于不仅检测到存在用户A和B而且检测到存在用户D因此在屏幕中另外设置用于用户B的用户占据区域D和公共区域的状态的图。

[图12]图12是示出由于不仅检测到存在用户A、B和D而且检测到存在用户C因此在屏幕中另外设置用于用户B的用户占据区域C和公共区域的状态的图。

[图13A]图13A是示出根据屏幕的形状和大小以及用户的数量屏幕被划分成用于每个用户的用户占据区域的区域划分模式的示例的图。

[图13B]图13B是示出根据屏幕的形状和大小以及用户的数量屏幕被划分成用于每个用户的用户占据区域的区域划分模式的示例的图。

[图13C]图13C是示出根据屏幕的形状和大小以及用户的数量屏幕被划分成用于每个用户的用户占据区域的区域划分模式的示例的图。

[图13D]图13D是示出根据屏幕的形状和大小以及用户的数量屏幕被划分成用于每个用户的用户占据区域的区域划分模式的示例的图。

[图13E]图13E是示出根据屏幕的形状和大小以及用户的数量屏幕被划分成用于每个用户的用户占据区域的区域划分模式的示例的图。

[图14]图14是示出由监视器区域划分单元710执行的监视器区域划分的处理过程的流程图。

[图15]图15是示出通过对操作目标对象执行向用户占据区域的拖动或投掷移位(throw displacement)而在操作目标对象面向用户的方向上自动旋转操作目标对象的状态的图。

[图16A]图16A是示出将新出现在用户占据区域中的操作目标对象在操作目标对象面向用户的方向上自动旋转的状态的图。

[图16B]图16B是示出将新出现在用户占据区域中的操作目标对象在操作目标对象面向用户的方向上自动旋转的状态的图。

[图17]图17是示出由对象最优处理单元720执行的针对操作目标对象的过程优化处理的流程图。

[图18]图18是示出根据用户对操作目标对象执行触摸操作的位置而控制旋转方向的状态的图。

[图19]图19是示出根据用户对操作目标对象执行触摸操作的位置而控制旋转方向的状态的图。

[图20]图20是示出用于在信息处理设备100与用户拥有的终端之间交换操作目标对象的交互的示例的图。

[图21]图21是示出由装备协调数据交换单元730执行的装备协调数据交换的处理过程的流程图。

[图22]图22是示出使得操作目标对象在用户占据区域之间移位以复制操作目标对象的状态的图。

[图23]图23是示出用于根据用户距离执行优化处理的计算单元120的内部配置的图。

[图24A]图24A是以表格示出显示GUI优化单元2310的根据用户位置和用户状态的GUI显示优化处理的图。

[图24B]图24B是示出根据用户位置和用户状态的信息处理设备100的屏幕转变的图。

[图24C]图24C是示出根据用户位置和用户状态的信息处理设备100的屏幕转变的图。

[图24D]图24D是示出根据用户位置和用户状态的信息处理设备100的屏幕转变的图。

[图24E]图24E是示出根据用户位置和用户状态的信息处理设备100的屏幕转变的图。

[图25A]图25A是示出用于随机地显示和自动地切换(zapping)各种操作目标对象的屏幕的显示示例的图。

[图25B]图25B是示出要自动切换的多个操作目标对象的显示位置和大小被时刻地改变的屏幕的显示示例的图。

[图26]图26是示出用户在观看电视机的同时不执行任何操作的状态下的屏幕显示示例的图。

[图27A]图27A是示出用户正对电视机执行操作的状态下的屏幕显示示例的图。

[图27B]图27B是示出用户正对电视机执行操作的屏幕显示示例的图。

[图28]图28是以表格示出输入手段优化单元2320的根据用户位置和用户状态的输入手段优化处理的图。

[图29]图29是以表格示出距离检测方案转变单元2330的根据用户位置的距离检测方案转变处理的图。

[图30]图30是示出传统主体显示系统中的问题的图。

[图31]图31是示出传统主体显示系统中的问题的图。

[图32]图32是示出用于根据监视器性能而执行对象真实大小显示处理的计算单元120的内部配置的图。

[图33]图33是示出同一对象的图像以实际大小显示在具有不同监视器规格的屏幕上的示例的图。

[图34]图34是示出在正确地维持相互大小关系的情况下具有不同真实大小的两个对象的图像显示在同一屏幕上的示例的图。

[图35]图35是示出对象的图像以真实大小显示的示例的图。

[图36]图36是示出以真实大小显示的对象的图像被旋转或者其姿势被转换的示例的图。

[图37A]图37A是引起对目标真实大小信息进行估计的状态的图。

[图37B]图37B是示出基于所估计的目标真实大小信息而执行操作目标对象的真实大小显示处理的状态的图。

[图38A]图38A是示出正执行视频聊天的用户的面部的大小和位置没有被调整的状态的图。

[图38B]图38B是示出通过多个图像当中的归一化处理来调整正执行视频聊天的用户的面部的大小和位置的状态的图。

[图39A]图39A是示出以并列方式显示在屏幕上的用户和教导者的身形的大小和位置没有被调整的状态的图。

[图39B]图39B是示出通过多个图像之间的归一化处理来调整以并列方式显示在屏幕上的用户和教导者的身形的大小和位置的状态的图。

[图39C]图39C是示出已通过多个图像之间的归一化处理归一化后的用户和教导者的身形以重叠方式显示的状态的图。

[图40A]图40A是示出产品样品图像没有以关于用户本身的影片的正确大小关系重叠在适当位置的状态的图。

[图40B]图40B是示出通过多个图像之间的归一化处理使得产品样品图像以关于用户本身的影片的正确关系而以重叠方式显示在适当位置处的状态的图。

[图41]图41是示出用于执行图像归一化处理的计算单元120的内部配置的图。

[图42]图42是示出影片内容的整个区域被显示为使得在任意旋转角度影片内容都完全在屏幕中的显示模式的图。

[图43]图43是示出在每个旋转角度都使得影片内容中的关注区域最大化的显示模式的图。

[图44]图44是示出影片内容被旋转为使得不出现无效区域的显示模式的图。

[图45]图45是示出图42至图44所示的显示模式中的影片内容的缩放率相对于旋转位置的关系的图。

[图46]图46是示出用于在旋转信息处理设备100时由计算单元120控制影片内容的显示模式的处理过程的流程图。

[图47]图47是示出执行用于调整转变过程中的信息处理设备100的主体的任意旋转角度处的影片内容的显示模式的处理的计算单元120的内部配置的图。

具体实施方式

在下文中，将参照附图给出在该说明书中公开的技术的实施例的详细描述。

A.系统配置

根据实施例的信息处理设备100设置有大屏幕，并且，作为主要使用状态，可以存在如图1所示的用于将信息处理设备100挂在墙壁上的“壁式”以及如图2所示的用于将信息处理设备100安装在桌子上的“台式”。

在图1所示的“壁式”状态下，信息处理设备100通过例如旋转和附接机构单元180而以可旋转和可拆卸方式附接在墙壁上。另外，旋转和附接机构单元180还用作信息处理设备100与外部之间的电接触，电源线缆和网络线缆(二者在图中均未示出)通过旋转和附接机构单元180连接到信息处理设备100，并且信息处理设备100可以从商用AC电源接收驱动电力并访问因特网上的各种服务器。

如稍后将描述的，信息处理设备100设置有距离传感器、接近传感器和触摸传感器，并且可以掌握面向屏幕的用户的位置(距离、朝向)。当检测到用户时，或者在正检测用户的状态下，可以在屏幕上表示波状检测指示符(稍后将描述)并执行表示检测状态的照明表示，以给予用户视觉反馈。

信息处理设备100被设计成根据用户位置自动选择最优交互。例如，信息处理设备100根据用户位置而自动地选择或调整操作目标对象的框架的GUI(图形用户界面)显示、信息密度等。另外，信息处理设备100可以根据用户位置或到用户的距离而自动选择多个输入手段之一，诸如触摸屏幕、接近、使用手等的手势、遥控器、根据用户状态的间接操作等。

另外，信息处理设备100还设置有一个或多个摄像装置，并且可以根据摄像装置捕获的图像而不仅识别用户位置，而且识别人、主体或装置。另外，信息处理设备100还设置有非常短距离通信单元，并且可以直接地且自然地与接近非常短距离的位置的用户所拥有的装置交换数据。

作为用户要操作的目标的操作目标对象被定义在处于壁式状态的大屏幕上。操作目标对象具有用于任意因特网站点、应用、功能模块(诸如窗口小部件)、以及视频图像、静止图像和文本内容的特定显示区域。在操作目标对象中，包括从电视广播接收的内容、从记录介质再现的内容、通过网络获得的流送视频图像、由其它装置(诸如用户拥有的移动终端)获得的视频图像、静止图像内容等。

当挂在墙壁上的信息处理设备100的旋转位置被设置成使得大屏幕如图1所示横向安装时，可以将影片显示为与整个屏幕大小对应的操作目标对象，同时影片中所描绘的世界视图基本上被维持为原样。

这里，当挂在墙壁上的信息处理设备100的旋转位置被设置为使得大屏幕在纵向方向上时，可以如图3A所示在垂直方向上布置具有纵横比16：9的三个屏幕。例如，三种内容#1至#3(诸如同时从不同广播站接收的广播内容、从记录介质再现的内容、网络上的流送视频图像等)可以布置在垂直方向上并且被同时显示。另外，当用户例如在屏幕上在垂直方向上以手指的指尖执行操作时，如图3B所示在垂直方向上滚动内容。另外，当用户在三级中的任何位置处在水平方向上以手指的指尖执行操作时，如图3C所示在水平方向上滚动该级中的屏幕。

另一方面，在图2所示的“台式”状态下，信息处理设备100直接安装在桌子上。尽管在图1所示的使用状态下旋转和附接机构单元180还用作电接触(如上所述)，但是在如图2所示的信息处理设备100安装在桌子上的状态下没有发现与信息处理设备100的电接触。因此，信息处理设备100可被配置成在图中所示的台式状态下在没有电源的情况下由内置电池来操作。另外，如果信息处理设备100设置有与例如无线LAN(局域网)的移动站功能对应的无线通信单元，并且旋转和附接机构单元180设置有与无线LAN的接入点功能对应的无线通信单元，则信息处理设备100甚至在台式状态下也可以通过与作为接入点的旋转和附接机构单元180的无线通信而访问因特网上的各种服务器。

作为要操作的目标的多个操作目标对象被定义在桌面上的大屏幕的屏幕上。操作对象具有用于任意因特网站点、应用和功能模块(诸如窗口小部件)以及视频图像、静止图像、文本内容的特定显示区域。

信息处理设备100设置有用于检测在大屏幕的四个侧面边缘部分中的每个处的用户的存在或状态的接近传感器。以与上述相同的方式，已接近大屏幕的用户可由摄像装置来成像，并且可执行人识别。另外，非常短距离通信单元检测已被检测为存在的用户是否拥有诸如移动终端的装置，并检测来自用户拥有的另一终端的用于交换数据的请求。当检测到用户或者用户拥有的终端时，或者在正检测用户的状态下，可以在屏幕上表示波状检测指示符或者执行表示检测状态的照明表示(稍后将描述)，以给予用户视觉反馈。

当接近传感器等检测到用户的存在时，信息处理设备100将检测结果用于UI控制。如果不仅检测用户是否存在而且还检测躯干、手臂和腿以及头的位置，则可以将检测结果用于更详细的UI控制。另外，信息处理设备100还设置有非常短距离通信单元，并且可以直接地且自然地与接近非常短距离中的位置的用户所拥有的装置交换数据(与上述相同)。

这里，作为UI控制的示例，信息处理设备100根据所检测的用户布置而在大屏幕中设置用于每个用户的用户占据区域和由用户共同使用的公共区域。然后，检测用户占据区域和公共区域中的每个用户的触摸传感器输入。屏幕的形状和区域划分模式不限于矩形，并且可以修改为方形、圆形或者包括立体的形状(诸如圆锥)。

如果信息处理设备100的屏幕被放大，则在台式状态下生成用于多个用户同时执行触摸输入的空间的余地。如上所述，可以通过在屏幕中设置用于每个用户的用户占据区域和公共区域而实现由多个用户进行的舒适且高效的同时操作。

放置在用户占据区域中的操作目标对象的操作权利被给予相应用户。通过将操作目标对象从公共区域或用于另一用户的用户占据区域移动到其自己的用户占据区域而将操作目标对象的操作权利移给用户本身。另外，如果操作目标对象进入其自己的用户占据区域，则自动改变显示以使得操作目标对象面向其自身。

当操作目标对象在用户占据区域之间移位时，根据执行移位操作的触摸位置而在自然的操作中物理上使得操作目标对象移位。另外，可以通过由用户相互拉动操作目标对象来执行用于划分或复制一个操作目标对象的操作。

图4示意性地示出了信息处理设备100的功能配置。信息处理设备100设置有用于输入来自外部的信息信号的输入接口单元110、用于基于所输入的信息信号而执行用于显示屏幕控制的计算处理的计算单元120、用于基于计算结果将信息输出到外部的输出接口单元130、由硬盘驱动器(HDD)等构成的高容量存储单元140、用于连接到外部网络的通信单元150、用于处理驱动电力的电力单元160、以及电视调谐器单元170。存储单元140在其上存储计算单元120执行的各种处理算法以及用在计算单元120的计算处理中的各种数据库。

输入接口单元110的主要功能包括用户存在的检测、所检测到的用户对屏幕(即，触摸面板)的触摸操作的检测、用户拥有的诸如移动终端的装置的检测、以及用于从装置接收传送数据的处理。图5示出了输入接口单元110的内部配置。

远程控制接收单元501接收来自遥控器或移动终端的远程控制信号。信号分析单元502对所接收的远程控制信号执行解调和解码处理，并获得远程控制命令。

作为摄像装置单元503，采用单目镜型，或者采用双透镜型和有源型中的一个或两者。摄像装置单元503由诸如CMOS(互补金属氧化物半导体)或CCD(电荷耦合器件)的成像元件构成。另外，摄像装置单元503设置有用于摇摄、倾斜、缩放等的摄像装置控制单元。摄像装置单元503向计算单元120通知与摇摄、倾斜、缩放等有关的摄像装置信息，并且可以根据来自计算单元120的摄像装置控制信息而控制摄像装置单元503的控制摇摄、倾斜以及摇摄、倾斜和缩放。

图像识别单元504对摄像装置503捕获的图像执行识别处理。具体地，通过背景区分来检测用户面部或手运动，识别包括在捕获图像中的用户面部或人体，以及识别距用户的距离。

麦克风单元505执行用户生成的声音或会话的音频输入。音频识别单元506对所输入的音频信号执行音频识别。

距离传感器507由例如PSD(位置灵敏探测器)构成，并且检测从用户或另一主体回复的信号。信号分析单元508分析检测信号并且测量距用户或物体的距离。热电传感器或简单摄像装置可以用作距离传感器507以及PDS传感器。距离传感器507持续地监测用户是否存在于距信息处理设备100例如5至10米的半径内。为此，优选地，将低功耗传感器元件用于距离传感器507。

触摸检测单元509由重叠在屏幕上的触摸传感器构成，并且输出来自屏幕上的用户的手指的指尖所触摸的位置的检测信号。信号分析单元510分析检测信号并且获得位置信息。

接近传感器511安装在大屏幕的四个侧面边缘部分中的每个处，以基于静电电容方案而检测用户身体已接近屏幕。信号分析单元512分析检测信号。

非常短距离通信单元513利用NFC(近场通信)接收来自用户拥有的装置等的非接触通信信号。信号分析单元514对所接收的信号执行解调和解码处理以获得接收数据。

三轴传感器单元515由陀螺仪构成，并且检测关于x轴、y轴和z轴中的每个的信息处理设备100的姿势。GPS(全球定位系统)接收单元516接收来自GPS卫星的信号。信号分析单元517分析来自三轴传感器单元515和GPS接收单元516的信号，以获得信息处理设备100的位置信息和姿势信息。

输入接口统一单元520统一以上信息信号的输入，并且将统一后的输入传递到计算单元120。另外，输入接口统一单元520统一信号分析单元508、510、512和514的分析结果，获得存在于信息处理设备100周围的用户的位置信息，并且将位置信息传递到计算单元120。

计算单元120的主要功能包括：基于输入接口单元110的用户检测结果、屏幕触摸检测结果和从用户拥有的装置接收的数据的计算处理，诸如UI屏幕生成处理)；以及将计算结果输出到输出接口单元130。计算单元120可以通过例如加载和执行安装在存储单元140上的应用程序来实现用于每个应用的计算处理。稍后将描述计算单元120的与每个应用对应的功能配置。

输出接口单元130的主要功能包括基于计算单元120的计算结果的屏幕上的UI显示以及到用户拥有的装置的数据传送。图6示出了输出接口单元130的内部配置。

输出接口统一单元610共同处理基于计算单元120的监视器划分处理、对象最优处理、装备协调数据交换处理等的计算结果而输出的信息。

输出接口统一单元610指示内容显示单元601针对视频图像或静止图像内容(诸如从电视广播接收的内容、从诸如蓝光盘的记录介质再现的内容)而将图像和音频输出到显示单元603和扬声器单元604。

另外，输出接口统一单元610指示GUI显示单元602在显示单元603上显示操作目标对象的GUI等。

另外，输出接口统一单元610指示照明显示单元605从照明单元606输出和显示表示检测状态的照明。

另外，输出接口统一单元610指示非常短距离通信单元513通过非接触通信将数据传送到用户拥有的装置。

信息处理设备100可以基于对摄像装置单元503捕获的图像的识别以及距离传感器507、触摸检测单元509、接近传感器511、非常短距离通信单元513等的检测信号而检测用户。另外，可以通过对摄像装置单元503捕获的图像的面部识别以及通过使得非常短距离通信单元513识别用户拥有的装置而识别所检测的用户是谁。所识别的用户可以登录信息处理设备100。当然，可以登录的账户可以限于特定用户。另外，信息处理设备100可以根据用户位置和用户状态而分开使用距离传感器507、触摸检测单元509和接近传感器511以及接收来自用户的操作。

另外，信息处理设备100通过通信单元150连接到外部网络。与外部网络的连接状态可以是有线或无线连接。信息处理设备100可以通过通信单元150与其它装置(诸如用户拥有的包括智能电话、平板终端等的移动终端)通信。所谓的“三屏幕”可以由三种类型的设备的组合来构成，即，信息处理设备100、移动终端和平板终端。信息处理设备100可以提供用于使得三个屏幕在比其它两个屏幕大的屏幕上协作的UI。

例如，在用户正对屏幕执行触摸操作或者用户正执行诸如使得所拥有的终端接近信息处理设备100的动作的背景中，在信息处理设备100与相应的所拥有的终端之间交换作为操作目标对象的实体的、诸如视频图像、静止图像、文本内容等的数据。此外，例如，云服务器等安装在外部网络上，并且三个屏幕可以通过信息处理设备100而得益于云计算，使得三个屏幕可以使用云服务器的计算能力。

在下文中，将按顺序描述信息处理设备100的一些应用。

B.多个用户在大屏幕上的同时操作

信息处理设备100可以由多个用户在大屏幕上同时操作。具体地，用于检测用户存在或用户状态的接近传感器511设置在大屏幕的四个侧面边缘部分中的每个处，并且用户占据区域和公共区域根据用户布置而被设置在屏幕中以使得多个用户可以舒适地且高效地执行同时操作。

如果信息处理设备100的屏幕被放大，则在台式状态下生成用于多个用户同时执行触摸输入的空间的余地。可以通过如上所述在屏幕中设置用于每个用户的用户占据区域和公共区域而实现多个用户的舒适且高效的同时操作。

放置在用户占据区域中的操作目标对象的操作权利被给予相应用户。当用户将操作目标对象从公共区域或另一用户的用户占据区域移位到其自己的用户占据区域时，操作目标对象的操作权利被移到该用户。另外，当操作目标对象进入其自己的用户占据区域时，显示被自动改变，以使得操作目标对象处于操作目标对象面向用户本身的方向上。

在操作目标对象在用户占据区域之间移位的情况下，操作目标对象根据执行移位操作的触摸位置而在自然的操作中物理移位。另外，用户可以通过由用户相互拉动操作目标对象而执行用于划分或复制一个操作目标对象的操作。

当实现该应用时的计算单元120的主要功能包括基于输入接口单元110的用户检测结果、屏幕触摸检测结果和从用户拥有的装置接收的数据的UI生成以及操作目标对象的优化。图7示出了用于对操作目标对象执行处理的计算单元120的内部配置。计算单元120设置有监视器区域划分单元710、对象最优处理单元720和装备协调数据交换处理单元630。

当从输入接口统一单元520获得用户位置信息时，监视器区域划分单元710参考存储在存储单元140上的区域模式数据库711以及与形状、传感器布置等有关的装置数据库711，并且在屏幕上设置上述用户占据区域和公共区域。然后，监视器区域设置单元710将所设置的区域信息传递到对象最优处理单元720和装备协调数据交换单元730。稍后将详细描述用于监视器区域划分的处理过程。

对象最优处理单元720从输入接口统一单元520输入关于用户对屏幕上的操作目标对象执行的操作的信息。然后，对象最优处理单元720基于从存储单元140加载的最优处理算法721而对用户执行了操作的那个操作目标对象执行与用户操作对应的最优处理，即，旋转、移位、显示、划分或复制操作目标对象，并且将已对其执行了最优处理的操作目标对象输出到显示单元603的屏幕。稍后将详细描述对于操作目标对象的最优处理。

装备协调数据交换单元730从输入接口统一单元520输入用户和用户拥有的装置的位置信息以及与装置交换的数据。然后，装备协调数据交换单元730基于从存储单元140加载的交换处理算法731而与用户拥有的装置协作执行数据交换处理。另外，对象最优处理单元720对操作目标对象执行与数据交换处理对应的最优处理。例如，对象最优处理单元720伴随与用户拥有的装置协作的数据交换而执行对操作目标对象的最优处理，即，旋转、移位、显示或复制与所交换的数据有关的操作目标对象，并且将已对其执行了最优处理的操作目标对象输出到显示单元603的屏幕。稍后将详细描述伴随装置协作的对于操作目标对象的最优处理。

随后，将给出监视器区域划分处理的详细描述。尽管假设监视器区域划分为主要在信息处理设备100在台式状态下由多个用户共同使用的使用状态下的处理，但是当然可在信息处理设备100在壁式状态下由多个用户共同使用的使用状态下执行处理。

当通过输入接口统一单元520检测到用户存在时，监视器区域划分单元710分配屏幕中的用于该用户的用户占据区域。图8示出了如下状态：其中，监视器区域划分单元710响应于通过来自安装在屏幕的侧面边缘部分处的接近传感器511(或距离传感器507)的检测信号检测到用户A的存在，而在屏幕中设置用于用户A的用户占据区域A。当检测到仅一个用户的存在时，如图中所示，整个屏幕可被设置为用于该用户的用户占据区域。

这里，当设置了用户占据区域A时，对象最优处理单元720基于通过输入接口统一单元520获得的用户A的位置信息而转变用户占据区域A中的每个操作目标对象的方向以便面向用户。图9A示出了在设置用户占据区域A之前操作目标对象#1至#6中的每个被随机地定向的状态。在图中，应理解，对象中的每个字符“#1”、“#2”、…的倾斜表示图中的对象的方向。另外，图9B示出了如下状态：其中，通过设置用于用户A的用户占据区域A而使该区域中的所有操作目标对象#1至#6的方向被转变为操作目标对象#1至#6面向用户A的方向。

当检测到仅用户A的存在时，整个屏幕可被设置为用于用户A的用户占据区域A。另一方面，当检测到两个或更多个用户的存在时，优选地设置可以由用户共同使用的公共区域以使得用户执行协作工作(协同动作)。

图10示出了如下状态：其中，由于除了用户A之外，还通过接近传感器511或距离传感器507的检测信号而在屏幕的相邻侧面边缘处检测到用户B的存在，因此监视器区域划分单元710在屏幕中另外地设置用于用户B的用户占据区域B和公共区域。基于用户A和B的位置信息，用于用户A的用户占据区域A退到用户A存在的位置，并且用于用户B的用户占据区域B出现在用户B存在的位置附近。另外，由于新检测到用户B的存在，因此波状检测指示符也显示在用户占据区域B中。然后，屏幕中除用户占据区域A和用户占据区域B以外的所有区域变为公共区域。可在下述定时启用用户占据区域B：当在用户B接近信息处理设备100时在屏幕中新设置了用户占据区域B之后，在该定时处第一次触摸了用户占据区域B中的任意操作目标对象。尽管图10中未示出，但是在设置用户占据区域B的定时或者在启用用户占据区域B的定时，新变成用户占据区域B的那个区域中的每个操作目标对象的方向被转变以便面向用户B。

图11示出了如下状态：其中，由于除了用户A和B之外在屏幕的又一侧面边缘处检测到用户D的存在，因此监视器区域划分单元710在屏幕中D存在的位置附近另外设置用于用户D的用户占据区域D。在用户占据区域D中，显示波状检测指示符，以表示新检测到用户D的存在。另外，图12示出了如下状态：其中，由于除了用户A、B和D之外在屏幕的又一侧面边缘处检测到用户C的存在，因此监视器区域划分单元710在屏幕中用户C存在的位置附近另外设置用于用户C的用户占据区域C。在用户占据区域C中，显示波状检测指示符，以表示新检测到用户C的存在。

另外，仅出于说明性目的而示出了图8至图12中用于用户占据区域和公共区域的区域划分模式。区域划分模式取决于屏幕的形状、检测到存在的用户的数量及其布置。区域划分模式数据库611根据屏幕的形状和大小以及用户的数量而累积关于区域划分模式的信息。另外，装置数据库711累积关于用在信息处理设备100中的屏幕的形状和大小的信息。然后，当通过输入接口统一单元520输入关于所检测的用户的位置信息时，监视器区域划分单元710从装置数据库711读取屏幕的形状和大小，并且关于相应区域划分模式来参考区域划分模式数据库712。图13A至图13E示出了区域划分模式的示例，其中，屏幕根据屏幕的形状和大小以及用户的数量而被划分成用于用户的用户占据区域。

图14以流程图的形式示出了监视器区域划分单元710执行的监视器区域划分的处理过程。

首先，监视器区域划分单元710基于对接近传感器511或距离传感器507的检测信号的信号分析结果而检查用户是否存在于屏幕附近(步骤S1401)。

当检测到用户存在时(步骤S1401中为是)，监视器区域划分单元710随后获得存在用户的数量(步骤S1402)，并且进一步获得用户存在的位置(步骤S1403)。基于从输入接口统一单元520传递的用户位置信息来实现步骤S1401至S1403中的处理。

随后，监视器区域划分单元710参考装置数据库711以获得装置信息(诸如用在信息处理设备100中的显示单元603的屏幕的形状以及接近传感器511的布置)，将该装置信息与用户位置信息结合，并且关于相应区域划分模式来参考区域划分模式数据库712(步骤S1404)。

然后，监视器区域划分单元710基于所获得的区域划分模式而在屏幕上设置用于每个用户的用户占据区域和公共区域(步骤S1405)，并且完成该处理例程。

接下来，将给出对象最优处理单元720的对象最优处理的详细描述。

当通过输入接口统一单元520输入了关于用户对屏幕上的操作目标对象执行的操作的信息时，对象最优处理单元720响应于用户操作而执行显示处理，即，旋转、移位、显示、划分或复制屏幕上的操作目标对象。响应于诸如拖动或投掷的用户操作而旋转、移位、显示、划分或复制操作目标对象的处理与计算机的桌面屏幕上的GUI操作类似。

根据该实施例，用户占据区域和公共区域被设置在屏幕上，并且对象最优处理单元720根据操作目标对象存在的区域而对显示执行最优处理。最优处理的代表示例是用于转变用户占据区域中的每个操作目标对象的方向以便面向其用户的处理。

图15示出了这样的状态，在该状态下，对象最优处理单元720在下述时刻执行用于将操作目标对象#1在该对象面向用户A的方向上自动旋转的处理：在该时刻，公共区域中的该对象被朝向用于用户A的用户占据区域A拖动或投掷，并且该对象的一部分或中心坐标进入用户占据区域A。另外，图15还示出了这样的状态，在该状态下，在下述时刻执行用于将操作目标对象#2在该对象面向用户A的方向上自动旋转的处理：在该时刻，用于用户B的用户占据区域B中的该对象被朝向用于用户A的用户占据区域A拖动或投掷，并且该对象的一部分或中心坐标进入用户占据区域A。

如图10所示，当用户B接近信息处理设备100时，在屏幕上在用户B附近新设置用户占据区域B。如果原始面向用户A的操作目标对象#3存在于变成用户占据区域B的那个区域中(参见图16A)，则当用户占据区域B新出现时，对象最优处理单元720立即执行用于在操作目标对象#3面向用户B的方向上自动旋转操作目标对象#3的处理(参见图16B)。

替选地，取代立即执行用于旋转操作目标对象的处理，可在当在用户B接近信息处理设备100时新设置了用户占据区域B之后第一次触摸用户占据区域B中的任意操作目标对象的定时启用用户占据区域B。在这样的情况下，可在启用用户占据区域B的定时执行用于将用户占据区域B中的所有操作目标对象在这些操作目标对象面向用户B的方向上同时旋转的处理。

对象最优处理单元720可以基于通过输入接口统一单元520获得的用户操作信息和从监视器区域划分单元710传递的区域信息而对操作目标对象执行最优处理。图17以流程图的形式示出了对象最优处理单元720执行的针对操作目标对象的最优处理过程。

当从输入接口统一单元520传递用户所操作的操作目标对象的位置信息并且从监视器区域划分单元710获得划分后的监视器区域信息时，对象最优处理单元720检查用户所操作的操作目标对象存在于哪个区域中(步骤S1701)。

这里，当用户操作的操作目标对象存在于用户占据区域中时，对象最优处理单元720检查操作目标对象是否在用户占据区域中定向在操作目标对象面向用户的方向上(步骤S1702)。

然后，当操作目标对象没有定向在操作目标对象面向用户的方向上时(步骤S1702中为否)，对象最优处理单元720对操作目标对象执行旋转处理以便在用户占据区域中处于操作目标对象面向用户的方向上(步骤S1703)。

当用户通过拖动或投掷而将操作目标对象从公共区域或用于另一用户的使用占据区域移位到其自己的用户占据区域时，可根据用户对操作目标对象执行触摸操作的位置而控制旋转方向。图18示出了如下状态：其中，在用户在重心位置的右侧触摸操作目标对象并且通过拖动或投掷而移位操作目标对象以使得操作目标对象进入用户占据区域的定时，在顺时针方向上围绕重心位置旋转操作目标对象，以使其处于操作目标对象面向用户的方向上。另外，图19示出了如下状态：其中，当用户在重心位置的左侧触摸操作目标对象并且通过拖动或投掷而移位操作目标对象时，在逆时针方向上围绕重心位置旋转操作目标对象，以使其处于操作目标对象面向用户的方向上。

如图18和图19所示，可以通过参照重心位置来转变操作目标对象的旋转方向而为用户提供自然的操作感觉。

接下来，将给出装备协调数据交换单元730的装备协调数据交换处理的描述。

如图4所示，信息处理设备100可以通过通信单元150与诸如用户拥有的移动终端的其它装置通信。例如，在用户正对屏幕执行触摸操作或者用户执行诸如使得所拥有的终端接近信息处理设备100的动作的背景中，在信息处理设备100与所拥有的终端之间交换作为操作目标对象的实体的诸如视频图像、静止图像或文本内容的数据。

图20示出了在信息处理设备100与用户拥有的终端之间给出和接收操作目标对象的交互的示例。在图中所示的示例中，UI表示：其中，响应于用户A使得其本身拥有的终端接近被分配给用户本身的用户占据区域A的周围，操作目标对象从终端附近出现并且流动到用户占据区域A中。

信息处理设备100可以基于非常短距离通信单元513的检测信号的信号分析结果和摄像装置单元503捕获的用户图像的识别结果而检测用户拥有的终端接近了用户占据区域A的附近。另外，装备协调数据交换单元730可被设计成基于用户A与信息处理设备100之间的上下文(或者通过信息处理设备100进行的用户A与其他用户之间的通信)而指定用户是否具有要传送到信息处理设备100的数据以及要传送的数据是什么。然后，当存在要传送的数据时，在使得用户拥有的终端接近用户占据区域A的附近的动作的背景中，装备协调数据交换单元730在信息处理设备100与相应的所拥有的终端之间交换作为操作目标对象的实体的诸如视频图像、静止图像或文本内容的数据。

在背景中装备协调数据交换单元730与用户拥有的终端交换数据的同时，通过对象最优处理单元720的对象最优处理而在显示单元603的屏幕上执行操作目标对象从用户拥有的装置出现的UI表示。图20示出了操作目标对象从用户A拥有的终端流动到相应用户占据区域A中的UI表示的示例。

图21以流程图的形式示出了装置数据交换单元730执行的装备协调数据交换的处理过程。基于非常短距离通信单元513的检测信号的信号分析结果，当使得特定用户拥有的终端接近其自己的用户占据区域的附近时，激活装备协调数据交换单元730的处理。

装备协调数据交换单元730基于非常短距离通信单元513的检测信号的信号分析结果而检查是否存在用户拥有的通信终端(步骤S2101)。

当存在用户拥有的通信终端时(步骤S2101中为是)，装备协调数据交换单元730基于非常短距离通信单元513的检测信号的信号分析结果而获得终端存在的位置(步骤S2102)。

然后，装备协调数据交换单元730检查是否存在与用户拥有的终端交换的数据(步骤S2103)。

当存在与用户拥有的终端交换的数据时(步骤S2103中为是)，装备协调数据交换单元730基于交换处理算法731、根据终端位置而执行操作目标对象的UI显示(参见图20)。另外，装备协调数据交换单元730在UI显示的背景中与终端交换作为操作目标对象的实体的数据(步骤S2104)。

如图20和图21所示，信息处理设备100从用户拥有的终端获得的操作目标对象被布置在用于相应用户的用户占据区域中。此外，当在用户之间执行数据通信时，可在彼此的用户占据区域之间执行用于移位操作目标对象的操作。图22示出了在用户占据区域B中由用户B维持的操作目标对象被用户A复制到其自己的用户占据区域A的状态。替选地，可不复制操作目标对象，并且可划分操作目标对象。

当在屏幕上复制的操作目标对象是诸如视频图像或静止图像的内容时，简单地创建其它无关数据。另外，当复制的操作目标对象是应用的窗口时，创建了可以由原始保持操作目标对象的用户以及复制目的地的用户共同操作的应用的另一窗口。

C.根据用户位置的输入手段和显示GUI的最优选择

信息处理设备100设置有距离传感器507和接近传感器511，并且可以检测距信息处理设备100的主体的距离，即，例如在如图1和图3所示被挂在墙上并使用的情况下，为屏幕到用户的距离。

另外，信息处理设备100设置有触摸检测单元509、接近传感器511、摄像装置单元503和远程控制接收单元501，并且可以向用户提供根据用户状态的多个输入手段，诸如触摸屏幕、接近、使用手等的手势、遥控器和间接操作。根据距信息处理设备100的主体的距离(即，屏幕到用户的距离)，可以应用或者不可以应用每个输入手段的操作。例如，在距信息处理设备100的主体50cm或更近的范围内的用户可以通过直接触摸屏幕而可靠地操作操作目标对象。在用户在距信息处理设备100的主体2m或更近的范围内的情况下，尽管用户位于太远而无法直接触摸屏幕，但是可以通过对摄像装置503捕获的图像执行识别处理而精确地捕获面部和手的运动，因此，可以进行手势输入。在用户距信息处理设备100的主体2m之远或更远的情况下，尽管图像识别的精度降低但是远程控制信号可靠地到达，因此，可以进行远程控制操作。此外，还根据到用户的距离而改变具有要显示在屏幕上的操作目标对象的最优框架、最优信息密度等的GUI显示。

根据实施例，信息处理设备100被设计成使得根据用户位置或到用户的距离而自动选择多个输入手段之一，并且根据用户位置而自动选择或调整GUI显示，这增强了用户便利性。

图23示出了用于根据到用户的距离而执行优化处理的计算单元120的内部配置。计算单元120设置有显示GUI优化单元2310、输入手段优化单元2320和距离检测方案转变单元2330。

显示GUI优化单元2310根据用户位置和用户状态而执行优化处理，以用于具有要显示在显示单元603的屏幕上的操作目标对象的最优框架和最优信息密度的GUI显示。

这里，基于由距离检测方案转变单元2330转变的距离检测方案而获得用户位置。当用户位置接近时，可以执行通过对摄像装置单元503捕获的图像的面部识别而进行的个人认证、与用户拥有的终端的邻近通信等。另外，基于摄像装置单元503捕获的图像的图像识别或距离传感器507的信号分析而指定用户状态。用户状态被大致分类为两种状态，即，“存在用户(存在)”的状态和“不存在用户(不存在)”的状态。“存在用户”的状态被概括地分类为两种状态，即，“用户正观看电视机(显示单元603的屏幕)(观看)”的状态和“用户没有正观看电视机(未观看)”的状态。此外，“用户正观看电视机”的状态被分为两种状态，即，“用户正操作电视机(操作)”的状态和“用户没有正操作电视机(未操作)”的状态。

在确定用户状态时，显示GUI优化单元2310参考存储单元140中的装置输入手段数据库。另外，在根据所确定的用户位置和用户状态来优化显示GUI时，参考存储单元140中的GUI显示(框架、密度)数据库和内容数据库。

图24A是以表格示出显示GUI优化单元2310根据用户位置和用户状态进行的GUI显示优化处理的图。另外，图24B至图24E示出了根据用户位置和用户状态的信息处理设备100的屏幕转变。

在“不存在用户”的状态下，显示GUI优化单元2310停止显示单元603的屏幕显示，并且等待直至检测到用户的存在(参见图24B)。

在“存在用户”但是“用户没有正观看电视机”的状态下，显示GUI优化单元2310选择“自动切换”作为最优GUI显示(参见图24C)。自动切换用于随机地显示各种操作目标对象以吸引用户兴趣从而鼓励用户观看电视机。在切换中使用的操作目标对象包括显示GUI优化单元2310基于内容数据库而选择的多个操作目标对象，诸如通过因特网从通信单元150获得的网络内容和来自其他用户的电子邮件和消息以及由电视调谐器单元170接收的电视广播节目内容。

图25A示出了显示GUI被自动切换的示例。另外，显示GUI优化单元2310可如图25B所示那样时刻改变显示在屏幕上的每个操作目标对象的位置和大小(即，暴露程度)，以对用户的潜意识产生影响。另外，当用户位置接近并且可以执行个人认证时，显示GUI优化单元2310可使用关于所识别的人的信息来分类出要被自动切换的操作目标对象。

甚至在“用户正观看电视机”但“用户没有正操作电视机”的状态下，显示GUI优化单元2310也选择“自动切换”作为最优显示GUI(参见图24D)。然而，与上述不同，基于内容数据库而选择的多个操作目标对象如图26所示以列格式等规则地布置，以使得易于检查各个操作目标对象的显示内容。另外，当用户位置接近并且可以执行个人认证时，显示GUI优化单元2310可使用关于所识别的个人的信息来分类出要自动切换的操作目标对象。另外，GUI优化单元2310可根据用户位置控制显示GUI的信息密度，以使得当用户存在于远处时抑制GUI的信息密度并且当用户接近时增强GUI的信息密度。

另一方面，在“用户正观看电视机”并且“用户正操作电视机”的状态下，用户正利用由输入手段优化单元2320优化的输入手段而操作信息处理设备100(参见图24E)。该状态下的最优输入手段是例如远程控制信号到远程控制接收单元501的传送、对摄像装置单元503的手势、触摸检测单元509检测到的对触摸面板的接触、对麦克风505的音频输入、对接近传感器511的接近输入等。显示GUI优化单元2310根据用户输入操作而将列格式的操作目标对象显示为最优显示GUI，并且使得可以响应于用户操作而执行对操作目标对象的滚动或选择操作。如图27A所示，光标显示在屏幕上的通过输入手段指定的位置处。由于可以将其上没有放置光标的操作目标对象视为没有被用户注意到的操作目标对象，因此可如经由在图中加阴影所示出的那样降低照明水平，以表示相对于所关注的操作目标对象的收缩(在图中，光标放置在用户以手指指尖触摸的操作目标对象#3上)。另外，如图27B所示，当用户选择光标所放置的操作目标对象时，可执行对操作目标对象的全屏显示(或者达到可用的最大大小的放大显示)(在图中，所选择的操作目标对象#3被放大和显示)。

输入手段优化单元2320根据用户位置和用户状态来执行用户对信息处理设备100执行操作的输入手段的优化。

如上所述，可以基于由距离检测方案转变单元2330转变的距离检测方案而获得用户位置。当用户位置接近时，可以执行通过对摄像装置单元503捕获的图像的面部识别而进行的个人认证、与用户拥有的终端的接近通信等。另外，通过对摄像装置单元503捕获的图像的图像识别或距离传感器507的信号分析来指定用户状态。

输入手段优化单元2320在确定用户状态时参考存储单元140中的装置输入手段数据库。

图28以表格示出了输入手段优化单元2320根据用户位置和用户状态而进行的输入手段优化处理。

在“不存在用户”的状态下，在“存在用户”但是“用户没有正观看电视机”的状态下，以及在“用户正观看电视机”但是“用户没有正操作电视机”的状态下，输入手段优化单元2320等待直至开始用户操作。

然后，在“用户正观看电视机”并且还“用户正操作电视机”的状态下，输入手段优化单元2320主要根据用户位置来优化每个输入手段。输入手段包括对远程控制接收单元501的远程控制输入、对摄像装置单元503的手势输入、触摸检测单元509检测到的触摸输入、对麦克风505的音频输入、对接近传感器511的接近输入等。

远程控制接收单元501激活所有用户位置(即，几乎一直)，并且等待接收远程控制信号。

随着用户处于更远的地方，摄像装置单元503捕获的图像的识别精度逐渐降低。另外，当用户过度接近时，用户的身形容易偏离摄像装置单元503的视野。因此，输入手段优化单元2320在从几十厘米到几米的用户位置范围内启用到摄像装置单元503的手势输入。

触摸重叠在显示单元603的屏幕上的触摸面板限于用户的手可以到达的范围。因此，输入手段优化单元2320在直到几十厘米的用户位置范围内启用对触摸检测单元509的触摸输入。另外，接近传感器511可以甚至在没有触摸的情况下检测到在几十厘米处的用户。因此，输入手段优化单元2320对于直到比触摸输入的位置更远的用户位置启用接近输入。

随着用户处于更远的地方，对麦克风单元505的输入音频的识别精度逐渐降低。因此，输入手段优化单元2320在直到几米的用户位置范围内启用对摄像装置单元503的手势输入。

距离检测方案转变单元2330根据用户位置而执行用于转变下述方案的处理：信息处理设备100基于该方案而检测到用户的距离和用户位置。

距离检测方案转变单元2330在确定用户状态时参考存储单元140中的用于每个检测方案的覆盖数据库。

图29以表格示出了距离检测方案转变单元2330根据用户位置而执行的距离检测方案转变处理。

距离传感器507由诸如PSD传感器、热电传感器或简单摄像装置的简单低功耗传感器元件构成。距离检测方案转变单元2330一直接通距离传感器507，以一直监测用户是否存在于例如距信息处理设备1005米至10米的半径中。

当摄像装置单元503采用单目型时，图像识别单元504通过背景区分而执行用户运动识别、面部识别、人体识别。距离检测方案转变单元2330在基于捕获图像可获得足够的识别预测的从70厘米到6米的用户位置范围内启用图像识别单元504的识别(距离检测)功能。

另外，当摄像装置单元503采用双透镜型或有源型时，图像识别单元504从稍微近一些的60厘米到5米可以具有足够的识别精度，并且距离检测方案转变单元2330在该用户位置范围内启用图像识别单元504的识别(距离检测)功能。

另外，当用户过度接近时，用户的身形容易偏离摄像装置单元503的视野。因此，当用户过度接近时，距离检测方案转变单元2330可关断摄像装置单元503和图像识别单元504。

触摸重叠在显示单元603的屏幕上的触摸面板限于用户的手可以到达的范围。因此，距离检测方案转变单元2330在直到几十厘米的用户位置范围内启用触摸检测单元509的距离检测功能。另外，接近传感器511可以甚至在不触摸的情况下检测直到几十厘米的用户。因此，距离检测方案转变单元2330对于直到比触摸输入的位置远的用户位置启用接近传感器511的距离检测功能。

作为设置有多个距离检测方案的信息处理设备100的设计争论点，由于用于检测在几米或者超过十米的远处地方的距离检测方案的目的是检查用户的存在并且应该一直启用，因此优选地使用低功耗装置。另一方面，由于用于在一米内的近距离中进行检测的距离检测方案尽管可以获得高密度信息并且具有诸如面部识别和人体识别的识别功能，但是对于识别处理大量消耗功率，因此优选地在无法获得足够的识别预测的距离处关断该功能。

D.根据监视器性能的对象的真实大小显示

根据传统的主体显示系统，实际对象的图像显示在屏幕上而没有考虑真实大小信息。为此，所显示的对象的大小根据屏幕的大小或分辨率(dpi)而变化。例如，当其水平宽度是a厘米的包显示在32英寸的监视器上时的水平宽度a’和当包显示在50英寸的监视器上时的水平宽度a”彼此不同(a？a’？a”)(参见图30)。

另外，多个对象的图像同时显示在同一监视器屏幕上，然后在没有考虑对象的真实大小信息的情况下，对象的大小关系没有正确地显示。例如，当具有a厘米的水平宽度的包和具有b厘米的水平宽度的袋子同时显示在同一监视器屏幕上时，包以a’厘米的大小显示，而袋子以b’厘米的大小显示，并且相互大小关系没有正确地显示(a:b？a’:b’)(参见图31)。

例如，如果当在线购买产品时产品的样品图像没有以真实大小重构，则用户无法准确地将产品与自己的身形相称，并且存在用户可能错误地购买产品的问题。另外，如果当用户试图同时在线购买多个产品并且产品的样品图像同时显示在屏幕上时样品图像的大小关系没有正确地显示，则用户无法准确地组合和试穿产品，并且存在用户可能以不适当的组合购买产品的问题。

另一方面，信息处理设备100被设计成管理要显示的对象的真实大小信息以及显示单元603的屏幕的大小和分辨率(像素间距)的信息，并且即使对象和屏幕的大小发生改变也总是在屏幕上以真实大小显示对象的图像。

图32示出了用于根据监视器性能执行对象真实大小显示处理的计算单元120的内部配置。计算单元120设置有真实大小显示单元3210、真实大小估计单元3220和真实大小扩展单元3230。然而，还可存在如下情况：其中，真实大小显示单元3210、真实大小估计单元3220和真实大小扩展单元3230当中的至少一个功能块在经由通信单元150连接的云服务器上实现。

在同一监视器屏幕上同时显示多个对象的图像时，真实大小显示单元3210考虑到每个对象的真实大小信息而根据显示单元603的屏幕的大小和分辨率(像素间距)而一直以真实大小显示图像。在显示单元603的屏幕上同时显示多个对象的图像时，真实大小显示单元3210正确地显示对象的大小关系。

真实大小显示单元3210从存储单元140读取诸如显示单元603的屏幕的大小和分辨率(像素间距)的监视器规格。另外，真实大小显示单元3210从旋转和附接机构单元180获得诸如显示单元603的屏幕的方向和倾斜的监视器状态。

另外，真实大小显示单元3210从存储单元140中的对象图像数据库读取要显示的对象的图像，并且从对象真实大小数据库读取对象的真实大小信息。然而，还可存在如下情况：其中，对象图像数据库和对象真实大小数据库处于通过通信单元150连接的数据库服务器上。

然后，真实大小显示单元3210基于监视器性能和监视器状态而对对象的图像执行转换处理，以使得要显示的对象以真实大小显示在显示单元603的屏幕上(或者多个对象的相互大小关系是正确的)。即，甚至当同一对象的图像显示在具有不同监视器规格的屏幕上时，也满足如图33所示的a＝a’＝a”。

另外，当真实大小显示单元3210在同一屏幕上同时显示具有不同真实大小的两个对象时，a:b＝a’:b’，即，如图34所示正确地显示相互大小关系。

例如，当用户通过样品图像的显示而在线购买产品时，信息处理设备100可以如上所述实现对象的真实大小显示并且以正确的大小关系显示多个样品图像，因此，用户可以准确地试穿产品，因此较少存在用户可能错误地选择产品的问题。

将另外地描述真实大小显示单元3210执行的对象图像的真实大小显示被应用于在线购物的应用的示例。响应于用户触摸小册子的显示屏幕上的期望产品的图像，产品的图像被转变为真实大小显示(参见图35)。另外，可以通过响应于用户的触摸操作而对以真实大小显示的图像进行旋转或执行姿势转换而改变真实大小的对象的方向以及显示该对象(参见图36)。

另外，真实大小估计单元3220执行用于估计甚至通过参考对象真实大小数据库也无法获得其真实大小信息的对象(诸如由摄像装置单元503成像的人)的真实大小的处理。例如，当估计其真实大小的对象是用户的面部时，基于由图像识别单元504对摄像装置单元503捕获的图像执行图像识别而获得的用户面部数据(诸如用户的面部的大小、年龄和方向)以及通过距离检测方案转变单元2330转变的距离检测方案而获得的用户位置来估计用户的真实大小。

所估计的用户真实大小信息被反馈到真实大小显示单元3210并存储在例如对象图像数据库中。然后，根据用户面部数据估计的真实大小信息被用于真实大小显示单元3210根据随后的监视器性能进行的真实大小显示。

例如，当如图37A所示显示包括目标(婴儿)的捕获图像的操作目标对象时，真实大小估计单元3220基于面部数据而估计真实大小。此后，即使用户试图通过触摸操作等放大和显示操作目标对象，如图37B所示，目标也没有被放大到超过对象的真实大小的大小。即，婴儿的图像没有被放大到不自然大小，并且维持了影片的真实性。

另外，当网络内容和由摄像装置单元503捕获的内容以并列方式或者以重叠方式显示在显示单元603的屏幕上时，可以通过基于所估计的真实大小对内容的影片执行归一化处理而实现均衡的并列显示或重叠显示。

此外，真实大小扩展单元3230甚至在3D方向(即，深度方向)上也实现了由真实大小显示单元3210在显示单元603的屏幕上实现的对象的真实大小显示。在基于双目镜方案或光束重构方案执行3D显示的情况下，可以仅在生成3D影片时所采用的观看位置处实现期望效果。基于全向光束重构方案，可以在任意位置执行实际大小显示。

另外，通过检测用户的观察点位置以及相对于该位置校正3D影片，真实大小扩展单元3230可以甚至在双目镜方案和仅在水平方向上的光束重构方案中也实现任意位置处的相同真实大小显示。

例如，参见日本未审查专利申请公布2002-300602、日本未审查专利申请公布2005-149127和日本未审查专利申请公布2005-142957，这些专利申请公布已全部被转让给本申请人。

E.图像组的同时显示

存在如下情况：多个源的影片内容在显示系统中以并列方式或者以重叠方式同时显示在同一屏幕上。例如，可以以如下情况为例：(1)多个用户执行视频聊天的情况，(2)在瑜伽课等中同时显示从诸如DVD的记录介质再现(或者通过网络流送再现)的教导者的影片和由摄像装置单元503捕获的用户本身的影片的情况，以及(3)产品的样品图像和摄像装置单元503捕获的用户本身的影片被重叠和显示以用于在线购物中的试穿的情况。

在上述情况(1)至(3)中的任意情况下，如果同时显示的图像的大小关系没有被正确地显示，则用户无法适当地使用所显示的影片。例如，如果没有调整执行视频聊天的用户的大小和位置(图38A)，则与聊天对方的面对面联系劣化，并且用户不能享受该对话。另外，当没有调整用户和教导者的身形的大小和位置时(图39A)，用户难以找到其自己的运动与教导者的运动之间的差别，并且用户不能知道要修改或改进的点并且不能在课程中获得足够的进步。另外，如果产品的样品图像没有以关于保持用手挑选产品的姿势的用户本身的影片的正确大小关系重叠在适当位置上，则用户难以确定产品是否适合于用户本身，并且用户不能准确地执行试穿(图40A)。

另一方面，根据实施例的信息处理设备100被设计成当多个源的影片内容以并列方式布置或者重叠时，利用关于图像尺度、相应区域等的信息而对图像进行归一化，并且以并列方式或者以重叠方式显示图像。在归一化中，对诸如静止图像或视频图像的数字图像数据执行包括数字缩放处理的图像修整。另外，当以并列方式布置的或重叠的图像之一是摄像装置单元503捕获的图像时，对实际的摄像装置执行用于摇摄、倾斜、缩放等的光学控制。

可以利用通过面部识别获得的关于面部的大小、年龄、方向等的信息以及通过人识别获得的关于体形和大小的信息而简单地实现图像归一化处理。另外，在以并列方式或者以重叠方式显示多个图像时，对图像之一自动执行镜像和旋转处理，以容易地得到与其它图像的对应关系。

图38B示出了如下状态：其中，通过多个图像之间的归一化处理而调整执行视频聊天的用户的面部的大小和位置。另外，图39B示出了如下状态：通过多个图像之间的归一化处理而调整在屏幕上并列显示的用户和教导者的身形的大小和位置。另外，图40B示出了如下状态：其中，通过多个图像之间的归一化处理，产品的样品图像以关于保持挑选产品的姿势的用户本身的影片的正确大小关系而在适当位置被重叠和显示。另外，在图39B和图40B中不仅执行大小关系归一化处理而且还执行了镜像，以使得用户可以根据摄像装置单元503捕获的图像而容易地校正其自己的姿势。另外，还存在如下情况：根据需要执行旋转处理。另外，如果可以对用户和教导者的身形执行归一化处理，则还可以如图39C所示以重叠方式来显示身形而取代如图39B所示的以并列方式显示，并且用户可以进一步容易地且在视觉上识别其自己的姿势与教导者的姿势之间的差别。

图41示出了用于执行图像归一化处理的计算单元120的内部配置。计算单元120设置有图像间归一化处理单元4110、面部归一化处理单元4120和真实大小扩展单元4130。然而，还可存在如下情况：其中，图像间归一化处理单元4110、面部归一化处理单元4120和真实大小扩展单元4130当中的至少一个功能块在通过通信单元150连接的云服务器上实现。

图像间归一化处理单元4110执行归一化处理，以使得在多个图像之间正确地显示用户的面部图像和其它对象之间的大小关系。

图像间归一化处理单元4110通过输入接口统一单元520输入摄像装置单元503捕获的用户图像。在该场合，还获得在对用户成像时摄像装置单元503的摇摄、倾斜、缩放等的摄像装置信息。另外，图像间归一化处理单元4110获得要以并列方式或者以重叠方式与用户图像一起显示的其它对象的图像，并且从图像数据库获得用户图像和其它对象的图像并列布置或重叠的模式。图像数据库在一些情况下存在于存储单元140中并且在其它情况下存在于通过通信单元150访问的数据库服务器上。

然后，图像间归一化处理单元4110基于归一化算法而对用户图像执行诸如放大、旋转和镜像的图像修整以使得与其它对象的大小关系和姿势变得正确，并且生成用于控制摄像装置单元503的摇摄、倾斜、缩放等的摄像装置控制信息以便适当地捕用户图像。通过图像间归一化处理单元4110的处理，例如，如图40B所示，用户图像被显示为维持与其它对象的图像的正确大小关系。

面部归一化处理单元4120执行归一化处理，以使得摄像装置单元503捕获的用户面部图像被正确地显示以便维持与其它操作目标对象(例如，从记录介质再现的图像中的教导者的面部或者视频聊天中的对方用户的面部)中的面部图像的大小关系。

面部归一化处理单元4120通过输入接口统一单元520输入摄像装置单元503捕获的用户图像。在该场合，还获得关于在对用户成像时摄像装置单元503的摇摄、倾斜、缩放等的摄像装置信息。另外，面部归一化处理单元4120通过存储单元140或通信单元150获得要以并列方式或者以重叠方式与所捕获的用户图像一起显示的其它操作目标对象中的面部图像。

然后，面部归一化处理单元4120对用户图像执行诸如放大、旋转和镜像的图像修整以使得相互的面部图像的大小关系变得正确，并且生成用于控制摄像装置单元503的摇摄、倾斜、缩放等的摄像装置控制信息以便适当地捕获用户图像。通过面部归一化处理单元4120的处理，例如，如图38B、图39B和图39C所示，用户图像被显示为维持与其它面部图像的正确大小关系。

此外，真实大小扩展单元4130甚至在3D方向(即，深度方向)上也实现了由图像间归一化处理单元4110或图像间归一化处理单元4110在显示单元603的屏幕上实现的多个图像的并列或重叠显示。另外，在基于双目镜方案或仅水平方向上的光束重构方案而执行3D显示的情况下，可以仅在生成3D影片时所采用的观看位置处实现期望效果。基于全向光束重构方案，可以在任意位置执行实际大小显示。

另外，通过检测用户的观察点的位置以及相对于该位置校正3D影片，甚至在双目镜方案和仅在水平方向上的光束重构方案中，真实大小扩展单元4130也可以在任意位置实现相同真实大小显示。

例如，参见日本未审查专利申请公布2002-300602、日本未审查专利申请公布2005-149127和日本未审查专利申请公布2005-142957，这些专利申请公布已全部被转让给本申请人。

F.旋转屏幕中的影片内容显示方法

如上所述，根据实施例的信息处理设备100的主体例如由旋转和附接机构单元180以可旋转和可拆卸方式附接到墙面。如果在信息处理设备100的电源接通的情况下(即，在显示单元603显示操作目标对象的情况下)对主体执行旋转操作，则伴随旋转操作对操作目标对象执行旋转处理，以使得用户可以以正确的姿势观察操作目标对象。

在下文中，将给出下述方法的描述：该方法用于最优地调整转变过程中的信息处理设备100的主体的任意旋转角度处的影片内容显示模式。

作为转变过程中的屏幕的任意旋转角度处的影片内容显示模式，可以以三种模式为例，即，(1)用于允许在任意旋转角度影片内容都完全在屏幕上的显示模式，(2)用于使每个旋转角度处的影片内容中的关注内容最大化的显示模式，以及(3)用于旋转影片内容以便不生成无效区域的显示模式。

图42是示出如下显示模式的图：其中，在信息处理设备100(屏幕)在逆时针方向上旋转90？的情况下，显示影片内容的整个区域以使得在任意旋转角度影片内容都完全在屏幕上。在如图中所示那样在横向长的影片内容显示在横向安装的屏幕上的情况下在逆时针方向上将信息处理设备100旋转90度以纵向安装信息处理设备100时，影片内容被缩小，并且出现了屏幕上的以黑色示出的无效区域。另外，在从横向安装到纵向安装的屏幕的转变过程中，影片内容被最小化。

如果影片内容的至少一部分不在屏幕上，则存在作为版权作品的影片内容丢失身份的问题。在如图42所示的显示模式中，在其转变过程中的任意旋转角度总是保证作为版权作品的身份。即，可以说该显示模式适合于受保护的内容。

另外，图43是示出如下显示模式的图：其中，在信息处理设备100(屏幕)在逆时针方向上旋转90？的情况下，影片内容中的关注区域在每个旋转角度均被最大化。在图中，影片内容中的包括由虚线包围的目标的区域被设置为关注区域，并且关注区域在每个旋转角度均被最大化。由于关注区域是垂直长的，因此当横向安装被改变为纵向安装时，影片内容被放大。另外，在从横向安装到纵向安装的转变过程中，关注区域在屏幕的对角线方向上被最大化。另外，在从横向安装到纵向安装的转变过程中，以黑色示出的无效区域出现在屏幕上。

作为关注于影片内容中的关注区域的显示模式，还可以考虑如下变型例：其中，在一直维持关注区域的大小的情况下旋转影片内容。尽管在屏幕旋转期间关注区域看起来被平滑地旋转，但是无效区域被放大。

另外，图44是示出如下显示模式的图：其中，在信息处理设备100(屏幕)在逆时针方向上旋转90？的情况下，影片内容被旋转为使得不出现无效区域。

图45示出了在图42至图44所示的显示模式中影片内容的缩放率与旋转位置的关系。在图42所示的用于允许在任意旋转角度影片内容都完全在屏幕中的显示模式中，尽管可以保护内容但是在转变过程中生成了大的无效区域。另外，存在由于在转变过程中影片被缩小因此给予用户奇怪感的问题。在图43所示的用于在每个旋转角度均使影片内容中的关注区域最大化的显示模式中，尽管可以在旋转屏幕的转变过程中更平滑地显示关注区域，但是在转变过程中生成了无效区域。另外，在图44所示的显示模式中，尽管在转变过程中没有生成无效区域但是在转变过程中影片内容被显著放大，并且存在给予进行观察的用户不自然的印象的问题。

图46以流程图的形式示出了用于在信息处理设备100(显示单元603的屏幕)时由计算单元120控制影片内容的显示模式的处理过程。响应于例如旋转和附接机构单元180检测到信息处理设备100的主体正被旋转或者三轴传感器515检测到信息处理设备100的主体的旋转位置的变化而激活该处理过程。

在旋转信息处理设备100(显示单元603的屏幕)时，计算单元120首先获得显示在屏幕上的影片内容的属性信息(步骤S4601)。然后，检查显示在屏幕上的影片内容是否是受版权等保护的内容(步骤S4602)。

这里，当显示在屏幕上的影片内容是受版权等保护的内容(步骤S4602中为是)时，计算单元120选择如图42所示的用于显示影片内容的整个区域以使得影片内容在任意旋转角度均完全在屏幕中的显示模式(步骤S4603)。

另外，当显示在屏幕上的影片内容不是受版权等保护的内容(步骤S4602中为否)时，随后检查显示模式是否是用户指定的显示模式(步骤S4604)。

当用户选择了用于显示影片内容的整个区域的显示模式时，处理进行到步骤S4603。另外，当用户选择了用于对关注区域进行最大化和显示的显示模式时，处理进行到步骤S4605。另外，当用户选择了用于不显示无效区域的显示模式时，处理进行到步骤S4606。另外，当用户没有选择任何一个显示模式时，在以上三种显示模式当中选择被设置为默认值的显示模式。

图47示出了用于执行下述处理的计算单元120的内部配置：该处理用于调整转变过程中的信息处理设备100的主体的任意旋转角度处的影片内容的显示模式。计算单元120设置有显示模式选择单元4710、旋转位置输入单元4720和图像修整单元4730，并且调整所接收的电视广播或从介质再现的影片内容。

显示模式选择单元4710基于图46所示的处理过程，选择用于在转变过程中旋转信息处理设备100的主体的任意旋转角度处的影片内容的显示模式。

旋转位置输入单元4720通过输入接口统一单元520来输入由旋转和附接机构单元180或三轴传感器515获得的信息处理设备100的主体(或显示单元602的屏幕)的旋转位置。

图像修整单元4730基于由显示模式选择单元4710选择的显示模式而执行图像修整，以使得所接收的电视广播或从介质再现的影片内容适合于以输入到旋转位置输入单元4720的旋转角度倾斜的显示单元603的屏幕。

G.在该说明书中公开的技术

该说明书中公开的技术可以如下配置。

(1)一种信息处理设备，包括：

控制单元，用于基于根据从所述设备的外部输入到所述设备的至少一个信息信号而进行的对用户的检测，来控制对显示在显示单元上的操作对象的处理，其中，所述操作对象的操作权利被给予所述用户。

(2)根据(1)所述的设备，其中，所述控制单元针对根据所述至少一个信息信号而检测到的每个用户，在所述显示单元的屏幕中设置用户占据区域。

(3)根据(1)所述的设备，其中，所述控制单元在所述显示单元的屏幕中设置根据所述至少一个信息信号而检测到的每个用户均可使用的公共区域。

(4)根据(1)所述的设备，其中，所述控制单元：(i)针对根据所述至少一个信息信号而检测到的每个用户，在所述显示单元的屏幕中设置用户占据区域；以及(ii)将所述屏幕的、除每个所检测到的用户的用户占据区域以外的所有区域设置为每个所检测到的用户均可使用的公共区域。

(5)根据(1)所述的设备，还包括：

布置在所述显示单元的屏幕的四个侧面边缘部分中的每个处的至少一个接近传感器，并且所述至少一个信息信号在所述至少一个接近传感器处被输入。

(6)根据(1)所述的设备，其中，当所述操作对象存在于所述显示单元的屏幕中的、针对所述用户设置的用户占据区域中时，所述控制单元自动地旋转所述操作对象以面向所述用户。

(7)根据(6)所述的设备，其中，根据预定定时而自动地旋转所述操作对象。

(8)根据(1)所述的设备，其中，当所述用户在所述显示单元的屏幕中的所设置的第一区域和第二区域之间移位所述操作对象时，所述控制单元根据相对于所述操作对象的重心位置的、所述用户执行了操作的位置来旋转所述操作对象。

(9)根据(8)所述的设备，其中，所述用户通过拖动或投掷而移位所述操作对象。

(10)根据(1)所述的设备，还包括：

数据交换单元，用于与所述用户所拥有的终端交换数据。

(11)根据(10)所述的设备，其中，所述控制单元基于与所述终端交换的数据而在所述显示单元的屏幕上显示所述操作对象。

(12)根据(1)所述的设备，其中，所述控制单元响应于用于移位所述操作对象的操作而控制对所述操作对象的复制或划分中的至少一个。

(13)根据(1)所述的设备，还包括：

输入接口单元，来自所述外部的所述至少一个信息信号被输入到所述输入接口单元。

(14)根据(1)所述的设备，其中，所述控制单元基于屏幕触摸检测结果或从所述用户拥有的终端所接收的数据中的至少一个而控制对所述操作对象的所述处理。

(15)根据(1)所述的设备，其中，所述控制单元通过选择所述设备的多个输入单元中的一个而控制对所述操作对象的所述处理。

(16)根据(15)所述的设备，其中，所述选择根据所述用户的位置或者到所述用户的距离而进行。

(17)根据(1)所述的设备，其中，所述设备包括所述显示单元。

(18)根据(1)所述的设备，其中，对所述操作对象的所述处理基于所述用户的状态。

(19)一种信息处理方法，包括：

由处理器基于根据从信息处理设备的外部输入到所述设备的至少一个信息信号而进行的对用户的检测来控制对显示在显示单元上的操作对象的处理，其中，所述操作对象的操作权利被给予用户。

(20)一种记录有计算机可执行的程序的非暂态记录介质，所述程序包括：

基于根据从信息处理设备的外部输入到所述设备的至少一个信息信号而进行的对用户的检测，来控制对显示在显示单元上的操作对象的处理，其中，所述操作对象的操作权利被给予用户。

(101)一种信息处理设备，包括：显示单元；用户检测单元，检测存在于所述显示单元周围的用户；以及计算单元，响应于所述用户检测单元对所述用户的检测而对显示在所述显示单元上的操作目标对象执行处理。

(102)根据(101)所述的信息处理设备，其中，所述用户检测单元设置有接近传感器，所述接近传感器布置在所述显示单元的屏幕的四个侧面边缘部分中的每个处，并检测存在于每个侧面边缘附近的用户。

(103)根据(101)所述的信息处理设备，其中，所述计算单元根据所述用户检测单元检测到的用户布置，在所述显示单元的屏幕中设置用于每个检测到的用户的用户占据区域以及所述用户共同使用的公共区域。

(104)根据(103)所述的信息处理设备，其中，所述计算单元在所述显示单元的屏幕上显示作为所述用户要操作的目标的一个或多个操作目标对象。

(105)根据(104)所述的信息处理设备，其中，所述计算单元优化用户占据区域中的操作目标对象。

(106)根据(104)所述的信息处理设备，其中，所述计算单元执行旋转处理，以使得用户占据区域中的操作目标对象处于该操作目标对象面向相应用户的方向上。

(107)根据(104)所述的信息处理设备，其中，所述计算单元执行旋转处理，以使得从所述公共区域或另一用户占据区域被移位到所述用户占据区域的操作目标对象处于该操作目标对象面向相应用户的方向上。

(108)根据(107)所述的信息处理设备，其中，所述计算单元根据当所述用户在区域之间拖动和移位所述操作目标对象时相对于所述操作目标对象的重心位置的、所述用户执行操作的位置，来控制对所述操作目标对象执行所述旋转处理时的旋转方向。

(109)根据(103)所述的信息处理设备，其中，当所述用户检测单元在所述显示单元的屏幕中设置了用于新检测到的用户的用户占据区域时，所述计算单元显示表示新检测到用户的检测指示符。

(110)根据(104)所述的信息处理设备，还包括：数据交换单元，与用户拥有的终端交换数据。

(111)根据(110)所述的信息处理设备，其中，所述数据交换单元执行与所述用户检测单元检测到的用户拥有的终端的数据交换处理，并且其中，所述计算单元使得与从所述用户拥有的终端接收的数据对应的操作目标对象出现在相应的占据区域中。

(112)根据(104)所述的信息处理设备，其中，响应于在用于用户的用户占据区域之间的操作目标对象的移位，所述计算单元将所述操作目标对象复制到作为移位目的地的用户占据区域，或针对作为移位目的地的用户占据区域而划分所述操作目标对象。

(113)根据(112)所述的信息处理设备，其中，所述计算单元在作为移位目的地的用户占据区域中显示被创建作为单独数据的所述操作目标对象的副本。

(114)根据(112)所述的信息处理设备，其中，所述计算单元在作为移位目的地的用户占据区域中显示作为能够由所述用户共同操作的应用的另一窗口的、所述操作目标对象的副本。

(115)一种信息处理方法，包括：用户检测步骤，检测存在于周围的用户；计算步骤，响应于在所述用户检测步骤中对所述用户的检测而对所显示的操作目标对象执行处理。

(116)一种计算机程序，其以计算机可读格式描述以便使得计算机用作以下单元：显示单元；用户检测单元，检测存在于所述显示单元周围的用户；以及计算单元，响应于所述用户检测单元对所述用户的检测而对显示在所述显示单元上的操作目标对象执行处理。

(201)一种信息处理设备，包括：显示单元；用户位置检测单元，检测相对于所述显示单元的用户位置；用户状态检测单元，检测相对于所述显示单元的显示屏幕的用户状态；以及计算单元，根据所述用户位置检测单元检测的用户位置和所述用户状态检测单元检测的用户状态而控制要显示在所述显示单元上的GUI。

(202)根据(201)所述的信息处理设备，其中，所述计算单元根据所述用户位置和所述用户状态而控制显示在所述显示单元的屏幕上的、作为要由所述用户操作的目标的一个或多个操作目标对象的框架或信息密度。

(203)根据(201)所述的信息处理设备，其中，所述计算单元根据所述用户是否处于观看所述显示单元的屏幕的状态而控制要显示在所述屏幕上的操作目标对象的框架。

(204)根据(201)所述的信息处理设备，其中，所述计算单元根据所述用户位置而控制要显示在所述显示单元的屏幕上的操作目标对象的信息密度。

(205)根据(201)所述的信息处理设备，其中，所述计算单元根据所述用户是否处于可以执行个人认证的位置而控制要显示在所述显示单元的屏幕上的操作目标对象的选择。

(206)根据(201)所述的信息处理设备，还包括：一个或多个输入手段，用于允许用户操作正显示在所述显示单元的屏幕上的操作目标对象，其中，所述计算单元根据所述用户是否处于利用所述输入手段操作所述操作目标对象的状态而控制要显示在所述屏幕上的操作目标对象的框架。

(207)一种信息处理设备，包括：显示单元；一个或多个输入装置，用于允许用户操作正显示在所述显示单元的屏幕上的操作目标对象；用户位置检测单元，检测相对于所述显示单元的用户位置；用户状态检测单元，检测相对于所述显示单元的显示屏幕的用户状态；以及计算单元，根据所述用户位置检测单元检测的用户位置和所述用户状态检测单元检测的用户状态而优化所述输入手段。

(208)根据(207)所述的信息处理设备，其中，所述计算单元根据所述用户是否处于观看所述显示单元的屏幕的状态而控制所述输入手段的优化。

(209)根据(207)所述的信息处理设备，其中，所述计算单元在所述用户正观看所述显示单元的屏幕的状态下根据所述用户位置检测单元检测的用户位置而优化所述输入手段。

(210)一种信息处理设备，包括：显示单元；用户位置检测单元，检测相对于所述显示单元的用户位置；以及计算单元，根据所述用户位置检测单元检测的用户位置而控制用于检测从所述显示单元的屏幕到所述用户的距离的多个距离检测方案以及所述距离检测方案的转变。

(211)根据(210)所述的信息处理设备，其中，所述计算单元一直开启用于检测距位于远处地方的用户的距离的距离检测方案的功能。

(212)根据(210)所述的信息处理设备，其中，所述计算单元开启下述距离检测方案的功能：其用于检测距位于近处地方的用户的距离，并且还仅在可以获得足够的识别精度的距离范围内执行识别处理。

(213)一种信息处理方法，包括：用户位置检测步骤，检测相对于显示屏幕的用户位置；用户状态检测步骤，检测相对于所述显示屏幕的用户状态；以及计算步骤，基于在所述用户位置检测步骤中检测的用户位置和在所述用户状态检测步骤中检测的用户状态而控制要显示在所述显示屏幕上的GUI。

(214)一种信息处理方法，包括：用户位置检测步骤，检测相对于显示屏幕的用户位置；使用状态检测步骤，检测相对于所述显示屏幕的使用状态；以及计算步骤，根据在所述用户位置检测步骤中检测的用户位置和在所述用户状态检测步骤中检测的用户状态而优化用于允许用户操作正显示在所述显示屏幕上的操作目标对象的一个或多个输入手段。

(215)一种信息处理方法，包括：用户位置检测步骤，检测相对于显示屏幕的用户位置；以及计算步骤，根据在所述用户位置检测步骤中检测的用户位置而控制用于检测从所述显示屏幕到用户的距离的多个距离检测方案的转变。

(216)一种计算机程序，其以计算机可读格式描述以使得计算机用作以下单元：显示单元；用户位置检测单元，检测相对于所述显示单元的用户位置；用户状态检测单元，检测相对于所述显示单元的显示屏幕的用户状态；以及计算单元，根据所述用户位置检测单元检测的用户位置和所述用户状态检测单元检测的用户状态而控制要显示在所述显示单元上的GUI。

(217)一种计算机程序，其以计算机可读格式描述以使得计算机用作以下单元：显示单元；一个或多个输入手段，用于允许用户操作正显示在所述显示单元的屏幕上的操作目标对象；用户位置检测单元，检测相对于所述显示单元的用户位置；用户状态检测单元，检测相对于所述显示单元的显示屏幕的用户状态；以及计算单元，根据所述用户位置检测单元检测的用户位置和所述用户状态检测单元检测的用户状态而优化所述输入手段。

(218)一种计算机程序，其以计算机可读格式描述以使得计算机用作以下单元：显示单元；用户位置检测单元，检测相对于所述显示单元的用户位置；以及计算单元，根据所述用户位置检测单元检测的用户位置而控制用于检测从所述显示单元的屏幕到所述用户的距离的多个距离检测方案以及所述距离检测方案的转变。

(301)一种信息处理设备，包括：显示单元；对象图像获得单元，获得要显示在所述显示单元的屏幕上的对象图像；真实大小获得单元，获得与要显示在所述显示单元的屏幕上的对象的真实大小有关的信息；以及计算单元，基于所述真实大小获得单元获得的所述对象的真实大小而处理所述对象图像。

(302)根据(301)所述的信息处理设备，还包括：显示性能获得单元，获得关于包括所述显示单元的屏幕大小和分辨率的显示性能的信息，其中，所述计算单元基于所述真实大小获得单元获得的所述对象的真实大小和所述显示性能获得单元获得的所述显示性能而处理要以所述真实大小显示在所述显示单元的屏幕上的所述对象图像。

(303)根据(301)所述的信息处理设备，其中，在所述显示单元的屏幕上同时显示所述对象图像获得单元获得的多个对象图像时，所述计算单元对所述多个对象图像进行处理，以正确地显示所述多个对象图像之间的相互大小关系。

(304)根据(301)所述的信息处理设备，还包括：摄像装置单元；以及真实大小估计单元，估计包括在所述摄像装置单元捕获的图像中的对象的真实大小。

(305)根据(301)所述的信息处理设备，还包括：摄像装置单元；图像识别单元，识别包括在所述摄像装置单元捕获的图像中的用户面部，并获得面部数据；距离检测单元，检测到所述用户的距离；以及真实大小估计单元，基于所述用户的所述面部数据和到所述用户的距离而估计所述用户面部的真实大小。

(306)一种信息处理方法，包括：对象图像获得步骤，获得要显示在屏幕上的对象图像；真实大小获得步骤，获得与要显示在所述屏幕上的对象的真实大小有关的信息；以及计算步骤，基于在所述真实大小获得步骤中获得的所述对象的真实大小而处理所述对象图像。

(307)一种计算机程序，其以计算机可读格式描述以使得计算机用作以下单元：显示单元；对象图像获得单元，获得要显示在所述显示单元的屏幕上的对象图像；真实大小获得单元，获得与要显示在所述显示单元的屏幕上的对象的真实大小有关的信息；以及计算单元，基于所述真实大小获得单元获得的所述对象的真实大小而处理所述对象图像。

(401)一种信息处理设备，包括：摄像装置单元；显示单元；以及计算单元，在所述显示单元的屏幕上显示图像时对所述摄像装置单元捕获的用户图像进行归一化。

(402)根据(401)所述的信息处理设备，还包括：对象图像获得单元，获得要显示在所述显示单元的屏幕上的对象图像；以及并列或重叠模式获得单元，获得所述用户图像和所述对象图像并列布置或重叠在所述显示单元的屏幕上的并列或重叠模式，其中，所述计算单元执行归一化，以使得所述用户图像与所述对象之间的大小关系被正确地维持并且基于所获得的并列或重叠模式而并列布置或重叠归一化之后的所述用户图像和所述对象。

(403)根据(402)所述的信息处理设备，其中，所述计算单元控制所述摄像装置单元以便对所述摄像装置单元捕获的用户图像进行归一化。

(404)根据(401)所述的信息处理设备，还包括：用户面部数据获得单元，获得所述摄像装置单元捕获的用户面部数据；以及对象内面部数据获得单元，获得要显示在所述显示单元的屏幕上的对象中的面部数据，其中，所述计算单元执行归一化以正确地维持所述用户面部数据和所述对象中的面部数据的大小关系和位置。

(405)根据(404)所述的信息处理设备，其中，所述计算单元控制所述摄像装置单元以便对所述摄像装置单元捕获的用户图像进行归一化。

(406)一种信息处理方法，包括：对象图像获得步骤，获得要显示在屏幕上的对象图像；并列或重叠模式获得步骤，获得所述摄像装置单元捕获的用户图像和所述对象图像并列布置或重叠在所述显示单元的屏幕上的并列或重叠模式；归一化步骤，执行归一化以正确地维持所述用户图像和所述对象的大小关系和位置；以及图像修整步骤，基于所获得的并列或重叠模式而并列布置或重叠归一化之后的所述用户图像和所述对象。

(407)一种信息处理方法，包括：用户面部数据获得步骤，获得摄像装置单元捕获的用户面部数据；对象内面部数据获得步骤，获得要显示在屏幕上的对象中的面部数据；以及归一化步骤，执行归一化以正确地维持所述用户面部数据和所述对象中的面部数据的大小关系和位置。

(408)一种计算机程序，其以计算机可读格式描述，以便使得计算机用作以下单元：摄像装置单元；显示单元；以及计算单元，在所述显示单元的屏幕上显示所述摄像装置单元捕获的用户图像时对所述用户图像进行归一化。

(501)一种信息处理设备，包括：显示单元，在屏幕上显示影片内容；旋转角度检测单元，检测所述屏幕的旋转角度；显示模式选择单元，在选择转变过程中的所述屏幕的任意旋转角度处的影片内容显示模式；以及图像修整单元，基于所述显示模式选择单元选择的显示模式而执行图像修整，以使得所述影片内容适合于以所述旋转角度检测单元检测的旋转角度倾斜的所述屏幕。

(502)根据(501)所述的信息处理设备，其中，所述显示模式选择单元选择包括如下三种显示模式的多种显示模式之一：即，用于允许所述影片内容完全显示在任意旋转角度处的所述屏幕上的显示模式；用于使得每个旋转角度处的所述影片内容中的关注内容最大化的显示模式；以及用于旋转所述影片内容以不生成无效区域的显示模式。

(503)根据(501)所述的信息处理设备，其中，所述显示模式选择单元基于包括在所述影片内容中的属性信息而选择转变过程中的所述屏幕的任意旋转角度处的显示模式。

(504)根据(501)所述的信息处理设备，其中，所述显示模式选择单元针对受保护的影片内容而选择用于允许任意旋转角度处的所述影片内容完全显示在所述屏幕上的所述显示模式。

(505)一种信息处理方法，包括：旋转角度检测步骤，检测用于显示影片内容的屏幕的旋转角度；显示模式选择步骤，选择转变过程中的所述屏幕的任意旋转角度处的影片内容显示模式；以及图像修整步骤，基于所述显示模式选择步骤选择的显示模式而执行图像修整，以使得所述影片内容适合于以在所述旋转角度检测步骤中检测的旋转角度倾斜的所述屏幕。

(506)一种计算机程序，其以计算机可读格式描述以便使得计算机用作以下单元：显示单元，在屏幕上显示影片内容；旋转角度检测单元，检测所述屏幕的旋转角度；显示模式选择单元，选择转变过程中的所述屏幕的任意旋转角度处的影片内容显示模式；以及图像修整单元，基于所述显示模式选择单元选择的显示模式而执行图像修整，以使得所述影片内容适合于以所述旋转角度检测单元检测的旋转角度倾斜的所述屏幕。

工业适用性

如上所述，参考具体实施例描述了该说明书中公开的技术。然而，本领域技术人员显然可以进行实施例的修改和替换而不背离说明书中公开的技术的范围。

在本说明书中，尽管主要基于设置有大屏幕的电视接收机作为本说明书中公开的技术的信息处理设备100的假设而给出了实施例的描述，但是说明书中公开的技术的范围不限于此。可以类似地将本说明书中公开的技术应用于除电视接收机之外的信息处理设备(诸如个人计算机和平板终端)和具有不大的屏幕的信息处理设备。

简言之，本说明书中公开的技术被描述作为说明性示例，并且不应排他地来理解该说明书中描述的内容。应考虑权利要求以便确定该说明书中公开的技术的范围。

附图标记列表

100 信息处理设备

110 输入接口单元

120 计算单元

130 输出接口单元

140 存储单元

150 通信单元

160 电力单元

170 电视调谐器单元

180 旋转和附接机构单元

501 远程控制接收单元

502 信号分析单元

503 摄像装置单元

504 图像识别单元

505 麦克风单元

506 音频识别单元

507 距离传感器

508 信号分析单元

509 触摸检测单元

510 信号分析单元

511 接近传感器

512 信号分析单元

513 非常短距离通信单元

514 信号分析单元

515 三轴传感器单元

516 GPS接收单元

517 信号分析单元

520 输入接口统一单元

601 内容显示单元

602 GUI显示单元

603 显示单元

604 扬声器单元

605 照明显示单元

606 照明单元

710 监视器区域划分单元

711 装置数据库

712 区域模式数据库

720 对象最优处理单元

721 最优处理算法

730 装备协调数据交换单元

731 交换处理算法

2310 显示GUI优化单元

2320 输入手段优化单元

2330 距离检测方案转变单元

3210 真实大小显示单元

3220 真实大小估计单元

3230 真实大小扩展单元

4110 图像间归一化处理单元

4120 面部归一化处理单元

4130 真实大小扩展单元

4710 显示模式选择单元

4720 旋转位置输入单元

4730 图像修整单元

Claims (20)

1.一种信息处理设备，包括：

控制单元，用于基于根据从所述设备的外部输入到所述设备的至少一个信息信号而进行的对用户的检测，来控制对显示在显示单元上的操作对象的处理，其中，所述操作对象的操作权利被给予所述用户。

2.根据权利要求1所述的设备，其中，所述控制单元针对根据所述至少一个信息信号而检测到的每个用户，在所述显示单元的屏幕中设置用户占据区域。

3.根据权利要求1所述的设备，其中，所述控制单元在所述显示单元的屏幕中设置根据所述至少一个信息信号而检测到的每个用户均可使用的公共区域。

4.根据权利要求1所述的设备，其中，所述控制单元：(i)针对根据所述至少一个信息信号而检测到的每个用户，在所述显示单元的屏幕中设置用户占据区域；以及(ii)将所述屏幕的、除每个所检测到的用户的用户占据区域以外的所有区域设置为每个所检测到的用户均可使用的公共区域。

5.根据权利要求1所述的设备，还包括：

布置在所述显示单元的屏幕的四个侧面边缘部分中的每个处的至少一个接近传感器，并且所述至少一个信息信号在所述至少一个接近传感器处被输入。

6.根据权利要求1所述的设备，其中，当所述操作对象存在于所述显示单元的屏幕中的、针对所述用户设置的用户占据区域中时，所述控制单元自动地旋转所述操作对象以面向所述用户。

7.根据权利要求6所述的设备，其中，根据预定定时而自动地旋转所述操作对象。

8.根据权利要求1所述的设备，其中，当所述用户在所述显示单元的屏幕中的所设置的第一区域和第二区域之间移位所述操作对象时，所述控制单元根据相对于所述操作对象的重心位置的、所述用户执行了操作的位置来旋转所述操作对象。

9.根据权利要求8所述的设备，其中，所述用户通过拖动或投掷而移位所述操作对象。

10.根据权利要求1所述的设备，还包括：

数据交换单元，用于与所述用户所拥有的终端交换数据。

11.根据权利要求10所述的设备，其中，所述控制单元基于与所述终端交换的数据而在所述显示单元的屏幕上显示所述操作对象。

12.根据权利要求1所述的设备，其中，所述控制单元响应于用于移位所述操作对象的操作而控制对所述操作对象的复制或划分中的至少一个。

13.根据权利要求1所述的设备，还包括：

输入接口单元，来自所述外部的所述至少一个信息信号被输入到所述输入接口单元。

14.根据权利要求1所述的设备，其中，所述控制单元基于屏幕触摸检测结果或从所述用户拥有的终端所接收的数据中的至少一个而控制对所述操作对象的所述处理。

15.根据权利要求1所述的设备，其中，所述控制单元通过选择所述设备的多个输入单元中的一个而控制对所述操作对象的所述处理。

16.根据权利要求15所述的设备，其中，所述选择根据所述用户的位置或者到所述用户的距离而进行。

17.根据权利要求1所述的设备，其中，所述设备包括所述显示单元。

18.根据权利要求1所述的设备，其中，对所述操作对象的所述处理基于所述用户的状态。

19.一种信息处理方法，包括：

由处理器基于根据从信息处理设备的外部输入到所述设备的至少一个信息信号而进行的对用户的检测来控制对显示在显示单元上的操作对象的处理，其中，所述操作对象的操作权利被给予用户。

20.一种记录有计算机可执行的程序的非暂态记录介质，所述程序包括：

基于根据从信息处理设备的外部输入到所述设备的至少一个信息信号而进行的对用户的检测，来控制对显示在显示单元上的操作对象的处理，其中，所述操作对象的操作权利被给予用户。