CN103207668B - 信息处理装置、信息处理方法以及非暂态记录介质 - Google Patents

信息处理装置、信息处理方法以及非暂态记录介质 Download PDF

Info

Publication number
CN103207668B
CN103207668B CN201310002102.2A CN201310002102A CN103207668B CN 103207668 B CN103207668 B CN 103207668B CN 201310002102 A CN201310002102 A CN 201310002102A CN 103207668 B CN103207668 B CN 103207668B
Authority
CN
China
Prior art keywords
user
unit
screen
display
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310002102.2A
Other languages
English (en)
Other versions
CN103207668A (zh
Inventor
阪井祐介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103207668A publication Critical patent/CN103207668A/zh
Application granted granted Critical
Publication of CN103207668B publication Critical patent/CN103207668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

一种信息处理装置、信息处理方法以及非暂态记录介质。该信息处理装置包括：处理装置，被配置为在显示装置的屏幕上进行显示；获得要在显示装置的屏幕上显示的对象的图像；获得与要在显示装置的屏幕上显示的对象的实际尺寸有关的信息；基于对象的实际尺寸以及指示屏幕的位置的与显示装置的安装状态有关的信息来处理对象的图像；根据检测到的用户布置，在屏幕上设置针对每个用户的用户占有区域和在每个用户间共享的共享区域；以及对从共享区域或其他用户占有区域移动到用户占有区域中的对象以朝向适当用户的方向进行旋转处理。当用户在区域间拖动对象时，根据由用户操作的关于对象的中心的位置来控制对对象进行旋转处理时的旋转方向。

Description

信息处理装置、信息处理方法以及非暂态记录介质
技术领域
本说明书中所公开的技术涉及具有诸如触摸面板等的也用作输入单元的显示屏的信息处理装置、信息处理方法及计算机程序，更具体地，本说明书中所公开的技术涉及下述信息处理装置、信息处理方法及计算机程序，通过其实现大屏幕以使多个用户能够共享并操作触摸面板，以使得这些用户能够进行协同工作。
背景技术
最近，具有诸如触摸面板等的也用作输入单元的显示屏的平板终端在迅速普及。平板终端具有窗口小部件(widget)和桌面界面，并且由于操作方法易于直观理解，因此使用户能够比使用键盘和鼠标来进行输入操作的个人计算机更容易地使用这些终端。
例如，已提出一种触敏装置，其从多点式检测装置例如多点式触摸屏读取属于与触敏装置相关联的触摸输入的数据，并且基于来自多点式检测装置的数据来识别多点式手势(参照日本未审查专利申请公开No.2010-170573)。
通常，在平板终端的屏幕上沿各个方向设置用作用户操作目标的多个可操作对象。这些可操作对象各自是可播放的内容例如动态图像和静态图像、从其他用户接收到的电子邮件和消息等。为了正对用户自己来显示所期望的可操作对象，用户需要转动平板终端主单元。例如，如果平板终端是大约标准纸张的尺寸或者信纸大小纸张的尺寸，则其易于转动。但是当涉及几十英寸大小的大屏幕时，则对单个用户来说当对可操作对象进行操作时转动平板终端是困难的。
另一可设想的使用情况是：多个用户同时对具有大屏幕的平板终端上的他们自己的相应各个可操作对象进行操作。
例如，已经提出一种平板终端，其通过接近传感器来检测平板终端的边缘处用户的存在，识别右臂与左臂之间的空间，并映射到该用户的触点区域(参照http://www.autodeskresearch.com/publications/medusa)。当平板终端检测到多个用户时，通过对每个可操作对象设置每个用户各自的操作权限，并通过事先阻止另外的用户参与，可以禁止例如下述操作，当某个用户在操作可操作对象时，别的用户转动该终端以正对着他们自己。
然而，作为其中多个用户共享具有大屏幕的平板终端的使用情况，除了每个用户对可操作对象单独地进行操作的情况外，还假定下述情况，在该情况中用户通过互换可操作对象来进行协同工作。由于必须设置由每个用户占有的触点区域，并且在每个单独的区域内可操作对象的操作必须被给予操作权限以进行操作，所以难以实现这样的协同工作。
此外，如果在终端屏幕上显示的GUI是固定的，而不取决于用户与屏幕之间的距离或用户状态，则存在如下问题：例如当用户离得远时，不能理解屏幕上太小的显示信息；或当用户离得近时，显示在屏幕上的信息量太少。类似地，如果使用户能够操作终端的输入方法是固定的，而不取决于用户与屏幕之间的距离或用户状态，则可能存在如下不便：例如因为没有遥控，所以即使用户在终端附近也不能够操作该终端；或者用户为了操作触摸面板而不得不靠近终端。
此外，对于根据相关技术的物理显示系统，在不考虑对象的实际尺寸信息的情况下在屏幕上显示实际对象图像。因此，存在下述问题：所显示的对象的尺寸根据屏幕的大小和分辨率(dpi)而改变。
此外，对于显示系统，当在屏幕上以并列格式或叠加格式同时显示来自多个源的视频内容时，没有正确地显示同时显示的图像之间的大小关系，这使这些图像的目标区域的大小和位置变得不一致，从而产生了对于用户来说可视性很差的图像。
此外，对于那些配备有旋转机构的终端，当改变屏幕位置时，对于用户产生了差的可见性，所以必须旋转显示屏。
发明内容
已发现期望提供一种优良的信息处理装置、信息处理方法及计算机程序，通过其实现大屏幕以使多个用户能够共享并操作触摸面板，以使得这些用户能够合适地进行协同工作。
此外，发现了期望提供一种优良的信息处理装置、信息处理方法及计算机程序，其在用户操作期间，不管用户的位置或用户状态怎样，都能一贯地提供高质量的用户方便性。
此外，发现了期望提供一种优良的信息处理装置、信息处理方法及计算机程序，其能够一贯地以适当的大小在屏幕上显示对象图像，该适当的大小不依赖于实际对象的大小或图像的大小和分辨率。
此外，发现了期望提供一种优良的信息处理装置、信息处理方法和计算机程序，其能够在屏幕上以并列格式或叠加格式适当地且同时地显示来自多个源的视频内容。
此外，发现了期望提供一种优良的信息处理装置、信息处理方法和计算机程序，其能够在旋转主单元时，关于一些任意的旋转角度和转变过程来最优地调整视频内容的显示格式。
根据实施方式，信息处理装置包括：显示单元；对象图像获得单元，其被配置成获得要在显示单元的屏幕上显示的对象的图像；实际尺寸获得单元，其被配置成获得与要在显示单元的屏幕上显示的对象的实际尺寸有关的信息；以及计算单元，其被配置成基于由实际尺寸获得单元所获得的对象的实际尺寸来处理对象的图像。
信息处理装置还可以包括显示性能获得单元，该显示性能获得单元被配置成获得与包括显示单元的屏幕大小和分辨率的显示性能有关的信息。此外，计算单元还可以被配置成基于由实际尺寸获得单元获得的对象的实际尺寸和由显示性能获得单元获取的显示性能来进行处理，以使得对象的图像能够以实际尺寸显示在显示单元的屏幕上。
当由对象图像获得单元获取的多个对象的图像同时显示在显示单元的屏幕上时，计算单元可以处理多个对象的图像以使得多个对象的相应图像的大小关系被正确地显示。
信息处理装置还可以包括：摄像机单元；以及实际尺寸估计单元，其被配置成估计包括在在由摄像机单元所拍摄的图像中的对象的实际尺寸。
信息处理装置还可以包括：摄像机单元；图像识别单元，其被配置成识别包括在由摄像机单元所拍摄的图像中的用户面部，并获得面部数据；距离检测单元，其被配置成检测距用户的距离；以及实际尺寸估计单元，其被配置成基于用户的面部数据和到用户的距离来估计用户面部的实际尺寸。
根据一个实施例的信息处理装置包括：处理装置，被配置为在显示装置的屏幕上进行显示；获得要在显示装置的屏幕上显示的对象的图像；获得与要在显示装置的屏幕上显示的对象的实际尺寸有关的信息；基于对象的实际尺寸以及指示屏幕的位置的与显示装置的安装状态有关的信息来处理对象的图像；根据检测到的用户布置，在屏幕上设置针对每个用户的用户占有区域和在每个用户间共享的共享区域；以及对从共享区域或其他用户占有区域移动到用户占有区域中的对象以朝向适当用户的方向进行旋转处理。当用户在区域间拖动对象时，根据由用户操作的关于对象的中心的位置来控制对对象进行旋转处理时的旋转方向。
根据实施方式，信息处理方法包括：获得要在显示装置的屏幕上显示的对象的图像；获得与要在屏幕上显示的对象的实际尺寸有关的信息；基于通过获得与实际尺寸有关的信息和指示屏幕的位置的与显示装置的安装状态有关的信息而获得的对象的实际尺寸来处理对象的图像；根据检测到的用户布置，在屏幕上设置针对每个用户的用户占有区域和在每个用户间共享的共享区域；以及对从共享区域或其他用户占有区域移动到用户占有区域中的对象以朝向适当用户的方向进行旋转处理。当用户在区域间拖动对象时，根据由用户操作的关于对象的中心的位置来控制对对象进行旋转处理时的旋转方向。
根据实施方式，以计算机可读格式编写的计算机程序使计算机用作：显示单元；对象图像获得单元，其被配置成获得要在显示单元的屏幕上显示的对象的图像；实际尺寸获得单元，其被配置成获得与要在显示单元的屏幕上显示的对象的实际尺寸有关的信息；计算单元，其被配置成基于由实际尺寸获得单元所获得的对象的实际尺寸来处理对象的图像；以及显示器区域划分单元，被配置成根据检测到的用户布置，在屏幕上设置针对每个用户的用户占有区域和在每个用户间共享的共享区域。计算单元对从共享区域或其他用户占有区域移动到用户占有区域中的对象以朝向适当用户的方向进行旋转处理。当用户在区域间拖动对象时，计算单元根据由用户操作的关于对象的中心的位置来控制对对象进行旋转处理时的旋转方向。
本申请的计算机程序被定义为以计算机可读格式编写的以在计算机上实现预定处理的计算机程序。也就是说，通过将该计算机程序安装在计算机上，将使得能够在计算机上进行协同操作，这使能够实现与本申请的信息处理装置相同的功能效果。
通过本说明书中所公开的技术，能够提供优良的信息处理装置、信息处理方法和计算机程序，由此实现屏幕以使多个用户能够共享并操作触摸面板，以使得这些用户能够合适地进行协同工作。
此外，通过本说明书中所公开的技术，能够提供优良的信息处理装置、信息处理方法和计算机程序，其通过与用户位置和用户状态相对应地优化显示GUI和输入方法来提供好的用户方便性。
此外，通过本说明书中所公开的技术，能够提供优良的信息处理装置、信息处理方法和计算机程序，其能够一贯地以适当的大小在屏幕上显示对象图像，该适当的大小不依赖于实际对象的大小或图像的大小和分辨率。
此外，通过本说明书中所公开的技术，能够提供优良的信息处理装置、信息处理方法和计算机程序，其中，当在屏幕上以并列格式或叠加格式同时显示来自多个源的视频内容时，能够通过对图像进行标准化处理以及布置图像的目标区域的大小和位置来以良好的可见性将屏幕呈现给用户。
此外，通过本说明书中所公开的技术，能够提供优良的信息处理装置、信息处理方法和计算机程序，其能够在旋转主单元时，关于任意的旋转角度和转变过程来最优地调整视频内容的显示格式。
将在后面描述的实施方式中和附图中更详细地描述本说明书中公开的技术的其他目的、特征和优点。
附图说明
图1是示出具有大屏幕的信息处理装置的示例使用情形(墙)的图；
图2是示出具有大屏幕的信息处理装置的另一示例使用情形(桌面)的图；
图3A是示出具有大屏幕的信息处理装置的另一示例使用情形的图；
图3B是示出具有大屏幕的信息处理装置的另一示例使用情形的图；
图3C是示出具有大屏幕的信息处理装置的另一示例使用情形的图；
图4是示意性地示出信息处理装置的功能配置的图；
图5是示出输入接口单元的内部配置的图；
图6是示出输出接口单元的内部配置的图；
图7是示出用于计算单元对可操作对象进行处理的内部配置的图；
图8是示出下述情况的图：其中在屏幕上设置用户占有区域；
图9A是示出下述情况的图：其中在设置用户占有区域A之前，随机地布置可操作对象#1至#6；
图9B是示出了下述情况的图：其中通过设置用户A的用户占有区域A，将可操作对象#1至#6的方向变成朝向用户A；
图10是示出下述情况的图：其中，除了用户A外，还检测到存在用户B，并且共享区域和用户B的用户占有区域B被设置并添加到屏幕上；
图11是示出下述情况的图：其中，除了用户A和用户B外，还检测到存在用户D，并且共享区域和用户D的用户占有区域D被设置并添加到屏幕上；
图12是示出下述情况的图：其中，除了用户A、用户B和用户D外，还检测到存在用户C，并且共享区域和用户C的用户占有区域C被设置并添加到屏幕上；
图13A是示出下述示例区域划分模式的图：其中，根据屏幕大小和屏幕格式以及用户数量来在屏幕上为每个用户划分用户占有区域；
图13B是示出下述示例区域划分模式的图：其中，根据屏幕大小和屏幕格式以及用户数量来在屏幕上为每个用户划分用户占有区域；
图13C是示出下述示例区域划分模式的图：其中，根据屏幕大小和屏幕格式以及用户数量来在屏幕上为每个用户划分用户占有区域；
图13D是示出下述示例区域划分模式的图：其中，根据屏幕大小和屏幕格式以及用户数量来在屏幕上为每个用户划分用户占有区域；
图13E是示出下述示例区域划分模式的图：其中，根据屏幕大小和屏幕格式以及用户数量来在屏幕上为每个用户划分用户占有区域；
图14是示出由显示器区域划分单元所使用以执行显示器区域划分的处理方法的流程图；
图15是示出下述情况的图：其中，当通过拖动或抛出将可操作对象移动到用户占有区域时，该可操作对象被自动地旋转到朝向用户的方向；
图16是示出下述情况的图：其中，新建立的用户占有区域中的可操作对象被自动地旋转到用户的方向；
图17是示出由对象优化处理单元所使用以执行可操作对象优化处理的次序的流程图；
图18是示出下述情况的图：其中，根据用户触摸可操作对象的位置来控制旋转方向；
图19是示出下述情况的图：其中，根据用户触摸可操作对象的位置来控制旋转方向；
图20是示出在信息处理装置与用户自有终端之间对可操作对象进行传递的示例交互的图；
图21是示出由装置链接数据交换单元所使用以执行装置链接数据交换的处理次序的流程图；
图22是示出下述情况的图：其中，在用户占有区域之间移动可操作对象和复制可操作对象；
图23是示出用于计算单元根据用户距离来进行优化处理的内部配置的图；
图24A是包含下述表的图，该表总结了根据用户状态和由显示GUI优化单元获得的用户位置的GUI显示的优化处理；
图24B是示出根据用户位置和用户状态的信息处理装置的屏幕转换的图；
图24C是示出根据用户位置和用户状态的信息处理装置的屏幕转换的图；
图24D是示出根据用户位置和用户状态的信息处理装置的屏幕转换的图；
图24E是示出根据用户位置和用户状态的信息处理装置的屏幕转换的图；
图25A是示出示例屏幕显示的图，其中，各个可操作对象被随机地显示，用于自动切换(auto-zapping)；
图25B是示出示例屏幕显示的图，其中，用于自动切换的多个可操作对象的显示位置和大小每时每刻地改变；
图26是示出用户正在看电视但没有进行操作的情况下的示例屏幕显示的图；
图27A是示出用户正在对电视进行操作的情况下的示例屏幕显示的图；
图27B是示出用户正在对电视进行操作的情况下的示例屏幕显示的图；
图28是包含下述表的图，该表总结了根据由输入方法优化单元获得的用户位置和用户状态的输入方法的优化处理；
图29是包含下述表的图，该表总结了根据由距离检测方法切换单元获得的用户位置的距离检测方法的切换处理；
图30是用于描述根据相关技术的物理显示系统的问题的图；
图31是用于描述根据相关技术的物理显示系统的问题的图；
图32是示出用于计算单元根据显示器性能来对对象执行实际尺寸显示处理的内部配置的图；
图33是示出当同一对象图像以真实尺寸显示在具有不同规格的显示器的屏幕上的示例的图；
图34是示出当两个具有不同实际尺寸的对象图像显示在同一屏幕上时，正确地展现其对应大小关系的示例的图。
图35是示出对象图像的实际尺寸显示的示例的图；
图36是示出以实际尺寸显示的对象图像被旋转或取向被改变的示例的图；
图37A是示出其中估计摄像主体的实际尺寸信息的情形的图；
图37B是示出下述情形的图：基于所估计的摄像主体的实际尺寸信息来进行可操作对象的实际尺寸显示处理；
图38A是示出视频聊天的用户的面部的大小和位置不一致的情形的图；
图38B是示出下述情形的图：由于多个图像间的标准化处理，进行视频聊天的用户的面部的大小和位置变得一致；
图39A是示出下述情形的图：当在屏幕上并列显示时，用户的身形与指导者的身形的大小和位置不一致；
图39B是示出下述情形的图：当在屏幕上并列显示时，由于多个图像间的标准化处理，用户的身形与指导者的身形的大小和位置一致；
图39C是示出下述情形的图：由于多个图像间的标准化处理，标准化后的用户的身形被叠加并显示在指导者的身形之上；
图40A是示出下述情形的图：产品的样品图像没有以与用户视频的正确大小关系处在适当位置；
图40B是示出下述情形的图：由于多个图像间的标准化处理，产品的样品图像被显示成使得其以与用户视频的正确大小关系处在适当位置；
图41是示出用于计算单元进行图像的标准化处理的内部配置的图；
图42是示出下述显示格式的图：以对于一些任意旋转角度不能完全看见的方式来显示视频内容的整个区域；
图43是示出下述显示格式的图：对于每个旋转角度，视频内容中的感兴趣的区域被最大化；
图44是示出下述显示格式的图：旋转视频内容以消除无效区域；
图45是示出针对图42至图44中所示的每种显示格式，视频内容的变焦比关于旋转位置的关系的图；
图46是示出当旋转信息处理装置时，由计算单元使用以控制视频内容的显示格式的处理次序的流程图；以及
图47是示出用于计算单元执行下述处理的内部配置的图，该处理用于关于信息处理装置的主单元的任意旋转角度和转换过程来调整视频内容的显示格式。
具体实施方式
下面参照附图详细描述本说明书中公开的技术的实施方式。
A.系统配置
根据本实施方式的信息处理装置100具有大屏幕，并且假定其具有如图1中所示的悬挂在墙上的“墙”形式，或如图2中所示的放置在桌上的“桌面”形式作为主要的使用形式。
在如图1所示的“墙”状态下，通过使用例如旋转和安装机构单元180将信息处理装置100安装成处于可以被旋转并且可以从墙上移除的状态。此外，旋转和安装机构单元180结合外部电连接到信息处理装置100，经由旋转和安装机构单元180将电力线和网线(两者都未示出)连接到信息处理装置100，这使得信息处理装置100既能够从商用交流电源接收驱动电力，又能够访问因特网上的各种服务器。
如后面将描述的，信息处理装置100包括距离传感器、接近传感器和触摸传感器，并且因此能够确定面向屏幕的用户的位置(距离和方向)。当检测到用户时，或者当正在检测用户的情况下，通过波动图样检测指示(后面描述)或通过示出检测状态的照明图形(illumination graphic)来在屏幕上给用户视觉反馈。
信息处理装置100自动选择关于用户位置的最优交互。例如，信息处理装置100将按照用户的位置来自动地选择和/或调整GUI(图形用户界面)显示，例如可操作对象框架、信息密度等。此外，信息处理装置100根据用户位置和到用户的距离来从多个输入方法中自动地选择，该多个输入方法例如：涉及对屏幕的触摸、接近以及手的手势、遥控以及基于用户状态的间接操作。
此外，信息处理装置100包括多于一个的摄像机，其中，不仅是用户位置，还可以进行根据由摄像机所拍摄的图像来对人、物体、装置的识别。此外，信息处理装置100包括极近距离通信单元，其中，可以与处于极近距离接近的用户自有终端产生直接的且自然的数据交换。
在“墙”的大屏幕上定义作为用户操作的目标的可操作对象。可操作对象针对功能模块具有特定的显示区域，功能模块包括动态图像、静态图像、文本内容，以及任何因特网网站、应用或窗口小部件。可操作对象包括：来自电视广播的所接收内容、来自可记录介质的可播放内容、通过网络获得的流动态图像、从其他用户自有终端例如移动装置下载的动态图像内容和静态图像内容等。
如图1所示，当悬挂在墙上的信息处理装置100的旋转位置被设置成使得大屏幕是水平的时，作为和整个屏幕一样大的可操作对象的视频可以被显示，其呈现出与电影的视角(perspective)接近的视角。
在这一点上，如图3A所示，通过设置悬挂在墙上的信息处理装置100的旋转位置使得大屏幕是竖直的，可以竖直地布置三个横纵比为16:9的屏幕。例如，可以同时竖直排列地显示三种类型的内容#1至#3，例如同时从不同的广播电台接收的广播内容、来自可记录介质的可播放内容以及来自网络的流式动态图像。另外，用户可以用手指竖直地操作屏幕，例如，如图3B所示，竖直地滚动内容。此外，如图3C所示，用户可以用手指水平地操作三排中的一个位置，在那一排中水平地滚动屏幕。
同时，在如图2所示的“桌面”状态下，信息处理装置100直接安装在桌子之上。与图1所示的旋转和安装机构单元180提供电连接(前面所述)的使用情形相比，在如图2所示的信息处理装置100被安装在桌上的状态下，似乎没有任何到信息处理装置100的电连接。对于如图所示的桌面状态，可以将信息处理装置100配置成通过使用内置电池来在无电源的情况下操作。此外，通过给信息处理装置100配备对应于无线LAN(局域网)移动站功能的无线通信单元，并且通过给旋转和安装机构单元180配备对应于LAN接入点的无线通信单元，即使在桌面状态下，信息处理装置100也可以与用作接入点的旋转和安装机构单元180无线连接，从而能够访问因特网上的各种服务器。
在桌面大屏幕的屏幕上，定义了作为操作目标的多个可操作对象。可操作对象针对功能模块具有特定的显示区域，功能模块包括动态图像、静态图像、文本内容，以及任何因特网网站、应用或窗口小部件。
信息处理装置100在大屏幕的四个边缘中的每个边缘上配备有用于检测用户存在和用户状态的接近传感器。如先前所述，在极接近于大屏幕处的用户可以通过使用摄像机拍照来被进行人物识别。此外，极近距离通信单元可以检测已经被检测到存在的用户是否拥有移动终端或其他这种装置，并且也可以检测来自用户所拥有的其他终端的数据交换请求。当检测到用户或由用户拥有的终端时，或者当用户正在被检测的状态下，通过波动图样检测指示或通过示出检测状态的照明图形(后面描述)来在屏幕上给用户视觉反馈。
当信息处理装置100通过接近传感器等检测用户的存在时，该检测结果被用于UI控制。除了检测用户的存在或不存在之外，通过还检测躯干、胳膊和腿、头的位置等，这可以被用于更详细的UI控制。此外，信息处理装置100配备有极近距离通信单元，可以与处于极近距离接近度的用户自有终端产生直接的且自然的数据交换(同上)。
在这里，作为UI控制的示例，信息处理装置100根据检测到的用户布置，在大屏幕上设置针对每个用户的用户占有区域和在每个用户中间共享的共享区域。然后在用户占有区域和共享区域处检测来自每个用户的触摸传感器输入。屏幕和用于区域划分的式样不限于矩形形状，还可以应用于其他形状，包括正方形、圆形和三维形状例如锥形等。
通过扩大信息处理装置100的屏幕，建立了足够的空间以使得多个用户能够在桌面状态下同时进行触摸输入。如前所述，通过在屏幕上设置每个用户的用户占有区域和共享区域，可以实现由多个用户进行的更加舒适和有效的同时操作。
将放置在用户占有区域中的可操作对象的操作权限给予适当的用户。当用户将可操作对象从共享区域或其他用户的用户占有区域移动到他的/她的用户占有区域时，操作权限也转移到该用户。而且，当可操作对象进入他的/她的用户占有区域时，该可操作对象的显示自动地变成正对着该用户。
关于可操作对象被移动到用户占有区域的情况，使用自然操作将可操作对象关于移动操作的触摸位置物理地移动。此外，用户可以将同一对象拖向他们自己，这使得能够对可操作对象进行分割操作或复制操作。
图4示意性地示出了信息处理装置100的功能配置。信息处理装置100包括：输入接口单元110，其输入外部信息信号；计算单元120，其基于输入信息信号进行计算处理以控制显示屏幕；输出接口单元130，其基于计算结果进行外部信息输出；大容量记录单元140，其由硬盘驱动器(HDD)等构成；通信单元150，其与外部网络连接；电源单元160，其处理驱动电力；以及电视调谐器单元170。记录单元140存储由计算单元120执行的所有处理算法和由计算单元120用于计算处理的所有数据库。
输入接口单元110的主要功能包括：检测用户存在、检测由检测到的用户对屏幕，即触摸面板的触摸操作；检测用户自有终端例如移动终端以及对从这样的装置接收的传输数据的接收处理。图5示出了输入接口单元110的内部配置。
遥控接收单元501接收来自遥控或移动终端的遥控信号。信号分析单元502对所接收的遥控信号进行解调，处理解码，并得到遥控命令。
摄像机单元503实现单镜头式、或者双镜头式或主动式自动对焦中的一个或两者。摄像机具有成象装置例如CMOS(互补金属氧化物半导体)或CCD(电荷耦合装置)。此外，摄像机单元503配备有使得能够绕竖直轴旋转(pan)、绕水平轴旋转(tilt)、变焦(zoom)和其他功能的摄像机控制单元。当摄像机单元503将摄像机信息例如绕竖直轴旋转、绕水平轴旋转、变焦等发送到计算单元120时，根据来自计算单元120的摄像机控制信息来控制摄像机单元503绕竖直轴旋转、绕水平轴旋转、变焦。
图像识别单元504处理对由摄像机单元503拍摄的图像的识别。具体地，通过背景差分来检测用户的面部和手运动，其中，识别手势、识别包括在所拍摄图像中的用户面部、识别人以及识别距用户的距离。
麦克风单元505输入由用户发出的对话的语音和其他声音。语音识别单元506对输入的语音信号进行语音识别。
距离传感器507例如由PSD(位置灵敏检测器)构成，并检测从用户和其他物体反射的信号。信号分析单元508分析这些检测到的信号，并测量距用户或物体的距离。除了PSD传感器外，热电传感器或者简易摄像机可以被用于距离传感器507中。距离传感器507在距信息处理装置100例如5米至10米的半径范围内持续地监视用户存在。为此，优选地在距离传感器507中使用低功耗的传感装置。
触摸检测单元509由在屏幕中叠加的触摸传感器构成，并且从触摸屏幕的用户手指的位置输出所检测到的信号。信号分析单元510分析这些检测到的信号并获得位置信息。
接近传感器511被布置在大屏幕的四个边缘中的每个边缘处，例如通过电容方法来检测用户的身体靠近屏幕。信号分析单元512分析这些检测到的信号。
极近距离通信单元513例如通过NFC(近场通信)从用户自有终端接收非接触通信信号。信号分析单元514对这些接收到的信号进行解调，处理解码并获得接收数据。
三轴传感器单元515由陀螺仪构成，并检测信息处理装置100绕其x，y和z轴的取向。GPS(全球定位系统)接收单元516接收来自GPS卫星的信号。信号分析单元517分析来自三轴传感器单元515和GPS接收单元516的信号，并获得信息处理装置100的位置信息和取向信息。
输入接口集成单元520集成来自上述信息信号的输入，并转送到计算单元120。此外，输入接口集成单元520集成来自信号分析单元508、510、512和514的分析结果，获得靠近信息处理装置100的用户的位置信息，并转送到计算单元120。
计算单元120的主要功能是基于来自输入接口单元110的用户检测结果、屏幕触摸检测结果和从用户自有终端接收的数据来进行例如UI屏幕生成处理的计算处理，并且将计算结果输出到输出接口单元130。计算单元120加载例如安装记录单元140中的应用程序，并可以通过执行每个应用来使能计算处理。将在后面描述与每个应用对应的计算单元120的功能配置。
输出接口单元130的主要功能是基于计算单元120的计算结果的到屏幕的UI显示，以及将数据发送到用户自有终端。图6示出了输出接口单元130的内部配置。
输出接口集成单元610基于通过计算单元120对以下处理的计算结果来处理对信息输出的集成，所述处理为：显示器划分处理、对象优化处理和装置链接数据交换处理等。
输出接口集成单元610指示内容显示单元601关于接收到的电视广播内容、来自可记录介质例如蓝光盘等的可播放内容到用于动态图像和静态图像内容的显示单元603和到扬声器单元604的图像输出和声音输出。
此外，输出接口集成单元610指示GUI显示单元602关于可操作对象等在GUI显示单元603处的显示。
此外，输出接口集成单元610向照明显示单元605指示对代表来自照明单元606的检测状态的照明的显示输出。
此外，输出接口集成单元610指示极近距离通信单元513关于到用户自有终端等的非接触通信数据的发送。
信息处理装置100能够基于来自下述的检测信号来检测用户：对摄像机单元503所拍摄的图像的识别、距离传感器507、触摸检测单元509、接近传感器511、极近距离通信单元513等。此外，通过经由对摄像机单元503所拍摄的图像的识别和极近距离通信单元513来识别用户自有终端，可以指定被检测为用户的人。当然，这可以限于只指定具有可登录账号的用户。此外，信息处理装置100能够根据用户位置和用户状态，通过结合距离传感器507、触摸检测单元509和接近传感器511来接受来自用户的操作。
此外，信息处理装置100通过通信单元150连接到外部网络。外部网络连接形式可以是有线的或者无线的。信息处理装置100也可以通过通信单元150与其他装置来通信，其他装置例如是平板终端和移动终端，例如用户自有的智能手机。可以使用3种类型的装置，即信息处理装置100、移动终端和平板终端来形成“3屏幕”配置。信息处理装置100可以从其他两个屏幕将链接三个屏幕的UI提供到大屏幕上。
例如，在用户进行对屏幕的触摸操作的动作或者自有终端被带至与信息处理装置100接近的动作正在被进行的背景下，在信息处理装置100与对应的自有终端之间进行构成可操作对象的实体的动态图像、静态图像和文本内容的数据交换。此外，可以在外部网络上建立云服务器，这3个屏幕可以使用云服务器的计算能力或一些类似功能，其中可以通过信息处理装置100来接收云计算的益处。
下面按顺序描述信息处理装置100的几个应用。
B.来自多个用户对大屏幕的同时操作
可以用信息处理装置100进行来自多个用户对大屏幕的同时操作。具体地，在大屏幕的四个边缘中的每个边缘处配备有用于检测用户存在和用户状态的接近传感器511，并且通过根据用户布置来在屏幕上设置用户占有区域和共享区域，可以实现由多个用户进行的舒适且有效的同时操作。
通过扩大信息处理装置100的屏幕，产生了足够的空间以使多个用户能在桌面状态下同时进行触摸输入。如前所述，通过在屏幕上设置共享区域和针对每个用户的用户占有区域，能够实现由多个用户进行的更加舒适且有效的同时操作。
将针对置于用户占有区域中的可操作对象的操作权限给予适当的用户。当用户将可操作对象从共享区域或其他用户的用户占有区域移动到他的/她的用户占有区域时，操作权限也转移到该用户。此外，当可操作对象进入他的/她的用户占有区域时，该可操作对象的显示自动地变成正对着该用户。
关于可操作对象被移动到用户占有区域的情况，使用自然操作将可操作对象关于移动操作的触摸位置物理地移动。此外，用户可以将同一可操作对象拖向自己，这使得能够对可操作对象进行分割操作或复制的操作。
当执行此应用时，计算单元120的主要功能是基于由用户自有终端接收的数据、屏幕触摸检测结果和来自输入接口单元110的用户检测结果来生成UI并优化可操作对象。图7示出了用于计算单元120对可操作对象进行处理的内部配置。计算单元120配备有显示器区域划分单元710、对象优化处理单元720和装置链接数据交换处理单元730。
显示器区域划分单元710从输入接口集成单元520获得用户位置信息，参照存储在记录单元140中的与格式和传感器配置相关联的装置数据库711和区域模式数据库712，以便在屏幕上设置前文所述的用户占有区域和共享区域。此外，显示器区域划分单元710将所配置的区域信息转送到对象优化处理单元720和装置链接数据交换单元730。稍后将描述用于显示器区域划分的处理方法的细节。
对象优化处理单元720从输入接口集成单元520输入由用户在屏幕上对可操作对象进行的操作的信息。此外，对象优化处理单元720根据从记录单元140加载的优化处理算法721，对由用户操作的可操作对象进行优化处理，例如对由用户操作的可操作对象进行旋转、移动、显示、分割和拷贝，并且对象优化处理单元720将已接收优化处理的可操作对象输出到显示单元603的屏幕。稍后将描述对可操作对象优化处理的细节。
装置链接数据交换单元730从输入接口集成单元520输入关于用户和用户自有终端的位置信息的装置的交换数据。此外，装置链接数据交换单元730根据从记录单元140加载的交换处理算法731，通过与用户自有终端链接来进行数据交换处理。此外，对相应的可操作对象进行优化处理。稍后将描述对可操作对象优化处理的细节。对可操作对象进行与交换数据相关联的优化处理，例如关于与链接的用户自有终端之间的数据交换的可操作对象的旋转、移动、显示、分割和拷贝，并且装置链接数据交换单元730将已接收优化处理的可操作对象输出到显示单元603的屏幕。稍后将描述关于链接的装置对可操作对象优化处理的细节。
接下来，将描述显示器区域划分处理的细节。显示器区域划分主要预期用于处理在桌面状态下多个用户共享信息处理装置100的使用情形，但是当然，这也可以适用于其中在墙状态下多个用户共享的使用情形。
当由输入接口集成单元520检测到存在用户时，显示器区域划分单元710在屏幕上为用户分配用户占有区域。图8示出了下述情况，其中，响应于通过从安装在屏幕边缘的接近传感器511(或距离传感器507)接收的检测信号对用户A的存在的检测，由显示器区域划分单元710在屏幕上设置用于用户A的用户占有区域A。在只检测到一个用户存在的情况下，如图中所示出的，可以将整个屏幕设置为该用户的用户占有区域。
这里，在设置了用户占有区域A之后，对象优化处理单元720将基于通过输入接口集成单元520获得的用户A的位置信息，将在用户占有区域A中的每个可操作对象的方向变成朝向该用户。图9A示出了下述情形：其中，在被设置到用户占有区域A之前，可操作对象#1至#6呈随机方向。此外，图9B示出了下述情形：其中，在为用户A设置了用户占有区域A之后，此区域中的所有可操作对象#1至#6的方向变成朝向用户A。
在只检测到存在用户A的情况下，可以为用户A将用户占有区域A设置成整个屏幕。与之相比，当检测到存在两个或更多个用户时，优选地设置用户可以共享的共享区域，以便在用户中进行协同工作。
图10示出了下述情形：其中，除了用户A外，通过来自接近传感器511或距离传感器507的检测信号在屏幕的邻近边缘处检测到存在用户B，这使得显示器区域划分单元710在屏幕上设置并添加共享区域和针对用户B的用户占有区域B。基于用户A和用户B的位置信息，用户A的用户占有区域A向用户A所处的地方退缩，而在用户B所处的地方附近生成用户B的用户占有区域B。此外，随着新检测到存在用户B，在用户占有区域B中显示波动图样检测指示。在随着用户B接近信息处理装置100而新设置了用户占有区域B之后，在用户占有区域B内第一次触摸任意可操作对象之后的时刻激活用户占有区域B。此外，尽管图10中略去，但是在设置用户占有区域B的时刻或在激活用户占有区域B的时刻，变成新的占有区域B的区域中的每个可操作对象的方向可以变成朝向用户。
图11示出了下述情形：其中，除了用户A和用户B，在屏幕的不同边缘处检测到存在用户D，这使得显示器区域划分单元710在屏幕上靠近用户D所处的位置为用户D设置并增加用户占有区域D。在用户占有区域D中显示波动图样检测指示，表示已经新检测到存在用户D。此外，图12示出了下述情形：其中，除了用户A、用户B和用户D之外，在屏幕的不同边缘处检测到存在用户C，这使得显示器区域划分单元710在屏幕上靠近用户C所处的位置为用户C设置并增加用户占有区域C。在用户占有区域C中显示波动图样检测指示，表示已经新检测到存在用户C。
此外，图8至图12中示出的用户占有区域和共享区域的区域划分模式只是示例。区域划分模式取决于屏幕的格式、检测其存在的用户数量、以及他的/她的布置等。在区域划分模式数据库712中累积与基于屏幕格式、尺寸和用户数量的区域划分模式有关的信息。此外，在装置数据库711中累积由信息处理装置100使用的屏幕的格式和尺寸的信息。显示器区域划分单元710输入通过输入接口集成单元520检测的用户位置信息，这使得从装置数据库711读取屏幕格式和尺寸，并且从区域划分模式数据库712查询适当的区域划分模式。图13A至图13E示出了根据屏幕尺寸和格式以及用户数量，在屏幕上为每个用户划分用户占有区域的区域划分模式的示例。
图14是示出了由显示器区域划分单元710执行的显示器区域划分的处理方法的流程图。
首先，显示器区域划分单元710基于来自接近传感器511或距离传感器507的检测信号的信号分析结果来检查屏幕附近是否存在用户(步骤S1401)。
当检测到存在用户时(步骤S1401的“是”)，显示器区域划分单元710将继续获得被检测到存在的用户的数量(步骤S1402)，并且还获得每个用户的位置(步骤S1403)。基于从输入接口集成单元520传递的用户位置信息来进行步骤S1401至步骤S1403的处理。
接下来，显示器区域划分单元710查询装置数据库711，并且获得接近传感器511的布置以及信息处理装置100所使用的显示单元603的屏幕格式的装置信息。然后，结合用户位置信息，其查询区域划分模式数据库712以得到适当的区域划分模式(步骤S1404)。
接下来，显示器区域划分单元710根据所获得的区域划分模式在屏幕上设置共享区域和每个用户的用户占有区域(步骤S1405)，然后该处理例程结束。
接下来，将描述对象优化处理单元720进行的对象优化处理的细节。
对象优化处理单元720通过输入接口集成单元520输入由用户在屏幕上对可操作对象进行的操作信息，然后根据用户操作，对屏幕上的可操作对象进行旋转、移动、显示、分割和拷贝等的显示处理。根据用户操作例如拖动和抛出对可操作对象进行的旋转、移动、显示、分割和拷贝的处理与在计算机桌面的屏幕上的GUI操作相似。
在本实施方式中，在屏幕上已经设置了用户占有区域和共享区域，对象优化处理单元720基于可操作对象存在的区域来最优地处理该显示。优化处理的典型示例是将用户占有区域中的可操作对象的方向变成朝向该用户的处理。
图15示出了下述情形：其中，通过拖动或抛出将可操作对象#1从共享区域移动到用户A的用户占有区域A，并且在该对象的一部分或中心坐标进入用户占有区域A的时刻，对象优化处理单元720自动地对该对象进行旋转处理以朝向用户A。此外，图15示出了下述情形：其中，通过拖动或抛出将可操作对象#2从用户B的用户占有区域B移动到用户A的用户占有区域A，并且在该对象的一部分或中心坐标进入用户占有区域A的时刻，对象优化处理单元720自动地对该对象进行旋转处理以朝向用户A。
如图10所示，当用户B靠近信息处理装置100时，在靠近用户B的屏幕上新设置用户占有区域B。在该用户占有区域B内的可操作对象#3原本是朝向用户A的情况下，在新生成了用户占有区域B之后，对象优化处理单元720立即自动地对可操作对象#3进行旋转处理以朝向用户B，如图16所示。
或者，不是立即地对可操作对象进行旋转处理，而是随着用户B接近信息处理装置100而新生成用户占有区域B之后，可以在用户占有区域B内第一次触摸任意可操作对象后的时刻激活用户占有区域B。在这种情况下，在用户占有区域B被激活的时刻，可以对用户占有区域B中的所有可操作对象同时进行旋转处理以朝向用户B。
对象优化处理单元720可以基于从显示器区域划分单元710传递的区域信息和通过输入接口集成单元520获得的用户操作信息来对可操作对象进行优化处理。图17是示出由对象优化处理单元720执行的可操作对象的优化处理方法的流程图。
对象优化处理单元720从输入接口集成单元520被传递以由用户操作的可操作对象的位置信息，同时还获得从显示器区域划分单元710划分的显示器区域信息，这使得可以确认用户操作的可操作对象在哪个区域(步骤S1701)。
这里，当由用户操作的可操作对象在用户占有区域中时，对象优化处理单元720检查该可操作对象在适当的用户占有区域中是否朝向该用户(步骤S1702)。
此外，当可操作对象不是朝向用户的方向时(步骤S1702中的“否”)，对象优化处理单元720对该可操作对象进行旋转处理以在适当的用户占有区域中朝向该用户(步骤S1703)。
当用户通过拖动或抛出将可操作对象从共享区域或另一用户的用户占有区域移动到他的/她的用户占有区域时，可以根据用户通过触摸来操作可操作对象的位置来控制旋转方向。图18示出了下述情形：其中，用户触摸可操作对象的中心的右侧并通过拖动或抛出来移动可操作对象，在该可操作对象进入用户占有区域的时刻，该可操作对象以其中心为中心顺时针方向旋转到朝向用户的方向。图19示出了下述情形：其中，用户触摸可操作对象的中心的左侧并通过拖动或抛出来移动可操作对象，在该可操作对象进入用户占有区域的时刻，该可操作对象以其中心为中心逆时针方向旋转到朝向用户的方向。
如图18和图19所示，通过参照中心来切换可操作对象的旋转方向，可以为用户提供自然操作的感觉。
接下来，将描述通过装置链接数据交换单元730进行装置链接数据交换处理的细节。
如图4所示，信息处理装置100可以通过通信单元150与其他装置例如用户自有移动终端进行通信。例如，在用户对屏幕进行触摸操作的动作或自有终端被带至与信息处理装置100接近的动作正在被进行的背景下，在信息处理装置100与对应的自有装置之间进行形成可操作对象的实体的动态图像、静态图像和文本内容的数据交换。
图20是示出信息处理装置100与用户自有终端之间对可操作对象进行传递的交互示例的图。在图示的示例中，用户A将他的/她的用户自有终端带至靠近提供给用户A的用户占有区域A的空间，这使得从终端附近生成可操作对象，并且UI图形将可操作对象带至用户占有区域A中。
基于由极近距离通信单元513的检测信号的信号分析结果和由摄像机单元503的用户的拍摄图像的识别结果，信息处理装置100可以检测用户自有终端接近用户占有区域A的附近。此外，通过用户A与信息处理装置100之间的到此为止的情况(context)(或用户A与其他用户通过信息处理装置100所进行的交互)，可以使装置链接数据交换单元730确定用户是否有要发送到信息处理装置100的数据，以及传输数据是什么类型。此外，当有传输数据时，在自有终端被带至与信息处理装置100接近的动作正在被进行背景下，装置链接数据交换单元730可以执行形成可操作对象的实体的动态图像、静态图像和文本内容的数据交换。
当装置链接数据交换单元730与用户自有终端在后台进行数据交换时，通过由对象优化处理单元720进行的对象优化处理，在显示单元603的屏幕上绘出UI图形以生成来自用户自有终端的可操作对象。图20示出了从终端将可操作对象带至适当的用户占有区域的UI图形示例。
图21是示出了由装置链接数据交换单元730使用以执行装置链接数据交换的处理次序的流程图。当用户自有终端接近用户占有区域A的附近时，基于由极近距离通信单元513所检测的信号的信号分析结果，开始由装置链接数据交换单元730进行的处理。
装置链接数据交换单元730基于由极近距离通信单元513所检测的信号的信号分析结果，检查进行通信的用户自有终端的存在(步骤S2101)。
当进行通信的用户自有终端存在时(步骤2101中是“是”)，装置链接数据交换单元730基于由极近距离通信单元513所检测的信号的信号分析结果，获得终端存在的位置。
接下来，装置链接数据交换单元730检查是否有要与该用户自有终端交换的任何数据(步骤S2103)。
当有与用户自有终端交换的数据时(步骤S2103中是“是”)，装置链接数据交换单元730根据通信处理算法731，根据终端的位置来绘制可操作对象的UI图形(参照图20)。此外，在UI显示的后台，装置链接数据交换单元730与终端进行形成可操作对象的实体的数据的交换(步骤2104)。
如图20和图21所示，通过信息处理装置100从用户自有终端获得的可操作对象被布置在适当用户的用户占有区域内。此外，当在用户中进行数据交换时，可以在相应用户占有区域之间进行移动可操作对象的操作。图22示出了下述情形：其中，由用户B保留在用户占有区域B中的可操作对象被复制到用户A的用户占有区域A中。或者，可操作对象可以被分割而不是复制。
在动态图像和静态图像内容的情况下，已经在屏幕上被复制的可操作对象被简单地创建成独立单独数据。此外，在被复制的可操作对象是应用窗口的情况下，将建立单独的窗口以使能用于原先保留可操作对象的用户与将要复制的用户之间的协作工作的应用。
C.根据用户位置的输入方法与显示GUI的最优选择
信息处理装置100包括距离传感器507和接近传感器511，并且例如如图1和图3A和图3B所示，当挂在墙上使用时，可以检测从信息处理装置100的主单元即屏幕到用户的距离。
此外，信息处理装置100包括触摸检测单元509、接近传感器511、摄像机单元503和遥控接收单元501，并且可以为用户提供多个输入方式，例如使用屏幕触摸、接近、手等的手势，遥控和其他基于用户状态的间接操作。每个输入方法的操作的适用性取决于从信息处理装置100的主单元即屏幕到用户的距离。例如，如果用户在距信息处理装置100的主单元50cm的范围内，则当然可以通过直接触摸屏幕来操作可操作对象。此外，如果用户在距信息处理装置100的主单元2m的范围内，则太远而不能直接触摸屏幕，但是因为通过由摄像机单元503所拍摄的图像的识别处理能够正确捕捉面部和手运动，所以可以进行手势输入。此外，如果用户和信息处理装置100的主单元分开超过2m，则图像识别的准确性下降，但是因为遥控信号能可靠地到达，所以仍可以进行遥控操作。此外，要在屏幕上显示的可操作对象的框架和信息密度的最优GUI显示也根据距用户的距离而变化。
根据本实施方式，为了改进用户的便利性，信息处理装置100根据用户位置或到用户的距离自动地从多个输入方法中进行选择，同时还根据用户位置自动地选择和调整GUI显示。
图23示出了用于计算单元120根据用户距离来进行优化处理的内部配置。计算单元120配备有显示GUI优化单元2310、输入方法优化单元2320和距离检测方法切换单元2330。
显示GUI优化单元2310根据用户位置和用户状态来进行优化处理以建立要在显示单元603的屏幕上显示的可操作对象的例如信息密度和框架的最优GUI显示。
这里，通过距离检测方法获得用户位置，通过距离检测方法切换单元2330来切换距离检测方法。当用户位置变得更近时，通过由摄像机单元503拍摄图像的面部识别、与用户自有终端之间的接近通信等，使得能够进行个体识别。此外，通过对摄像机单元503所拍摄图像的图像识别和距离传感器507的信号分析来定义用户状态。用户状态被主要分为两个状态：“有用户(存在)”或“没有用户(不存在)”。“有用户”状态的两种类型是：“用户正在看电视(显示单元603的屏幕)(正在观看)”和“用户没在看电视(没在观看)”。“用户正在看电视”状态还细分为两个状态：“用户正在操作电视(正在操作)”和“用户没在操作电视(没有操作)”。
当辨别用户状态时，显示GUI优化单元2310参考记录单元140中的装置输入方法数据库。此外，根据所辨别用户的用户状态和用户位置，当优化显示GUI时，也会参考记录单元140中的GUI显示(框架/密度)数据库和内容数据库。
图24A是包含下述表的图，该表总结了根据用户状态和由显示GUI优化单元2310获得的用户位置的GUI显示的优化处理。此外，图24B至图24E示出了根据用户位置和用户状态的信息处理装置100的屏幕转换。
当处于“没有用户”状态时，显示GUI优化单元2310停止显示单元603的屏幕显示，并且待机直到检测到用户存在为止(参照图24B)。
当处于“有用户”且“用户没在看电视”状态时，显示GUI优化单元2310选择“自动切换”作为最优显示GUI(参照图24C)。自动切换随机显示各个可操作对象以吸引用户的兴趣并激励其看电视的欲望。用于切换的可操作对象不仅包括由电视调谐器单元170接收的电视广播节目内容，还包括从通信单元150经由网络获得的网络内容、来自其他用户的电子邮件和信息等，其中，由显示GUI优化单元2310基于内容数据库来选择这样的多个可操作对象。
图25A示出了自动切换的显示GUI的示例。如图25B所示，为了潜意识地激励用户，显示GUI优化单元2310可以时刻改变屏幕上显示的每个可操作对象的位置和大小(即露出的程度)。此外，当因用户位置变近而能够进行个体识别时，显示GUI优化单元2310可以使用识别的个人的信息来选择用于自动切换的可操作对象。
当处于“用户正在看电视”且“用户没在操作电视”状态时，显示GUI优化单元2310也可以选择“自动切换”作为最优显示GUI(参照图24D)。但是，与前述不同，为了使每个可操作对象的显示内容易于确认，基于内容数据库而选择的多个可操作对象被按顺序布置，例如如图26所示的按列(column)布置。此外，当因用户位置变近而能够进行个体识别时，显示GUI优化单元2310可以使用所识别的个体信息来选择用于自动切换的可操作对象。此外，显示GUI优化单元2310可以基于用户位置，以下述方式控制显示GUI的信息密度，该方式为：当用户远时，GUI的信息密度被控制；而当用户变近时，GUI的信息密度增大。
与此相反，当处于“用户正在看电视”且“用户正在操作电视”状态时，用户使用由输入方法优化单元2320优化的输入方法来操作信息处理装置100(参照图24E)。输入方法可以是例如：向遥控接收单元501发送遥控信号、对摄像机单元503的手势、对要通过触摸检测单元509检测的触摸面板的触摸、对麦克风505的语音输入、对接近传感器511的接近输入等。显示GUI优化单元2310根据用户输入操作成列地显示可操作对象作为最优显示GUI，并且可以根据用户操作来操作可操作对象的滚动和选择。如图27A所示，光标被显示在屏幕上由输入方法指示的位置。没有光标的可操作对象可以被认为是用户不感兴趣的，可以如图中用斜线示出的那样使其亮度级降低，以便表现与感兴趣的可操作对象的对比(在图27A中，光标放置于正在被用户手指触摸的可操作对象#3上)。此外，如图27B所示，当用户用光标选择可操作对象时，该可操作对象可以被全屏显示(或放大显示到最大尺寸)(在图27B中，所选择的可操作对象#3被放大显示)。
输入方法优化单元2320根据用户位置和用户状态进行输入方法的优化，该输入方法是用户对信息处理装置100进行操作的方法。
如前所述，通过由距离检测方法切换单元2330切换的距离检测方法来获得用户位置。当用户位置变近时，可以通过对摄像机单元503所拍摄的图像的面部识别、与用户自有终端的接近通信等来进行个体识别。此外，基于对摄像机单元503所拍摄的图像的图像识别和距离传感器507的信号分析来定义用户状态。
当辨别用户状态时，输入方法优化单元2320参照记录单元140中的装置输入方法数据库。
图28是包含下述表的图，该表总结了根据由输入方法优化单元2320获得的用户状态和用户位置的输入方法的优化处理。
当处于“没有用户”状态、“有用户”且“用户没在看电视”状态以及“用户正在看电视”且“用户没在操作电视”状态时，输入方法优化单元2320待机直到用户操作开始为止。
此外，当处于“用户正在看电视”且“用户正在操作电视”状态时，输入方法优化单元2320主要基于用户位置来优化每个输入方法。输入方法例如包括：对遥控接收单元501的遥控输入、对摄像机单元503的手势输入、由触摸检测单元509检测的触摸输入、对麦克风505的语音输入以及对接近传感器511的接近输入等。
遥控接收单元501对于所有用户位置都启动(即：几乎持续地启动)，并待机以接收遥控信号。
对摄像机单元503所拍摄的图像的识别精度随着用户远离而减小。此外，如果用户太靠近，则用户的身体会很容易地偏离摄像机单元503的视野。这里，当用户位置在从几十厘米到几米的范围内时，输入方法优化单元2320将开启对摄像机单元503的手势输入。
对重叠在显示单元603的屏幕上的触摸面板的触摸限于用户的手能够到达的范围。这里，当用户位置处于几十厘米的范围时，输入方法优化单元2320将开启对触摸检测单元509的触摸输入。此外，即使在没有触摸的情况下，接近传感器511也可以检测远至几十厘米的用户。因此，当用户位置比触摸输入远时，输入方法优化单元2320将开启接近输入。
对麦克风505的输入语音的识别精度随着用户远离而减小。这里，当用户位置处于远至几米的范围内时，输入方法优化单元2320将开启对摄像机单元503的手势输入。
距离检测方法切换单元2330根据用户位置来进行处理以切换用于检测用户位置和用户到信息处理装置100的距离的方法。
当辨别用户状态时，距离检测方法切换单元2330参照记录单元中140中的针对每个检测方法的覆盖范围数据库。
图29是包含下述表的图，该表总结了根据由距离检测方法切换单元2330获得的用户位置的距离检测方法的切换处理。
例如，距离传感器507由简单、低功率的传感装置例如PSD传感器、热电传感器或简易摄像机构成。距离检测方法切换单元2330保持距离传感器507持续地开启，因为距离传感器507持续地监视距信息处理装置100例如5m至10m的半径内用户的存在。
当摄像机单元503采用单镜头式时，图像识别单元504通过背景差分来进行人识别、面部识别和用户运动识别。当用户位置处于从70厘米至6米的范围时，其使得能够基于所拍摄的图像获得足够的识别精度，距离检测方法切换单元2330将开启由图像识别单元504进行的识别(距离检测)功能。
此外，当摄像机单元503采用双镜头式或主动式时，当用户位置处于从刚刚低于60厘米至5米的范围时，其使图像识别单元504能够获得足够的识别精度，距离检测方法切换单元2330将开启由图像识别单元504进行的识别(距离检测)功能。
此外，如果用户太靠近，则用户的身体会很容易的偏离摄像机单元503的视野。这里，当用户太靠近时，距离检测方法切换单元2330可以关闭摄像机单元503和图像识别单元504。
对重叠在显示单元603的屏幕上的触摸面板的触摸限于用户的手能够到达的范围。因此，当用户位置处于几十厘米的范围内时，距离检测方法切换单元2330将开启触摸检测单元509的距离检测功能。此外，即使在没有触摸的情况下，接近传感器511也能够检测远至几十厘米的用户。因此，当用户位置远于触摸输入时，距离检测方法切换单元2330将开启距离检测功能。
从设计的角度来看，配备有多个距离检测方法的信息处理装置100，检测远于几米或十米的距离检测方法的目的是用来确认用户的存在。这必须是一直开启，所以优选地使用低功率装置。相对地，检测一米内的近范围的距离检测方法可以与识别功能结合，该识别功能例如通过获得高密度信息的面部识别和人识别。但是识别处理等消耗相当大的功率，所以优选地当不能获得足够的识别精度时关闭该功能。
D.根据显示器性能的对象的实际尺寸显示
对于根据相关技术的物理对象显示系统，在屏幕上显示实际对象图像而不考虑对象的实际尺寸信息。为此，显示的对象的大小根据屏幕的大小和分辨率(dpi)而改变。例如，宽度为a厘米的包当显示在32英寸显示器上时，其宽度a′将与当显示在50英寸显示器上时的宽度a″不同(a≠a′≠a″)(参照图30)。
此外，当在同一显示器屏幕上同时显示多个对象的图像时，如果不考虑每个对象的实际尺寸信息，则未正确显示相应对象的大小关系。例如，当在同一显示器屏幕上同时显示宽度为a厘米的包和宽度为b厘米的袋时，包将被显示成a′厘米而袋将被显示成b′厘米，将不能正确地显示相应的大小关系(a:b≠a′:b′)(参照图31)。
例如，当网购产品时，如果样品图像的实际尺寸是不可再现的，用户将难以正确地评估该产品是否适合他的/她的体型，这可能导致购买错误的产品。此外，当试图通过网络购物同时购买多个产品时，如果在屏幕上同时显示每个产品的样品图像时不能正确显示样品图像的大小关系，则用户将难以正确地评估产品的组合是否适合，这可能导致购买了不合适的产品组合。
对此，与本实施方式相关联的信息处理装置100管理期望显示的对象的实际尺寸信息和显示单元603的屏幕的大小信息及分辨率(像素间距)信息，即使当对象大小和屏幕大小改变时，对象图像也一贯地以实际尺寸显示在屏幕上。
图32示出了用于计算单元120根据显示器能力对对象的实际尺寸进行显示处理的内部配置。计算单元120配备有实际尺寸显示单元3210、实际尺寸估计单元3220和实际尺寸扩展单元3230。但是注意，实际尺寸显示单元3210、实际尺寸估计单元3220和实际尺寸扩展单元3230中的至少一个功能块可以假设成在通过通信单元150连接的云服务器上实现。
当在同一显示器屏幕上同时显示多个对象的图像时，实际尺寸显示单元3210根据显示单元603的屏幕的大小和分辨率(像素间距)，并且通过考虑每个对象的实际尺寸信息来一贯地以真实尺寸显示。此外，当在显示单元603的屏幕上同时显示多个对象的图像时，实际尺寸显示单元3210正确地显示相应对象的大小关系。
实际尺寸显示单元3210从记录单元140读取显示器规格，例如显示单元603的屏幕的大小和分辨率(像素间距)。此外，实际尺寸显示单元3210从旋转和安装机构单元180获得显示器状态，例如显示单元603的屏幕的方向和斜度。
此外，实际尺寸显示单元3210从记录单元140中的对象图像数据库读取期望显示的对象的图像，并且还从对象实际尺寸数据库读取这些对象的实际尺寸信息。但是注意，对象图像数据库和对象实际尺寸数据库也可以在通过通信单元150连接的数据库服务器上。
接下来，实际尺寸显示单元3210基于显示器能力和显示器状态来处理对象图像的转换，以在显示单元603的屏幕上以实际尺寸来显示期望显示的对象(或具有多个相应对象的正确大小关系)。也就是说，如图33所示，即使当在具有不同显示器规格的屏幕上显示同一对象图像时，a＝a′＝a″。
此外，如图34所示，当在同一屏幕上同时显示两个具有不同的实际尺寸的对象的图像时，实际尺寸显示单元3210将正确地显示相应大小关系，即：a:b＝a′:b′。
例如，如果用户正在通过样品图像的显示来网购产品，如前所述，信息处理装置100可以再生成对象的实际尺寸显示，并且可以显示多个样品图像的正确的大小关系，这使得用户能够正确地评估产品是否适合，进而使不正确的产品选择减少。
将补充描述用实际尺寸显示单元3210以实际尺寸显示对象图像的用于网购的应用的适当示例。响应于用户从目录的屏幕显示中触摸了期望产品的图像，这些产品的图像变成实际尺寸显示(参照图35)。此外，响应于用户对以实际尺寸显示的图像的触摸操作，可以通过旋转和格式转换，以及改变实际尺寸对象的方向来进行显示(参照图36)。
此外，实际尺寸估计单元3220进行处理以估计下述对象的实际尺寸，所述对象是即使在参考了由摄像机单元503拍摄的人物等的对象实际尺寸数据库之后，也无法获得该对象的实际尺寸信息。例如，如果要估计其实际尺寸的对象是用户的面部，则将基于由距离检测方法切换单元2330切换的距离检测方法所获得的用户位置，以及通过对由来自图像识别单元504的摄像机单元503拍摄图像的图像识别所获得的用户面部数据例如大小、年龄、和用户面部的方向来估计用户的实际尺寸，
所估计的用户实际尺寸信息变成对实际尺寸显示单元3210的反馈，并被存储在例如对象图像数据库中。然后，从用户面部数据估计的实际尺寸信息被用于在随后的显示器性能情况中由实际尺寸显示单元3210进行的实际尺寸显示。
例如，如图37A所示，当显示包括摄像主体(婴儿)的拍摄图像的可操作对象时，实际尺寸估计单元3220基于其面部数据来估计实际尺寸。然后，如图37B所示，当由用户通过触摸操作等引起该可操作对象的放大显示时，该摄像主体将不会放大得变得比实际尺寸还大。也就是说，婴儿的图像将不会被不自然地放大，从而保持了视频的真实性。
此外，当由显示单元603在屏幕上并列或叠加地显示网络内容和由摄像机单元503拍摄的内容时，通过基于估计的实际尺寸进行的内容视频的标准化处理，可以实现平衡的并列或叠加显示。
此外，实际尺寸扩展单元3230还通过实际尺寸显示单元3210实现对显示单元603的屏幕上产生的对象的3D形式即深度方向的实际尺寸显示。此外，当通过双镜头格式或仅在水平方向上的光束重建方法来显示3D时，仅能够在3D视频生成时所假设的观看位置处获得期望的结果。使用全方向光束重建方法，可以从任何位置显示实际尺寸。
此外，通过检测用户的观看位置并且将3D视频校正到该位置，即使是使用双镜头类型或仅在水平方向上的光束重建方法，实际尺寸扩展单元3230也能够从任何位置获得同样种类的实际尺寸显示。
例如，参考已转让给本受让人的日本未审查专利申请公开第2002-300602号、第2005-149127号和第2005-142957号。
E.图像群组的同时显示
对于此显示系统，有下述情形：来自多个源的视频内容同时以并列形式或叠加形式显示在同一屏幕上。例如，可以给出下述情形：(1)在多个用户中进行视频聊天的情形；或(2)在瑜伽或其他课程期间，由摄像机单元503拍摄的用户自身的视频与从可记录介质例如DVD播放(或通过网络的流播放)的指导者的视频同时显示的情形；或(3)在网购期间，由摄像机单元503拍摄的用户自身的视频与产品的样品图像结合并显示以能够匹配的情形。
对于上述情形(1)或情形(2)，如果同时显示的图像的大小关系不正确，则用户将难以恰当地使用显示的视频。例如，在视频聊天的用户中，如果用户面部的位置和大小不一致(图38A)，则破坏了聊天伙伴之间面对面体验的质量，从而交谈停止。此外，如果用户的身形不能匹配指导者身形的大小和位置(图39A)，则用户将难以辨别他的/她的动作与指导者动作之间的差别，将难以辨别哪一点应该改正或改进，从而将难以从课程中获得足够的成果。此外，如果产品样品图像和采用好像他们正拿着产品的姿势的用户身形的视频之间没有正确的大小关系并且没有在适当的位置重叠，则对用户来说难以判断该产品是否适合他们自己，并且不能进行适当的匹配(图40A)。
对此，当来自多个源的视频内容并列或叠加时，涉及本实施方式的信息处理装置100使用诸如图像比例和目标区域的信息来对不同的图像进行标准化以并列或叠加的显示。当标准化时，进行图像处理例如对来自静态图像、动态图像等的数字图像数据进行数字变焦处理。此外，当摄像机单元503采用并列或叠加的图像中的一个图像时，对实际的摄像机进行光学控制，例如绕竖直轴旋转、绕水平轴旋转和变焦。
使用信息例如由面部识别获得的面部的大小、年龄和方向，以及由个体识别获得的身体形状和大小的信息，可以容易地实现图像的标准化处理。此外，当显示并列或重叠的多个图像时，通过对某些图像自动地进行旋转处理及进行镜像，利于与其他图像适配。
图38B示出了由于多个图像间的标准化处理使正在视频聊天的用户的面部的大小和位置变得一致的情形。此外，图39B示出了由于多个图像间的标准化处理使得当在屏幕上并列显示时用户身形与指导者身形的大小和位置一致的情形。此外，图40B示出了由于多个图像间的标准化处理使产品的样品图像被显示成使得与摆出好像正拿着产品的姿势的用户的视频以正确的大小关系并在正确的位置上重叠显示。此外，在图39B和图40B中，除了对大小关系进行标准化外还进行了镜像，使得用户可以容易地根据由摄像机单元503拍摄的图像来改正他的/她的姿势。此外，适当时也进行旋转处理。此外，当用户的身形和指导者的身形可以进行标准化处理时，可以如图39C中所示出的那样叠加显示而不是如图39B中所示出的那样并列显示，这可以使用户更容易地看出他的/她的姿势与指导者的姿势之间的差别。
图41示出了用于计算单元120进行标准化处理的内部配置。计算单元120配备有内部图像标准化处理单元4110、面部标准化处理单元4120和实际尺寸扩展单元4130。但是注意，内部图像标准化处理单元4110、面部标准化处理单元4120和实际尺寸扩展单元4130中的至少一个功能块可以被假设成存在于通过通信单元150连接的云服务器上。
内部图像标准化处理单元4110进行标准化处理以正确地显示多个图像中的用户的面部图像与其他对象之间的大小关系。
内部图像标准化处理单元4110通过输入接口集成单元520输入由摄像机单元503拍摄的用户的图像。在此情况下，在拍摄用户时也获得了摄像机单元503的摄像机信息例如绕竖直轴旋转、绕水平轴旋转和变焦。此外，当获得要与用户图像并列或叠加显示的其他对象的图像时，内部图像标准化处理单元4110从图像数据库获得用于用户图像和其他对象图像的并列式样或叠加式样。图像数据库可以存在于记录单元140中，或者可以存在于通过通信单元150访问的数据库服务器上。
接下来，内部图像标准化处理单元4110进行图像处理例如根据标准化算法对用户图像进行放大、旋转和镜像，使得与其他对象的大小关系和位置关系是正确的，并且内部图像标准化处理单元4110还生成摄像机控制信息以进行对摄像机单元503的控制例如绕竖直轴旋转、绕水平轴旋转、变焦和其他功能，以拍摄出合适的用户的图像。例如，如图40B所示，由内部图像标准化处理单元4110进行的处理使得能够正确显示用户图像和其他对象的图像之间的大小关系。
面部标准化处理单元4120进行标准化处理以正确显示由摄像机单元503拍摄的用户的面部图像与其他可操作对象内的面部图像(例如，从可记录介质回放的图像中的指导者的面部，以及视频聊天的其他用户的面部)之间的大小关系。
面部标准化处理单元4120通过输入接口集成单元520输入由摄像机单元503拍摄的用户的图像。在此情况下，在拍摄用户时也获得摄像机信息例如摄像机单元503处的绕竖直轴的旋转、绕水平轴的旋转和变焦。此外，面部标准化处理单元4120通过记录单元140或通信单元150获得要与所拍摄的用户图像并列或叠加显示的其他可操作对象的面部图像。
接下来，面部标准化处理单元4120进行图像处理例如对用户图像进行放大、旋转和镜像，以使得彼此面部图像之间的大小关系是正确的，并且面部标准化处理单元4120还生成摄像机控制信息以进行对摄像机单元503的绕竖直轴旋转、绕水平轴旋转、变焦的控制以拍摄出用户的适合图像。例如，如图38B、图39B和图39C所示，由面部标准化处理单元4120进行的处理使得能够正确显示用户图像和其他对象图像之间的大小关系。
此外，实际尺寸扩展单元4130还通过内部图像标准化处理单元4110实现对在显示单元603的屏幕上形成的多个图像的3D形式即深度方向的并列或叠加显示。此外，当通过双镜头格式或仅在水平方向上的光束重建方法来显示3D时，仅在3D视频生成时所假设的观看位置处获得期望的结果。使用全方向光束重建方法，可以从任何位置显示实际尺寸。
此外，通过检测用户的观看位置并将3D视频校正到该位置，即使是使用双镜头格式或仅在水平方向上的光束重建方法，实际尺寸扩展单元4130也能够从任何角度获得同样种类的实际尺寸显示。
例如，参考已转让给本受让人的日本未审查专利申请公开第2002-300602号、第2005-149127号和第2005-142957号。
F.关于旋转屏幕的视频内容的显示方法
如前所述，根据本实施方式的信息处理装置100的主单元通过使用例如旋转和安装机构单元180被安装成处于可以在墙上旋转并且可以从墙上移除的状态。此外，当信息处理装置100通电时，更确切地说当在由显示单元603显示可操作对象期间旋转主单元时，根据此对可操作对象进行旋转处理以使用户能够在正确的位置观察可操作对象。
下面描述关于信息处理装置100的主单元的任何旋转角度和转换过程来最优地调整视频内容的显示格式的方法。
关于屏幕的任何旋转角度和转换过程，可以给出三种情形作为视频内容的显示格式：(1)对于某些任意旋转角度不能完全看到视频内容的显示格式；(2)对于每个旋转角度，最大化视频内容中感兴趣的内容的显示格式；(3)旋转视频内容以消除无效区域的显示格式。
图42示出了下述显示格式：当信息处理装置100(屏幕)被逆时针旋转90度时，将视频内容的整个区域以在某些任意旋转角度处不能完全看到视频内容的方式来显示。如图中所示，当在水平状态的屏幕上显示水平的视频内容时，如果把它逆时针旋转90度成竖直，则视频内容将缩小，并且表示成黑色的无效区域也将出现在屏幕上。此外，在将屏幕从水平转到竖直的过程中，视频内容将被最小化。
如果视频内容的至少一部分可以被清楚地看到，则存在受版权保护的视频内容丧失一致性的问题。如图42所示的显示格式确保受版权保护的作品关于任意角度和转换过程的恒定的一致性。也就是说，受保护的内容可以有合适的显示格式。
此外，图43示出了下述显示格式：当信息处理装置100(屏幕)被逆时针旋转90度时，针对每个旋转角度，视频内容中的感兴趣内容被最大化。在图43中，将感兴趣的区域设置成包括在视频内容中的被虚线环绕的照像主体的区域，并且针对每个旋转角度将该感兴趣区域最大化。感兴趣区域是竖直的，因此通过从水平变成竖直，视频内容被放大了。此外，关于从水平到竖直的转换过程，在屏幕的对角线方向上该感兴趣区域被放大到最大。此外，关于从水平到竖直的转换过程，在屏幕上出现表示成黑色的无效区域。
作为关注视频内容中的感兴趣区域的显示格式，可以构思一种变型：视频内容被旋转的同时将感兴趣区域保持在同一大小。随着屏幕旋转，可以看到感兴趣区域流畅地旋转，但是这将导致无效区域增大。
此外，图44示出了下述显示格式：当信息处理装置100(屏幕)被逆时针旋转90度时，旋转视频内容以消除无效区域。
图45示出了关于图42至图44中示出的每种显示格式的针对旋转位置的视频内容的变焦比关系。关于图42所示的显示格式，对于某些任意的角度视频内容不能被清楚地看到，可以保护内容，但是在转换过程期间将导致大的无效区域。此外，存在下述顾虑，由于在转换过程期间视频的减小，用户将感觉到差别。关于图43所示的显示格式，在每个旋转角度处视频内容的感兴趣区域被最大化，在旋转屏幕的转换过程期间可以流畅地显示感兴趣区域，但是在转换过程期间将产生无效区域。此外，关于图44所示的显示格式，尽管在转换过程期间没有出现无效区域，但是视频内容被大大地放大，这可能给观看的用户不自然的印象。
图46是示出了下述处理过程的流程图：当旋转信息处理装置100(显示单元603的屏幕)时，在计算单元120处控制视频内容的显示格式。例如，该处理过程始于当检测到信息处理装置100的主单元在旋转和安装机构单元180上旋转时，或者始于当三轴传感器515检测到信息处理装置100的主单元的旋转位置的改变时。
当旋转信息处理装置100(显示单元603的屏幕)时，首先，计算单元120获得在屏幕上显示的视频内容的属性信息(步骤S4601)。然后，检查在屏幕上显示的视频内容是否是受版权等保护的内容(布置S4602)。
这里，当屏幕上显示的视频内容是受版权等保护的内容时(步骤S4602中的“是”)，计算单元120选择显示视频内容的整个区域的显示格式以使得如图42中所示出的那样在某些任意角度处视频内容不能被清楚地看到(步骤S4603)。
此外，当在屏幕上显示的视频内容不是受版权等保护的内容时(步骤S4602中是“否”)，检查是否存在由用户指定的显示格式(步骤S4604)。
当用户选择了显示视频内容的整个区域的显示格式时，处理进行到步骤S4603。此外，当用户选择了将感兴趣区域的显示最大化的显示格式时，处理进行到步骤S4605。此外，当用户选择了不显示无效区域的显示格式时，处理进行到步骤S4606。此外，当用户没有选择任何显示格式时，选择已经从上述三种显示格式中被设置为默认值的显示格式。
图47示出了用于计算单元120关于信息处理装置100的任意旋转角度和转换过程进行处理以调整视频内容的显示格式的内部配置。计算单元120配备有显示格式确定单元4710、旋转位置输入单元4720和图像处理单元4730，并且计算单元120调整从媒体播放或从接收的电视广播播放的视频内容的显示格式。
当视频内容关于信息处理装置100的主单元的转换过程或一些任意旋转角度被旋转时，显示格式确定单元4710遵循图46中所示的处理方法来确定显示格式。
旋转位置输入单元4720输入信息处理装置100的主单元(或显示单元602的屏幕)的旋转位置，该旋转位置是通过输入接口集成单元520从旋转和安装机构单元180和三轴传感器515获得的。
图像处理单元4730遵循由显示格式确定单元4710确定的显示格式，对从接收的电视广播或媒体播放的视频内容进行图像处理，以与在旋转位置输入单元4720所输入的旋转角度处倾斜的显示单元603的屏幕适合。
G.本说明书中公开的技术
本说明书中公开的技术可以采取以下配置。
(101)信息处理装置，包括：显示单元；用户检测单元，被配置成检测在该显示单元周围存在的用户；以及计算单元，被配置成根据由用户检测单元对用户的检测来对由显示单元显示的可操作对象进行处理。
(102)根据(101)所述的信息处理装置，其中，用户检测单元包括接近传感器，该接近传感器被布置在显示单元的屏幕的四个边缘中的每个边缘中，并检测在每个边缘附近存在的用户。
(103)根据(101)所述的信息处理装置，其中，计算单元根据由用户检测单元检测的用户的布置，在显示单元的屏幕上设置用户间共享的共享区域和针对每个检测到的用户的用户占有区域。
(104)根据(103)所述的信息处理装置，其中，计算单元在显示单元的屏幕上显示一个或更多个可操作对象作为用户操作目标。
(105)根据(104)所述的信息处理装置，其中，计算单元对用户占有区域中的可操作对象进行优化。
(106)根据(104)所述的信息处理装置，其中，计算单元对用户占有区域中的可操作对象以朝向适当用户的方向进行旋转处理。
(107)根据(104)所述的信息处理装置，其中，计算单元对从共享区域或其他用户占有区域移动到用户占有区域中的可操作对象以朝向用适当用户的方向进行旋转处理。
(108)根据(107)所述的信息处理装置，其中，当用户在区域间拖动可操作对象时，计算单元根据由用户操作的关于可操作对象的中心的位置来控制对可操作对象进行旋转处理时的旋转方向。
(109)根据(103)所述的信息处理装置，其中，当在显示单元的屏幕上为由用户检测单元所新检测到的用户设置用户占有区域时，计算单元显示代表新检测到了用户的检测指示。
(110)根据(104)所述的信息处理装置，还包括被配置成与用户自有终端交换数据的数据交换单元。
(111)根据(110)所述的信息处理装置，其中，数据交换单元与由用户检测单元检测到的用户所拥有的终端进行数据交换处理，并且其中，计算单元根据从用户自有终端接收的数据将可操作对象重新生成在适当的用户占有区域中。
(112)根据(104)所述的信息处理装置，其中，计算单元依照每个用户的用户占有区域之间的可操作对象的移动，将可操作对象复制或分割到其将移动到的用户占有区域中。
(113)根据(112)所述的信息处理装置，其中，计算单元将创建为单独数据的可操作对象的复制显示在其将要被移动到的用户占有区域中。
(114)根据(112)所述的信息处理装置，其中，计算单元将下述可操作对象的复制显示在其将要被移动到的用户占有区域中，该可操作对象变成使得能够进行用户间协同工作的应用的单独窗口。
(115)信息处理方法，包括：检测在周围区域存在的用户；以及根据在获得与用户检测有关的信息中获得的用户检测，对要显示的可操作对象进行处理。
(116)以计算机可读格式编写的计算机程序，其使计算机用作：显示单元；用户检测单元，被配置成检测在显示单元附近存在的用户；计算单元，被配置成根据由用户检测单元对用户的检测，对要显示在显示单元上的可操作对象进行处理。
(201)信息处理装置，包括：显示单元；用户位置检测单元，被配置成检测用户关于显示单元的位置；用户状态检测单元，被配置成检测用户关于显示单元的显示屏幕的状态；以及计算单元，被配置成根据由用户状态检测单元检测的用户状态和由用户位置检测单元检测的用户位置来控制要在显示单元上显示的GUI。
(202)根据(201)所述的信息处理装置，其中，计算单元根据用户位置和用户状态来控制要在显示单元的屏幕上显示的成为用户的操作目标的一个或更多个可操作对象的框架和信息密度。
(203)根据(201)所述的信息处理装置，其中，计算单元依照用户是否在观看显示单元的屏幕来控制要显示在屏幕上的可操作对象的框架。
(204)根据(201)所述的信息处理装置，其中，计算单元根据用户位置来控制在显示单元的屏幕上显示的可操作对象的信息密度。
(205)根据(201)所述的信息处理装置，其中，计算单元根据用户是否处于能够进行人物识别的位置来控制对显示在显示单元的屏幕上的可操作对象的选择。
(206)根据(201)所述的信息处理装置，为用户提供一个或更多个输入方法以操作显示在显示单元的屏幕上的可操作对象，并且其中，计算单元根据用户是否处在通过输入方法对可操作对象进行操作的状态来控制显示在屏幕上的可操作对象的框架。
(207)信息处理装置，包括：显示单元，其为用户使能一个或更多个输入方法以对显示单元的屏幕上显示的可操作对象进行操作；用户位置检测单元，其检测用户关于显示单元的位置；用户状态检测单元，其检测用户关于显示单元的显示屏幕的状态；以及计算单元，其根据由用户位置检测单元检测的用户位置和由用户状态检测单元检测的用户状态来优化输入方法。
(208)根据(207)所述的信息处理装置，其中，计算单元根据用户是否处于正在观看显示单元的屏幕的状态来控制输入方法的优化。
(209)根据(207)所述的信息处理装置，其中，对于用户正在观看显示单元的屏幕的状态，计算单元根据由用户位置检测单元检测的用户位置来优化输入方法。
(210)信息处理装置，包括：显示单元；用户位置检测单元，被配置成检测用户关于显示单元的位置，提供多个距离检测方法以检测从显示单元的屏幕到用户的距离；以及计算单元，其根据由用户位置检测单元检测的用户位置来控制距离检测方法的切换。
(211)根据(210)所述的信息处理装置，其中，在所有情况下，计算单元开启用于检测距远处的用户的距离的距离检测方法的功能。
(212)根据(210)所述的信息处理装置，其中，计算单元检测近处的用户的距离，并且只在能够获得足够的识别精度的距离范围内，也开启用于具有识别处理的距离检测方法的功能。
(213)信息处理方法，包括：检测用户关于显示屏幕的位置；检测用户关于显示屏幕的状态；以及根据通过获得与用户位置有关的信息而检测的用户位置和通过获得与用户状态有关的信息而检测的用户状态来计算以控制要在显示屏幕上显示的GUI。
(214)信息处理方法，包括：检测用户关于显示屏幕的位置；检测用户关于显示屏幕的状态；以及根据通过获得与用户位置有关的信息而检测的用户位置和通过获得与用户状态有关的信息而检测的用户状态来优化用于用户对显示屏幕的屏幕上显示的可操作对象进行操作的一个或更多个输入方法。
(215)信息处理方法，包括：检测用户关于显示屏幕的位置；以及根据通过获得与用户位置有关的信息而检测的用户位置来切换检测从显示屏幕到用户的距离的多个距离检测方法。
(216)以计算机可读格式编写的计算机程序，其使计算机用作：显示单元；用户位置检测单元，被配置成检测用户关于显示单元的位置；用户状态检测单元，被配置成检测用户关于显示单元的状态；以及计算单元，被配置成根据由用户位置检测单元检测的用户位置和由用户状态检测单元检测的用户状态来控制要在显示单元上显示的GUI。
(217)以计算机可读格式编写的计算机程序，其使计算机用作：显示单元，其为用户使能一个或更多个输入方法以对显示单元的屏幕上显示的可操作对象进行操作；用户位置检测单元，被配置成检测用户关于显示单元的位置；用户状态检测单元，被配置成检测用户关于显示单元的状态；以及计算单元，被配置成根据由用户位置检测单元检测的用户位置和由用户状态检测单元检测的用户状态来优化输入方法。
(218)以计算机可读格式编写的计算机程序，其使计算机用作：显示单元；用户位置检测单元，被配置成检测关于显示单元的用户位置，提供多个距离检测方法以检测从显示单元的屏幕到用户的距离；以及计算单元，被配置成根据由用户位置检测单元检测的用户位置来控制距离检测方法的切换。
(301)信息处理装置，包括：显示单元；对象图像获得单元，被配置成获得要在显示单元的屏幕上显示的对象的图像；实际尺寸获得单元，被配置成获得与要在显示单元的屏幕上显示的对象的实际尺寸有关的信息；以及计算单元，被配置成基于由实际尺寸获得单元获得的对象的实际尺寸来处理对象的图像。
(302)根据(301)所述的信息处理装置，还包括显示性能获得单元，该显示性能获得单元被配置成获得与显示性能有关的信息，显示性能包括显示单元的屏幕的屏幕大小和分辨率，并且其中，计算单元基于由显示性能获得单元获得的显示性能和由实际尺寸获得单元获得的对象的实际尺寸来处理对象的图像以在显示单元的屏幕上以实际尺寸进行显示。
(303)根据(301)所述的信息处理装置，其中，当在显示单元的屏幕上同时显示由对象图像获得单元获得的多个对象的图像时，计算单元处理多个对象的图像以使得正确地显示多个对象的相应图像的大小关系。
(304)根据(301)所述的信息处理装置，还包括：摄像机单元；以及实际尺寸估计单元，被配置成估计包括在由摄像机单元拍摄的图像中的对象的实际尺寸。
(305)根据(104)所述的信息处理装置，还包括：摄像机单元；图像识别单元，被配置成识别包括在由摄像机单元拍摄的图像中的用户的面部，并获得面部数据；距离检测单元，其检测距用户的距离；以及实际尺寸估计单元，其基于到用户的距离和用户的面部数据来估计用户面部的实际尺寸。
(306)信息处理方法，包括：获得在屏幕上显示的对象的图像；获得与在屏幕上显示的对象的实际尺寸有关的信息；以及基于通过获得与实际尺寸有关的信息而获得的对象的实际尺寸来处理对象的图像。
(307)以计算机可读格式编写的计算机程序，其使计算机用作：显示单元；对象图像获得单元，被配置成获得在显示单元的屏幕上显示的对象的图像；实际尺寸获得单元，被配置成获得与在显示单元的屏幕上显示的对象的实际尺寸有关的信息；以及计算单元，被配置成基于由实际尺寸获得单元获得的对象的实际尺寸来处理对象的图像。
(401)信息处理装置，包括：摄像机单元；显示单元；以及计算单元，被配置成当在显示单元的屏幕上进行显示时，对由摄像机单元拍摄的用户的图像进行标准化。
(402)根据(401)所述的信息处理装置，还包括：对象图像获得单元，被配置成获得将要在显示单元的屏幕上显示的对象的图像；以及并列/叠加模式获得单元，被配置成获得并列/叠加模式以使得对象图像和用户图像在显示单元的屏幕上并列或叠加，其中，计算单元进行标准化以使得用户图像和对象之间的大小关系和位置关系正确，遵循所获得的并列/叠加模式，标准化之后的用户图像和对象是并列的或叠加的。
(403)根据(402)所述的信息处理装置，其中，计算单元对摄像机单元进行控制以对由摄像机单元拍摄的用户图像进行标准化。
(404)根据(401)所述的信息处理装置，还包括：用户面部数据获得单元，被配置成获得由摄像机单元拍摄的用户的面部数据；内部对象面部数据获取单元，被配置成获得将要由显示单元显示的对象中的面部数据，其中，计算单元进行标准化以使得对象中的面部数据与用户的面部数据之间的大小关系和位置关系正确。
(405)根据(404)所述的信息处理装置，其中，计算单元对摄像机单元进行控制以对由摄像机单元拍摄的用户图像进行标准化。
(406)信息处理方法，包括：获得要在屏幕上显示的对象的图像；获得用于对象图像和由摄像机单元拍摄的用户图像在显示单元的屏幕上的并列/叠加模式；进行标准化以使得用户图像和对象之间的大小关系和位置关系正确；以及遵循所获得的并列/叠加模式，使标准化之后的对象和用户图像并列或叠加的图像处理。
(407)信息处理方法，包括：获得由摄像机单元拍摄的用户的面部数据；获得在屏幕上显示的对象之间的面部数据；以及进行标准化以使得对象的面部数据和用户的面部数据之间的大小关系和位置关系正确。
(408)以计算机可读格式编写的计算机程序，其使计算机用作：摄像机单元；显示单元；以及计算单元，被配置成当在显示单元的屏幕上显示时，对由摄像机单元拍摄的用户图像进行标准化。
(501)信息处理装置，包括：显示单元，被配置成在屏幕上显示视频内容；旋转角度检测单元，被配置成检测屏幕的旋转角度；显示格式确定单元，被配置成针对屏幕的一些任意旋转角度和转换过程来确定视频内容的显示格式；以及图像处理单元，被配置成根据由显示格式确定单元确定的显示格式来处理图像，以使得视频内容与以旋转角度检测单元所检测的旋转角度倾斜的屏幕相适合。
(502)根据(501)所述的信息处理装置，其中，显示格式确定单元确定下述内容，其包括但不限于：对于一些任意旋转角度防止视频内容被全部看到的显示格式；对于每个旋转角度将视频内容中的感兴趣区域最大化的显示格式；以及视频内容被旋转以消除无效区域的显示格式。
(503)根据(501)所述的信息处理装置，其中，显示格式确定单元基于视频内容的属性信息来确定对于屏幕的一些任意角度和转换过程的显示格式。
(504)根据(501)所述的信息处理装置，其中，显示格式确定单元针对受保护的视频内容确定显示格式以使得对于一些任意角度视频内容不能被完全看到。
(505)信息处理方法，包括：检测屏幕的旋转角度；针对屏幕的一些任意旋转角度和转换处理确定视频内容的显示格式；以及根据由获得与显示格式有关的信息而确定的显示格式来处理图像，以使得视频图像与以通过获得与旋转角度有关的信息而检测到的旋转角度倾斜的屏幕相适合。
(506)以计算机可读格式编写的计算机程序，其使计算机用作：显示单元，被配置成在屏幕上显示视频内容；旋转角度检测单元，被配置成检测屏幕的旋转角度；显示格式确定单元，被配置成针对屏幕的一些任意旋转角度和转换过程确定视频内容的显示格式；以及图像处理单元，被配置成根据由显示格式确定单元确定的显示格式来处理图像，以使得视频内容与以旋转角度检测单元所检测到的旋转角度倾斜的屏幕相适合。
本公开内容包含与2012年1月13日提交日本专利局的日本优先权专利申请JP2012-005327中公开的主题相关的主题，其全部内容通过引用合并到本文中。
本领域的技术人员应该理解，取决于设计要求和其他因素，可以出现各种修改、组合、子组合及替换，只要各种修改、组合、子组合及替换在所附权利要求或者权利要求的等同方案的范围内。

Claims (7)

1.一种信息处理装置，包括：
处理装置，被配置为：
在显示装置的屏幕上进行显示；
获得要在所述显示装置的所述屏幕上显示的对象的图像；
获得与要在所述显示装置的所述屏幕上显示的所述对象的实际尺寸有关的信息；
基于所述对象的所述实际尺寸以及指示所述屏幕的位置的与所述显示装置的安装状态有关的信息来处理所述对象的所述图像；
根据检测到的用户布置，在所述屏幕上设置针对每个用户的用户占有区域和在每个用户间共享的共享区域；以及
对从所述共享区域或其他用户占有区域移动到用户占有区域中的所述对象以朝向适当用户的方向进行旋转处理，
其中，当用户在区域间拖动所述对象时，根据由用户操作的关于所述对象的中心的位置来控制对所述对象进行所述旋转处理时的旋转方向。
2.根据权利要求1所述的信息处理装置，其中，所述处理装置被配置成获得与显示性能有关的信息，所述显示性能包括所述显示装置的所述屏幕的屏幕大小和分辨率，并且其中，所述所述处理装置基于所述显示性能和所述对象的所述实际尺寸来处理所述对象的图像，以在所述显示装置的所述屏幕上以实际尺寸进行显示。
3.根据权利要求1所述的信息处理装置，其中，当在所述显示装置的所述屏幕上同时显示由所述处理装置获得的多个对象的图像时，所述处理装置处理所述多个对象的所述图像以使得正确地显示所述对象的相应图像的大小关系。
4.根据权利要求1所述的信息处理装置，还包括：
摄像机单元；并且
其中，所述处理装置被配置成估计包括在由所述摄像机单元拍摄的图像中的对象的实际尺寸。
5.根据权利要求1所述的信息处理装置，还包括：
摄像机单元；
其中，所述处理装置被配置成：
对包括在由所述摄像机单元拍摄的图像中的用户的面部进行识别，并且获得面部数据，
检测距所述用户的距离，以及
基于到所述用户的所述距离和所述用户的面部数据来估计所述用户的面部的实际尺寸。
6.一种信息处理方法，包括：
获得要在显示装置的屏幕上显示的对象的图像；
获得与要在所述屏幕上显示的所述对象的实际尺寸有关的信息；
基于通过获得与所述实际尺寸有关的信息和指示所述屏幕的位置的与所述显示装置的安装状态有关的信息而获得的所述对象的所述实际尺寸来处理所述对象的图像；
根据检测到的用户布置，在所述屏幕上设置针对每个用户的用户占有区域和在每个用户间共享的共享区域；以及
对从所述共享区域或其他用户占有区域移动到用户占有区域中的所述对象以朝向适当用户的方向进行旋转处理，
其中，当用户在区域间拖动所述对象时，根据由用户操作的关于所述对象的中心的位置来控制对所述对象进行所述旋转处理时的旋转方向。
7.一种记录有以计算机可读格式编写的计算机程序的非暂态记录介质，所述计算机程序使计算机用作：
对象图像获得单元，被配置成获得要在显示装置的屏幕上显示的对象的图像；
实际尺寸获得单元，被配置成获得与要在所述显示装置的所述屏幕上显示的所述对象的实际尺寸有关的信息；
计算单元，被配置成基于由所述实际尺寸获得单元获得的对象的所述实际尺寸以及指示所述屏幕的位置的与所述显示装置的安装状态有关的信息来处理所述对象的所述图像；以及
显示器区域划分单元，被配置成根据检测到的用户布置，在所述屏幕上设置针对每个用户的用户占有区域和在每个用户间共享的共享区域，
其中，所述计算单元对从所述共享区域或其他用户占有区域移动到用户占有区域中的所述对象以朝向适当用户的方向进行旋转处理，并且
其中，当用户在区域间拖动所述对象时，所述计算单元根据由用户操作的关于所述对象的中心的位置来控制对所述对象进行所述旋转处理时的旋转方向。
CN201310002102.2A 2012-01-13 2013-01-04 信息处理装置、信息处理方法以及非暂态记录介质 Active CN103207668B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-005327 2012-01-13
JP2012005327A JP5957892B2 (ja) 2012-01-13 2012-01-13 情報処理装置及び情報処理方法、並びにコンピューター・プログラム

Publications (2)

Publication Number Publication Date
CN103207668A CN103207668A (zh) 2013-07-17
CN103207668B true CN103207668B (zh) 2018-12-04

Family

ID=48754919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310002102.2A Active CN103207668B (zh) 2012-01-13 2013-01-04 信息处理装置、信息处理方法以及非暂态记录介质

Country Status (5)

Country Link
US (1) US20130194238A1 (zh)
JP (1) JP5957892B2 (zh)
CN (1) CN103207668B (zh)
BR (1) BR102013000376A2 (zh)
RU (1) RU2012157285A (zh)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5382815B2 (ja) * 2010-10-28 2014-01-08 シャープ株式会社 リモコンおよびリモコン用プログラム
FR2976681B1 (fr) * 2011-06-17 2013-07-12 Inst Nat Rech Inf Automat Systeme de colocalisation d'un ecran tactile et d'un objet virtuel et dispostif pour la manipulation d'objets virtuels mettant en oeuvre un tel systeme
US9753500B2 (en) * 2012-07-06 2017-09-05 Nec Display Solutions, Ltd. Display device including presence sensors for detecting user, and display method for the same
JP6382721B2 (ja) * 2012-11-27 2018-08-29 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 表示装置及び表示方法、並びにコンピューター・プログラム
JP2014127879A (ja) * 2012-12-26 2014-07-07 Panasonic Corp 放送画像出力装置、放送画像出力方法、およびテレビ
US10042510B2 (en) 2013-01-15 2018-08-07 Leap Motion, Inc. Dynamic user interactions for display control and measuring degree of completeness of user gestures
US9759420B1 (en) 2013-01-25 2017-09-12 Steelcase Inc. Curved display and curved display support
US11327626B1 (en) 2013-01-25 2022-05-10 Steelcase Inc. Emissive surfaces and workspaces method and apparatus
US9261262B1 (en) 2013-01-25 2016-02-16 Steelcase Inc. Emissive shapes and control systems
US10152135B2 (en) * 2013-03-15 2018-12-11 Intel Corporation User interface responsive to operator position and gestures
US10904067B1 (en) * 2013-04-08 2021-01-26 Securus Technologies, Llc Verifying inmate presence during a facility transaction
US9749395B2 (en) 2013-05-31 2017-08-29 International Business Machines Corporation Work environment for information sharing and collaboration
KR102158209B1 (ko) * 2013-07-26 2020-09-22 엘지전자 주식회사 전자기기
JP2015090547A (ja) * 2013-11-05 2015-05-11 ソニー株式会社 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
US20150317032A1 (en) * 2013-11-15 2015-11-05 Mediatek Inc. Method for performing touch communications control of an electronic device, and an associated apparatus
TWI549476B (zh) * 2013-12-20 2016-09-11 友達光電股份有限公司 顯示系統及調整可視範圍的方法
EP2894557B1 (en) * 2014-01-13 2018-03-07 LG Electronics Inc. Display apparatus
KR102219798B1 (ko) * 2014-01-13 2021-02-23 엘지전자 주식회사 디스플레이 장치, 및 그 동작방법
US11226686B2 (en) 2014-01-20 2022-01-18 Lenovo (Singapore) Pte. Ltd. Interactive user gesture inputs
US10713389B2 (en) * 2014-02-07 2020-07-14 Lenovo (Singapore) Pte. Ltd. Control input filtering
CN105245683A (zh) * 2014-06-13 2016-01-13 中兴通讯股份有限公司 一种终端应用的自适应显示方法及装置
CN106462328B (zh) * 2014-06-24 2020-09-04 索尼公司 信息处理装置、信息处理方法和程序
CN104035741B (zh) * 2014-06-25 2017-06-16 青岛海信宽带多媒体技术有限公司 一种图像显示方法及装置
WO2016018414A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Display of multiple instances
CN106537895B (zh) * 2014-08-12 2020-10-16 索尼公司 信息处理设备、信息处理方法和计算机可读介质
KR20160028272A (ko) * 2014-09-03 2016-03-11 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US9940583B1 (en) 2014-09-26 2018-04-10 Amazon Technologies, Inc. Transmitting content to kiosk after determining future location of user
US10237329B1 (en) 2014-09-26 2019-03-19 Amazon Technologies, Inc. Wirelessly preparing device for high speed data transfer
US20160092034A1 (en) * 2014-09-26 2016-03-31 Amazon Technologies, Inc. Kiosk Providing High Speed Data Transfer
EP3352051A4 (en) 2015-09-18 2019-05-15 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
CN106933465B (zh) * 2015-12-31 2021-01-15 北京三星通信技术研究有限公司 一种基于智能桌面的内容显示方法和智能桌面终端
US11250201B2 (en) 2016-06-14 2022-02-15 Amazon Technologies, Inc. Methods and devices for providing optimal viewing displays
EP3473388A4 (en) * 2016-06-16 2020-01-29 Shenzhen Royole Technologies Co., Ltd. METHOD AND DEVICE FOR MULTIPLE-USER INTERACTION AND CHAPERON ROBOTS
EP3483702A4 (en) * 2016-07-05 2019-07-24 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
KR20180050052A (ko) * 2016-11-04 2018-05-14 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10264213B1 (en) 2016-12-15 2019-04-16 Steelcase Inc. Content amplification system and method
CN106780669A (zh) * 2016-12-30 2017-05-31 天津诗讯科技有限公司 一种图形智能替换设备
JPWO2018150757A1 (ja) * 2017-02-17 2019-12-12 ソニー株式会社 情報処理システム、情報処理方法、およびプログラム
JP6255129B1 (ja) * 2017-04-18 2017-12-27 京セラ株式会社 電子機器
JP6209699B1 (ja) * 2017-04-18 2017-10-04 京セラ株式会社 電子機器、プログラムおよび制御方法
JP2019003337A (ja) * 2017-06-13 2019-01-10 シャープ株式会社 画像表示装置
EP3660687A4 (en) * 2017-07-24 2020-08-19 Fujitsu Limited INFORMATION PROCESSING DEVICE, SHARE ORDER PROCESS AND SHARE ORDER PROGRAM
CN109426539A (zh) * 2017-08-28 2019-03-05 阿里巴巴集团控股有限公司 一种对象显示方法及装置
CN107580251B (zh) * 2017-09-15 2018-09-21 南京陶特思软件科技有限公司 信息输入方式自适应选择系统
CN107656789A (zh) * 2017-09-27 2018-02-02 惠州Tcl移动通信有限公司 一种多角度界面显示的方法、存储介质及智能终端
US10705673B2 (en) * 2017-09-30 2020-07-07 Intel Corporation Posture and interaction incidence for input and output determination in ambient computing
US10402149B2 (en) * 2017-12-07 2019-09-03 Motorola Mobility Llc Electronic devices and methods for selectively recording input from authorized users
US10656902B2 (en) 2018-03-05 2020-05-19 Sonos, Inc. Music discovery dial
CN108415574B (zh) * 2018-03-29 2019-09-20 北京微播视界科技有限公司 对象数据获取方法、装置、可读存储介质及人机交互装置
US10757323B2 (en) 2018-04-05 2020-08-25 Motorola Mobility Llc Electronic device with image capture command source identification and corresponding methods
TWI734024B (zh) * 2018-08-28 2021-07-21 財團法人工業技術研究院 指向判斷系統以及指向判斷方法
US11347367B2 (en) * 2019-01-18 2022-05-31 Dell Products L.P. Information handling system see do user interface management
US11009907B2 (en) 2019-01-18 2021-05-18 Dell Products L.P. Portable information handling system user interface selection based on keyboard configuration
CN111176538B (zh) * 2019-11-04 2021-11-05 广东小天才科技有限公司 一种基于智能音箱的屏幕切换方法及智能音箱
WO2021244071A1 (zh) * 2020-06-02 2021-12-09 海信视像科技股份有限公司 服务器设备、广播接收装置、服务器管理设备及信息联动系统
CN113709559B (zh) * 2021-03-05 2023-06-30 腾讯科技（深圳）有限公司 视频划分方法、装置、计算机设备及存储介质
CN114927027B (zh) * 2022-05-24 2024-05-03 洛阳理工学院 一种演唱训练系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101340531A (zh) * 2007-07-05 2009-01-07 夏普株式会社 图像数据显示系统及方法、图像数据输出装置以及程序
CN101925915A (zh) * 2007-11-21 2010-12-22 格斯图尔泰克股份有限公司 设备访问控制

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100373818B1 (ko) * 2000-08-01 2003-02-26 삼성전자주식회사 리얼 사이즈 디스플레이 시스템
US7953648B2 (en) * 2001-11-26 2011-05-31 Vock Curtis A System and methods for generating virtual clothing experiences
US7196733B2 (en) * 2002-01-28 2007-03-27 Canon Kabushiki Kaisha Apparatus for receiving broadcast data, method for displaying broadcast program, and computer program
JP3754655B2 (ja) * 2002-03-29 2006-03-15 三菱電機株式会社 プログラム仕様書自動生成システム
US7149367B2 (en) * 2002-06-28 2006-12-12 Microsoft Corp. User interface for a system and method for head size equalization in 360 degree panoramic images
US20050140696A1 (en) * 2003-12-31 2005-06-30 Buxton William A.S. Split user interface
JP4516827B2 (ja) * 2004-11-18 2010-08-04 理想科学工業株式会社 画像処理装置
US7576766B2 (en) * 2005-06-30 2009-08-18 Microsoft Corporation Normalized images for cameras
JP4134163B2 (ja) * 2005-12-27 2008-08-13 パイオニア株式会社 表示装置、表示制御装置、表示方法、表示プログラム、および記録媒体
JP4554529B2 (ja) * 2006-02-06 2010-09-29 富士フイルム株式会社 撮像装置
US20070252919A1 (en) * 2006-04-27 2007-11-01 Mcgreevy Roy L Remotely controlled adjustable flat panel display support system
US8588472B2 (en) * 2007-03-09 2013-11-19 Trigonimagery Llc Method and system for characterizing movement of an object
JP2008263500A (ja) * 2007-04-13 2008-10-30 Konica Minolta Holdings Inc コミュニケーション装置及びコミュニケーションプログラム
US8125458B2 (en) * 2007-09-28 2012-02-28 Microsoft Corporation Detecting finger orientation on a touch-sensitive device
CN101925916B (zh) * 2007-11-21 2013-06-19 高通股份有限公司 基于媒体偏好控制电子设备的方法和系统
US9202444B2 (en) * 2007-11-30 2015-12-01 Red Hat, Inc. Generating translated display image based on rotation of a display device
CN102203850A (zh) * 2008-09-12 2011-09-28 格斯图尔泰克公司 相对于用户而定向所显示的元素
US8432366B2 (en) * 2009-03-03 2013-04-30 Microsoft Corporation Touch discrimination
JP2010239582A (ja) * 2009-03-31 2010-10-21 Toshiba Corp 画像配信装置、画像配信方法、画像表示装置および画像表示方法
JP2010243921A (ja) * 2009-04-08 2010-10-28 Sanyo Electric Co Ltd 投写型映像表示装置
US20100290677A1 (en) * 2009-05-13 2010-11-18 John Kwan Facial and/or Body Recognition with Improved Accuracy
JP2010287083A (ja) * 2009-06-12 2010-12-24 Jm:Kk 室内改装費用見積システム
US20110187664A1 (en) * 2010-02-02 2011-08-04 Mark Rinehart Table computer systems and methods
JP5429713B2 (ja) * 2010-03-19 2014-02-26 国際航業株式会社 商品選択システム
JP5494284B2 (ja) * 2010-06-24 2014-05-14 ソニー株式会社 立体表示装置及び立体表示装置の制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101340531A (zh) * 2007-07-05 2009-01-07 夏普株式会社 图像数据显示系统及方法、图像数据输出装置以及程序
CN101925915A (zh) * 2007-11-21 2010-12-22 格斯图尔泰克股份有限公司 设备访问控制

Also Published As

Publication number Publication date
JP2013145455A (ja) 2013-07-25
BR102013000376A2 (pt) 2013-11-19
JP5957892B2 (ja) 2016-07-27
RU2012157285A (ru) 2014-07-10
US20130194238A1 (en) 2013-08-01
CN103207668A (zh) 2013-07-17

Similar Documents

Publication Publication Date Title
CN103207668B (zh) 信息处理装置、信息处理方法以及非暂态记录介质
CN104040463B (zh) 信息处理设备和信息处理方法、以及计算机程序
CN104040474B (zh) 信息处理设备、信息处理方法以及记录介质
CN104025004B (zh) 信息处理设备、信息处理方法和计算机程序
CN103309556B (zh) 信息处理设备、信息处理方法及计算机可读介质
US10733801B2 (en) Markerless image analysis for augmented reality
JP6200270B2 (ja) 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US9195677B2 (en) System and method for decorating a hotel room
CN104423806B (zh) 信息处理装置，信息处理方法和程序
CN104427282B (zh) 信息处理装置，信息处理方法和程序
US9870139B2 (en) Portable apparatus and method for sharing content with remote device thereof
CN109496293A (zh) 扩展内容显示方法、装置、系统及存储介质
JP7368699B2 (ja) 画像処理装置、画像通信システム、画像処理方法、及びプログラム
JP2012048656A (ja) 画像処理装置、画像処理方法
JP6093074B2 (ja) 情報処理装置及び情報処理方法、並びにコンピューター・プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant