CN106134190A - 显示控制装置、显示控制方法和程序 - Google Patents

显示控制装置、显示控制方法和程序 Download PDF

Info

Publication number
CN106134190A
CN106134190A CN201480069947.6A CN201480069947A CN106134190A CN 106134190 A CN106134190 A CN 106134190A CN 201480069947 A CN201480069947 A CN 201480069947A CN 106134190 A CN106134190 A CN 106134190A
Authority
CN
China
Prior art keywords
processing system
information processing
user
menu
shows
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480069947.6A
Other languages
English (en)
Inventor
池田哲男
坂本隆之
石井智裕
泉原厚史
山田真之
福马洋平
木村让
奥村泰史
涩谷崇
兵头克也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106134190A publication Critical patent/CN106134190A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3155—Modulator illumination systems for controlling the light source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005—Microphone arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/008—Visual indication of individual signal levels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Computer Hardware Design (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Projection Apparatus (AREA)
  • Light Sources And Details Of Projection-Printing Devices (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Digital Computer Display Output (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Arrangement Of Elements, Cooling, Sealing, Or The Like Of Lighting Devices (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Stored Programmes (AREA)

Abstract

本发明提供一种显示控制装置、显示控制方法和程序，其可以控制信息的显示，使得可以根据例如其中要显示信息的环境和/或所显示的信息的状态来更适当且更有效地显示所述信息。该显示控制装置具有显示控制单元，该显示控制单元控制如下信息的显示：该信息指示由音频输入单元或者音频输出单元执行波束形成而得到的方向性跨越的范围。

Description

显示控制装置、显示控制方法和程序
技术领域
本公开内容涉及一种显示控制装置、显示控制方法和程序。
背景技术
通过对触摸板的操纵来显示各种类型的信息的装置如智能电话或平板终端已经普及。在平板终端中，也增加了屏幕尺寸，并且考虑了多个用户同时操纵的用途。在相关技术中，投影仪已被用作显示信息的装置。
在相关技术中提出了用于有效地显示信息的许多技术。例如，如下专利文献1提出了在显示信息时同时显示多个窗口的方法。具体地，在后侧的窗口与前侧的窗口交叠的部分中，通过使关于后侧的窗口的显示信息比关于前侧的窗口的显示信息更淡地显示，可以浏览关于这两个窗口的显示信息。
专利文献
专利文献1：JP H8-123652A
发明内容
技术问题
当装置如智能电话、平板终端和投影仪显示信息时，其中显示信息的环境或者所显示的信息的情况可能不一定总是恒定。鉴于上述情况，有必要执行控制，使得可以根据其中显示信息的环境或者所显示的信息的情况来更适当且更有效地显示信息。
理想的是提出一种新颖的和改进的显示控制装置、新颖的和改进的显示控制方法以及新颖的和改进的程序，其能够执行控制以使得可以根据其中显示信息的环境或者所显示的信息的情况来更适当且更有效地显示信息。
问题的方案解决
根据本公开内容，提供有一种显示控制装置，该显示控制装置包括：显示控制单元，该显示控制单元被配置成控制如下显示：该显示用于指示通过由声音输入单元或者声音输出单元执行波束形成而形成的方向性的范围。
根据本公开内容，提供有一种显示控制方法，该显示控制方法包括：由处理器控制如下显示：该显示用于指示通过由声音输入单元或者声音输出单元执行波束形成而形成的方向性的范围。
根据本公开内容，提供有一种程序，该程序使计算机充当：显示控制单元，该显示控制单元被配置成控制如下显示：该显示用于指示通过由声音输入单元或者声音输出单元执行波束形成而形成的方向性的范围。
发明的有益效果
根据以上描述的本公开内容，可以提供一种新颖的和改进的显示控制装置、新颖的和改进的显示控制方法以及新颖的和改进的程序，其能够执行控制以使得可以根据其中显示信息的环境或者所显示的信息的情况来更适当且更有效地显示信息。
请注意，上述效果不一定受到限制，并且连同该效果一起或者替代该效果，可以展示期望引入本说明书中的任何效果或者可以从本说明书中预期的其他效果。
附图说明
图1是示出了根据本公开内容的实施方式的信息处理系统的配置的示例的说明图。
图2是示出了根据本公开内容的实施方式的信息处理系统的配置的示例的说明图。
图3是示出了根据本公开内容的实施方式的信息处理系统的配置的示例的说明图。
图4是示出了根据本公开内容的实施方式的信息处理系统的配置的示例的说明图。
图5是示出了根据本公开内容的实施方式的信息处理系统的功能性配置的示例的说明图。
图6是示出了根据本公开内容的实施方式的信息处理系统100的操纵情况的示例的说明图。
图7是示出了应用的GUI的示例的说明图。
图8是示出了应用的GUI的示例的说明图。
图9是示出了应用的GUI的示例的说明图。
图10是示出了应用的GUI的示例的说明图。
图11是示出了应用的GUI的示例的说明图。
图12是示出了应用的GUI的示例的说明图。
图13是示出了应用的GUI的示例的说明图。
图14是示出了根据本公开内容的实施方式的信息处理系统100的操作的示例的流程图。
图15是示出了根据本公开内容的实施方式的信息处理系统100的操作的示例的流程图。
图16是示出了根据本公开内容的实施方式的信息处理系统100的操作的示例的流程图。
图17是示出了应用的GUI的示例的说明图。
图18是示出了应用的GUI的示例的说明图。
图19是示出了应用的GUI的示例的说明图。
图20是示出了应用的GUI的示例的说明图。
图21是示出了应用的GUI的示例的说明图。
图22是示出了应用的GUI的示例的说明图。
图23是示出了应用的GUI的示例的说明图。
图24是示出了应用的GUI的示例的说明图。
图25是示出了应用的GUI的示例的说明图。
图26是示出了应用的GUI的示例的说明图。
图27是示出了应用的GUI的示例的说明图。
图28是示出了信息处理系统100d中的菜单显示控制示例的说明图。
图29是示出了信息处理系统100d中的菜单显示控制示例的说明图。
图30是示出了信息处理系统100c中的菜单显示控制示例的说明图。
图31是示出了信息处理系统100a中的菜单显示控制示例的说明图。
图32是示出了链接至根据本公开内容的实施方式的信息处理系统100的便携式终端的操作的示例的流程图。
图33是示出了根据本公开内容的实施方式的信息处理系统100的操作的示例的流程图。
图34是示出了应用的GUI的示例的说明图。
图35是示出了应用的GUI的示例的说明图。
图36是示出了应用的GUI的示例的说明图。
图37是示出了应用的GUI的示例的说明图。
图38是示出了根据本公开内容的实施方式的信息处理系统100的使用示例的流程图。
图39是示出了应用的GUI的示例的说明图。
图40是示出了应用的GUI的示例的说明图。
图41是示出了应用的GUI的示例的说明图。
图42是示出了根据本公开内容的实施方式的信息处理系统100的操作的示例的流程图。
图43是示出了根据本公开内容的实施方式的信息处理系统100的操作的示例的流程图。
图44是示出了根据本公开内容的实施方式的信息处理系统100的操作的示例的流程图。
图45是示出了应用的GUI的示例的说明图。
图46是示出了应用的GUI的示例的说明图。
图47是示出了应用的GUI的示例的说明图。
图48是示出了应用的GUI的示例的说明图。
图49是示出了应用的GUI的示例的说明图。
图50是示出了应用的GUI的示例的说明图。
图51是示出了应用的GUI的示例的说明图。
图52是示出了应用的GUI的示例的说明图。
图53是示出了应用的GUI的示例的说明图。
图54是示出了应用的GUI的示例的说明图。
图55是示出了应用的GUI的示例的说明图。
图56是示出了应用的GUI的示例的说明图。
图57是示出了应用的GUI的示例的说明图。
图58是示出了应用的GUI的示例的说明图。
图59是示出了应用的GUI的示例的说明图。
图60是示出了应用的GUI的示例的说明图。
图61是示出了应用的GUI的示例的说明图。
图62是示出了应用的GUI的示例的说明图。
图63是示出了应用的GUI的示例的说明图。
图64是示出了应用的GUI的示例的说明图。
图65是示出了应用的GUI的示例的说明图。
图66是示出了应用的GUI的示例的说明图。
图67是示出了应用的GUI的示例的说明图。
图68是示出了应用的GUI的示例的说明图。
图69是示出了应用的GUI的示例的说明图。
图70是示出了应用的GUI的示例的说明图。
图71是示出了应用的GUI的示例的说明图。
图72是示出了应用的GUI的示例的说明图。
图73是示出了应用的GUI的示例的说明图。
图74是示出了根据具体示例1的用户界面的说明图。
图75是示出了根据具体示例1的用户界面的说明图。
图76是示出了根据具体示例1的用户界面的说明图。
图77是示出了根据具体示例2的用户界面的说明图。
图78是示出了根据具体示例2的用户界面的说明图。
图79是示出了根据具体示例2的用户界面的说明图。
图80是示出了根据具体示例2的用户界面的说明图。
图81是示出了根据具体示例2的用户界面的说明图。
图82是示出了根据具体示例2的用户界面的说明图。
图83是示出了根据具体示例2的用户界面的说明图。
图84是示出了根据具体示例2的用户界面的说明图。
图85是示出了根据具体示例2的用户界面的说明图。
图86是示出了根据具体示例3的用户界面的说明图。
图87是示出了根据具体示例3的用户界面的说明图。
图88是示出了根据具体示例3的用户界面的说明图。
图89是示出了根据具体示例3的用户界面的说明图。
图90是示出了根据具体示例3的用户界面的说明图。
图91是示出了根据具体示例3的用户界面的说明图。
图92是示出了根据具体示例3的用户界面的说明图。
图93是示出了根据具体示例3的用户界面的说明图。
图94是示出了根据具体示例4的用户界面的说明图。
图95是示出了根据具体示例5的用户界面的说明图。
图96是示出了根据具体示例5的用户界面的说明图。
图97是示出了根据具体示例5的用户界面的说明图。
图98是示出了根据具体示例6的用户界面的说明图。
图99是示出了根据具体示例6的用户界面的说明图。
图100是示出了根据具体示例7的用户界面的说明图。
图101是示出了根据具体示例7的用户界面的说明图。
图102是示出了根据具体示例7的用户界面的说明图。
图103是示出了根据具体示例7的用户界面的说明图。
图104是示出了根据具体示例8的用户界面的说明图。
图105是示出了根据具体示例8的用户界面的说明图。
图106是示出了根据具体示例8的用户界面的说明图。
图107是示出了根据具体示例8的用户界面的说明图。
图108是示出了根据具体示例8的用户界面的说明图。
图109是示出了根据具体示例8的用户界面的说明图。
图110是示出了根据具体示例8的用户界面的说明图。
图111是示出了根据具体示例9的用户界面的说明图。
图112是示出了根据具体示例9的用户界面的说明图。
图113是示出了根据具体示例9的用户界面的说明图。
图114是示出了根据具体示例9的用户界面的说明图。
图115是示出了根据具体示例10的用户界面的说明图。
图116是示出了根据具体示例10的用户界面的说明图。
图117是示出了根据具体示例10的用户界面的说明图。
图118是示出了根据具体示例11的用户界面的说明图。
图119是示出了根据具体示例12的用户界面的说明图。
图120是示出了根据具体示例12的用户界面的说明图。
图121是示出了根据具体示例12的用户界面的说明图。
图122是示出了根据具体示例12的用户界面的说明图。
图123是示出了根据具体示例12的用户界面的说明图。
图124是示出了根据具体示例13的用户界面的说明图。
图125是示出了根据具体示例13的用户界面的说明图。
图126是示出了根据具体示例13的用户界面的说明图。
图127是示出了根据具体示例13的用户界面的说明图。
图128是示出了歌留多纸牌辅助应用的具体示例的说明图。
图129是示出了会话辅助应用的具体示例的说明图。
图130是示出投影表面跟踪应用的具体示例的说明图。
图131是示出投影表面跟踪应用的具体示例的说明图。
图132是示出投影表面跟踪应用的具体示例的说明图。
图133是示出投影表面跟踪应用的具体示例的说明图。
图134是示出了用餐辅助应用的具体示例的说明图。
图135是示出了用餐辅助应用的另一具体示例的说明图。
图136是示出了运动效果应用的具体示例的说明图。
图137是示出了运动效果应用的具体示例的说明图。
图138是示出了盒饭准备支持应用的具体示例的说明图。
图139是示出了由日常辅助应用进行的用户辅助的具体示例的说明图。
图140是示出了由日常辅助应用进行的用户辅助的具体示例的说明图。
图141是示出了由日常辅助应用进行的用户辅助的具体示例的说明图。
图142是示出了由日常辅助应用进行的用户辅助的具体示例的说明图。
图143是示出了由日常辅助应用进行的用户辅助的具体示例的说明图。
图144是示出了餐桌表示应用的具体示例的说明图。
图145是示出了食品推荐应用的具体示例的说明图。
图146是示出了餐具效果应用的具体示例的说明图。
图147是示出了房屋间链接应用的具体示例的说明图。
图148是示出了根据本公开内容的实施方式的信息处理系统100的操作的示例的流程图。
图149是示出了照明图的示例的说明图。
图150是示出了环境图的示例的说明图。
图151是示出了照明图与环境图之间的关联的示例的说明图。
图152是示出了应用照明关联表的示例的说明图。
图153是示出了照明图和环境图的值的示例的说明图。
图154是示出了照明图和环境图的值的示例的说明图。
图155是示出了当外部光被反映到环境图时的示例的说明图。
图156是示出了照明图和环境图的值的示例的说明图。
图157是示出了应用的具体示例的说明图。
图158是示出了应用的具体示例的说明图。
图159是示出了应用的具体示例的说明图。
图160是示出了应用的具体示例的说明图。
图161是示出了应用的具体示例的说明图。
图162是示出了应用的具体示例的说明图。
图163是示出了GUI的示例的说明图。
图164是示出了GUI的示例的说明图。
图165是示出了GUI的示例的说明图。
图166是示出了GUI的示例的说明图。
图167是示出了GUI的示例的说明图。
图168是示出了GUI的示例的说明图。
图169是示出了GUI的示例的说明图。
图170是示出了GUI的示例的说明图。
图171是示出了GUI的示例的说明图。
图172是示出了GUI的示例的说明图。
图173是示出了GUI的示例的说明图。
图174是示出了GUI的示例的说明图。
图175是示出了GUI的示例的说明图。
图176是示出了GUI的示例的说明图。
图177是示出了GUI的示例的说明图。
图178是示出了GUI的示例的说明图。
图179是示出了GUI的示例的说明图。
图180是示出了GUI的示例的说明图。
图181是示出了GUI的示例的说明图。
图182是示出了GUI的示例的说明图。
图183是示出了GUI的示例的说明图。
图184是示出了GUI的示例的说明图。
图185是示出了激活功能的可见性的示例的说明图。
图186是示出了GUI的示例的说明图。
图187是示出了触发的组合的示例的说明图。
图188是示出了GUI的示例的说明图。
图189是示出了GUI的示例的说明图。
图190是示出了窗口的操纵方法和模式的示例的说明图。
图191是示出了窗口的操纵方法和模式的示例的说明图。
图192是示出了窗口的操纵方法和模式的示例的说明图。
图193是示出了窗口的操纵方法和模式的示例的说明图。
图194是示出了窗口的操纵的示例的说明图。
图195是示出了由用户进行的操纵的说明图。
图196是示出了根据本公开内容的实施方式的信息处理系统100的操作的示例的流程图。
图197是示出了由用户对窗口的操纵的示例的说明图。
图198是示出了由用户对窗口的操纵的示例的说明图。
图199是示出了由用户对窗口的操纵的示例的说明图。
图200是示出了由用户对窗口的操纵的示例的说明图。
图201是示出了由用户对窗口的操纵的示例的说明图。
图202是示出了由用户对窗口的操纵的示例的说明图。
图203是示出了由用户对窗口的操纵的示例的说明图。
图204是示出了由用户对窗口的操纵的示例的说明图。
图205是示出了由用户对窗口的操纵的示例的说明图。
图206是示出了由用户对窗口的操纵的示例的说明图。
图207是示出了由用户对窗口的操纵的示例的说明图。
图208是示出了由用户对窗口的操纵的示例的说明图。
图209是示出了由用户对窗口的操纵的示例的说明图。
图210是示出了由用户对窗口的操纵的示例的说明图。
图211是示出了由用户对窗口的操纵的示例的说明图。
图212是示出了由用户对窗口的操纵的示例的说明图。
图213是示出了由用户对窗口的操纵的示例的说明图。
图214是示出了由用户对窗口的操纵的示例的说明图。
图215是示出了由用户对窗口的操纵的示例的说明图。
图216是示出了由用户对窗口的操纵的示例的说明图。
图217是示出了由用户对窗口的操纵的示例的说明图。
图218是示出了由用户对窗口的操纵的示例的说明图。
图219是示出了由用户对窗口的操纵的示例的说明图。
图220是示出了当窗口干扰放置在投影表面上的真实物体时的显示控制示例的说明图。
图221是示出了信息的显示示例的说明图。
图222是示出了GUI的示例的说明图。
图223是示出了GUI的示例的说明图。
图224是示出了GUI的示例的说明图。
图225是示出了GUI的示例的说明图。
图226是示出了GUI的示例的说明图。
图227是示出了GUI的示例的说明图。
图228是示出了GUI的示例的说明图。
图229是示出了GUI的示例的说明图。
图230是示出了用户界面的概述的说明图。
图231是示出了用户界面的概述的说明图。
图232是示出了用户位置估计功能的示例的说明图。
图233是示出了用户位置估计功能的示例的说明图。
图234是示出了用户位置估计功能的示例的说明图。
图235是示出了用户位置估计功能的示例的说明图。
图236是示出了用户位置估计功能的示例的说明图。
图237是示出了用户位置估计功能的示例的说明图。
图238是示出了用户界面的示例的说明图。
图239是示出了用户界面的示例的说明图。
图240是示出了用户界面的示例的说明图。
图241是示出了用户界面的示例的说明图。
图242是示出了用户界面的示例的说明图。
图243是示出了用户界面的示例的说明图。
图244是示出了用户界面的示例的说明图。
图245是示出了用户界面的示例的说明图。
图246是示出了用户界面的示例的说明图。
图247是示出了用户界面的示例的说明图。
图248是示出了用户界面的示例的说明图。
图249是示出了用户界面的示例的说明图。
图250是示出了用户界面的示例的说明图。
图251是示出了用户界面的示例的说明图。
图252是示出了用户界面的示例的说明图。
图253是示出了用户界面的示例的说明图。
图254是示出了用户界面的示例的说明图。
图255是示出了用户界面的示例的说明图。
图256是示出了用户界面的示例的说明图。
图257是示出了用户界面的示例的说明图。
图258是示出了用户界面的示例的说明图。
图259是示出了用户界面的示例的说明图。
图260是示出了用户界面的示例的说明图。
图261是示出了用户界面的示例的说明图。
图262是示出了用户界面的示例的说明图。
图263是示出了用户界面的示例的说明图。
图264是示出了用户界面的示例的说明图。
图265是示出了用户界面的示例的说明图。
图266是示出了信息处理系统中执行的显示控制处理的流程的示例的流程图。
图267是示出了用户界面的概述的说明图。
图268是示出了信息处理系统的逻辑配置的示例的框图。
图269是示出了真实对象识别功能的示例的说明图。
图270是示出了显示区域决定处理的示例的说明图。
图271是示出了显示区域决定处理的示例的说明图。
图272是示出了显示区域决定处理的示例的说明图。
图273是示出了显示区域决定处理的示例的说明图。
图274是示出了显示区域决定处理的示例的说明图。
图275是示出了显示区域决定处理的示例的说明图。
图276是示出了显示区域决定处理的示例的说明图。
图277是示出了显示区域决定处理的示例的说明图。
图278是示出了显示区域决定处理的示例的说明图。
图279是示出了显示区域决定处理的示例的说明图。
图280是示出了显示区域决定处理的示例的说明图。
图281是示出了显示区域决定处理的示例的说明图。
图282是示出了显示区域决定处理的示例的说明图。
图283是示出了显示区域决定处理的示例的说明图。
图284是示出了显示区域决定处理的示例的说明图。
图285是示出了显示区域决定处理的示例的说明图。
图286是示出了显示区域决定处理的示例的说明图。
图287是示出了显示区域决定处理的示例的说明图。
图288是示出了在信息处理系统中执行的显示控制处理的流程的示例的流程图。
图289是示出了在信息处理系统中执行的显示区域决定处理的流程的示例的流程图。
图290是示出了在信息处理系统中执行的显示区域决定处理的流程的示例的流程图。
图291是示出了信息处理系统的逻辑配置的示例的框图。
图292是示出了计算投影放大倍率的处理的说明图。
图293是示出了用户界面的示例的说明图。
图294是示出了用户界面的示例的说明图。
图295是示出了用户界面的示例的说明图。
图296是示出了用户界面的示例的说明图。
图297是示出了用户界面的示例的说明图。
图298是示出了在信息处理系统中执行的显示控制处理的流程的示例的流程图。
图299是示出了用户界面的示例的说明图。
图300是示出了用户界面的示例的说明图。
图301是示出了用户界面的示例的说明图。
图302是示出了用户界面的示例的说明图。
图303是示出了用户界面的示例的说明图。
图304是示出了用户界面的示例的说明图。
图305是示出了用户界面的示例的说明图。
图306是示出了用户界面的示例的说明图。
图307是示出了用户界面的示例的说明图。
图308是示出了用户界面的示例的说明图。
图309是示出了用户界面的示例的说明图。
图310是示出了用户界面的示例的说明图。
图311是示出了用户界面的示例的说明图。
图312是示出了用户界面的示例的说明图。
图313是示出了用户界面的示例的说明图。
图314是示出了用户界面的示例的说明图。
图315是示出了用户界面的示例的说明图。
图316是示出了在信息处理系统中执行的显示控制处理的流程的示例的流程图。
图317是示出了在信息处理系统中执行的显示控制处理的流程的示例的流程图。
图318是示出了硬件配置示例的说明图。
具体实施方式
在下文中，将参照附图来详细描述本公开内容的优选实施方式。在本说明书和附图中，具有基本上相同功能和结构的元件用相同的附图标记来表示，并且省略重复的说明。
将按以下顺序进行描述。
<1.本公开内容的实施方式>
(1.1.系统配置示例)
(1.2.功能性配置示例)
(1.3.显示控制示例)
<2.用户界面的具体示例>
<3.硬件配置示例>
<4.结论>
<1.本公开内容的实施方式>
(1.1.系统配置示例)
首先，将参照附图来描述根据本公开内容的实施方式的信息处理系统的配置的示例。图1是示出了根据本公开内容的实施方式的信息处理系统的配置的示例的说明图。在下文中，将参照图1来描述根据本公开内容的实施方式的信息处理系统的配置的示例。
如图1所示，根据本公开内容的实施方式的信息处理系统100a被配置成包括输入单元110a和输出单元130a。图1中示出的根据本公开内容的实施方式的信息处理系统100a是如下系统，该系统在桌子140a的上表面上显示信息，并且使得使用信息处理系统100a的用户能够操纵显示在桌子140a上的信息。如图1所示的在桌子140a的上表面上显示信息的方案也称为“投影型”。
输入单元110a是用于输入使用信息处理系统100a的用户的操纵内容或者放置在桌子140a上的物体的形状或设计的装置。在如图1所示的示例中，例如，输入单元110a被设置在桌子140a的上方以被悬挂在天花板上。即，输入单元110a被设置成与作为在上面显示信息的目标的桌子140a分离。作为输入单元110a，可以使用例如：使用一个镜头对桌子140a成像的照相机、能够使用两个镜头对桌子140a成像并且记录深度方向上的信息的立体照相机、收集使用信息处理系统100a的用户发出的声音或其中放置信息处理系统100a的环境的环境声音的麦克风。
当使用一个镜头对桌子140a成像的照相机被用作输入单元110a时，信息处理系统100a可以通过分析由照相机拍摄的图像来检测放置在桌子140a上的物体。当立体照相机被用作输入单元110a时，例如，可以使用立体照相机中的可见光照相机或红外照相机。当立体照相机被用作输入单元110a时，输入单元110a可以获取深度信息。当输入单元110a获取深度信息时，信息处理系统100a可以检测到例如放置在桌子140a上的手或物体。当输入单元110a获取深度信息时，信息处理系统100a可以检测到用户的手触摸或靠近桌子140a，或者可以检测到手离开桌子140a。在以下描述中，用户使用操纵器如手来对信息显示表面的触摸或靠近也简单地统称为“触摸”。
当麦克风被用作输入单元110a时，可以使用用于收集特定方向上的声音的麦克风阵列作为麦克风。当麦克风阵列被用作输入单元110a时，信息处理系统100a可以将麦克风阵列的声音收集方向调节至任意方向。
在下文中，将主要描述从由输入单元110a拍摄的图像中检测到由用户进行的操纵的情况。然而，本公开内容不限于相关示例。可以由用于检测用户手指触摸的触摸面板来检测由用户进行的操纵。此外，可以由输入单元110a获取的用户操纵的示例可以包括信息显示表面上的触摸笔操纵和对照相机的手势操纵。
输出单元130a是根据如下信息在桌子140a上显示信息的装置：关于由使用信息处理系统100a的用户通过输入单元110a输入的操纵内容的信息、由输出单元130a输出的信息的内容、或者放置在桌子140a上的物体的形状或设计，或输出单元130a输出声音。例如，投影仪或扬声器被用作输出单元130a。在如图1所示的示例中，例如，输出单元130a被设置在桌子140a的上方以被悬挂在天花板上。当输出单元130a被配置成投影仪时，输出单元130a将信息投影至桌子140a的上表面。当输出单元130a被配置成扬声器时，输出单元130a基于声音信号来输出声音。当输出单元130a被配置成扬声器时，扬声器的数目可以是一个或多个。当输出单元130a被配置成多个扬声器时，信息处理系统100a可以对输出声音的扬声器进行限制或调节声音的输出方向。
当信息处理系统100a为投影型时，如图1所示，输出单元130a可以包括照明装置。当输出单元130a包括照明装置时，信息处理系统100a可以基于通过输入单元110a输入的信息的内容来控制照明装置的开启或关闭状态等。
使用信息处理系统100a的用户可以将该用户的手指等放置在桌子140a上以操纵由输出单元130a显示在桌子140a上的信息。使用信息处理系统100a的用户可以将对象放置在桌子140a上，使输入单元110a识别对象，以及对所识别的对象执行各种操纵。
虽然在图1中未示出，但是可以将另一装置连接至信息处理系统100a。例如，可以将照射桌子140a的照明装置连接至信息处理系统100a。当将照射桌子140a的照明装置连接至信息处理系统100a时，信息处理系统100a可以根据信息显示表面的状态来控制照明装置的发光状态。
在本公开内容中，信息处理系统不限于图1所示的形式。图2至图4是示出了根据本公开内容的实施方式的信息处理系统的其他新形式的示例的说明图。
图2是示出了根据本公开内容的实施方式的信息处理系统100b的配置的示例的说明图。信息处理系统被配置成通过使输出单元130a从桌子140b的下侧照射信息来将信息显示在桌子140b的表面上。即，在如图2所示的信息处理系统100b中，信息显示表面是桌子140b的上表面。桌子140b的表面由透明材料如玻璃板或透明塑料板形成。如图2所示的使输出单元130a从桌子140b的下侧照射信息并且将信息显示在桌子140b的上表面上的方案也称为“背面投影型”。在如图2所示的示例中，示出了其中输入单元110b被设置在桌子140b的表面上的配置。然而，如在如图1所示的信息处理系统100a中那样，输入单元110b可以被设置在桌子140b的下方以与桌子140b分离。
图3是示出了根据本公开内容的实施方式的信息处理系统100c的配置的示例的说明图。图3示出了其中触摸面板型显示器被放置在桌子上的状态。以这种方式，在触摸面板型显示器的情况下，输入单元110c和输出单元130c可以被配置成触摸面板型显示器。即，在如图3所示的信息处理系统100c中，信息显示表面是触摸面板型显示器。在如图3所示的信息处理系统100c中，检测用户的位置的照相机可以被设置在触摸面板型显示器的上方，如在如图1所示的信息处理系统100a中那样。
图4是示出了根据本公开内容的实施方式的信息处理系统100d的配置的示例的说明图。图4示出了其中平板型显示器被放置在桌子上的状态。即，在如图4所示的信息处理系统100d中，信息显示表面是平板型显示器。以这种方式，在平板型显示器的情况下，输入单元110d和输出单元130d可以被配置成平板型显示器。在如图4所示的平板型显示器中，可以设置有触摸面板。
在以下的描述中，将如图1所示的信息处理系统100a的配置作为示例进行描述，在该配置中，输入单元110a和输出单元130a被设置在桌子140a的上方，即输入单元110a和输出单元130a被设置成与信息显示表面分离。在以下的描述中，信息处理系统100a、输入单元110a和输出单元130a也将被描述为信息处理系统100、输入单元110和输出单元130。
(1.2.功能性配置示例)
接着，将描述根据本公开内容的实施方式的信息处理系统的功能性配置的示例。图5是示出了根据本公开内容的实施方式的信息处理系统的功能性配置的示例的说明图。在下文中，将参照图5来描述根据本公开内容的实施方式的信息处理系统的功能性配置的示例。
如图5所示，根据本公开内容的实施方式的信息处理系统100被配置成包括输入单元110、控制单元120和输出单元130。
输入单元110输入来自使用信息处理系统100的用户的对信息处理系统100的操纵内容或者放置在由输出单元130通过其输出信息的表面(例如，如图1所示的桌子140a)上的物体的形状或设计。来自使用信息处理系统100的用户的对信息处理系统100的操纵内容包括对由信息处理系统100输出到信息显示表面的GUI的操纵内容。关于物体的形状或设计的信息或者由输入单元110输入的对信息处理系统100的操纵内容被发送至控制单元120。
当信息处理系统100为投影型时，输入单元110可以被配置成例如配置有一个镜头的照相机、配置有两个镜头的立体照相机或者麦克风。
控制单元120对信息处理系统100的每个单元执行控制。例如，控制单元120使用由输入单元110输入的信息来生成要从输出单元130输出的信息。如图5所示，控制单元120被配置成包括检测单元121和输出控制单元122。检测单元121执行对由使用信息处理系统100的用户对信息处理系统100的操纵内容、由输出单元130输出的信息的内容或者放置在由输出单元130通过其输出信息的表面(例如，如图1所示的桌子140a)上的物体的形状或设计进行检测的处理。由检测单元121检测到的内容被发送至输出控制单元122。基于由检测单元121检测到的内容，输出控制单元122执行控制，使得生成从输出单元130输出的信息。由输出控制单元122生成的信息被发送至输出单元130。
例如，当信息处理系统100为如图1所示的投影型时，信息显示表面上的坐标被预先校对以匹配操纵器如用户的手在显示表面上的触摸坐标，因此，检测单元121可以检测到GUI的一部分，即由操纵器如用户的手触摸的那部分。
控制单元120可以被配置成例如中央处理单元(CPU)。当控制单元120被配置成装置如CPU时，该装置可以被配置成电子电路。
虽然在图5中未示出，但是控制单元120可以具有执行与另一装置进行无线通信的通信功能或者对连接至信息处理系统100的另一装置例如照明装置的操作进行控制的功能。
输出单元130根据如下信息来输出信息：关于由使用信息处理系统100的用户通过输入单元110输入的操纵内容、由输出单元130输出的信息的内容以及放置在由输出单元130通过其输出信息的表面(例如，如图1所示的桌子140a)上的物体的形状或设计。输出单元130基于由输出控制单元122生成的信息来输出信息。由输出单元130输出的信息包括要显示在信息显示表面上的信息、要从扬声器(未示出)输出的声音等。
如图5所示的信息处理系统100可以被配置成单个装置或者可以配置成另一装置的一部分或者全部。例如，在如图5所示的信息处理系统100的功能性配置的示例中，控制单元120可以被包括在装置如经由网络等连接至输入单元110和输出单元130的服务器中。当控制单元120被包括在装置如服务器中时，来自输入单元110的信息经由网络等被发送至装置如服务器，控制单元120对来自输入单元110的信息执行处理，并且经由网络等将要由输出单元130输出的信息从装置如服务器发送至输出单元130。
以上参照图5描述了根据本公开内容的实施方式的信息处理系统100的功能性配置的示例。接着，将描述由根据本公开内容的实施方式的信息处理系统100进行的对信息的显示控制示例。
(1.3.显示控制示例)
图6是示出了根据本公开内容的实施方式的信息处理系统100的操纵情况的示例的说明图。如图6所示，根据本公开内容的实施方式的信息处理系统100是例如为了使多个用户独立地执行显示在桌子140a上的同一画面上的应用而配置的系统。如图6所示的应用的图形用户界面(GUI)由输出控制单元122生成并且由输出单元130输出。图6中示出的附图标记1100表示用于操纵应用的菜单按钮。
根据本公开内容的实施方式的信息处理系统100使用输入单元110获取来自用户的对由输出单元130输出到信息显示表面的应用的GUI的操纵内容。信息处理系统100允许用户用操纵器如该用户的手触摸显示表面，或者在显示表面上移动该用户正在用来触摸显示表面的操纵器，以及接收由输出单元130输出至信息显示表面的应用的GUI的操纵。
图7和图8是示出了由根据本公开内容的实施方式的信息处理系统100显示的应用的GUI的示例的说明图。图7示出了其中按钮被布置成以应用的窗口的一角(在图7的示例中为左方的角)为中心的扇形形式的GUI的示例。图8示出了其中按钮被布置成沿应用的窗口的一条边(在图8的示例中为下方的边)的GUI的示例。图7中示出的附图标记1110表示用来操纵应用的菜单按钮。图7中示出的附图标记1110表示当用户触摸由附图标记1100表示的菜单按钮时显示的菜单按钮组或者初始地显示并用于操纵该应用的菜单按钮组。类似地，图8中示出的附图标记1100'是用于操纵该应用的菜单按钮。图8中示出的附图标记1110'表示当用户触摸由附图标记1110'表示的菜单按钮时显示的菜单按钮组或者初始地显示并用于操纵该应用的菜单按钮组。
当用户用其手指等触摸菜单按钮组1110中的任何菜单钮并且该用户在触摸状态下沿着信息显示表面上的菜单按钮组1110的那一行移动该用户的手指等时，信息处理系统100跟踪来自用户的操纵并且将菜单按钮组1110显示成使得菜单按钮组1110围绕菜单按钮1100旋转。
图9和图10是示出了由根据本公开内容的实施方式的信息处理系统100显示的应用的GUI的示例的说明图，并且是示出了其中显示多个窗口的状态的说明图。图9和图10示出了显示其中全局菜单和局部菜单的形式：全局菜单是用于供用户激活由信息处理系统100执行的应用的菜单，局部菜单是用于供用户操纵被激活的应用的菜单。图9示出了其中以扇形形式显示全局菜单和局部菜单的按钮形式的显示示例。图10示出了以条形形式显示全局菜单和局部菜单的显示示例。在图9中，全局菜单是菜单按钮1100a和菜单按钮组1110a，局部菜单是菜单按钮1100b和菜单按钮组1110b。在图10中，全局菜单是菜单按钮1100'和菜单按钮组1110'。
图11至图13是示出了由根据本公开内容的实施方式的信息处理系统100显示的应用的GUI的示例的说明图。在图11中，附图标记A表示用于激活相机应用的按钮图标1101的示例，附图标记B表示用于读取由信息处理系统100管理的数据的按钮图标1101的示例，以及附图标记C表示用于表示文件夹的按钮图标1101的示例。当用户选择由图11中的附图标记B表示的用于读取由信息处理系统100管理的数据的按钮图标1101时，信息处理系统100读取数据，并且执行与该数据的类型对应的操作。当数据是图像数据时，信息处理系统100从输出单元130输出该图像数据。当数据是音乐数据时，信息处理系统100从输出单元130再现该音乐数据。
图12是示出了当信息处理系统100的用户选择由图11中的附图标记A表示的用于激活照相机应用的按钮图标1101时的显示示例的说明图。图13是示出了当信息处理系统100的用户选择菜单按钮1100时的显示示例的说明图。在如图13所示的示例中，当菜单按钮1100被用户选择时，显示用于执行属于菜单钮1100的功能的菜单按钮组1110。
当根据本公开内容的实施方式的信息处理系统100输出这样的GUI并且预先在初始状态设定中显示菜单时，根据另一窗口的位置或者信息显示表面的状态例如物体被放置在如图1所示的桌子140a上的状态，可能发生各种问题。例如，当窗口的位置伸出到显示区域外时，可能存在无法选择的菜单。当窗口被另一窗口覆盖并且用户不执行将该窗口移动到最前方的操纵，则可能存在无法选择的菜单。在根据本公开内容的实施方式的信息处理系统100中，如图6所示，用户可以在各个方向上操纵菜单。因此，根据用户的位置或方向，用户可能位于远离菜单的地方，因此用户可能难以触摸菜单。当如图1所示从输出单元130a将信息显示在桌子140a上时，菜单可能与其中物体被放置在桌子140a上的位置交叠，因此，用户可能无法操纵该菜单。
因此，根据本公开内容的实施方式的信息处理系统100检测另一窗口的位置或者信息显示表面的状态，并且基于检测结果来控制该菜单的位置。具体地，根据本公开内容的实施方式的信息处理系统100检测例如放置在如图1所示的桌子140a或如图2所示的桌子140b上的物体的状态，并且基于检测结果来控制该菜单的位置。通过检测信息显示表面的状态并且基于检测结果来控制该菜单的位置，根据本公开内容的实施方式的信息处理系统100可以根据其中显示信息的环境来适当且有效地显示信息。在下文中，将描述由根据本公开内容的实施方式的信息处理系统100对菜单的位置进行控制的方法。
图14至图16是示出了根据本公开内容的实施方式的信息处理系统100的操作的示例。图14至图16示出了当信息处理系统100检测到另一窗口的位置或者信息显示表面的状态并且基于检测结果来控制菜单的位置时信息处理系统100的操作的示例。在下文中，将参照图14至图16来描述根据本公开内容的实施方式的信息处理系统100的操作的示例。
当信息处理系统100的用户执行预定操纵以显示菜单时，信息处理系统100将显示菜单处的菜单移动目的地设定至当前菜单位置(步骤S1001)。步骤S1001的处理由例如输出控制单元122执行。随后，信息处理系统100确定根据由用户执行的操纵来显示的窗口的状态是否与菜单位置相关(步骤S1002)。该确定由例如检测单元121执行。具体地，在步骤S1002中，信息处理系统100确定该窗口是否被最大化。当窗口被最大化时，信息处理系统100确定窗口的状态与菜单位置相关。窗口被最大化这一事实意味着被该窗口被显示在能够由输出单元130显示的最大范围中。
当在步骤S1002中确定根据由用户执行的操纵来显示的窗口的状态与菜单位置相关(在步骤S1002为是)时，即窗口被最大化时，信息处理系统100随后执行根据窗口的状态对在步骤S1001中设定的菜单位置施加偏移的处理(步骤S1003)。即，信息处理系统100对在步骤S1001中设定的菜单位置指定偏移量，使得菜单位置以预定量靠近窗口的内部。步骤S1003的处理由例如输出控制单元122执行。
图17是示出了由根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图，并且示出了其中由信息处理系统100显示的应用的窗口被最大化的状态。具体地，由于窗口处于最大化状态，因此由信息处理系统100在步骤S1003中执行以预定量将菜单按钮1100的位置移动到窗口内的处理，如图17所示。相反地，当在步骤S1002中确定根据由用户执行的操纵来显示的窗口的状态与菜单位置不相关(在步骤S1002为否)时，即窗口未被最大化时，信息处理系统100跳过步骤S1003的处理。
随后，信息处理系统100确定在步骤S1001中设定的菜单移动目的地是否在画面内，即是否在能够由输出单元130显示的画面内(步骤S1004)。该确定由例如检测单元121执行。
图18是示出了由根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图，并且是示出了菜单是否在画面内的说明图。在图18中，由虚线指示的圆圈是当菜单按钮1100的菜单移动目的地在画面外——即在能够由输出单元130显示的画面外——时的菜单移动目的地的示例。由实线指示的圆圈是当菜单按钮1100的菜单移动目的地在画面内——即在能够由输出单元130显示的画面内——时的菜单移动目的地的示例。
当在步骤S1001中设定的菜单移动目的地在画面内(在步骤S1004中为是)时，信息处理系统100随后确定在步骤S1001中设定的菜单移动目的地是否被由信息处理系统100显示的另一窗口覆盖(步骤S1005)。该确定由例如检测单元121执行。
图19是示出了由根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图，并且示出了其中菜单按钮1100是否被由信息处理系统100显示的另一窗口覆盖的说明图。在图19中，由虚线指示的圆圈是当菜单按钮1100被其他窗口覆盖时的菜单移动目的地的示例。由实线指示的圆圈是当菜单按钮1100未被其他窗口覆盖时的菜单移动目的地的示例。
当在步骤S1001中设定的菜单移动目的地未被由信息处理系统100显示的其他窗口覆盖(在步骤S1005中为是)时，信息处理系统100随后确定在步骤S1001中设定的菜单移动目的地是否位于与用户的位置或者用户的操纵方向对应的适当的位置(步骤S1006)。具体地，信息处理系统100通过将在步骤S1001中设定的菜单移动目的地与用户的位置或者用户的操纵方向进行比较来确定在步骤S1001中设定的菜单移动目的地是否位于与用户的位置或者用户的操纵方向对应的适当的位置处。该确定由例如检测单元121执行。
图20是示出了由根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图，并且是示出了在步骤S1001中设定的菜单移动目的地是否位于与用户的位置或者用户的操纵方向对应的适当的位置处的说明图。在图20中，由虚线指示的圆圈是其中由于菜单按钮1100的移动目的地远离用户的位置因此菜单按钮1100的移动目的地不位于于用户的位置或者用户的操纵方向(从画面的下侧到上侧的方向)对应的适当的位置处的情况的示例。由实线指示的圆圈是其中由于菜单按钮1100的移动目的地接近用户位置因此菜单按钮1100的移动目的地位于与用户的位置或者用户的操纵方向(从画面的下侧到上侧的方向)对应的适当的位置处的情况的示例。
当在步骤S1006中确定在步骤S1001中设定的菜单移动目的地位于与用户的位置或者用户的操作方向对应的适当位置处(在步骤S1006中为是)时，信息处理系统100随后确定在步骤S1001中设定的菜单移动目的地是否干扰放置在由信息处理系统100显示的信息显示表面上的物体(步骤S1007)。该确定由例如检测单元121执行。由信息处理系统100显示的信息显示表面的示例包括如图1所示的桌子140a的上表面。菜单移动目的地干扰物体这一事实意味着菜单移动目的地与物体的至少一部分交叠。
图21是示出了由根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图，并且是示出了在步骤S1001中设定的菜单按钮1100的移动目的地是否干扰放置在信息显示表面上的物体1200的说明图。在图21中，由虚线指示的圆圈是菜单按钮1100的移动目的地干扰放置在信息显示表面上的物体1200的情况的示例。由实线指示的圆圈是菜单按钮1100的移动目的地不干扰放置在信息显示表面上的物体1200的情况的示例。检测单元121可以确定当菜单按钮1100的移动目的地与放置在信息显示表面上的如由虚线指示的圆圈中的物体1200交叠时菜单按钮1100的移动目的地一概会干扰物体1200。检测单元121可以确定当菜单按钮1100的移动目的地与放置在信息显示表面上的物体交叠并且菜单按钮1100的移动目的地位于物体1200的平坦表面上时，菜单移动目的地不干扰放置在信息显示表面上的物体。
当在步骤S1001中设定的菜单移动目的地不干扰放置在信息显示表面上的物体(在步骤S1007中为是)时，信息处理系统100将由用户调用的菜单移动到在步骤S1001中设定的移动目的地(步骤S1008)。步骤S1008的处理由例如输出控制单元122执行。
相反地，当在前述步骤S1004至S1007的确定过程中有至少一个条件不被满足(在步骤S1004至S1007中为否)时，信息处理系统100随后确定是否检查了所有的菜单移动目的地(步骤S1009)。是否检查了所有的菜单移动目的地的确定由例如检测单元121执行。
当在前述步骤S1009中确定不是所有的菜单移动目的地都被检查(在步骤S1009中为否)时，信息处理系统100对其他移动目的地执行前述步骤S1004至S1007的确定。首先，信息处理系统100确定用户位置是否被确认(步骤S1010)。用户的位置是否被确认的确定由例如检测单元121执行。具体地，在步骤S1010中，通过例如由照相机识别用户的身体、脸、头等或者由麦克风识别声音的方向来确定用户的位置是否被确认。
当在前述步骤S1010中确定用户的位置被确认(在步骤S1010中为是)时，信息处理系统100随后将菜单移动目的地设定至最接近用户位置的未经检查的位置(步骤S1011)。步骤S1011的处理由例如输出控制单元122执行。当菜单移动目的地被设定至最接近用户位置的未经检查的位置时，信息处理系统100随后再次执行前述步骤S1004至S1007的确定。当菜单具有如图7所示的按钮形式时，菜单移动目的地被设定至窗口的四个角中最接近用户位置的未经检查的位置。当菜单具有如图8所示的条形形式时，菜单移动目的地被设定至窗口的四条边中最接近用户位置的未经检查的位置。
图22是示出了由根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。在图22中，由实线指示的圆圈是在步骤S1001中设定的菜单按钮1100的移动目的地(初始菜单位置)的示例，由虚线指示的圆圈是菜单按钮1100的移动目的地候选的示例。在如图22所示的示例中，最接近用户位置的角是窗口的左下角，第二接近的角是窗口的右下角，以及第三接近的角(不包括初始菜单位置)是窗口的右上角。因此，在如图22所示的示例中，信息处理系统100将菜单按钮1100的移动目的地首先设定至作为最接近用户位置的未检查的位置的、最接近用户位置的窗口的左下角。
相反地，当在前述步骤S1010中确定用户的位置未被确认(在步骤S1010中为否)时，信息处理系统100随后确定在信息显示表面上是否识别到由用户经常使用的物体(步骤S1012)。在信息显示表面上对由用户经常使用的物体的识别由例如输出控制单元122执行。由用户经常使用的物体可以是任何物体，如移动电话、智能电话、平板终端、钥匙、书、报纸、杂志、餐具或玩具。信息处理系统100可以通过识别放置在信息显示表面上的物体并且将预先识别的物体与在要显示菜单的时间点处放置在信息显示表面上的物体进行比较来确定是否存在由用户经常使用的物体。
信息处理系统100可以通过保存由输入单元110获取的信息来存储放置在信息显示表面上的物体的历史。不言而喻，放置在信息显示表面上的物体的历史可以被存储在经由网络等连接至信息处理系统100的另一装置中。
在确定放置在信息显示表面上的物体是否为由用户经常使用的物体时，信息处理系统100可以确定例如该物体是否被超过预定频率地放置在信息显示表面上，或者可以确定例如该物体是否为被登记为由用户经常使用的物体的物体。
当在前述步骤S1012中确定在信息显示表面上识别到由用户经常使用的物体(在步骤S1012中为是)时，信息处理系统100随后将菜单移动目的地设定至最接近由用户经常使用的物体并且未经检查的位置(步骤S1013)。步骤S1013的处理由例如输出控制单元122执行。
图23是示出了由根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。在图23中，由实线指示的圆圈是在步骤S1001中设定的菜单按钮1100的移动目的地(初始菜单位置)的示例，由虚线指示的圆圈是菜单按钮1100的移动目的地候选的示例。在如图23所示的示例中，最接近由用户经常使用的物体的位置的角是窗口的左下角，第二接近的角是窗口的右下角，以及第三接近的角(不包括初始菜单位置)是窗口的右上角。因此，在如图23所示的示例中，信息处理系统100将菜单按钮1100的移动目的地首先设定至作为最接近由用户经常使用的物体的位置的未经检查的位置的、最接近由用户经常使用的物体的位置的窗口的左下角。
相反地，当在前述步骤S1012中确定未在信息显示表面上识别到由用户经常使用的物体(在步骤S1012中为否)时，信息处理系统100随后确定是否可以使用用户的操纵历史来决定菜单移动目的地(步骤S1014)。是否可以使用用户的操纵历史来决定菜单移动目的地的确定由例如检测单元121执行。信息处理系统100可以通过保存由输入单元110获取的关于用户操纵的信息来存储用户的操纵历史。不言而喻，用户的操纵历史可以被存储在经由网络等连接至信息处理系统100的另一装置中。
当在前述步骤S1014中确定可以使用用户的操纵历史来决定菜单移动目的地(在步骤S1014中为是)时，信息处理系统100随后将菜单移动目的地设定至由用户经常操纵的未经检查的位置(步骤S1015)。步骤S1015的处理由例如输出控制单元122执行。
图24是示出了由根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。在图24中，由实线指示的圆圈是在步骤S1001中设定的菜单按钮1100的移动目的地(初始菜单位置)的示例。用虚线指示的圆圈是菜单按钮1100的移动目的地的候选的示例。在如图24所示的示例中，最经常由用户操纵的位置是窗口的右下角，第二经常由用户操纵的位置是窗口的左下角，以及第三经常由用户操纵的位置(不包括初始菜单位置)是窗口的右上角。因此，在如图24所示的示例中，信息处理系统100首先将菜单按钮1100的移动目的地设定至作为最经常由用户操作的未经检查的位置的、窗口的右下角。
相反地，当在前述步骤S1014中确定可以使用用户的操纵历史来决定菜单移动目的地(在步骤S1014中为否)时，信息处理系统100随后将菜单移动目的地设定至最接近原来的菜单位置的未经检查的位置(步骤S1016)。步骤S1016的处理由例如输出控制单元122执行。
图25是示出了由根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。在图25中，由实线指示的圆圈是在步骤S1001的处理中设定的菜单按钮1100的移动目的地(初始菜单位置)的示例。用虚线指示的圆圈是菜单移动目的地的候选的示例。在如图25所示的示例中，最接近初始菜单位置的角是窗口左下角，第二接近的角是窗口的左上角，以及第三接近的角是窗口的右下角。因此，在如图25所示的示例中，信息处理系统100将菜单按钮1100的移动目的地首先设定至作为最接近原来的菜单位置的未经检查的位置的、窗口的右下角。
当在前述步骤S1009中确定检查了所有的菜单移动目的地(在步骤S1009中为是)时，信息处理系统100随后确定在由信息处理系统100显示的窗口内的任何位置处是否存在可以将菜单移动到的位置(步骤S1017)。步骤S1017的处理由例如检测单元121执行。
当在前述步骤S1017中确定在窗口内的任何位置处存在可以将菜单移动到的位置(步骤S1017)时，信息处理系统100将菜单移动目的地设定至不适用于上述处理的最接近初始位置并且在画面上显示的窗口内的任何位置(步骤S1018)。步骤S1018的处理由例如输出控制单元122执行。
图26是示出了由根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图26示出了当窗口的四个角都不适合于菜单移动目的地时的菜单按钮1100的移动目的地的设定示例。即，图26示出了如下状态：窗口的左上角和左下角伸出到画面外，右上角干扰放置在信息显示表面上的物体，并且右下角被另一窗口覆盖。在这种情况下，信息处理系统100决定将显示在画面上的窗口内的最接近初始位置(在图26的示例中为窗口的左下角)的某个位置作为菜单按钮1100的移动目的地并且将菜单按钮1100的移动目的地设定至该位置。
相反地，当在前述步骤S1017中确定在窗口内的任何位置处不存在可以将菜单移动到的位置(在步骤S1017中为否)时，信息处理系统100随后确定画面内只存在一个窗口(步骤S1019)。步骤S1019的处理由例如检测单元121执行。
当在前述步骤S1019中确定画面内只存在一个窗口(步骤S1019)时，由于不存在与另一窗口的菜单混淆的顾虑，因此信息处理系统100将菜单移动目的地设定至不适用于上述处理的最接近初始位置并且在画面上显示的窗口外的任何位置(步骤S1020)。步骤S1020的处理由例如输出控制单元122执行。相反地，当在前述步骤S1019中确定画面内存在多个窗口时，信息处理系统100直接结束处理而不改变菜单移动目的地。
图27是示出了由根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图27示出了当画面上只显示一个窗口并且由信息处理系统100显示的整个窗口被放置在物体1220上时的菜单按钮1100的移动目的地的设定示例。当在由信息处理系统100显示的窗口内的任何位置处不存在可以将菜单移动到的位置并且在由信息处理系统100显示的画面上只存在一个窗口时，信息处理系统100决定将最接近于显示在画面上的窗口外的初始位置(在图27的示例中为窗口的左下角)的某个位置作为菜单按钮1100的移动目的地并且将菜单按钮1100的移动目的地设定至该位置。
通过执行上述一系列处理，信息处理系统100可以执行控制，使得除了图6的形式以外，菜单的位置还被移动到适当的位置。图28是示出了在其中画面垂直于地面的信息处理系统100d中的菜单显示控制的示例的说明图。图28示出了如下状态：四个窗口被显示在画面上，并且通过执行上述一系列处理，窗口被显示成使得每两个窗口之间从属于所有窗口的菜单栏彼此不交叠。
图29是示出了在如图28所示的其中画面垂直于地面的信息处理系统100d中的菜单显示控制的示例的说明图。图29示出了如下状态：四个窗口被显示在画面上，并且通过上述一系列处理，窗口被显示成使得从属于窗口的菜单栏在每两个窗口之间彼此不交叠。
图30是示出了其中显示器被放置在桌子上以供操纵的信息处理系统100c中的菜单显示控制的示例的说明图。图30示出了如下示例：执行显示控制以使得菜单按钮1100自动移动到接近面向某个用户(假设为用户X)的用户(假设为用户Y)的位置，使得当用户Y伸出用户Y的手来操纵由用户X的操纵的窗口时，用户Y可以容易地操纵菜单按钮1100。当能够检测用户位置的照相机、麦克风或者其他传感器装置被设置在信息处理系统100c中时，信息处理系统100c可以检测用户相对于画面的位置以及用户执行操纵的方向。因此，通过执行上述一系列处理，信息处理系统100c可以执行显示控制，使得菜单按钮1100自动移动到接近用户Y的位置，使得用户Y可以容易地操纵菜单按钮1100
图31是示出了其中将菜单或窗口投影至桌子并且使得所投影的菜单或窗口能够被操纵的信息处理系统100a中的菜单显示控制示例的说明图。图31例示了在餐桌上使用信息处理系统100a的情况。在其上可能要放置物体的位置如餐桌处，菜单被投影至真实物体的情况可能会增加。因此，容易发生用户不直接触摸菜单的情况或者触摸菜单的用户的心理负担大的情况。例如，图31示出了其中一块蛋糕1201或一杯咖啡1202被放置在由信息处理系统100a显示信息的表面上的状态。
当用户将投影有菜单的餐桌上的真实物体移动到没有投影菜单的位置时，用户可以操纵所投影的菜单。当用户执行将所投影的窗口移动到菜单没有被投影至真实物体的位置处时，用户可以操纵所投影的菜单。然而，当用户被迫执行这样的操纵时，用户的负担较大。
因此，通过执行上述一系列处理，信息处理系统100a自动改变菜单按钮1100的显示位置，使得如图31所示的那样，不将显示位置与餐桌上的真实物体(一块蛋糕1201或一杯咖啡1202)的位置交叠。信息处理系统100a可以通过自动改变菜单按钮1100的显示位置来使得显示位置不与餐桌上的真实物体的位置交叠，以减少用户的操纵负担。
通过执行上述一系列处理，根据本公开内容的实施方式的信息处理系统100可以检测另一窗口的位置或者信息显示表面的状态，例如放置在如图1所示的桌子140a上的物体的状态，并且可以基于检测结果来执行控制，使得菜单的位置被移动到适当位置。
根据本公开内容的实施方式的信息处理系统100执行上述一系列处理，使得用户可以操纵菜单而不必执行移动窗口的位置或移动放置在信息显示表面上的真实物体的步骤。因此，根据本公开内容的实施方式的信息处理系统100执行上述一系列处理，从而减少步骤的数目和直到用户执行所意图的操纵花费的时间。
根据本公开内容的实施方式的信息处理系统100执行上述一系列处理，因此可以减少对被推到如下GUI中的画面外的窗口的用户操纵的工作量，在该GUI中，窗口可能经常被移动到画面外并且包括可以被全方位操纵的窗口。由于减少了对被推到画面外的窗口的用户操纵的工作量，因此根据本公开内容的实施方式的信息处理系统100使用户能够广泛地使用该画面。
即使当由各用户在画面上显示多个窗口时，根据本公开内容的实施方式的信息处理系统100仍控制菜单的显示位置，使得菜单可以被正常浏览，因此可以获得用户可以容易地指定所意图的应用这一优点。
在如图1所示的根据本公开内容的实施方式的信息处理系统100投影画面的形式的情况下，不会由于真实物体而阻碍操纵。因此，可以获得根据本公开内容的实施方式的信息处理系统100可以减少如下用户的负担这一优点，该用户不得不移动真实物体的位置或者移动窗口的位置并且不得将真实物体放置在用于操纵的投影位置处。
例如，当采用其中如图1所示的根据本公开内容的实施方式的信息处理系统100将信息投影至桌子并且使用户操纵该信息的形式时，可以将信息处理系统100链接至便携式终端如桌子上的智能电话。例如，当用户将便携式终端如智能电话放置在桌子上并且使输入单元110识别该便携式终端时，根据本公开内容的实施方式的信息处理系统100可以识别该便携式终端以链接至所识别的便携式终端。
然而，当多个用户拥有基本上相同的便携式终端，同时将这些便携式终端分别放置在桌子上，并且使信息处理系统100识别这些便携式终端时，信息处理系统100可能无法确定将哪个便携式终端链接至信息处理系统100更好。
因此，在本公开内容的实施方式中，将描述即使当多个用户拥有基本上相同的便携式终端并且同时将这些便携式终端分别放置在桌子上时仍能够容易地指定待链接的便携式终端的信息处理系统100。
在根据本公开内容的实施方式的信息处理系统100中，检测单元121使用图像识别技术来识别待链接的便携式终端，并且检测所识别的便携式终端的位置和姿势以及距输入单元110的距离。因此，根据本公开内容的实施方式的信息处理系统100具有识别该便携式终端所必需的特征量数据。要在信息处理系统100中识别的便携式终端具有在信息处理系统100中发现的图像数据。
在将信息处理系统100与便携式终端进行链接时，要考虑以下技术。例如，存在如下方法：每个便携式终端的所有者选择偏好图像，并且使信息处理系统100预先识别该图像。在图像被识别后，该便携式终端的所有者使其便携式终端显示该预先识别的图像，并且使信息处理系统100识别该图像。以这种方式，可以将信息处理系统100与便携式终端链接。
存在如下方法：便携式终端的所有者安装识别专用应用，该识别专用应用包括便携式终端中的要在信息处理系统100中预先识别的图像数据。当信息处理系统100具有预先包括在相关应用中的图像数据的特征量数据时，可以降低信息处理系统100的检测处理负担。
存在如下方法：使信息处理系统100识别画面如由便携式终端的系统生成的锁屏画面或主页画面作为识别目标图像。当使信息处理系统100识别由便携式终端的系统生成的画面时，可以通过专用应用来识别该画面，或者用户可以自己拍摄画面并且可以使信息处理系统100识别所拍摄的图像。
图32和图33是示出了根据本公开内容的实施方式的信息处理系统100和链接至信息处理系统100的便携式终端的操作的示例。图32示出了链接至信息处理系统100的便携式终端的操作的示例，以及图33示出了信息处理系统100的操作的示例。在执行图32和图33中示出的操作之前，假设便携式终端预先在信息处理系统100中登记任何图像。在下文中，将参照图32和图33来描述根据本公开内容的实施方式的实施方式的信息处理系统100和链接至信息处理系统100的便携式终端的操作的示例。
链接至信息处理系统100的便携式终端显示识别画面，该识别画面用于使信息处理系统100根据来自用户的预定操纵来识别该便携式终端(步骤S1101)。信息处理系统100使模式进行到根据来自用户的预定操纵来识别该便携式终端的模式(在下文中，也称为“识别模式”)(步骤S1111)。
用户将在前述步骤S1101中显示用于使信息处理系统100识别该便携式终端的识别画面的便携式终端放置在可识别区域内以使信息处理系统100识别该便携式终端(步骤S1102)。作为可识别区域，可以由信息处理系统100设定任何区域。例如，在系统将信息投影至桌子的情况下，可以将信息被投影至桌子的整个区域设定为可识别区域或者可以将预定局部区域设定为可识别区域。当预定局部区域被设定为可识别区域时，信息处理系统100可以从输出单元130输出仿佛信息处理系统100了解可识别区域的显示。
当模式进行到前述步骤S1111中的识别模式时，信息处理系统100随后检索在信息处理系统100中登记的识别图像(步骤S1112)。对识别图像进行检索的处理由例如检测单元121执行。当显示图像识别画面的便携式终端被放置在可识别区域中时，信息处理系统100可以开始步骤S1112的检索处理，或者可以在便携式终端被放置在可识别区域之前开始检索处理。
当前述步骤S1112的检索处理开始时，信息处理系统100确定是否通过前述步骤S1112的检索处理发现了所登记的图像(步骤S1113)。该确定处理由例如检测单元121执行。当在步骤S1113中确定未发现所登记的图像(在步骤S1113中为否)时，信息处理系统100随后确定在检索处理开始之后是否经过了给定时间(步骤S1114)。该确定处理由例如检测单元121执行。当在步骤S1114中确定已经经过了给定时间并且未发现所登记的图像(步骤S1114中为是)时，信息处理系统100结束处理并且退出识别模式。相反地，当在步骤S1114中确定尚未经过给定时间(在步骤S1114中为否)时，再次执行步骤S1112的检索处理。
当在前述步骤S1113中确定发现了所登记的图像(步骤S1113中为是)时，信息处理系统100随后显示用于指示发现了所登记的图像的效果(步骤S1115)。步骤S1115中的显示处理由例如输出控制单元122执行。可以使用任何效果作为用于指示发现了所登记的图像的效果。例如，信息处理系统100执行例如示出从放置便携式终端的位置扩散的波纹的显示。当用于指示发现了所登记的图像的效果与由便携式终端显示的图像交叠时，信息处理系统100中的识别处理可能受到影响。因此，信息处理系统100优选地将用于指示发现了所登记的图像的效果输出成使得该效果不与便携式终端交叠。
图34是示出了由根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图34示出了用于指示由信息处理系统100发现并且显示所登记的图像的效果。当显示图像识别画面的便携式终端1300被放置在可识别区域上并且检测单元121识别到由便携式终端1300显示的图像是在信息处理系统100中登记的图像时，信息处理系统100可以执行示出由附图标记1301指示的从放置便携式终端1300的位置扩散的波纹的显示。
当信息处理系统100识别到便携式终端的图像并且便携式终端的显示的亮度太亮或太暗时，信息处理系统100中的识别受到影响。当信息处理系统100处于识别模式时，例如，便携式终端的用户可以调节便携式终端的显示的亮度，使得图像可以容易地被信息处理系统100识别。
当在前述步骤S1115中显示用于指示发现了所登记的图像的效果时，信息处理系统100随后确定当前在信息处理系统100中执行的应用是否为有必要连续识别图像的应用(步骤S1116)。该确定处理由例如检测单元121执行。有必要连续识别图像的应用的示例包括通过跟踪所识别的图像来连续显示信息的应用。
当在前述步骤S1116中确定当前在信息处理系统100中执行的应用不是有必要连续识别图像的应用(在步骤S1116中为否)时，没有必要将便携式终端保留在可识别区域中。因此，信息处理系统100随后显示提示用户将所识别的便携式终端从可识别区域中移除的信息(步骤S1117)。步骤S1115的显示处理由例如输出控制单元122执行。可以使用任何信息作为提示用户移除便携式终端的信息。然而，当提示用户移除便携式终端的信息与由便携式终端显示的图像交叠时，信息处理系统100中的识别处理受到影响。因此，信息处理系统100优选地将提示用户移除便携式终端的信息输出为使得信息不与便携式终端交叠。
图35是示出了由根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图35示出了在识别到由便携式终端显示的图像之后由信息处理系统100显示的信息的示例。当由信息处理系统100当前执行的应用不是有必要连续识别图像的应用时，信息处理系统100显示提示用户移除便携式终端1300的信息，例如，如图35中的附图标记1302所示。信息处理系统100可以通过显示如图35所示的信息来使便携式终端1300的用户知道将便携式终端从可识别区域中移除的必要性。当提示用户移除便携式终端的信息与由便携式终端显示的图像交叠时，信息处理系统100中的识别处理受到影响。因此，如图35所示，信息处理系统100优选地将提示用户移除便携式终端的信息输出为使得信息不与便携式终端交叠。
在前述步骤S1117中显示信息之后，信息处理系统100确定在信息处理系统100中登记的图像是否从画面(可识别区域内)内消失(步骤S1118)。该确定处理由例如检测单元121执行。当在步骤S1118中确定在信息处理系统100中登记的图像未从画面(可识别区域内)内消失(在步骤S1118中为否)时，信息处理系统100连续显示在步骤S1117中显示的信息。相反地，当确定在图32的步骤S1103中用户将便携式终端从可识别区域中移除并且在信息处理系统100中登记的图像从画面内(可识别区域内)消失(在步骤S1118中为是)时，信息处理系统100停止图像识别处理(步骤S1119)。
相反地，当在前述步骤S1116中确定当前执行的应用是有必要连续识别图像的应用(在步骤S1116中为是)时，信息处理系统100跳过前述步骤S1117至S1119的处理。
当在前述步骤S1119中停止图像识别处理时，信息处理系统100随后记录在前述步骤S1113中发现的图像的ID(步骤S1120)。步骤S1120的处理由例如检测单元121执行。然后，信息处理系统100对图像的ID执行匹配，并且开始与显示该图像的便携式终端的通信处理(步骤S1121)。信息处理系统100与便携式终端之间的通信由例如因特网、Wi-Fi或蓝牙(注册商标)执行。信息处理系统100记录在前述步骤S1113中发现的图像的位置、姿势和尺寸(步骤S1122)。步骤S1122中的处理由例如检测单元121执行。
然后，信息处理系统100使用关于在前述步骤S1113中发现的图像的位置、姿势和尺寸的信息，在信息显示表面上执行用于指示与便携式终端的连接状态的显示(步骤S1123)。步骤S1123中的显示处理由例如输出控制单元122执行。在下文中，步骤S1123中的用于指示与便携式终端的连接状态的显示也称为“连接标记”。信息处理系统100可以显示例如与由便携式终端显示的识别画面相同的图像作为连接标记。通过显示与由便携式终端显示的识别画面相同的图像作为连接标记，信息处理系统100可以容易地使用户能够理解哪个连接标记对应于哪个便携式终端。
图36是示出了由根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图36示出了信息处理系统100在显示表面上显示连接标记的状态的示例。图36中的附图标记1303表示信息处理系统100与在图34和图35中示出的便携式终端1300的连接标记和连接状态的示例。根据本公开内容的实施方式的信息处理系统100可以通过在显示表面上显示连接标记向用户呈现与由用户拥有的便携式终端的链接以及作为数据交换接口在画面上显示的连接标记。如将在下面描述的那样，图36中示出的连接标记1303可以被用作用于从便携式终端提取数据以及将数据复制到便携式终端的接口。
如图36所示，当识别到显示在便携式终端的显示器上的图像时，基于位置、姿势和尺寸将连接标记1303显示在显示表面上。因此，连接标记1303在放置该便携式终端的用户的手处被自然地显示在用户可以容易地触摸该便携式终端的方向上，从而获得对用于多个用户或多个终端的装置链接的便利性的效果的改进。
信息处理系统100与便携式终端之间的连接状态可以通过来自用户的有效连接解除操纵来解除，或者可以在对便携式终端或连接标记不执行操作达给定时间时自动解除。当信息处理系统100与便携式终端之间的连接状态被解除时，信息处理系统100可以消除在前述步骤S1123中显示的连接标记。信息处理系统100可以通过消除在前述步骤S1123中显示的连接标记将连接状态的结束呈现给用户。
根据本公开内容的实施方式的信息处理系统100可以通过执行上述一系列处理并且在信息显示表面上显示连接标记来为用户提供各种体验。在下文中，将描述通过由信息处理系统100显示连接标记来为用户提供体验的示例。
信息处理系统100通过在信息显示表面上显示连接标记来使得能够共享存储在便携式终端中的图像数据。图37是示出了由根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图37示出了当通过显示连接标记来共享存储在便携式终端中的图像数据时由信息处理系统100执行的应用的GUI的示例。
图37示出了其中由信息处理系统100将连接标记1303和1304显示在信息显示表面上的状态。例如，当允许用户操纵预定菜单按钮并且用于共享照片的应用被执行时，如图37所示，信息处理系统100从与连接标记1303和1304对应的便携式终端的图像文件夹等获取图像数据，并且将从图像文件夹获取的图像显示在连接标记1303和1304周围。显示在连接标记1303和1304周围的图像被显示成使得用户可以执行拖拽操纵。信息处理系统100输出用于指示复制到信息处理系统100的图标或其他信息，并且使用户能够将显示图像数据拖拽到该信息，因此可以通过简单用户操纵将保存在便携式终端中的图像数据复制到信息处理系统100中。
当连接标记1303和1304被显示在信息显示表面上时，如图37所示，例如，允许用户将与连接标记1303对应的便携式终端中存储的图像数据拖拽到连接标记1304，使得可以经由信息处理系统100在各便携式终端之间复制图像数据。因此，信息处理系统100可以通过简单用户操纵将由便携式终保存的图像数据复制到另一个便携式终端。
在信息处理系统100通过执行上述一系列处理来显示连接标记之后，用户可以自由地携带便携式终端。因此，当照片由链接至信息处理系统100的便携式终端成像时在信息处理系统100中显示所成像的照片的应用也是可能的。图38是示出了信息处理系统100的使用示例的说明图，并且示出了其中用户使用链接至信息处理系统100的便携式终端拍摄照片的形式。当用户使用链接至信息处理系统100的便携式终端拍摄照片时，信息处理系统100还可以实现如下应用，通过该应用将由便携式终端成像的照片显示在连接标记1303周围。当由便携式终端成像的照片被显示在连接标记1303周围时，信息处理系统100可以将该照片与例如其中照片从连接标记1303出现的效果相关联地显示。信息处理系统100可以通过显示由便携式终端成像的照片以及与该便携式终端相关联的效果来清楚地表达哪个便携式终端在拍摄照片。
信息处理系统100使得能够通过在信息显示表面上显示连接标记来共享存储在便携式终端中的音乐数据。图39是示出了由根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图39示出了当通过显示连接标记来共享存储在便携式终端中的音乐数据时由信息处理系统100执行的应用的GUI的示例。
图39示出了其中由信息处理系统100显示连接标记1303和1304的状态。例如，当允许用户操纵预定菜单按钮并且用于共享音乐数据的应用被执行时，如图39所示，信息处理系统100从与连接标记1303和1304对应的便携式终端的音乐文件夹等获取音乐数据并且将从音乐文件夹获取的封面图像显示在连接标记1303和1304周围。显示在连接标记1303和1304周围的封面图像被显示成恰好使得用户可以执行拖拽操纵。信息处理系统100输出用于指示复制到信息处理系统100的图标或其他信息并且使用户能够将所显示的封面图像拖拽到该信息，因此可以通过简单用户操纵将保存在便携式终端中的音乐数据复制到信息处理系统100。
当连接标记1303和1304被显示时，如图39所示，例如，允许用户将存储在与连接标记1303对应的便携式终端中的音乐数据的封面图像拖拽到连接标记1304，使得可以经由信息处理系统100在各便携式终端之间复制音乐数据。因此，信息处理系统100可以通过简单用户操纵将由便携式终端保存的音乐数据复制到另一便携式终端。
图39示出了其中信息处理系统100显示用于再现音乐数据的接口的状态。通过允许用户将封面图像拖拽到用于再现音乐数据的接口，信息处理系统100可以执行再现与封面图像对应的音乐数据或者生成播放列表的处理。
除了图像数据或音乐数据以外，信息处理系统100还可以与链接至信息处理系统100的便携式终端共享各种类型的数据。信息处理系统100可以使得例如将由链接至信息处理系统100的便携式终端显示的浏览器的网站或书签进行共享，如在上述GUI中那样。为了使链接至信息处理系统100的便携式终端连续地显示由信息处理系统100显示的网站，信息处理系统100还可以提供将由信息处理系统100执行的浏览器的预定菜单按钮拖拽到连接标记的操纵。
信息处理系统100通过在信息显示表面上显示连接标记来使得能够共享存储在便携式终端中的联系地址数据。图40是示出了由根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图40示出了当通过显示连接标记来共享存储在便携式终端中的联系地址数据时由信息处理系统100执行的应用的GUI的示例。
图40示出了其中由信息处理系统100在信息显示表面上显示连接标记1303和1304的状态。例如，当允许用户操纵预定菜单按钮并且用于共享音乐数据的应用被执行时，如图40所示，信息处理系统100从与在信息显示表面上显示的连接标记1303和1304对应的便携式终端获取联系地址数据，并且将从便携式终端获取的意味着联系地址数据的图像显示在连接标记1303和1304周围。显示在连接标记1303和1304周围的图像被显示成使得用户可以执行拖拽操纵。信息处理系统100输出用于指示复制到信息处理系统100的图标或其他信息，并且使用户能够将所显示的图像拖拽到该信息，从而可以通过简单用户操纵将保存在便携式终端中的联系地址数据复制到信息处理系统100。
当信息处理系统100在信息显示表面上显示连接标记1303和1304时，如图40所示，例如，允许用户将存储在与连接标记1303对应的便携式终端中的联系地址数据拖拽到连接标记1304，使得联系地址数据可以经由信息处理系统100在各便携式终端之间被复制。因此，信息处理系统100可以通过简单用户操纵将由便携式终端保存的联系地址数据复制到另一便携式终端。
链接至信息处理系统100的便携式终端可以通过安装各种应用来添加功能。通过上述处理，信息处理系统100还可以实现可以通过显示连接标记在便携式终端之间给予和接收应用的GUI。
图41是示出了由根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图41示出了当通过显示连接标记来显示存储在便携式终端中的应用时由信息处理系统100执行的应用的GUI的示例。
图41示出了其中由信息处理系统100在信息显示表面上显示连接标记1303和1304的状态。例如，当通过允许用户操纵预定菜单按钮来执行用于显示安装在便携式终端中的应用的列表时，信息处理系统100从与连接标记1303和1304对应的便携式终端获取关于安装在便携式终端中的应用的信息，并且将该信息作为图标或其他信息显示在连接标记1303和1304周围，如图41所示。图41示出了其中多个应用被安装在与连接标记1303对应的便携式终端中但是没有应用被安装在与连接标记1304对应的便携式终端中的状态。在此，与连接标记1304对应的便携式终端的用户在安装在与连接标记1303对应的便携式终端中的应用中发现优选应用，并且将该应用的图标拖拽到连接标记1304。通过该拖拽操纵，在与连接标记1304对应的便携式终端中自动执行下载和安装该应用的处理。
根据本公开内容的实施方式的信息处理系统100可以获取便携式终端的位置、姿势、尺寸等，并且然后即使当专用应用没有被便携式终端激活时，仍可以通过识别由便携式终端显示的图像来进行链接以执行与便携式终端的通信。
根据本公开内容的实施方式的信息处理系统100使便携式终端显示任何图像，并且在与该便携式终端的装置链接之前登记所显示的图像。根据本公开内容的实施方式的信息处理系统100可以通过这样的图像登记处理使用户觉得图像选择更有趣。当根据本公开内容的实施方式的信息处理系统100完成对由便携式终端显示的图像的识别时，信息处理系统100可以通过在画面上连续显示作为连接标记的图像使用户能够容易地识别该连接标记的用户。
根据本公开内容的实施方式的信息处理系统100使便携式终端显示任何图像，并且在与该便携式终端的装置链接之前登记所显示的图像。因此，即使当存在多个基本上相同类型的便携式终端时，仍可以通过正确使用识别图像来唯一地识别该便携式终端。存在这样的可能性：当多个用户具有相同类型的装置时，每个用户偶然地选择基本上相同的图像作为识别图像。因此，当没有使便携式终端在信息处理系统100中登记所选择的识别图像时，不能将根据本公开内容的实施方式的信息处理系统100链接至该便携式终端。信息处理系统100可以通过使便携式终端将所选择的识别图像登记在信息处理系统100中来确定由便携式终端选择的图像是否重复。
当基本上相同的图像被选择作为识别图像时，如果多个用户具有相同类型的装置，则可能会出现问题。在尽管是不同类型的装置但是这些装置的外表相似的情况下，在选择基本上相同的图像作为识别图像时可能发生类似的问题。因此，信息处理系统100可以使待链接的便携式终端选择识别图像，并且将识别图像登记在信息处理系统100中，使得所有的便携式终端是唯一的。
根据本公开内容的实施方式的信息处理系统100可以接收来自多个用户的在各个方向上对菜单的操纵，例如，如图6所示。然而，当一个菜单被多个用户操纵时，在有人正在使用菜单时，其他用户不能使用该菜单。由于接收多个用户在各个方向上对菜单的操纵，因此难以定制菜单。即，被定制成由某个用户容易使用的菜单对于其他用户来说未必容易使用。
在其中接收多个用户在各个方向上对菜单的操纵并且显示多个窗口的状态下，难以确定由自己显示的窗口。当从一个菜单激活应用时，有必要在启动该应用时使每个用户登录。因此，不便利性随着用户数目的增加而增加。
因此，根据本公开内容的实施方式的信息处理系统100被配置成接收用户的操纵，如下面将描述的那样，使得在接收多个用户在各个方向上对菜单的操纵时实现对可操作性和便利性的改进。
将描述当接收多个用户在各个方向上对菜单的操纵时实现可操作性和便利性的改进时的信息处理系统100的操作的示例。图42是示出了根据本公开内容的实施方式的信息处理系统100的操作的示例的流程图。图42示出了当用户对图6中示出的菜单按钮组1110或菜单按钮1100等执行拖拽操纵时根据本公开内容的实施方式的信息处理系统100的操作的示例。在下文中，将参照图进42来描述根据本公开内容的实施方式的信息处理系统100的操作的示例。
在下文中，对菜单按钮1100或菜单按钮组1110的拖拽操纵在某些情况下也简称为(对菜单的)拖拽操纵。
当信息处理系统100检测到用户对由信息处理系统100显示的菜单执行拖拽操纵(步骤S1201)时，信息处理系统100确定在拖拽操纵中是否在一个点处按住菜单并且在另一个点处拖拽菜单(步骤S1202)。前述步骤S1201和1202的处理由例如检测单元121执行。
当在前述步骤S1202中确定执行了在一个点处按住菜单并且还在另一个点处拖拽菜单的操纵(在步骤S1202中为是)时，信息处理系统100生成被拖拽菜单的副本(步骤S1203)。在步骤S1203中生成菜单的副本由例如输出控制单元122执行。
图45是示出了由根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图45示出了在前述步骤S1203中生成菜单的副本的示例。例如，如图45所示，假设由用户执行拖拽操纵，该用户用其左手食指按住显示在信息显示表面上的菜单按钮组1110中的一个菜单按钮(B)，并且用其右手食指拖拽同一菜单按钮(B)。信息处理系统100根据由用户执行的操纵来执行生成菜单按钮(B)的副本菜单按钮1111的处理。
相反地，当在前述步骤S1202中确定没有执行在一个点处按住菜单并且还在另一个点处拖拽菜单的操纵(在步骤S1202中为否)时，信息处理系统100随后确定在前述步骤S1201中的拖拽操纵中是否检测到在两个点处按住菜单并且在一个点处拖拽菜单(步骤S1204)。步骤S1204的处理由例如检测单元121执行。
当在前述步骤S1204中确定执行了在两个点处按住菜单并且在一个点处拖拽菜单的操作(在步骤S1204中为是)时，信息处理系统100随后确定该菜单是否为指示文件夹的文件夹菜单(步骤S1205)。步骤S1205的处理由例如检测单元121执行。当在步骤S1205中确定被拖拽菜单不是文件夹菜单(在步骤S1205中为否)时，信息处理系统100生成被拖拽菜单的副本，如同在一个点处按住菜单并且在另一个点处拖拽菜单的操纵的情况那样(步骤S1203)。相反地，当在步骤S1205中确定被拖拽菜单是文件夹菜单(在步骤S1205中为是)时，信息处理系统100生成该菜单(文件夹菜单)的快捷方式(步骤S1206)。在步骤S1206中生成该菜单的快捷方式由例如输出控制单元122执行。快捷方式被假设为指代充当对另一菜单的引用而没有实质内容的菜单。
图46是示出了由根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图46示出了前述步骤S1206中生成菜单的快捷方式的示例。例如，如图46所示，假设由用户执行拖拽操纵，该用户用其左手食指和中指在两个点处按住菜单按钮组1110中的一个菜单按钮(B)，并且用其右手食指拖拽同一菜单按钮(B)。信息处理系统100根据由用户执行的操纵来执行生成菜单按钮(B)的快捷方式按钮1112的处理。
信息处理系统100可以生成如图45所示的菜单按钮(B)的菜单按钮1111的副本以及图46中示出的快捷方式按钮1112，使得副本菜单按钮与快捷方式按钮的外观不同。在本实施方式中，菜单按钮1111是简单的圆圈，而快捷方式按钮1112是双圆圈。当然，副本菜单按钮1111和快捷方式按钮1112的形状不限于相关示例，而是信息处理系统100可以通过不同的颜色以及不同的形状来设定不同的外观。
将描述生成菜单的副本与生成菜单的快捷方式之间的差别。当基于来自用户的操纵生成菜单的副本并且另一菜单被添加至一方的菜单(例如，复制源的菜单)时，信息处理系统100不将所添加的菜单添加至另一方的菜单(例如，复制目的地的菜单)。另一方面，当基于来自用户的操纵生成菜单的快捷方式并且另一菜单被添加至一方的菜单(例如，快捷方式源的菜单)时，信息处理系统100将所添加的菜单也添加至另一方的菜单(例如，快捷方式目的地的菜单)。
图47和图48是示出了由根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例以及当基于来自用户的操纵生成菜单的副本时的GUI的示例的说明图。即使当如图47所示通过来自用户的操纵生成菜单并且如图48所示随后将新的菜单(G)添加至一方的菜单时，菜单(G)不被添加至另一方的菜单。
图49和图50是示出了由根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例以及当基于来自用户的操纵生成菜单的快捷方式时的GUI的示例的说明图。在图49和图50中，当基于来自用户的操纵按照图49中的虚线生成菜单的快捷方式并且如图50所示随后将新的菜单(G)添加至一方的菜单时，菜单(G)也被添加至另一方的菜单。
相反地，当在前述步骤S1204中确定未执行在两个点处按住菜单并且在一个点处拖拽菜单的操纵(在步骤S1204中为否)时，信息处理系统100随后确定由菜单的排列与菜单的拖拽方向形成的角度是否等于或大于规定值(步骤S1207)。步骤S1207的处理由例如检测单元121执行。
当在前述步骤S1207中确定由菜单的排列与菜单的拖拽方向形成的角度等于或大于规定值(在步骤S1207中为是)时，信息处理系统100随后确定被拖拽菜单是否为可以从菜单按钮组分离的菜单(步骤S1208)。步骤S1208的处理由例如检测单元121执行。当在步骤S1208中确定被拖拽菜单不是可以从菜单按钮组分离的菜单(在步骤S1208中为否)时，信息处理系统100生成被拖拽菜单的副本(步骤S1203)。相反地，当在步骤S1208中确定被拖拽菜单是可分离菜单(在步骤S1208中为是)时，信息处理系统100将菜单从菜单按钮组分离(步骤S1209)。在步骤S1209中将菜单从菜单按钮组分离的处理由例如输出控制单元122执行。
图51是示出了根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图51示出了由用户对菜单的拖拽操纵的示例。附图标记1401表示以圆弧形布置的菜单按钮组1110的径向方向，附图标记1402表示要由用户对菜单按钮进行拖拽的方向，以及附图标记1403表示以圆弧形布置的菜单按钮组1110的圆周方向。当由菜单的排列与由附图标记1402表示的其中菜单按钮要被用户拖拽的方向形成的角度等于或大于规定值并且菜单按钮可以从菜单按钮组1110分离时，信息处理系统100将被拖拽菜单按钮从菜单按钮组1110分离。
图52是示出了根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图52示出了由用户对菜单的拖拽操纵的示例。当用户用其手指触摸菜单按钮组1110中的一个菜单钮并且对菜单按钮执行拖拽操纵时，信息处理系统100将被拖拽菜单按钮从菜单按钮组1110分离，使得菜单按钮独立地作为菜单按钮1111。
相反地，当在前述步骤S1207中确定由菜单的排列与拖拽方向形成的角度不等于或大于规定值(在步骤S1207中为否)时，信息处理系统100将来自用户的拖拽操纵作为正常行为来执行(步骤S1210)。步骤S1210的处理由例如输出控制单元122执行。正常行为是例如其中移动菜单按钮1100以跟踪来自用户的操纵的行为，或者其中菜单按钮组1110跟踪来自用户的操纵并且围绕菜单按钮1100旋转的行为。
根据本公开内容的实施方式的信息处理系统100可以根据由用户对菜单按钮的拖拽操纵的内容通过执行上述操作使用户能够通过简单操纵来复制菜单、生成菜单的快捷方式或者分离菜单。
接着，将描述根据信息处理系统100根据由用户对菜单按钮的拖放操纵的内容进行的操作的示例。图43和图44是示出了根据本公开内容的实施方式的信息处理系统100的操作的示例。图43和图44示出了当用户对图6中示出的菜单按钮1100或菜单按钮组1110等执行拖拽操纵并且用户随后执行拖放操纵时根据本公开内容的实施方式的信息处理系统100的操作的示例。在下文中，将参照图43和图44来描述根据本公开内容的实施方式的信息处理系统100的操作的示例。
在下文中，对菜单按钮1100或菜单按钮组1110的拖放操纵在某些情况下也简称为(对菜单的)拖放操纵。
当信息处理系统100检测到用户对由信息处理系统100显示的菜单执行拖放操纵(步骤S1211)时，信息处理系统100确定由用户拖拽的距离是否等于或小于规定距离(步骤S1212)。前述步骤S1211和1212的处理由例如检测单元121执行。
当在前述步骤S1212中确定由用户拖拽的距离等于或小于规定距离(在步骤S1212中为是)时，信息处理系统100执行分配给被拖放菜单的功能(步骤S1213)。分配给该菜单的功能是例如各种功能如激活应用、显示网站、显示图像数据以及再现音乐数据，而不限于具体功能。
相反地，当在前述步骤S1212中确定由用户拖拽的距离超过规定距离(在步骤S1212中为否)时，信息处理系统100确定菜单是否被拖放在作为另一菜单的菜单上并且拖拽距离等于或小于规定距离(步骤S1214)。步骤S1214的确定由例如检测单元121执行。
当在前述步骤S1214中确定菜单被拖放在不同于被拖放菜单的另一菜单上并且拖拽距离等于或小于规定距离(在步骤S1214中为是)时，信息处理系统100随后确定被拖放菜单是否为接受拖放的菜单(步骤S1215)。步骤S1214的确定由例如检测单元121执行。
当在前述步骤S1215中确定被拖放菜单是接受拖放的菜单(在步骤S1215中为是)时，信息处理系统100随后确定被拖放菜单是否为文件夹菜单(步骤S1216)。步骤S1215的确定由例如检测单元121执行。
当在前述步骤S1216中确定被拖放菜单是文件夹菜单(在步骤S1216中为是)时，信息处理系统100随后将被拖放菜单添加至拖放目的地的较低层级的菜单(下级菜单)中(步骤S1218)。步骤S1218的添加处理由例如输出控制单元122执行。
相反地，当在前述步骤S1216中确定被拖放菜单不是文件夹菜单(在步骤S1216中为否)时，信息处理系统100随后确定在被拖放菜单中与由用户拖放的菜单对应的项是否可处理(步骤S1217)。步骤S1217中的确定由例如检测单元121执行。
当在前述步骤S1217中确定在被拖放菜单中由用户拖放的项可处理(在步骤S1217中为是)时，信息处理系统100随后将链接至由用户拖放的菜单的信息传递至接收该拖放的菜单(步骤S1219)。步骤S1219的处理由例如输出控制单元122执行。
相反地，当在步骤S1217中确定在被拖放菜单中由用户拖放的项不可处理(在步骤S1217中为否)时，信息处理系统100随后执行如下处理：在下级组成部分中生成具有拖放源的菜单和拖放目的地的菜单的新菜单(步骤S1220)。步骤S1220中的处理由例如输出控制单元122执行。
当在前述步骤S1214中确定菜单未被拖放在不同于被拖放菜单的其他菜单上并且拖拽距离等于或小于规定距离(在步骤S1214中为否)时，信息处理系统100随后确定在其中该其他菜单在一个点处被按住的状态下不同于被拖放菜单的菜单是否以等于或小于规定距离的距离靠近该菜单被拖放在其上的菜单(步骤S1221)。步骤S1221的确定由例如检测单元121执行。
当在前述步骤S1221中确定在其中该其他菜单在一个点处被按住的状态下不同于被拖放菜单的菜单以等于或小于规定距离的距离靠近该菜单被拖放在其上的菜单(在步骤S1221中为是)时，信息处理系统100随后确定被拖放菜单与该其他菜单是否可以合并(步骤S1222)。步骤S1222的确定由例如检测单元121执行。
当在前述步骤S1222中确定被拖放菜单与其他菜单可以合并(在步骤S1222中为是)时，信息处理系统100随后执行将被拖放菜单的下级菜单与该其他菜单的下级菜单进行合并的处理(步骤S1223)。步骤S1223的处理由例如输出控制单元122执行。当在前述步骤S1222中确定被拖放菜单与其他菜单不能合并(在步骤S1222中为否)时，信息处理系统100随后执行将被拖放菜单返回到拖拽之前的位置的处理(步骤S1226)。步骤S1226的处理由例如输出控制单元122执行。
当在前述步骤S1221中确定在其中该其他菜单在一个点处被按住的状态下不同于被拖放菜单的菜单不以等于或小于规定距离的距离靠近该菜单被拖放在其上的菜单(在步骤S1221中为否)时，信息处理系统100随后确定被拖放菜单是否被拖放在距同一层级的两个菜单中的每个菜单固定距离内的位置上(步骤S1224)。步骤S1224的确定由例如检测单元121执行。
当在前述步骤S1224中确定被拖放菜单被拖放在距同一层级的两个菜单中的每个菜单固定距离内的位置上(在步骤S1224中为是)时，信息处理系统100随后执行将拖放的菜单插入这两个菜单之间的处理(步骤S1225)。步骤S1225的处理由例如输出控制单元122执行。
相反地，当在前述步骤S1224中确定被拖放菜单未被拖放在距同一层级的两个菜单中的每个菜单固定距离内的位置上(在步骤S1224中为否)，时，信息处理系统100随后确定直到该菜单被拖放为止该菜单是否以等于或大于固定速度的速度被拖拽(步骤S1227)。步骤S1227的确定由例如检测单元121执行。
当在前述步骤S1227中确定直到该菜单被拖放为止该菜单以等于或大于固定速度的速度被拖拽(在步骤S1227中为是)时，信息处理系统100随后确定是否可以删除被拖放菜单(步骤S1228)。步骤S1228的确定由例如检测单元121执行。
当在前述步骤S1228中确定可以删除被拖放菜单(在步骤S1228中为是)时，信息处理系统100随后执行删除被拖拽菜单的处理(步骤S1230)。步骤S1230的处理由例如输出控制单元122执行。相反地，当在前述步骤S1228中确定不能删除被拖放菜单(在步骤S1228中为否)时，执行将被拖放菜单返回到拖拽之前的位置的处理(步骤S1226)。步骤S1226的处理由例如输出控制单元122执行。
当在前述步骤S1227中确定直到该菜单被拖放为止该菜单以小于固定速度的速度被拖拽(在步骤S1227中为否)时，信息处理系统100随后确定拖放位置是否在画面外(步骤S1229)。步骤S1229的确定由例如检测单元121执行。
当在前述步骤S1229中确定拖放位置在画面外(在步骤S1229中为是)时，信息处理系统100随后确定在前述步骤S1228中是否可以删除被拖放菜单。相反地，当在前述步骤S1229中确定放置位置不在画面外(在步骤S1229中为否)时，信息处理系统100随后执行将菜单移动到拖放位置的处理(步骤S1231)。步骤S1231的处理由例如输出控制单元122执行。
通过执行上述一系列处理，信息处理系统100可以根据拖放位置、拖拽的速度等来改变由用户拖放的菜单的状态。
将通过给出具体GUI的示例来进一步描述上述操作的示例。首先，将描述其中删除菜单按钮的GUI的示例。图53是示出了根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图53示出了由用户对菜单的拖放操纵的示例以及当以等于或大于固定速度的速度拖拽菜单时的GUI的示例。当用户以等于或大于固定速度v的速度拖拽菜单按钮组1110中的一个菜单按钮1111并且随后将菜单按钮1111拖放在画面内(即，轻弹菜单按钮1111的操作)时，信息处理系统100执行删除菜单按钮1111的处理。以这种方式，通过检测轻弹菜单按钮的操作并且执行删除菜单按钮的处理，信息处理系统100可以为用户提供用户易于直观地理解的GUI。
菜单按钮的删除不限定于相关示例。图54是示出了根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图54示出了由用户对菜单按钮1111的拖放操纵的示例以及其中用户执行将菜单按钮1111拖放到垃圾桶菜单1112中的操纵的状态。当用户以这种方式将菜单按钮1111拖放到垃圾桶菜单1112中时，信息处理系统100执行删除菜单按钮1111的处理。
图55是示出了根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图55示出了由用户对菜单按钮1111的拖放操纵的示例以及其中用户执行将菜单按钮1111移动并且拖放到画面外的操纵的状态。当信息处理系统100检测到用户执行将菜单按钮1111移动并且拖放到画面外的操纵时，信息处理系统100执行删除菜单按钮1111的处理。
以上描述了其中删除菜单按钮的GUI的示例。接着，将描述其中将菜单按钮添加至菜单按钮组中的GUI的示例。
图56是示出了根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图56示出了由用户对菜单的拖放操纵的示例以及其中用户执行将菜单按钮插入到菜单按钮组1110中的状态。当用户在菜单按钮组1110中显示的圆弧形中拖拽菜单按钮1111时，信息处理系统100生成间隙以用于将菜单按钮1111插入到其中显示菜单按钮组1110的圆弧形中。然后，当用户在圆弧形中的间隙中拖放菜单按钮1111时，信息处理系统100显示在圆弧形上拖放的菜单按钮1111。通过检测拖放菜单按钮的操作并且执行将菜单按钮添加至菜单按钮组中的处理，信息处理系统100可以提供用户易于直观地理解的GUI。
以上描述了其中将菜单按钮添加至菜单按钮组中的GUI的示例。接着，将描述其中将菜单添加至拖放目的地菜单的下级项中的GUI的示例。
图57是示出了根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图57示出了由用户对菜单的拖放操纵的示例，并且示出了其中用户执行将菜单按钮拖放到菜单按钮组1110中的菜单按钮上的操纵的状态。当拖放目的地菜单是文件夹菜单并且用户首先将菜单按钮拖拽到用户意图将该菜单按钮拖放在其上的菜单按钮的位置时，信息处理系统100将用户意图将该菜单按钮放置在其上的菜单按钮放大显示，如图57所示。然后，当用户将该菜单按钮拖放在该位置上时，信息处理系统100显示被拖放的菜单按钮，使得被拖放的按钮被添加至拖放目的地的下级菜单，如图57所示。信息处理系统100可以显示将被拖放的按钮添加至拖放目的地菜单的下级菜单的后端，或者可以显示将被拖放的按钮添加至拖放目的地菜单的最接近的位置。
图58是示出了根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图58示出了由用户对菜单的拖放操纵的示例，并且示出了其中用户执行将菜单按钮拖放到菜单按钮组1110中的菜单按钮上的操纵的状态。当拖放目的地菜单是应用或数据并且用户首先将菜单按钮拖拽到用户意图将该菜单按钮拖放在其上的菜单按钮的位置时，信息处理系统100将用户意图将该菜单按钮放置在其上的菜单按钮放大显示，如图58所示。然后，当用户将该菜单按钮拖放在该位置上时，信息处理系统100在直到此刻为止其中显示拖放目的地的菜单按钮的位置处新显示文件夹菜单的菜单按钮，并且显示将被拖放的菜单按钮和拖放目的地的菜单按钮作为文件夹菜单的下级菜单，如图58所示。即，信息处理系统100执行将被拖放的菜单按钮和拖放目的地的菜单按钮合并的处理。
以上描述了其中将菜单添加至拖放目的地菜单的下级项中的GUI的示例。以上描述了未使用用户的手指按住拖放目的地的菜单按钮的情况的示例。下面将描述使用用户的手指按住拖放目的地的菜单按钮的情况的示例。
图59是示出了根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图59示出了由用户对菜单的拖放操纵的示例以及其中用户执行当用其手指按住菜单按钮组1110中的某个菜单按钮时将另一菜单按钮1111拖放到该菜单按钮上的操纵的状态。当用户在用其手指按住菜单按钮组1110中的某个菜单按钮时将另一菜单按钮1111移到距该某个菜单按钮等于或小于规定距离的距离内时，信息处理系统100将这些菜单按钮显示成使得这些菜单钮被联结，如图59所示。然后，当用户在用其手指按住菜单按钮组1110中的该某个菜单按钮的同时放下被拖拽的菜单按钮1111时，执行将两个菜单按钮的下级菜单进行合并的处理。当下级菜单被合并时，信息处理系统100可以显示将各菜单按钮照原样移动到菜单按钮组1110中，或者可以在菜单按钮组1110的弧形形状中显示其他菜单按钮。
以这种方式，当用户在用其手指按住某个菜单按钮的同时将另一菜单按钮拖放到该某个菜单按钮上时，信息处理系统100合并菜单。图60是示出了根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。已经描述了菜单的合并示例。图60示出了当用户在用其手指按住某个菜单按钮的同时将另一菜单按钮拖放到该某个菜单按钮上的菜单合并示例。当合并时包括相同的下级菜单时，信息处理系统100可以生成仅一个下级菜单而不是两个下级菜单。例如，图60示出了如下示例：当包括下级菜单A、B、D、F和G的菜单与包括下级菜单A、C、D、E和F的菜单被合并时，两个菜单共用的下级菜单A、D、F作为单个菜单被包括在其中。
以上描述了用用户的手指按住拖放目的地的菜单按钮的情况的示例。接着，将给出具体示例来一步描述对根据本公开内容的实施方式的信息处理系统100中的菜单的操纵的示例。
图61是示出了根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图61示出了在由信息处理系统100显示的应用中根据来自用户的拖拽操纵和拖放操纵来生成新菜单的示例。在如图61所示的显示菜单按钮1100和菜单按钮组1110的状态中，信息处理系统100根据如下用户操纵来生成菜单按钮1111的副本：在用一个手指按住菜单按钮组1110中的某个菜单按钮1111的同时用另一手指拖拽菜单按钮1111。
图61示出了其中基于用户操纵来生成菜单按钮组1110中的菜单D和E的副本的示例。信息处理系统100根据合并菜单D和E的副本的用户操纵来生成新的菜单按钮1100和菜单按钮组1110。
当另一菜单按钮1111朝向新生成的菜单按钮组1110拖放时，信息处理系统100将被拖放的菜单按钮1111添加至新生成的菜单按钮组1110，如图61所示
通过接收用户的拖拽操纵或拖放操纵，根据本公开内容的实施方式的信息处理系统100可以确保易于定制菜单。通过接收用户的拖拽操纵或拖放操纵，根据本公开内容的实施方式的信息处理系统100可以使多个用户能够同时使用相同的菜单。
将描述另一实施方式。图62是示出了根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图62示出了在由信息处理系统100显示的应用中根据来自用户的拖拽操纵和拖放操纵来生成快捷方式按钮的示例。例如，在正常情况下，用户必须通过按照菜单按钮1100、菜单按钮组1110和菜单按钮组1120的顺序依次选择菜单按钮这三个操纵到达从菜单按钮1100开始计数的第二层中的菜单按钮组1120。然而，信息处理系统100基于如上所述的用户操纵来生成快捷方式按钮，使得用户可以通过一个操纵到达菜单按钮组1120中的菜单按钮。
例如，通过根据用户的数目生成由多个用户经常使用的菜单的快捷方式按钮，信息处理系统100可以使任何用户能够通过一个操纵到达该菜单。
通过如上所述地生成菜单的副本或快捷方式，信息处理系统100可以例如使家庭成员能够生成共用的菜单或者可以例如使家庭成员能够生成单独的菜单。
图63是示出了根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图63示出了在由信息处理系统100显示的应用中根据来自用户的拖拽操纵和拖放操纵来生成用于家庭成员的菜单的示例。
在图63的右下方中，示出了菜单按钮1100和菜单按钮组1110和1120。图63示出了其中在菜单按钮组1120中包括父亲菜单按钮、母亲菜单按钮和孩子菜单按钮的状态。当以这种方式方式显示菜单按钮组1120并且用户执行生成父亲菜单按钮、母亲菜单按钮和孩子菜单按钮的快捷方式按钮的操纵时，信息处理系统100生成菜单按钮的快捷方式按钮。当生成菜单按钮的快捷方式按钮时，父亲、母亲和孩子可以使用自己的菜单并且定制菜单，使得父亲、母亲和孩子可以仅通过用操纵器如其手指触摸该快捷方式按钮来容易地使用菜单。通过对快捷方式按钮的操纵而对所显示的菜单的定制也反映在原来的菜单中。
如上所述，信息处理系统100可以允许用户通过生成菜单的副本来容易且直观地生成例如网站的书签。
图64是示出了根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图64示出了在由信息处理系统100显示的应用中根据来自用户的拖拽操纵和拖放操纵对书签菜单的生成示例。
图64示出了其中由信息处理系统100显示菜单按钮1100和菜单按钮组1110和1120的状态。图64示出了其中通过因特网显示网站的网络浏览器1140被显示作为由信息处理系统100显示的应用的示例的状态。图64示出了其中由信息处理系统100在网络浏览器1140的左下方显示用于连接至当前显示的网页的菜单按钮1141的状态。当信息处理系统100检测到用户执行对菜单按钮1141生成副本的操纵时，信息处理系统100根据用户操纵生成菜单按钮1141的副本。菜单按钮1141的副本可以用作网页的书签。所生成的菜单按钮1141的副本通过例如来自用户的操纵被添加至菜单按钮组1120。根据本公开内容的实施方式的信息处理系统100可以通过向用户提供这样的操纵来允许用户直观且容易地生成例如网页的书签。通过向用户提供这样的操纵，根据本公开内容的实施方式的信息处理系统100可以通过简单操纵将多个网页的书签收集到一个菜单按钮组中。
根据本公开内容的实施方式的信息处理系统100被配置成接收来自多个用户的菜单操纵，因此可能发生如下情况：相同的应用或相似的应用被多个用户激活并且同时执行。当相同的应用或相似的应用被多个用户同时执行时，可能发生难以了解谁激活了哪个应用的情况。因此，根据本公开内容的实施方式的信息处理系统100提供能够将菜单与应用绑定并且能够通过简单用户操纵来解除该绑定的结构。
图65是示出了根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图65示出了当通过来自用户的操纵来解除由信息处理系统100显示的菜单与应用的绑定的GUI的示例。
例如，如图65的左侧所示，在其中由信息处理系统100显示菜单按钮1100、菜单按钮组1110和1120以及作为应用的示例的网络浏览器1140的状态下，信息处理系统100可以以将菜单按钮组1120中的一个菜单按钮与网络浏览器1140的菜单按钮1141绑定的形式来显示这两个菜单按钮。在图65的示例中，菜单按钮组1120中的一个菜单按钮与网络浏览器1140的菜单按钮1141的绑定由虚线指示，但是在本公开内容中绑定的显示不限于相关示例。
当信息处理系统100检测到用户执行预定操纵时，例如，当用户在绑定的显示中以等于或大于预定速度的速度执行切断绑定的操纵时，信息处理系统100执行解除菜单按钮组1120中的一个菜单按钮与网络浏览器1140的菜单按钮1141的绑定的处理。当绑定被解除时，信息处理系统100执行关闭网页浏览器1140的处理。当执行关闭网页浏览器1140的处理时，信息处理系统100可以执行逐渐淡化网页浏览器1140并且最终移除显示的显示处理，如图65所示。
根据本公开内容的实施方式的信息处理系统100可以通过简单用户操纵将菜单与应用绑定并且可以解除该绑定。
通过将菜单与应用绑定，如图64所示，根据本公开内容的实施方式的信息处理系统100可以向用户提供各种其他操纵。例如，图1中示出的投影型信息处理系统100a在具有大面积的信息显示表面如桌子140a上显示信息，因此用户可能希望将位于远离其手处的应用移到接近其手处。相应地，通过允许用户执行在菜单与应用绑定的显示中将显示移近该用户，信息处理系统100可以执行根据用户操纵来移动应用的窗口的显示处理。
图66是示出了根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图66示出了当用户操纵由信息处理系统100显示的菜单与应用的绑定的GUI的示例。
在图66中，由信息处理系统100显示菜单按钮1100、菜单按钮组1110和1120以及作为应用的示例的网络浏览器1140。图66示出了由信息处理系统显示成使得菜单按钮组1120中的一个菜单按钮与网络浏览器1140的菜单按钮1141绑定的状态。当由信息处理系统100以这种方式显示菜单按钮和窗口并且用户100执行将绑定的线移近该用户的手的操纵(在菜单按钮组1120的方向上)时，信息处理系统100根据检测到操纵来执行使网络浏览器1140靠近菜单按钮组1120的显示处理。
通过根据将绑定的显示移近用户的手的用户操纵来执行移动应用的窗口的显示处理，信息处理系统100可以改进用户操纵的便利性。在图65中，示出了其中用户执行将应用的窗口移近该用户的手的操纵的情况的示例。然而，与此相反，当用户执行使应用的窗口远离该用户的手的操纵时，信息处理系统100执行使应用的窗口远离菜单按钮的显示处理。
通过将菜单与应用绑定，如图64所示，根据本公开内容的实施方式的信息处理系统100可以允许用户在远离应用的窗口的位置处操纵该应用。
图67是示出了根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图67示出了当用户在由信息处理系统100显示的菜单与应用被绑定在一起的状态下执行操纵的GUI的示例。
在图67中，由信息处理系统100显示菜单按钮1100、菜单按钮组1110、1120和1121以及作为应用的示例的网络浏览器1140。图67示出了由信息处理系统100显示成使得菜单按钮组1120中的一个菜单按钮与网络浏览器1140的菜单按钮1141绑定的状态。在菜单按钮组1121中，假设布置了用于操纵网络浏览器1140的菜单。当由信息处理系统100以这种方式显示菜单按钮和窗口并且用户操纵菜单按钮组1121时，信息处理系统100根据该操纵对网络浏览器1140执行处理(例如，用书签打开网页、返回到前一个页面、移动到下一个页面或者关闭网络浏览器的处理)。
以这种方式，通过在远离应用的窗口的位置处操纵该应用，信息处理系统100可以改进用户操纵的便利性。例如，图1中示出的投影型信息处理系统100a在具有大面积的信息显示表面如桌子140a上显示信息。因此，即使当应用被显示在远离用户的位置处时，由于进行了绑定，因此仍可以执行远程操纵，从而可以改进用户操纵的便利性。
在图67的示例中，示出了网络浏览器1140作为应用，但是可以被远程操纵的应用不限定于相关示例。例如，当应用是音乐再现软件时，调节音量、跳过、音乐的快进或倒带等可以通过用将菜单按钮与应用绑定来远程操纵。例如，当应用是运动图像再现软件时，调节音量、跳过、运动图像的快进或倒带等可以通过用将菜单按钮与应用绑定来远程操纵。
在上述示例中，已经描述了显示使用菜单按钮1100作为起点来显示菜单按钮组1110和1120的GUI的信息处理系统100。然而，菜单按钮组1110和1120的起点不限于菜单按钮1100。例如，信息处理系统100可以使用移动电话、智能电话或用户拥有的另一便携式终端作为起点来显示菜单按钮组1110和1120。在上述示例中，描述了其中信息处理系统100和便携式终端被链接的示例。信息处理系统100还可以使用链接至信息处理系统100的便携式终端作为起点来显示菜单按钮组1110和1120。
图68是示出了根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图68示出了当链接至信息处理系统100的便携式终端1310被用作显示菜单按钮组1110和1120的起点时的GUI的示例。当信息处理系统100被链接至便携式终端1310并且用户执行预定操纵时，信息处理系统100可以将菜单按钮组1110和1120显示在便携式终端1310的周围，如图68所示。
通过将关于菜单按钮组1110和1120的信息存储在便携式终端1310中，即使当便携式终端1310被链接至另一信息处理系统100时，仍可以以基本上相同的布局来显示菜单按钮组1110和1120。例如，用户可以在家里编辑菜单按钮组1110和1120的布局，将该布局存储在便携式终端1310中，将便携式终端1310带到该用户的朋友家中，并且使用该用户的朋友家中的信息处理系统100来显示该用户在家里编辑的菜单按钮组1110和1120。
根据本公开内容的实施方式的信息处理系统100可以允许每个用户例如每个家庭成员通过生成快捷方式按钮来生成每个不同的菜单，如图63所示。根据本公开内容的实施方式的信息处理系统100可以以这种方式中将每个用户的帐户与该用户生成的菜单进行绑定。
图69是示出了根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图69示出了其中每个用户的帐户与该用户生成的菜单绑定的状态。图69示出了由父亲和母亲使用的应用的窗口1150以及用于操纵该应用的菜单按钮1151。例如，信息处理系统100可以通过将每个用户的帐户与该用户生成的菜单进行绑定来存储网络浏览器的Cookie、记录网页的登录信息，或者管理用于每个用户的网页的访问历史。
可以假设其中根据本公开内容的实施方式的信息处理系统100由多个用户同时使用的形式。因此，当生成如上所述的为每个用户定制的菜单时，可能会发生其中某个用户使用另一用户的菜单的情况。当用户的菜单未被锁定时，任何人都可以简单地使用该用户的菜单。
因此，根据本公开内容的实施方式的信息处理系统100提供了其中当未取得认证时该菜单不可用的结构。认证方案可以是密码方案，或者可以是使用由用户所使用的便携式终端的装置认证方案。在下面的示例中，将描述其中按照装置认证方案来认证对菜单的访问的结构。
图70是示出了根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图70示出了当按照装置认证方案使用由用户所使用的便携式终端来认证对菜单的访问的GUI的示例。例如，信息处理系统100允许用密钥来锁定菜单，使得当没有使用由父亲使用的便携式终端来取得认证时不允许访问由父亲使用的菜单。信息处理系统100执行控制，使得在用密钥锁定由父亲使用的菜单的状态下，即使当用户选择该菜单(例如，即使当选择该菜单的用户是父亲本人时)，也不作出响应。
然后，当信息处理系统100检测到由父亲使用的便携式终端被放置在由父亲使用的菜单附近时，信息处理系统100识别该便携式终端。当信息处理系统100识别到该便携式终端是父亲的便携式终端时，由父亲使用的菜单的密钥被解除。信息处理系统100可以通过上述图像识别来识别便携式终端，或者可以通过近场通信(NFC)、Wi-Fi通信、蓝牙(注册商标)通信等来识别便携式终端。当认证结束时，信息处理系统100使用密钥来解除对该菜单的锁定，并且执行控制，使得该用户可以访问该菜单。
以这种方式，使用其中通过使用装置认证方案来认证对菜单的访问的结构，根据本公开内容的实施方式的信息处理系统100可以限制由未经认证的用户对菜单的访问。
如上所述，根据本公开内容的实施方式的信息处理系统100可以使用便携式终端为起点来显示菜单按钮。这里，根据本公开内容的实施方式的信息处理系统100提供按照使用便携式终端作为起点来显示的菜单按钮来控制对便携式终端的权限的结构。
图71是示出了根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图71示出了当使用便携式终端作为起点来显示菜单按钮时根据菜单按钮来控制对便携式终端的权限时的GUI的示例。
图71示出了其中使用便携式终端1310和1320作为起点来显示菜单按钮组1110和1120的状态。图71示出了其中对便携式终端1310和1320中的每个便携式终端的权限被显示在菜单按钮组1120中的状态。对便携式终端1310和1320的权限是例如对应用的操纵权限，对用于从便携式终端远程操纵的装置的操纵权限以及使用该便携式终端在支付价格时的支付权限。
例如，假设用户执行将某些权限(例如，与1000日元的价格对应的支付权限)从使用便携式终端1310作为起点显示的菜单按钮组1120复制到使用便携式终端1320作为起点显示的菜单按钮组1120的操纵。信息处理系统100根据用户操纵执行将保存在便携式终端1310中的权限复制到便携式终端1320的处理。
以这种方式，通过对菜单钮的操纵来允许在便携式终端之间复制权限，根据本公开内容的实施方式的信息处理系统100可以通过简单操纵转移便携式终端中的权限。
根据本公开内容的实施方式的信息处理系统100基于将菜单按钮拖拽并且拖放到应用的窗口的操纵来提供将数据传递至应用的功能。
图72是示出了根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图72示出了当基于将菜单按钮拖拽并且拖放到应用的窗口的操纵来提供将数据传递至应用时的GUI的示例。
图72示出了其中在菜单按钮组1120中存在与用于访问网页的书签对应的菜单按钮的状态。当用户执行将菜单按钮组1120中的菜单按钮拖拽并且拖放到网页浏览器1140的操纵时，根据本公开内容的实施方式的信息处理系统100控制网络浏览器1140的操作，使得根据用户操纵来取得对与被拖放的菜单钮对应的网页的访问。以这种方式，通过根据用户的拖拽和拖放操纵将数据传送到应用，根据本公开内容的实施方式的信息处理系统100可以为用户提供直观的操纵。
图72示出了其中应用是网页浏览器的示例，但是作为数据传输目标的应用不限于相关示例。例如，当应用是图像显示应用并且用户将用于指示图像数据的菜单按钮拖放到该图像显示应用上时，信息处理系统100执行使用该图像显示应用来显示该图像数据的处理。作为另一示例，当应用是音乐再现应用并且用户将用于指示音乐数据的菜单按钮拖放到音乐再现应用上时，信息处理系统100执行使用该音乐再现应用来再现该音乐数据的处理。作为另一示例，当应用是运动图像再现应用并且用户将用于指示运动图像数据的菜单按钮拖放到运动图像再现应用上时，信息处理系统100执行使用该运动图像再现应用来再现该运动图像数据的处理。
在图72中，已经描述了其中信息处理系统100根据将菜单按钮拖放到应用的窗口上将数据传送到应用的示例。接着，将描述其中信息处理系统100根据将另一菜单按钮拖放到与提供任何功能对应的菜单按钮上来执行被拖放的菜单按钮对应的功能的示例。
图73是示出了根据本公开内容的实施方式的信息处理系统100显示在信息显示表面上的应用的GUI的示例的说明图。图73示出了当基于将另一菜单按钮拖拽并且拖放到提供任何功能的菜单钮上来执行被拖放的菜单按钮的功能时的GUI的示例。
图73示出了其中在菜单按钮组1120中存在用于张贴到例如社交网络服务(SNS)的菜单按钮的状态。假设用户将用于指示例如图像数据的菜单按钮拖放到菜单按钮组1120中的菜单按钮上。信息处理系统100根据来自用户的拖放操纵来执行将图像数据张贴到SNS的处理。
以这种方式，通过根据用户的拖拽和拖放操纵来执行与被拖放的菜单按钮对应的功能，根据本公开内容的实施方式的信息处理系统100可以为用户提供直观的操纵。
由图73中的菜单按钮组1120中的每个菜单按钮执行的功能不限于张贴到SNS。例如，可以考虑如使用所登记的联系地址将数据传输到合作伙伴以及将数据传输到链接的装置的各种功能作为由菜单按钮组1120的每个菜单按钮执行的功能。
<2.用户界面的具体示例>
在下文中，将描述可以由上述信息处理系统100实现的用户界面(UI)的具体示例。在下文中，为了进行描述，将假设投影型信息处理系统100a。然而，与以下要描述的具体示例相关的UI也可以被实现为参照图1至图4描述的信息处理系统中的任何类型。在投影型信息处理系统100a中，设置在桌子140a上方的其中有投影仪和照相机的壳体也称为本体。桌子140a也称为投影表面(显示表面)，由投影仪将图像投影至该投影表面。
(具体示例1)
根据本具体示例的信息处理系统100提供根据操纵对象的形状而旋转的半圆形菜单。当不考虑操纵对象的形状而显示菜单时，例如，菜单的显示可能与手交叠，因此在某些情况下可见性变差。因此，根据本具体示例的信息处理系统100将菜单显示在其中菜单会与操纵对象交叠的区域以外的区域中。在下文中，将参照图74至图76来详细描述该具体示例。图74至图76是用于描述根据具体示例1的用户界面的说明图。
如图74所示，根据本具体示例的信息处理系统100显示菜单2002，在菜单2002中，图标(菜单项)被布置在根据用户用来触摸显示在充当显示表面的桌子140a上的菜单按钮2001的手指的形状的半圆形中。具体地，信息处理系统100显示以手指的方向为中心左右扩散的半圆形菜单2002，使得图标不与手指交叠。信息处理系统100根据手指的方向使图标的文字显示正对用户。类似地显示了其中将各项布置在根据手指的形状的半圆形中的菜单按钮2003。
为了执行这样的显示处理，检测单元121首先检测与显示表面交叠的操纵对象。该操纵对象可以是用户的身体的一部分如手指或手，可以是任何物体如要由用户操纵的操纵杆，或者可以是机器人手臂等。检测单元121基于由立体照相机获得的深度信息来检测与显示表面交叠的操纵对象的形状、长边的取向、短边的取向和高度。当操纵对象是手指时，检测单元121可以检测手指所指的方向。在如图74所示的示例中，检测单元121检测与桌子140a交叠的触摸菜单按钮2001或2003的手指或手作为操纵对象，并且检测手指所指的方向。
然后，输出控制单元122控制输出单元130，使得在显示表面上显示具有圆形形状的菜单，在该圆形形状中，与由检测单元121检测到的操纵对象交叠的区域被忽略(半圆形)。例如，在如图74所示的示例中，输出控制单元122显示菜单2002，在菜单2002中，没有项被布置在与触摸菜单2001的手指交叠的区域中。
作为用于生成具有其中与操纵对象交叠的区域被忽略的圆形形状的菜单的手段，输出控制单元122可以根据其中操纵对象与显示表面交叠的区域的尺寸来增加或减少所显示的图标的数目或者图标的显示尺寸中至少之一。例如，输出控制单元122控制输出单元130，使得根据触摸菜单的手的尺寸来增加或减少所显示的图标的数目。具体地，如图75所示，当用户伸出一个手指并且触摸菜单按钮时，输出控制单元122显示9个图标；以及当用户展开各手指而不弯曲任何手指并且触摸菜单按钮时，输出控制单元122显示7个图标。
如图76所示，输出控制单元122可以根据手指的粗细将图标显示调节到最大为尺寸的上限并且用户可以没有困难地触摸的图标的数目。具体地，当手指较细时，输出控制单元122减少图标的尺寸并且显示更多的图标。当手指较粗时，输出控制单元122增加图标的尺寸并且减少图标的数目。输出控制单元122可以增加或减少其中布置图标的圆的半径。例如，当显示尺寸固定时，所显示的图标的数目根据半径的增加或减少而增加或减少。当所显示的图标的数目固定时，图标的显示尺寸根据半径的增加或减少而增加或减少。
由于输出控制单元122执行这样的显示控制，使得图标不与用户的手指交叠，因此用户可以容易地了解整个菜单。另外，可以避免由于其显示与手指交叠的图标被手指非故意触摸而引起的误操作。输出控制单元122可以按照手的尺寸，通过控制菜单显示，利用尽可能大的可用面积来显示图标。当图标的总数目超过所显示的数目，即不是所有的图标都可以被显示时，对所显示的图标的数目的调节特别有效。
输出控制单元122可以根据操纵对象的方向来控制要显示的菜单的方向。具体地，输出控制单元122可以控制输出单元，使得基于由检测单元121检测到的操纵对象的长边的方向将其中布置了项的菜单显示在显示表面上。例如，在如图74所示的示例中，输出控制单元122基于触摸菜单按钮2001的手指的方向来显示以手指的方向为中心左右扩散的半圆形菜单2002。另外，输出控制单元122基于触摸菜单按钮2001的手指的方向来估计该手指所属的用户的方向，并且将菜单2002显示成使得文本显示和菜单布置正对用户。通过执行这样的显示控制，当用户在任何方向上触摸桌子140a时，输出控制单元122可以提供正对用户的菜单。
信息处理系统100还可以根据检测单元121的检测结果来识别个人，并根据所识别的个人的操纵历史等来执行个性化的输出。例如，信息处理系统100可以根据手指的粗细来指定个人。因此，例如，即使在其中用户使用家庭共享帐户登录到在家中使用的信息处理系统100的状态中，仍可以对已登录的家庭成员输出个性化的输出而不必将照相机的取向朝向用户的脸部并且通过脸部识别来识别用户。例如，当信息处理系统100为投影型时，即使用户没有向上看，仍可以为用户提供与个性化的输出。即使在酒吧等中不确定的大量用户进行触摸的环境中，信息处理系统100可以输出个性化的输出。然而，考虑到例如当用户在雪山上戴着手套执行触摸时，即使对于同一个人，手指的粗细也发生了变化的情况。
(具体示例2)
本具体示例为如下形式：当照相机、麦克风、投影仪和扬声器为已知时，通过根据观察到的手或手指的方向估计用户位于的方向，针对用户对输入和输出进行优化。当在由麦克风进行声音获取的过程中不考虑用户的位置时，在某些情况下难以获取清楚的声音。当在从扬声器的输出声音的过程中不考虑用户的位置时，在某些情况下难以输出具有存在感的声音。因此，根据本具体示例的信息处理系统100估计用户的位置并且在用户的位置处执行优化的输入和输出。在下文中，将参照图77至图85来详细描述本具体示例。图77至图85是用于描述根据具体示例2的用户界面的说明图。
例如，在此将描述其中针对用户对充当输入单元110的麦克风进行优化的示例。根据本具体示例的检测单元121控制充当输入单元110的麦克风的方向性并且将麦克风的方向性朝向用户的嘴。检测单元121使用其中多个麦克风被组合的麦克风阵列来控制方向性。
图77示出了由包括四个麦克风的麦克风阵列形成的方向性的示例。通过使用当声音到达麦克风时发生的时间差而使麦克风具有方向性(执行波束形成)，检测单元121可以排除来自该方向性以外的方向的日常噪声。当麦克风的数目增加时，可以使麦克风具有更窄的方向性。
图78示出了根据触摸显示表面的手指的位置的方向性的控制示例。检测单元121根据用户触摸显示表面的手指的位置来估计用户的位置并且将麦克风的方向性的取向朝向所估计的用户的位置。例如，即使当用户远离麦克风时，检测单元121仍可以通过以这种方式控制麦克风的方向性来获取排除了日常噪声的清楚的用户声音，并且因此执行声音识别。如图79所示，例如，如在智能电话的情况下麦克风与嘴之间的距离必须在大约10厘米(cm)时，根据本具体示例的信息处理系统100即使在大约100cm的距离处仍可以获取排除了日常噪声的清楚的用户声音。
为了执行这样的方向性控制，检测单元121首先检测操纵对象。检测单元121检测与显示表面交叠的操纵对象的形状、长边的方向，短边的方向和高度。当操纵对象是手指时，则检测单元121可以检测手指所指的方向。然后，检测单元121被用作估计单元，该估计单元基于检测到的操纵对象来估计操纵该操纵对象的用户位于的方向。例如，检测单元121检测到用户的手或手指作为操纵对象，并且基于手或手指的位置和方向来估计用户位于的方向。在下文中，将描述具体估计方法。
例如，在如图80所示的示例中，检测单元121估计用户位于直线上的箭头方向上，该直线连接投影至投影表面的图标的位置与用手指触摸的图标的位置。在建立了待操纵的图标在用户的手的附近的前提下，该方案是有效的。例如，当用户可以按下并按住图标并且随后拖拽该图标以将该图标自由地移近该用户的手时，认为建立了这个前提。根据这个方案，即使当对手指的方向的检测失败时，检测单元121仍可以估计用户的方向。
例如，在如图81所示的示例中，检测单元121估计用户位于与触摸图标的手指的方向相反的箭头的方向上。当检测单元121成功地检测到手指的方向时，该方案是有效的。
例如，在如图82所示的示例中，检测单元121基于放置在充当投影表面的桌子140a上的双手的位置和方向来估计用户位于左手与右手之间并且用户位于箭头方向上。具体地，检测单元121估计从同一侧检测到的两个手的方向的平均方向是用户位于的方向。当检测单元121成功地检测到双手的方向时，该方案是有效的。
例如，在如图83所示的示例中，检测单元121根据操纵应用的手指的方向来估计用户位于的方向。检测单元121可以通过从驱动的时间开始估计并且存储操纵多个应用的手指的方向并且将所存储的手指的方向进行积分来估计用户位于的当前方向。检测单元121可以通过在操纵某个应用的手指的方向上对操纵另一应用的手指的方向进行积分和计算来估计用户位于的方向。
以这种方式，检测单元121估计用户位于的方向。然后，检测单元121控制输入单元110，使得在所估计的用户位于的方向上执行具有方向性的输入。例如，在以上参照图79至图83描述的示例中，检测单元121控制麦克风，使得在所估计的用户位于的方向上执行波束形成以获取声音。检测单元121可以对从每个麦克风输出的声音执行波束形成处理。因此，检测单元121可以获取排除了日常噪声的清楚的用户声音。此外，检测单元121可以控制充当输入单元110的照相机的方向以在所估计的用户位于的方向上获取图像。
输出控制单元122控制输出单元130，使得在由检测单元121估计的以及用户位于方向上执行具有方向性的输出。例如，输出控制单元122控制充当输出单元130的扬声器，使得声道被配置成在用户位于的方向上输出声音。除了声音以外，输出控制单元122可以控制输出单元130，使得例如在所估计的用户位于的方向上输出图像，使得图像正对用户。
图84是示出了本体与用户之间的位置关系以及当从下方观察投影型信息处理系统100的本体时的简单配置示例的图。如图84所示，扬声器被形成在本体的四个角处。在图中，“R”指示右声道，“L”指示左声道。如图84上方的图所示，当存在围绕信息处理系统100的多个用户时，输出控制单元122控制扬声器，使得以正常声道配置来输出声音。另一方面，如图84下方的图所示，当存在单个用户时，输出控制单元122控制扬声器，使得以专用于所估计的用户位置的声道配置来输出声音。
如上所述，根据本具体示例，通过根据用户的位置使麦克风具有方向性，例如，可以改进声音识别或声音命令的成功率，例如，即使是在其中存在噪声如日常噪声并且麦克风远离用户的位置的环境中。根据本具体示例，通过根据用户的位置改变扬声器的声道配置，可以实现具有更好的存在感的声学空间。例如，根据本具体示例的信息处理系统100可以根据内容的产生者的意图在使用家用电视的假设下再现为其设计声道配置的内容。另外，根据本具体示例，信息处理系统100还可以显示应用如网络浏览器，使得在声音识别完成后该应用正对用户。
(照片应用)
在此，参照图85，将描述照片应用作为其中使用根据本具体示例的信息处理系统100的应用的示例。当从本体观察的扬声器和桌子140a的位置已知时，该应用使用关于本体和桌子140a的位置信息和安装方位角信息来输出各种视觉效果和音效。位置信息可以由例如全球定位系统(GPS)获取，以及安装方位角信息可以由例如地磁传感器获取。
例如，该应用根据照片附带的可交换图像文件格式(Exif)信息来获取拍摄位置，并且估计从桌子140a观察的拍摄位置的方位角。如图85所示，该应用显示其中照片以所估计的方位角滑动到投影表面上的动画或者从相应位置处的扬声器产生音效。对于音效，可以将声音图像定位在相应位置处。该应用可以应用于例如会议室，使得将会议文档进行镜像以在安装在远程位置处的多个会议室中的桌子140a上共享，或者可以在会议室之间实现对话。
由照相机应用显示在投影表面140a上的照片可以在许多方向上被许多人同时操纵并且浏览。例如，投影表面140a的四条边处的用户可以在许多方向上同时选择照片、移动照片的位置、改变照片的方向、编辑照片或者添加新的照片。
(具体示例3)
本具体示例为如下形式：在激活期间对投影表面的状态和应用的状态进行管理，并且在必要时控制照明器(光)。在一般情况下，当使用投影仪和照明器时，由于照明器的亮度，投影的图像可能变得不清楚。出于这个原因，人执行关闭房间中的照明器或者仅关闭投影表面附近的照明器的动作。当使用投影仪和照明器时，根据本具体示例的信息处理系统100控制照明器，使得由投影仪投影的图像被清楚地显示，因此可以降低人的这种工作量。根据本具体示例的信息处理系统100是投影型的并且假设可控照明单元与主体集成在一起或者可以远程调节分立的照明单元。照明单元被假设为改变照射范围和照射方向。在下文中，将参照图86至图93来具体描述本具体示例。图86至图93是示出了根据具体示例3的用户界面的说明图。
如图86所示，根据本具体示例的信息处理系统100包括相机2011、充当投影单元的投影仪2012以及以矩阵形式排列的多个照明单元2010。检测单元121基于由取向为朝向投影表面的照相机2011获取的图像来检测投影表面的状态，并且获取通过检测投影表面的状态而获得的状态信息。投影表面的状态包括例如投影表面的亮度、投影至投影表面的图像的对比度、在投影表面上存在或者不存在物体以及投影表面上的物体的种类、布置和尺寸以及物体的组合。输出控制单元122根据由检测单元121检测到的状态和由投影仪2012投影至投影表面上的图像来控制照明单元2010，使得用一定量的光(照明强度)照射投影表面。
例如，如图86所示，当投影仪2012未在桌子140a的投影表面进行投影时，输出控制单元122控制照明单元2010，使得用大量的光照射投影表面(亮)。当投影仪2012投影图像时，输出控制单元122控制照明单元2010，使得用少量的光照射投影表面(暗)。当然，可以关闭照明器，使得光的量为零。输出控制单元122可以控制照明单元2010，使得通过参考由检测单元121对投影图像的对比度的检测结果来增加或减少光的量，用使得投影图像的对比度等于或大于阈值的量的光照射投影表面。通过将投影图像的对比度设定成等于或大于易于看到的对比度的值，输出控制单元122可以使亮度与可见性适配。
如图87所示，还可以考虑物体被放置在桌子140a的局部并且该局部不被用作投影表面的情况。在这种情况下，检测单元121检测所放置的物体作为投影表面的状态，并且输出控制单元122控制照明单元2010，使得用大量的光照射检测到的物体的附近，并且用少量的光照射作为投影表面的另一部分。
输出控制单元122可以基于放置在桌上140a上的物体的类型来控制照明单元2010。例如，当由检测单元121检测到放置在投影表面上的物体时，输出控制单元122可以控制照明单元2010，使得根据检测到的物体是发光的发光体还是反射光的反射体(其不发光)，用一定量的光照射投影表面。具体地，输出控制单元122控制照明单元2010，使得当物体是发光体时用少量的光照射投影表面，并且使得当物体是反射体时用大量的光照射投影表面。在下文中，将参照图88和图89来描述当智能电话作为发光体被放置在桌子140a上以及当盘子作为反射体被放置在桌子140a上时的照明控制。
如图88左侧的图所示，当投影仪2012投影图像时，输出控制单元122首先控制照明单元2010，使得用少量的光照射投影表面。如图88中间的图所示，当物体被放置在桌子140a上时，检测单元121检测该物体。在这种情况下，为了使检测单元识别物体，输出控制单元122控制照明单元2010，使得用大量的光照射投影表面而无论该物体是发光体还是反射体。接着，检测单元121例如通过向服务器询问关于通过对投影表面成像而获得的图像来识别放置在桌子140a上的物体。
例如，当物体在服务器中被登记为智能电话时，如图88右侧的图所示，由于智能电话的显示单元是发光体，因此输出控制单元122控制照明单元2010，使得用原来的少量的光照射投影表面。由于智能电话是发光体，因此即使当投影表面变暗时，检测单元121仍可以连续地检测并且跟踪该智能电话。由于光的量较小，因此防止了从照明单元2010照射的光被反射(高亮)到智能电话的显示单元。因此，检测单元121可以容易地检测该智能电话。
另一方面，当物体在服务器中被登记为盘子时，如图89左侧的图所示，由于盘子是不发光的反射体，因此输出控制单元122控制照明单元2010，使得用大量的光照射投影表面。因此，检测单元121可以连续地检测并且跟踪盘子。如图89中间的图所示，输出控制单元122可以控制照明单元2010，使得仅盘子所在的区域是亮的，而其他区域是暗的。因此，例如，投影图像被投影在其他区域中并且是可见的。如图89右侧的图所示，输出控制单元122可以控制投影2012，使得照明单元2010被关闭，然后使比物体的形状稍大的光斑发光。来自投影仪的光斑可以例如通过将明亮的白色图像投影至预定区域来实现。因此，检测单元121可以容易地检测盘子，并且当盘子在光斑的范围内移动时可以连续地检测并且跟踪盘子。
在由照明单元2010对光的量进行调节的同时，检测单元121可以参考由相机2011拍摄的图像来检测物体是发光体还是反射体。例如，当即使在黑暗状态下仍能检测到物体时，检测单元121可以识别出物体是发光体，并且当首先在明亮状态下检测到物体时，可以识别出物体是反射体。根据这样的方案，检测单元121可以在不询问服务器的情况下将即使未在服务器中登记的物体识别为发光体或反射体。
信息处理系统100可以通过控制照明区域来改进物体的搜索精度(检测精度)。例如，如图90左侧的图所示，检测单元121控制照明单元2010，使得在紧接着开始搜索物体(标记物)之后照亮整个桌子140a。在此，假设标记物为反射体。当检测到标记物时，如图90右侧的图所示，检测单元121控制照明单元2010，使得照明范围被逐渐缩小至由标记物占据的区域。因此，信息处理系统100可以对是否识别到放置在桌子140a上的标记物以及标记物的存在范围被缩小了多少明确地给出用户反馈。另外，当照明范围被缩小时，尽管存在用户移动了物体这一事实，但是标记被照亮并且发生反射。因此，检测单元121可以检测并且跟踪标记物。此时，检测单元121可以控制照明单元2010，使得照明范围被扩大然后再次被缩小。如图91左侧的图所示，当标记物偏离照明范围时，检测单元121可能无法检测标记物。在这种情况下，如图91右侧的图所示，检测单元121可以扩大照明范围并且再次搜索标记物。
信息处理系统100可以通过控制光的量来改进对物体的搜索精度。具体地，检测单元121根据标记物的材料来调节照明单元2010的光的量。例如，当标记物由有光泽的材料如玻璃或塑料形成并且发生高亮时，可能难以根据由照相机2011拍摄的图像来检测标记物。因此，检测单元121控制照明单元2010，使得用可以检测到标记物的少量的光来照射投影表面。另一方面，例如，当标记物由无光泽的(磨砂的)材料如布、纸或木材形成时，当环境明亮时能够容易地检测到该标记物。因此，检测单元121控制照明单元2010，使得用尽可能大量的光照射投影表面。检测单元121可以例如参考用于指示登记在服务器中的标记物的材料的信息来确定标记物的材料。如图92所示，检测单元121可以搜索标记物，同时重复地改变照明的强度。在这种情况下，检测单元121可以在不询问服务器的情况下，在适合于该材料的照明环境下检测各种材料中的任何材料的标记物。
如图93所示，信息处理系统100可以通过将照明单元2010与相机2011进行链接来改进物体的搜索精度。图93示出了其中在昏暗环境下检测物体并且时间从左向右经过的示例。检测单元121控制照明单元2010，使得照明单元2010与相机2011的拍摄间隔同步地发光。即，检测单元121使照明单元2010充当附接至普通照相机的闪光灯(电子闪光灯)。即使在昏暗环境中，照相机2011仍可以对从照明单元2010发出的光的反射光进行成像，因此检测单元121的检测精度得以改进。例如，当电源频率为50赫兹时，可以以20毫秒的时间间隔执行成像和发光。由于光以人无法识别的时间间隔发出，因此即使在除了瞬时发光以外保持昏暗的环境中，仍可以由检测单元121检测到物体。
如上所述，根据本具体示例，根据投影表面的状态，通过由照明单元调节光照强度和照明范围，信息处理系统100可以将清楚的图像投影至投影表面。信息处理系统100可以通过调节照明范围来抑制对其中整个房间非故意地变得暗或亮的环境的影响，使得照射必要的光斑。信息处理系统100可以通过调节照明单元的光照强度和照明范围来改进放置在桌子140a上的物体的识别精度。
(具体示例4)
本具体示例为如下形式：对超过可识别的操纵对象的数目进行反馈。例如，在即使当用手指触摸桌子140a时也没有反馈的情况下，用户可能无法辨别是该触摸未被识别，还是尽管识别到触摸但是UI无法响应，还是该用户未能执行操纵。在此，当超过可识别的数目时，信息处理系统100无法检测与超出部分对应的触摸，因此难以向用户给出反馈。
因此，根据本具体示例的信息处理系统100将从操纵对象的计算上可识别的上限中减去1而获得的数目限定为基于规格的可识别上限。计算上可识别的上限是指可以由检测单元121检测到的操纵对象的上限。即，设置有缓冲器，并且限定了基于规格的可识别上限。当然，缓冲器的数目可以是1以外的任何数目。当基于规格的可识别上限被超过1时，即，当该数目达到计算上可识别的上限时，信息处理系统100向用户提供用于指示操纵对象不可识别的反馈。具体地，检测单元121检测桌子140a上的被触摸的操纵对象。当由检测单元121检测到的操纵对象的数目是计算上可识别的上限时，输出控制单元122控制输出单元130，使得输出警告。在下文中，将参照图94进行具体描述。图94是示出了根据具体示例4的用户界面的说明图。
图94示出了当操纵对象的计算上可识别的上限为4时由信息处理系统100给出的反馈示例。在本示例中，基于规格的可识别上限为3，3是通过从4中减去1得到的。因此，如图94所示，当执行触摸操纵的手指的数目为1至3时，输出控制单元122控制输出单元130，使得输出用于指示触摸检测成功的音效。如图94所示，当执行触摸操纵的手指的数目变成4时，4超过了基于规格的可识别上限3。因此，输出控制单元122控制输出单元130，使得输出用于指示触摸检测失败的音效。
当触摸桌子140a的手指的数目已经达到基于规格的可识别上限时，输出控制单元122可以例如在手指触摸桌子之前该手指进入照相机的视角时给出用于指示手指为可识别或不可识别的反馈。此外，输出控制单元122可以当手握拳而无法进行触摸时给出例如用于指示不能检测到触摸的反馈。除了检测单元121的可识别上限以外，输出控制单元122可以给出例如根据在双人游戏中手指被一个接一个地使用的应用中限定的可识别上限的反馈。例如，当可识别上限为4时，触摸桌子的手指的数目为6，因此两个手指无法识别，为了便于扫描，优选地在左上方给出反馈。当可识别上限为空时，可以优选地在左上方得到可识别上限。当然，优选位置不限于左上方，而是可以据产品设计将任何位置作为优选。
根据本具体示例，可以明确地给出用于指示超出操纵对象的可识别上限的用户反馈。因此，可以防止用户误以为UI不响应而反复敲击桌子140a的糟糕的情况。
(具体示例5)
本具体示例为如下形式：根据不执行操纵的手来改变操纵模式。用户可以用其手指操纵投影至桌子140a的图像、文本、应用等。当用户临时停止该用户正在做的事情来改变操纵模式，即打开菜单并且选择操纵模式时，该用户难以继续而不被中断。因此，根据本具体示例的信息处理系统100基于对不执行操纵的手的识别结果来改变操纵模式。
具体地，检测单元121检测用户的一双手。例如，将在同一侧检测到的两只手检测为由检测单元121检测到的一双手。输出控制单元122控制输出单元，使得执行输出以使属于由检测单元121检测到的一双手中的一只手充当作用点。例如，输出控制单元122通过使得用手指触摸桌子140a的右手充当作用点以操纵投影至桌子140a的应用来表达与触摸位置对应的滚动等的交互。输出控制单元122控制输出单元130，使得输出被执行，以使另一只手充当切换器，该切换器根据该一只手的形状切换动作点处的动作的类别。例如，输出控制单元122根据左手的形状由右手切换操纵的操纵模式。当然，左手、右手的功能可以互换。在下文中，将参照图95至图97进行具体描述。图95至图97是示出了根据具体示例5的用户界面的说明图。
例如，当左手为石头-剪刀-布游戏中的石头的形状时，检测单元121基于所拍摄的图像来识别左手的形状，并且输出控制单元122将操纵模式切换成“镇尺模式”。在“镇尺模式”中，如图95上方的图所示，输出控制单元122控制输出单元130，使得在由右手触摸的点处绘制文本。当左手为石头-剪刀-布游戏中的剪刀的形状时，检测单元121基于所拍摄的图像来识别左手的形状，并且输出控制单元122将操纵模式切换成“剪刀模式”。在“剪刀模式”中，如图95中间的图所示，输出控制单元122控制输出单元130，使得在由右手触摸的点处执行将投影图像切除的表达。当左手为石头-剪刀-布游戏中的布的形状时，检测单元121基于所拍摄的图像来识别左手的形状，并且输出控制单元122将操纵模式切换成“正常模式”。在“正常模式”中，如图95下方的图所示，输出控制单元122控制输出单元130，使得在由右手触摸的点处执行正常操纵如轻敲或拖拽。如图96所示，输出控制单元122可以控制输出单元130，使得根据由检测单元121检测到的手的形状来输出不同的菜单。如图97所示，输出控制单元122可以控制输出单元130，使得根据由检测单元121检测到的手的形状来输出不同媒体的文件列表。在如图97所示的示例中，当左手为石头-剪刀-布游戏中的石头的形状时，输出音乐文件的列表。当左手为石头-剪刀-布游戏中的布的形状时，输出网络文件的列表。
输出控制单元122可以通过投影如下显示来明确地向用户给出操纵模式的反馈，该显示指示当前操纵模式为如下之一：右手充当作用点和左手充当开关。例如，输出控制单元122控制输出单元130，使得当操纵模式为剪刀模式时，将剪刀标记投影至指甲或手背。输出控制单元122可以根据充当作用点的右手的形状来切换作用点处的操纵的类别。例如，输出控制单元122可以控制输出单元130，使得当伸出右手的一个手指时画细线，并且并且当伸出右手的两个手指时画粗线。即使当充当开关的左手离开桌子140a并且检测单元121的识别失败时，输出控制单元122仍可以维持操纵模式。例如，即使当用户的左手为剪刀形状并且操纵模式被切换到剪刀模式并且如果用户随后缩回其左手时，输出控制单元122仍可以维持剪刀模式。
如上所述，根据本具体示例，用户可以使用不执行操纵的手来切换操纵模式。因此，用户可以无缝地切换操纵模式而不中断该用户的当前任务，因此可以连续工作。由于用户能够直观地切换操纵模式，因此与切换操纵模式的学习相关的成本较低。
(具体示例6)
本具体示例为如下形式：构成元件如照相机和投影仪以模块为单位形成，因此可以通过标准化接口来使得能够连接，根据需要针对每个模块进行替换。当信息处理系统100被形成为集成产品时，使用替换信息处理系统100以外的扩展功能的方法可能变得困难。因此，在根据本具体示例的信息处理系统100中，构成元件可以被模块化并且各模块单元可以互换。
具体地，在信息处理系统100中包括的CPU、照相机、投影仪、LED灯、麦克风、扬声器等被存储在标准化模块中。这样的构成元件可以被单独存储，或者多个构成元件可以被组合并且存储在一个模块中。例如，可以将存储CPU、投影仪、相机的模块理解为核心模块，并且可以将存储其他构成元件的模块理解为子模块。可以经由公共接口通过连接各模块来实现双向通信和供电，并且所有被连接的模块可以充当信息处理系统100。也可以仅核心模块充当信息处理系统100。接口可以通过无线通信来实现，可以通过有线通信来实现，或者可以通过端子在物理上进行连接。在下文中，将参照图98和图99来具体描述本示例。图98和图99是示出了根据具体示例6的用户界面的说明图。
图98示出了根据本具体示例的信息处理系统100的本体的简单配置示例。在图98所示的配置示例中，在圆柱形容器中，存储投影仪的模块(投影仪)被布置在最下层中，存储上面安装有CPU的控制基板的模块(主PCB)被布置在中间层中，以及存储扬声器的模块(扬声器)被布置在最上层中。此外，连接至控制基板的立体照相机(立体照相机)被布置在圆柱形容器的右侧和左侧。这样的模块可以由例如公共端子相连接。当存储扬声器的模块与存储控制基板的模块之间存在间隙时，音质和散热效果有望被改进。通过将扬声器侧连接至天花板并且将投影侧取向至地板侧，可以实现投影型信息处理系统100。模块可以布置成在垂直方向上交叠，如图98所示，可以布置成在水平方向上的一条直线上，可以布置在一个平面上，或者可以布置成在任何位置处各自分离。除了如图98所示的模块以外，照明器和扬声器的子模块可以被任意连接。如图99所示，信息处理系统100可以被形成为具有悬吊在天花板上的形状的照明装置，可以被形成为落地灯型的照明装置，或者可以被形成为台灯型的照明装置。
当照明器被设置为远离核心模块时，核心模块可以通过图像识别来指定发光位置以识别核心模块与照明器之间的位置关系，同时使照明器顺序地发光。因此，核心模块可以根据投影表面的状态等使设置在适当的位置的照明器选择性地发光。此外，核心模块可以通过记录照明器的安装日期并且投影例如“这些灯快要到期”的消息来通知用户临近截止日期。当安装了具有宽范围的扬声器时，核心模块可以主要使用该扬声器来输出声音，并且可以使用另一扬声器作为平衡调节。
根据本具体示例，由于每个模块可以被部分地替换，而不是替换整个产品，因此抑制了产品的替换成本并且节省了资源。根据本具体示例，可以通过替换模块来容易实现功能的扩展。例如，用户可以通过替代核心模块来改进性能如CPU的处理能力、照相机的分辨率和识别精度。用户可以例如通过替换子模块来享用大量被开发的扬声器和照明器在设计上的变化。
(具体示例7)
本具体示例为如下形式：当显示相同的应用的多个画面时使画面的显示同步。通常，应用被显示在单一方向上。然而，当假设多个用户围绕桌子140a并且使用一个应用时，例如，站在相反方向上的用户难以一起浏览该应用。因此，根据本具体示例的信息处理系统100显示相同应用的多个画面并且在必要时在同步画面(镜像)和不同步画面(镜像的解除)之间切换。
具体地，检测单元121检测到操纵对象。输出控制单元122控制输出单元130，使得根据由检测单元121检测到的操纵对象在显示表面上显示至少两个画面。例如，输出控制单元122基于显示由检测单元121检测到的手指的方向来显示相同应用的画面，使得这些画面正对围绕桌子140a的多个用户。当画面被同步时，输出控制单元122控制输出单元130，使得显示被执行成将对由检测单元121检测到的操纵对象在一个画面上的操纵同样地反映在其他画面上。例如，当一个用户用其手指滚动画面时，为其他用户显示的画面被同样地滚动。在下文中，将参照图100至图103进行具体描述。是图100至图103示出了根据具体示例7的用户界面的说明图。
图100示出了其中网络浏览器被显示在一个画面上的正常状态。图101示出了其中网络浏览器被同步显示在两个画面上的同步显示状态。在画面被同步时，输出控制单元122将一个画面上的操纵反映在其他画面上。例如，如图101所示，当一个用户点击画面以转换画面时，输出控制单元122控制输出单元130，使得画面被同样地转换，使得在其他画面上相同的点被点击。图101示出了其中显示表面被划分为用于同步显示的上下两个表面的示例。如图102所示，输出控制单元122可以控制输出单元130，使得显示表面被划分成同步显示的左右两个表面。当同步被解除时，如图103所示，输出控制单元122可以控制130，使得执行其中每个用户在自己的画面上分别执行滚动操纵的显示。当再次执行同步时，输出控制单元122按照各画面中充当主画面的那个画面的显示来统一另一画面(从画面)的显示。
除了滚动以外，输出控制单元122可以例如在所有画面上同步地显示文本输入、在地图应用中输入标记等。另外，例如，当多个用户浏览某个整个网页时，输出控制单元122可以矩形形式显示由其他用户显示的区域的位置，或者可以用箭头显示区域的方向。图100至图103示出了其中以对比状态显示画面但是各画面可以彼此分离的示例。
输出控制单元122可以将一个画面划分(分屏)成两个画面或者可以将两个画面统一(合屏)成一个画面。输出控制单元122可以同步或异步地显示多个分屏画面。输出控制单元122可以将该多个分屏画面重新合屏。在这种情况下，输出控制单元122显示被用作主画面的一个画面作为合屏画面。
考虑了在合屏时被决定用作主画面的画面的各种方法。例如，输出控制单元122可以将首先选择的待合屏的画面设定为主画面，并且将其他画面设定为从画面。这时，输出控制单元122可以在另一画面上显示对话框“你想合屏吗？”，并且将在其上用户同意合屏的画面设定为从画面。当合屏画面被再次分屏时，输出控制单元122可以将原来由从画面显示的画面显示为从画面。例如，假设其中输出控制单元122将显示网页“A”的主画面与显示网页“B”的从画面进行同步以显示一个网页“A”的示例。之后，当网页被再次分屏时，输出控制单元122可以使主画面显示网页“A”并且使从画面显示网页“B”。
考虑了用于执行分屏和合屏的各种机会。例如，输出控制单元122可以控制输出单元130，使得通过由检测单元121检测到的用户对菜单项的选择来执行分屏和合屏。另外，当检测单元12检测到左右拖拽并且移动触摸一个画面的手指的操作时，输出控制单元122可以执行分屏。另外，当检测单元12检测到触摸画面并且将一个画面左右拉开以切割该画面的两个用户的操作时，输出控制单元122可以执行分屏。与此相反，当检测单元121检测到触摸两个画面的手指移动成使得手指交叠的操作时，输出控制单元122可以执行合屏。检测单元121可以根据手指的数目等从操纵如捏拉来区分用于指示分屏和合屏的操纵。输出控制单元122可以仅允许主画面决定合屏或不合屏，可以仅允许从画面决定合屏，或者可以允许包括主画面和从画面的所有画面决定合屏。
如上所述，根据本具体示例，由于可以在与用户位置对应的方向上显示多个画面，因此可以实现从不同方向的高可见性。根据本具体示例，由于可以在必要时同步或异步地切换多个画面，因此可以实现根据应用的状态来即兴显示和操纵。根据本具体示例，当画面被同步时，来自另一个人的操纵被反馈。用户可以容易地识别该另一个人执行了哪个操纵以及应用如何工作。
(具体示例8)
本具体示例为如下形式：桌子140a上的主体被记录并且以原来的尺寸被再现。桌子140a上的主体是例如放置在桌子140a上的物体如图片或照片，或者投影至桌子140a的图像。根据本具体示例的信息处理系统100在某一时间点处对桌子140a上的主体成像，并且使投影仪(投影单元)投影所拍摄的图像，使得随后以实际尺寸将该主体显示在桌子140a上。在此，在记录该状态之后再现该状态之前，当投影距离、投影视角等环境被改变时，在某些情况下信息处理系统100难以以原来的尺寸再现该状态。因此，根据本具体示例的信息处理系统100存储在记录时间点处投影仪与桌子140a之间的投影距离和投影视角并且在再现时间点处根据投影距离和投影视角来改变(校正)投影尺寸。
作为用于这种校正的前提条件的处理，控制单元120执行将由照相机成像的尺寸与由投影仪投影的尺寸相匹配的调节处理。具体地，控制单元120充当调节单元，该调节单元执行调节，使得当由照相机通过对桌子140a上的主体成像而获得的图像被投影仪投影至桌子140a上时，主体的投影尺寸主体的实际尺寸相匹配。控制单元120执行例如桌子140a上的4个点的位置对准，并且执行单应转换作为调节处理。在其中执行这样的调节处理并且由投影仪、照相机和桌子140a实现的环境中，例如，信息处理系统100可以拍摄放置在桌子140a上的图片并且在稍后的日期处以相同的尺寸投影该图片。然而，当投影仪的设定如投影距离或投影视角被改变时，由投影仪投影的图像的投影尺寸也被改变。因此，信息处理系统100通过存储所拍摄的图像和与拍摄该图像相关联的设定信息并且根据设定信息的变化来调节投影尺寸以实现用原来的尺寸来投影该主体。
具体地，在其中执行调节处理的某个时间点处的环境(第一环境)中，控制单元120首先存储由对桌子140a(第一投影表面)上的主体成像的照相机(第一成像单元)获得的拍摄图像和投影仪的设定信息。控制单元120可以充当用于存储设定信息的存储单元。设定信息是包括用于指示投影仪与投影表面之间的距离的投影距离的信息。投影距离可以是用于指示投影仪与主体之间的距离的信息。设定信息还可以包括用于指示投影仪的视角的投影视角的信息。
当投影距离或投影视角被改变时，控制单元120首先执行调节处理。接着，在经受了调节处理的环境(第二环境)中，信息处理系统100将变化之后的投影仪(第二投影单元)的设定信息与变化之前存储的设定信息进行比较。基于比较结果，信息处理系统100控制投影仪，使得以实际尺寸来投影所存储的拍摄图像的主体。在下文中，将参照图104至图110进行具体描述。图104至图110是示出了根据具体示例8的用户界面的说明图。
如图104上方的图所示，假设其中图片被放置在桌子140a上的示例。首先，检测单元121控制输入单元110，使得拍摄所放置的图片以获取拍摄图像。接着，除了所获取的拍摄图像以外，控制单元120存储投影距离100cm和投影视角60°作为设定信息。在这个时间点处，以与在投影仪投影拍摄图像时的实际尺寸相同的尺寸将图片进行投影。
当投影距离被改变时，例如，当桌子140a被替换时，输出控制单元122将所存储的设定信息与改变后的设定信息进行比较，并且控制投影仪，使得执行放大或缩小显示。例如，如图104中间的图所示，当投影距离从100cm变成50cm时，输出控制单元122控制投影仪，使得图片被放大到待投影的正常尺寸的两倍尺寸。因此，该图片以实际尺寸被再现。
当投影视角被改变时，例如，当投影仪被替换时，输出控制单元122将所存储的设定信息与改变后的设定信息进行比较，并且控制投影仪，使得执行放大或缩小显示。例如，如图104下方的图所示，当投影视角从60°变到120°时，输出控制单元122控制投影仪，使得图片被缩小到待投影的正常尺寸的0.5倍。因此，该图片以实际尺寸被再现。在图104中，描述了其中在同一家庭中(同一信息处理系统100)的投影仪的设定被改变的示例。然而，即使当图像被传送至不同的家庭中，仍可以执行相同的校准。可以通过校准来吸收环境的变化。
考虑了激活这样的校准功能的各种时机。例如，如图105所示，信息处理系统100可以在用户按下桌子上的开关的时机激活校准功能。如图106所示，信息处理系统100可以在由于清洁、重新布置等而改变桌子140a的时机激活校准功能。例如，当由检测单元121检测到距离(投影距离)变化到最大平坦表面时，信息处理系统100可以自动激活校准功能。如图107所示，信息处理系统100可以在通过升降功能改变了高度(投影距离)的时机激活校准功能。升降功能由例如由马达运行的升降装置来实现。
信息处理系统100可以使用升降功能来自动调节高度，使得其中使用投影表面的距离被尽可能宽地设定。具体地，输出控制单元122控制投影仪，使得投影预定图案，并且检测单元121控制照相机，使得投影的图像被拍摄。然后，控制单元120使用升降功能来调节高度，使得实现其中被投影的预定图案完全落在桌子140a上的图像的高度被拍摄。例如，如图108上方的图中的示例所示，由于投影图案伸出桌子140a之外，因此距投影表面的距离太远。另一方面，如图108下方的图中的示例所示，由于描绘在桌子140a上的投影图案较小，因此距投影表面的距离太近。因此，如图108中间的图中的示例所示，控制单元120调节高度，使得最佳距离被设定，该最佳距离使得投影图案被描绘在遍布桌子140a的整个面积上。控制单元120可以通过根据拍摄图像中包括的图案的尺寸结合从深度传感器(立体照相机)获取的投影距离来测量距离，从而实现更高度可靠的调节。
信息处理系统100可以在升降功能的升降期间执行校准。例如，如图109上方的图所示，控制单元120可以控制投影仪，使得在升降期间投影尺寸恒定。如图109下方的图所示，控制单元120可以控制投影仪，使得图像在完成升降后以原来的投影尺寸来投影图像。信息处理系统100可以在执行升降的同时基于升降期间投影距离的变化来调节投影尺寸，使得即使在升降期间，用户仍可以执行操纵和浏览。
根据本具体示例，如上所述，即使在环境发生变化时，如更换桌子、安装位置的变化或者投影仪的变化时，仍可以保持原来的尺寸的显示。因此，可以没有变化地记录并且再现例如值得回忆的工作。
在图1中示出的投影型的情况下，装置如信息处理系统100中包括的立体照相机或投影仪被悬挂在天花板上。信息处理系统100中包括的装置可以由用户移动到任何位置。在此，根据用于悬挂每个装置的材料，由于移动而发生振动，因此振动收敛所必需的时间在很大程度上取决于材料。
在此，通过使用以下四种材料来悬挂信息处理系统100中包括的装置以测量收敛时间。图110中示出了从侧面方向观察的钢制的钢轴、碳纤维强化塑料(FRP)轴和含电力线的碳轴的外观示例。在图110中，附图标记1410表示钢轴的外观示例，附图标记1420表示碳FRP轴的外观示例，以及附图标记1430表示含电力线的碳轴的外观示例。可以将两个含电力线的碳轴配置成一对碳轴。
[表格1]
材料 外径(mm) 重量(g) 收敛时间(s)
线束 8 120 >1200
钢轴 30 2000 41
碳轴 9至16 62 91
含电力线的碳轴 4.5×2 49.5 94
(表1：材料与收敛时间之间的关系)
如表1所示，当使用碳轴来悬挂处理系统100中包括的装置时，确认了其中在实际使用中没有问题的收敛时间。另外，通过使用两个含电力线的碳轴，确认了其中即使在实际使用中在具有较小外径的材料中仍没有问题的收敛时间。除了碳以外还可以被用作用于轴的材料的纤维如玻璃、芳族聚酰胺、硼、竹、麻、聚对苯二甲酸乙酯(PET)、聚乙烯(PE)或聚丙烯(PP)。
(具体示例9)
本具体示例为如下形式：自动选择应用的激活位置。当应用在预定位置处被正常激活时，例如，放置在桌子140a上的物体可能是障碍物，因此，可能难以显示整个应用画面。即使当意图移动应用画面时，由于放置在桌子140a上的物体可能是障碍物，因此可能难以移动应用画面。因此，根据本具体示例的信息处理系统100在激活应用时识别桌子140a上的物体，搜索满足针对每个应用设定而的约束条件(显示条件)的位置并且显示应用画面。当物体被移动或者新的物体被放置并且桌子140a上的状态被因此改变时，信息处理系统100移动该应用画面以自动避开变化后的物体。
具体地，检测单元121首先通过获取深度信息来检测桌子140a上的物体。然后，输出控制单元122控制输出单元130，使得图像被显示在与由检测单元121检测到的物体交叠的区域以外的区域中。因此，应用画面被显示在不存在物体的区域中。在下文中，将参照图111至图114进行具体描述。图111至图114是示出了根据具体示例9的用户界面的说明图。
例如，在如图111所示的示例中，网络浏览器2021和音乐播放器2022被显示在与桌子140a上的物体交叠的区域以外的区域中。输出控制单元122控制输出单元130，使得应用被显示在满足针对每个应用而限定的最小尺寸的平坦表面上。
检测单元121充当估计单元，该估计单元基于手或手指的位置和方向来估计用户的位置。输出控制单元122控制输出单元130，使得根据设定为与用户的关系的显示条件将图像显示在与所估计的用户的位置对应的位置处。例如，当将图像显示在用户的位置附近设定为显示条件时，输出控制单元122控制输出单元130，使得应用画面被显示在用户的位置附近。可以将关于显示位置的显示条件理解为设定应用画面上的工作重量。例如，图111中示出的应用的显示条件被假设为如下。假设投影表面的尺寸为1920×1080。
网络浏览器2021
最小尺寸：800×600
重量：用户附近
音乐播放器2022
最小尺寸：400×400
重量：用户附近
如图111所示，根据显示条件，输出控制单元122将网络浏览器2021和音乐播放器2022显示在靠近用户的位置处并且在满足最小尺寸的平坦表面上。
当由检测单元121检测到物体的移动时，输出控制单元122可以根据移动物体在桌子140a上的位置关系将图像显示在与显示条件更匹配的位置处。例如，在如图111所示的示例中，当桌子140a上的物体被移动时，输出控制单元122可以搜索更靠近用户的位置并且移动该应用画面。
输出控制单元122可以控制输出单元130，使得图像被显示在根据设定为与桌子140a上的物体的关系的显示条件的位置处。例如，当图像被设定成使得该图像被显示在邻近桌子140a上的物体的一端(边缘)时，输出控制单元122控制输出单元130，使得应用画面被显示为邻近由检测单元121检测到的物体。例如，假设图112中示出的应用的显示条件为如下。
溪流应用2023
最小尺寸：100×100×连续
重量：邻近边缘
根据显示条件，如112图所示，输出控制单元122可以通过布置并且显示沿着边缘在桌子140a上的物体之间流动的溪流应用2023来表达溪流。
输出控制单元122可以控制输出单元130，使得根据被设定为与桌子140a(投影表面)的关系的显示条件来显示图像。例如，假设图113中示出的应用的显示状态为如下。
蜡烛应用2024
最小尺寸：200×200
重量：投影表面的中部
根据显示条件，如图113所示，输出控制单元122在桌子140a的中部显示蜡烛应用2024。
考虑了当无法搜索到适当的投影表面时的各种处理。例如，如图114上方的图所示，输出控制单元122可以将图像直接投影在默认位置而不避开物体。如图114中间的图所示，输出控制单元122可以传送与物体交叠的区域，同时在默认位置处直接投影图像。如图114下方的图所示，输出控制单元122可以执行用于指示障碍物物体的警告显示。警告显示可以是例如提示用户移动物体的消息。此外，检测单元121可以根据通过将在上菜时的拍摄图像与当前拍摄图像进行比较而获得的比较结果来检测到用户已完成进食。然后，输出控制单元122可以显示用于提示用户最好移除用餐完后的盘子的消息作为警告显示。
根据本具体示例，通过自动检测并且显示针对每个应用的适当显示区域的平坦表面，可以执行最佳显示，使得用户不必执行操纵。根据本具体示例，通过动态搜索满足显示条件的显示区域，如针对每个应用而限定的最小尺寸和重量，可以自动执行最佳显示。
(具体示例10)
本具体示例为如下形式：执行对声音输出的控制，使得可以从显示在桌子140a上的声源听到声音。在投影型信息处理系统100中，视频被投影至位于投影型信息处理系统100下方的投影表面(桌子140a)并且从位于投影型信息处理系统100上方的主体发出声音。因此，当主体与桌子140a之间的距离较远时，视频与声音之间的一体感会丧失。因此，根据本具体示例的信息处理系统100由定向扬声器使声音从投影表面反射，使得声音被取向为朝向用户。具体地，信息处理系统100根据该应用的特征，通过将反射声音的位置变得与用户的操纵和位置一致来产生视频与声音之间的一体感。
检测单元121充当估计单元，该估计单元基于手或手指的位置和方向来估计用户的位置。输出控制单元122控制扬声器，使得针对在显示表面上显示的图像输出的声音被反射到达由估计单元估计的用户的位置。根据本具体示例的信息处理系统100包括多个定向扬声器并且被假设为能够控制每个扬声器的方向和定向范围。输出控制单元122基于用户的位置与应用的显示位置之间的位置关系来选择安装在如下位置处的扬声器并且控制该扬声器发出声音，在朝向应用画面发出声音时，在该位置处反射的声音可以到达用户。在下文中，将参照图115至图117进行具体描述。图115至图117是示出了根据具体示例10的用户界面的说明图。
例如，当应用是其中声源清楚的应用如音乐播放器时，如图115所示，输出控制单元122可以控制扬声器，使得声音朝向应用画面的中部反射并且声音可以到达用户。当应用是具有LR(左和右)声道配置的应用如运动图像播放器时，如图116所示，输出控制单元122可以控制扬声器，使得相应通道的声音反射到应用画面的左侧和右侧，以达到用户的左耳和右耳。当应用是其中声音生成源不清楚的应用如网页浏览器时，如图117所示，输出控制单元122可以控制扬声器，使得声音被反射到例如由用户点击的位置(例如，链接)并且声音到达用户。
除了由定向扬声器将声音从投影表面进行反射的情况以外，还考虑了用于产生视频与声音之间的一体感的各种方法。例如，输出控制单元122可以控制扬声器，使得声音图像被定位到要显示该应用的位置。当由多个用户使用多个应用时，信息处理系统100可以仅向用户发出由相应的用户使用的应用的声音。此外，当多个用户浏览同一个运动图像时，信息处理系统100可以为该用户再现使用相应用户的本地语言的声音。信息处理系统100可以将声音发出至应用画面的前侧，即在执行操纵的用户通常位于的方向上发出声音。
如上所述，根据本具体示例，通过根据应用的显示位置来控制声源的位置，可以为用户提供类似于从应用画面本身发出的声音的声感。根据本具体示例，通过根据来自用户的操纵来控制反射的位置，即使在没有关于声源如网络浏览器的先验信息时，仍可以产生视频与声音之间的一体感。根据本具体示例，通过根据用户的位置来控制LR的声道配置，可以产生如同用户正在观看家用电视一样的存在感。
(具体示例11)
本具体的示例是如下形式：当在桌子140a上满足特定条件时预设功能被激活。应用的功能被激活的条件通常仅能够由提供该应用的供应商设定。根据使用环境，在某些情况下，在应用中限定的行为中功能未被激活。因此，根据本具体示例的信息处理系统100被配置成使得待激活的功能和激活件可以由用户自由设定。
用户生成其中关于显示表面上的状态的条件与输出指令相关联的程序。当显示画面上的状态满足由程序限定的条件时，接收该程序的信息处理系统100基于相应的输出指令来执行输出。关于显示表面上的状态的条件的示例包括桌子140a上的特定物体的放置、桌子140a上的温度以及深度信息的变化。在下文中，关于显示表面上的状态的条件也称为输出条件。
首先，检测单元121识别操纵物体如触摸桌子140a的手指并且检测由用户进行的编程。然后，控制单元120基于由检测单元121获得的对编程的检测结果来存储其中输出指令与输出条件相关联的程序。控制单元120可充当用于存储该程序的存储单元。在下文中，将具体参照图118进行具体描述。图118是示出了根据具体示例11的用户界面的说明图。
作为程序的示例，例如，考虑了用于将桌子140a上的温度设定为输出条件的程序。在该程序中，可以设定其中条件确定被执行的区域。例如，如图118所示，考虑了用于将放置有蛋糕的区域设定为条件确定区域2031、将等于或小于30度的温度设定为输出条件以及将开启照明器的指令设定为输出指令的程序。作为程序的另一示例，例如，考虑了用于将桌子140a上的图案设定为输出条件的程序。例如，如图118所示，考虑了用于将其中在条件确定区域2032中扑克牌被正面向上放置的条件设定为输出条件以及用于显示预定效果的指令被设定为输出指令的程序。信息处理系统100可以通过触摸投影表面的操纵来接收编程，或者可以通过有线或无线通信从外部装置接收程序。
在下文中，将检测单元121检测例如桌子140a上的物体以及物体的表面的图案、温度、湿度等作为桌子140a上的状态。当由检测单元121检测到的桌子140a上的状态满足所存储的输出条件时，输出控制单元122控制输出单元130，使得执行和与输出条件相关联的所存储的输出指令对应的输出。例如，关于图118中示出的程序，输出控制单元122控制照明器，使得当温度传感器获取到条件确定区域2031的温度等于或小于30度这一事实时开启照明器。因此，例如，当放置在生日蛋糕上的蜡烛被吹灭时，照明器被自动开启。关于图118中示出的程序，输出控制单元122控制投影仪，使得当从拍摄图像中示出的图案中检测到放置在条件确定区域2032中的卡片为扑克牌这一事实时显示被编程的视频效果。
将进一步例示程序。例如，考虑了当温度被显示在用于婴儿的牛奶周围并且变成人的皮肤的温度如36度至37度时将该温度通知给用户的程序。此外，考虑了当生日蛋糕被监测、蜡烛被吹灭并且温度急剧下降时自动开启照明器并且拍照的程序。此外，考虑了早晨用户的前面放置了黑色饮料(假设为一杯咖啡)时显示新闻的程序。输出控制单元122可以执行显示，例如由虚线指示的矩形显示，该显示用于指示在编程区即条件确定区域中执行了程序。当然，在用于惊喜的目的而期望隐藏该程序的存在时，可以设定为不执行这样的显示。
除了上述温度和图案以外，例如，可以将深度的变化设定为输出条件。检测单元121基于深度信息来检测位于桌子140a上的物体，并且输出控制单元122控制输出单元130，使得当所检测的物体的状态满足输出条件时根据相关联地存储的输出指令来执行输出。例如，可以基于深度信息的变化检测到玩家在打麻将的过程中将牌放倒这一事实。因此，例如，考虑了当玩家在打麻将的过程中将牌放倒时基于所拍摄的图像来识别玩家的手的状态并且自动计算分数的程序。基于深度信息的变化还可以检测到蛋糕的盖子被移除并且出现蛋糕的内容这一事实。因此，考虑了例如当放置在桌子140a中间的生日蛋糕的盒盖被移除时再现生日歌曲的程序。在桌上游戏中，也可以基于深度信息的变化检测到一个真实物体被停滞在特定框中的事实。因此，考虑了当例如该真实物体被停滞在特定框中时显示某种效果的程序。
根据本具体示例，不仅可以设定由提供应用的供应商提供的程序，而且可以由用户设定自由和简单的程序。因此，实现了激活适合于桌子140a上的详细情况的功能。
(具体示例12)
本具体示例为如下形式：确定放置在桌子140a上的物体属于谁。根据应用的使用，可能有必要能够确定放置在桌子140a上的物体属于谁。因此，在本具体示例中，检测将物体放置在桌子140a上的手，并且通过将检测到的手与物体进行关联来确定该物体属于谁。也可以了解到用户拥有属于该用户的物体。
首先，检测单元121检测到进入预定区域的处于接触状态的操纵物体和物体分离。例如，基于深度信息，检测单元121检测到握着物体的手进入桌子140a并且该手与物体分离。在下文中，将参照图119至图123进行具体描述。图119至图123是示出了根据具体示例12的用户界面的说明图。
如图119所示，当只有手进入桌子140a时，检测单元121基于深度信息检测到与桌子140a的边邻接的封闭曲线作为手。如图119所示，当握着物体的手进入桌子140a并且物体被放置在桌子140a上时，检测单元121检测到手与物体分离。具体地，基于深度信息，检测单元121检测到出现了不与桌子140a的边邻接的封闭曲线。此时，检测单元121检测到不与桌子140a的边邻接的封闭曲线作为与手分离的物体。
随后，检测单元121充当识别单元，该识别单元识别到所检测的操纵物体并且物体与和该物体相关联的操纵物体分离。具体地，基于深度信息，检测单元121识别与桌子140a的边邻接的封闭曲线所指示的手和与手相关联的由与该封闭曲线分离并且不与桌子140a的边邻接的封闭曲线指示的物体。当物体被分离时，检测单元121可以识别位于与物体相关联的最靠近物体的位置的手。检测单元121识别与物体相关联的手作为物体所属的目的地。例如，如图119所示，检测单元121将放置在桌子140a上的物体与握住物体的手进行配对。检测单元121可以使用指示手的闭曲线邻接的桌子140a的边即手伸出的方向来识别物体所属的目的地。因此，如图119所示，即使当在桌子140a上仅检测到物体时，检测单元121仍可以识别到该物体属于谁。
本具体示例可以被应用到例如桌上游戏。检测单元121基于手伸出的方向检测到在桌子140a上旋转轮盘的用户。然后，输出控制单元122控制输出单元130，使得根据轮盘数字自动执行移动旋转该轮盘的用户的显示。当用户试图不按次序地旋转轮盘时，输出控制单元122可以执行警告显示。
当用户拿走该用户不该拿走的物体时，输出控制单元122可以执行警告。例如，如图120上方的图所示，当用户试图拿走不属于该用户的杯子时，输出控制单元122可以执行警告显示，并且可以执行将用户指引到属于该用户的杯子的显示。如图120下方的图所示，当用户试图从内侧拿走餐具时，输出控制单元122可以执行显示以引导用户使用外侧的餐具。另外，例如，在烤肉时，检测单元121可以识别谁把肉放下，并且输出控制单元122可以向打算取走其他人正在烤的肉的用户执行警告显示。
检测单元121可以检测所有权(所属目的地)的转移。作为转移规则，考虑了例如其中所有权被固定为首先触摸物体的人的“首先胜出”和其中所有权直接转移到触摸物体的人的“最终胜出”。此外，作为转移规则，考虑了其中与用户的选择对应的所有权转移的“用户选择”。例如，如图121所示，当检测到用户B试图触摸用户A首先触摸并且具有所有权的物体时，输出控制单元122可以在作为所有者的用户A的手处执行其中允许用户选择转移还是不转移所有权的显示。作为转移规则，考虑了其中当用手递交物体时的所有权转移的“用手传递”。例如，如图122所示，当用户X将其手中持有的物体递给用户Y时，检测单元121可以将所有权从用户X转移到用户Y。
检测单元121可以根据物体的分割来设定所有权。检测单元121检测一条封闭曲线作为一个物体，并且当检测到从该一条封闭曲线中出现两条或更多条封闭曲线时，检测到物体的分割。例如，当用来下注的多层堆叠的硬币崩塌时，检测单元121检测到物体的分割。例如，如图123所示，当其所有者已经被决定的物体被划分成多个部分时，检测单元121可以将分割后的物体的所有权设定至分割前的所有者。
如上所述，根据本具体示例，在应用、游戏等中，放置在桌子140a上的物体的所属可以被识别并且被视为属性信息。因此，例如，输出控制单元122可以根据物体的所有权来执行输出以支持游戏的进展。输出控制单元122可以通过由用户指示的所有者的推荐信息将所属信息在现实世界中可视化。
(具体示例13)
本具体示例为如下形式：投影至桌子140a上的窗口能够被自由地操纵。当多个人围绕桌子140a并且用户的位置移动时，优选地根据用户的意图来移动、旋转、放大或缩小投影至桌子140a上的窗口。因此，在本具体示例中，提供了用于接收对窗口的操纵如移动窗口的用户界面。在下文中，将参照图124至图127进行更具体的描述。图124至图127是示出了根据具体示例13的用户界面的说明图。
在图124所示的示例中，信息处理系统100将用于指示多个不同的应用画面的窗口如日历、运动图像和地图投影至桌子140a上。所投影的应用中的任何应用可以由用户选择。当多个不同的应用画面被同时投影时，用户可以例如在忙碌的早晨期间使用桌子140a来自由地同时检查各种类型的信息。在此，例如，当检测单元121检测到用户触摸来自如图124左侧的图中所示的菜单的旋转按钮时，输出控制单元122控制输出单元130，使得整个窗口旋转到桌子140a的相对方向上，如图124的右侧的图中所示。
检测单元121可以将窗口的外周理解为用于窗口操纵的手柄，并且检测对该手柄的用户操纵以实现该窗口操纵。例如，当检测单元121检测到该手柄被触摸时，信息处理系统100将操纵模式切换到窗口操纵模式。窗口操纵模式是其中将用户操纵检测为窗口操纵的操纵模式。其中将用户操纵检测为使应用滚动等的操纵的操纵模式也称为正常模式。
当操纵模式被切换到窗口操纵模式时，输出控制单元122控制输出单元130，使得手柄2041被显示为用于指示该操纵模式为窗口操纵模式的显示，如图125左侧的图所示。例如，用户可以通过在触摸手柄2041的同时拖拽、捏或旋转手柄2041以用其手指移动窗口。例如，当检测单元121检测到用户在触摸手柄2041的同时拖拽手柄2041时，输出控制单元122在其中手柄2041被拖拽的方向上移动该窗口，如图125右侧的图所示。当用户将其手指从手柄移除时，信息处理系统100可以将操纵模式从窗口操纵模式切换到正常模式。
当检测单元121检测到执行了从窗口外部向窗口内部的拖拽时，检测单元121可以将操纵模式从正常模式切换到窗口操纵模式。例如，如图126左侧的图所示，当检测单元121检测到手指从窗口外部向窗口内部拖拽时，输出控制单元122将操纵模式切换到窗口操纵模式。因此，如图126右侧的图所示，输出控制单元122在其中执行拖拽的方向上移动窗口。
检测单元121可以按照触摸窗口的手指的数目将操纵模式从正常模式切换到窗口操纵模式。例如，当检测单元121检测到两个手指正在触摸窗口时，可以将操纵模式切换到窗口操纵模式。具体地，如图127所示，当检测单元121检测到用两个手指旋转手柄时，输出控制单元122旋转窗口的显示。当检测单元121检测到用两个手指执行拖拽时，输出控制单元122可以在其中执行拖拽的方向上移动窗口。另外，当检测单元121检测到两个手指伸开时，输出控制单元122可以放大并且显示窗口。
根据本具体示例，用户可以自由地操纵窗口，从而改进了可用性。
(具体示例14)
在下文中，将描述可以由上述信息处理系统100的控制单元120执行的应用的具体示例。
(A：歌留多纸牌辅助应用)
歌留多纸牌辅助应用是在布置在桌子140a上的歌留多纸牌的歌留多纸牌游戏中使用辅助的应用。歌留多纸牌辅助应用具有读短语自动朗读功能、答案显示功能和提示提供功能。读短语(reading-phase)自动朗读功能是使输出单元130顺序地发音并且输出预先登记的读短语的功能。答案显示功能是从拍摄图像中识别每个歌留多纸牌并且当答案的歌留多纸牌与用户的手交叠时生成效果显示的功能。在提示提供功能中，当尽管从朗读读短语起经过预定时间后仍不呈现答案时，可以使输出单元130投影用于指示包含答案的歌留多纸牌的提示范围的显示，并且可以根据经过的时间来进一步缩小提示范围，如图128所示。在这样的配置中，在歌留多纸牌游戏中不需要朗读者而可以支持顺利进展。
(B：会话辅助应用)
会话辅助应用是在用户会话期间支持热烈气氛的应用。例如，会话辅助应用可以对用户的会话执行声音识别，通过对来自会话的文本进行语法分析来提取关键字，并且使输出单元130投影与该关键字对应的图像。在下文中，将参照图129进行更具体的描述。
图129示出了会话辅助应用的具体示例的说明图。例如，将假设其中两个用户X和Y具有如下会话的情况。
X：“我最近去了趟日本。”
Y：“坐飞机要多久？”
X：“大约5个小时。城市出人意料”。
Y：“你看到富士山了吗？”
X：“富士山很可爱。我还看到了日出”。
在这种情况下，会话辅助应用从两个用户的对话中提取例如“日本”、“飞机”和“富士山”作为关键字，并且使输出单元130投影日本地图、飞机和山富士，如图129所示。在这样的配置中，可以改进用户的身临其境感，并且用户被会话的气氛所感染。
(C：投影表面跟踪应用)
投影表面跟踪应用是根据投影表面的状态来执行适当的投影的应用。例如，投影表面跟踪应用根据投影表面的状态如投影表面的倾斜度或者投影表面的凹凸不平对投影图像进行校正和投影，使得投影图像正对用户显示。在下文中，将参照图130至图133进行更具体的描述。
图130至图133是示出了投影表面跟踪应用的具体示例的说明图。如图130所示，投影表面跟踪应用将食谱投影在斜立在工作台上的投影表面，使得食谱可以正对用户地被浏览。例如，当用户烹饪时，用户可以从投影至工作台上的平坦表面上的网络浏览器搜索食谱，并且将投影表面斜立在工作台上，使得用户可以在烹饪时站在水槽处并且浏览该食谱。在这样的配置中，由于可以以任何角度将图像投影至投影表面上，因此用户可从自由的位置浏览投影图像。
投影表面跟踪应用还可以根据投影表面的状态来检测用户操纵。在一般情况下，投影表面跟踪应用在特定时机如校准和激活产品时将检测最大的平坦表面作为投影表面，并且基于投影表面与手指之间的高度差来检测用户操纵。例如，如图131所示，当投影表面为平坦表面时，投影表面跟踪应用根据用户的手指与平坦表面之间的距离，通过检测手指是否正在触摸投影表面来检测用户操纵。当固体物体被放置在投影表面上时，投影表面跟踪应用可以通过检测用户的手指与固体物体之间的局部差异来检测用户操纵。例如，如图132所示，当半球形固体物体被放置在平坦表面上时，投影表面跟踪应用基于半球形局部平面与用户的手指之间的距离来检测用户操纵。如图130所示，当投影表面倾斜时，投影表面跟踪应用可以根据用户的手指与倾斜的投影表面之间的距离来检测用户操纵。
投影表面跟踪应用可以使用镜子来实现个体显示。在个体显示中，使用如图133所示的包括镜子和屏幕的外围装置。在一般情况下，投影至平坦表面的图像可以由邻近的人浏览。因此，投影表面跟踪应用可以通过从镜子反射投影的光并且在安装在用户前方的屏幕上形成图像来执行其中只有正对屏幕的用户被设定为目标的显示。投影表面跟踪应用还可以同时实现专用于所有用户的显示以及个体显示如在卡片游戏中桌子上的手和卡片。如图133所示，投影表面跟踪应用可以使用在X轴方向和Y轴方向而不是Z轴方向上获取的屏幕与手指之间的距离来检测用户操纵。
(D：用餐辅助应用)
用餐辅助应用是支持用户用餐的进展的应用。例如，用餐辅助应用通过预先存储在上面放置食物的盘子的空状态并且将空盘子与当前的盘子进行比较来识别盘子里还剩多少食物，即用餐的进展状况。用餐辅助应用可以根据用餐的进展状况使输出单元130投影图案、消息等。在下文中，将参照图134和图135进行更具体的描述。
图134是示出了用餐辅助应用的具体示例的说明图。如图134上方的图所示，用餐辅助应用可以使输出单元130在用餐结束时投影例如使火车绕盘子运行的显示。可替代地，如图134下方的图所示，用餐辅助应用可以使输出单元130在用餐进展时投影产生餐垫的设计的显示。
图135是示出了用餐辅助应用的另一具体示例的说明图。如图135所示，用餐辅助应用通过检测与用餐的进展对应的被食品遮蔽的盘底表面露出的形态来识别用餐的进展状况。此时，用餐辅助应用可以使输出单元130投影与用餐的进展状况对应的消息。例如，当用餐的进度低于20％时，可以输出消息“用两个手一起吃！”。当用餐的进度等于或大于20％且小于40％时，可以输出消息“好好咀嚼”。当用餐的进度等于或大于40％且小于70％时，可以输出消息“只剩一点了，加油！”。当用餐的进度为100％时，可以输出消息“太棒了！你全吃光了！”。
如上所述，用餐辅助应用可以通过使输出单元130投影与用餐的进展状况对应的图案、消息等来支持用户的用餐进展并且提高用户的用餐动力。
(E：运动效果应用)
运动效果应用可以使输出单元130基于放置在桌子140a上的图片投影仿佛图片在移动的动画。例如，如图136所示，当用户在纸上绘制图片，并且将张放在桌子140a上时，运动效果应用使输出单元130投影仿佛由用户绘制的图片在移动的动画和声音。每当用户将图片放在桌子140a上时，运动效果应用可以使输出单元130输出不同的声音。在此，将参照图137具体描述用于生成动画的方法。
图137是示出了运动效果应用的具体示例的说明图。如图137所示，运动效果应用通过从放置在桌子140a上的拍摄图像的图片中识别形状和颜色来可视地擦除放置在桌子140a上的图片，并且使输出单元130投影具有与图片相同颜色的光。然后，运动效果应用基于所识别的图片的形状来生成动画，并且使输出单元130投影该动画。在这样的配置中，可以为用户提供仿佛图片如涂鸦正在开始移动的动画。
(F：盒饭准备支持应用)
盒饭准备支持应用是用于支持用户用食品配料来表达各种图案的应用。例如，当由用户指定目标图像时，盒饭准备支持应用分析目标图像的颜色结构，并且基于分析结果来指定食品配料、数量和布置以将目标图像表达为图案。盒饭准备支持应用使输出单元130投影用于引导所指定的食品配料、数量和布置的引导显示。用户可以通过根据引导显示来布置食品配料以生成表达模仿目标图像的图案的盒饭。在下文中，将参照图138进行更具体的描述。
图138是示出了饭盒准备支持应用的具体示例的说明图。如图138左侧的图所示，当用户将在其上形成有角色图案的包装放置在桌子140a上时，由输入单元110对该包装成像。然后，当用户指定将其中形成角色图像的范围作为目标范围时，饭盒准备支持应用识别角色图像作为目标图像，并且指定用于将角色图像表达为图案的食品配料、数量和布置。饭盒准备支持应用基于食品配料、数量和布置使输出单元130投影如图138的两个图中所示的引导显示。用户可以根据引导显示，通过布置食品配料来生成表达如图138的右侧的图中所示的角色的图案的盒饭。
以上描述了将在其上形成有角色图案的包装放置在桌子140a上的示例作为用于指定目标图像的方法。然而，用于指定目标图像的方法不限于本示例。例如，用户还可以将由输出单元130输出到桌子140a上的网站中包括的图像指定为目标图像。以上描述了将角色图像作为目标图像的示例。然而，目标图像可以是车辆、景观、地图、玩具等的图像。
(G：日常辅助应用)
日常辅助应用是用于支持用户每天进行的行为如学习、业余爱好和工作的应用。例如，日常辅助应用可以通过使输出单元130为用户投影真实空间中的物体的有用信息显示来支持由用户进行的行为。在下文中，将参照图139至图143进行更具体的描述。
图139至图143是示出了由日常辅助应用进行的用户辅助的具体示例的说明图。如图139所示，日常辅助应用可以使输出单元130将示范文字投影至信封上。用户可以通过使用例如毛笔按照投影文字整齐地书写文字。示范文字可以由用户自由地指定。如图140所示，日常辅助应用可以使输出单元130投影用于指示如何使用在上面布置有刀或叉的桌子140a上的刀或叉的信息显示以及用于指示盘子中食物的信息显示。用户可以通过根据投影的信息显示来使用刀叉以获得餐桌礼仪。
如图141所示，日常辅助应用可以使输出单元130在其上准备了素描本、颜料、画笔等的桌子140a上投影指示示范图片、绘图方法等的信息显示。用户可以根据投影的信息显示，通过用画笔和绘图工具来绘制图片以完成好的图片。如图142所示，日常辅助应用可以使输出单元130投影用于将整个蛋糕等分的辅助线。用户可以通过沿投影的辅助线切割整个蛋糕来获得大小相同的若干块蛋糕。日常辅助应用可以基于由用户指定的等分数目和整个蛋糕的形状和尺寸来指定适当的辅助线。
如图143所示，日常辅助应用可以根据介质如其上由用户书写了问题的答案的印刷品或书的拍摄图像来执行自动答案标记，并且使输出单元130投影标记结果。用户可以基于投影的标记结果来确认正确和不正确的答案、进行打分等。日常辅助应用可以通过识别在介质上形成的标识信息并且将与标识信息相关联存储的解决方案与用户的答案进行比较来执行自动标记。
(H：餐桌表示应用)
餐桌表示应用是执行为餐桌表示着色的应用。例如，餐桌表示应用可以从餐桌的拍摄图像中识别餐桌上的物体并且使输出单元130投影与该物体相应的显示。在下文中，将参照图144进行具体描述。
图144是示出了餐桌表示应用的具体示例的说明图。餐桌表示应用可以基于例如餐桌的距离图像来识别餐桌上的物体，使输出单元130将例如“生日快乐！”的显示投影至盘子上，并且使输出单元130将星星显示投影至桌子上，如图144所示。在这样的配置中，可以改进餐桌的着色并且支持明亮的餐桌。
(I：食品推荐应用)
食品推荐应用是为用户推荐食物的应用。例如，食品推荐应用可以从餐桌的拍摄图像中识别餐桌上的食物，基于识别结果来计算食物的营养均衡，并且推荐用于补充所缺乏的营养的食物。例如，如图145所示，当餐桌上的食物中蔬菜不足时，食物推荐应用可以识别到缺乏维生素、膳食纤维等，并且使输出单元130投影推荐可以补充营养如维生素、膳食纤维等的凯撒色拉的显示以及凯撒色拉的图像。食品推荐应用可以通过使用深度信息来识别杯子里含的剩余饮料的量、剩余食物的量等来推荐与用餐的进展对应的另外的食物。在这样的配置中，支持了用户的良好的均衡用餐，并且在餐馆等处可以预期由于另外的订单而使销售额增加。
(J：气氛表达应用)
气氛表达应用是使输出单元130投影与食物对应的表达的应用。例如，气氛表达应用可以从餐桌的拍摄图像中识别餐桌上的食物，并且使输出单元130投影具有与食品的亲和性的物体的图像。作为具体示例，当餐桌上的食物是御节料理时，气氛表达应用可以使输出单元130投影松、竹和梅的图像。当餐桌上的食物是细面条时，气氛表达应用可以使输出单元130投影河床或小溪的图像。在这样的配置中，可以根据食物来改进餐桌的气氛。
(K：餐具效果应用)
餐具效果应用是生成与餐桌上放置的餐具对应的效果的应用。例如，餐具效果应用可以识别放置在餐桌上的餐具的类别，并且使输出单元130输出与该类别对应的显示效果和声音。在下文中，将参照图146进行具体描述。
图146是示出了餐具效果应用的具体示例的说明图。如图146所示，当用户将在杯子放置在餐桌上时，餐具效果应用可以使输出单元130输出从杯子扩散的波纹的显示，并且使输出单元130输出与杯子对应的声音。如上所述，要输出的声音根据餐具的类型而不同。当多个餐具靠近时，如图146所示，由输出单元130输出的声音可以由餐具效果应用改变。当由输出单元130投影游动的鱼的显示并且用户执行捉鱼的显示的动作时，餐具效果应用可以使输出单元130输出预定声音。
如上所述，餐具效果应用可以通过生成与餐桌上的餐具的放置对应的效果来提供餐桌上的新型的享受。
(L：房屋间链接应用)
房屋间链接应用是当信息处理系统100被安装在多个房间中时在房间之间共享和链接由用户使用的应用的应用。例如，安装在用户的房间中的信息处理系统100获取关于由用户在客厅中使用的应用的信息，并且使用户能够在移动到该用户的房间之后从用户在客厅中的使用继续使用该应用。在下文中，将参照图147进行更具体的描述。
图147是示出了房屋间链接应用的具体示例的说明图。如图147所示，房屋间链接应用存储每个应用的使用时间和使用位置(投影位置)的历史信息，并且将所存储的历史信息推荐给用户。在如图147所示的“所有应用”中，列出了安装在信息处理系统100中的投影画面的所有的应用。在“您的应用”中，列出了用户在投影表面上当前经常使用的应用。在“最近的应用”中，列出了最近由用户使用的包括信息处理系统100在其他房间中安装的应用。用户可以通过从图147所示的画面中选择图标来激活期望的应用。房屋间链接应用可以通过投影这样的画面来支持由用户对应用的选择。
房屋间链接应用可以共享用户在房间之间的历史信息。即使当用户从该房间移出之后，房屋间链接应用仍参考存储在其他房间中的历史信息来连续供给在该其他房间中使用的应用。例如，当用户使用安装在客厅中的信息处理系统100来选择烹饪食谱并且该用户移动到厨房时，所选择的烹调食谱被安装在厨房中的信息处理系统100投影。因此，即使在用户移动到另一房间之后仍可以连续使用相同的应用。
(示例1)
在此，将描述根据应用或投影表面的状态的照明控制处理的示例。
当使用投影仪将视频投影至投影表面如桌子或屏幕时，在某些情况下，由于环境因素如照明器的亮度或外部的光，投影仪的视频变得不清晰。当投影的视频变得不清晰时，用户被迫执行使整个房间变暗或者只关闭投影表面附近的照明器以使视频清晰的任务，从而破坏了用户的便利性。
因此，在下文中，将描述通过获取应用或投影表面的状态在投影表面上清晰地显示投影仪的视频的照明控制处理，以及根据投影表面的状态来自动控制照明器，使得使用户不必执行调节照明的任务。
图148是示出了根据本公开内容的实施方式的信息处理系统100的操作的示例的流程图。在下文中，将参照图148来描述根据本公开内容的实施方式的信息处理系统100的操作的示例。在下面的描述中，将描述信息处理系统100a为如图1所示的投影型并且输出单元130a包括照明装置的情况。在下面的示例中，将在如下假设下进行描述：该照明装置不同于包括信息显示的投影仪，而是具有简单的照明功能而不包括信息显示的装置。
首先，将描述对如图148中所示的流程图中的术语的限定。对于照明图，照明装置的照明可控制单元被设定为图。根据照明装置的形式来决定单元数，例如照明器的数目。每个单元的数值表示照明强度，0表示无照明输出，100表示照明输出的最大值。
图149是示出了照明图的示例的说明图。图149示出了3种图案。图149示出了当只有1个照明器被安装在照明装置3010中时、当4个照明器以正方形状态被安装时以及当8个照明器被布置成矩形形式时的照明图3011的示例。
在图149所示的示例中，当只有1个照明器被安装在照明装置3010中时，照明图的单元数为1。当4个照明器以正方形状态被安装在照明装置3010中时，照明图的单元数为4。当8个照明器被安装成以矩形形式布置在照明装置3010中时，照明图的单元数为8。当然，照明装置3010中的照明器的布置图案或者照明图的单元的布置图案不限于这些示例。
对于环境图，环境光的可获得单元被设定为图。根据环境光的可获得单元来决定单元数。限定环境图的单元数的环境光的可获得单元是例如照度传感器的布置位置或者对投影表面进行成像的成像装置的像素值。
环境图的每个单元的数值被归一化为照明图的每个单元的数值。通过将环境图的每个单元的数值归一化为照明图的每个单元的数值，环境光的照度与照明器的亮度被关联。
信息处理系统100采用各种方法作为获得环境光的照度的方法。例如，环境光的照度可以根据使用输入单元110的照相机对投影表面进行成像而获得的图像的像素值来计算，或者可以在输入单元110中设置照度传感器以根据照度传感器的值来获得环境光的照度。
图150是示出了环境图的示例的说明图。图150示出了3种图案。图150示出了当只有1个传感器被安装在获取环境光的照度传感器3020中时、当4个传感器以正方形状态被安装在照度传感器3020中时以及当3个照度传感器以相同的方向被布置在照度传感器3020中时的照明图3021的示例。
在图150的示例中，当只有1个传感器被安装在照度传感器3020中时，环境图的单元数为1。当4个照度传感器以正方形状态被安装在照度传感器3020中时，环境图的单元数是4。当3个照度传感器以相同的方向被布置在照度传感器3020中时，环境图的单元数是3。当然，照度传感器3020的传感器的布置或者照明图的单元的图案不限于这些示例。
将描述照度图与环境图之间的关联。图151是示出了照明图与环境图之间的关联的示例的说明图。
图151示出了如下配置中的照度图与环境图之间的关联的示例，在该配置中，在照明装置3010中安装了以矩形形式布置的8个照明器，以及在照明装置3020中安装了被布置成相同的方向的3个照明器。
当3个传感器以相同的方向被布置在照度传感器3020中时，环境图3021的单元数为3，并且单元被限定为A00、A01和A02。在实施方式中，通过将环境图的单元数与照明图的单元数进行匹配，照明图和环境图被关联。在转换后的环境图3021'中，单元数从3转换到8。转换后的单元被限定为B00至B03以及B10至B13。例如，转换时的转换公式可以限定如下。
B00＝B10＝A00
B01＝B11＝0.5×A00+0.5×A01
B02＝B12＝0.5×A01+0.5×A02
B03＝B13＝A02
以这种方式，根据本公开内容的实施方式的信息处理系统100可以通过将环境图的单元数与照明图的单元数进行适配，基于转换后的环境图的每个单元的值来控制照明装置3010。
接着，将详细描述如图148所示的流程图。首先，信息处理系统100在照明图的每个单元中设定系统设定的值(步骤S3001)。步骤S3001的处理可以由例如控制单元120执行。在步骤S3001中，例如，在如图148所示的处理的开始时间点处，在照明图的每个单元中设定了范围为0至100的由信息处理系统100的用户设定的照明装置3010的亮度。
当在前述步骤S3001中在照明图的每个单元中设定了系统设定的值时，信息处理系统100随后获取被管理的应用的执行状态，并且确定是否存在未处理的应用(步骤S3002)。步骤S3002的确定可以由例如控制单元120执行。
当在前述步骤S3002中确定存在未处理的应用(在步骤S3002中为是)时，信息处理系统100随后获取未处理的应用中的绘制在最内侧的应用(步骤S3003)。通过从最内侧的应用执行处理，信息处理系统100可以将较旧的应用的值反映在照明图上。
当处理上述步骤S3003时，信息处理系统100随后确认是否根据应用照明关联表来限定对应的应用程序(步骤S3004)。步骤S3004的处理可以由例如控制单元120执行。
应用照明关联表是其中要由信息处理系统100执行的应用与执行该应用时的亮度(亮度根据照明装置3010的照明光和环境光来实现)相关联的表。当该应用不根据应用照明关联表来限定时，意味着即使不经过特定照明控制而是在系统设定或者另一应用的照明设定下仍可以使用该应用。
图152是示出了应用照明关联表的示例的说明图。参照图152中所示的应用照明关联表，信息处理系统100可以知道在执行处理目标应用时照明装置3010的亮度。例如，对于“电影院运动图像播放器”，可以从图152中所示的应用照明关联表理解到，亮度被设定为0，以表示电影的沉浸感。
应用照明关联表可以具有关于当每个应用控制照明装置3010的亮度时是否通知用户的信息。例如，可以从图152中所示的应用照明关联表理解到，当“电影院运动图像播放器”控制照明装置3010的亮度时不必通知用户，以及当“儿童运动图像播放器”控制照明装置3010的亮度时有必要通知用户。
当在前述步骤S3004中确定未在应用照明关联表中限定相应的应用程序(在步骤S3004中为否)时，信息处理系统100假设该应用被处理，并且将处理返回到前述步骤S3002的处理。相反地，当在前述步骤S3004中确定在应用照明关联表中限定了相应的应用程序(在步骤S3004中为是)时，信息处理系统100从应用照度关联表中获取应用的亮度的值(步骤S3005)。步骤S3005的处理可以由例如控制单元120执行。
当前述步骤S3005的处理结束时，信息处理系统100随后获取投影仪在显示区域中的应用的显示区(步骤S3006)。步骤S3006中的处理可以由例如控制单元120执行。在此，当不存在显示区时，例如，当存在应用，但是该应用被图标化时，信息处理系统100不能将该应用设定为处理目标。
当前述步骤S3006的处理结束时，信息处理系统100随后将从应用关联表中获取的值设定在照明图中的与在前述步骤S3006中获取的显示区对应的单元中(步骤S3007)。步骤S3007的处理可以由例如控制单元120执行。当前述步骤S3007的处理结束时，假设该应用被处理，并且处理返回到前述步骤S3002的处理。
当在前述步骤S3002中确定不存在未处理的应用(在步骤S3002中为否)时，信息处理系统100随后获取环境光，并且设定环境图中的值(步骤S3008)。步骤S3008的处理可以由例如控制单元120执行。
信息处理系统100将环境光的值(或照明装置3010的照度)归一化为在步骤S3008中设定环境图的值的处理时的照明输出(亮度)的值。可以预先在工厂装运时将以一定的程度(0％至100％)输出光的照明器与该照明器的照度的程度进行关联。
当前述步骤S3008的处理结束时，信息处理系统100随后执行关联，以确定环境图对照明图的范围的影响有多大(步骤S3009)。步骤S3009的处理可以由例如控制单元120执行。如上所述，通过使照明图的单元数与环境图的单元数相匹配来执行照明图与环境图之间的关联。也可以预先在工厂装运时执行照明图与环境图之间的关联。
当前述步骤S3009的处理结束时，信息处理系统100随后确定是否存在未处理的照明图的单元(步骤S3010)。步骤S3010的处理可以由例如控制单元120执行。例如，对照明图的处理顺序可以从分配给该照明图的较小数字的单元开始。
当在前述步骤S3010中确定存在未处理的单元(在步骤S3010中为是)时，信息处理系统100将照明图的处理目标单元的值与和该处理目标单元对应的环境光的值(环境图的单元的值)进行比较。然后，信息处理系统100确定与照明图的处理目标单元对应的环境光的值是否等于或小于照明图的处理目标单元的值(步骤S3011)。步骤S3010的处理可以由例如控制单元120执行。
当在前述步骤S3011中确定与照明图的处理目标单元对应的环境光的值等于或小于照明图的处理目标单元的值(在步骤S3011中为是)时，意味着该应用所必需的亮度不仅由环境光来实现。因此，信息处理系统100将从照明图的处理目标单元的值中减去环境光的值而获得的值设定为该单元的新的照明值(步骤S3012)。步骤S3010的处理可以由例如输出控制单元122执行。
相反地，当在前述步骤S3011中确定与照明图的处理目标单元对应的环境光的值大于照明图的处理目标单元的值(在步骤S3011中为否)时，意味着仅环境光就超过了该应用所必需的亮度。因此，信息处理系统100将0设定为照明图的处理目标单元的值(步骤S3013)。步骤S3013的处理可以由例如输出控制单元122执行。
当前述步骤S3013的处理结束时，信息处理系统100随后在仅环境光就超过了应用所必需的亮度时，仅对有必要被通知的应用的执行通知。因此，确定在应用照明关联表中的处理目标应用中是否设定了通知(步骤S3014)。步骤S3014的处理可以由例如输出控制单元122执行。
当在前述步骤S3014中确定在应用照明关联表中的处理目标应用中设定了通知(在步骤S3014中为是)时，信息处理系统100随后向应用给出处理目标应用的通知(步骤S3015)。步骤S3015的处理可以由例如输出控制单元122执行。
在前述步骤S3015中接收通知的应用执行显示消息或输出声音的通知处理，例如“周围太亮。请使环境变暗”或者“光比预期要亮并且识别精度可能恶化”。
相反地，当在前述步骤S3014中确定在应用照明关联表中的处理目标应用中未设定通知(在步骤S3014中为否)时，信息处理系统100返回到前述步骤S3010的假设照明图的处理目标单元被处理的处理。
当在前述步骤S3010中确定不存在未处理的单元(在步骤S3010中为否)时，信息处理系统100随后在输出单元130中设定在上述一系列处理中设定的照明图的值(步骤S3016)。步骤S3016的处理可以由例如输出控制单元122执行。输出单元130基于照明图的值来控制照明装置3010的每个照明器的亮度。
根据本公开内容的实施方式的信息处理系统100可以根据要执行的应用和投影表面的状态如环境光的亮度，通过执行上述一系列操作来执行照明控制。根据本公开内容的实施方式的信息处理系统100可以通过执行与投影表面的状态对应的照明控制，根据用户的目的来对照明进行优化。
在如图148中所示的流程图的步骤S3008中的获取环境光的处理可以在信息处理系统100的应用被激活时执行，或者可以在激活信息处理系统100的期间周期性地执行。
在下文中，将通过例示具体应用来描述根据要执行的应用和投影表面的状态如环境光的亮度的照明控制。
(示例1)电影院运动图像播放器
电影院运动图像播放器是在输出内容时变暗以表示电影的沉浸感的应用。图153是示出了当信息处理系统100执行电影院运动图像播放器时照明图3011和环境图3021'的值的示例的说明图。假设要获取当电影院运动图像播放器被执行时照明图3011和环境图3021'的单元的值，如图153的(1)中所示。
参照如图152所示的应用照明关联表，电影院运动图像播放器的亮度被限定为0。因此，信息处理系统100通过关闭照明装置3010的照明器来实现应用照明关联表中限定的电影院运动图像播放器的亮度。当照明装置3010被关闭时，照明图3011和环境图3021'的值类似于例如如图153的(2)所示。
(示例2)儿童运动图像播放器
儿童运动图像播放器是在输出内容时变亮以不允许儿童在黑暗的地方浏览动画等的应用。图154是示出了当信息处理系统100执行儿童运动图像播放器时照明图3011和环境图3021'的示例的说明图。假设要获取执行儿童运动图像播放器时的照明图3011和环境图3021'的单元的值，如图154的(1)所示。
参照图152中所示的应用照明关联表，儿童运动图像播放器的亮度被限定为80。因此，信息处理系统100通过开启照明装置3010的照明器来实现应用照明关联表中限定的儿童运动图像播放器的亮度。当照明装置3010的照明器被开启时照明图3011和环境图3021'的值类似于如图154的(2)所示。
当照明装置3010的照明器开启并且亮度变成应用照明关联表中限定的亮度时，信息处理系统100通知儿童运动图像播放器亮度变成应用照明关联表中限定的亮度。被通知的儿童运动图像播放器确定可以准备安全的环境，使得儿童可以浏览内容并且开始产生内容。
参照图152中所示的应用照明关联表，对于儿童运动图像播放器，通知被限定为“有必要”。因此，如果即使在照明装置3010的控制下亮度仍不足，例如，信息处理系统100通知儿童运动图像播放器亮度不足。然后，被通知的儿童运动图像播放器通过显示“使周围变亮”等来提示用户开启房间里的灯。
当存在从窗口进入的外部光时，信息处理系统100将外部光反映到环境图3021'。图155是示出了当外部光被反映到环境图3021'时的示例的说明图。图155示出了外部光对环境图3021'的左上部分的影响并且值增加的示例。
(示例3)蜡烛应用
蜡烛应用是其中将蜡烛视频投影至投影表面如桌子上的应用。图156是示出了当信息处理系统100执行蜡烛应用时照明图3011和环境图3021'的示例的说明图。假设当执行蜡烛应用时要获取照明图3011和环境图3021'的单元的值，如图156的(1)所示。
参照图152中所示的应用照明关联表，蜡烛应用的亮度被限定为20。信息处理系统100通过关闭照明装置3010的照明器来实现应用照明关联表中限定的蜡烛应用的亮度。当照明装置3010的照明器被关闭时照明图3011和环境图3021'的值类似于如图154的(2)所示。
然而，在如图156所示的示例中，即使当照明装置3010的照明器被关闭时环境图3021'的单元的值仍变成50，因此可能无法实现应用照明关联表中限定的蜡烛应用的亮度。参照图152中所示的应用照明关联表，对于蜡烛应用，通知被限定为“有必要”。
因此，当尽管在照明装置3010的控制下亮度仍然过量时，例如，信息处理系统100通知蜡烛应用超过亮度。例如，被信息处理系统100通知的蜡烛应用提示用户关闭窗帘，并且通过显示例如“周围太亮。请使环境变暗。”来使环境光变暗。
(示例4)投影映射应用
投影映射应用是旨在将图像投影至房间的墙面或物体上的应用。当执行投影映射应用时，用户在投影表面上安装例如处于镜面状态的半球，使得从输出单元130的投影仪输出的图像从该半球反射。通过从处于镜面状态的半球反射从输出单元130的投影仪输出的图像，可以将图像投影至房间的墙面或物体上。
参照图152中所示的应用照明关联表，投影映射应用的亮度被限定为0。因此，信息处理系统100通过关闭照明装置3010的照明器来实现应用照明关联表中限定的投影映射应用的亮度。
作为投影映射应用，例如，存在将星空的图像投影至房间的墙面上的天象仪应用以及通过将图像投影至安装在投影表面上的日本纸上来实现的走马灯应用。在下文中，将天象仪应用和走马灯应用例示为说明书中的投影映射应用。
图157是示出了应用的具体示例的说明图以及示出了天象仪应用的说明图。在图157的(a)中，示出了从输出单元130的投影仪输出的图像的示例。在图157的(b)和(c)中，示出了其中从输出单元130的投影仪输出的图像从半球3110反射的形式，其中该半球3110具有处于镜面状态的表面并且被安装在投影表面上。在图157的(d)中，示出了其中从输出单元130的投影仪输出的图像从半球3110反射并且被投影至房间的墙面上的状态的示例。
图158是示出了应用的具体示例的说明图以及示出了走马灯应用的说明图。在图158的(a)中，示出了从输出单元130的投影仪输出的图像的示例。在图158的(b)、(c)和(d)中，示出了其中从输出单元130的投影仪输出的图像从半球3110反射并且被投影至日本纸3120上的形式，其中该半球3110被安装在投影表面上并且具有处于镜面状态的表面。
(例5)地球仪应用
地球仪应用是旨在通过将图像投影至安装在投影表面上的半球上来表达地球仪的应用。当执行地球仪应用时，用户在投影表面上安装例如呈垫状的半球，使得从输出单元130的投影仪输出的图像被投影至该半球。通过将从输出单元130的投影仪输出的图像投影至呈垫状的半球，可以使用半球来表达该地球仪。
图159是示出了应用的具体示例的说明图以及示出了地球仪应用的说明图。在159的(a)中，示出了从输出单元130的投影仪输出的图像的示例。在159的(b)中，示出了其中从输出单元130的投影仪输出的图像从半球3120反射的形式，其中该半球3120被安装在投影表面上并且具有垫状表面。在图159的(c)中，示出了其中从输出单元130的投影仪输出的图像被投影至具有垫状表面的半球3120上以将具有垫状表面的半球3120表达为地球仪并且各种类型的信息被投影至与该地球仪相关联的投影表面上的状态的示例。
(示例6)移动终端屏幕识别应用
移动终端屏幕识别应用是使用输入单元110的照相机来识别设置在投影表面上的移动终端的屏幕并且执行与所识别的屏幕对应的处理的应用。当移动终端3130的屏幕被识别并且照明装置3010的照明器被关闭并且变暗时，使用输入单元110的照相机可以容易地识别该屏幕。
然而，当照明装置3010的照明器被关闭并且变暗时，可以根据输入单元110的照相机的动态范围使屏幕变亮。
因此，在本实施方式中，为了容易地识别荧光屏，不关闭照明装置3010的照明器，而是将照明装置3010的照明器设定为暗以用于减少高光的目的，如图152的应用照明关联表所示。
图160是示出了应用的具体示例的说明图以及示出了移动终端屏幕识别应用的说明图。图160示出了如下形式：使用输入单元110的照相机来识别移动终端3130的屏幕，并且与移动终端3130的屏幕对应的信息被输出单元130的投影仪投影。
(例7)食物包装识别应用
食物包装识别应用是使用输入单元110的照相机来识别设置在投影表面上的食物包装的表面并且执行与所识别的食物包装对应的处理的应用。当食物包装被识别并且照明装置3010的照明器被开启并且变亮时，作为反射体的食物包装被输入单元110的照相机容易地识别。
图161是示出了应用的具体示例的说明图以及示出了食物包装识别应用的说明图。图161示出了如下形式：食物包装3140和3150的表面被输入单元110的照相机识别，并且与食物包装3140和3150的画面对应的信息被输出单元130的投影仪投影。
(示例8)一般物体识别应用
一般物体识别应用是使用输入单元110的照相机来识别设置在投影表面上的物体的表面并且执行与所识别的物体对应的处理的应用。当物体被识别时，因为事先不知道哪个物体被放置在投影表面上，所以使照明装置3010的照明器变亮大约一半。通过使照明装置3010的照明器变亮大约一半，物体的表面被输入单元110的照相机容易地识别。
图162是示出了应用的具体示例的说明图以及示出了一般物体识别应用的说明图。图162示出了如下形式：一般物体3160和3170的表面被输入单元110的照相机识别，并且与一般物体3160和3170的画面对应的信息被输出单元130的投影仪投影。
根据本实施方式的信息处理系统100可以通过执行与投影表面的使用状态对应的照明控制来优化用于用户的每个目的的照明。根据本实施方式的信息处理系统100可以使用划分成单元的环境图和照明图，通过执行照明控制来调节仅投影表面的必要点的照明。通过调节仅投影表面的必要点的照明，多个用户可以没有压力地对由输出单元130的投影仪投影至投影表面的内容执行不同的任务。
根据本实施方式的信息处理系统100可以通过检测投影表面上执行应用的部分并且调节照明来使视频清晰。例如，输入单元110检测投影表面上正在进行用餐的部分，并且调节照明装置3010的照明器的亮度，因此可以防止其中正在进行用餐的相邻区域的亮度变暗。
根据本实施方式的信息处理系统100在执行一般物体识别应用时执行照明控制，因此可以改进识别精度。根据本实施方式的信息处理系统100根据识别目标物体来改变用于照明装置3010的控制方法，因此可以改进对放置在投影表面上的物体的识别精度。
根据本实施方式的信息处理系统100可以基于要从输出单元130输出的内容的元信息或属性信息来控制亮度。例如，当要输出的内容的属性信息被设定为用于儿童的动画时，信息处理系统100控制照明装置3010变亮。当属性信息被设定为用于成年人的电影时，信息处理系统100可以控制照明装置3010的照明器的亮度变暗。
以这种方式，信息处理系统100可以基于要输出的内容的元信息或属性信息，通过控制亮度来改变即使是用于相同的应用的个体内容的亮度。
当照明装置3010的照明器的亮度被控制时，信息处理系统100可以执行用于立即目标亮度的控制。此外，信息处理系统100可以通过逐渐变亮或变暗来执行控制，使得最终实现目标亮度。
(示例2)
在此，将描述在满足投影表面上的特定条件时激活预定功能的处理的示例。用于激活应用的功能的条件通常可以仅由提供该应用的供应商来设定。在某些情况下，根据使用环境，在应用中限定的行为中不激活功能。在某些情况下，根据使用环境，在应用中限定的行为中不执行功能。
因此，根据本实施方式的信息处理系统100被配置成使用户能够自由地设定待激活的功能以及激活条件。在根据本实施方式的信息处理系统100中，允许用户自由地设定待激活的功能以及激活条件，使得可以表达各种表示。
为用户在桌子140a上放置了各种物体，并且在桌子140a上日常执行各种交互。根据本实施方式的信息处理系统100允许用户通过使用交互作为激活功能的机会来使用功能。根据本实施方式的信息处理系统100在激活与发生交互对应的功能时向待执行的处理(行为)功能传递激活功能时要使用的数据。
要由根据本实施方式的信息处理系统100用作功能的激活条件(触发)的交互的示例如下。当然，交互不限于以下交互：
●拾取桌子表面上的声音；
●识别到由用户生成的AR标记；
●识别到深度信息；
●检测到桌子表面的亮度；
●识别到桌子表面上的手的状态；
●识别到放置在桌子表面上的装置；
●到达预定时间；
●检测到温度
●检测到二氧化碳的浓度
●检测到气味；
●检测水蒸汽；以及
●检测到湿度。
在拾取桌子表面上的声音时的触发的示例如下：
●检测到声音的模式(例如，当用户用其拳头三次敲击桌子140a的表面时，录制所生成的“当、当、当”的声音)；
●检测到音量的变化(例如，信息处理系统100收集具有预定阈值或预定阈值以上的声音)；
●检测到声音持续的时间(例如，信息处理系统100检测到沉默持续达预定时间)；以及
●检测到发出声音的方向。
作为当检测到声音的模式时传送到动作的数据，例如，存在用于识别所检测到的模式的ID信息。作为当检测到音量的变化时传送到动作的数据、声音持续的时间或者发出声音的方向，例如，存在音量、声音时间以及声音的方向。
当识别到由用户生成的AR标记时的触发的示例如下：
●发现AR标记(例如，信息处理系统100在整个桌子表面的某处或者预先登记的区域上发现由用户登记的标记)；以及
●失去AR标记(例如，信息处理系统100失去由用户登记的标记)。
作为当发现AR标记时传递到动作的数据，例如，存在被发现的标记的ID信息、被发现的坐标、被发现的姿势、被发现的尺寸以及发现该AR标记的时间。作为当失去AR标记时传递到动作的数据，例如，存在失去的标记的ID信息、最后一次看到该标记处的坐标、最后一次看到该标记处的姿势、最后一次看到该标记处的尺寸以及失去该标记时的时间。
当识别深度信息时的触发的示例如下：
●识别到块(例如，在整个表面的某处或预先登记的区域上检测到预定量的块的增加或减小)；
●识别到桌子表面上的物体的布置(例如，当深度图与预先登记的深度图相匹配或不匹配时可以将深度图与RGB图像进行组合)；
●检测到相对于标准平坦表面的变化(例如，当没有放置任何物体达预定时间)；以及
●检测到运动(例如，在整个表面的某处或预先登记的区域上检测到主动移动的物体)。
作为当识别到块时要传递到动作的数据，例如，存在发现块的位置、块的面积、块的体积以及发现块的时间。作为当识别到桌子表面上的物体的布置时要传递到动作的数据，例如，存在布置被改变的位置、布置被改变的时间以及(面积或体积的)变化量。作为当识别到相对于标准平坦表面的变化时要传递到动作的数据，例如，存在从标准状态变化的物体的外形、位置、面积和体积以及物体被首次放置的日期。作为当检测到运动时要传递到动作的数据，例如，存在运动的主动性，运动主要进行的坐标或区域的面积以及进行运动的日期。运动的主动性是例如通过将进行运动的面积与运动的速度相乘得到的指标。
当检测到桌子表面的亮度时的触发的示例如下：
●检测到亮度的变化(例如，检测到桌子表面以预设阈值或预设阈值以上变亮或变暗)。
作为当检测到亮度的变化时要传递到动作的数据，例如，存在关于亮度的信息。
当识别到桌子表面上的手的状态时的触发的示例如下：
●手的数目(例如，检测到手的数目超过预定数目达预定时间或预定时间以上)；
●手伸到桌子表面的时间；以及
●手的位置(例如，检测到手进入预先登记的区域)。
作为当识别到手的数目时要传递到动作的数据，例如，存在识别到的手的数目、伸出的手的数目以及识别到的手的位置。
当识别到放置在桌子表面上的装置时的触发的示例如下：
●装置的连接(例如，检测到信息处理系统100与装置之间的连接或者或信息处理系统100与装置的之间的连接被解除)。
作为当识别到装置的连接时要传递到动作的数据，例如，存在所识别的装置的ID信息、该装置的位置、该装置的姿势以及该装置的尺寸。
当识别到到达预定时间时的触发的示例如下：
●到达指定的时间；以及
●经过预定时间。
作为当指定时间到达时要传递到动作的数据，例如，存在时间信息。作为当经过预定时间时要传递到动作的数据，例如，存在起始时间、经过的时间以及当前时间。
当识别到检测到温度时的触发的示例如下：
●温度的变化(例如，检测到每小时的温度变化等于或大于预定量)。
作为当检测到温度的变化时要传递到动作的数据，例如，存在温度变化量、其中温度发生变化的区域、绝对温度以及检测到温度变化的日期。
当识别到检测到二氧化碳的浓度的触发的示例如下：
●二氧化碳的浓度的变化(例如，检测到每小时二氧化碳浓度的变化为预定量或预定量以上)。
作为当检测到二氧化碳的浓度的变化时要传递到动作的数据，例如，存在二氧化碳的浓度的变化量、绝对浓度以及检测到浓度变化的日期。
当识别到检测到气味时的触发的示例如下：
●检测到预定气味(化学物质)。
作为当检测到气味时要传递到动作的数据，例如，存在检测量和检测到气味的日期。
由根据本公开内容的实施方式的信息处理系统100根据上述交互所执行的功能的示例如下：
●投影视频或图像；
●再现音乐；
●执行其他应用；
●拍摄照片；
●调节照明；
●调节投影图像的亮度；
●调节音量；以及
●显示警告。
作为当执行视频或图像的投影时的动作，例如，存在将视觉效果投影至投影表面上。作为要投影至投影表面的显示，例如，存在显示预先登记的视觉效果(爆炸效应、闪光效果等)以及显示由用户生成的视觉效果。视觉效果的示例可以是预先记录的桌子表面上的效果、由用户基于手或手指在桌子表面上的移动轨迹来绘制的效果，或者通过使用由绘图应用绘制的图示或由用户通过互联网搜索并发现的图像而获得的效果。
作为当执行将视觉效果投影至投影表面的动作时对从触发传递的数据的使用，例如，存在与敲击桌子表面时生成的声音的幅度成比例的视觉效果的量的变化。
作为当执行音乐的再现时的动作，例如，存在再现声音或音乐的动作。具体地，例如，存在输出预先登记的音效的动作或者输出由用户登记的喜爱的音乐的动作。作为当执行再现声音或音乐的动作时对从触发传递的数据的使用，例如，存在将给定数据的增加或减少反映到声音的响度。
作为当应用被激活时的动作，例如，存在激活一般的应用、激活指定参数的应用以及激活多个应用。作为一般的应用的具体的示例，例如，存在操纵电视机的应用或者显示时钟的应用。作为激活指定参数的应用的示例，例如，存在激活指定URL的浏览器的动作。作为激活多个应用的具体示例，例如，存在再现多个所存储的应用的位置、窗口大小和倾斜度。
作为拍摄照片的动作，例如，存在对整个投影表面进行成像的动作以及对投影表面的一部分进行成像的动作。作为当执行拍摄照片的动作时要作为触发来传递的数据的使用，存在对以所识别的手为中心的预定范围进行成像的动作。
作为当调节照明或者调节投影图像的亮度的动作，例如，存在调节亮度和关闭照明器的动作。作为调节亮度的具体示例，例如，照明变亮或变暗，或者指定起点和终点并且在某个时间中在起点与终点之间执行运动。作为使用当执行调节照明的动作时从触发传递的数据，例如，存在将所传递的值反映到亮度并且根据环境光来调节亮度。
作为当调节音量时的动作，例如，存在调节音量以及使音量静音。作为调节音量的具体示例，例如，增加或减少声音，以及指定起点和终点并且在某个时间在起点与终点之间执行运动。作为对当执行音量调节的动作时从触发传递的数据的使用，例如，存在将所传递的音量反映到音量并且根据周围音量来调音量。
作为当显示警告时的动作，例如，存在显示(投影)警告消息。作为对当执行显示警告的动作时从触发传递的数据的使用，例如，存在当所识别的手的数目超过阈值时在新识别的手周围输出警告消息“不能用那只手来执行操纵”。
以这种方式，待激活的功能与激活条件之间的关系具有多样的范围，用户有必要简单地设定待激活的功能和激活条件。在下文中，将描述当允许用户设定待激活的功能和激活条件时由信息处理系统100输出到投影表面的GUI的示例。
图163至图171是示出了由根据本公开内容的实施方式的信息处理系统100输出到投影表面GUI的示例的说明图。图163至图171示出了当允许用户设定激活条件时的GUI的示例以及当音乐的模式被登记为激活条件时的GUI 3200的示例。
当允许用户设定激活条件时，根据本公开内容的实施方式的信息处理系统100首先输出用于使用户能够选择要被用作激活条件的通道的GUI3200，如图163所示。在如图163所示的GUI 3200中，桌面(桌子140a的表面)上的声音、标记、物体被示出为通道。当然，当允许用户选择激活条件时被用作通道的事物不限于相关示例。
在此，当用户选择声音作为通道时，信息处理系统100随后输出用于使用户能够选择触发的GUI 3200，如图164所示。图164示出了声音的模式、声音的音量以及声音持续的时间作为触发。当然，被用作触发的事物不限于相关示例。
在此，当用户选择声音的模式作为触发时，信息处理系统100随后输出用于使用户能够记录声音的模式的GUI 3200。当用户准备好记录时，该用户触摸如图165所示的记录按钮。信息处理系统100根据来自用户对记录按钮的操纵开始记录。在记录声音的模式时，信息处理系统100输出如图166所示的GUI 3200。
当完成的声音的记录时，信息处理系统100随后输出如图167所示的GUI 3200。如图167所示的GUI 3200是用于使用户能够决定是否完成记录以及是否使用所记录的声音作为触发的GUI。当用户选择使用所记录的声音作为触发时，信息处理系统100输出如图168所示的GUI 3200。如图168所示的GUI 3200作为用于使用户能够再现所记录的声音的GUI而被输出。
当用户再现所记录的声音并且信息处理系统100识别由用户再现的声音周围声音的模式时，信息处理系统100输出如图169所示的GUI3200。如图169所示的GUI 3200是用于指示信息处理系统100识别到声音的模式的GUI。相反地，当由用户再现的声音未被识别为声音的模式时，信息处理系统100输出如图170所示的GUI 3200。如图170所示的GUI 3200是用于指示信息处理系统100未识别到由用户再现的声音的模式的GUI。
当信息处理系统100识别到声音的模式时，信息处理系统100输出如图171所示的GUI 3200。如图171所示的GUI 3200是用于指示信息处理系统100将由用户登记的声音的模式作为触发来登记的GUI。
根据本公开内容的实施方式的信息处理系统100可以通过输出如图163至图171中所示的GUI来使用户能够简单地设定待激活的功能和激活条件。
以上描述了当由用户生成的声音被登记为触发时由信息处理系统100输出的GUI3200的示例。接着，将描述当由用户放置在投影表面上的标记被登记为触发时由信息处理系统100输出的GUI的示例。
图172至图179是示出了由根据本公开内容的实施方式的信息处理系统100输出到投影表面的GUI的示例的说明图。图172至图179示出了当允许用户设定激活条件时的GUI的示例以及当物体被放置在桌子表面上这一事实被登记为激活条件时的GUI 3200的示例。
当允许用户设定激活条件时，根据本公开内容的实施方式的信息处理系统100首先输出用于使用户能够选择要被用作激活条件的通道的GUI3200，如图172所示。在如图172所示的GUI 3200中，桌面(桌子140a的表面)上的声音、标记、物体被示出为通道。当然，被用作通道的事物不限于相关示例。
在此，当用户选择标记作为通道时，信息处理系统100随后输出用于使用户能够选择触发的GUI 3200，如图173所示。图173示出了块识别、物体的布置，以及平坦表面的识别作为触发。当然，被用作触发的事物不限于相关示例。
在此，当用户选择块识别作为触发时，信息处理系统100随后输出用于使用户能够指定其中执行识别的区域的GUI 3200，如图174所示。当用户指定其中执行识别的区域时，信息处理系统100随后输出用于使用户能够指定该功能的激活条件的GUI 3200，如图175所示。图175示出了用于允许用户指定是当物体被放置在桌面上时激活该功能还是当从桌子表面移除物体时激活该功能的GUI 3200。
图176是示出了用于允许用户指定其中执行识别的区域的GUI 3200的示例的说明图。信息处理系统100可以通过输出如图176所示的GUI3200来使用户能够设定其中识别物体并且触发激活该功能的区域。其中识别物体的区域可以通过用户的操纵而被移动、放大、缩小、旋转和变形。
当用户设定其中识别物体并且触发激活该功能的区域时，信息处理系统100随后输出用于使用户能够实际将物体放置在由用户设定的区域中并且识别物体的GUI 3200，如图177所示。当用户将物体放置在其中识别物体的区域中时，信息处理系统100使用输入单元110的照相机来识别放置在该区域中的物体。当信息处理系统100识别到物体被放置在其中识别物体的区域中时，信息处理系统100输出用于指示物体被识别的GUI3200，如图178所示。
当信息处理系统100识别到物体被放置在识别物体的区域中时，信息处理系统100输出用于指示由用户放置在桌子表面上的物体被登记为触发的GUI 3200，如图179所示。
图180至图184是示出了由根据本公开内容的实施方式的信息处理系统100输出到投影表面的GUI的示例的说明图。图180至图184示出了当允许用户设定待激活的功能的GUI的示例以及当再现视频被登记为待激活的功能时的GUI 3200的示例。
当允许用户设定待激活的功能时，根据本公开内容的实施方式的信息处理系统100首先输出允许用户选择要被用作待激活的功能的通道的GUI 3200，如图180所示。如图180所示的GUI 3200示出了3种类型的通道：图片/视频、声音/音乐和应用。当然，作为通道的事物不限于相关示例。
在此，当用户选择图片/视频作为通道时，信息处理系统100随后输出用于使用户能够选择动作(待激活的功能)的GUI 3200，如图181和图182所示。
图182示出了用于使用户能够选择如下选项之一作为要再现的图像或视频的GUI3200：来自效果库的效果、桌面的记录、由绘图功能使用桌面绘制的图片。已经描述的内容可以与要再现的图像或视频相结合使用。例如，当假设再现时间为10秒时，信息处理系统100可以使用户能够执行设定，使得效果被再现达5秒，并且由绘图功能绘制的图片被再现达5秒。
当用户设定动作时，信息处理系统100随后输出用于允许用户确认由用户设定的动作的GUI 3200，如图183所示。用户确认所设定的动作。当不存在问题时，用户通知信息处理系统100用户确认所设定的动作。当用户确认该用户已设置的动作时，信息处理系统100输出用于指示动作的登记完成的GUI 3200，如图184所示。
当用户登记待激活的功能和激活条件时，如上所述，理想的是根据待激活的功能的效果或暗示来控制待激活的功能的可见性。例如，优选地隐蔽被设定为惊喜的功能，使得其他人不会注意到该功能。
图185是示出了要由信息处理系统100激活的功能的可见性的示例的说明图。在图185中，(1)示出了其中放置了用于每个功能的图标的形式。在图185中，(2)示出了其中所登记的功能被共同地布置的形式。在图185中，(3)示出了其中仅显示生成触发的区域的形式。在图185中，(4)示出了其中待激活的功能被完全隐蔽的形式。
如上所述，信息处理系统100可以允许用户登记功能的各种触发条件。然而，也考虑了用户尝试将相同的条件分配给其他功能的情况。在这种情况下，当用户试图登记的激活条件与先前登记的条件非常类似时，信息处理系统100可以拒绝登记该激活条件。
例如，当用户登记用于敲击桌子的触发并且用户登记该触发时因为节奏略有不同但是敲击的数目相同这一事实，或者当用户登记用于将物体放置在桌子上的触发而交互区域与先前登记的区域交叠时，数据可能与已登记的条件相当类似，因此高度相似。另外，例如，也考虑了用户尝试将具有稍微不同图案、形状或色调的物体的识别分配给其他功能的情况。以这种方式，存在其中条件具有高度相似性的图案。
因此，在证明相似度足够高的时间点处，信息处理系统100可以显示报告相似度高的指示或者输出提示用户再次登记激活条件或取消激活条件的GUI。
图186是示出了由信息处理系统100输出的GUI的示例的说明图，并示出了当用户尝试登记的激活条件与先前登记的条件相当类似并且该登记被拒绝时输出的GUI的示例。
信息处理系统100可以通过将由用户登记的多个触发进行组合来生成新的触发。图187是示出了将触发进行组合的示例的说明图。图187示出了将触发“在上午7点时”与触发“当用户的手臂在指定区域中挥动”进行组合的形式。
图188是示出了当允许用户通过将多个触发进行组合以生成新的触发时由信息处理系统100输出的GUI的示例的说明图。触发被绘制在圆圈中，并且用户执行将一个触发交叠在另一触发上的操纵(例如，拖拽和拖放操纵)。当用户执行将一个触发交叠在另一触发上的操纵时，信息处理系统100通过将两个触发进行组合来生成新的触发。
将描述如上所述的当用户登记待激活的功能和激活条件并且由用户设定的待激活的功能与激活条件绑定时的GUI的示例。图189是示出了由信息处理系统100输出的GUI的示例的说明图，并且示出了当由用户设定的待激活的功能与激活条件绑定时的GUI的示例。
在图189中，待激活的功能(动作)和激活条件(触发)被绘制在圆圈中，并且用户执行将一个触发和动作交叠在另一触发和动作上的操纵(例如，拖拽和拖放操纵)。当用户执行将一个触发和动作交叠在另一触发和动作上的操纵时，信息处理系统100保存触发和动作的绑定的内容。
根据本公开内容的实施方式的信息处理系统100允许用户自由地设定待激活的功能和激活条件，使得除了由提供应用的供应商的程序以外，用户可以自由且简单地设定程序。因此，实现了激活适合于桌子140a上的详细情况的功能。
为用户在桌子140a上放置了各种物体并且各种交互被每日执行。根据本实施方式的信息处理系统100允许用户自由地设定待激活的功能和激活条件，使得每天执行的交互可以被用作由用户激活功能的机会。因此，可以将经验适用到用户的日常生活。
(示例3)
在此，将描述由信息处理系统100显示的窗口的操纵方法和模式的示例。
在由信息处理系统100显示的窗口中可以显示图像、文本和其他内容。在窗口中可以显示各种类型的内容，因此可能存在不是所有的内容都可以显示在窗口的区域中的情况。在这样的情况下，用户通过执行滚动、移动、放大或缩小内容的操纵来浏览内容，并且信息处理系统100不得不将对内容的操纵与对在其中显示内容的窗口的操纵进行区分。这是因为可能存在这样的情况，即当没有正确地区分对内容的操纵与对窗口的操纵时，尽管事实上用户执行对内容的操纵，然而却执行了对窗口的操纵而不是对内容的操纵。
图190是示出了由信息处理系统100显示的窗口3300的操纵方法和模式的示例的说明图。当图像、文本和其他内容被显示在窗口中并且用户仅执行对内容的操纵时，信息处理系统100在针对该窗口的内容操纵模式下操作。当用户按下并按住窗口3300中的预定区域时，信息处理系统100在针对该窗口的窗口操纵模式下操作。
图191是示出了由信息处理系统100显示的窗口3300的操纵方法和模式的示例的说明图。在内容操纵模式下，信息处理系统100可以允许用户滚动、旋转、放大或缩小(缩放)窗口3300中的内容。另一方面，在窗口操纵模式下，信息处理系统100可以允许用户移动、旋转或缩放窗口3300。
当操作从内容操纵模式切换到窗口操纵模式时，信息处理系统100可以执行指示窗口3300进入窗口操纵模式的显示(例如，改变整个窗口3300的颜色)。
以这种方式，当通过按下并按住窗口3300中的预定区域将操作从内容操纵模式切换到窗口操纵模式时，存在减少用户的误操纵的优点。然而，用户有必要执行按下并按住窗口3300中的预定区域的操纵。
图192和图193是示出了由信息处理系统100显示的窗口3300的操纵方法和模式的示例的说明图。信息处理系统100在例如窗口3300周围设置外框。如图193所示，当用户操纵显示在窗口3300中的内容时，可以执行对该内容的处理。当用户操纵窗口3300的外框时，可以执行对窗口3300的操作。
以这种方式，通过在窗口3300周围设置外框来区分对内容的操纵与对窗口3300的操纵，用户不必被迫执行按下并按住的操纵。因此，存在可以由一个操纵来区分操纵的优点。然而，由于设置了外框，因此由于操纵区域的干扰等，可能发生误操纵。
因此，在下面的描述中，将描述其中当允许用户操纵由信息处理系统100显示的窗口3300时用户不会被迫执行复杂的操纵并且降低可能发生误操纵的可能性的示例。
首先，将描述其中内容被滚动的窗口和其中内容不被滚动的窗口的运动的概念。图194是示出了对窗口的操纵的示例的说明图以及示出了其中内容被滚动的窗口和其中内容不被滚动的窗口的运动的概念的说明图。
在图194中，(1)示出了其中内容不被滚动的窗口，并且由用户对内容的操纵(例如，对内容的轻点操纵或缩放操纵)以外的操纵称为对窗口的操纵。
在图194中，(2)示出了其中内容被滚动的窗口。例如，由用户使用一只手的操纵被假设为对内容的操纵，以及使用两只手的操纵被假设为对内容的操纵。在对内容操纵时外框被显示在窗口周围达预定时间，并且对外框的操纵被假设为是对内容的操纵。
图195是示出了用户的操纵的说明图。图195示出了用户用一只手或两只手移动内容或窗口的移动操纵、用户用一只手或两只手旋转内容或窗口的旋转操纵以及用户用一只手或两只手缩放内容或窗口的缩放操纵的示例。
图196是示出了根据本公开内容的实施方式的信息处理系统100的操作的示例的流程图。图196示出了当执行对由信息处理系统100输出的并在其中显示内容的窗口的操纵时的信息处理系统100的操作的示例。在下文中，将参照图196来描述根据本公开内容的实施方式的信息处理系统100的操纵的示例。
首先，当信息处理系统100检测到由用户对窗口的触摸操纵(步骤S3301)时，信息处理系统100随后确定该操纵是否为移动操纵(步骤S3302)。
当由用户对窗口的触摸操纵为移动操纵(在步骤S3302中为是)时，信息处理系统100随后确定由用户对窗口的触摸操纵是否为窗口中的操纵(步骤S3303)。
当由用户对窗口的触摸操纵为窗口中的操纵(在步骤S3303中为是)时，信息处理系统100随后确定该用户操纵是否为使用两只手的操纵或者窗口中显示的内容为不被滚动的内容(步骤S3304)。
当用户操纵是使用两只手的操纵或者窗口中显示的内容为不被滚动的内容(在步骤S3304中为是)时，信息处理系统100随后执行移动操纵目标窗口的处理(步骤S3305)。相反地，当用户操纵是使用一只手的操纵或者窗口中显示的内容为被滚动的内容(在步骤S3304中为否)时，信息处理系统100随后执行滚动操纵目标窗口中显示的内容的处理(步骤S3306)。
当由用户对窗口的触摸操纵不是窗口中的操纵(在步骤S3303中为否)时，信息处理系统100随后执行移动操纵目标窗口的处理(步骤S3305)。
当在前述步骤S3302中确定由用户对窗口的触摸操纵不是移动操纵(在步骤S3302中为否)时，信息处理系统100随后确定由用户对窗口的触摸操纵是否为旋转操纵(步骤S3307)。
当由用户对窗口的触摸操纵是旋转操纵(在步骤S3307中为是)时，信息处理系统100随后确定由用户对窗口的触摸操纵是否为窗口中的操纵(步骤S3308)。
当由用户对窗口的触摸操纵是窗口中的操纵(在步骤S3308中为是)时，信息处理系统100随后确定该用户操纵是否为使用两只手的操纵或者窗口中显示的内容为不在该窗口中旋转的内容(步骤S3309)。
当用户操纵为使用两只手的操纵或者窗口中显示的内容为不在该窗口中旋转的内容(在步骤S3309中为是)时，信息处理系统100随后执行旋转操纵目标窗口的处理(步骤S3310)。相反地，当用户操纵是使用一只手的操纵或者窗口中显示的内容为旋转的内容(在步骤S3309中为否)时，信息处理系统100随后执行旋转显示在操纵目标窗口中的内容的处理(步骤S3311)。
当由用户对窗口的触摸操纵不是窗口中的操纵(在步骤S3308中为否)时，信息处理系统100随后执行旋转操纵目标窗口的处理(步骤S3310)。
当在前述步骤S3307中确定由用户对窗口的触摸操纵不是旋转操纵(在步骤S3307中为否)时，信息处理系统100随后确定由用户对窗口的触摸操纵是否为缩放操纵(步骤S3307)。
当由用户对窗口的触摸操纵是缩放操纵(在步骤S3312中为是)时，信息处理系统100随后确定由用户对窗口的触摸操纵是否为窗口中的操纵(步骤S3313)。
当由用户对窗口的触摸操纵是窗口中的操纵(步骤S3313中为是)时，信息处理系统100随后确定该用户操纵是否为使用两只手的操纵或者窗口中显示的内容为不在该窗口中缩放的内容(步骤S3314)。
当用户操纵为使用两只手的操纵或者窗口中显示的内容为不在窗口中缩放的内容(在步骤S3314中为是)是，信息处理系统100随后执行缩放操纵目标窗口的处理(内容步骤S3315)。相反地，当用户操纵为使用一只手的操纵或者窗口中显示的内容为被缩放的内容(在步骤S3315中为否)时，信息处理系统100随后执行缩放显示在操纵目标窗口中的内容的处理(步骤S3316)。
当由用户对窗口的触摸操纵不是窗口中的操纵(在步骤S3313中为否)时，信息处理系统100随后执行缩放操纵目标窗口的处理(步骤S3315)。
当在前述步骤S3312中确定由用户对窗口的触摸操纵不是缩放操纵(在步骤S3312中为否)时，信息处理系统100随后执行与响应于用户操纵而执行的应用对应的处理(步骤S3317)。例如，作为由用户对窗口的触摸操纵不是移动、旋转或缩放，例如存在用户的轻点操纵的情况的示例。当由用户执行轻点操纵时，信息处理系统100可以执行对轻点操纵对象的内容的处理(例如，显示图像、再现视频或者激活另一应用)。
由用户进行的移动操纵、旋转操纵和缩放操纵可以同时执行。在这种情况下，例如，信息处理系统100可以确定在移动操纵、旋转操纵和缩放操纵中哪个操纵最接近于由用户执行的操纵。
参照图196描述了根据本公开内容的实施方式的信息处理系统100的操作的示例。接着，将通过给出由用户对窗口执行的操纵的具体示例来更详细地描述根据本公开内容的实施方式的信息处理系统100的操作的示例。
图197是示出了由用户对窗口的操纵的示例以及当在窗口中显示不滚动的内容的操纵的示例的说明图。当在窗口3300中显示不滚动的内容并且用户执行移动操纵时，信息处理系统100执行显示控制，使得整个窗口3300被移动。
图198是示出了由用户对窗口的操纵的示例以及当在窗口中显示不滚动的内容的操纵的示例的说明图。如图198的(1)或(2)所示，当在窗口3300中显示不滚动的内容并且用户执行旋转操纵时，信息处理系统100执行显示控制，使得整个窗口3300被旋转。如图198的(3)或(4)所示，当在窗口3300中显示不滚动的内容并且用户执行缩放操纵时，信息处理系统100执行显示控制，使得整个窗口3300被缩放。
图199是示出了由用户对窗口的操纵的示例以及当在窗口中显示滚动的内容的操纵的示例的说明图。如图199的(1)或(2)所示，当在窗口3300中显示滚动的内容并且用户对窗口3300的外框执行旋转操纵时，信息处理系统100执行显示控制，使得整个窗口3300被旋转。如图199的(3)或(4)所示，在窗口3300中显示滚动的内容并且用户对窗口3300的外框执行缩放操纵时，信息处理系统100执行显示控制，使得整个窗口3300被缩放。
即使对于相同的旋转或缩放，信息处理系统100仍可以通过检测两个手指是同一只手的手指还是不同手的手指来区分对窗口的显示控制与对内容的显示控制。
图200是示出了由用户对窗口的操纵的示例以及当在窗口中显示滚动的内容的操纵的示例的说明图。如图200的(1)所示，当在窗口3300中显示滚动的内容并且用户用一只手执行旋转操纵时，信息处理系统100执行显示控制，使得内容被旋转。另一方面，如图200的(2)所示，当用户用两只手执行旋转操纵时，信息处理系统100执行显示控制，使得整个窗口3300被旋转。
类似地，如图200的(1)所示，当用户用一只手执行缩放操纵时，信息处理系统100执行显示控制，使得内容被缩放。另一方面，如图200的(4)所示，当用户用两只手执行缩放操纵时，信息处理系统100执行显示控制，使得整个窗口3300被缩放。
当窗口中显示不滚动的内容时，在某些情况下通过旋转或缩放该内容以在窗口中滚动该内容。作为能够显示这样的窗口的应用，例如，存在绘制图示的应用或显示地图的应用。
在这样的窗口中，信息处理系统100可以使被旋转或缩放的窗口能够被转换到其中内容被滚动的窗口的处理。
图201是示出了由用户对窗口的操纵的示例的说明图。在图201中，(1)示出了当在窗口中显示不滚动的内容的操纵的示例以及其中由用户对内容执行放大操纵的形式。当在窗口中显示不滚动的内容并且由用户对内容执行放大操纵时，滚动边距被生成，如图201的(2)所示。因此，当在窗口中显示不滚动的内容并且由用户对内容执行放大操纵时，信息处理系统100执行显示控制，使得该窗口变成其中显示被滚动的内容的窗口。
当窗口中显示不滚动的内容并且由用户对内容执行放大操纵时，滚动边距被生成，如图201的(3)所示。因此，当窗口中显示不滚动的内容并且由用户对内容执行旋转操纵时，信息处理系统100执行显示控制，使得该窗口变成其中显示被滚动的内容的窗口。
将描述对窗口的旋转操纵的变形例。图202是示出了由用户对窗口的操纵的示例的说明图。在图202中，(1)示出了当用户触摸窗口的预定位置并且执行直接移动操纵时由信息处理系统100对窗口的显示控制的示例。在这种情况下，信息处理系统100可以执行显示控制，使得触摸位置相对于窗口恒定并且窗口被移动，使得窗口被旋转，直到用户拖拽窗口的方向与从窗口的中心到用户的触摸位置的方向的外积变为0为止。
将描述其中当信息处理系统100执行这样的显示控制时用户将窗口旋转180度的情况。如图202的(2)所示，用户可以通过如下方法将窗口旋转180度：首先将窗口的右侧(或左侧)向右下(或左下)拖拽并且将窗口旋转预定的量；将旋转的窗口的上侧向右上(或左上)拖拽并且将窗口旋转预定的量；再次将窗口的右侧(或左侧)向右下(或左下)拖拽并且将窗口旋转预定的量。
接着，将描述与其中显示被滚动的内容的窗口的用户操纵对应的显示控制示例。图203是示出了由用户对窗口的操纵的示例的说明图。在图203中，(1)示出了其中在窗口3300中显示被滚动的内容的状态。
在该状态下，当用户在窗口内执行操纵时，信息处理系统100使得操纵能够对窗口中显示的内容进行操作，如图203的(2)所示。例如，当用户执行拖拽操纵时，信息处理系统100执行显示控制，使得内容在窗口3300内被滚动。当用户执行捏操纵时，信息处理系统100执行显示控制，使得内容在窗口3300内被缩放。当用户执行旋转操纵时，信息处理系统100执行显示控制，使得内容在窗口3300内被旋转。
另一方面，当用户对窗口的边缘执行操纵时，信息处理系统的100显示窗口手柄，以在窗口3300周围操纵窗口3300，如图203的(3)所示。当检测到由用户对窗口手柄的移动操纵时，信息处理系统100执行显示控制，使得根据用户的操纵移动来移动窗口3300。
图204是示出了由用户对窗口的操纵的示例以及当在窗口中显示被滚动的内容时的操纵的示例的说明图。在图204中，(1)示出了当在窗口中显示被滚动的内容并且用户对该内容执行旋转操纵时由信息处理系统100进行的显示控制示例。即，当用户用一只手执行旋转操纵时，信息处理系统100执行显示控制，使得根据用户的旋转操纵来旋转窗口中的内容。
在图204中，(2)示出了当在窗口中显示被滚动的内容并且用户对窗口执行旋转操纵时由信息处理系统100进行的显示控制示例。即，当用户用双手执行旋转操纵时，信息处理系统100执行显示控制，使得根据用户的旋转操纵来旋转整个窗口。
在图204中，(3)示出了当在窗口中显示被滚动的内容并且用户对该内容执行缩放操纵时由信息处理系统100进行的显示控制示例。即，当用户用一只手执行缩放操纵时，信息处理系统100执行显示控制，使得根据用户的缩放操纵来缩放窗口中的内容。
在图204中，(4)示出了当在窗口中显示被滚动的内容并且用户对窗口执行缩放操纵时由信息处理系统100进行的显示控制示例。即，当用户用双手执行缩放操纵时，信息处理系统100执行显示控制，使得根据用户的缩放操纵来缩放整个窗口。
接着，将描述根据用户操纵来旋转窗口的显示控制示例。图205是示出了由用户对窗口的操纵的示例的说明图。当用户触摸该窗口并执行拖拽窗口的移动操纵时，信息处理系统100可以执行显示控制，使得窗口在由用户拖拽窗口的方向上被旋转之后该窗口被移动。窗口的旋转方向可以是手指的入射方向或者可以是窗口的移动方向。
信息处理系统100可以执行显示控制，使得在窗口周围设置外框并且窗口在旋转时根据对外框的移动操纵被移动。图206是示出了由用户对窗口的操纵的示例的说明图。当用户触摸该窗口的外框并且执行拖拽窗口的移动操纵时，信息处理系统100可以执行显示控制，使得窗口在由用户拖拽窗口的方向上被旋转之后该窗口被移动。
信息处理系统100可以执行显示控制，使得当窗口由用户的特定手势旋转时该窗口被移动。例如，信息处理系统100可以通过假设对内容的轻点操纵以外的操纵为对窗口的操纵来对窗口执行显示控制。
信息处理系统100可以通过假设上述用一只手在其中内容被滚动的窗口上的操纵为对内容的操纵并且假设用两只手在窗口上的操纵为对窗口的操纵来对窗口执行显示控制，或者可以通过仅在操纵时在窗口周围显示外框达预定时间并且假设在外框上的操纵为对窗口的操纵来执行对窗口的显示控制。
接着，将描述当存在画面外的窗口时的处理的示例。图207是示出了由用户对窗口的操纵的示例的说明图。例如，当用户在窗口3300上执行移动操纵以执行如图207的(1)中所示的移动画面(显示区域)外的窗口3300的移动操纵，信息处理系统100可以执行显示控制，使得通过与窗口3300伸出画面(显示区域)外的量对应的反作用力使窗口3300返回画面(显示区域)内，如图207的(2)中所示
图208是示出了由用户对窗口的操纵的示例的说明图。在用户通过比上述反作用更强的力来执行移动画面(显示区域)外的窗口3300的移动操纵并且在以预定量或更多地移动画面(显示区域)外的窗口3300之后，当用户从窗口3300移除该用户的手指时，信息处理系统100可以执行显示控制，使得窗口3300被关闭或者窗口3300被最小化，如图208所示。
在用户通过比上述反作用更强的力执行将按住窗口3300的手指移动到画面(显示区域)的预定区域的移动操纵之后，当用户从窗口3300移除该用户的手指时，信息处理系统100可以执行显示控制，使得窗口3300被关闭或者窗口3300被最小化，如图208所示。
图209是示出了由用户对窗口的操纵的示例的说明图。信息处理系统100可以执行显示控制，使得通过将窗口3300移动到画面内的用户操纵，将根据由用户的上述操纵而最小化的窗口3300返回到原来的尺寸。
信息处理系统100可以在对窗口进行显示控制时使用惯性定律来执行显示控制。图210是示出了由用户对窗口的操纵的示例的说明图。当用户通过用其手指对窗口3300施加力来执行滑动(fling)窗口3300的操纵时，信息处理系统100可以检测用户操纵并且执行显示控制，使得窗口3300被移动。当窗口3300被用户滑动到伸出画面外并且伸出的量等于或小于预定值时，信息处理系统100可以执行显示控制，使得通过反作用力使窗口3300返回到画面内。当伸出的量超过预定值时，信息处理系统100可以执行显示控制，使得窗口3300被最小化或者被擦除。
图211是示出了由用户对窗口的操纵的示例的说明图。当用户通过用其手指对窗口3300施加力来执行将窗口3300滑动到画面外的操纵时，信息处理系统100可以执行显示控制，使得窗口3300根据用户操纵沿画面的一侧旋转。
接着，将描述当窗口彼此干扰时的显示控制示例。图212是示出了由用户对窗口的操纵的示例以及示出了当多个窗口彼此干扰(交叠)时的示例的说明图。
当两个窗口交叠的区域等于或小于预定量或者该区域的比例为预定量时，信息处理系统100可以执行显示控制，使得仅交叠窗口而不执行特定控制，如图212的(1)所示。相反地，当两个窗口交叠的区域超过预定量时，如图212的(2)所示，或者该区域的比例超过预定量时，信息处理系统100可以执行特定显示控制。
例如，如图212的(3)和(4)所示，信息处理系统100可以执行显示控制，使得在各窗口的中心生成排斥力并且各窗口基于该排斥力以动画方式自动移动。
图213是示出了由用户对窗口的操纵的示例的说明图，并且示出了当多个窗口彼此(交叠)干扰的示例。当用户移动窗口以与另一窗口交叠时，信息处理系统100可以执行显示控制，使得该另一窗口实时地以动画的方式移开，如图213的(1)所示，或者可以执行显示控制，使得在用户移除其手指的时间点处该另一窗口以动画的方式移开，如图213的(2)和(3)所示。
图214是示出了由用户对窗口的操纵的示例的说明图，并且示出了当多个窗口彼此(交叠)干扰时的示例。当用户移动窗口以与另一窗口交叠时，信息处理系统100可以执行显示控制，使得选项卡被显示，如图214所示，并且根据对标签的操纵来切换要显示在前面的窗口。
当用户移动窗口以与另一窗口交叠时，信息处理系统100执行显示控制，使得该另一窗口实时地以动画的方式移出，并且该另一窗口移动到画面(显示区域)的一端，并且信息处理系统100可以执行显示控制，使得该另一窗口的尺寸被减少。
图215是示出了由用户对窗口的操纵的示例的说明图，并且示出了当多个窗口彼此(交叠)干扰时的示例。当为了待由用户移动的被操纵窗口而移出的窗口移动到画面(显示区域)的一端时，如图215所示，信息处理系统100可以执行显示控制，使得该另一窗口的尺寸被减少。当窗口进一步被待由用户移动的被操纵窗口驱动时，信息处理系统100可以执行显示控制，使得该另一窗口被最小化或者被擦除。
以这种方式，当为了待由用户移动的被操纵窗口而移出的窗口移动到画面(显示区域)的一端时，信息处理系统100可以执行显示控制，使得该另一窗口在用户移除其手指的时间点处被最小化或者被擦除。以这种方式，当被移动的另一窗口移动到画面(显示区域)的一端时，信息处理系统100可以执行显示控制，使得该另一窗口被旋转。
图216是示出了由用户对窗口的操纵的示例的说明图。当用户操纵窗口时，信息处理系统100可以执行显示控制，使得窗口沿画面(显示区域)的各侧自动旋转，如图216所示。
当用户的位置可以由信息处理系统100检测到时，信息处理系统100可以根据用户的位置来控制窗口的运动。图217是示出了由用户对窗口的操纵的示例的说明图。当用户靠近画面(显示区域)时，如图217所示，信息处理系统100可以检测用户的位置并且执行显示控制，使得窗口自动旋转至从用户的视角面对用户。当信息处理系统100以这样的方式执行显示控制时，信息处理系统100可以执行显示控制，使得即使当第二个以及更新的用户靠近画面(显示区域)时，窗口仍不面对新的用户。
图218是示出了由用户对窗口的操纵的示例的说明图。当用户靠近画面(显示区域)时，信息处理系统100可以检测用户的位置并且执行显示控制，使得窗口自动旋转至从用户的视角面对用户并且靠近用户，如图218所示。
此时，信息处理系统100可以执行显示控制，使得仅与靠近画面(显示区域)的用户绑定的窗口被自动旋转至从用户的视角面对用户并且靠近用户。信息处理系统100可以例如通过确定用户与窗口是否最初被设定为要绑定在一起或者确定用户是否为触摸过该窗口的最后一个用户来确定窗口与用户是否被绑定在一起。
当用户的位置可以由信息处理系统100检测到时，信息处理系统100可以根据用户的位置来控制要显示在窗口中的内容的粒度。图219是示出了由用户对窗口的操纵的示例的说明图。当用户靠近画面(显示区域)时，信息处理系统100可以检测用户的位置，并且根据用户的位置来控制要显示在窗口中的内容的粒度，如图219所示。
例如，信息处理系统100可以控制图像尺寸或字母的字体尺寸作为显示在窗口中的内容的粒度。即，信息处理系统100可以减小靠近用户的窗口中的图像尺寸或字体尺寸，并且可以增加远离用户的窗口中的图像尺寸或字体尺寸。
接着，将描述当窗口干扰放置在投影表面上的真实物体时的显示控制示例。图220是示出了当窗口干扰放置在投影表面上的真实物体时的显示控制示例的说明图。当窗口3300干扰放置在投影表面上的真实物体3310时，如图220的(1)所示，信息处理系统100可以执行显示控制，使得窗口3300的位置自动地移动到使窗口3300不干扰物体3310的位置，如图220的(2)所示。
当信息处理系统100执行显示控制使得窗口3300的位置自动地移动到使窗口3300不干扰物体3310的位置时，如图220的(3)和(4)所示，信息处理系统100可以执行显示控制，使得窗口3300的位置被移动，使得在窗口3300的中心位置与物体3310的中心位置之间生成排斥力。
(示例4)
在此，将描述信息处理系统100与另一装置之间的链接以及在链接时由信息处理系统100输出的GUI的示例。
如上所述，例如，当采用如图1所示的形式即根据本公开内容的实施方式的信息处理系统100将信息投影至桌子并且使用户操纵该信息时，信息处理系统100可以被链接至便携式终端如桌子上的智能电话。例如，当用户把便携式终端如智能电话放置在桌子上并且使输入单元110识别该便携式终端时，根据本公开内容的实施方式的信息处理系统100可以识别该便携式终端以链接至所识别的便携式终端。
然而，当多个用户拥有基本上相同的便携式终端，同时并且分别将便携式终端放置在桌子上，并且使信息处理系统100识别便携式终端时，信息处理系统100可能不能确定将哪个便携式终端链接至信息处理系统100更好。
当在不使用物体识别的情况下执行与装置的链接时，关于信息处理系统100与要被链接的装置之间的位置关系的信息不可用。因此，当在不使用物体识别的情况下执行与装置的链接时，无论与信息处理系统100开始链接的位置如何，对装置的处理都类似。例如，当多个用户可以全方向地同时使用信息并且被共享的信息全部被显示在相同的方向上或者在相同的位置处时，在某些情况下信息的方向与用户的方向相反。因此，用户可能难以处理信息。
图221是示出了信息的显示示例的说明图以及示出了当多个用户可以全方向地同时使用信息并且被共享的信息全部被显示在相同的方向上或者在相同的位置处时的示例的说明图。当共享的信息1、2和3全部在相同的方向上被输出时，如图221所示，在某些情况下信息的方向与用户的方向相反。
因此，描述了如下信息处理系统100，即使当多个用户拥有如上所述的基本相同的便携式终端并且这些相同的便携式终端同时并且分别被放置在桌子上时，该信息处理系统100仍能够容易地指定被链接的便携式终端。描述了如下信息处理系统100，该信息处理系统100能够在该位置处或者在该方向上或者在其中执行操纵的每个用户可以容易地全方向地使用该内容的方向上显示共享的内容。
在根据本公开内容的实施方式的信息处理系统100中，便携式终端如放置在桌子上的智能电话可以通过执行例如图32或图33所示的操纵而被链接。例如，当用户将便携式终端如智能电话放置在桌子上并且使输入单元110识别该便携式终端时，根据本公开内容的实施方式的信息处理系统100可以识别该便携式终端以链接至所识别的便携式终端。
在根据本公开内容的实施方式的信息处理系统100中，可以通过执行如图32或图33所示的操纵将连接标记显示在画面上，并且可以通过允许用户提取连接标记，在该位置处或者在该方向上或者在其中执行操纵的每个用户可以容易地全方向地使用该内容的方向上显示共享的内容。
在下文中，将描述当信息处理系统100被链接至便携式终端如智能电话时由信息处理系统100输出的GUI的示例。
图222是示出了由信息处理系统100输出的GUI 3400的示例的说明图。例如，当在图32中的步骤S1111的处理中，模式进行到识别模式时，如图222的(1)所示，信息处理系统100可以输出其中波纹从画面(显示区)的四个角出现的GUI 3400。如图222的(1)所示的GUI3400指示整个画面(显示区域)为识别目标区域。
当模式进行到识别模式时，如图222的(2)所示，信息处理系统100可以输出其中波纹出现在画面(显示区域)中的一部分的GUI 3400。如图222的(2)所示的GUI 3400指示画面(显示区域)上出现波纹的区域为识别目标区域。
当模式进行到识别模式时，如图222的(3)所示，信息处理系统100可以输出其中示出了握着终端并且把终端放下的手的视频或者再现示意图示动画的GUI 3400。如图222的(3)所示的GUI 3400是用于提示用户必须执行哪些操作以识别该装置的GUI。
图223是示出了由信息处理系统100输出的GUI 3400的示例的说明图。例如，当在图32中的步骤S1111的处理中，模式进行到识别模式时，除了图222中示出的GUI以外，信息处理系统100可以输出预定文本，如图223所示。当识别物体成功时，信息处理系统100可以输出用于指示已识别物体的GUI(例如，在所识别的物体周围显示波纹的GUI，如图34所示)。
当物体被识别之后将物体移除时，信息处理系统100显示用于指示与物体连接的GUI。图36示出了其中信息处理系统100在显示表面上显示连接标记的状态的示例。将描述另一显示示例。图224是示出了由信息处理系统100输出的GUI 3400的示例的说明图。
在图224中，(1)示出了其中在被识别的物体被拿走之后与用于识别的标记物相同的图像被显示在与物体被放置的相同的位置处的GUI 3400的示例。在图224中，(2)示出了其中在被识别的物体被拿走之后用于识别的标记物在与放置物体的位置相同的位置处被图标化的GUI 3400的示例。在图224中，(2)示出了其中在被识别的物体被拿走之后与用于识别的标记物不同的图像被显示在与放置物体的位置相同的位置处的GUI3400的示例。
当物体被识别之后物体被拿走时，信息处理系统100显示用于使用户能够执行链接至该物体的处理的GUI。图37示出了其中显示了由与信息处理系统100链接的装置存储的内容的GUI的示例。将描述另一显示示例。图225和图226是示出了在另一装置被链接之后由信息处理系统100输出的GUI 3400的示例的说明图。
在图225中，(1)示出了其中图标被显示在与用于识别的标记物相同的图像周围的GUI 3400的示例。在图225中，(2)示出了其中由链接至信息处理系统100的装置存储的内容的缩略图被显示在与用于识别的标记物相同的图像周围的GUI 3400的示例。在图225中，(3)示出了其中任何窗口被显示在与用于识别的标记物相同的图像中的GUI 3400的示例。
在图226中，(1)示出了其中提示用户在所链接的装置中选择要共享的内容的消息被显示在与用于识别的标记物相同的图像的附近的GUI3400的示例。在图226中，(2)示出了其中被图标化的用于识别的标记物与由所链接的装置存储的内容的缩略图被组合并显示的GUI 3400的示例。
当然，不言而喻，除了图225和图226中示出的GUI 3400以外，信息处理系统100可以输出各种GUI 3400。
接着，将描述用于改进由所链接的装置存储的内容的可操作性或可视性的GUI的示例。图227是示出了在另一装置被链接之后由信息处理系统100输出的GUI 3400的示例的说明图。
例如，当书、杂志、盘子或另一物体已被放置在桌子上时，信息处理系统100可以识别所放置的物体并且以避开物体的方式输出该物体的图标、该物体的缩略图等。在图227中，(1)示出了其中以避开放置在桌子上的物体的方式输出由所链接的装置保存的图标、缩略图等的GUI 3400的示例。
当另一装置被链接之后信息处理系统100输出用于操纵由该另一装置拥有的内容的GUI时，信息处理系统100可以根据该装置被放置的位置来改变其中输出了由所链接的装置保存的图标、缩略图等的GUI。在图227中，(2)示出了其中根据该装置被放置的位置来输出由所链接的装置保存的图标、缩略图等的GUI 3400的改变的示例。
例如，信息处理系统100在与用于识别的标记物相同的图像的右侧正常地显示用于显示内容的任何窗口。当装置被放置在显示区域的右端时，在与用于识别的标记物相同的图像的左侧显示用于显示内容的任何窗口。以这种方式，信息处理系统100根据装置被放置的位置来改变GUI，从而可以为用户改进可操作性。
接着，将描述关于物体识别的结束时机的GUI的示例。图228是示出了在识别到另一装置之后由信息处理系统100输出GUI 3400的示例的说明图。
识别到放置在桌子等上的物体的信息处理系统100可以在紧接着识别之后输出GUI如窗口。在图228中，(1)示出了识别到放置在桌子等上的物体的信息处理系统100在紧接着识别之后输出窗口的GUI 3400的示例。当信息处理系统100在紧接着识别之后输出窗口，如图228中的(1)所示，并且用户移动物体的位置时，信息处理系统100可以跟踪该移动并且改变输出窗口的位置。
识别到放置在桌子等上的物体的信息处理系统100可以在物体被放置在桌子上的同时继续进行识别处理。在图228中，(2)示出了当识别到放置在桌子等上的物体的信息处理系统100在物体被放置在桌子上的同时继续进行识别处理时的GUI 3400的示例。信息处理系统100可以在物体被放置在桌子上的同时继续进行识别处理，可以在物体被从桌面拿走时停止识别处理，并且可以根据所识别的物体等输出该窗口。
当取自装置的要共享的内容被操纵时，没有必要执行识别物体的处理。因此，为了减少用于识别物体的处理的计算成本，信息处理系统100可以在物体从桌子上被取走时停止识别处理。
识别到放置在桌子等上的物体的信息处理系统100可以在该物体被识别的时间点处停止识别处理，并且可以根据识别出的物体来输出窗口等。在图228中，(3)示出了当识别到放置在桌子等上的物体的信息处理系统100在本体被识别的时间点处停止识别处理并且根据识别出的物体来输出窗口等的GUI 3400的示例。
识别到放置在桌子等上的物体的信息处理系统100可以通过在本体被识别的时间点处停止识别处理来显著减少用于识别物体的处理的计算成本。
接着，将描述用于解除与所链接的装置的连接的GUI的示例。图229是示出了在另一装置被识别之后为了解除与所链接的装置的连接而由信息处理系统100输出的GUI 3400的示例的说明图。
在图229中，(1)示出了其中用于解除与所链接的装置的连接的按钮被显示成和与用于识别的标记物相同的图像(连接标记)交叠或者被显示在连接标记附近以使用户可以解除与所链接的装置的连接的GUI 3400的示例。用户可以使信息处理系统100通过触摸用于解除连接的按钮来解除信息处理系统100与装置之间的连接。
在图229中，(2)示出了其中允许用户将与用于识别的标记物相同的图像(连接标记)移动至画面(显示区域)以外以使得用户可以解除与所链接的装置的连接的GUI 3400的示例。用户可以通过将连接标记移动到画面外来使信息处理系统100解除信息处理系统100与装置之间的连接。
在图229中，(3)示出了当解除了与所链接的装置的连接而使得用户可以解除与所链接的装置的连接的GUI 3400的示例。用户可以通过执行解除与所链接的装置的连接的预定操纵来使信息处理系统100解除信息处理系统100与装置之间的连接。
当信息处理系统100与装置之间的连接被解除时，信息处理系统100擦除如图229所示的任何GUI 3400中的连接标记。信息处理系统100可以通过擦除所显示的连接标记，以用户易于理解的方式指示用户信息处理系统100与装置之间的连接已被解除。
当然，当信息处理系统100和便携式终端被链接时由信息处理系统100输出的GUI不限于上述GUI。
(示例5)
本实施方式是上述具体示例2的实施方式。更具体地，特别地，在本示例中集中讨论声音，并且执行为用户优化声音输入和输出的显示。在下文中，在描述中将假设投影型信息处理系统100a。然而，参照图1至图4描述的任何类型的信息处理系统都可以实现与以下要描述的示例对应的UI。下面将参照图230至图265来描述本示例。
(概述)
图230和图231是示出了根据本示例的用户界面的概述的说明图。如图230所示，多个应用窗口4101(显示对象)和麦克风图标4102被显示在桌子140a(显示表面)上。应用窗口4101是应用的窗口。麦克风图标4102是用于指示由信息处理系统100接收声音输入的显示。关于其中反映由信息处理系统100接收声音输入的信息的显示被实现在麦克风图标4102处或者麦克风图标4102附近。在图230所示的示例中，生成声音的显示装置4103和正在交谈的人4104在信息处理系统100附近。由于这个原因，由用户4105生成的声音“ABC”被埋没在环境噪声中，因此未被信息处理系统100识别。因此，信息处理系统100执行从麦克风图标4102发出的显示如“声音未被识别”。
因此，如图231所示，信息处理系统100执行波束形成，使得麦克风可以具有方向性。具体地，信息处理系统100通过对输入到麦克风阵列的声音执行声音处理以在用户的方向上以强调方式提取声音来改进声音识别的精度。在此，当麦克风被设置在麦克风图标4102的正上方或附近时，附图标记4106表示当麦克风执行波束形成时所形成的方向性的范围。即，当用户4105在由附图标记4106表示的范围内说话时，信息处理系统100可以以高精度来执行声音识别。在图231所示的示例中，信息处理系统100在由附图标记4106表示的范围内识别由用户4105发出的声音“ABC”，并且在麦克风图标4102处显示“ABC”。下面也将由附图标记4106表示的范围称为波束形成范围。
麦克风图标4102可以被显示在麦克风的正下方或麦克风的附近，或者以被显示在中间、画面或桌子140a的附近或任何位置。在下文中，将描述其中使用麦克风图标4102作为中心点来执行波束形成范围、音量等的各种类型的显示的示例，但是本示例不限于这个示例。例如，可以以麦克风图标4102以外的显示为中心点，或者可以不显示指示中心点的对象。例如，可以使用桌子140a上的任何位置作为中心点来执行各种类型的显示，或者可以使用麦克风正下方或麦克风附近的位置作为中心点来执行各种类型的显示。
此外，根据本示例的信息处理系统100显示用于指示波束形成范围的信息。因此，用户可以知道执行了与声音输入相关的波束形成。例如，当用户位于波束形成范围内时，用户可以知道没有必要大声喊以不被埋没在环境噪声中。因此，减少了用户的心理负担。此外，由于用户不必大声喊，因此减少了用户的身体负担。当用户没有位于波束形成范围内时，用户可以知道为什么用户发出的声音未被识别。因此，减少了用户的心理负担。此外，用户可以移到波束形成范围内。在这种情况下，改进了由信息处理系统100对声音的识别精度。
在本章节中详细描述了声音输入，但是在任何其他输出如声音输出中也可以实现类似的应用。例如，在信息处理系统100中，扬声器可以执行波束形成以显示用于指示声音输出范围的信息。在这种情况下，用户可以知道执行了与声音输出相关的波束形成，因此可以适当地调节音量并且移到波束形成范围内。可以在声音输入以外的任何输入中实现类似的应用。
上面描述了根据本示例的信息处理系统100的概述。接着，将描述根据本示例的信息处理系统100的具体配置。
(配置的示例)
(1)输入单元110
根据本示例的输入单元110具有作为声音输入单元的功能。例如，作为声音输入单元的功能的输入单元110的功能由麦克风(麦克风)来实现。特别地，在本示例中，其中多个麦克风被组合的麦克风阵列被实现为能够执行波束形成的麦克风。输入单元110可以包括对由麦克风获得的声音信号执行放大处理的麦克风放大器电路或A-D转换器，或者对声音数据执行处理如噪声去除或声源分离的处理的信号处理电路。输入单元110将经处理的声音数据输出到控制单元120。
(2)检测单元121
根据本示例的检测单元121具有作为控制充当声音输入单元的麦克风的方向性的输入控制单元的功能。例如，如以上参照图77和图78所描述的那样，检测单元121使用其中多个麦克风被组合的麦克风阵列来控制方向性。
检测单元121具有估计正在执行声音输入的用户的位置的用户位置估计功能。检测单元121可以通过各种手段来估计用户的位置。在下文中，将参照图232至图237来描述用户位置估计功能的示例。
图232是示出了根据本示例的用户位置估计功能的示例的说明图。如图232所示，输入单元110设定比桌子140a更广阔的成像区域作为监视目标来执行成像。用于给出开始声音输入的指令的声音输入开始对象4108被显示在桌子140a上。首先，检测单元121基于成像区域4107的拍摄图像来指定触摸声音输入开始对象4108的用户4105。然后，检测单元121估计所指定的用户的位置4109。
图233是示出了根据本示例的用户位置估计功能的示例的说明图。如图233左侧的图所示，输入单元110设定包括从触摸声音输入开始对象4108的用户的指尖到胳膊肘的区域的区域作为成像区域4107。首先，检测单元121从在检测到触摸声音输入开始对象4108的时间点处从成像区域4107的拍摄图像中检测触摸对象的手指或手臂的方向4110。如图233右侧的图所示，检测单元121估计用户位置4109作为位于触摸对象的手指或手臂的方向4110的延长线上并且距离为预定距离4111的位置。该处理可以用于例如当成像区域4107被限制在桌子140a上时。
图234是示出了根据本示例的用户位置估计功能的示例的说明图。如图234左侧的图所示，输入单元110设定如下区域作为成像区域4107，该区域包括触摸声音输入开始对象4108的用户的手臂并且位于桌子140a上。首先，检测单元121从在检测到触摸声音输入开始对象4108的时间点处从成像区域4107的拍摄图像中检测触摸对象的手臂的形状。然后，检测单元121通过将所检测的手臂的形状与模型4112进行对照来估计脸的位置，其中模型4112指示手臂的方向与脸的位置之间的关系。以这种方式，如图234右侧的图所示，检测单元121估计用户的脸的位置作为用户位置4109。该处理可以用于例如当成像区域4107被限制在桌子140a上时。
图235是示出了根据本示例的用户位置估计功能的示例的说明图。如图235左侧的图所示，检测单元121检测对声音输入开始对象4108的触摸，并且检测从麦克风图标4102至触摸点的方向4113。然后，如图235右侧的图所示，检测单元121估计用户位于从麦克风图标4102至触摸点的方向4113的延长线上。该处理可以用于例如当成像区域4107不存在或者在成像区域4107中未检测到用户时。
如上所述，检测单元121使用对声音输入开始对象4108的触摸为契机来估计用户位置，但是这种功能不限于本示例。在下文中，将参照图236至图237来描述用户位置估计功能的另一示例。
图236是示出了根据本示例的用户位置估计功能的示例的说明图。如图236所示，检测单元121检测给出开始声音输入的指令的用户的手势。作为手势，例如，考虑了画圈或者伸出手指。然后，检测单元121估计该用户位于从麦克风图标4102到检测到用户的手势的位置的方向4114的延长线上，如上面参照图235所描述的技术中那样。此外，检测单元121可以使用用户的手势为契机来估计用户的位置，如上面参照图232至图234所描述的技术中那样。
图237是示出了根据本示例的用户位置估计功能的示例的说明图。如图237所示，检测单元121检测到给出开始声音输入的指令的用户的声音。检测单元121可以检测例如预先决定的关键字作为开始声音输入的指令的声音。然后，检测单元121估计该用户位于其中从麦克风图标4102到检测到用户的声音的方向4115的延长线上，如上面参照图235描述的技术中那样。此外，检测单元121可以使用检测到用户的声音为契机来估计用户的位置，如上面参照图232至图234所描述的技术中那样。
此外，例如，检测单元121可以使用用户将声音输入开始对象4180拖向该用户的手这一事实为契机来估计用户的位置。在这种情况下，检测单元121可以估计该用户位于声音输入开始对象4180被拖到的位置附近或者在从麦克风图标4102到声音输入开始对象4180的方向的延长线上
以上描述了用户位置估计功能的示例。
检测单元121控制声音输入单元，使得所估计的用户的位置被包括在波束形成范围内以形成方向性。检测单元121可以控制声音输入单元，使得形成多个波束形成范围。例如，当针对所述多个用户中的每个用户形成波束形成范围时，可以改进从每个用户输入的声音的声音识别精度。
检测单元121可以根据对用户位置的估计结果的更新来更新所形成的方向性的范围。例如，，检测单元121允许用户在用户移动时跟踪波束形成范围。此外，当用户位置的估计结果稳定时，可以预测用户保持在相同的位置处，并且估计结果正确，因此，检测单元121可以缩小波束形成范围。在这样的情况下，可以改进声音识别的精度。检测单元121可以基于用户输入来改变声音输入单元的方向性的范围。例如，检测单元121根据用户输入使声音输入单元形成的方向性的范围垂直或水平移动、变宽或变窄。
(3)输出控制单元122
根据本示例的输出控制单元122具有作为显示控制单元的如下功能：在声音输入单元执行波束形成时控制用于指示所形成的方向性的范围(波束形成范围)的显示。具体地，输出控制单元122控制输出单元130，使得显示用于指示声音输入单元的波束形成范围的信息。该显示可以与由检测单元121形成的方向性的范围相同，或者可以与方向性的范围不同。例如，输出控制单元122可以执行用于指示通过放大、简化或缩放由检测单元121形成的方向性的范围而变形的范围的显示。输出控制单元122可以控制用于指示声音输出单元或任何其他输入或输出单元的波束形成范围的显示。除了显示以外，输出控制单元122还可以控制用于指示波束形成范围的任何其他输出。在下文中，将描述用于指示波束形成范围的显示的具体示例。
图238是示出了根据本示例的用户界面的示例的说明图。如图238所示，输出控制单元122执行用于指示波束形成范围的显示4120。由于这种显示，用户可以知道执行了与声音输入相关的波束形成。因此，如上所述，减少了用户的心理负担和身体负担。用于指示波束形成范围的显示4120具有以麦克风图标4102为中心的扇形形状。当从用户侧观察该扇形形状时，波束形成范围收敛于麦克风图标4102上。因此，提示用户自然地朝着克风图标4102说话。当麦克风被设置在麦克风图标4102的正上方或附近时，改进了声音识别的精度。在此，用于指示波束形成范围的显示4120在以麦克风图标4102为中心的360度方向上的任何范围内执行。因此，无论用户位于桌子140a周围的哪个位置处，用户朝麦克风图标4102说话。当麦克风被设置在麦克风图标4102的正上方或附近时，用户在桌子140a周围的任何位置处朝麦克风图标4102说话，因此改进了声音识别的精度。
输出控制单元122可以在用于指示波束形成范围的显示的位置或形状中至少之一中反映由检测单元121估计的用户的位置。例如，输出控制单元122可以在所估计的用户位置的附近执行用于指示波束形成范围的显示，或者可以在朝所估计的用户位置扩散或变窄的形状中执行用于指示波束形成范围的显示。在下文中，将参照图239和图240来描述根据本示例的与用户位置对应的用户界面的示例。
图239是示出了根据本示例的用户界面的示例的说明图。如图239左侧的图所示，当用户触摸声音输入开始对象4108时，检测单元121使用上述处理之一来检测用户位置4109。如图239右侧的图所示，输出控制单元122执行用于指示呈扇形形状的波束形成范围的显示4120，该扇形形状在连接麦克风图标4102和所估计的用户位置4109的线的左右扩散。由于用于指示其中反映用户位置的波束形成范围的显示，用户可以知道以该用户为目标执行了波束形成。例如，当波束形成范围适合于用户位置时，如上所述，减少了用户的心理负担和身体负担。
图240是示出了根据本示例的用户界面的示例的说明图。附图标记4105A表示声音输入开始处的起始用户位置，4105B表示移动后的用户位置。如图240所示，当声音输入开始处的起始用户位置(4105A)从指示波束形成范围的显示4120偏离时，提示用户自然地移动到消除偏离的位置(4105B)。因此，当用户移到由麦克风形成的方向性的范围内时，改进了由信息处理系统100进行的声音识别的精度。
考虑了用于指示波束形成范围的各种UI。下面将详细描述这些UI的变型。
输出控制单元122可以控制用于指示由声音输入单元获得的声音的音量的显示。因此，用户可以知道该用户的输入声音的音量，并且还可以将该音量与环境噪声的音量进行比较。在下文中，将参照图241来描述根据本实施方式的用于指示音量的用户界面的示例。
图241是示出了根据本示例的用户界面的示例的说明图。在图241所示的示例中，信息处理系统100显示按照在麦克风图标4102周围的圆弧形状中扩散的音量水平来指示音量的显示4130。由于这种显示，用户知道每个方向上的音量。
输出控制单元122可以同时显示用于指示方向性的范围的信息和用于指示音量的信息。例如，输出控制单元122可以在相同的显示表面上同时执行用于指示波束形成范围的显示和用于指示音量的显示。在下文中，将参照图242来描述当同时显示用于指示波束形成范围的显示和用于指示音量的显示时的用户界面的示例。
图242是示出了根据本示例的用户界面的示例的说明图。在图242所示的示例中，信息处理系统100同时执行用于指示波束形成范围的显示4120和用于指示音量的显示4130。在示例中，在用于指示音量的显示4130中，显示颜色随着音量水平而变化。
输出控制单元122可以通过区分显示方法，显示关于在方向性的范围内获得的声音的音量的信息以及指示在方向性的范围以外获得的声音的音量的信息。例如，输出控制单元122可以在用于指示音量的显示中反映用于指示波束形成范围的内部或外部的信息。具体地，输出控制单元122基于在波束形成范围内获得的声音的音量或在波束形成范围之外获得的声音的音量，通过将显示方法如色调、阴影、立体形式显示时的高低和虚线或实线进行分类来执行用于指示音量的显示。从另一观点来看，输出控制单元122可以在用于指示波束形成范围的显示中反映用于指示音量的信息。以这种方式，输出控制单元122可以执行三维显示，在该三维显示中，音量轴被添加至用于指示位置范围如波束形成范围的二维显示中。在这种情况下，由于波束形成范围和音量两种含义可以用一种显示来表示，因此可以节省显示表面上的显示区域，并且用户可以更容易地理解显示。
考虑了其中同时执行用于指示波束形成范围的显示和用于指示音量的显示的各种UI。下面将详细描述UI的变型。
输出控制单元122可以基于由声音输入单元获取的声音来显示用于指示声音识别的结果的信息。例如，输出控制单元122可以基于由声音输入单元获取的声音来激活应用如浏览器或者可以在该应用上执行声音输入如搜索词输入。在下文中，将参照图243来描述与用于指示声音识别的结果的显示相关的用户界面的示例。
图243是示出了根据本示例的用户界面的示例的说明图。在图243所示的示例中，输出控制单元122根据由用户输入的声音来激活应用窗口4101。此外，如图230或图231所示，输出控制单元122可以显示用于指示声音输入成功或失败的信息或者以文字形式显示声音输入的词。
输出控制单元122可以多次执行用于指示波束形成范围的显示，或者可以动态地改变用于指示波束形成范围的显示。例如，当由检测单元121形成多个波束形成范围时，输出控制单元122相应地多次执行用于指示波束形成范围的显示。当由检测单元121动态地改变波束形成范围时，输出控制单元122可以相应地改变该波束形成范围。下面将详细描述UI的变型。
(4)输出单元130
根据本示例的输出单元130具有作为显示图像的显示单元的功能。例如，如图1至图4所示，输出单元130由从桌子140a的上侧或下侧将图像投影至桌子140a的投影仪、触摸型显示器或平板型显示器来实现。此外，输出单元130可以具有作为声音输出单元如扬声器的功能。
以上描述了作为本示例的特征的信息处理系统100的配置的示例。
(UI的变型)
●用于指示波束形成范围的显示
在下文中，将描述根据本示例的UI的变型。首先，将参照图244至图248来描述与用于指示波束形成范围的显示的用户界面的变型。
图244是示出了根据本示例的用户界面的示例的说明图。图244示出了用于指示呈扇形形状的波束形成范围的显示4120。
图245是示出了根据本示例的用户界面的示例的说明图。在图245中，用于指示波束形成范围的显示4120用箭头表示。在该显示中，由声音输入单元形成的方向性的方向由箭头的方向表示。
图246是示出了根据本示例的用户界面的示例的说明图。在图246中，用于指示波束形成范围的显示4120用色调表示。更具体地，在麦克风图标周围显示环形对象。在环状对象中与波束形成范围对应的部分4120用与其他部分不同的颜色来显示。
图247是示出了根据本示例的用户界面的示例的说明图。在图247中，与麦克风图标一起显示用于指示声音识别结果的对话框。在这个示例中，麦克风图标和对话框充当指示波束形成范围的显示4120。例如，指示麦克风图标和对话框的显示4120在取向为麦克风的方向性的方向上移动。因此，按照用于指示麦克风图标和对话框的显示4120的显示位置来表示波束形成范围。输出控制单元122控制显示位置，使得麦克风位于连接用户位置与用于指示麦克风图标和对话框的显示4210的线的延长线上，因此，可以改进声音识别的精度。
图248是示出了根据本示例的用户界面的示例的说明图。如图248所示的示例是在如图247所示的示例的基础上省略了麦克风图标的显示的示例。
以上描述了与用于指示波束形成范围的显示相关的用户界面的变型。
●用于指示波束形成范围和音量的显示
接着，将参照图249至图253来描述与同时显示用于指示波束形成范围的显示和用于指示音量的显示相关的用户界面的变型。
图249是示出了根据本示例的用户界面的示例的说明图。在图249所示的示例中，根据在麦克风图标4102周围以圆弧形扩散的音量水平来执行用于指示音量的显示。在如图249所示的示例中，波束形成范围由到达声音可识别幅度的音量水平的色调来表示。例如，附图标记4140a表示从波束形成范围内获得的音量，即，从作为声音识别目标的用户获取的音量。附图标记4140b表示在波束形成范围之外获得的噪声的音量，即，从不是声音识别目标的另一用户获得的噪声的音量。以这种方式，信息处理系统100可以同时执行用于指示波束形成范围的显示和用于指示音量的显示。
图250是示出了根据本示例的用户界面的示例的说明图。在图250中，用于指示波束形成范围的显示4120被显示成还与图249所示的示例交叠。根据本示例，用户可以更简单地看到波束形成范围。
图251是示出了根据本示例的用户界面的示例的说明图。在图251所示的示例中，在显示表面的一端的内部执行用于指示波束形成范围和音量的显示4140(4140A和4140B)。在显示4140中，音量由距一端的高度来表示。在显示4140中，波束形成范围由色调来表示。例如，附图标记4140A表示从波束形成范围内获得的音量，即，从作为声音识别目标的用户获取的音量。附图标记4140B表示在波束形成范围之外获得的噪声的音量，即，从不是声音识别目标的另一用户获得的噪声的音量。
图252是示出了根据本示例的用户界面的示例的说明图。如图252所示的示例是其中在如图248所示的用于指示对话框的显示4120中执行如图251所示的显示的形式。
图253是示出了根据本示例的用户界面的示例的说明图。在图253所示的示例中，在麦克风图标周围执行用于指示与与如图251所示的示例相同的波束形成范围和音量的显示4140。在显示4140中，音量由距麦克风图标的高度来表示。在显示4140中，波束形成范围由色调来表示。
以上描述了与同时显示用于指示波束形成范围的显示和用于指示音量的显示相关的用户界面的变型。
●用于指示多个波束形成范围的显示
接着，将参照图254至图261来描述用于指示波束形成范围的显示的多个显示相关的用户界面的变型。
图254是示出了根据本示例的用户界面的示例的说明图。如图254所示，执行声音输入的多个用户可以在桌子140a周围。在这种情况下，检测单元121控制声音输入单元，使得形成多个方向性，使得用户被包括在各自的波束形成范围内。当存在多个波束形成时，输出控制单元122可以执行多个用于指示方向性的范围的显示。例如，输出控制单元122显示与所形成的相应的多个方向性的范围对应的用于指示波束形成范围的多个显示。在如图254所示的示例中，执行用于指示针对用户4105A的波束形成范围的显示4120A和用于指示针对用户4105B的波束形成范围的显示4120B。在如图254所示的示例中，存在多个用于接收声音输入的应用，并且从不同的波束形成范围接收每个用户的声音输入。具体地，对用户4105A的声音识别的结果被输入到应用窗口4101A，对用户4105B的声音识别的结果被输入到应用窗口4101B。
图255是示出了根据本示例的用户界面的示例的说明图。如图255所示，输出控制单元122执行用于指示针对用户4105A的波束形成范围的显示4120A以及用于指示针对用户4105B的波束形成范围的显示4120B。在如图255所示的示例中，一个应用接收从多个波束形成范围获取的声音输入。具体地，用户4105A和用户4105B的声音识别的结果被输入到应用窗口4101。
图256是示出了根据本示例的用户界面的示例的说明图。如图256所示，用于指示多个波束形成范围的显示可以交叠。在这种情况下，由于多个用户的声音可以被混合并且被输入到信息处理系统100中，因此可能存在发生误操纵的可能性。由于这个原因，当用于指示多个方向性的范围的显示交叠时，输出控制单元122可以执行警告显示。在如图256所示的示例中，在其中用于指示波束形成范围的显示4120A和显示4120B交叠的部分中执行警告显示4150。当用户根据警告显示4150移开或执行移动或缩小波束形成范围的操纵时，可以防止误操纵。
在此，在如图254所示的示例中，当存在接收声音输入的多个应用时，理想的是澄清波束形成范围与声音输入目的地的应用的关联。因此，输出控制单元122可以执行显示以将用于指示波束形成范围的显示与接收由形成波束形成范围的声音输入单元输入的声音的显示对象进行关联。在下文中，将参照图257至图259来描述与关联的显示相关的用户界面的变型。
图257是示出了根据本示例的用户界面的示例的说明图。在如图257所示的示例中，用于指示波束形成范围的显示4120和作为从波束形成范围获取的声音的输入目的地的应用窗口4101的一端4151的关联用相同的色调来表示。
图258是示出了根据本示例的用户界面的示例的说明图。在如图258所示的示例中，用于指示波束形成范围的显示4120和作为从波束形成范围获取的声音的输入目的地的应用窗口4101的关联通过由线4152将显示4120和应用窗口4101进行连接来表示。
图259是示出了根据本示例的用户界面的示例的说明图。在如图259所示的示例中，用于指示从一个波束形成范围获取的声音的音量水平的显示4140A和作为从波束形成范围获取的声音的输入目的地的应用窗口4101A的的一端4151关联由相同的色调来表示。同样，用于指示从另一个波束形成范围获取的声音的音量水平的显示4140B和作为从该波束形成范围获取的声音的输入目的地的应用窗口4101B的关联由相同的色调来表示。
在此，当存在接收声音输入的多个应用时，可以显示多个麦克风图标。在下文中，将参照图260和图261来描述与多个麦克风图标的显示相关的用户界面的变型。
图260和图261是示出了根据本示例的用户界面的示例的说明图。在如图260所示的示例中，麦克风图标4102A、4102B和4102C被显示在接收声音输入的应用窗口4101A、4102B和4102C中。此外，用于指示波束形成范围的显示4120A、显示4120B和显示4120C被显示为来自麦克风图标4102A、4102B和4102C。
在此，如图261所示，例如，当麦克风被设置在桌子140a的中心(由附图标记4153表示)的正上方时，在麦克风图标4102A、4102B和4102C的正上方未设置麦克风。因此，如图261所示，当用户朝麦克风图标4102说话时，在与设置麦克风的位置不同的方向上发出声音。因此，很难说改进了声音识别的精度。然而，由于发出的声音的传播，对声音识别的精度的影响被认为是轻微的。
以上描述了与用于指示多个波束形成范围的显示相关的用户界面的变型。
●用于指示波束形成范围的显示的动态变化
接着，将参照图262至图265来描述与用于指示波束形成范围的显示的动态变化相关的用户界面的变型。
图262是示出了根据本示例的用户界面的示例的说明图。例如，检测单元121可能错误地估计用户位置，从而在错误的方向4160A上形成波束形成范围。在这种情况下，如图262左侧的图所示，输出控制单元122执行用于指示从用户4105A的位置偏离的初始波束形成范围的显示4120A。然而，检测单元121可以根据对用户位置的估计结果的更新来更新待形成的方向性的范围。类似地，输出控制单元122可以根据对用户位置的估计结果的更新来更新用于指示波束形成范围的显示。如图262右侧的图所示，当检测单元121重新估计用户位置时，检测单元121在重新估计的用户4160B的方向上形成波束形成范围。在这种情况下，输出控制单元122执行用于指示朝向用户4105A的位置的更新的波束形成范围的显示4120B。因此，用户可以知道该用户的声音被正确识别，并且可以感到一种轻松感。当用户在初始波束形成范围内或附近继续说话时，检测单元121可以将波束形成范围更新为朝向用户。在这种情况下，如图262右侧的图所示，用于指示波束形成范围的显示4120B被取向为朝向位于用于指示开始波束形成范围的显示4120A附近的用户4105A，而不是朝向位于不同方向上的用户4105B。
图263是示出了根据本示例的用户界面的示例的说明图。如图263左侧的图所示，输出控制单元122执行用于指示开始时的宽的波束形成范围的显示4120。当用户在波束形成范围内继续说话时，输出控制单元122使用于指示集中在用户的方向上的波束形成范围的显示4120变窄。因此，用户可以知道该用户的声音被正确识别，并且可以感到一种轻松感。
以上描述了其中在信息处理系统100侧改变用于指示波束形成范围的显示的示例，但是本技术不限于这些示例。例如，用户可以改变用于指示波束形成范围的显示。例如，当如图256所示的多个用于指示波束形成范围的显示交叠时，用户可以执行用于解决波束形成范围交叠的操纵。在下文中，将参照图264和图265来描述与根据用户操纵来动态改变用于指示波束形成范围的显示相关的用户界面的变型。
图264是示出了根据本示例的用户界面的示例的说明图。如图264左侧的图所示，用于指示波束形成范围的显示4120A和显示4210B交叠，并且警告显示4150被执行。如图264左侧的图所示，假设用户执行将用于指示波束形成范围的显示4120A从右向左滑动的操纵。根据该操纵，声音输入单元的波束形成范围从右向左移动。如图264右侧的图所示，用于指示波束形成范围的显示4120A随着该移动从右向左移动。因此，由于解决了波束形成范围的交叠，因此可以防止误操纵。如图264左侧的图所示的用于指示波束形成范围的显示4120A可以是例如当声音输入开始对象4108被触摸时临时执行的预览显示。在这种情况下，用户可以移动预览显示的区域，然后使声音识别开始。
图265是示出了根据本示例的用户界面的示例的说明图。如图265左侧的图所示，用于指示波束形成范围的显示4120A和显示4210B交叠，并且警告显示4150被执行。如图264左侧的图所示，假设用户执行将用于指示波束形成范围的显示4120A从右向左滑动的操纵。如图265左侧的图所示，假设用户在用于指示波束形成范围的显示4120A上执行将显示区域从左右方向上变窄的操纵。根据该操纵，声音输入单元的波束形成范围随着该变窄而变窄。因此，由于解决了波束形成范围的交叠，因此可以防止误操纵。
在如图264和图265所示的示例中，将改变波束形成范围的用户输入描述为在用于指示波束形成范围的显示上的用户操纵，但是本技术不限于这些示例。例如，用户输入可以是经由硬件如键盘或遥控器的输入，或者可以是声音输入等。
以上描述了根据本示例的用户界面的变型。接着，将参照图266来描述根据本示例的信息处理系统100中执行的操纵处理。
(操作处理)
图266是示出了在根据本示例的信息处理系统100中执行的显示控制处理的流程的示例的流程图。
如图266所示，在步骤S4102中，检测单元121估计用户位置。例如，检测单元121使用上面参照图232至图237描述的用户位置估算功能来估计作为声音识别目标的用户的位置。
随后，在步骤S4104中，检测单元121执行波束形成。例如，检测单元121控制声音输入单元，使得形成方向性，使得所估计的用户位置被包括在波束形成范围内。
随后，在步骤S4106中，输出控制单元122输出用于指示波束形成范围的显示。例如，如以上参照图238至图261所描述的那样，输出控制单元122控制输出单元130，使得用于指示由检测单元121形成的声音输入单元的波束形成范围的显示被执行。
随后，在步骤S4108中，输出控制单元122更新用于指示波束形成范围的显示。例如，如以上参照图262至图265所描述的那样，当检测单元121动态地改变波束形成范围时，输出控制单元122相应地改变波束形成范围。
随后，在步骤S4110中，输出控制单元122确定用于指示波束形成范围的显示是否已结束。例如，输出控制单元122基于用户是否执行了用于指示波束形成范围的显示或指定应用的一端的操纵来确定用于指示波束形成范围的显示已结束。
当确定该显示未结束(在步骤S4110中为否)时，处理再次进行到步骤S4108。当确定显示已结束(在步骤S4110中为是)时，处理结束。
以上描述了在根据本示例的信息处理系统100中执行的操纵处理。
(示例6)
本示例是上述具体示例9的实施方式。在本示例中，将参照图267至图290来描述根据具体示例9的内部处理的详情。在下文中，在描述中假设投影型信息处理系统100a。然而，参照图1至图4所描述的任何类型的信息处理系统都可以实现根据以下要描述的示例的UI。
(概述)
图267是示出了根据本示例的用户界面的概要的说明图。根据本示例的信息处理系统100在真实对象、现有显示对象和用户之间的关系中自动选择待激活的应用的显示区域(位置、尺寸和倾斜度)。在此，真实对象指代实际存在的真实物体，如书或盘子。显示对象指代显示图像，如显示在桌子140a上的图标或应用窗口。用户指代待激活的应用的主体。在下文中将现有显示对象也称为现有窗口。在本示例中，假设显示表面与说明中的桌子140a相匹配。
在图267中，附图标记4211表示用户触摸激活指令对象4224以激活其中真实物体4222和现有窗口4223并存的桌子140a上的应用。信息处理系统100开始使用对激活指令对象4224的触摸为契机来开始显示区域决定处理。具体地，信息处理系统100检测现有窗口4223的显示区域(由附图标记4212表示)、其中存在真实物体4222的存在区域(由附图标记4213表示)以及用户的位置和方向(由附图标记4214)表示。例如，信息处理系统100基于与现有窗口4223的关系、与真实物体4222的关系以及与用户的关系来决定与激活指令对应的应用的显示对象4221的显示区域(在下文中，也称为激活窗口)。例如，如附图标记4215所示，信息处理系统100以如下方式来决定激活窗口4221的显示区域：在靠近用户的位置处根据用户的脸的方向使激活窗口4221以角度θ倾斜以面对用户，并且不与现有窗口的显示区域和真实物体的存在区域交叠。
在投影型信息处理系统100a中，在某些情况下真实物体被放置在桌子140a上或者现有窗口被显示，并且用户的位置也是可变的。因此，当没有决定适当的显示区域时，在激活窗口可能远离用户并且不是伸手可及的情况下，用户可能花费精力来调节激活窗口以使得激活窗口容易被看到，或者可能发生现有窗口被激活窗口隐藏。
因此，根据本示例的信息处理系统100基于真实对象、显示对象和用户之间的关系来适当地决定激活窗口的显示区域。因此，由于激活窗口被显示在用户可以容易地执行操纵的位置处，因此用户可以在激活后立即操纵激活窗口。当激活窗口面对用户显示时，用户可以在不执行任何操纵的情况下确认关于激活窗口的信息。此外，当激活窗口被显示成使得现有窗口不被覆盖和隐藏时，防止了激活窗口干涉对现有窗口的操纵。在本示例中，以这种方式来改进用户的便利性。
(配置的示例)
图268是示出了根据本示例的信息处理系统100的逻辑配置的示例的框图。如图268所示，根据本示例的信息处理系统100包括输入单元110、控制单元120和输出单元130。
(1)输入单元110
根据本示例的输入单元110由例如获取图像(静止图像或运动图像)的照相机和获取深度信息的立体照相机来实现。例如，输入单元110将所获取的拍摄图像和所获取的深度信息输出至控制单元120。输入单元110可以由设置在桌子140a上的触摸传感器或任何输入装置如遥控器来实现。输入单元110可以获取用户操纵如声音输入或触摸操纵并且将该用户操纵输出至控制单元120。
(2)输出单元130
根据本示例的输出单元130具有作为显示图像的显示单元的功能。例如，如图1至图4所示，输出单元130由从桌子140a的上侧或下侧将图像投影至桌子140a的投影仪、触摸面板式显示器或平板型显示器来实现。此外，输出单元130可以具有作为声音输出单元如扬声器的功能。
(3)控制单元120
根据本示例的控制单元120执行各种处理，以在真实对象、现有显示对象和用户之间的关系之中决定应用的显示区域。如图268所示，控制单元120包括输出控制单元122和检测单元121，检测单元121具有作为真实对象识别单元4201、显示对象识别单元4202和用户识别单元4203的功能。
(3-1)真实对象识别单元4201
真实对象识别单元4201具有识别桌子140a(显示表面)上的真实对象的功能。例如，真实对象识别单元4201根据从输入单元110输出的深度信息来识别桌子140a上的真实对象的存在区域。在下文中，将参照图269来描述真实对象识别单元4201的真实对象识别功能的示例。
图269是示出了根据本示例的真实对象识别功能的示例的说明图。在图269中，示出了从输入单元110输出的深度信息的示例，并且深度用阴影表示。附图标记4231表示其中桌子140a上不存在真实对象的区域的深度。附图标记4232表示其中存在真实对象的区域的深度，以及附图标记4233表示其中存在用户的手的区域的深度。真实对象识别单元4201将桌子140a上的深度小于由附图标记4231表示的区域(距本体的距离近)如由附图标记4232和4233所示的区域识别为真实物体的存在区域。在此，真实对象识别单元4201可能无法将频繁移动的区域(由附图标记4233表示)识别为真实对象的存在区域，而仅可以将其中对象不移动或运动轻微的区域(由附图标记4232表示)识别为真实物体的存在区域。这是由于手臂等不对应于激活窗口的障碍物。除了深度信息以外，真实对象识别单元4201还可以基于例如红外感测结果来识别真实物体的存在区域。
真实对象识别单元4201可以识别真实物体的内容。例如，真实对象识别单元4201可以通过识别将通过对桌子140a上的状态进行成像而获得的拍摄图像中的与真实物体的存在区域对应的部分的图像，识别桌子140a上存在哪个真实物体。
(3-2)显示对象识别单元4202
显示对象识别单元4202具有识别已经显示在桌子140a上的现有显示对象的功能。例如，显示对象识别单元4202通过输出控制单元122来监测显示控制处理，并且识别现有显示对象的显示区域和内容(相应的应用)。
(3-3)用户识别单元4203
用户识别单元4203具有识别作为应用激活主体的用户的功能。例如，用户识别单元4203基于从输入单元110输出的拍摄图像来识别触摸激活指令对象4224的用户的位置和方向。考虑了由用户识别单元4203进行的各种识别处理。下面将参照图275至图279来详细描述用户识别处理，因此这里将省略对其的描述。
(3-4)输出控制单元122
输出控制单元122充当显示控制单元，该显示控制单元决定激活窗口的显示区域并且控制输出单元130，使得激活窗口被显示在所决定的显示区域中。考虑了由输出控制单元122进行的各种显示区域决定处理。在本说明书中，将描述显示区域决定处理的两个示例。
(1)第一处理示例
例如，输出控制单元122基于与真实对象的关系、与现有显示对象的关系以及与用户的关系中至少之一来决定待激活的应用的显示对象(激活窗口)的显示区域。例如，输出控制单元122根据位置、尺寸和角度中至少之一来决定激活窗口的显示区域。例如，输出控制单元122将其中现有显示对象与真实对象不交叠的区域决定为窗口可激活区域。窗口可激活区域是可以在其内部决定激活窗口的显示区域的区域。输出控制单元122将如下区域决定为激活窗口的显示区域，该区域在窗口可激活区域内部并且位于靠近用户的位置处，具有不与现有显示对象或真实对象交叠的尺寸，并且具有面向用户的角度。
●与真实对象的关系
输出控制单元122根据关于显示表面上的真实对象的信息来决定在显示表面上显示的激活窗口的显示区域。例如，输出控制单元122决定激活窗口的显示区域，使得激活窗口的显示区域不与真实对象交叠。此外，输出控制单元122可以决定激活窗口的显示区域，使得激活窗口的显示区域与真实对象交叠。
例如，关于真实对象的信息不仅是关于真实对象的存在区域的信息，而且还是包括关于真实对象的属性信息的信息。属性信息可以包括各种类型的信息。例如，属性信息可包括关于移动真实对象的难度的信息。移动真实对象的难度可以根据例如真实对象的移动历史、重量和尺寸来计算。例如，当移动真实对象的困难相当大时，输出控制单元122决定激活窗口的显示区域，使得激活窗口的显示区域不与真实对象交叠。相反地，当移动真实对象的难度小时，输出控制单元122决定激活窗口的显示区域，使得激活窗口的显示区域与真实对象交叠，并提示用户移动真实对象。属性信息可以包括例如关于与激活窗口的关系的信息。例如，当激活窗口是与真实对象相关的激活窗口如用于说明桌子140a上的食物的信息显示时，输出控制单元122决定显示区域，使得显示区域被显示在真实对象附近或者与真实对象交叠。因此，可以提高用户的便利性。
在下文中，将参照图270和图271来描述基于与真实对象的关系来决定的显示区域。
图270和图271是示出了根据本示例的显示区域决定处理的示例的说明图。图270和图271示出了其中使用由用户对激活指令对象4224的触摸为契机来显示激活窗口4221的示例。图270示出了其中显示区域被决定成使得该显示区域不与真实对象交叠的示例。如图270所示，窗口可激活区域4234是其中桌子140a上存在真实对象4222的区域以外的区域，并且激活窗口4221的显示区域被决定在窗口可激活区域4234中。图271示出了其中显示区域被决定成使得该显示区域与真实对象交叠的示例。如图271所示，窗口可激活区域4234是其中桌子140a上存在真实对象4222的区域，并且激活窗口4221的显示区域被决定在窗口可激活区域4234内。
与现有显示对象的关系
输出控制单元122还可以根据关于已经被显示在显示表面上的另一显示对象(现有显示对象)的信息来决定激活窗口的显示区域。
例如，输出控制单元122可以决定激活窗口的显示区域在现有显示对象的前方。因此，用户可以在激活后立即浏览和操纵该激活窗口。输出控制单元122可以决定激活窗口的显示区域，使得激活窗口的显示区域不与现有显示对象交叠。用户可以在激活后立即浏览和操纵激活窗口，并且可以操纵现有窗口。输出控制单元122可以改变现有窗口的显示区域，使得现有窗口的显示区域不与激活窗口的显示区域交叠。因此，例如，由于现有显示对象移动，使得为激活窗口清理出位置，因此输出控制单元122可以在其中用户可以更容易地执行操纵的区域中显示激活窗口。
关于现有显示对象的信息是例如包括用于指示现有显示对象的显示区域的信息以及关于与激活窗口的关系的信息的信息。例如，当关于现有显示对象的信息被包括在激活窗口中时，输出控制单元122将激活窗口的显示区域决定在现有显示对象附近。因此，可以提高用户的便利性。
在下文中，将参照图272至图274来描述基于与现有显示对象的关系来决定显示区域。
图272是示出了根据本示例的显示区域决定处理的示例的说明图。图272示出了与现有显示对象有关系的窗口可激活区域的示例。如图272上方的图所示，输出控制单元122可以将包括现有窗口4223的显示区域的整个表面设定为窗口可激活区域4234。如图272中间的图所示，输出控制单元122可以将不包括现有窗口4223的显示区域的区域设定为窗口可激活区域4234。如图272下方的图所示，输出控制单元122可以将不包括现有窗口4223的显示区域的中部而包括端部的区域设定为窗口可激活区域4234。
图273和图274是示出了根据本示例的显示区域决定处理的示例的说明图。图273和图274示出了其中使用由用户对激活指令对象4224的触摸为契机来显示激活窗口4221的示例。
图273示出了通过允许与现有显示对象交叠来决定显示区域的示例。如图273所示，窗口可激活区域4234被设定为包括现有窗口4223的显示区域的整个区域。如图273左侧的图所示，激活窗口4221的显示区域被决定成使得激活窗口4221的显示区域与现有窗口4223交叠。另一方面，如图273右侧的图所示，激活窗口4221的显示区域被决定成使得激活窗口4221的显示区域与现有窗口4223交叠，并且现有窗口4223的显示区域被改变成使得现有窗口4223的显示区域不与激活窗口4221的显示区域交叠。
图274示出了显示区域被决定成使得显示区域不与现有显示对象交叠的示例。如图274所示，窗口可激活区域4234是现有窗口4223的存在区域以外的区域。如图274左侧的图所示，激活窗口4221的显示区域被决定成具有默认尺寸，使得激活窗口4221的显示区域不与现有窗口4223交叠。另一方面，如图274右侧的图所示，激活窗口4221的显示区域被决定成使得激活窗口4221的显示区域的尺寸减小，并且激活窗口4221的显示区域不与现有窗口4223交叠。当靠近用户位置的位置处闲置空间稀少时，减小显示是有效的。
●与用户的关系
输出控制单元122还可以根据关于为其显示激活窗口的显示对象的用户的信息来决定激活窗口的显示区域。关于用户的信息包括例如用于指示用户的位置和方向中至少之一的信息。例如，输出控制单元122可以根据用户的方向来决定激活窗口的显示区域在窗口可激活区域内靠近用户的位置处，并且处于使激活窗口的显示区域面对用户的倾斜度。
在下文中，将参照图275至图282来描述基于与用户之间的关系而决定的显示区域。在下文中，将连同由用户识别单元4203进行的识别处理的具体示例一起描述显示区域。
图275是示出了根据本示例的显示区域决定处理的示例的说明图。图275左侧的图示出了由用户识别单元4203进行的识别处理的示例，图275右侧的图示出了由输出控制单元122进行的显示区域决定处理的示例。如图275左侧的图所示，输入单元110执行成像，将比桌子140a更广阔的成像区域4241设定为监测目标。用户识别单元4203首先基于成像区域4241的拍摄图像来指定触摸激活指令对象4224的用户4242。然后，用户识别单元4203估计所指定的用户的位置4243。用户识别单元4203基于成像区域4241中包括的用户4242的脸来估计用户4242的脸的角度θ。因此，如图275右侧的图所示，输出控制单元122决定激活窗口4221的显示区域在靠近用户的位置处并且处于使激活窗口4221的显示区域面对用户4242的倾斜角θ。
图276是示出了根据本示例的显示区域决定处理的示例的说明图。图276左侧的图示出了由用户识别单元4203进行的识别处理的示例，图276右侧的图示出了由输出控制单元122进行的显示区域决定处理的示例。如图276左侧的图所示，麦克风图标4244被显示在桌子140a上并且用户朝麦克风图标4244说话。例如，假设麦克风被设置在麦克风图标4244的正上方或附近，用户识别单元4203识别到给出用于激活应用的指令的用户的声音。用户识别单元4203可以识别例如预先决定的关键字作为给出用于激活应用的指令的声音。然后，用户识别单元4203估计用户4242位于从麦克风图标4244到检测到用户的声音的方向4245的延长线上，并且用户4242在延长线上取向为朝向麦克风图标4244的方向。因此，如图276右侧的图所示，输出控制单元122将激活窗口4221的显示区域决定在靠近用户4242的位置处，并且在方向4245上，使得激活窗口4221的显示区域面对用户4242。
图277是示出了根据本示例的显示区域决定处理的示例的说明图。图277左侧的图示出了由用户识别单元4203进行的识别处理的示例，图277右侧的图示出了由输出控制单元122进行的显示区域决定处理的示例。如图277左侧的图所示，用户识别单元4203基于例如拍摄图像来识别触摸激活指令对象4224的用户4242的手指或手臂的方向4246。然后，用户识别单元4203估计用户4242位于手指或手臂的方向4246的延长线上，并且用户4242在延长线上面向取向为激活指令对象4224的方向。因此，如图277右侧的图所示，输出控制单元122将激活窗口4221的显示区域决定在靠近用户的位置处，并且在方向4246上，使得激活窗口4221的显示区域面对用户。
图278是示出了根据本示例的显示区域决定处理的示例的说明图。图278左侧的图示出了由用户识别单元4203进行的识别处理的示例，图278右侧的图示出了由输出控制单元122进行的显示区域决定处理的示例。如图278左侧的图所示，输入单元110将包括触摸激活指令对象4224的用户4242的手臂并且在桌子140a上的区域的区域设定为成像区域4241。用户识别单元4203首先从在检测到触摸激活指令对象4224的时间点处对成像区域4241的拍摄图像中识别触摸对象的手臂的形状。然后，用户识别单元4203通过将检测到的手臂的形状与模型4247进行对照来估计脸的位置来估计的脸的位置，其中模型4147用于指示手臂的方向与脸的位置之间的关系。用户识别单元4203估计用户4242面向方向4248，在方向4248上用户4242面对桌子140a的边缘。因此，如图278右侧的图所示，输出控制单元122将激活窗口4221的显示区域决定在靠近用户的位置处，并且在用户面对桌子140a的边缘的方向4248上。该处理可以使用在例如当成像区域4241被限制在桌上140a上，并且示出的手被成功识别为右手和左手中之一时。
图279是示出了根据本示例的显示区域决定处理的示例的说明图。图279左侧的图示出了由用户识别单元4203进行的识别处理的示例，图279右侧的图示出了由输出控制单元122进行的显示区域决定处理的示例。如图279左侧的图所示，用户识别单元4203识别由用户对激活指令对象4224的触摸。然后，用户识别单元4203估计用户4242位于取向为从画面或桌子140a的中心点4249到激活指令对象4224的方向4250的延长线上，并且用户4242在该延长线上位于取向为面向激活指令对象4224的方向4250上。因此，如图279右侧的图所示，输出控制单元122将激活窗口4221的显示区域决定在从中心点4249到激活指令对象4224的方向4250的延长线上并且使得显示区域面向用户。
图280是示出了根据本示例的显示区域决定处理的示例的说明图。如图280所示，输出控制单元122将桌子40a上的用户4242所在的一侧设定为窗口可激活区域4234。相应地，输出控制单元122将激活窗口4221的显示区域决定在窗口可激活区域4234中最宽的区域4251中。
图281是示出了根据本示例的显示区域决定处理的示例的说明图。如图281所示，输入单元110执行成像，将比桌子140a更广阔的成像区域4241设定为监测目标。在此，假设如下情况：用户识别单元4203基于对成像区域4241的拍摄图像成功地估算了触摸激活指令对象4224的用户4242的位置4243，但是对用户4242的方向的估计失败。在这种情况下，用户识别单元4203识别用户4242是否位于桌子140a周围的区域4261、4262、4263和4264中之一，即，对用户侧进行识别。用户侧是指用户将手放在画面或桌子140a上的一侧。然后，输出控制单元122将激活窗口4221的显示区域决定在最接近用户的位置处并且在与用户侧对应的方向上。在如图281所示的示例中，输出控制单元122将激活窗口4221的显示区域决定在最接近用户的位置处并且在假设用户面对的方向即区域4263中的箭头的方向上。
图282是示出了根据本示例的显示区域决定处理的示例的说明图。在如图282所示的示例中，假设用户识别单元4203成功估计了用户4242的位置4243。假设用户识别单元4203估计用户4242的方向失败。在这种情况下，如图282上方的图所示，输出控制单元122可以将激活窗口4221的显示区域决定在连接画面或桌子140a的中心点4249和用户的位置4243的线上，并且位于邻接在显示表面中的内接圆的最靠近用户的位置处。如图282下方的图所示，输出控制单元122可以将激活窗口4221的显示区域决定在连接中心点4249和用户的位置4243的线上，并且位于与邻接在具有显示表面的宽高比的椭圆的最靠近用户的位置处。
●组合
如上所述，输出控制单元122可以通过结合与真实对象的关系、与现有显示对象的关系以及与用户的关系中至少之一来决定激活窗口4221的显示区域。在下文中，将参照图283至图285来描述通过结合与真实对象的关系、与现有显示对象的关系以及与用户的关系来决定显示区域。
图283是示出了根据本示例的显示区域决定处理的示例的说明图。在图283所示的示例中，输出控制单元122基于与对象的关系将激活窗口4221的显示区域决定为使得激活窗口4221的显示区域不与真实对象4222交叠。输出控制单元122基于与现有显示对象的关系，通过允许激活窗口4221的显示区域与现有窗口4223的前方交叠来决定激活窗口4221的显示区域。输出控制单元122基于与用户的关系将激活窗口4221的显示区域决定在靠近用户4242的位置，并且处于与用户4242的方向对应的倾斜度。
图284是示出了根据本示例的显示区域决定处理的示例的说明图。在如图284所示的示例中，输出控制单元122基于与对象的关系将激活窗口4221的显示区域决定为使得激活窗口4221的显示区域不与真实物体4222交叠。输出控制单元122基于与现有显示对象的关系，将激活窗口4221的显示区域决定为使得激活窗口4221的显示区域不与现有窗口4223交叠。输出控制单元122基于与用户的关系将激活窗口4221的显示区域决定在靠近用户4242的位置，并且处于与用户4242的方向对应的倾斜度。
图285是示出了根据本示例的显示区域决定处理的示例的说明图。在如图285所示的示例中，输出控制单元122基于与对象的关系将激活窗口4221的显示区域决定为使得激活窗口4221的显示区域不与真实物体4222交叠。现有窗口4223的显示区域被改变，使得现有窗口4223的显示区域不与激活窗口4221的显示区域交叠，同时输出控制单元122基于与现有显示对象的关系，通过允许激活窗口4221的显示区域与现有窗口4223交叠来决定激活窗口4221的显示区域。输出控制单元122基于与用户的关系将激活窗口4221的显示区域决定在靠近用户4242的位置，并且处于与用户4242的方向对应的倾斜度。
以上描述了由输出控制单元122对激活窗口的显示区域决定处理的示例。
(2)第二处理示例
例如，输出控制单元122可以使用用于评估激活窗口的显示区域的候选的评估函数来决定显示区域。评估函数可以被设计成反映关于上述关于与真实对象的关系、与现有显示对象的关系以及与用户的关系的内容。更具体地，考虑了评估函数的以下因子，例如。
●与现有窗口的交叠评估值
●与真实物体的交叠评估值
●距用户位置的距离评估值
●距用户侧的距离评估值
●距触摸位置的距离评估值
●与手指方向的一致性评估值
与现有窗口的交叠评估值是关于激活窗口与现有窗口的交叠的评估值。当显示多个现有窗口时，与现有窗口的交叠评估值可以被计算为统计值，如针对各现有窗口计算出的评估值的总和或平均。输出控制单元122可以计算与现有窗口的交叠评估值，并且可以使用交叠评估值×(1/索引)来降低对针对旧的现有窗口的评估的影响的程度。在此，索引是分配给现有窗口的索引(序列)，将1分配给最新的窗口，将较大的值分配给较旧的窗口。输出控制单元122可以计算评估值，并且可以考虑应用的相互相容性。
与真实物体的交叠的评估值是关于激活窗口与真实物体的交叠的评估值。当存在多个真实物体时，与真实物体的交叠评估值可以被计算为统计值，如针对各真实物体计算出的评估值的总和或平均。输出控制单元122可以计算评估值，并且可以考虑形状，如真实物体的高度和面积，或者考虑先前移动历史。
距用户位置的距离评估值是关于激活窗口与用户位置之间的距离的评估值。当距离较近时，计算出的评估值较佳。
距用户侧的距离评估值是关于激活窗口与用户侧之间的距离的评估值。当距离较近时，计算出的评估值较佳。
距触摸位置的距离评估值是关于激活窗口与触摸位置之间的距离的评估值。当距离较近时，计算出的评估值较佳。
与手指方向的一致评估值是关于激活窗口的方向与触摸手指的方向之间的一致性的评估值。当方向较一致时，计算出的评估值较佳。例如，当方向一致时，可以计算出1。当方向不一致性，可以计算出0。
以上描述了评估函数的因子的示例。输出控制单元122可以通过给因子加权，用以下表达式来设计评估函数。
评估值＝与现有窗口的交叠评估值×30+
与真实物体的交叠评估值×200+
距用户位置的距离评估值×1+
距用户侧的距离评估值×1+
距触摸位置的距离评估值×1+
与手指的方向的一致性估值×10
可以设定任何加权的参数。可以在因子中使用任何函数设计(参数设计)。输出控制单元122可以学习评估函数中的的各种参数。输出控制单元122可以根据用户操纵来设定评估函数的参数。因此，用户可以设定参数，使得激活窗口被显示在用户的优选显示区域中。例如，通过设定经常相邻使用的应用的良好相容性，用户可以相邻地激活应用。
输出控制单元122在显示区域候选中将具有由评估函数计算出的最佳评估值的候选决定为激活窗口的显示区域。例如，输出控制单元122可以通过采用任何方案如爬山法或基因算法来搜索具有最佳评估值的显示区域。在本说明书中，描述了其中较高的评估值被设定为较佳的示例，但是较低的评估值也可以被设定为较佳。即，由输出控制单元122对显示区域的搜索可以是最小化问题或最大化问题。
在下文中，将描述评估函数的具体设计。例如，输出控制单元122可以使用如下公式1作为评估函数。
[数学式1]
在前述公式中，appm是指第m个应用窗口，并且指示激活窗口。另外，appn是指第n个应用窗口并且表示现有窗口，objn是指第n个真实对象，以及p是指激活窗口的显示区域。在前述公式1中，当p是激活窗口的显示区域时计算评估值。
前述式1的第一项是关于与现有窗口的关系的评估项。此外，Wapp是加权参数，以及Napp指示现有窗口的数目。总和计算目标是关于激活窗口appm与现有窗口appn之间的相容性和距离的评估函数，并且由例如下式限定。
[数学式2]
Napp-(N-1)/app是关于显示序列的评估值，并且指示当显示序列较早时该值较低。较低的索引n被分配给新的显示顺序中的现有窗口。
在此，c(appm,appm)是关于激活窗口appm与现有窗口appn之间的相容性的评估值。例如，相容性越好，值就越高。作为相容性，例如，认为照片文件与照片编辑应用之间的相容性好，以及认为音乐文件与音乐播放器之间的相容性好。关于相容性表的评估值可以如下表中示出的那样来决定，下表为相容性表的示例。
[表2]
表2是用于决定关于相容性的评估值的相容性表的示例。关于相容性的评估值包括静态决定的部分和动态改变的部分。静态决定的部分由例如在安装时预先决定的应用之间的相容性或者是否可以处理相同的媒体(文件)来决定。动态改变的部分根据例如相同的用户(同一只手或来自相同的方向的手)是否激活应用或者由先前操纵历史指示的相容性而改变。此外，作为动态改变的部分的示例，当一个应用被激活并且另一个应用在预定时间内被随后激活时，或者当一个应用被激活并且在预定时间内随后靠近另一个应用时，评估值可以增加。相反地，当一个应用被激活并且在预定时间内远离另一个应用时，评估值会降低。
在表2所示的示例中，关于静止图像编辑应用与照片应用之间的相容性的评估值变为通过动态地将“1”与静态的“2”相加而得到的“3”。另外，关于运动图像编辑应用与照片应用之间的相容性的评估值变为通过动态地将“1”与静态的“1”相加而得到的“2”。关于运动图像编辑应用与静止图像编辑应用之间的相容性的评估值变为通过动态地将“1”与静态的“0”相加而得到的“1”。
以上描述了相容性表。将再次描述前述公式(2)。{d-(r1+r2)}是关于激活窗口appm与现有窗口appn之间的相容性的评估值。图286中示出了r1、r2和d之间的关系。
图286是示出了根据本示例的显示区域决定处理的示例的说明图。在此，r1是用于指示激活窗口4221的尺寸的参数，并且是如图286所示的示例中的激活窗口4221的中心点与一端之间的距离。此外，r2是用于指示现有窗口4223的尺寸的参数，并且是如图286所示的示例中的现有窗口4223的中心点与一端之间的距离。此外，d是用于指示激活窗口4221与现有窗口4223之间的距离的参数，并且是如图286所示的示例中的各中心点之间的距离。如图286所示，{d-(r1+r2)}的值随距离变大而变大，{d-(r1+r2)}的值随交叠区域变大而变小。当{d-(r1+r2)}为负值时，输出控制单元122可以将{d-(r1+r2)}处理为0。
以上描述了前述公式1的第一项。接着，将描述前述公式1的第二项。
前述公式1的第二项是关于与真实物体的关系的评估项。在此，Wobj是加权参数。Nobj指示真实物体的数目。总和计算目标是关于激活窗口appm与现有窗口appn之间的相容性和距离的评估函数，并且由例如下式限定。总和计算目标是在考虑到相容性的评估函数和所述激活窗口APPm与真实物体objn之间的距离，并且由下式限定，例如。
[数学式3]
在此，c(appm,objn)是关于激活窗口appm与真实物体objn之间的相容性的评估值。例如，相容性越好，值就越高。作为相容性，例如，认为尺子应用与真实物体之间的相容性好，认为使用障碍物的游戏应用与可以作为障碍物的真实物体之间的相容性好，以及认为拉面计时器应用与具有预定尺寸的圆形真实物体之间的相容性好。关于相容性的评估值可以由类似于上面所示的表2的相容性表来决定。
{d-(r1+r2)}是关于激活窗口appm与真实物体objn之间的交叠的评估值。图287中示出了r1、r2和d之间的关系。
图287是示出了根据本示例的显示区域决定处理的示例的说明图。在此，r1是用于指示真实物体4222的尺寸的参数，并且是如图287所示的示例中的真实物体4222的中心点与一端之间的距离。此外，r2是用于指示现有窗口4223的尺寸的参数，并且是如图287所示的示例中的现有窗口4223的中心点与一端之间的距离。此外，d是用于指示真实物体4222与现有窗口4223之间的距离的参数，并且是如图287所示的示例中的各中心点之间的距离。如图287所示，{d-(r1+r2)}的值随距离变大而变大，{d-(r1+r2)}的值随交叠区域变大而变小。当{d-(r1+r2)}为负值时，输出控制单元122可以将{d-(r1+r2)}处理为0。
在此，a/Vobj是关于物体的凸壳体积的评估值。例如，当真实物体objn小或薄时，该评估值较低。因此，小或薄的真实物体对评估函数影响小。
在此，b/∫vdt是关于最近的移动距离的评估值。例如，当最近的移动距离大时，该评估值较低。因此，最近的移动距离大的真实物体对评估函数的影响小。这是因为最近的移动距离大的真实物体是可移动物体，或者是最近新放置的物体，因而考虑该用户能够删除该物体。
在此，c/F是关于物体的形状的评估。例如，当形状对待投影的图像的影响力较小时，该评估值较低。例如，可以给金字塔评低值。因此，具有对待投影的图像的影响力较小的形状的真实物体对评估函数的影响小。
以上描述了前述公式1的第二项。接着，将描述前述公式1的第三项之后的项。
前述公式1的第三项之后的项是关于与用户的关系的评估项。在此，wup是加权参数，fup(p)是关于用户位置与激活窗口之间的距离的评估函数。此外，wus是加权参数，fup(p)是关于用户侧与激活窗口之间的距离的评估函数。此外，wtp是加权参数，ftp(p)是关于触摸位置与激活窗口之间的距离的评估函数。此外，wfd是加权参数，ffd(p)是关于用户的手指的方向与激活窗口取向的方向的一致性的评估函数。
以上描述了评估函数的具体示例。
以上描述了信息处理系统100的配置的示例。接着，将参照图288至图290来描述在根据本示例的信息处理系统100中执行的操作处理的示例。
(操作处理)
图288是示出了在根据本示例的信息处理系统100中执行的显示控制处理的流程的示例的流程图。
如图288所示，在步骤S4201中，输入单元110接收应用激活指令。例如，输入单元110将用于指示激活指令对象被触摸的输入信息输出至控制单元120。
随后，在步骤S4202中，检测单元121识别真实对象、现有显示对象和用户。例如，真实对象识别单元4201从输入单元110输出的深度信息中识别桌子140a上的真实物体的存在区域。例如，显示对象识别单元4202监测由输出控制单元122进行的显示控制处理，并且识别现有窗口的显示区域。例如，用户识别单元4203基于从输入单元110输出的拍摄图像来识别触摸激活指令对象的用户的位置和方向。
接下来，在步骤S4203中，输出控制单元122执行对激活窗口的显示区域决定处理。由于将在下面详细描述显示区域决定处理的具体内容，因此省略对其的详细描述。
在步骤S4204中，输出控制单元122执行显示处理。例如，输出控制单元122控制输出单元130，使得激活窗口被显示在前述步骤S4203中决定的显示区域中。
以上描述了在信息处理系统100中执行的显示控制处理的流程。接着，参照图289和图290来描述前述步骤S4203的显示区域决定处理的流程。
图289是示出了在根据本示例的信息处理系统100中执行的显示区域决定处理的流程的示例的流程图。流程图涉及上述第一处理示例。
如图289所示，在步骤S4221中，输出控制单元122首先基于关于现有窗口和真实物体的信息来决定窗口可激活区域。例如，输出控制单元122将不与真实物体的存在区域和现有窗口的显示区域交叠的区域作为窗口可激活区域。
随后，在步骤S4222中，输出控制单元122确定对用户的位置的估计是否成功。例如，输出控制单元122参考由用户识别单元4203的识别结果来执行确定。
当输出控制单元122确定对用户的位置的估计成功(在步骤S4222中为是)时，输出控制单元122在步骤S4223中确定对用户的方向的估计是否成功。例如，输出控制单元122参考由用户识别单元4203的识别结果来执行确定。
当输出控制单元122确定对用户的方向的估计成功(在步骤S4223中为是)时，输出控制单元122在步骤S4424中基于用户的位置和方向来决定激活窗口的显示区域。例如，输出控制单元122将激活窗口的显示区域决定在前述步骤S4221中决定的窗口可激活区域中，使得在靠近用户的位置处根据用户的方向使激活窗口的显示区域倾斜以面对用户。
相反地，当对用户的位置的估计成功但是对用户的方向的估计失败(在步骤S4223中为否)时，输出控制单元122在步骤S4225中基于用户的位置来决定激活窗口的显示区域。例如，输出控制单元122将激活窗口的显示区域决定在靠近用户的位置处，并且位于与前述步骤S4221中决定的窗口可激活区中的用户侧对应的方向上。
当输出控制单元122确定对用户的位置的估计失败(在步骤S4222中为否)时，输出控制单元122在步骤S4226中基于关于真实物体和现有窗口的信息来决定激活窗口的显示区域。例如，输出控制单元122将在前述步骤S4221中决定的窗口可激活区域中的任意区域决定为激活窗口的显示区域。
以上描述了显示区域决定处理的流程的示例。接着，将参照图290来描述显示区域决定处理的流程的另一示例。
图290是示出了在根据本示例的信息处理系统100中执行的显示区域决定处理的流程的示例的流程图。流程图涉及上述第二处理示例。具体地，输出控制单元122使用爬山法来计算评估函数的准最优解决方案。
如图290所示，在步骤S4231中，输出控制单元122首先随机选择画面中的N个坐标作为评估目标的坐标。例如，输出控制单元122随机选择显示表面中的N个坐标，而不考虑例如该坐标是否与真实物体的存在区域交叠或者该坐标是否与现有窗口交叠。
随后，在步骤S4232中，输出控制单元122计算邻近的坐标。例如，输出控制单元122计算从在前述步骤S4231中选择的坐标垂直地和水平地移位一个像素的8个点中的每个点的评估函数的评估值。此时，输出控制单元122可以计算评估值，同时也改变显示区域的尺寸和倾斜度。
接着，在步骤S4233中，输出控制单元122将评估值最佳处的坐标变为评估目标的坐标。此时，当在8个邻近点中存在评估值最佳处的坐标(在步骤S4234中为否)时，处理再次返回到步骤S4232，并且重复对评估目标的坐标的评估(步骤S4232)和更新(步骤S4233)。
当在8个邻近点处不存在评估值最佳处的坐标(在S4234中为是)时，输出控制单元122在步骤S4235中确定是否完成了对N个坐标的评估(步骤S4232至步骤S4234)。
当确定评估未完成(在S4235中为否)时，处理再次返回到步骤S4232。因此，输出控制单元122在未评估的坐标处执行与前述步骤S4232至步骤S4234相关的处理。
当确定评估完成(在S4235中为是)时，输出控制单元122在步骤S4236中将显示区域决定在评估值最佳处。
以上描述了显示区域决定处理的流程的示例。
(示例7)
本示例是上述具体示例8的实施方式。在本示例中，将参照图291至图298来描述根据本具体示例8的内部处理的详情。在下文中，在描述中假设投影型信息处理系统100a。然而，参照图1至图4描述的任何类型的信息处理系统都可以实现根据以下要描述的示例的UI。
(配置的示例)
图291是示出了根据本示例的信息处理系统100的逻辑配置的示例的框图。如图291所示，根据本示例的信息处理系统100包括输入单元110、控制单元120和输出单元130。
(1)输入单元110
根据本示例的输入单元110由例如获取图像(静止图像或运动图像)的照相机和获取深度信息的立体照相机来实现。例如，输入单元110将所获取的拍摄图像和所获取的深度信息输出至控制单元120。输入单元110不仅在成像时，而且在由输出单元130投影所拍摄的图像时获取深度信息并且将深度信息输出至控制单元120。输入单元110可以由设置在桌子140a上的触摸传感器或任何输入装置如遥控器来实现。输入单元110可以获取用户操纵如声音输入或触摸操纵并且将该用户操纵输出至控制单元120。
(2)输出单元130
根据本示例的输出单元130具有作为显示图像的显示单元的功能。例如，如图1至图4所示，输出单元130由从桌子140a的上侧或下侧将图像投影至桌子140a的投影仪、触摸面板式显示器或平板型显示器来实现。此外，输出单元130可以具有作为声音输出单元如扬声器的功能。
(3)控制单元120
根据本示例的控制单元120执行各种处理，以用原来的尺寸再现通过对桌子140a上的主体进行成像而获得的拍摄图像。如图291所示，控制单元120包括检测单元121和输出控制单元122，检测单元121具有作为环境信息获取单元4301和环境信息累积单元4303的功能，输出控制单元122具有作为设定信息生成单元4305的功能。
(3-1)环境信息获取单元4301
环境信息获取单元4301具有获取环境信息的功能。环境信息是关于信息处理系统100的环境的信息，环境信息对信息处理系统100的输入或者来自信息处理系统100具有输出影响。例如，成像时的环境信息是可以影响显示在所拍摄的图像中的主体的尺寸的信息。成像时的环境信息的示例包括成像时从照相机到桌子140a的距离(深度信息)、成像时照相机的视角以及成像时照相机的像素数。投影时的环境信息是可以影响显示在待投影的拍摄图像中的主体的尺寸的信息。投影时的环境信息的示例包括投影时从投影仪至桌子140a的距离、投影仪的视角和投影时投影仪的像素数。
(3-2)环境信息累积单元4303
环境信息累积单元4303具有累积由环境信息获取单元4301获取的环境信息的功能。例如，环境信息累积单元4303将在对拍摄图像进行成像时获取的环境信息与由照相机拍摄的用于存储的拍摄图像进行关联。例如，环境信息可以被存储作为拍摄图像的元数据。
(3-3)设定信息生成单元4305
设定信息生成单元4305具有生成用于由输出单元130投影拍摄图像的设定信息的功能。具体地，设定信息生成单元4305基于成像时的环境信息和投影时的环境信息来生成不变地再现成像时主体的形式。例如，设定信息生成单元4305可以计算用于用原来的尺寸再现主体的投影放大倍率，并且生成投影放大倍率作为设定信息。在下文中，将参照图292来描述由设定信息生成单元4305用原来的尺寸再现主体的投影放大倍率的计算示例。
图292是示出了计算根据本示例的投影放大倍率的处理的说明图。图292左方的图是示出了当从照相机或投影仪观察桌子140a时的正视图。图292右方的图是当从照相机(输入单元110)或投影仪(输出单元130)的侧面观察桌子140a时的侧视图。Y指示照相机或投影仪在垂直方向上的像素数。L指示从照相机或投影仪至桌子140a的距离。θ指示照相机或投影仪在垂直方向上的视角。设定信息生成单元4305通过例如下面的表达式来计算用原来的尺寸再现主体的投影放大倍率。
[数学式4]
Y1指示在成像时照相机在垂直方向上的像素数，L1指示在成像时从照相机到桌子140a的距离，以及θ1指示在成像时照相机在垂直方向上的视角。Y2指示在投影时投影仪在垂直方向上的像素数，L2指示在投影时从投影仪至桌子140a的距离，以及θ2指示在投影时投影仪在垂直方向上的视角。
在图292中描述了使用垂直方向上的像素数Y来计算投影放大倍率的示例。然而，投影放大倍率可以使用水平方向上的像素数来计算。
除了投影放大倍率以外，还考虑了由设定信息生成单元4305生成的各种类型的设定信息。例如，设定信息生成单元4305可以计算用于再现物体的色调或外部光的到达状态的亮度、对比度等，并且生成亮度、对比度等作为设定信息。
基于由设定信息生成单元4305生成的设定信息，输出控制单元122控制输出单元130，使得拍摄图像被投影。具体地，输出控制单元122使用由设定信息生成单元4305计算出的投影放大倍率来控制投影仪，使得拍摄图像被放大或缩小以被投影。
输出控制单元122可以控制输出单元130，使得向用户输出通知，以不变地再现成像时主体的形式。例如，考虑了这样的情况：当拍摄图像被放大并且被投影时，被放大的拍摄图像未落在桌子140a上。因此，输出控制单元122可以向用户输出通知，请求用户执行与桌子140a相关的调节，使得被放大的拍摄图像落在桌子140a上。
以上描述了根据本示例的信息处理系统100的配置的示例。接着，将参照图293至图297来描述根据本示例的用户界面的示例的说明图。图293至图297是示出了根据本示例的用户界面的示例的说明图。
(UI的示例)
首先，将参照图293至图295来描述当根据从成像时到投影时的环境变化而改变投影放大倍率时的用户界面的具体示例。图293至图295左方的图示出了成像时的环境信息和主体。设定信息生成单元4305根据图293至图295左方的图中示出的成像时的环境信息与图293至图295右方的图中示出的投影时的环境信息之间的差，使用前述式4来计算投影放大倍率。如图293至图295右方的图所示，输出单元130使用所计算的投影放大倍率来投影拍摄图像。例如，假设成像时的视角θ1为45°，假设距离L1为1米，以及假设像素数Y1为1080个像素。
图293示出了其中距桌子140a的距离被改变的示例。具体地，当从照相机(输入单元110)到桌子140a的距离L1为1米时，从投影仪(输出单元130)到桌子140a的距离L2为2米。因此，如图293右侧的图所示，投影放大倍率为0.5倍。当距离变长时，通过缩小并且投影拍摄图像来使拍摄图像中示出的主体以原来的尺寸投影。相反地，当距离变短时，通过放大并且投影拍摄图像来使拍摄图像中示出的主体以原来的尺寸投影。
图294示出了视角被改变的示例。具体地，当输入单元110的视角θ1为45°时，输出单元130的视角θ2为60°。因此，如图294右侧的图所示，投影放大倍率为0.72倍。当视角扩大时，通过缩小并且投影拍摄图像来使拍摄图像中示出的主体以原来的尺寸投影。相反地，当视角变窄时，通过放大并且投影拍摄图像来使拍摄图像中示出的主体以原来的尺寸投影。
图295示出了像素数被改变的示例。具体地，当输入单元110的像素数Y1为1080个像素时，输出单元130的像素数Y2为720个像素。因此，如图295右侧的图所示，投影放大倍率为1.5倍。当像素数降低时，通过放大并且投影拍摄图像来使拍摄图像中示出的主体以原来的尺寸投影。相反地，当像素数增加时，通过缩小并且投影拍摄图像来使拍摄图像中示出的主体以原来的尺寸投影。
以上描述了当投影放大倍率根据从成像时到投影时环境变化而变化时的用户界面的具体示例。接着，将参照图296和图297来描述请求用户执行调节以不变地重现成像时主体的形式的通知的具体示例。
图296示出了其中输出控制单元122输出请求用户使主体(输出单元130)保持距画面(桌子140a)30厘米的距离的通知的示例。用户可以保持主体距离，并且可以用低桌子来替换桌子140a。在任何情况下，由于从输出单元130到桌子140a的距离变长，拍摄图像被缩小并且被投影，因此落到桌子140a上。此外，输出控制单元122可以输出请求用户用具有更大面积的桌子来替换桌子140a的通知。
图297示出了其中输出控制单元122在以原来的尺寸投影拍摄图像时忽略未完全落在桌子140a上的部分并且输出请求用户滚动投影图像的通知的示例。用户可以通过滚动投影图像来移动并且投影被忽略的部分。在这种情况下，用户可以不作出如下努力，例如，保持主体距离或者替换桌子140a以延长从输出单元130到桌子140a的距离。用户可以选择如图296所示的保持主体距离的方法，或者如图297所示的忽略未完全落在桌子上的方法。选择可以在投影时执行，也可以被预先设定，或者可以由信息处理系统100自动执行。
以上描述了根据本示例的用户界面的具体示例。接着，将参照图298来描述由根据本示例的信息处理系统100的操作处理的示例。
(操作处理)
图298是示出了在根据本示例的信息处理系统100中执行的显示控制处理的流程的示例的流程图。
如图298所示，在步骤S4302中，设定信息生成单元4305参考环境信息，由环境信息获取单元4305将该环境信息与拍摄图像相关联地存储。环境信息包括例如用于指示成像时从照相机到桌子140a的距离、成像时照相机的视角以及成像时照相机的像素数的信息。
随后，在步骤S4304中，环境信息获取单元4301获取当前的环境信息。环境信息包括例如从投影仪到桌子140a的距离、投影仪的视角以及投影仪的像素数。
随后，在步骤S4306中，设定信息生成单元4305计算投影放大倍率。具体地，设定信息生成单元4305通过将在前述步骤S4302中参考的环境信息和在前述步骤S4304中获取的环境信息应用到前述公式4来计算投影放大倍率。
在步骤S4308中，输出控制单元122控制投影仪，使得拍摄图像被投影。具体地，输出控制单元122使用在前述步骤S4306中计算出的投影放大倍率来控制投影仪，使得拍摄图像被放大或缩小以被投影。
以上描述了由根据本示例的信息处理系统100进行的操作处理的示例。
(结论)
如上所述，根据本示例，通过在存储时将拍摄图像和环境信息相关联地存储并且根据与投影时的环境信息的差改变投影放大率，可以用原来的尺寸来再现主体。另外，也可以考虑连同比较物体如香烟盒或硬币一起对主体进行成像的技术。然而，在该技术中，当投影时的环境与成像时的环境不同时，难以用原来的尺寸来再现拍摄图像。因此，有必要执行例如将作为真实物体的比较物体与投影出的比较物体进行比较并且调节投影放大倍率的操纵。与此相反，根据本示例，即使当投影时的环境与成像时的环境不同时，仍可以用原来的尺寸来再现主体。
(示例8)
本示例是上述具体示例4的实施方式。在本示例中，将参照图299至图317来描述根据具体示例4的内部处理的详情。在下文中，在描述中假设投影型信息处理系统100a。然而，与以下要描述的具体示例相关的UI也可以被实现为参照图1至图4描述的信息处理系统中的任何类型。
(配置的示例)
首先，将描述根据本示例的信息处理系统100的特征配置。
(1)输入单元
根据本示例的输入单元110具有检测桌子140a上的物体的功能。输入单元110可以由例如获取图像(静止图像或运动图像)的照相机和获取深度信息的立体照相机或者设置在桌子140a上的触摸传感器来实现。例如，输入单元110检测由浮在桌子140a上方的手指或伸出手指的手对桌子140a的触摸。然后，输入单元110将所检测到的输入信息输出至控制单元120。
(2)输出单元130
根据本示例的输出单元130具有作为显示图像的显示单元的功能。例如，如图1至图4所示，输出单元130由从桌子140a的上侧或下侧将图像投影至桌子140a的投影仪、触摸面板式显示器或平板型显示器来实现。此外，输出单元130可以具有作为声音输出单元如扬声器的功能。
(3)检测单位
●手指检测功能
根据本示例的检测单元121具有基于从输入单元110输出的输入信息来检测用户的手指的功能。检测单元121具有可操纵数检测功能和手指检测功能。
●可操纵数决定功能
检测单元121具有决定可操纵数的功能。在下文中，将详细描述由检测单元121决定可操纵数的处理。
第一检测单元121首先决定系统识别限数N。系统识别限数是指能够由信息处理系统100识别的上限数，并且对应于上述计算上可识别的上限。例如，检测单元121可以根据正在使用的应用的处理负荷来动态地计算系统识别限数N，并且可以根据系统的硬件要件将系统识别限数N决定为固定值。
接着，检测单元121确定针对每个应用的操纵限数M。在此，设定M≤N。检测单元121可以根据应用的内容来决定M。例如，检测121在曲棍球比赛中设定M＝2，并在麻将中设定M＝4。检测单元121可以设定M＝N。
接着，检测单元121决定剩余数P。通常，检测单元121设定P＝1。此外，检测单元121可以设定满足N>P>＝N-M的任何数。
然后，检测单元121决定可操纵数为(M-P)。可操纵数对应于上述基于规格的可识别上限。因为剩余数，可操纵数小于至少系统可识别限数，因此信息处理系统100可以反馈超过可操纵数的手指无法被识别这一事实。
●手指检测功能
检测单元121通过将手指分类成具有操纵权限的手指和不具有操纵权限的手指这两种类型的手指来检测用户的手指。检测单元121将直到到达可操纵数为止检测到的手指检测为具有操纵权限的手指。检测单元121将到达可操纵数之后检测到的手指检测为不具有操纵权限的手指。
当具有操纵权限的手指继续触摸桌子140a时，检测单元121继续给予该手指操纵权限。相反地，当具有操纵权限的手指停止触摸桌子140a并且停止操纵时，操纵权限丢失，并且操纵权限转移到另一手指。然而，当预期操纵被再次执行时，即使当具有操纵权限的手指停止触摸桌子140a并且操纵停止时，检测单元121仍继续给予该手指操纵权限。在下文中，将参照图299和图300来具体描述其中预期操纵被再次执行的示例。
图299是示出了根据本示例的用户界面的示例的说明图。如图299所示的示例示出了其中用户在远离触摸点4401处伸出该用户的具有操纵权限的手指的状态。例如，在具有操纵权限的手指停止触摸触摸点4401之后的预定时间内，检测单元121认为该手指继续存在于以被操纵的触摸点4401为起点的具有任意宽度的附近区域4402中。检测单元121保留该操纵权限，直到经过预定时间为止，并且将操纵权限交给触摸该附近区域4402的手指。相反地，在经过预定时间后，检测单元121开放操纵权限，并且将操纵权限赋予例如另一手指。即使在经过预定时间之前，检测单元121仍不将所保留的操纵权限赋予触摸附近区域4402外的部分的手指。以这种方式，通过保留操纵权限，例如，用户可以中断操纵，拾取落到桌子140a下方的物体，并且从同一位置恢复操纵。
图300是示出了根据本示例的用户界面的示例的说明图。如图300所示的示例示出了其中用户从触摸点4403伸出该用户的具有操纵权限的手指但是手放置在桌子140a上的状态。例如，当具有操纵权限的手指停止触摸，但是根据深度信息等连续检测出手的形状4404时，检测单元121认为该手具有操纵权限。因此，例如，当用户在操纵后用该用户的手浏览画面上的运动图像等时，可以用该手恢复操纵。
操纵权限不仅可以被赋予到执行触摸并且开始操纵的手指，而且可以被赋予到预期开始操纵的手指。在下文中，将参照图301具体描述其中操纵的启动被执行的示例。
图301是示出了根据本示例的用户界面的示例的说明图。如图301所示的示例示出了其中用户将该用户的手指保持伸出在桌子140a的上方但是不执行操纵的状态。例如，当没有检测到触摸并且根据深度信息等检测到手指时，检测单元121赋予该手指操纵权限。因此，例如，当用户保持伸出其手指但是犹豫而不立即执行操纵时，可以用该手指来执行操纵。
(4)输出控制单元122
根据本示例的输出控制单元122具有控制输出单元130使得将操纵是否可能反馈给用户的功能。例如，当检测到由具有操纵权限的手指进行的操纵时，输出控制单元122执行用于指示该操纵可能的反馈。相反地，当检测到由不具有操纵权限的手指执行的操纵时，并且例如当新检测到超出可操纵数的手指时，输出控制单元122执行用于指示该操纵不可能的反馈。即使当手指的数目超过可操纵数(M-P)时，输出控制单元122可以最大检测到系统识别限数N。因此，输出控制单元122可以反馈用于指示直到手指数达到N为止该操纵不可能的警告。
考虑了其中输出控制单元122反馈警告的各种条件。例如，当检测到不具有操纵权限的手指达预定次数或更多或者连续检测到不具有操纵权限的手指达预定时间段或更多时，输出控制单元122可以反馈警告。输出控制单元122可以将多个反馈进行组合，或者可以针对每个反馈设定不同条件。例如，输出控制单元122可以执行用于指示指针的颜色的反馈，意味着从首次检测到手指的时刻拖拽开始，并且可以启动用于指示从该时刻之后5秒发出蜂鸣音的反馈。
在下文中，将参照图302至图315来描述由输出控制单元122进行的反馈的变型。图302至图315是示出了根据本示例的用户界面的示例的说明图。图302至312示出了用于指示操纵可能的反馈A和用于指示操纵不可能的反馈B。
在如图302所示的示例中，当操纵可能时以及不可能时，具有不同色调的标记被显示在输入点(指尖或触摸点)处。
在如图303至图305所示的示例中，当操纵可能和不可能时，具有不同形状的标记被显示在输入点处。例如，在如图303所示的示例中，当操纵不可能时，显示具有表示操纵不可能的符号x。在如图304所示的示例中，当操纵不可能时，显示用手做出表示操纵不可能的符号x的人物。在如图305所示的示例中，当操纵不可能时，即使当手移出包围时，仍显示表示操纵不可能的围绕手的标记。
在如图306和图307所示的示例中，当操纵可能和不可能时，标记被显示在不同的位置处。例如，在如图306所示的示例中，当操纵可能时，在输入点处显示标记，当操纵不可能时，在手背上显示标记。在如图307所示的示例中，当操纵不可能时，显示切割手指的标记。
在如图308至图310所示的示例中，当操纵可能时显示静态标记，并且当操纵不可能时，显示动态变化的标记。例如，在如图308所示的示例中，当操纵不可能时，暂时显示与操纵可能时的标记相似的标记，但是显示该标记变模糊的效果。因此，用户可以知道该用户没有操纵权限。在如图309所示的示例中，当操纵不可能时，显示从指尖逐渐向后移动标记的效果。在如图310所示的示例中，当操纵不可能时，显示将手指向后推的效果。在如图310和图310示出的示例中，自然地提示用户将其手指向后缩。
在如图311所示的示例中，当操纵可能和不可能时，对显示对象的操纵的反应被不同地显示。显示对象指代例如可操纵的对象，如应用窗口、菜单图标或激活图标。例如，当操纵可能时，所触摸的显示对象的色调不变。相反地，当操纵不可能时，所触摸的显示对象的色调变淡，以表达该操纵不可能。
在如图312所示的示例中，当操纵不可能时，显示用于指示操纵不可能的消息。在该示例中，作为消息的示例，显示“超过能够进行操纵的最大人数”。
在如图313所示的示例中，当操纵可能和不可能时，在游戏中显示不同的操纵对象。例如，在具有操纵权限的指尖处显示战斗机图标，因此用户可以通过操纵战斗机来参与游戏。另一方面，在不具有操纵权限的指尖处显示旗帜图标，因此用户仅可以挥动旗帜来欢呼。
在如图314所示的示例中，已消耗的操纵权限数和剩余的操纵权限数被显示在桌子140a上。例如，在如图314A所示的示例中，由于具有操纵权限的手指的数目为2，因此显示已消耗的操纵权限数为2并且剩余数为1这一事实。在如图314B所示的示例中，由于具有操纵权限的手指的数为3，因此显示已消耗的操纵权限数为3并且剩余数为0这一事实。在如图314C所示的示例中，由于具有操纵权限的手指的数为3并且不具有操纵权限的手指的数为2。因此，在如图314C所示的示例中，显示已消耗的操纵权限数为3并且剩余数为0这一事实，并且在具有操纵权限的手指与具有操纵权限的手指之间显示具有不同色调的标记。
在如图315所示的示例中，当操纵可能和不可能时，输出不同的声音。例如，当操纵可能时可以不输出声音。当操纵不可能时可以输出声音。在这种情况下，例如，可以输出否定的蜂鸣音或语音“人数超出”。输出控制单元122可以从设置在靠近用户的位置处的扬声器输出这种操纵不可能的声音。
以上描述了根据本示例的信息处理系统100的特征配置的示例。接着，将参照图316和图317来描述本示例的信息处理系统100的操作处理。
(操作处理)
图316是示出了在根据本示例的信息处理系统100中执行的显示控制处理的流程的示例的流程图。图316示出了决定可操纵数的初步处理的流程的示例。
如图316所示，在步骤S4402中，检测单元121首先决定系统识别限数N
随后，在步骤S4404中，检测单元121决定操纵限数M。
随后，在步骤S4406中，检测单元121决定剩余数P。
然后，在步骤S4408中，检测单元121决定可操纵次数(M-P)。
以上描述了决定可操纵数的初步处理。
图317是示出了在根据本示例的信息处理系统100中执行的显示控制处理的流程的示例的流程图。图317示出了当信息处理系统100检测到用户操纵时检测用于每个帧的手指的处理的流程的示例。当切换帧并且获得新的手指识别处理目标的数据时，重复如图317所示的处理。
如图317所示，在步骤S4412中，检测单元121首先获取手指识别处理目标数据。例如，检测单元121获取从输入单元110输出的输入信息。
随后，在步骤S4414中，检测单元121对先前帧中具有操纵权限的手指执行手指识别处理。此时，检测单元121检测具有操纵权限的手指，不仅包括检测到触摸操纵的手指，还包括未检测到以上参照图299至图301描述的触摸操纵的手指。检测单元121可以将以上参照图299至图301描述的检测技术进行合并和使用。以这种方式，检测单元121通过将在先前帧中具有操纵权限的手指设定为第一地点处的手指识别目标，优选地将操纵权限赋予在先前帧中具有操纵权限的手指。
接着，在步骤S4416中，检测单元121确定所识别的手指数是否达到系统识别限数N。
当所识别的手指数达到系统识别限数N(在步骤S4416中为是)时，处理结束。
相反地，当所识别的手指数未达到系统识别限数N(在步骤S4416中为否)时，检测单元121对先前帧中不具有操纵权限的手指执行手指识别处理。因此，检测单元121从当前帧中识别新出现的手指。
当未识别到新的手指(在步骤S4420中为否)时，处理结束。
相反地，当识别到新的手指(在步骤S4420中为是)时，检测单元121在步骤S4422中确定该新识别的手指是否落入可操纵数中。
当确定该新识别的手指未落入可操纵数中(在步骤S4422中为否)时，输出控制单元122在步骤S4424中执行用于指示操纵不可能的反馈。输出控制单元122可以将如图302至图315所示的反馈示例进行合并或者执行任何其他反馈。
相反地，当确定该新识别的手指落入可操纵数中(在步骤S4422中为是)时，检测单元121在步骤S4426中确定由所识别的手指进行的操纵是否为有效操纵。
当检测单元121确定该操纵为有效操纵(在步骤S4426中为是)时，检测单元121在步骤S4428中发出操纵事件。此时，例如，检测单元121将操纵权限赋予新识别的手指。当确定该操纵不是有效操纵(在S4426中为否)时，不发出操纵事件。即使在不发出操纵事件时，检测单元121仍可以将操纵权限赋予新识别的手指。
随后，在步骤S4430中，检测单元121确定手指识别处理是否被执行到最终目标数据。例如，检测单元121根据区域是否为在步骤S4418的手指识别处理中未扫描的区域来执行确定。
当确定手指识别处理未被执行到最终目标数据(在步骤S4430中为否)时，处理再次返回到步骤S4416。反之，当确定手指识别处理被执行到最终目标数据(在步骤S4430中为是)时，结束当前帧中的处理。
以上描述了根据本示例的信息处理系统100的操作处理。
<3.硬件配置示例>
接着，将参照图318来描述根据本公开内容的实施方式的信息处理系统100的硬件结构。图318是示出了根据本公开内容的实施方式的信息处理系统100的硬件配置示例的框图。
如图318所示，信息处理系统100包括CPU(中央处理单元)901、ROM(只读存储器)903和RAM(随机存取存储器)905。另外，信息处理系统100可以包括主机总线907、桥909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925。另外，信息处理系统100在必要时可以包括成像装置933和传感器935。替代CPU 901或者除了CPU 901以外，信息处理系统100可以包括处理电路如DSP(数字信号处理器)或ASIC(专用集成电路)。
CPU 901被用作运算处理器和控制装置，并且根据记录在ROM 903、RAM 905、存储装置919或可移动记录介质中的各种程序927来控制信息处理系统100中的所有或一些操作。ROM 903存储由CPU 901使用的程序和操作参数。RAM 905临时存储在CPU 901的执行中使用的程序和在执行中适当修改的参数。CPU 901、ROM 903和RAM 905由主机总线907彼此连接，主机总线907被配置成包括内部总线如CPU总线。此外，主机总线907经由桥909连接至外部总线911如PCI(外围部件互连/接口)总线。
输入装置915是由用户操纵的装置，如鼠标、键盘、触摸面板、按钮、开关和控制杆。输入装置915可以包括检测用户的声音的麦克风。输入装置915可以是例如使用红外光或其他无线电波的遥控单元，或者可以是外部连接装置929如响应于信息处理系统100的操作而可操作的便携式电话。此外，输入装置915包括基于由用户输入的信息生成输入信号并且将该输入信号输出至CPU 901的输入控制电路。通过操作输入装置915，用户可以将各种类型的数据输入至信息处理系统100，或者发出用于使信息处理系统100执行处理操作的指令。下面将描述的成像装置933可以充当对用户的手的运动等进行成像的输入装置。
输出装置917包括能够将所获取的信息可视地或可听地通知给用户的装置。输出装置917可以包括显示装置如LCD(液晶显示器)、PDP(等离子体显示面板)、有机EL(电致发光)显示器以及投影仪、全息图显示装置、音频输出装置如扬声器或耳机、以及外围装置如打印机。输出装置917可以将从信息处理系统100的处理获得的结果以视频如文本或图像以及音频如语音或声音的形式输出。输出装置917可以包括照亮周围的光等。
存储装置919是用于数据存储的装置，其被配置成信息处理系统100的存储单元的示例。存储装置919包括例如磁存储装置如HDD(硬盘驱动器)、半导体存储装置、光学存储装置或磁光存储装置。存储装置919存储要由CPU 901执行的程序、各种数据和从外部获得的数据。
驱动器921是用于可移除记录介质927的读取/写入器，如磁盘、光盘、磁光盘或半导体存储器，并且被嵌入在信息处理系统100中或附接至信息处理系统100的外部。驱动器921读取记录在附接于信息处理系统100的可移动记录介质927中的信息，并且将所读取的信息输出至RAM905。此外，驱动器921对附接至信息处理系统100的可移动记录介质927进行写入。
连接端口923是用于将装置直接连接至信息处理系统100的端口。端口923可以包括USB(通用串行总线)端口、IEEE 1394端口和SCSI连接(小型计算机系统接口)端口。连接端口923还可以包括RS-232C端口、光学音频端子、HDMI(高清多媒体接口)端口等。外部连接装置929到连接端口923的连接可以在信息处理系统100与外部连接装置929之间交换各种数据。
通信装置925是例如包括用于连接至通信网络931的通信装置等。通信装置925可以是例如用于有线或无线LAN(局域网)、蓝牙(注册商标)、WUSB(无线USB)等的通信卡。此外，通信装置925可以是用于光学通信的路由器、用于ADSL(非对称数字用户线)的路由器，用于各种类型的通信的调制解调器等。通信装置925可以基于预定协议如TCP/IP从例如因特网或其他通信装置发送信号从例如因特网或其他通信装置接收信号。此外，连接至通信装置925的通信网络931可以是以有线或无线方式连接的网络等，并且可以是例如因特网、家庭LAN、红外通信、无线电波通信、卫星通信等。
成像装置933是例如使用图像传感器如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器以及如用于控制在图像传感器上形成主体图像的一个或更多个镜头的各种构件对真实空间进行成像来生成图像的装置。成像装置933可以是拍摄静止图像的装置，也可以是拍摄运动图像的装置。
传感器935是例如各种传感器如加速度传感器、陀螺仪传感器、地磁传感器、光学传感器或声音传感器中的任何传感器。传感器935获取关于信息处理系统100的状态的信息，如信息处理系统100的外壳的取向，以及例如关于信息处理系统100周围的环境信息，如信息处理系统100周围的亮度或噪声的信息。传感器935还可以包括用于接收GPS信号并且测量设备的纬度、经度和高度的全球定位系统(GPS)传感器。
因此，以上示出了信息处理系统100的硬件配置的示例。上述部件中的每个部件可以使用通用构件来实现，但是也可以用专用于每个部件的功能的硬件来实现。在适当时也可以根据实施时的技术水平来对这样的配置进行修改。
<4.结论>
根据本公开内容的实施方式，如上所述，提供有一种能够根据其中显示信息的环境或所显示的信息的状态来更适当且更有效地显示信息的信息处理系统100。
在本说明书中由装置执行的处理中的步骤不一定按照时序图或流程图中描述的顺序的时间顺序来执行。例如，由装置执行的处理中的步骤可以按照与流程图中描述的顺序不同的顺序来执行，或者可以并行地执行。
此外，可以创建计算机程序，该程序使硬件如每个装置中包含的CPU、ROM或RAM以与上述装置中的结构类似的方式起作用。另外，可以提供一种其上记录有计算机程序的记录介质。此外，通过将功能框图中所示的各个功能块配置为硬件，该硬件可以实现一系列的处理。
以上参照附图描述了本公开内容的一个或更多个优选实施方式，而本公开内容不限于上述实施方式。本领域技术人员可以在所附权利要求的范围内发现各种替换和修改，并且应当理解，这些替换和修改本质上将落入本公开内容的技术范围内。
请注意，实现上述实施方式中所示的用户界面或应用的软件可以被实现为经由网络如因特网使用的网络应用。这样的网络应用可以用标记语言例如超文本标记语言(HTML)、标准通用标记语言(SGML)、可扩展标记语言(XML)等来实现。
此外，在本说明书中描述的效果仅是说明性和示范性的，而不是限制性的。换言之，连同或者取代基于本说明书的效果，根据本公开内容的技术可以表现出对于本领域技术人员来说明显的其他效果。
此外，本技术还可以被配置如下。
(1)一种显示控制装置，包括：
显示控制单元，所述显示控制单元被配置成控制如下显示：所述显示用于指示通过由声音输入单元或者声音输出单元执行波束形成而形成的方向性的范围。
(2)根据(1)所述的显示控制装置，
其中，所述显示控制单元控制如下显示：所述显示用于指示通过由所述声音输入单元执行所述波束形成而形成的方向性的范围。
(3)根据(2)所述的显示控制装置，
其中，所述显示控制单元控制如下显示：所述显示用于指示由所述声音输入单元获得的声音的音量。
(4)根据(3)所述的显示控制装置，
其中，所述显示控制单元同时显示用于指示所述方向性的范围的信息和用于指示所述音量的信息。
(5)根据(4)所述的显示控制装置，
其中，所述显示控制单元通过区分显示方法，显示用于指示在所述方向性的范围内获得的声音的音量的信息和用于指示在所述方向性的范围外获得的声音的音量的信息。
(6)根据(1)至(5)中任一项所述的显示控制装置，
其中，所述显示控制单元在用于指示所述方向性的范围的显示的位置或形状中至少之一中，反映所估计的用户位置。
(7)根据(1)至(6)中任一项所述的显示控制装置，
其中，所述显示控制单元根据对用户位置的估计结果的更新，更新用于指示所述方向性的范围的显示。
(8)根据(1)至(7)中任一项所述的显示控制装置，还包括：
输入控制单元，所述输入控制单元被配置成根据用户输入，改变所述声音输入单元的方向性的范围，
其中，所述显示控制单元根据由所述输入控制单元进行的改变，改变用于指示所述方向性的范围的显示。
(9)根据(8)所述的显示控制装置，
其中，所述用户输入是对用于指示所述方向性的范围的显示的用户操纵。
(10)根据(1)至(9)中任一项所述的显示控制装置，
其中，当波束形成的数目为多个时，所述显示控制单元执行多个用于指示所述方向性的范围的显示。
(11)根据(1)至(10)中任一项所述的显示控制装置，
其中，当多个用于指示所述方向性的范围的显示交叠时，所述显示控制单元执行警告显示。
(12)根据(1)至(11)中任一项所述的显示控制装置，
其中，所述显示控制单元执行如下显示：所述显示将用于指示所述方向性的范围的显示与接收由所述声音输入单元输入的声音的显示对象进行关联，其中，所述声音输入单元形成所述方向性的范围。
(13)根据(1)至(12)中任一项所述的显示控制装置，
其中，所述显示控制单元使信息被显示，所述信息用于指示基于由所述声音输入单元输入的声音的声音识别结果。
(14)一种显示控制方法，包括：
由处理器控制如下显示：所述显示用于指示通过由声音输入单元或者声音输出单元执行波束形成而形成的方向性的范围。
(15)一种程序，所述程序使计算机充当：
显示控制单元，所述显示控制单元被配置成控制如下显示：所述显示用于指示通过由声音输入单元或者声音输出单元执行波束形成而形成的方向性的范围。
附图标记列表
100 信息处理系统
110 输入单元
120 控制单元
130 输出单元

Claims (15)

1.一种显示控制装置，包括：
显示控制单元，所述显示控制单元被配置成控制如下显示：所述显示用于指示通过由声音输入单元或者声音输出单元执行波束形成而形成的方向性的范围。
2.根据权利要求1所述的显示控制装置，
其中，所述显示控制单元控制如下显示：所述显示用于指示通过由所述声音输入单元执行所述波束形成而形成的方向性的范围。
3.根据权利要求2所述的显示控制装置，
其中，所述显示控制单元控制如下显示：所述显示用于指示由所述声音输入单元获得的声音的音量。
4.根据权利要求3所述的显示控制装置，
其中，所述显示控制单元同时显示用于指示所述方向性的范围的信息和用于指示所述音量的信息。
5.根据权利要求4所述的显示控制装置，
其中，所述显示控制单元通过区分显示方法，显示用于指示在所述方向性的范围内获得的声音的音量的信息和用于指示在所述方向性的范围外获得的声音的音量的信息。
6.根据权利要求1所述的显示控制装置，
其中，所述显示控制单元在用于指示所述方向性的范围的显示的位置或形状中至少之一中，反映所估计的用户位置。
7.根据权利要求1所述的显示控制装置，
其中，所述显示控制单元根据对用户位置的估计结果的更新，更新用于指示所述方向性的范围的显示。
8.根据权利要求1所述的显示控制装置，还包括：
输入控制单元，所述输入控制单元被配置成根据用户输入，改变所述声音输入单元的方向性的范围，
其中，所述显示控制单元根据由所述输入控制单元进行的改变，改变用于指示所述方向性的范围的显示。
9.根据权利要求8所述的显示控制装置，
其中，所述用户输入是对用于指示所述方向性的范围的显示的用户操纵。
10.根据权利要求1所述的显示控制装置，
其中，当波束形成的数目为多个时，所述显示控制单元执行多个用于指示所述方向性的范围的显示。
11.根据权利要求1所述的显示控制装置，
其中，当多个用于指示所述方向性的范围的显示交叠时，所述显示控制单元执行警告显示。
12.根据权利要求1所述的显示控制装置，
其中，所述显示控制单元执行如下显示：所述显示将用于指示所述方向性的范围的显示与接收由所述声音输入单元输入的声音的显示对象进行关联，其中，所述声音输入单元形成所述方向性的范围。
13.根据权利要求1所述的显示控制装置，
其中，所述显示控制单元使信息被显示，所述信息用于指示基于由所述声音输入单元输入的声音的声音识别结果。
14.一种显示控制方法，包括：
由处理器控制如下显示：所述显示用于指示通过由声音输入单元或者声音输出单元执行波束形成而形成的方向性的范围。
15.一种程序，所述程序使计算机充当：
显示控制单元，所述显示控制单元被配置成控制如下显示：所述显示用于指示通过由声音输入单元或者声音输出单元执行波束形成而形成的方向性的范围。
CN201480069947.6A 2013-12-27 2014-09-02 显示控制装置、显示控制方法和程序 Pending CN106134190A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-273369 2013-12-27
JP2013273369 2013-12-27
PCT/JP2014/073105 WO2015098188A1 (ja) 2013-12-27 2014-09-02 表示制御装置、表示制御方法及びプログラム

Publications (1)

Publication Number Publication Date
CN106134190A true CN106134190A (zh) 2016-11-16

Family

ID=53478073

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201480069947.6A Pending CN106134190A (zh) 2013-12-27 2014-09-02 显示控制装置、显示控制方法和程序
CN201480069948.0A Pending CN105850116A (zh) 2013-12-27 2014-09-02 控制装置、控制方法和计算机程序
CN201480070025.7A Pending CN106104455A (zh) 2013-12-27 2014-09-02 显示控制装置、显示控制方法和程序
CN201480070024.2A Pending CN105830005A (zh) 2013-12-27 2014-09-02 控制装置、控制方法和计算机程序

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN201480069948.0A Pending CN105850116A (zh) 2013-12-27 2014-09-02 控制装置、控制方法和计算机程序
CN201480070025.7A Pending CN106104455A (zh) 2013-12-27 2014-09-02 显示控制装置、显示控制方法和程序
CN201480070024.2A Pending CN105830005A (zh) 2013-12-27 2014-09-02 控制装置、控制方法和计算机程序

Country Status (9)

Country Link
US (4) US11146771B2 (zh)
EP (4) EP3089011A4 (zh)
JP (5) JPWO2015098187A1 (zh)
KR (4) KR20160102412A (zh)
CN (4) CN106134190A (zh)
BR (2) BR112016014491A2 (zh)
RU (4) RU2016124467A (zh)
TW (4) TW201528112A (zh)
WO (4) WO2015098190A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107231516A (zh) * 2017-07-27 2017-10-03 重庆万建电子工程有限责任公司重庆第分公司 带刮灰结构的半球型摄像机
CN109920320A (zh) * 2017-12-12 2019-06-21 成都金都超星天文设备有限公司 一种操控天象仪进行天象演示的方法及控制系统

Families Citing this family (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5942840B2 (ja) * 2012-12-21 2016-06-29 ソニー株式会社 表示制御システム及び記録媒体
USD852828S1 (en) * 2013-04-05 2019-07-02 Thales Avionics, Inc. Display screen or portion thereof with graphical user interface
USD738889S1 (en) * 2013-06-09 2015-09-15 Apple Inc. Display screen or portion thereof with animated graphical user interface
KR102271853B1 (ko) * 2014-03-21 2021-07-01 삼성전자주식회사 전자 장치, 영상 처리 방법, 및 컴퓨터 판독가능 기록매체
CN113188080B (zh) 2014-12-26 2023-11-14 麦克赛尔株式会社 照明装置
US11106314B2 (en) * 2015-04-21 2021-08-31 Dell Products L.P. Continuous calibration of an information handling system projected user interface
KR20160125783A (ko) * 2015-04-22 2016-11-01 삼성전자주식회사 컨텐츠를 표시하기 위한 방법 및 전자 장치
USD795917S1 (en) 2015-05-17 2017-08-29 Google Inc. Display screen with an animated graphical user interface
JP6213613B2 (ja) * 2015-05-25 2017-10-18 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
WO2017006426A1 (ja) * 2015-07-07 2017-01-12 日立マクセル株式会社 表示システム、ウェアラブルデバイス、および映像表示装置
US10572073B2 (en) * 2015-08-24 2020-02-25 Sony Corporation Information processing device, information processing method, and program
JP6747446B2 (ja) * 2015-09-18 2020-08-26 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2017056147A1 (ja) 2015-09-28 2017-04-06 日立マクセル株式会社 照明装置
JP6650612B2 (ja) * 2015-10-06 2020-02-19 パナソニックＩｐマネジメント株式会社 照明制御装置及び照明システム
US10645309B2 (en) * 2015-11-06 2020-05-05 Intel Corporation Systems, methods, and apparatuses for implementing maximum likelihood image binarization in a coded light range camera
US10616529B2 (en) 2015-11-24 2020-04-07 Maxell, Ltd. Information processing system, wireless terminal, and information processing method
JP2017102290A (ja) * 2015-12-02 2017-06-08 株式会社 オルタステクノロジー 投影表示装置
JP6645151B2 (ja) * 2015-12-07 2020-02-12 富士通株式会社 投影装置、投影方法及び投影用コンピュータプログラム
US20170185364A1 (en) * 2015-12-28 2017-06-29 Lunatech, Llc Methods and Systems For a Dual Function Multimedia Device
USD793440S1 (en) * 2016-01-26 2017-08-01 Google Inc. Display screen with transitional graphical user interface
CN105509663B (zh) * 2016-02-17 2019-12-27 京东方光科技有限公司 一种背光源平整度检测系统及检测方法
US10129510B2 (en) * 2016-02-18 2018-11-13 Samsung Electronics Co., Ltd. Initiating human-machine interaction based on visual attention
JP2017146927A (ja) * 2016-02-19 2017-08-24 ソニーモバイルコミュニケーションズ株式会社 制御装置、制御方法及びプログラム
KR101773772B1 (ko) * 2016-03-17 2017-09-04 주식회사 아보네 그림자 출력장치를 이용한 주문 관리 시스템
JP7134871B2 (ja) * 2016-05-16 2022-09-12 センセン ネットワークス グループ ピーティーワイ リミテッド 自動テーブルゲーム行動認識のためのシステム、コンピュータ読取可能媒体、および方法
US10481863B2 (en) 2016-07-06 2019-11-19 Baidu Usa Llc Systems and methods for improved user interface
US10558288B2 (en) * 2016-07-07 2020-02-11 Samsung Display Co., Ltd. Multi-touch display panel and method of controlling the same
USD812635S1 (en) 2016-07-07 2018-03-13 Baidu Usa Llc. Display screen or portion thereof with graphical user interface
USD817337S1 (en) * 2016-07-07 2018-05-08 Baidu Usa Llc Display screen or portion thereof with graphical user interface
USD815110S1 (en) * 2016-07-07 2018-04-10 Baidu Usa Llc Display screen or portion thereof with graphical user interface
KR20180017796A (ko) 2016-08-11 2018-02-21 주식회사 엘지화학 황-탄소 복합체, 이의 제조방법 및 이를 포함하는 리튬-황 전지
JP6980990B2 (ja) * 2016-08-31 2021-12-15 ソニーグループ株式会社 情報処理システム、情報処理方法、およびプログラム
JP6556680B2 (ja) * 2016-09-23 2019-08-07 日本電信電話株式会社 映像生成装置、映像生成方法、およびプログラム
US10802700B2 (en) 2016-11-25 2020-10-13 Sony Corporation Information processing apparatus and information processing method
CN106730827B (zh) 2016-12-06 2018-10-19 腾讯科技（深圳）有限公司 一种对象显示的方法以及终端设备
JP7006619B2 (ja) 2016-12-27 2022-01-24 ソニーグループ株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP2018106535A (ja) 2016-12-27 2018-07-05 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
WO2018123475A1 (ja) * 2016-12-27 2018-07-05 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
EP3582093A4 (en) * 2017-02-09 2019-12-18 Sony Corporation INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
JP2018128979A (ja) * 2017-02-10 2018-08-16 パナソニックＩｐマネジメント株式会社 厨房支援システム
WO2018150756A1 (ja) * 2017-02-15 2018-08-23 ソニー株式会社 情報処理装置、情報処理方法及び記憶媒体
JP6903935B2 (ja) * 2017-02-17 2021-07-14 ソニーグループ株式会社 情報処理システム、情報処理方法、およびプログラム
JP6769346B2 (ja) * 2017-03-02 2020-10-14 富士通株式会社 制御プログラム、制御方法、および情報処理端末
CN108570823B (zh) * 2017-03-07 2021-09-17 青岛胶南海尔洗衣机有限公司 一种应用于家用电器的显示装置及洗衣机
CN108570820B (zh) * 2017-03-07 2021-12-14 青岛胶南海尔洗衣机有限公司 一种应用于家用电器的显示装置及洗衣机
US20180260105A1 (en) 2017-03-08 2018-09-13 Nanning Fugui Precision Industrial Co., Ltd. Method for displaying sub-screen and device using the same
USD834611S1 (en) * 2017-03-14 2018-11-27 Facebook, Inc. Display panel of a programmed computer system with a graphical user interface
USD854560S1 (en) * 2017-03-17 2019-07-23 Health Management Systems, Inc. Display screen with animated graphical user interface
US10511818B2 (en) * 2017-03-29 2019-12-17 Intel Corporation Context aware projection
JP6570789B2 (ja) * 2017-04-24 2019-09-04 三菱電機株式会社 報知制御装置および報知制御方法
JP6463527B2 (ja) * 2017-05-12 2019-02-06 キヤノン株式会社 情報処理装置およびその制御方法、並びにプログラム
US10466889B2 (en) 2017-05-16 2019-11-05 Apple Inc. Devices, methods, and graphical user interfaces for accessing notifications
JP2018205478A (ja) * 2017-06-02 2018-12-27 セイコーエプソン株式会社 表示装置および表示装置の制御方法
US11082669B2 (en) * 2017-06-19 2021-08-03 Sony Corporation Image projection apparatus, image processing apparatus, image projection method, image processing method, and image projection system
CN107469351B (zh) * 2017-06-20 2021-02-09 网易（杭州）网络有限公司 游戏画面显示方法及装置、存储介质、电子设备
CN107277476B (zh) * 2017-07-20 2023-05-12 苏州名雅科技有限责任公司 一种适合在旅游景点供儿童互动体验的多媒体设备
US11417135B2 (en) * 2017-08-23 2022-08-16 Sony Corporation Information processing apparatus, information processing method, and program
USD857710S1 (en) * 2017-08-30 2019-08-27 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD859429S1 (en) * 2017-08-30 2019-09-10 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
US11460994B2 (en) * 2017-08-31 2022-10-04 Sony Corporation Information processing apparatus and information processing method
WO2019058521A1 (ja) * 2017-09-22 2019-03-28 ｐｏｐＩｎ株式会社 プロジェクタおよびプロジェクタシステム
USD857722S1 (en) * 2017-10-24 2019-08-27 Atlas Biomed Group Limited Display screen with graphical user interface
KR101972134B1 (ko) * 2017-10-31 2019-05-03 화남전자 주식회사 건설장비의 자동 캘리브레이션을 위한 변형 방지 삼각형 마커
US11144153B2 (en) * 2017-12-07 2021-10-12 Elliptic Laboratories As User interface with acoustic proximity and position sensing arrangements
USD841047S1 (en) * 2017-12-11 2019-02-19 Citrix Systems, Inc. Display screen or portion thereof with transitional graphical user interface
KR102007661B1 (ko) * 2017-12-15 2019-08-06 원광대학교산학협력단 원격주문 제어시스템 및 그의 제어방법
JP6693495B2 (ja) * 2017-12-15 2020-05-13 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
USD868800S1 (en) * 2018-01-05 2019-12-03 Google Llc Display screen or portion thereof with graphical user interface
JP7124336B2 (ja) * 2018-02-23 2022-08-24 京セラドキュメントソリューションズ株式会社 表示制御装置
US11875757B2 (en) * 2018-03-02 2024-01-16 Nec Corporation Information processing system
FR3079049B1 (fr) * 2018-03-13 2021-10-15 Immersion Procede de manipulation de contenant et contenu d'une information numerique
WO2019190511A1 (en) * 2018-03-28 2019-10-03 Rovi Guides, Inc. Systems and methods to provide media asset recommendations based on positioning of internet connected objects on an network-connected surface
CN108525285A (zh) * 2018-03-31 2018-09-14 千本樱科技成都有限公司 一种麻将自动算牌器及方法
CN108613151A (zh) * 2018-05-25 2018-10-02 讯飞幻境(北京)科技有限公司 一种智能台灯的控制系统
US10210882B1 (en) 2018-06-25 2019-02-19 Biamp Systems, LLC Microphone array with automated adaptive beam tracking
US10694285B2 (en) 2018-06-25 2020-06-23 Biamp Systems, LLC Microphone array with automated adaptive beam tracking
US10433086B1 (en) 2018-06-25 2019-10-01 Biamp Systems, LLC Microphone array with automated adaptive beam tracking
WO2020018592A1 (en) 2018-07-17 2020-01-23 Methodical Mind, Llc. Graphical user interface system
JP2020042592A (ja) * 2018-09-11 2020-03-19 ソニー株式会社 情報処理装置、描画制御方法及びそのプログラムを記録した記録媒体
WO2020071057A1 (ja) * 2018-10-01 2020-04-09 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
TWI699543B (zh) * 2018-11-09 2020-07-21 國立雲林科技大學 主動式打火機聲源辨識系統
JP7424309B2 (ja) 2018-11-21 2024-01-30 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US10884614B1 (en) * 2018-11-30 2021-01-05 Zoox, Inc. Actuation interface
CN109656439A (zh) * 2018-12-17 2019-04-19 北京小米移动软件有限公司 快捷操作面板的显示方法、装置及存储介质
JP7176398B2 (ja) * 2018-12-21 2022-11-22 トヨタ自動車株式会社 制御装置、車両、画像表示システム、及び画像表示方法
CN109683714B (zh) 2018-12-28 2021-08-31 北京小米移动软件有限公司 多媒体资源管理方法、装置及存储介质
KR102653252B1 (ko) * 2019-02-21 2024-04-01 삼성전자 주식회사 외부 객체의 정보에 기반하여 시각화된 인공 지능 서비스를 제공하는 전자 장치 및 전자 장치의 동작 방법
JP7188176B2 (ja) * 2019-02-25 2022-12-13 セイコーエプソン株式会社 プロジェクター、画像表示システム及び画像表示システムの制御方法
TWI739069B (zh) * 2019-03-04 2021-09-11 仁寶電腦工業股份有限公司 遊戲裝置與辨識遊戲裝置的方法
US11115765B2 (en) 2019-04-16 2021-09-07 Biamp Systems, LLC Centrally controlling communication at a venue
US10743105B1 (en) * 2019-05-31 2020-08-11 Microsoft Technology Licensing, Llc Sending audio to various channels using application location information
TWI714163B (zh) * 2019-07-11 2020-12-21 緯創資通股份有限公司 控制投影內容的方法及電子裝置
JP7363163B2 (ja) * 2019-07-26 2023-10-18 日本電気株式会社 監視装置、監視方法、および、プログラム、並びに、監視システム
JP7285481B2 (ja) * 2019-07-30 2023-06-02 パナソニックＩｐマネジメント株式会社 照明システム、及び、制御装置
USD953347S1 (en) * 2019-09-02 2022-05-31 Huawei Technologies Co., Ltd. Electronic display for a wearable device presenting a graphical user interface
JP7363235B2 (ja) * 2019-09-10 2023-10-18 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
JP7319888B2 (ja) * 2019-10-16 2023-08-02 日本たばこ産業株式会社 情報処理装置、プログラム及び情報処理システム
JP7320753B2 (ja) * 2019-10-31 2023-08-04 パナソニックＩｐマネジメント株式会社 制御システム
EP4115271A1 (en) 2020-03-04 2023-01-11 Abusizz AG Interactive display apparatus and method for operating the same
US11455085B2 (en) 2020-03-10 2022-09-27 Apple Inc. Devices, methods, and graphical user interfaces for interacting with user interface objects corresponding to applications
EP3933560A1 (en) 2020-06-30 2022-01-05 Spotify AB Methods and systems for providing animated visual feedback for voice commands
US11481938B2 (en) 2020-10-02 2022-10-25 Adobe Inc. Adaptable drawing guides
US11740853B1 (en) 2020-10-26 2023-08-29 Wells Fargo Bank, N.A. Smart table system utilizing extended reality
US11741517B1 (en) 2020-10-26 2023-08-29 Wells Fargo Bank, N.A. Smart table system for document management
US11429957B1 (en) 2020-10-26 2022-08-30 Wells Fargo Bank, N.A. Smart table assisted financial health
US11397956B1 (en) 2020-10-26 2022-07-26 Wells Fargo Bank, N.A. Two way screen mirroring using a smart table
US11457730B1 (en) 2020-10-26 2022-10-04 Wells Fargo Bank, N.A. Tactile input device for a touch screen
US11727483B1 (en) 2020-10-26 2023-08-15 Wells Fargo Bank, N.A. Smart table assisted financial health
USD973068S1 (en) * 2020-11-10 2022-12-20 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
JP7112627B2 (ja) * 2020-11-30 2022-08-04 ソニーグループ株式会社 制御装置、制御方法及びプログラム
JP7321196B2 (ja) * 2021-01-05 2023-08-04 三菱電機株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP7243748B2 (ja) * 2021-02-03 2023-03-22 セイコーエプソン株式会社 設定方法、及びプログラム
US20220291795A1 (en) * 2021-03-09 2022-09-15 Lenovo (Singapore) Pte. Ltd. Projecting interfaces on a surface
JPWO2022239152A1 (zh) * 2021-05-12 2022-11-17
US11545118B2 (en) * 2021-05-19 2023-01-03 Business Objects Software Ltd. Display of out-of-window status indicators in a virtual shelf of a diagram window
CN113568591B (zh) * 2021-06-15 2023-06-20 青岛海尔科技有限公司 智能设备的控制方法及控制装置、智能设备、智能餐桌
KR102364497B1 (ko) * 2021-10-20 2022-02-18 (주)유비더스시스템 인테리어 매질을 이용한 정전기식 터치 스크린 시스템
CN113873421B (zh) * 2021-12-01 2022-03-22 杭州当贝网络科技有限公司 一种基于投屏设备实现天空声音效的方法和系统
KR102446676B1 (ko) * 2022-05-02 2022-09-26 (주) 아하 AI와 IoT 기능을 융합하여 음성인식과 원격제어를 처리하는 스마트테이블 및 그 동작방법
KR102443108B1 (ko) * 2022-05-02 2022-09-14 경상남도 (교육청) 스마트 홈 암호 찾기 게임을 수행하기 위한 스마트 홈 암호 찾기 게임 장치
EP4273678A1 (en) 2022-05-06 2023-11-08 Apple Inc. Devices, methods, and graphical user interfaces for updating a session region
US11842028B2 (en) 2022-05-06 2023-12-12 Apple Inc. Devices, methods, and graphical user interfaces for updating a session region
TWI823789B (zh) * 2022-05-27 2023-11-21 陳泰生 電動麻將桌收牌啟閉裝置
JP7280453B1 (ja) * 2023-02-07 2023-05-23 株式会社サン・コンピュータ 麻雀点数計算システム、麻雀点数計算方法、および麻雀点数計算プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006287735A (ja) * 2005-04-01 2006-10-19 Fuji Photo Film Co Ltd 画像音声記録装置及び集音方向調整方法
CN102196176A (zh) * 2010-03-15 2011-09-21 索尼公司 信息处理设备、信息处理方法和程序
CN102668601A (zh) * 2009-12-23 2012-09-12 诺基亚公司 一种装置
WO2013105493A1 (en) * 2012-01-13 2013-07-18 Sony Corporation Information processing apparatus, information processing method, and computer program
CN103313080A (zh) * 2012-03-16 2013-09-18 索尼公司 控制设备、电子装置、控制方法和程序

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05107638A (ja) * 1991-10-18 1993-04-30 Fujitsu General Ltd 投射型表示装置
JPH08123652A (ja) 1994-10-26 1996-05-17 Sony Corp 表示装置
US7259747B2 (en) * 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP2004233845A (ja) * 2003-01-31 2004-08-19 Toshiba Corp 情報処理装置および表示輝度制御方法
US7370284B2 (en) * 2003-11-18 2008-05-06 Laszlo Systems, Inc. User interface for displaying multiple applications
US7394459B2 (en) * 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
JP3899375B2 (ja) 2004-09-03 2007-03-28 国立大学法人北陸先端科学技術大学院大学 表示制御装置
JP4664665B2 (ja) * 2004-12-22 2011-04-06 オリンパスイメージング株式会社 デジタルプラットフォーム装置
JP2007036482A (ja) 2005-07-25 2007-02-08 Nippon Telegr & Teleph Corp <Ntt> 情報投影表示装置およびプログラム
US7911444B2 (en) * 2005-08-31 2011-03-22 Microsoft Corporation Input method for surface of interactive display
JP2007282077A (ja) * 2006-04-11 2007-10-25 Seiko Epson Corp 放送受信装置および放送受信方法
US7552402B2 (en) * 2006-06-22 2009-06-23 Microsoft Corporation Interface orientation using shadows
JP2008033049A (ja) * 2006-07-28 2008-02-14 Ricoh Co Ltd 対象物指示装置
EP1884421B1 (en) * 2006-08-04 2008-10-08 Harman Becker Automotive Systems GmbH Method and system for processing voice commands in a vehicle enviroment
JP5464786B2 (ja) * 2006-12-21 2014-04-09 キヤノン株式会社 情報処理装置、制御方法、及び制御プログラム
JP2009025921A (ja) * 2007-07-17 2009-02-05 Canon Inc 情報処理装置及びその制御方法、プログラム、記録媒体
JP2011517112A (ja) * 2008-04-10 2011-05-26 ワールド・プロパティーズ・インコーポレイテッド 結合性が改良された回路材料およびその製造方法と製造物品
US8427424B2 (en) 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
JP2010113455A (ja) * 2008-11-05 2010-05-20 Toshiba Corp 画像処理装置および画像処理プログラム
JP2011040227A (ja) * 2009-08-07 2011-02-24 Sharp Corp 照明装置、照明システム及び照明装置の制御方法
JP4687820B2 (ja) 2009-11-09 2011-05-25 ソニー株式会社 情報入力装置及び情報入力方法
US20120287334A1 (en) 2010-01-27 2012-11-15 Koninklijke Philips Electronics, N.V. Method of Controlling a Video-Lighting System
JP2011227199A (ja) * 2010-04-16 2011-11-10 Nec Casio Mobile Communications Ltd 雑音抑圧装置、雑音抑圧方法及びプログラム
JP2011248768A (ja) * 2010-05-28 2011-12-08 Sony Corp 情報処理装置、情報処理システム及びプログラム
JP5516102B2 (ja) * 2010-06-11 2014-06-11 セイコーエプソン株式会社 光学式位置検出装置、電子機器及び表示装置
JP2012058704A (ja) * 2010-09-13 2012-03-22 Sanyo Electric Co Ltd 録音装置、録音条件設定方法および録音条件設定プログラム
US8682030B2 (en) * 2010-09-24 2014-03-25 Microsoft Corporation Interactive display
US8502816B2 (en) * 2010-12-02 2013-08-06 Microsoft Corporation Tabletop display providing multiple views to users
KR20130136566A (ko) * 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
US8643703B1 (en) * 2011-03-30 2014-02-04 Amazon Technologies, Inc. Viewer tracking image display
US20130057587A1 (en) * 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US8976135B2 (en) * 2011-10-13 2015-03-10 Autodesk, Inc. Proximity-aware multi-touch tabletop
US9223415B1 (en) * 2012-01-17 2015-12-29 Amazon Technologies, Inc. Managing resource usage for task performance
JP2013182624A (ja) * 2012-03-01 2013-09-12 Toshiba Corp 情報処理装置、スケジュール表示プログラム
JP2013214259A (ja) * 2012-04-04 2013-10-17 Sharp Corp 表示装置
JP6217058B2 (ja) 2012-05-09 2017-10-25 セイコーエプソン株式会社 画像表示システム
US8837780B2 (en) * 2012-06-22 2014-09-16 Hewlett-Packard Development Company, L.P. Gesture based human interfaces
US9285893B2 (en) * 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
CN103092344A (zh) * 2013-01-11 2013-05-08 深圳市金立通信设备有限公司 一种控制终端屏幕画面旋转的方法及终端
JP6036856B2 (ja) * 2013-02-08 2016-11-30 株式会社ニコン 電子制御装置、制御方法、及び制御プログラム
TWI553544B (zh) * 2013-02-27 2016-10-11 緯創資通股份有限公司 電子裝置及影像調整方法
US9384751B2 (en) * 2013-05-06 2016-07-05 Honeywell International Inc. User authentication of voice controlled devices
KR102070623B1 (ko) * 2013-07-09 2020-01-29 삼성전자 주식회사 비트 라인 등화 회로

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006287735A (ja) * 2005-04-01 2006-10-19 Fuji Photo Film Co Ltd 画像音声記録装置及び集音方向調整方法
CN102668601A (zh) * 2009-12-23 2012-09-12 诺基亚公司 一种装置
CN102196176A (zh) * 2010-03-15 2011-09-21 索尼公司 信息处理设备、信息处理方法和程序
WO2013105493A1 (en) * 2012-01-13 2013-07-18 Sony Corporation Information processing apparatus, information processing method, and computer program
CN103313080A (zh) * 2012-03-16 2013-09-18 索尼公司 控制设备、电子装置、控制方法和程序

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107231516A (zh) * 2017-07-27 2017-10-03 重庆万建电子工程有限责任公司重庆第分公司 带刮灰结构的半球型摄像机
CN109920320A (zh) * 2017-12-12 2019-06-21 成都金都超星天文设备有限公司 一种操控天象仪进行天象演示的方法及控制系统
CN109920320B (zh) * 2017-12-12 2020-12-25 成都金都超星天文设备有限公司 一种操控天象仪进行天象演示的方法及控制系统

Also Published As

Publication number Publication date
CN105830005A (zh) 2016-08-03
JP6555129B2 (ja) 2019-08-07
BR112016014491A2 (pt) 2017-08-08
BR112016014515A2 (pt) 2017-08-08
EP3089013A1 (en) 2016-11-02
RU2016124468A (ru) 2017-12-25
TW201528112A (zh) 2015-07-16
US20170031530A1 (en) 2017-02-02
EP3089012A4 (en) 2017-08-02
WO2015098190A1 (ja) 2015-07-02
JP6795061B2 (ja) 2020-12-02
JPWO2015098187A1 (ja) 2017-03-23
JPWO2015098189A1 (ja) 2017-03-23
KR20160102180A (ko) 2016-08-29
EP3089012A1 (en) 2016-11-02
WO2015098187A1 (ja) 2015-07-02
EP3089446A1 (en) 2016-11-02
RU2016124466A (ru) 2017-12-25
JPWO2015098188A1 (ja) 2017-03-23
KR20160102411A (ko) 2016-08-30
TW201525835A (zh) 2015-07-01
EP3089011A4 (en) 2017-11-15
JPWO2015098190A1 (ja) 2017-03-23
TW201525772A (zh) 2015-07-01
JP6428641B2 (ja) 2018-11-28
KR20160102179A (ko) 2016-08-29
KR20160102412A (ko) 2016-08-30
JP2019185812A (ja) 2019-10-24
EP3089446A4 (en) 2017-10-25
US20170039030A1 (en) 2017-02-09
EP3089013A4 (en) 2017-11-22
RU2016124467A (ru) 2017-12-25
RU2016124465A (ru) 2017-12-25
US20170041581A1 (en) 2017-02-09
EP3089011A1 (en) 2016-11-02
WO2015098189A1 (ja) 2015-07-02
US11146771B2 (en) 2021-10-12
CN106104455A (zh) 2016-11-09
WO2015098188A1 (ja) 2015-07-02
TW201531917A (zh) 2015-08-16
CN105850116A (zh) 2016-08-10
US20170038892A1 (en) 2017-02-09

Similar Documents

Publication Publication Date Title
CN106134190A (zh) 显示控制装置、显示控制方法和程序
US11748056B2 (en) Tying a virtual speaker to a physical space
CN105531660B (zh) 用于支持用户交互的用户终端设备及其方法
CN107480161A (zh) 用于媒体探究的智能自动化助理
CN110275664A (zh) 用于提供视听反馈的设备、方法和图形用户界面
CN110460797A (zh) 创意相机
CN110457092A (zh) 头像创建用户界面
CN109643214A (zh) 用于设备后部上的力敏手势的设备、方法和图形用户界面
CN110109730A (zh) 用于提供视听反馈的设备、方法和图形用户界面
Kajastila Interaction with eyes-free and gestural interfaces

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20190910