CN109997097A - 信息处理装置、信息处理方法以及计算机程序 - Google Patents

信息处理装置、信息处理方法以及计算机程序 Download PDF

Info

Publication number
CN109997097A
CN109997097A CN201780072301.7A CN201780072301A CN109997097A CN 109997097 A CN109997097 A CN 109997097A CN 201780072301 A CN201780072301 A CN 201780072301A CN 109997097 A CN109997097 A CN 109997097A
Authority
CN
China
Prior art keywords
user
output
information
displacement
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780072301.7A
Other languages
English (en)
Inventor
梨子田辰志
三上真范
山崎达也
高桥巨成
志水曜介
西川纯
枝光直子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority claimed from PCT/JP2017/042690 external-priority patent/WO2018101279A1/ja
Publication of CN109997097A publication Critical patent/CN109997097A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/06—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with support elements performing a rotating cycling movement, i.e. a closed path movement
    • A63B22/0605—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with support elements performing a rotating cycling movement, i.e. a closed path movement performing a circular movement, e.g. ergometers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0625—Emitting sound, noise or music
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0638—Displaying moving images of recorded environment, e.g. virtual environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0638—Displaying moving images of recorded environment, e.g. virtual environment
    • A63B2071/0644—Displaying moving images of recorded environment, e.g. virtual environment with display speed of moving landscape controlled by the user's performance
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/065—Visualisation of specific exercise parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0655—Tactile feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0658—Position or arrangement of display
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/02—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2209/00—Characteristics of used materials
    • A63B2209/02—Characteristics of used materials with reinforcing fibres, e.g. carbon, polyamide fibres
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2210/00—Space saving
    • A63B2210/50—Size reducing arrangements for stowing or transport
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/20—Distances or displacements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/30—Speed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/30—Speed
    • A63B2220/34—Angular speed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/50—Force related parameters
    • A63B2220/51—Force
    • A63B2220/52—Weight, e.g. weight distribution
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/70—Measuring or simulating ambient conditions, e.g. weather, terrain or surface conditions
    • A63B2220/72—Temperature
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/70—Measuring or simulating ambient conditions, e.g. weather, terrain or surface conditions
    • A63B2220/75—Humidity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/807—Photo cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/83—Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A63B2220/833—Sensors arranged on the exercise apparatus or sports implement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50—Wireless data transmission, e.g. by radio transmitters or telemetry
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00—Measuring physiological parameters of the user
    • A63B2230/04—Measuring physiological parameters of the user heartbeat characteristics, e.g. ECG, blood pressure modulations
    • A63B2230/06—Measuring physiological parameters of the user heartbeat characteristics, e.g. ECG, blood pressure modulations heartbeat rate only
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00—Measuring physiological parameters of the user
    • A63B2230/75—Measuring physiological parameters of the user calorie expenditure
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/04—Games or sports accessories not covered in groups A63B1/00 - A63B69/00 for small-room or indoor sporting games
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Cardiology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

为了提供一种基于关于与用户的身体运动对应的对象位移的信息来控制输出的信息处理装置。该信息处理装置设置有：位移信息获取单元，其用于基于与用户所在的对象的规定区域有关的位置信息，获取与对应于规定区域处的用户的身体运动的三维位移相对应的位移信息；以及输出控制单元，其用于基于所获取的位移信息进行控制使得输出单元执行规定的输出。所述对象允许用户就座并具有椅背，例如，位移信息获取单元获取椅背在纵向方向、横向方向和竖直方向中的至少一个方向上的位置变化。

Description

信息处理装置、信息处理方法以及计算机程序
技术领域
本说明书中公开的技术涉及根据来自用户的指令控制输出的信息处理装置、信息处理方法和计算机程序。
背景技术
提供使用多视点相机或广角相机捕获的自由视点视频的服务已经增多。例如，诸如体育或音乐会广播、非物质文化资产、教育内容等的娱乐系统的视频可以被例示为该技术的主要应用领域。此外，与自由视点视频相关的技术也正在扩展到虚拟现实(VR)视频中，例如使用计算机图形技术生成的游戏内容。
自由视点视频是用户可以任意改变视点位置或视线方向的视频。例如，当用户使用固定显示设备观看自由视点视频时，使用控制器或控制台输入关于视点位置或视线方向的指令。此外，当用户使用头戴式显示器(HMD)观看自由视点视频时，可以通过基于检测用户头部的运动所获得的结果而改变视点位置或视线方向来向用户提供实际地探索捕获到该视频的空间的体验。
此外，已经提出了基于来自专用控制器(例如手持控制器)的输入来生成在HMD中显示的增强虚拟现实场景的系统(例如，参见专利文献1)。引用列表
专利文献
专利文献1：JP 2016-528942T
发明内容
技术问题
本说明书中公开的技术的目的是提供一种能够根据来自用户的指令适当地控制输出的优秀的信息处理装置、信息处理方法和计算机程序。问题的解决方案
鉴于上述问题发明了本文中公开的技术，其第一方面是一种信息处理装置，包括：位移信息获取单元，其被配置成基于用户乘坐的预定对象的预定部分的位置信息，获取该预定部分的根据用户的身体运动的与三维位移对应的位移信息；以及输出控制单元，其被配置成基于所获取的位移信息执行控制使得输出单元执行预定输出。
此外，本文中公开的技术的第二方面是一种信息处理方法，包括：基于用户乘坐的预定对象的预定部分的位置信息，获取与该预定部分的根据用户的身体运动的与三维位移对应的位移信息的位移信息获取步骤；以及基于所获取的位移信息执行控制使得输出单元执行预定输出的输出控制步骤。
此外，本文中公开的技术的第三方面是一种以计算机可读格式描述的计算机程序，该计算机程序用于使计算机用作：位移信息获取单元，其被配置成基于用户乘坐的预定对象的预定部分的位置信息，获取与该预定部分的根据用户的身体运动的与三维位移对应的位移信息；以及输出控制单元，其被配置成基于所获取的位移信息执行控制使得输出单元执行预定输出。
本发明的有利效果
根据本说明书中公开的技术，可以提供一种能够根据用户的身体运动适当地控制输出的优秀的信息处理装置、信息处理方法和计算机程序。
注意，在本说明书中描述的有利效果仅仅是为了示例，并且本技术的有利效果不限于此。此外，在某些情况下，除了以上给出的有利效果之外，本技术还可以表现出另外的有利效果。
通过基于下文中讨论的示例性实施方式和附图的更详细的描述，将阐明本说明书中公开的技术的其他目的、特征和优点。
附图说明
[图1]图1是示出穹顶显示器100的配置示例的图。
[图2]图2是示出穹顶显示器100的配置示例的图。
[图3]图3是示出穹顶显示器100的配置示例的图。
[图4]图4是示出穹顶显示器100的配置示例的图。
[图5]图5是示出穹顶显示器100的配置示例的图。
[图6]图6是示出穹顶显示器100的配置示例的图。
[图7]图7是示出穹顶显示器100的配置示例的图。
[图8]图8是示出穹顶显示器100的配置示例的图。
[图9]图9是示出实现与用户的交互的系统的配置示例的图。
[图10A]图10A是示出坐在座椅1000上的用户正在观看投射到穹顶屏101的视频的样子的示例的示意图。
[图10B]图10B是示出坐在座椅1000上的用户正在观看投射到穹顶屏101的视频的样子的示例的示意图。
[图11A]图11A是示出坐在座椅1000上的用户正在观看投射到穹顶屏101的视频的样子的示例的示意图。
[图11B]图11B是示出坐在座椅1000上的用户正在观看投射到穹顶屏101的视频的样子的示例的示意图。
[图12A]图12A是示出坐在座椅1000上的用户正在观看投射到穹顶屏101的视频的样子的示例的示意图。
[图12B]图12B是示出坐在座椅1000上的用户正在观看投射到穹顶屏101的视频的样子的示例的示意图。
[图13]图13是示出使用市售的低音音箱935和扬声器936的配置示例的图。
[图14]图14是示出将低音音箱935安装成嵌入支承体102的配置示例的图。
[图15]图15是示出将低音音箱935安装成嵌入支承体102的配置示例的图。
[图16]图16是示出将低音音箱935和扬声器936安装成嵌入支承体102的配置示例的图。
[图17]图17是示出在座椅1000中包括头枕扬声器934和后扬声器937的配置示例的图。
[图18]图18是示出在座椅1000中包括头枕扬声器934的配置示例的透视图。
[图19]图19是示出作为获取根据用户的身体运动的位移信息的对象的示例的座椅1000的图。
[图20]图20是例示了将运动视差的左右变化附加到自由视点视频的视频处理的图。
[图21]图21是例示了将运动视差之前和之后的倾斜角变化附加到自由视点视频的视频处理的图。
[图22]图22是例示了将运动视差的左右倾斜角变化附加到自由视点视频并且将视点位置改变为左右的视频处理的图。
[图23]图23是示出使用座椅椅背的弹簧特性使正倚靠椅背的用户抬起他或她的身体的样子的图。
[图24]图24是示出作为获取根据用户的身体运动的位移信息的对象的示例的跑步机1500的图。
[图25]图25是示出作为获取根据用户的身体运动的位移信息的对象的示例的健身单车1600的图。
[图26]图26是示出用户操作健身单车1600的脚蹬以使前轮旋转的样子的图。
[图27]图27是示出用户正在健身单车1600上执行站立蹬踏动作的样子的图。
[图28]图28是示出用户正在健身单车1600上向右和向左倾斜并蹬踏的样子的图。
[图29]图29是示出用户正坐在座椅上观看在房间的天花板或墙壁表面上显示的视频的样子的图。
[图30]图30是示出用户正坐在带篷的座椅上的样子的图。
[图31]图31是示出用户正坐在带篷的座椅上(用户在篷合拢的情况下观看视频的状态)的样子的图。
[图32]图32是示出用户正坐在乘用车的座位上的样子的图。
[图33]图33是示出用户躺在床上的样子的图。
[图34]图34是示出用户躺在床上的样子的图。
[图35]图35是示出用户在床上的身体运动的示例的图。
[图36]图36是示出用户在床上的身体运动的示例的图。
[图37]图37是示出用户正在控制自由视点视频中的UI菜单和内容的样子的图。
[图38]图38是示出基于根据用户的身体运动的对象的位移信息来控制与用户的交互的处理过程的流程图。
[图39]图39是示出基于标记的移动来自动确定对象的类型以及获取位移信息的处理过程的流程图。
[图40]图40是示出基于适当的标记来自动确定对象的类型以及获取位移信息的处理过程的流程图。
[图41]图41是示出包括根据音频信号来显示视频的可视化器功能的示例的配置示例的图。
[图42]图42是仅示出图41所示配置中的穹顶屏101的图。
[图43]图43是示出在大致面对穹顶屏101的视点处的、图41所示的用户的视野的图。
[图44]图44是示出在穹顶屏101上显示的效果图像的变化的示例的图。
[图45]图45是示出在穹顶屏101上显示的效果图像的变化的示例的图。
[图46]图46是示出在穹顶屏101上显示的效果图像的变化的示例的图。
[图47]图47是示出在穹顶屏101上显示的效果图像的变化的示例的图。
[图48]图48是示出在穹顶屏101上显示的效果图像的变化的示例的图。
[图49]图49是示出在穹顶屏101上显示的效果图像的变化的示例的图。
[图50]图50是示出在穹顶屏101上显示的效果图像的变化的示例的图。
[图51]图51是示出在穹顶屏101上显示的效果图像的变化的示例的图。
[图52]图52是示出在穹顶屏101上显示的效果图像的变化的示例的图。
[图53]图53是示出在穹顶屏101上显示的效果图像的变化的示例的图。
[图54]图54是示出在穹顶屏101上显示的效果图像的变化的示例的图。
[图55]图55是仅示出效果图像中包括的一些颗粒的图。
[图56]图56是仅示出效果图像中包括的一些颗粒的图。
[图57]图57是仅示出效果图像中包括的一些颗粒的图。
[图58]图58是仅示出效果图像中包括的一些颗粒的图。
[图59]图59是仅示出效果图像中包括的一些颗粒的图。
[图60]图60是仅示出效果图像中包括的一些颗粒的图。
[图61]图61是仅示出效果图像中包括的一些颗粒的图。
[图62]图62是仅示出效果图像中包括的一些颗粒的图。
[图63]图63是示出布置有用户终端700的配置示例的透视图。
[图64]图64是示出用户终端700的配置示例的图。
[图65]图65是示出系统900包括用户终端700的配置示例的图。
[图66]图66是示出更小型化的穹顶显示器100的第一配置示例的图。
[图67]图67是示出更小型化的穹顶显示器100的第一配置示例的图。
[图68]图68是示出更小型化的穹顶显示器100的第一配置示例的图。
[图69]图69是示出更小型化的穹顶显示器100的第一配置示例的图。
[图70]图70是示出更小型化的穹顶显示器100的第一配置示例的图。
[图71]图71是示出更小型化的穹顶显示器100的第一配置示例的图。
[图72]图72是示出在配置示例中穹顶显示器100包括三个投影仪的配置示例的图。
[图73]图73是示出在配置示例中穹顶显示器100包括四个投影仪的配置示例的图。
[图74]图74是示出更小型化的穹顶显示器100的第二配置示例的图。
[图75]图75是示出更小型化的穹顶显示器100的第二配置示例的图。
[图76]图76是示出更小型化的穹顶显示器100的第二配置示例的图。
[图77]图77是示出更小型化的穹顶显示器100的第二配置示例的图。
[图78]图78是示出更小型化的穹顶显示器100的第二配置示例的图。
[图79]图79是示出更小型化的穹顶显示器100的第二配置示例的图。
[图80]图80是示出在配置示例中穹顶显示器100包括三个投影仪的配置示例的图。
[图81]图81是示出在配置示例中穹顶显示器100包括四个投影仪的配置示例的图。
[图82]图82是示出更小型化的穹顶显示器100的配置示例的第三配置示例的图。
[图83]图83是示出更小型化的穹顶显示器100的配置示例的第三配置示例的图。
[图84]图84是示出更小型化的穹顶显示器100的配置示例的第三配置示例的图。
[图85]图85是示出更小型化的穹顶显示器100的配置示例的第三配置示例的图。
[图86]图86是示出更小型化的穹顶显示器100的配置示例的第三配置示例的图。
[图87]图87是示出更小型化的穹顶显示器100的配置示例的第三配置示例的图。
[图88]图88是示出在配置示例中穹顶显示器100包括三个投影仪的配置示例的图。
[图89]图89是示出在配置示例中穹顶显示器100包括四个投影仪的配置示例的图。
[图90]图90是示出其中集成有健身单车的穹顶显示器100的配置示例的图。
[图91]图91是示出其中集成有健身单车的穹顶显示器100的配置示例的图。
[图92]图92是示出其中集成有健身单车的穹顶显示器100的配置示例的图。
[图93]图93是示出其中集成有健身单车的穹顶显示器100的配置示例的图。
[图94]图94是示出其中集成有健身单车的穹顶显示器100的配置示例的图。
[图95]图95是示出其中集成有健身单车的穹顶显示器100的配置示例的图。
[图96]图96是更详细地示出根据示例8的投影仪的配置和布置的说明图。
[图97A]图97A是示出穹顶屏101与用户头部之间的位置关系的示例的图。
[图97B]图97B是示出穹顶屏101与用户头部之间的位置关系的示例的图。
[图98]图98是示出在用户正在进行站立蹬踏运动的情况下穹顶屏101与用户头部之间的位置关系的示例的图。
[图99A]图99A是示出当从竖直的上侧观察时，在被布置成面向水平方向的投影仪103和104的投影方向相交的情况下的投影范围的示例的图。
[图99B]图99B是示意性地示出当从竖直的上侧观察时，在被布置成面向水平方向的投影仪103和104的投影方向相交的情况下的投影范围的示例的图。
[图100]图100是示意性地示出当从竖直的上侧观察时，在被布置成面向水平方向的投影仪103和104的投影方向不相交的情况下的投影范围的示例的图。
具体实施方式
下面将参照附图详细地描述本说明书中公开的技术的实施方式。
A.系统配置
图1和图2示出了可以应用于显示自由视点视频或VR视频的穹顶显示器100的配置示例。当用户进入穹顶时，用户可以观察到投射的视频。图1示出了在前平面上切割的穹顶屏101的横截面以及图2示出了在矢状面上切割的穹顶屏101的横截面。
所示的穹顶显示器100包括穹顶屏101、支承穹顶屏101的支承体102、以及两个投影仪103和104。投影仪103和104中的每个基于基带视频信号向穹顶屏101投射视频。此外，观看所投射的视频的用户所坐的座椅106安装在由穹顶屏101形成的空间内。
穹顶屏101具有作为投影图像的显示表面的内周。穹顶屏101例如由诸如光纤增强塑料(FRP)的树脂、金属、玻璃、亚克力等制成。优选的是，在穹顶屏101的内周表面上应用用于防止光(投影视频)的漫反射的涂装或涂覆或其他表面处理。穹顶屏101的内周具有球形或半球形形状。通过使用具有球形或半球形形状的穹顶屏101，可以投影具有真实感并且在水平方向和竖直方向上具有宽视角的视频。注意，穹顶屏101的外形不受特别限制。例如，穹顶屏101可以是可折叠或可收纳的穹顶屏(未示出)。
支承体102包括具有相同的旋转轴的一对轴部102A和102B并且利用这一对轴部102A和102B来支承穹顶屏101，使得穹顶屏101能够在矢状面内围绕水平轴旋转。然而，该结构不限于利用一对轴部102A和102B来支承穹顶屏101的结构，只要可以支承穹顶屏101使其能够在矢状面内围绕水平轴旋转即可。此外，支承体102还可以包括用于支承穹顶屏101以使穹顶屏101能够围绕竖直轴旋转的机构。此外，支承体102可以具有支承穹顶屏101同时允许除旋转之外的自由度(例如上下运动)的结构。
两个投影仪103和104在穹顶屏101的内周上分别投影从视频解码单元105分别提供的视频信号(具有宽视角的视频信号)。假设投影仪103和104中的每个可以使用激光器、LED、汞灯或氙灯作为光源在穹顶屏101上投影具有高色彩饱和度和良好的色彩再现性的图像。
投影仪103和104中的每个相对于穹顶屏101的相对位置和姿态围绕穹顶屏101的周边固定，使得穹顶屏101的内周的整个显示表面可以被来自各个投影仪103和104的投影图像覆盖。假设投影仪103和104中的每个例如通过在三个轴方向上以及围绕相应的轴具有六个自由度的工作台(未示出)固定在穹顶屏101处，并且能够精细地调整每个光轴(投影方向)。如果穹顶屏101围绕水平轴旋转(稍后将描述)，则投影仪103和104中的每个也以一体的方式移动。
例如，通过对从各个投影仪103和104投影在穹顶屏101上的图像之间的接合部分执行缝合处理，可以在穹顶屏101上呈现具有宽视角的视频。可以对该缝合处理应用任意算法。具体地，可以通过对投影图像之间的接合部分执行几何校正、边缘融合等而在穹顶屏101上呈现出具有宽视角的视频。当然，可以对几何校正或边缘融合处理应用任何算法。
假设来自投影仪103和104中的每个的投影视频具有4K(约4000水平×2000竖直)的分辨率。此外，可以通过图像处理来校正投影仪103和104中的每个具有的光学畸变或者由于穹顶屏101的内周的变形(包括随时间的变化)等而导致的具有宽视角的视频的畸变。具体地，可以通过图像处理来校正投影仪103和104中的每个具有的亮度或色调或光学畸变的个体差异或者由于穹顶屏101的内周的变形(包括随时间的变化)而导致的具有宽视角的视频的畸变。为了校正视频的畸变，例如可以执行将根据现有图像形成的测试图案从投影仪103和104中的每个投影到穹顶屏101并且消除测试图案的投影图像的畸变的图像处理。具体地，可以执行下述图像处理：将根据现有形状形成的测试图案从投影仪103和104中的每个投影到穹顶屏101，用外部相机等拍摄投影的测试图案并基于拍摄图像来消除测试图案的投影图像的畸变。此外，投影仪103和104中的每个的位置与姿态估计、穹顶屏101的形状估计等的三维测量结果可以用于基于拍摄图像消除畸变的图像处理。此外，还可以通过图像处理来校正由于投影仪103和104中的每个被固定到穹顶屏101时的位置确定误差而导致的投影图像的畸变。
可以显示包括菜单、按钮等的图形用户接口(GUI)使其叠加在从投影仪103和104中的每个投射的完整穹顶视频上。可以通过手势输入、视线输入等各种输入手段来操作GUI。
穹顶屏101被支承，使得穹顶屏101可以围绕支承体102旋转。如图1和图2所示，在穹顶屏101被大致水平支承的情况下，可以在穹顶屏101的显示表面上沿水平方向呈现360度的全周视频。此外，如图3和图4所示，如果穹顶屏101在矢状面内围绕水平轴绕轴部102A和102B的旋转轴旋转了90度，则可以在穹顶屏101的显示表面上沿竖直方向呈现360度的全周视频。例如，在假设观察到天空、上层等的具有宽视角的视频的情况下，如图3和图4所示，如果穹顶屏101旋转了90度，则还可以呈现向下部分(例如，地面)的视频。此外，除了如图1至图4那样沿水平方向或竖直方向设置穹顶屏101之外，还可以如图5和图6所示通过使穹顶屏101在矢状面内围绕水平轴以0至90度的任意角度倾斜来使用穹顶显示器100。
此外，虽然在图1至图6所示的配置示例中穹顶显示器100包括两个投影仪103和104，但是也可以设置三个或更多个投影仪。图7示出了穹顶显示器100的配置的示例，其中除了投影仪103和104之外，还有附接至穹顶屏101的两个投影仪108和109。
例如，可以采用手掌大小的具有高分辨率的微型投影仪作为向穹顶屏101投射视频的每个投影仪103和104。由于微型投影仪不需要安装区域，因此可以增加安装在穹顶屏101中的微型投影仪的数目。图8示出了在穹顶屏101中安装有许多微型投影仪的样子。当投影仪的安装数目增加时，可以提高投影视频的亮度、对比度和分辨率。
此外，当用户在穹顶屏101中执行手势运动等时，在某些情况下，来自某个投影仪的投影视频会被用户悬垂的手阻挡，但是被阻挡的投影视频可以由其他投影仪的投影视频来补充。当使许多投影仪开启时，功耗会增加。因此，安装的所有投影仪不是同时驱动的，而是可以仅使必要数目的投影仪被适当地部分操作。
例如，可以执行控制使得根据用户在穹顶屏101中的身体姿势、手的位置等来选择其投影图像没有被遮蔽的投影仪并使其被部分地驱动。可以为每个投影仪安装相机、距离传感器等，可以检测投影仪与穹顶屏101的表面之间是否存在障碍物或者投影视频上是否出现阴影，可以关闭未能良好地投射视频的投影仪并且可以替代地开启相邻的投影仪。在图8中，假设以白色显示的微型投影仪是开启的而以灰色显示的微型投影仪是关闭的。
较之用户利用HMD观察放大的虚拟图像的情况，投射到穹顶屏101的视频具有用户更易于感受到主体的尺度感觉的优点。例如，当穹顶屏101的内径被设定为约1.5米到2米时，可以显示用户感知为真实大小的主体(人等)的视频并增加真实感。例如，在投射通过从相机视角拍摄人物而获得的视频的情况下，用户可以感受到视频中的人与用户的眼睛相匹配(进行眼神接触)的真实感的强烈体验。此外，在穹顶显示器100中可以享受到比HMD更大的自由感。然而，通过在水平方向上呈现360度的完整穹顶视频而增加了沉浸感。
简而言之，投射到穹顶屏101的视频可以说是更接近现实的周围视频。此外，通过将使用扬声器或耳机的立体声声音和关于穹顶显示器100的信号处理相结合，可以向用户提供处于拍摄和记录视频和声音的地点或与该地点相关的感觉。
注意，还存在HMD，作为使得能够观看自由视点视频或VR视频的显示装置。由于HMD较小而且设置HMD的位置不受限制，因此可以在任何地方使用HMD。另一方面，存在的问题是，当用户佩戴HMD时，由于头部被紧固或者必须用颈部来支承装置的重量，因此如果用户长时间使用HMD会感到疲劳。此外，存在由于HMD紧密地粘附于用户的皮肤上因而装置会因出汗而受损的问题。另外，还存在如下问题：由于用户若佩戴HMD就会掩盖该用户的面部和视野，因此用户难以将HMD与其他输入设备组合使用、无法读取表情而且如果用户移动则存在用户将他/她的手臂或腿与障碍物相碰的风险。
相比之下，在穹顶显示器100的情况下，由于用户没有佩戴任何东西，因此具有用户感受到自由感并且可以容易地长时间使用穹顶显示器的优点。此外，穹顶屏101中的用户可以观察到用相机拍摄的图像等，并且可以执行面部识别(个人认证)或表情识别。此外，当多人同时进入穹顶屏101时，容易简单地共享观看的视频并实现协同工作。
此外，穹顶显示器100可以包括用于穹顶中包围的空间的多模式接口。多模式接口包括例如用于通过调节穹顶中的温度或湿度、使气味生成、向用户送风(微风、逆风或空气喷射)或喷雾(水喷射)、给用户的身体以触摸感(戳背部的效果、任何东西与后颈或脚接触的感觉等)或者振动或晃动(来自座椅106下方的震动、地面轰隆等)或者提供气味或味道来自由地控制观看空间的环境的装置。由于穹顶屏101将工作空间与外界隔开，因此应用多模式交互使得可以使用户体验到虚拟现实空间的真实感。
在图1等所示的配置示例中假设穹顶显示器100是在室内安装和使用，但是它也可以在室外安装和使用。此外，在支承体102的下端可以安装诸如脚轮的移动组件以使得可以容易地移动安装位置。此外，假设单个穹顶显示器100不仅由一人使用而且也会由多人使用或者在企业对企业(B2B)中使用。替选地，房间的天花板或墙壁表面或乘用车内部的车壁表面也可以被认为用作除穹顶形状之外的投影表面以便可以显示自由视点视频或VR视频(如下文所述)。
注意，在该实施方式中，假设穹顶显示器100能够改变自由视点视频的视点位置和视线方向并显示立体可见视频。
视点位置的移动例如包括使安装有捕获自由视点视频的多视点相机或广角相机的移动装置移动(参见图22)的连续移动和执行远距视点位置之间的瞬时移动(跳转)的不连续移动。在视点位置连续移动的情况下，投影到穹顶屏101的视频也连续变化。在视点位置不连续地改变的情况下，投影到穹顶屏101的视频瞬时地变化为后续视点位置处的视频。注意，瞬时移动的视点位置处的至少一些视频可以是VR视频或CG视频而不是真实的拍摄视频。
此外，视线方向的变化例如等同于捕获自由视点视频的相机的方向的变化(围绕轴的滚转、俯仰或偏转中的至少一种)(参见图22)。当视线方向改变时，例如，在穹顶屏101的用户的正面方向上显示的视频(视角)沿着视线方向的改变被取消的方向移动(当视线向右移动时显示视频向左偏移，并且改变之前显示在用户右侧的视频区域被显示在正面)。
此外，在该实施方式中，假设在自由视点视频上显示有UI菜单或者以画中画和CG的交互格式执行内容控制(参见图37)。
图9示出了系统900的配置示例，其在穹顶显示器100上显示视频并实现与用户的交互。注意，应当完全理解的是，由所示系统900实现的交互不仅可以应用于穹顶显示器100，也可以应用于显示自由视点视频或VR视频的各种类型的显示设备。也就是说，至少可以用HMD来替代系统900的输出系统。此外，即使在用户没有佩戴任何东西的状态下，系统900也可以实现交互，因此具有不需要专用控制器的优点。这一点的细节将在稍后描述。
所示的系统900包括：视频显示系统，其使得视频显示在诸如穹顶屏101的显示屏上；音频输出系统，其根据所显示的视频来输出音频声音；输入系统，关于用户在穹顶中看到和听到视频和音频声音的传感器信息输入到该输入系统；以及输出系统，其根据来自输入系统的输入信息来输出反馈。每个系统的操作被配置成由控制单元910总体控制。
控制单元910例如被配置成诸如芯片上系统(SoC)的集成电路。在用作控制单元910的SoC上安装有实现主控制器911、主存储器912、通信单元913、视频数字信号处理单元(视频DSP)914、音频数字信号处理单元(辅助DSP)915等的功能的多个电路模块。
主控制器911控制穹顶屏101中的视频输出和音频输出，并且基于关于用户的传感器信息来控制反馈输出。在该实施方式中，假设主控制器911还用作“输出控制单元”，其基于与用户的身体运动对应的对象的位移信息来控制反馈输出以实现根据用户的身体运动的交互(如下文所述)。此外，作为输出控制单元，主控制器911可以根据要输出的音频声音来控制视频输出。
主存储器912被配置为闪速存储器或诸如双倍数据速率(DDR)的SDRAM，并且被用作主控制器911的工作存储器。
通信单元913被配置为无线保真(Wi-Fi)、蓝牙(注册商标)、近场通信(NFC)等无线通信模块。例如，以流传输方式传送的自由视点视频和立体音频声音可以由通信单元913接收并由穹顶显示器100再现。这里，视频或音频源不限于流传输。例如，也可以由穹顶显示器100再现和输出记录在诸如蓝光盘(BD)的介质上的视频或音频声音。此外，通信单元913可以接收来自下文将描述的音频播放器944的音频信号。
视频DSP 914在其中包括存储器(帧存储器)。视频DSP 914对由通信单元913接收的视频信号执行数字信号处理。此外，系统900包括向作为视频显示系统的穹顶屏101投射视频的两个或更多个投影仪103、104等。视频DSP 914相当于图1所示的穹顶显示器100的视频解码单元105，并且视频DSP 914将信号处理后的RGB格式的视频信号输出至投影仪103、104等中的每个。
音频DSP 915对由通信单元913或音频接口(未示出)接收的音频信号执行数字信号处理并将经处理的音频信号输出至音频输出系统，同时在内部存储器中缓冲音频信号。此外，系统900包括作为音频输出系统的耳机933、头枕扬声器934或低音音箱935中的至少一种。在从内部存储器读取了经DSP 915处理的音频信号时，通过诸如内部集成电路(I2C)的接口输出该音频信号并由数模转换器(DAC)931将其转换为模拟信号。在放大单元(AMP)932进一步放大模拟信号之后，经放大的模拟信号作为音频声音被输出至扬声器936、耳机933、头枕扬声器934和低音音箱935中的任何一者。
系统900包括作为输入系统的位移传感器941、头部检测相机942和外部传感器943。
位移传感器941检测未佩戴任何东西的用户所使用的对象的预定部分的位置信息，并且获取根据用户的身体运动的、与预定部分的三维位移对应的位移信息。所述对象例如是日常生活中使用的家具、健身器材等，并且通过捕获安装在对象表面上的标记或可以通过图像识别处理提取的特征点的运动来获取位移信息。稍后将描述获取位移信息的方法的细节。所获取的位移信息由控制单元910经由诸如串行外围接口(SPI)的接口来接收并且被用于对根据用户的身体运动进行反馈的输出控制。位移传感器941用作实现根据用户的身体运动进行交互的“位移信息获取单元”。
头部检测相机942例如安装在穹顶屏101中的用户前方，使用例如骨架检测或声音识别功能来检测用户的头部并执行所捕获的用户头部的视频到控制单元910的RGB输出。注意，RGB相机、现有的包括深度传感器等的运动捕捉传感器或者信息处理装置可以用作头部检测相机942。可以基于从头部检测相机942输入的视频来获取用户的视线信息。
外部传感器943是外部连接至穹顶显示器100的各种传感器中的任何一者，并且经由诸如SPI的接口将检测到的传感器信号输出至控制单元910。外部传感器943例如首先检测温度或湿度以检测出穹顶中的用户的观看环境。此外，在系统900被并入乘用车(对应于自动驾驶的车辆等)而不是穹顶显示器100的情况下，外部传感器943可以处理经由第二代车载诊断系统(OBD2)接收的车辆的各种检测信息。
音频播放器944例如以无线或有线方式连接至穹顶显示器100，并且经由通信单元913或诸如电话插孔的音频接口(未示出)向控制单元910输出音频信号。音频播放器944例如可以存储音乐数据或者从诸如致密盘(CD)的介质读取音乐数据，以便输出音频信号。
系统900中包括的输出系统根据来自前述输入系统的输入信息来输出反馈。输出系统用作“输出单元”，其基于根据用户的身体运动的对象的预定部分的位移信息来执行输出以实现根据用户的身体运动的交互(如下文所述)。
在图9所示的示例中，系统900可以包括作为反馈输出系统的驱动系统输出单元951、外部输出单元952和显示UI单元953，而且可以利用上述诸如耳机933、头枕扬声器934和低音音箱935的音频输出单元作为反馈输出系统。MCOM 950根据来自控制单元910的指令经由诸如SPI的接口控制来自反馈输出系统的输出。
驱动系统输出单元951和外部输出单元952构成多模式接口并且通过调节穹顶中的温度或湿度、向用户送风(微风、逆风或空气喷射)或喷雾(水喷射)、给用户的身体以触摸感(戳背部的效果、任何东西与后颈或脚接触的感觉等)、振动或晃动、光电刺激等或者提供气味或味道来自由地控制观看空间的环境。
驱动系统输出单元951包括致动器等，其向对象(例如用户使用的座椅106)施加振动或晃动或者使对象倾斜。MCOM 950例如经由诸如SPI的接口来控制来自驱动系统输出单元951的输出。
外部输出单元952包括诸如空气调节器或加湿器的设备。此外，在穹顶显示器100被并入车辆中的情况下，空气调节电子控制单元(ECU)等也相当于外部输出单元952。MCOM950例如经由诸如SPI的接口来控制来自外部输出单元952的输出。此外，还包括经由网络进行的设备控制。
显示UI单元953等同于与穹顶屏101上的诸如自由视点视频的内容叠加显示的UI菜单、CG、OSD、画中画等。MCOM 950和显示UI单元953例如经由诸如I2C的接口执行交互。
此外，MCOM 950例如可以经由诸如I2C的接口来控制DAC 931或放大器932以控制音频声音的反馈输出。
以上已经描述了系统900的配置示例。接下来将参照图10至图18来检查上述配置的布置。图10A和图10B是示出坐在座椅1000上的用户正在观看投射到穹顶屏101的视频的样子的示例的示意图。注意，图10A和图10B示出了在矢状面上切割的穹顶屏101的截面。
斜躺椅的椅背(靠背)的角度(与垂直于地板表面的直线的角度)可以说一般约为30度。在图10A和图10B所示的示例中，垂直于地板表面的直线与座椅1000的椅背之间的角度为28度(参见图10A)。注意，图10A示出了用户的头部位于沿着座椅1000的椅背的位置处的状态，而图10B示出了用户拉下他或她的下巴并保持水平视线的状态。
这里，将考虑扬声器936的安装角度。注意，扬声器936可以是例如条形扬声器。这里，随着频率越高和要使用的锥形扬声器的尺寸越小，扬声器的指向性通常越尖锐。例如，在包括其中60mm在条形部分中的锥形扬声器的声音扬声器中，难以伴随从约5kHz的频率起的扩散。因此，为了使用户最佳地听到高频，优选地将扬声器936的方向定为朝向用户(具体地，朝向用户的脸或耳朵)。
因此，地板表面与穿过用户脸部面向扬声器936的振动方向的直线之间的角度在用户的头部位于沿着椅背的位置处的情况下约为35度(如图10A所示)，而在用户的视线保持水平的情况下(如图10B所示)约为40度。因此，例如，优选地将扬声器936安装成使得地板表面与面向扬声器936的振动方向的直线之间的角度在大约35度至40度的范围内。注意，在下文中，例如，安装扬声器936使得地板表面与面向扬声器936的振动方向的直线之间的角度在大约35度至40度的范围内在一些情况下被表述为以35度至40度的仰角安装扬声器936等。
例如，为了以35度至40度的仰角安装扬声器936，穹顶屏101的支承体可以具有用于安装扬声器936的配置或者可以单独准备用于安装扬声器936的扬声器支架。
此外，在图10A和图10B所示的示例中，在扬声器936被安装在穹顶屏101下方的地板表面上的情况下，以相对于地板表面45度的角度安装穹顶屏101以使面向扬声器936的振动方向的直线不被穹顶屏101阻挡。
此外，由于不发生会聚的距离一般为1.2米，因此，如图10A和图10B所示，每种配置优选地被布置成使得用户的眼睛与用户在穹顶屏101中注视的位置之间的距离为1.2米或更大。注意，由于球体的反射聚集在球体的中心处，因此优选地将用户的观看位置保持成与穹顶屏101的中心分开以避免由音频声音的反射引起的驻波的问题。
此外，如上所述，通过将穹顶屏101的内径设定为约1.5米至2米来增加真实感。因此，在图10A和图10B所示的示例中，穹顶屏101的内径被设定为2米。在理解了上述信息的情况下，穹顶屏101的直径的中心位置优选地约为1.3米，如图10A和图10B所示。
这里，对于人的竖直视角而言，向上视角为50度而向下视角为75度。因此，通过如图10A和图10B所示那样布置穹顶屏101和座椅1000，穹顶屏101可以覆盖用户的50度的向上视角。
这里，如图10A和图10B所示，在相对于地板表面以45度安装穹顶屏101的情况下，难以覆盖用户的75度的向下视角。因此，为了尽可能地覆盖75度的向下视角，例如，如图11A和图11B所示，也可以相对于地板表面以60度来安装穹顶屏101。
图11A和图11B是示出坐在座椅1000上的用户正在观看投射到相对于地板表面以60度安装的穹顶屏101的视频的样子的示例的示意图。注意，图11A和图11B中未示出的各种值可以与图10A和图10B所示的示例中的值类似。此外，图11A示出了用户的头部位于沿着座椅1000的椅背的位置处的状态，而图11B示出了用户拉下他或她的下巴并保持水平视线的状态。
在图11A和图11B所示的示例中，优选地以35度至40度的仰角安装扬声器936以使面向扬声器936的振动方向的直线穿过用户的脸部。然而，如图11A和图11B所示，在以35度至40度的仰角安装了扬声器936的情况下，面向扬声器936的振动方向的直线被穹顶屏101阻挡。在将扬声器936安装成使得面向扬声器936的振动方向的直线不被穹顶屏101阻挡的情况下，扬声器936被安装在穹顶屏101之内。在这种情况下可能妨碍显示。
为了在不使用扬声器936的情况下输出音频声音，考虑了例如使致动器振动穹顶屏101的方法、利用透明屏的方法等。然而，由于球体的反射聚集在球体中心，因此认为这种方法是不现实的，因为会出现由于音频声音的反射造成的驻波问题、屏强度问题、由于透射造成的质量劣化问题等。
因此，优选的是相对于地板表面以大约50度安装穹顶屏101，并且在穹顶屏101的下端的正下方安装扬声器936。由于这种布置，在覆盖角度大于75度的向下视角的部分的同时可以使得面向扬声器936的振动方向的直线不被扬声器936与用户脸部之间的穹顶屏101阻挡。
注意，扬声器936可以是包括其中布置有多个扬声器的阵列扬声器的条形音箱扬声器。然后，可以通过使用阵列扬声器使声波从多个扬声器均匀地到达观看区域来控制音频声音使得可以实现环绕声音的加宽和宽的收听点。
此外，为了能够输出低音调的音频声音，除了扬声器936之外，优选地安装输出低音调的音频声音的低音音箱935。低音音箱935具有低指向性以输出低音调的音频声音，但是声压与距离的平方成反比。因此，例如在大约1米的短距离处，用户可以根据声压来感受指向性。因此，低音音箱935优选地安装在扬声器936的正后方，使得可以确保到用户的距离与相对于观看位置的到达相位相匹配。此外，在低音音箱935被安装在穹顶屏101中的情况下，存在对于引起反射的直接声音的担忧。因此，优选地将低音音箱935安装在直接声音不会到达穹顶屏101中的位置处。
基于上述考虑，在图12A和图12B中示出了优选配置的示例。图12A和图12B是示出坐在座椅1000上的用户正在观看投射到相对于地板表面以50度安装的穹顶屏101的视频的样子的示例的示意图。注意，图12A和图12B中未示出的各种值可以与图10A和图10B所示的示例中的值类似。此外，图12A示出了用户的头部位于沿着座椅1000的椅背的位置处的状态，而图12B示出了用户拉下他或她的下巴并保持水平视线的状态。此外，在图12A和图12B的每个中示出了使面向扬声器936的振动方向的直线穿过用户的脸部的更优选的扬声器936仰角。可以以35度至40度的仰角安装扬声器936。
图13是示出图12A和图12B所示的配置示例的透视图。如图12和图13所示，低音音箱935安装在扬声器936(条形音箱扬声器)的正后方。注意，在图12A、图12B和图13所示的示例中，低音音箱935和扬声器936可以是广泛使用的市售产品。
另一方面，也可以使用定制的专用系统。图14示出了将低音音箱935安装成嵌入支承体102中的配置示例。此外，图15示出了当在竖直方向上观看时，低音音箱935嵌入支承体102中并且扬声器936安装在支承体102中从而沿着穹顶屏101的曲线弯曲成同心形状的配置示例。此外，图16示出了将低音音箱935和扬声器936安装成嵌入支承体102中的配置示例。注意，即使在图14至图16所示的变型配置中，也优选地以35度至40度的仰角安装扬声器936。
如上所述，通过使用定制的专用系统，可以实现更环绕的音频声音环境或者可以进一步实现沉浸式的体验而不会由于嵌入了扬声器而感觉到扬声器的存在。
注意，图12至图16示出了包括低音音箱935和扬声器936作为音频输出系统的示例，但是实施方式不限于这些示例。例如，可以包括头枕扬声器或后扬声器作为新的音频输出系统。
图17示出了在座椅1000中包括头枕扬声器934和后扬声器937的配置示例。注意，图17所示的配置示例与图12A所示的配置示例类似，除了图17中的座椅1000包括头枕1040、头枕扬声器934和后扬声器937。通过安装头枕扬声器934和后扬声器937实现了从用户的后方输出音频声音的环绕的音频环境。
注意，图17示出了包括后扬声器937的示例，但是替代设置后扬声器937，可以通过信号处理执行声场校正从而将声源虚拟地再次布置在优选位置处(例如，图17所示的后扬声器937的位置)。图18是示出在座椅1000中包括头枕扬声器934的配置示例的透视图。
注意，通过基于位移信息估计用户头部的位置以及控制声像定位或朝向头部位置的回送，可以利用安装在用户右侧和左侧的头枕扬声器934来输出经过了根据用户头部的位置的信号处理的音频声音。
此外，通过其中应用了经所谓双耳记录的音频声音再现原理的信号处理，也可以用安装在用户右侧和左侧的头枕扬声器934来替代低音音箱935和扬声器936(条形音箱扬声器)二者或仅扬声器936。
B.根据用户的身体运动进行交互
在图1至图7所示的配置示例中，假设进入穹顶屏101的用户坐在座椅106上，但是使用穹顶显示器100的方法不限于此。即使在用户使用除座椅之外的对象的状态下，用户也可以进入穹顶屏101并观看自由视点视频或VR视频。例如，可以在穹顶屏101中安装诸如日常生活中使用的现有家具(例如沙发或床)、健身设备(例如健身单车或跑步机)等的对象，使得用户可以在使用这些对象之一时观看投射到穹顶屏101的视频。
用户使用对象的状态是用户坐在座椅上倚靠着椅背的状态、用户蹬踏健身单车的状态、用户在跑步机上行进或走动的状态、用户仰面躺着或躺在床上或沙发上的状态等。任何状态都是用户不佩戴任何东西的状态。此外，用户的身体基本上处于用户是自由的并且不受正使用的对象约束的状态，但是处于对象上的用户身体等与该对象接触。因此，在用户的身体(例如躯干或上半身)移动时，诸如对象的预定部分的旋转或平移的三维位置信息相应地移位。
因此，本说明书提出了一种用于在用户没有佩戴任何专用传感器的状态下基于用户使用的对象的位移信息来直接或间接地得出用户的躯干、上半身等的运动并且实现根据用户的身体运动的交互。
在用户正使用对象时，例如在用户正处于对象上等时，对象的预定部分根据用户的身体运动而三维地移位。因此，基于对象的预定部分的位置信息获取该预定部分的位移信息从而直接或间接地得出用户的躯干、上半身等的运动。
然后，通过基于对象的预定部分的位移信息控制穹顶显示器100中的反馈输出，实现了根据用户的身体运动的交互。
穹顶显示器100中的输出包括穹顶屏101上的视频显示。例如，通过基于位移信息控制视频的亮度或分辨率以及自由视点视频中的显示位置(视角)、过渡方向、运动视差等，可以向用户提供视频的反馈。此外，穹顶显示器100中的输出包括音频输出。例如，通过基于位移信息估计观看自由视点视频的用户的头部的位置并且控制声像定位或朝向头部位置的回送，可以向用户提供音频声音的反馈。注意，可以根据用户的视线信息在渲染穹顶显示器100时应用所谓的中央凹中心渲染。
此外，穹顶显示器100中的输出包括穹顶中的环境变化，例如使用多模式接口获得的温度、风、湿度、气味或音频效果，以及赋予用户的触摸感、倾斜度、加速感、对重力方向的感觉、振动、晃动、光电刺激等。通过基于根据用户的身体运动的对象的预定部分的位移信息来控制多模式接口的输出，可以向用户提供其中呈现了真实感的反馈。
这里提到的对象的预定部分例如是对象表面上的特征部分。
对象的特征部分是发射可见光或不可见光(例如红外光)的发光元件，并且特征部分被安装在对象表面上的预定位置或任何位置处。替选地，特征部分可以是形成为现有的二维图形图案的静态视觉标记而不是诸如发光元件的有源标记。因此，可以通过利用安装有广角镜头等的一个相机或两个或更多个相机追踪特征部分(执行动作捕捉)来获取特征部分的位移信息。替选地，对象的特征部分可以不必是安装在对象表面上的标记，而可以是可以通过图像识别处理、边缘处理等从对象的捕获图像提取的特征点。
然后，可以基于对象的预定部分的位置信息获取与用户的身体(例如躯干或上半身)的运动对应的三维位移信息。例如，可以测量对象表面上的两个或更多个特征部分的位移并且得出根据用户的身体(例如躯干或上半身)的运动的三维位移信息。
具体地，在测量了对象表面上的至少两个特征部分的位置的情况下，可以获取根据用户的身体运动的与由至少两个特征部分形成的直线的旋转位移对应的第一位移信息。此外，在测量了对象表面上的至少三个特征部分的位置的情况下，可以获取与由至少三个特征部分形成的平面的三维旋转位移对应的第一位移信息。
与对象的旋转位移对应的第一位移信息直接或间接地指示了使用对象的用户的躯干的三维位移。此外，通过基于所获取的作为第一位移信息的对象的旋转方向或沿该旋转方向的位移量(或者旋转角速度或旋转角加速度)来控制穹顶显示器100的视频显示、多模式接口的输出等的反馈等，可以在用户不佩戴任何专用传感器的状态下实现根据用户的身体运动的交互。
此外，在测量了对象表面上的至少三个特征部分的位置的情况下，可以获取与由至少三个特征部分形成的平面的三维平移位移对应的第二位移信息。此外，还可以获取与由至少三个特征部分形成的平面的三维往复平移位移对应的第三位移信息。
与对象的平移位移对应的第二位移信息和与对象的往复平移位移对应的第三位移信息直接或间接地指示了使用对象的用户的身体运动。此外，通过基于所获取的作为第二位移信息或第三位移信息的对象的平移位移、往复平移位移(或者平移位移方向、平移位移量、平移速度或平移加速度)等来控制穹顶显示器100的视频显示、多模式接口的输出的反馈等，可以在用户不佩戴任何专用传感器的状态下实现根据用户的身体运动的交互。
至于用户所使用的对象，例如可以例示日常生活中使用的现有的家具(例如座椅、沙发或床)、健身设备(例如健身单车或跑步机)等。许多对象以这样的形式被使用：对象被放置在地板上(具体地，穹顶屏101的正下方)并且用户处于这些对象上。在这种使用形式下，会强加下述约束条件：即使在用户进行身体运动时也基本上不会造成对象与地板的相对运动(或者用户不会进行使对象相对于地板移动的身体运动)。此外，在该约束条件下，可以基于与对象的旋转位移对应的第一位移信息、与对象的平移位移对应的第二位移信息或者与对象的往复平移位移对应的第三位移信息来执行诸如穹顶显示器100的视频显示、多模式接口的输出等的反馈控制。
如本说明书所公开的，根据用户的身体运动的交互技术的特征在于，用户不必佩戴任何专用传感器并且可以不操作诸如控制器或控制台的输入设备。
此外，用户使用的诸如日常生活中使用的现有家具(例如座椅、沙发或床)、健身设备(例如健身单车或跑步机)等各种对象中的任何对象都可以是广泛使用的任何市售产品。通过将发射不可见光或可见光的元件安装到对象(市售产品)的表面或者安装诸如视觉标记的标记，可以安装多个特征部分。替选地，通过使用可以通过图像识别处理提取的特征点作为特征部分，可以获取根据诸如用户躯干的身体运动的关于对象的旋转位移或平移位移的位移信息。也就是说，根据本说明书中公开的技术，可以通过获得市售的或广泛使用的各种商品中的任何商品并且将该商品用作根据用户的身体运动移位的对象来实现根据用户的身体运动的交互。因此，不需要专用的控制器。
穹顶显示器100本身可以通过组合环绕的视频和音频环境来再现用户处于那个地方的感觉或用户参与到那个地方中的感觉(如上所述)，因此用户可以实现访问各种地方的体验，但是用户不用特意去往这些地点。此外，通过利用本说明书中提出的交互技术，还可以再现用户参与到穹顶显示器100上的那个地方中的感觉。
此外，本说明书中提出的交互技术可以被开发为代替针对身体运动不自然的残疾人的控制器或控制台的替选的输入功能，因为可以通过日常生活中使用的家具如座椅、床等来检测用户的身体运动(例如躯干的位移)并且可以以之代替输入。此外，本说明书中提出的交互技术不仅可以用于一般家庭，也可以用于医院、康复设施等。例如，对于使用轮椅的用户，可以检测轮椅的3维位移并且可以将其用于控制各种外部设备，例如打开和关闭门的操作、升高或降低斜倚床的操作、打开或关闭灯的操作、护士呼叫以及窗帘打开和关闭。在这种情况下，要控制的外部设备可以经由网络连接到检测轮椅的三维位移的相机。此外，本说明书中提出的交互技术还可以用于空间受限的移动体，例如与自动驾驶对应的飞机、火车、公共汽车或乘用车。
在下文中，将详细描述涉及获取关于用户使用的每个对象的根据用户的身体运动的对象的预定部分的位移信息的方法以及基于所获取的位移信息来控制反馈输出的方法的示例。
示例1
在图19中，用户所坐的座椅1000被例示为从其获取根据用户的身体运动的位移信息的对象。图示的座椅1000具有椅背和扶手。座椅1000安装在穹顶屏101下方，因此用户可以坐在座椅1000上观看投射到穹顶屏101的视频。
在座椅1000的椅背1010的四个角落中安装有标记1011至1014。标记1011至1014中的每个可以是发射可见光或不可见光(例如红外光)的发光元件或者形成为现有的图形图案的视觉标记。替选地，标记1011至1014可以不安装在座椅1000上，并且可以使用可以通过图像识别处理提取的多个特征点来代替标记。此外，在座椅1000的右侧和左侧的斜后侧上安装有相机1021和1022。当用作位移信息获取单元的位移传感器941从由相机1021和1022捕获的图像中检测到标记1011至1014的图像时，可以基于三角测量等来计算标记1011至1014的三维位置信息。
标记1011至1014的每个的三维位置信息主要根据躯干的运动或上半身的倾斜运动(例如用户坐在座椅1000上时该用户倚靠椅背1010)而改变。用作位移信息获取单元的位移传感器941可以通过输入由相机1021和1022中的每个捕获的图像并且连续地追踪标记1011至1014中的每个的位置信息来获取根据用户的身体运动的标记1011至1014中的每个的三维位移信息。
注意，尽管未在图19中示出，标记可以安装在座椅1000的就座部分或扶手1030上。在这种情况下，可以获取根据用户的身体运动(例如用户肘部触及扶手1030)的扶手1030上安装有标记的部分的三维位移信息。
例如，用作位移信息获取单元的位移传感器941可以获取根据用户的身体运动的与由安装在座椅1000的椅背1010上的标记中的两个标记形成的直线的三维旋转位移对应的第一位移信息。
此外，位移传感器941可以获取根据用户的身体运动的与由安装在座椅1000的椅背1010上的标记中的三个或更多个标记形成的平面的三维旋转位移对应的第一位移信息。
例如，位移传感器941获取诸如旋转方向、旋转方向上的旋转位移量、每单位时间的旋转位移量(或旋转角速度)或旋转角加速度的信息作为与三维旋转位移对应的第一位移信息。例如，可以获取与椅背1010的倾斜角相关的旋转位移量、旋转角速度或旋转角加速度。例如，可以获取椅背1010或座椅1000的座位的左右旋转角度(这里，是在座椅1000具有座位的旋转功能的情况下)或者关于前后方向和左右方向上的倾斜角度的位移信息并将其输入至用作输出控制单元的控制单元910。
此外，位移传感器941可以针对安装在座椅1000的椅背1010上的标记1011至1014中的至少一个来获取与根据用户的身体运动的平移位移对应的第二位移信息或者与根据用户的身体运动的往复平移位移对应的第三位移信息。
例如，位移传感器941获取诸如平移方向、平移方向上的位移量、每单位时间的平移位移量(或平移速度)或平移加速度的信息作为与平移位移或往复平移位移对应的第二平移信息或第三平移信息。例如，可以获取关于座椅1000在向上和向下方向、前后方向和左右方向中的每个方向上的移动的平移信息并将其输入至用作输出控制单元的控制单元910。
在下面的表1中例示了由位移传感器941检测安装在座椅1000上的标记1011至1014的方法与输入至控制单元910的位移信息之间的对应关系。
[表1]
此外，位移传感器941将通过检测标记1011至1014中的至少一个的三维位置的位移信息以及检测每单位时间座椅1000向上和向下的移动量而获得的结果作为座椅1000向上和向下的移动量输入至控制单元910。座椅1000向上和向下的移动量与用户坐在座椅1000上时在高度方向上的运动。注意，除了安装在椅背1010上的标记1011至1014之外，也可以基于安装在座位部分或扶手1030上的标记(未示出)来检测座椅1000在向上和向下方向上的移动量。
此外，位移传感器941将通过检测每单位时间座椅1000的左右旋转角度以及检测标记1011至1014中的至少一个的三维位置的位移信息而获得的结果作为座椅1000的左右旋转角度(这里，是在座椅1000具有座位的旋转功能的情况下)输出至控制单元910。
此外，位移传感器941将通过检测与由标记1011至1014中的至少三个形成的平面的三维旋转位移对应的位移信息以及检测每单位时间座椅1000的前后方向上的倾斜角度而获得的结果作为座椅1000的前后方向上的倾斜角度输出至控制单元910。座椅1000的前后方向上的倾斜角度与用户坐在座椅1000上时抬起或倚靠椅背1010的动作对应。注意，在可以利用座椅1000的椅背1010的弹性的情况下，当用户抬起他或她的身体(参见图23)倚靠在椅背1010上时，位移传感器941检测到超过预定的返回阈值的倾斜角的角速度并且可以将该倾斜角的角速度输入至控制单元910。
此外，位移传感器941将通过检测与由标记1011至1014中的至少三个形成的平面的三维旋转位移对应的位移信息以及检测每单位时间座椅1000的左右方向上的倾斜角而获得的结果作为座椅1000的左右方向上的倾斜角输出至控制单元910。座椅1000的左右方向上的倾斜角与用户坐在座椅1000上时抬起或倚靠扶手的动作对应。
此外，位移传感器941将通过检测标记1011至1014中的至少一个的三维位置的位移信息以及检测每单位时间座椅1000的前、后、左、右方向上的移动量而获得的结果作为座椅1000的前、后、左、右方向上的移动量输出至控制单元910。座椅1000在前、后、左和右方向上的移动与根据用户坐在有脚轮的座椅1000上并使他或她的腿与前、后、左或右位置匹配的动作对应。注意，除了安装在椅背1010上的标记1011至1014之外，也可以基于安装在座位部分或扶手1030上的标记(未示出)来检测座椅1000在前、后、右和左方向上的移动量。此外，用户摇动座椅1000时的振动或晃动也可以被检测为座椅1000在前、后、右和左方向上的移动量。
然后，用作输出控制单元的控制单元910通过基于从位移传感器941输入的座椅1000的位移信息控制视频处理或音频处理以及多模式接口的输出来实现根据坐在座椅1000上的用户的身体运动的交互。
在下面的表2中例示了与用户的身体运动对应的座椅1000的位移信息与由控制单元910执行的输出控制之间的对应关系。这里，表2描述了主要与视频处理和音频处理有关的输出控制作为输出控制。此外，即使在输入了某些位移信息的情况下，也假设在诸如穹顶显示器101的整个天球显示器上显示视频并且由环绕音频系统再现音频声音。此外，多模式接口可以用于根据视点位置或视线方向的移动来组合送风的效果。此外，可以基于由头部检测相机942等检测到的用户的视线信息来控制视频的视差范围。
[表2]
例如，当输入了向上和向下移动量作为用户所坐的座椅1000的位移信息时，用作输出控制单元的控制单元910执行以与每单位时间的向上和向下移动量成比例的移动量将运动视差的向上和向下的变化附加到观看期间的自由视点视频的视频处理。此外，控制单元910基于每单位时间的向上和向下移动量来估计用户头部的位置，并且根据朝向头部位置的视频的视点位置(相机的成像位置)来执行控制环绕声场(在下文中称为“SSF”)中的向上和向下变化的音频处理。注意，控制单元910可以不根据座椅1000的向上和向下移动量连续地改变视频处理或音频处理，而是可以执行逐步的输出控制，使得当移动量达到第一值时执行第一输出并且当移动量达到大于第一值的第二值时执行不同于第一输出的第二输出。
此外，当输入了左右旋转角度作为用户所坐的座椅1000的位移信息时，用作输出控制单元的控制单元910执行以与每单位时间的旋转角度相同的角度和成比例的角度将运动视差的左右变化附加到观看期间的自由视点视频的视频处理(参见图20)。此外，可以执行与右旋转或左旋转连同地将UI菜单的光标向右或向左移动的视频处理(参见图37)。此外，控制单元910基于每单位时间的右或左旋转角度估计用户头部的位置，并且根据朝向头部位置的视频的视点位置(相机的成像位置)执行控制SSF的右或左变化的音频处理。注意，控制单元910可以不根据座椅1000的右或左旋转角度连续地改变视频处理或音频处理，而是可以执行逐步的输出控制，使得当旋转角度达到第一值时执行第一输出并且当旋转角度达到大于第一值的第二值时执行不同于第一输出的第二输出。
此外，当输入了前后方向上的角度作为用户所坐的座椅1000的位移信息时，用作输出控制单元的控制单元910执行以与每单位时间的前后倾斜角度相同的角度和成比例的角度将运动视差的前后倾斜角度变化附加到观看期间的自由视点视频的视频处理(参见图21)。此外，可以执行与前后倾斜角度连同地移动UI菜单的光标的视频处理(参见图37)。替选地，控制单元910可以执行控制，使得在输入了第一倾斜角度时执行第一输出，并且在输入了大于第一倾斜角度的第二倾斜角度时执行不同于第一输出的第二输出。此外，控制单元910基于每单位时间的前后倾斜角度估计用户头部的位置，并且根据朝向头部位置的视频的视点位置(相机的成像位置)执行控制SSF的前后倾斜角度变化的音频处理。注意，控制单元910可以不根据座椅1000的前后方向上的角度连续地改变视频处理或音频处理，而是可以执行逐步的输出控制，使得当前后方向上的角度达到第一值时执行第一输出并且当前后方向上的角度达到大于第一值的第二值时执行不同于第一输出的第二输出。
此外，当靠在椅背1010上的用户利用椅背1010的弹性抬起他或她的身体时，作为用户所坐的座椅1000的位移信息，可以将返回的倾斜角的角加速度超过预定阈值设定为点火条件并且用作输出控制单元的控制单元910可以执行这样的视频处理：执行对UI菜单的光标的选择或者瞬时移动(内容切换)至另一视点位置处的自由视点视频(或VR视频)(参见图37)。此外，控制单元910根据前或后倾斜角的角加速度执行使得产生SSF的声音效果的音频处理，从而引起自由视点视频的视点位置的瞬时移动(内容切换)。
此外，当输入了右或左方向上的角度作为用户所坐的座椅1000的位移信息时，用作输出控制单元的控制单元910执行以与每单位时间的左右倾斜角度相同的角度和成比例的角度将运动视差的左右倾斜角度变化附加到观看期间的自由视点视频并使视点位置向左和右改变的视频处理(例如，使其上安装有捕获自由视点视频的相机的移动装置的前进方向向右和左改变)(参见图22)。此外，控制单元910可以以与左右倾斜角度相同的角度和成比例的角度来控制视频的亮度。此外，控制单元910执行基于每单位时间的右或左倾斜角度来估计用户头部的位置并且根据朝向头部位置的视频的视点位置(相机的成像位置)来控制SSF的右或左倾斜角度的改变的音频处理。注意，控制单元910可以不根据座椅1000在左右方向上的角度连续地改变视频处理或音频处理，而是可以执行逐步的输出控制，使得当左右方向上的角度达到第一值时执行第一输出并且当左右方向上的角度达到大于第一值的第二值时执行不同于第一输出的第二输出。
此外，当输入了前、后、右和左方向上的移动量作为用户所坐的座椅1000的位移信息时，用作输出控制单元的控制单元910执行以与每单位时间的前、后、右和左移动量相同的移动量和成比例的移动量将运动视差的前、后、右和左的变化附加到观看期间的自由视点视频的视频处理。此外，控制单元910基于每单位时间的前、后、右和左移动量来估计用户头部的位置，并且根据朝向头部位置的视频的视点位置(相机的成像位置)来执行控制SSF的前、后、右和左变化的音频处理。此外，当输入了关于在用户摇动座椅1000时由于振动或晃动引起的座椅1000在前、后、右和左方向上的移动的位移信息时，控制单元910可以执行与用户对座椅1000的摇动动作对应的输出控制。
[示例2]
接下来，将描述从用户使用的健身设备获取位移信息并且实现根据用户的身体运动的交互的示例。
图24例示了作为从其获取根据用户的身体运动的位移信息的对象的跑步机1500。所示的跑步机1500包括跑台1510和操作面板1520。环形跑带1511在跑台1510的上表面上周向移动，并且用户可以在环形跑带1511上行进或走动。操作面板1520被布置在用户在环形跑带1511上处于直立状态时面对的位置处。用户可以通过操作面板1520调节跑台1510的倾斜度或环形跑带1511的运行速度。此外，在操作面板1520上显示有诸如跑步距离、平均速度、心率和卡路里消耗的运动信息。此外，用户可以握住的扶手框架1521和1522从操作面板1520的左右两端起在环形跑带1511的移动方向上延伸。
跑步机1500安装在穹顶屏101下方，因此用户可以在在环形跑带1511上行进或走动的同时观看到被投射至穹顶屏101的视频。在一些情况下，用户还可以在环形跑带1511上行进或走动的同时将重心移至右侧和左侧之一。此外，在一些情况下，用户在环形跑带1511上行进或走动期间将他或她的身体支撑在左侧和右侧的扶手框架1521和1522中的一个或两个上。
在跑步机1500的环形跑带1511上沿圆形运动方向安装有多个标记1531、1532等。可以使用具有任意间隔的标记1531、1532等，但是优选地，在环形跑带1511的任一圆形位置处有至少一个标记1531暴露在跑台1510的上表面上。此外，标记1541和1542分别安装在操作面板1520的左右两端。当然，可以在操作面板1520上安装三个或更多个标记。
标记1531、1532等中的每个以及1541和1542是发射可见光或不可见光(例如红外光)的元件或者形成为现有图形图案的视觉标记。此外，在跑步机1500的右侧和左侧的斜后侧安装有相机1551和1552。当用作位移信息获取单元的位移传感器941从相机1551和1552捕获的图像中检测到标记1531、1532等以及1541和1542的图像时，可以基于三角测量等来计算标记1531、1532等以及1541和1542的三维位置信息。
当环形跑带1511周向移动时，安装在环形跑带1511上的标记1531、1532等直线移动。因此，用作位移信息获取单元的位移传感器941可以基于环形跑带1511上的标记1531、1532等中每个的每单位时间的移动量来获取用户在环形跑带1511上行进或走动的速度。换句话说，通过在穹顶屏101下方安装市售的跑步机1500并在环形跑带1511上安装标记1531、1532，系统900可以在不与跑步机1500电连接的情况下获取关于用户的行进或走动速度的信息。注意，跑步机1500具有跑步机1500安装在地板表面上并且即使在用户进行身体运动时也基本上不会进行与地板的相对移动的特性。在将X限定为跑步机1500的左右方向，将Y限定为向上和向下方向并且将Z限定为前后方向(环形跑带1511的前进方向)的情况下，可以在将X方向固定的约束条件下获取标记1531、1532等中的每个的平移的位移信息。此外，Y方向不固定，因为例如可以根据位移检测用户的步调。Z方向不固定，因为环形跑带1511在该方向上移动。
此外，当用户在环形跑带1511上行进或走动同时将重心至左侧和右侧之一时或者当用户将他或她的身体支撑在右侧和左侧的扶手框架1521和1522中的一个或两个上时，跑步机1500向右侧和左侧倾斜。这种右或左倾斜指示了用户将视频中的前进方向向右或向左改变的意图。当用作位移信息获取单元的位移传感器941基于安装在操作面板1520的左右两端的标记1541和1542中的每个的三维位置信息来检测操作面板1520或跑步机1500的主体的右或左倾斜角度，该倾斜角度可以作为意图改变向右或向左前进方向的信息被输入至用作输出控制单元的控制单元910。替选地，在当视频的前进方向被固定为预定方向时检测到右或左倾斜角度的情况下，可以认为用户打算完成训练。替选地，通过基于对右或左倾斜角度的检测结果来估计跑步形式被扰乱，从而可以向用户给出用于校正形式的反馈。注意，考虑到跑步机1500安装在地板表面上并且即使当用户进行身体运动时也基本不会进行与地板的相对移动的特性，可以在围绕Y轴的旋转被固定的约束条件下获取关于标记1541和1542中的每个的旋转的位移信息。此外，例如，可以根据围绕X轴并且未被固定的旋转位移来检测用户的前后位置。例如，可以根据围绕Z轴并且未被固定的旋转位移来检测用户的右腿和左腿。
图25例示了作为从其获取根据用户的身体运动的位移信息的对象的健身单车1600。所示的健身单车1600包括鞍座1610、把手1620和前轮1630。健身单车1600安装在穹顶屏101下方，并且用户可以在在健身单车1600上行进的同时观看到被投射至穹顶屏101的视频。
当用户跨坐在鞍座1610上时，该用户采取向前弯曲的姿势并用双手握住把手1620。此外，用户操作横跨鞍座1610的脚蹬(未示出)，但是前轮1630与脚蹬的旋转运动一起旋转(参见图26)。此外，假设用户会采取各种姿势，例如，用户正在执行站立蹬踏运动以提高健身单车1600的行进速度(参见图27)或者正在执行右或左倾斜运动以采取形成曲线的转弯姿势(参见图28)等。
在健身单车1600的前轮1630的侧表面上沿旋转方向安装有一个或更多个标记1641。替选地，尽管未示出，但是除了前轮1630，也可以在右或左脚蹬中的至少一个上安装标记。此外，在鞍座1610的后端边缘的右侧和左侧安装有一对标记1651和1652。替选地，尽管未示出，但是除了鞍座1610，也可以在把手1620的右边缘和左边缘处安装一对标记。
标记1641、1651和1652中的每个例如是发射可见光或不可见光(例如红外光)的元件和/或形成为现有图形图案的视觉标记。此外，在健身单车1600的右侧和左侧的斜后侧上安装有相机1661和1662。当用作位移信息获取单元的位移传感器941从由相机1661和1662捕获的图像中检测到标记1641、1651和1652的图像时，可以基于三角测量等来计算标记1641、1651和1652的三维位置信息。
在下面的表3中例示了由位移传感器941检测安装在健身单车1600上的标记1641、1651和1652的方法与输入至控制单元910的健身单车1600的位移信息之间的对应关系。
[表3]
当用户蹬踏以使前轮1630旋转时，如图26所示，安装在前轮1630的侧表面上的标记1641也沿旋转方向移动。因此，位移传感器941将通过检测安装在前轮1630的侧表面上的标记1641的三维位置信息以及检测每单位时间前轮1630的转数而检测到的结果作为前轮1630的转速输入至控制单元910。可以根据前轮1630的旋转速度来换算出健身单车1600的行驶速度。即使基于安装在脚蹬而不是前轮1630上的标记的三维位置信息，也可以类似地获取健身单车1600的行进速度。注意，健身单车1600具有健身单车1600安装在地板表面上并且即使在用户进行身体运动时也基本上不会进行与地板的相对移动的特性。在将X限定为健身单车1600的左右方向，将Y限定为向上和向下方向并且将Z限定为前后方向的情况下，可以在将X方向固定的约束条件下获取标记1641、1651和1652中的每个的位移信息。此外，Y方向不固定，因为例如可以根据位移检测坐在鞍座1610上的用户的重量。此外，Z方向不固定，因为用户的重量根据用户的蹬踏姿势在Z方向上移动，因此健身单车1600的主体在前后方向上的倾斜角度相应地改变。
此外，当用户正在进行站立蹬踏动作以提高健身单车1600的行进速度或停止站立蹬踏并且用户的身体向上或向下移动时，如图27所示，施加到鞍座1610的重量改变从而使鞍座向上或向下移动。因此，位移传感器941将通过检测安装在鞍座1610的后端边缘上的标记1651或1652中的至少一个的三维位置信息以及检测鞍座1610每单位时间的向上或向下移动量而获得的结果作为通过用户的站立蹬踏运动产生的健身单车1600的向上或向下移动量输入至控制单元910。
此外，当用户向右或向左倾斜和蹬踏以采取形成曲线的转弯姿势时，如图28所示，鞍座1610也向右侧倾斜或向左侧倾斜。因此，位移传感器941将通过检测安装在鞍座1610的后端边缘上的标记1651或1652中的至少一个的三维位置信息以及检测鞍座1610每单位时间的右或左倾斜角度而获得的结果作为在用户转向时引起的倾斜角度输入至控制单元910。注意，即使考虑到健身单车1600安装在地板表面上并且即使在用户进行身体运动时也基本不会进行与地板的相对移动的特性，也可以在不固定XYZ轴中的每个的旋转的情况下获取位移信息。例如，可以根据健身单车1600的主体围绕X轴的旋转位移来检测用户坐在鞍座1610上的前后位置。此外，可以根据健身单车1600的主体围绕Y轴的旋转位移来检测用户身体的旋转(扭曲)。此外，可以根据健身单车1600的主体围绕Z轴的旋转位移来检测在用户的前进方向向右或左改变时的左右重量移动。
注意，尽管未描述，但即使在用户在跑步机1500上行进的情况下，也可以基于安装在环形跑带1511上的传感器1531、1532等以及安装在操作面板1520上的传感器1541和1542的检测结果来获取表3中所示的位移信息并且可以将其输入至用作输出控制单元的控制单元910。
然后，用作输出控制单元的控制单元910通过基于从位移传感器941输入的位移信息控制视频处理或音频处理以及多模式接口的输出来实现根据使用健身单车1600的用户的身体运动的交互。
在下面的表4中例示了与用户的身体运动对应的健身单车1600的位移信息与由控制单元910执行的输出控制之间的对应关系。这里，表4描述了主要与视频处理和音频处理有关的输出控制作为输出控制。此外，即使在输入了某些位移信息的情况下，也假设在诸如穹顶显示器101的整个天球显示器上显示视频并且由环绕音频系统再现音频声音。此外，多模式接口可以用于根据视点位置或视线方向的移动来组合送风的效果。此外，可以基于由头部检测相机942等检测到的用户的视线信息来控制视频的视差范围。
[表4]
例如，当输入了前轮1630的旋转速度作为用户使用的健身单车1600的位移信息时，用作输出控制单元的控制单元910执行以与根据前轮1630的旋转速度换算的健身单车1600的行进速度相同的速度和成比例的速度将运动视差之前和之后的变化附加到观看期间的自由视点视频的视频处理。此外，控制单元910执行使观看期间的自由视点视频的视点位置以与换算出的健身单车1600的行进速度相同的速度和成比例的速度向前后或左右改变的视频处理(例如，使其上安装有捕获自由视点视频的相机的移动装置的前进方向向前后或左右改变)(参见图22)。此外，控制单元910执行基于根据前轮1630的旋转速度换算的健身单车1600的行进速度来估计用户头部的位置并且根据朝向头部位置的视频的视点位置(相机的成像位置)来控制SSF的前、后、右或左的变化的音频处理。注意，控制单元910可以不根据前轮1630的旋转速度连续地改变视频处理或音频处理，而是可以执行逐步的输出控制，使得当前轮1630的旋转速度达到第一值时执行第一输出并且当前轮1630的旋转速度达到大于第一值的第二值时执行不同于第一输出的第二输出。
此外，当输入了向上和向下移动量作为用户用户的健身单车1600的位移信息时，用作输出控制单元的控制单元910执行以与每单位时间的向上和向下移动量成比例的移动量将运动视差的向上和向下的变化附加到观看期间的自由视点视频的视频处理。此外，控制单元910基于每单位时间的向上或向下移动量估计用户头部的位置，并且根据朝向头部位置的视频的视点位置(相机的成像位置)执行控制SSF的向上或向下变化的音频处理。注意，控制单元910可以不根据健身单车1600的向上和向下移动量连续地改变视频处理或音频处理，而是可以执行逐步的输出控制，使得当向上和向下移动量达到第一值时执行第一输出并且当向上和向下移动量达到大于第一值的第二值时执行不同于第一输出的第二输出。
此外，当输入了左右倾斜角度作为用户使用的健身单车1600的位移信息时，用作输出控制单元的控制单元910执行以与每单位时间的左右倾斜角度相同的角度和成比例的角度将运动视差的左右倾斜角度附加到观看期间的自由视点视频的视频处理。此外，控制单元910执行使观看期间的自由视点视频的视点位置的前进方向以与每单位时间的右或左倾斜角度相同的角度和成比例的角度向右或左改变的视频处理(例如，使其上安装有捕获自由视点视频的相机的移动装置的前进方向向右或左改变)(参见图22)。此外，控制单元910执行基于每单位时间的右或左倾斜角度来估计用户头部的位置并且根据朝向头部位置的视频的视点位置(相机的成像位置)来控制SSF的右或左倾斜角度的改变的音频处理。注意，控制单元910可以不根据健身单车1600的右或左倾斜角度连续地改变视频处理或音频处理，而是可以执行逐步的输出控制，使得当倾斜角度达到第一值时执行第一输出并且当倾斜角度达到大于第一值的第二值时执行不同于第一输出的第二输出。
注意，尽管未描述，但即使在用户在跑步机1500上行进的情况下，用作输出控制单元的控制单元910也可以基于用户在跑步机1500上的行进或走动速度或者诸如跑步机1500的向上或向下移动量、右或左倾斜角度等的位移信息向用户给出与表4所示反馈类似的反馈。
[示例3]
以上已经描述了图1至图7所示的基本在穹顶显示器100上显示有自由视点视频的假设下将家具(例如座椅)或健身设备安装在穹顶屏101下方的示例。然而，可以使用诸如房间的天花板或墙壁表面或乘用车内部的车壁表面的各种装置来显示自由视点视频或VR视频。此外，根据显示装置的类型，可以基于根据使用各种对象中的任何对象的用户的身体运动的位移信息来实现交互。
图29示出了用户正坐在座椅1000上观看在房间的天花板或墙壁表面2000上显示的视频的样子。根据与示例1中描述的方法类似的方法，可以检测安装在座椅1000上的标记的三维位置信息并且获取根据用户的身体运动的座椅1000的位移信息。此外，可以根据获取的位移信息执行与示例1的视频处理或音频处理类似的视频处理或音频处理。
图30和图31示出了用户坐在带篷2101的座椅2100上的样子。可以对篷2101执行敞开或闭合操作。如图31所示，可以使用合拢的篷2101的内壁表面作为屏来投射自由视点视频或VR视频。因此，用户可以坐在座椅2100上并闭合篷2101以观看在篷2101的内壁表面上显示的视频。
此外，在座椅2100的扶手2102上安装有多个标记2111、2112等。标记2111、2112等中的每个可以是发射可见光或不可见光(例如红外光)的元件或者形成为现有图形图案的视觉标记。相机2120被安装成面对扶手2102。当用作位移信息获取单元的位移传感器941从由相机2120捕获的图像中检测到标记2111、2112等中的每个的图像时，可以计算标记2111、2112等中的每个的三维位置信息并且可以根据正在观看视频的用户的身体运动来获取座椅2100的位移信息。
此外，尽管未示出，但是也可以在座椅2100的椅背上安装标记、安装对该标记成像的相机，并且可以获取根据用户的身体运动的座椅2100的前后方向上的诸如倾斜角度、倾斜角速度或倾斜角加速度的位移信息。
然后，用作输出控制单元的控制单元910通过基于从位移传感器941输入的座椅2100的位移信息控制视频处理或音频处理以及多模式接口的输出来实现根据坐在座椅2100上的用户的身体运动的交互。
图32示出了用户坐在乘用车的内部2300中的座位2301上的样子。乘用车例如是与自动驾驶对应的车辆，并且可以使用内部2300的车壁表面作为屏来投射自由视点视频或VR视频，或者假设用户携带显示视频的显示器(未示出)进入内部2300。用户可以坐在座位2301上并观看显示的视频。
此外，在座位2301上安装有多个标记2311等。标记2311中的每个可以是发射可见光或不可见光(例如红外光)的发光元件或者形成为现有的图形图案的视觉标记。在内部2300的天花板上安装有相机2320。当用作位移信息获取单元的位移传感器941从由相机2120捕获的图像中检测到标记2311等中的每个的图像时，可以计算标记2311中的每个的三维位置信息并且可以获取根据正在观看视频的用户的身体运动的座位2301的位移信息。
然后，用作输出控制单元的控制单元910通过基于从位移传感器941输入的座位2301的位移信息控制视频处理或音频处理以及多模式接口的输出来实现根据坐在座位2301上的用户的身体运动的交互。控制单元910可以根据获取的位移信息执行与示例1的视频处理或音频处理类似的视频处理或音频处理。注意，在多个用户处于乘用车的内部2300的情况下，用作输出控制单元的控制单元910可以控制视频处理的输出使得所有用户都不会被遮挡并且这些用户的脸部不会被视频照亮。
[示例4]
图33和图34示出了用户躺在床2400或2500上的样子。在许多情况下，用户也会躺在床上或仰面躺着观看视频。在图33所示的示例中，假设躺着的用户观看显示器的视频(未示出)。此外，在图34所示的示例中，用户升起床2500的斜倚部2501以观看安装在床2500前方的显示器2510的视频。
此外，用户即使在床上也会进行各种身体运动。例如，用户执行下述身体运动，例如，用户翻身、躺下并伸展他/她自己、调整枕头的位置或高度。当用户将他或她的肘部用作枕头或使用他或她的手臂时，类似地，该用户执行调节枕头的位置或高度的动作。此外，如图34所示，当用户使用具有斜倚部2501的床2500时，用户会执行对斜倚部2501的高度调整操作的动作。
床的表面根据用户在床上的上述身体运动而向上或向下移动或者向前、后、右或左移动。例如，可以在床的表面上安装多个标记，并且可以基于每个标记的三维位置信息来获取根据用户的身体运动的床的位移信息。
在图33所示的示例中，在床2400的表面上安装有多个标记2401、2402等，并且由安装在床2400上方的两个相机2411和2412对床2400的表面成像。此外，在图34所示的示例中，在床2500的斜倚部2501上安装有多个标记2521、2522等，并且由安装在床2500上方的两个相机2531和2532对包括斜倚部2501的床2500的表面成像。
标记2401、2402等以及标记2521、2522等可以是发射可见光或不可见光(例如红外光)的发光元件或者形成为现有的图形图案的视觉标记。当用作位移信息获取单元的位移传感器941从由相机2411和2412捕获的图像中检测到标记2401、2402等中的每个的图像时，可以计算标记2401、2402等中的每个的三维位置信息并且可以获取根据正在观看视频的用户的身体运动的床2400的位移信息。类似地，当位移传感器941从由相机2531和2532捕获的图像中检测到标记2521、2522等中的每个的图像时，可以计算标记2521、2522等中的每个的三维位置信息并且可以获取根据正在观看视频的用户的身体运动的床2500的位移信息。
在下面的表5中例示了由位移传感器941检测安装在床上的标记的方法与输入至控制单元910的床的位移信息之间的对应关系。
[表5]
例如，在用户在向上和向下方向上进行身体运动的情况下，用户在躺在床上、伸展他或她的腿以及通过枕头靠在床板上时执行斜倚调节，调节床上的枕头(包括使用他或她的肘部作为枕头或者使用他或她的手臂)的高度，或者敲击床的表面(参见图35)，床的表面在向上和向下方向上移动(包括晃动或振动)。因此，位移传感器941将通过检测安装在床的表面上的标记的三维位置信息以及检测每单位时间床表面的向上和向下移动量而获得的结果输入至控制单元910。
此外，当用户在躺在床上、伸展他或她的腿以及通过枕头靠在床板上时进行左右翻身的身体运动的情况下(参见图36)，床的表面在前后方向或左右方向上移动。因此，位移传感器941将通过检测安装在床的表面上的标记的三维位置信息以及检测每单位时间床表面的前后或左右移动量而获得的结果输入至控制单元910。
然后，用作输出控制单元的控制单元910通过基于从位移传感器941输入的床2400的位移信息控制视频处理或音频处理以及多模式接口的输出来实现根据躺在床2400上的用户的身体运动的交互。
在下面的表6中例示了与用户的身体运动对应的床的位移信息与由控制单元910执行的输出控制之间的对应关系。这里，表6描述了主要与视频处理和音频处理有关的输出控制作为输出控制。此外，即使在输入了某些位移信息的情况下，也假设在诸如穹顶显示器101的整个天球显示器上显示视频并且由环绕音频系统再现音频声音。此外，多模式接口可以用于根据视点位置或视线方向的移动来组合送风的效果。此外，可以基于由头部检测相机942等检测到的用户的视线信息来控制视频的视差范围。
[表6]
当输入了向上和向下移动量作为用户所躺的床的位移信息时，用作输出控制单元的控制单元910执行以与每单位时间的向上和向下移动量成比例的移动量将运动视差的向上和向下的变化附加到观看期间的自由视点视频的视频处理(参见图22)。此外，用作输出控制单元的控制单元910可以执行下述视频处理：将用户利用床的弹簧特性在敲击表面时向上和向下移动加速度超过预定阈值设定为点火条件，并且在另一视点位置处执行UI菜单的光标的选择或瞬时移动(内容切换)到自由视点视频(或VR视频)(参见图37)。此外，控制单元910执行基于每单位时间的与向上和向下移动量结合的前、后、右和左移动量来估计用户头部的位置和正面方向，并且根据朝向头部位置的视频的视点位置(相机的成像位置)来控制SSF的向上和向下变化的音频处理。注意，控制单元910可以不根据床的向上和向下移动量连续地改变视频处理或音频处理，而是可以执行逐步的输出控制，使得当向上和向下移动量达到第一值时执行第一输出并且当向上和向下移动量达到大于第一值的第二值时执行不同于第一输出的第二输出。此外，当输入了关于由于用户在床上进行敲击而引起的向上和向下移动的位移信息时，控制单元910可以执行与用户敲击床的动作对应的输出控制。
此外，当输入了前、后、右和左移动量作为用户所躺的床的位移信息时，用作输出控制单元的控制单元910执行下述视频处理：根据每单位时间的与向上和向下移动量结合的前、后、右和左移动量来估计用户头部的位置和正面方向，并且以相同的移动量和移动角度以及成比例的移动量和移动角度将运动视差的位置和角度变化附加到观看期间的自由视点视频(参见图22)。此外，用作输出控制单元的控制单元910可以执行下述视频处理：根据每单位时间的与向上和向下移动量结合的前、后、右和左移动量来估计用户头部的位置和正面方向，使得观看期间的自由视点视频的视点位置的左右前进方向以相同的移动量和移动角度以及成比例的移动量和移动角度改变，并且执行UI菜单光标的移动或UI菜单和内容的显示位置的移动(参见图37)。此外，控制单元910可以基于输入的位移信息来控制视频的方向，以在用户在床上躺下或左右翻身时面向头部的方向。此外，控制单元910执行基于每单位时间的与向上和向下移动量结合的前、后、右和左移动量来估计用户头部的位置和正面方向，并且根据朝向头部位置的视频的视点位置(相机的成像位置)来控制SSF的位置和角度变化的音频处理。注意，控制单元910可以不根据床的前、后、右和左移动量连续地改变视频处理或音频处理，而是可以执行逐步的输出控制，使得当前、后、右和左移动量移动量达到第一值时执行第一输出并且当前、后、右和左移动量移动量达到大于第一值的第二值时执行不同于第一输出的第二输出。
与座椅类似，床可以说是像座椅那样可以从其获取根据用户的身体运动的位移信息的家具。床也可以是用户与座椅一样或更长时间使用的重要家具，并且可以向床应用本说明书中公开的技术。此外，还可以在使用床的医院、康复设施等中开展本说明书中公开的技术。
[示例5]
图38以流程图的形式示出了在系统900中用于基于根据用户的身体运动的对象的位移信息来控制与用户的交互的处理过程。这里，为了便于描述，示出了限于与视频有关的交互的处理过程。
当用作位移信息获取单元的位移传感器941可以检测到来自用户使用的对象的标记的运动时(步骤S2901中为“是”)，位移传感器941尝试检测标记每单位时间的向上或向下移动(步骤S2902)。然后，在可以检测到标记的向上和向下移动(步骤S2902中为“是”)并且位移传感器941计算了位移信息(例如与标记的向上和向下移动有关的移动量、移动速度或移动加速度)(步骤S2903)的情况下，将该位移信息作为根据用户的身体运动的对象的位移信息输出至用作输出控制单元的控制单元910。
相反，在位移传感器941可能未检测到标记的向上和向下移动时(步骤S2902中为“否”)，位移传感器941尝试检测每单位时间标记的右或左摇动旋转(步骤S2904)。然后，在可以检测到每单位时间标记的右或左摇动旋转(步骤S2904中为“是”)并且位移传感器941计算了位移信息(例如与标记的右或左摇动旋转有关的旋转角度、旋转角速度或旋转角加速度)(步骤S2905)的情况下，将该位移信息作为根据用户的身体运动的对象的位移信息输出至用作输出控制单元的控制单元910。
此外，在位移传感器941可能未检测到标记的右或左摇动旋转时(步骤S2904中为“否”)，位移传感器941连续尝试检测每单位时间标记在前后方向上的倾斜角度(步骤S2906)。然后，在位移传感器941可以检测到标记在前后方向上的倾斜角度(步骤S2906中为“是”)并且位移传感器941计算关于标记在前后方向上的倾斜角度的位移信息(例如旋转角度、旋转角速度或旋转角加速度)(步骤S2907)的情况下，位移传感器941将该位移信息作为根据用户的身体运动的对象的位移信息输出至用作输出控制单元的控制单元910。
相反，当位移传感器941可能未检测到标记在前后方向上的倾斜角度时(步骤S2906中为“否”)，位移传感器941进一步尝试检测每单位时间标记在右或左方向上的滚转角度(步骤S2908)。然后，在位移传感器941可以检测到标记在右或左方向上的滚转(步骤S2908中为“是”)并且位移传感器941计算关于标记在右或左方向上的滚转的位移信息(例如旋转角度、旋转角速度或旋转角加速度)(步骤S2909)的情况下，位移传感器941将该位移信息作为根据用户的身体运动的对象的位移信息输入至用作输出控制单元的控制单元910。
当基于从位移传感器941输入的对象的位移信息估计了使用该对象的用户的头部的位置时，用作输出控制单元的控制单元910生成用于转换自由视点视频(用户观看从头部位置看到的视频)的投影向量(步骤S2910)，并且显示用该投影矢量转换的视频(从投影仪投射视频)(步骤S2911)。
此外，控制单元910可以与步骤S2910和S2911的处理并行地基于对象的位移信息来估计用户头部的位置，并且可以根据视频的视点位置来控制SSF的改变或者基于对象的位移信息来控制多模式接口的输出。
要根据标记的运动获取的对象的位移信息(换句话说，用于控制对用户的反馈输出的位移信息)根据对象的类型而不同。例如，当对象是座椅时，需要主要获取关于椅背的前、后、向上、向下、右或左移动或者前或后倾斜角度的位移信息。当对象是诸如健身单车或跑步机的健身设备时，需要主要获取行进方向、速度、加速度或关于行进方向的位移信息。当对象是床时，需要获得关于床的前、后、右和左侧的平面方向以及向上和向下方向的位移信息。
因此，当指定对象的类型时，用作位移信息获取单元的位移传感器941可以根据所指定的对象类型依照每个标记的三维位置的信息(即，标记的运动)来计算位移信息并将该位移信息输入至用作输出控制单元的控制单元910。
在系统900中，作为指定对象类型的方法，例示了基于安装在对象上的标记的运动来自动确定对象类型的方法、使用针对一种对象类型唯一的标记的方法等。当然，系统900的操作者或使用对象的用户可以向系统900手动输入对象的类型。此外，在不使用标记的情况下，可以使用机器学习或深度学习来根据对象的图像数据指定对象的类型。
图39以流程图的形式示出了用作位移信息获取单元的位移传感器941基于标记的运动来自动确定对象的类型并且获取位移信息的处理过程。
在位移传感器941可以从由对对象成像的相机捕获的图像中检测到标记的运动时(步骤S3001中为“是”)，位移传感器941尝试计算每个标记的三维位置信息(步骤S3002)。然后，累计计算出的标记的三维位置信息(步骤S3003)。
随后，位移传感器941尝试从所累计的三维位置信息中检测标记的运动类型(步骤S3004)。然后，当位移传感器941可以检测出标记的运动类型时(步骤S3004中为“是”)，位移传感器941基于检测到的运动来确定对象的类型(步骤S3005)。
例如，当对象是座椅时，可以主要检测相当于椅背的前、后、上、下、右或左移动或者前或左倾斜角度的标记的运动。此外，当对象是健身单车时，可以检测相当于前轮或脚蹬的旋转或者鞍座或把手的左右倾斜角度的标记的运动。此外，当对象是跑步机时，可以检测相当于环形跑带在前后方向上的运动或者操作面板或跑台的前、后、右或左倾斜角度的标记的运动。此外，当对象是床时，可以检测相当于床的向上或向下方向或者床的前、后、右或左的平面方向的标记的运动。在步骤S3005中，位移传感器941确定在步骤S3004中检测到的标记的运动是否等同或类似于特定对象的特定运动。例如，可以将机器学习引入确定处理以提高确定精度。
随后，在使用在步骤S3005中确定的对象的情况下，位移传感器941基于在步骤S3003中累计的三维位置信息来计算执行根据用户的身体运动的输出控制(即，与未佩戴任何东西的用户的交互)所需的位移信息(步骤S3006)。
例如，当对象是座椅时，位移传感器941计算关于椅背的前、后、上、下、右或左移动或者前或后倾斜角度的位移信息。此外，当对象是健身单车时，位移传感器941计算关于前轮或脚蹬的旋转速度或者鞍座或把手的右或左倾斜角度的位移信息。此外，当对象是跑步机时，位移传感器941计算关于环形跑带在前或后方向上的移动速度或者操作面板或跑台的前、后、右或左倾斜角度的位移信息。此外，当对象是床时，位移传感器941计算关于床的向上、向下、前、后、右或左的平面方向的位移信息。
然后，位移传感器941将根据对象类型计算的位移信息输入至用作输出控制单元的控制单元910(步骤S3007)。
此外，图40以流程图的形式示出了用作位移信息获取单元的位移传感器941基于适当的标记来自动确定对象的类型并且获取位移信息的处理过程。
所述适当的标记例如是：以指示对象的标识信息的闪烁模式发射可见光或不可见光的元件，或者以指示对象的标识信息的图形图案形成的视觉标记。
当位移传感器941可以从由相机捕获的图像所包括的标记中检测到对象的标识信息时(步骤S3101中为“是”)，位移传感器941基于检测到的标识信息来指定对象的类型(步骤S3102)。
然后，在位移传感器941可以从由对对象成像的相机捕获的图像中检测到标记的运动时(步骤S3103中为“是”)，位移传感器941尝试计算每个标记的三维位置信息(步骤S3104)。然后，累计计算出的标记的三维位置信息(步骤S3105)。
随后，位移传感器941尝试从所累计的三维位置信息中检测与步骤S3102中指定的对象对应的标记的运动类型(步骤S3004)。
例如，当对象是座椅时，可以主要检测相当于椅背的前、后、上、下、右或左移动或者前或左倾斜角度的标记的运动。此外，当对象是健身单车时，可以检测相当于前轮或脚蹬的旋转或者鞍座或把手的左右倾斜角度的标记的运动。此外，当对象是跑步机时，可以检测相当于环形跑带在前后方向上的运动或者操作面板或跑台的前、后、右或左倾斜角度的标记的运动。此外，当对象是床时，可以检测相当于床的向上或向下方向或者床的前、后、右或左的平面方向的标记的运动。
然后，在位移传感器941可以检测出与对象对应的标记的运动类型时(步骤S3106中为“是”)，位移传感器941基于在步骤S3105中累计的三维位置信息来计算执行根据用户的身体运动的输出控制(即，与未佩戴任何东西的用户的交互)所需的位移信息(步骤S3107)。
例如，当对象是座椅时，位移传感器941计算关于椅背的前、后、上、下、右或左移动或者前或后倾斜角度的位移信息。此外，当对象是健身单车时，位移传感器941计算关于前轮或脚蹬的旋转速度或者鞍座或把手的右或左倾斜角度的位移信息。此外，当对象是跑步机时，位移传感器941计算关于环形跑带在前或后方向上的移动速度或者操作面板或跑台的前、后、右或左倾斜角度的位移信息。此外，当对象是床时，位移传感器941计算关于床的向上、向下、前、后、右或左的平面方向的位移信息。
然后，位移传感器941将根据对象类型计算的位移信息输入至用作输出控制单元的控制单元910(步骤S3108)。
[示例6]
接下来，将描述用作输出控制单元的控制单元910具有使得根据音频信号显示图像的可视化器功能的示例作为视频显示的示例。图41示出了本示例的配置示例，并且图42仅示出了图41所示的配置中的穹顶屏101。另外，图43示出了在基本面对穹顶屏101的视点处的、图41所示的用户的视野。
本示例可以应用于具有能够在再现或执行诸如游戏或视频内容的数字内容时输出根据音频信号的变化动态改变的效果图像的可视化器功能的数字内容再现器。
可视化器是在本示例中用作输出控制单元的控制单元910具有的功能，并且是输出(显示)根据音频信号的变化动态改变的效果图像的功能。效果图像是用于执行为使用作输出控制单元的控制单元910实现可视化器功能所需的显示的图像。在用户观看在穹顶屏101上显示的效果图像并且效果图像不满足用户的偏好的情况下，可以交换要再现的数字内容。在该配置中，可以使用可视化器功能搜索和再现满足用户偏好的效果图像。
注意，在本示例中，在其上显示效果图像的显示单元(穹顶屏101)具有穹顶形状，但是在其上显示效果图像的显示单元也可以是平坦屏或者可以是电视屏。
再现本示例中的效果图像以使得用户坐在布置在预定空间中的座椅1000上并且可以体验效果图像。注意，图41示出了安装有座椅1000的示例。然而，如图24和图25所描述的，可以安装诸如健身单车或跑步机的健身设备来替代座椅1000，使得观看者可以体验到根据本示例的可视化器功能。
用作输出控制单元的控制单元910可以通过使得显示在穹顶屏101上的效果图像根据对音频信号的分析结果(例如，音频信号的音调或音量、节拍或频率特性)而改变来实现可视化器功能。注意，控制单元910可以使用曲调分析算法(12音调分析)来获取对音频声音的分析结果，或者可以具有分析所谓的高分辨率区域中的信号的功能。
此外，用作输出控制单元的控制单元910使得根据对输入的音频信号的分析结果来输出效果图像，并且使得根据音频信号从音频输出系统输出(再现)音频声音。
图44至图54依次示出了在穹顶屏101上显示的效果图像的变化的示例。如图44至图54所示，在效果图像中，根据对音频信号的分析结果来改变具有菱形形状的颗粒(3D模型)。
此外，图55至图62仅示出了效果图像中包括的颗粒以便更详细地示出效果图像的变化。注意，图44与图55彼此对应，图45与图56彼此对应，图46与图57彼此对应，图47与图58彼此对应，图49和图59彼此对应，图51与图60彼此对应，图52与图61彼此对应，图53与图62彼此对应。
在图55至图62所示的本示例的情况下，在关注根据本示例的可视化器并且已显示的效果图像中的单个颗粒时，每个颗粒具有这样的特性：在从内壁的中心附近到穹顶屏101的外边缘的辐射方向上的多个阶段中颗粒整体大幅移动同时使得在虚拟空间中的位置、大小、取向、角度等改变。
可以认为图55至图62所示的颗粒群包括单个颗粒群层。在这种情况下，注意图55至图62所示的三个颗粒仅是颗粒群层中包括的颗粒中的一些，而且每个颗粒群层可以包括四个或更多个颗粒。在该配置中，其中有多个互不相同的颗粒群层在虚拟空间的深度方向上交叠的图像可以包括图44和图54所示的效果图像。在这种情况下，图44和图54所示的效果图像例如包括约10层的颗粒群层。多个颗粒群层在虚拟空间的深度方向上与音频信号的变化一致地彼此分开或靠近。可以适当地设定颗粒群层之间的分离速度(接近速度)。例如，可以将分离速度(接近速度)设定成随着音乐节奏变快而更快。当多个颗粒群层彼此分开时，前侧上的颗粒群层变得更靠近穹顶筛101的外边缘。此外，当颗粒群层接近观看者时,颗粒群层在层中(二维地)径向扩散。因此，观看者观察到多个颗粒群层，使得这些颗粒群层在虚拟空间中三维地扩展。因此，根据本示例，可以向观看者提供呈现高沉浸感的可视化器功能。注意，为了提高浸没感，可以将多个颗粒群层中的至少一个颗粒群层配置成从观看者的前方位置向后方位置移动。因此，可以向观看者提供被包围在效果图像中的感觉。从观看者的前方位置向后方位置移动的颗粒群层可以是在多个颗粒群层收缩的状态下位于最前侧的颗粒群层。也就是说，在多个颗粒群层收缩的状态下，所有颗粒群层都可以位于观看者的前方。在该配置中，观看者可以体验到从未被包围在效果图像中的感觉的状态到被包围在效果图像中的感觉的状态的过渡视频并且获得高沉浸感。
注意，可以控制显示使得布置在虚拟空间中的颗粒在虚拟空间中无序地漂移直到音乐开始。然后，通过将分散的颗粒收集到用户前方，可以控制显示使得随着音乐开始而形成图43中的效果图像。注意，在音乐开始之前的状态中，颗粒的形状可以是与菱形形状不同的形状(例如球形)，并且可以控制显示以使得随着音乐开始而将形状改变为菱形形状。此外，显示可以随着音乐结束而恢复，使得释放颗粒的菱形形状而使颗粒在虚拟空间中无序地漂移。在该配置中，即使在听到的音乐改变时，观看者也可以保持被显示的颗粒包围的感觉。因此，观看者可以获得高沉浸感。
根据本示例，效果图像被配置成使得作为效果图像显示的颗粒的相对长度随着这些颗粒变得更靠近穹顶屏101的内壁的外边缘附近而延伸。因此，倾向于凝视内壁中心附近的用户可以享受具有沉浸感的模拟体验，就像观看者处于三维虚拟空间中一样。
注意，可以改变的不仅是在虚拟空间中的位置、大小、取向、角度等，还可以是颗粒的颜色、亮度等。此外，图41至图62示出了显示具有菱形形状的颗粒的示例，但是也可以显示具有不同形状的3D模型。
此外，在本示例中，如图44至图54所示的通过数字内容再现器的可视化器功能而动态改变的效果图像也可以被确定为在内壁部分中表现为穹顶形状或平坦形状的显示屏或者包括作为构成元件的显示屏的数字内容再现器。
此外，在本示例中，用作输出控制单元的控制单元910还可以执行控制使得基于根据用户的身体运动的、与三维位移对应的位移信息来执行反馈输出。例如，用作输出控制单元的控制单元910可以执行音频处理，使得效果图像的前后或左右运动视差根据关于座椅1000在前后方向或左右方向上的倾斜角度的位移信息而改变(参见图20和图21)。
如上所述，根据本说明书中提出的交互技术，不需要专用的控制器，并且可以使用一般的对象来执行UI操作或对装置的输入。另一方面，由于不使用专用的控制器，因此存在用户几乎不能确定操作对象的方法并且对于对象的操作感到困惑的可能。因此，例如，当用户开始使用对象时，可以在显示单元上显示可用的使用对象进行的操作。此时，优选地显示由系统识别的对象类型。此外，可以基于由系统获取的对象的位移信息来确定用户是否开始使用对象。注意，可以根据指定的对象类型从网络自动获取可以利用所识别的对象操作的控制的初始设置。此外，存在用户在利用对象进行输入操作的中间忘记可用操作的可能。因此，可以根据特定操作(例如，敲击座椅)来显示当前可用对象的操作列表。当然，用户可以适当地改变对象的可用操作。
[示例7]
接下来，将描述使用用户携带的用户终端的示例。图63是示出布置有用户终端700的配置示例的透视图。用户终端700例如是用户通常使用的终端(信息处理装置)，并且可以是即使用户不使用系统900时用户也会使用的终端。在本说明书中，提供了一种包括输出单元(视频输出系统或音频输出系统)和输出控制单元的信息处理装置(系统)。如将详细描述的，根据本示例的输出控制单元被配置成基于关于用户的身体运动的传感器信息和从用户终端700获取的终端信息来控制输出单元。
注意，图63示出了用户终端700是智能电话的示例，但是用户终端700不限于该示例。用户终端700可以是通常由用户携带的便携式(手持式)终端或者被佩戴以供使用的可穿戴终端。例如，便携式终端可以是平板终端，而用户佩戴的可穿戴终端(可穿戴设备)可以是腕表型智能手表等。
此外，图63所示的示例是获取根据用户的身体运动的位移信息的对象是座椅1000的示例，但是本技术不限于该示例。例如，即使在获取根据用户的身体运动的位移信息的对象是如上所述的诸如跑步机或健身单车的健身设备或诸如沙发或床的家具的情况下，也可以使用用户终端700。
此外，图63所示的示例是用户终端700被布置在座椅1000的头枕1040中形成的空腔中的示例，但是用户终端700的布置不限于该示例。例如，用户终端700可以被布置在座椅1000的扶手上，可以被布置在用户的膝盖上，可以由用户握持或者可以放在用户的胸部口袋中。此外，即使在获取根据用户的身体运动的位移信息的对象不是座椅1000的情况下，用户终端700也可以被布置在对象的预定位置处。此外，在用户终端700是诸如智能手表的可穿戴设备的情况下，用户终端700可以安装在用户的手臂等上。
图64示出了用户终端700的配置示例。如图64所示，用户终端700是信息处理装置，其包括终端控制器710、存储器720、通信单元730、传感器单元740、存储单元750、显示单元760、扬声器770和操作输入单元780。
终端控制器710控制整个用户终端700。此外，终端控制器710执行各种应用(例如，语音对话应用)。此外，终端控制器710可以基于传感器单元740获取的传感器信息来执行识别(例如，声音识别等)。注意，下面将描述在系统900与用户终端700协作的情况下由终端控制器710执行的识别或应用。
存储器720包括诸如双倍数据速率(DDR)的SDRAM或闪速存储器，并且被用作终端控制器710的工作存储器。
通信单元730包括诸如无线保真(Wi-Fi)、蓝牙(注册商标)或近场通信(NFC)的无线通信模块。通信单元730可以与参照图9描述的系统900的通信单元913连接，或者可以例如向通信单元913发送由传感器单元740获取的传感器信息等。在该配置中，系统900可以与用户终端700协作以实现更多种功能。下面将描述系统900与用户终端700的协作的细节。
传感器单元740具有获取(感测)关于用户或周围环境的各种信息(环境信息)的功能。例如，如图64所示，传感器单元740包括相机741、麦克风742、陀螺仪传感器743、加速度传感器744、方位传感器745、定位单元746、心跳传感器747和体温传感器748。
相机741获取关于真实空间的信息作为捕获图像。相机741包括镜头系统，其包括成像镜头、光圈、变焦镜头和聚焦镜头、对镜头系统执行聚焦操作或变焦操作的驱动系统、以及对利用镜头系统获得的成像光进行光电转换以生成成像信号的固态图像传感器阵列。固态图像传感器阵列可以通过例如电荷耦合器件(CCD)传感器阵列或互补金属氧化物半导体(CMOS)传感器阵列来实现。
此外，可以设置多个相机741。在设置多个相机741的情况下，多个相机741可以被安装成在同一方向上执行成像，或者可以被设置成在不同方向上执行成像。例如，相机741可以包括主要在用户的方向上成像的向内相机和主要对用户的视野方向成像的向外相机。
麦克风742收集用户的语音或周围的环境声音并获取音频信号。
陀螺仪传感器743例如由三轴陀螺仪传感器实现以检测角速度(旋转速度)。
加速度传感器744例如由三轴加速度传感器(也被称为G传感器)实现以检测移动时的加速度。
方位传感器745例如由三轴地磁传感器(罗盘)实现以检测绝对方向(方位)。
定位单元746具有基于从外部获取的信号来检测用户终端700的当前位置的功能。例如，定位单元746由全球定位系统(GPS)定位单元来实现，从GPS卫星接收无线电波，检测存在用户终端700的位置并获取位置信息。此外，除了GPS之外，定位单元746还可以利用例如Wi-Fi(注册商标)、蓝牙(注册商标)或便携式PHS智能电话来执行发送和接收，或者通过短距离通信等来检测位置。
心跳传感器747检测携带有用户终端700的用户的心跳并获取心跳信息。
体温传感器748检测携带有用户终端700的用户的体温并获取体温信息。
注意，图64所示的传感器单元740中包括的传感器是示例性的，并且本技术不限于该示例。例如，传感器单元740可以不包括所有示出的传感器，并且每种传感器可以被配置为多个传感器。此外，传感器单元740可以包括其他传感器或者可以包括例如获取生物信息(例如用户的排汗、血压，出汗、脉搏、呼吸，眨眼、眼球运动、注视时间、瞳孔直径大小、血压、脑电波、身体运动、姿势、皮肤温度、皮肤电阻、微振动(MV)、肌原性电位或SPO2(血氧饱和度))的传感器。
此外，由于存在对设备类型的依赖性，因此优选地根据从各种传感器获得的传感器信息来对各种传感器执行校准。例如，根据关于专用应用的指令，可以计算校正参数并且可以基于通过执行预先决定的特定运动或操作、操纵等而从各种传感器获得的传感器信息来执行校准。
此外，下面将描述在系统900与用户终端700协作的情况下的传感器单元740的感测目标和感测结果的反映目标。
存储单元750存储用于上述终端控制器710的参数或程序以执行处理。此外，存储单元750可以使用用户终端700存储关于用户的简档信息。
简档信息可以包括例如用户使用用户终端700的历史信息。历史信息可以包括例如与用户终端700中的内容的再现有关的再现历史、与操作户终端700的操作历史有关的操作历史等。
此外，简档信息可以包括关于用户的个人信息。个人信息例如可以包括诸如国籍、年龄、性别、身高、坐高、体重或用户日程的信息。注意，个人信息可以是例如基于用户的明确操作而获得的信息，或者可以是通过基于用户的内容观看历史、操作历史等进行估计而获得的信息。
此外，简档信息可以包括指示用户偏好的偏好信息。偏好信息可以包括例如指示对内容的偏好的内容偏好信息和指示对与显示单元760或扬声器770的输出有关的调整值的偏好的输出调整值偏好信息。注意，偏好信息可以是例如基于用户的明确操作而获得的信息，或者可以是通过基于用户的内容观看历史、操作历史等进行学习而获得的信息。
注意，下面将描述在系统900与用户终端700协作的情况下对简档信息的利用。
显示单元760例如由液晶显示(LCD)装置、有机发光二极管(OLED)装置等实现，并且在终端控制器710的控制下显示各种画面。
扬声器770例如在终端控制器710的控制下输出音频声音。
操作输入单元780由诸如触摸传感器、鼠标、键盘、按钮、开关和控制杆的具有用于用户输入信息的物理结构的操作构件实现。在本公开内容中，在一些情况下，输入到用户终端700以便用户执行特定操作的信息被称为“输入操作信息”。注意，用户的输入操作不限于通过前述操作构件执行的操作，而是可以包括例如由传感器单元740获取的手势输入操作、声音输入操作等。
以上已经描述了用户终端700的配置示例。接下来，将在下文中依次描述在系统900与用户终端700协作的情况下传感器单元740的感测目标和感测结果的反映目标。在下面的表7中例示了传感器单元740中包括的每个传感器与感测目标之间的对应关系。
[表7]
例如，在用户坐在座椅上的情况下，可以基于传感器单元740的感测来获取根据用户的身体运动的座椅的位移信息。在这种情况下，用户终端700可以用作位移信息获取单元。此外，在这种情况下，座椅的位移信息可以类似于例如示例1中描述的座椅1000的位移信息。注意，在本公开内容中，获取关于用户的身体运动的传感器信息的传感器单元740可以被视为“第一传感器单元”。
可以基于例如由传感器单元740的相机741捕获的图像来获取座椅的位移信息。注意，基于由相机741捕获的图像获取位移信息的方法可以与示例1中描述的获取位移信息的方法类似。
此外，可以通过组合由传感器单元740中的麦克风742、陀螺仪传感器743、加速度传感器744和方位传感器745中的至少一个传感器获取的传感器信息来获取座椅的位移信息。
此外，在用户使用跑步机的情况下，可以基于传感器单元740的感测来获取根据用户的身体运动的跑步机的位移信息。在这种情况下，用户终端700也可以用作位移信息获取单元。此外，在这种情况下，跑步机的位移信息可以类似于例如示例2中描述的跑步机1500的位移信息。
可以基于例如由传感器单元740的相机741捕获的图像来获取跑步机的位移信息。注意，基于由相机741捕获的图像获取位移信息的方法可以与示例2中描述的获取位移信息的方法类似。
此外，可以通过组合由传感器单元740中的麦克风742、陀螺仪传感器743、加速度传感器744和方位传感器745中的至少一个传感器获取的传感器信息来获取跑步机的位移信息。
此外，在用户使用健身单车的情况下，可以基于传感器单元740的感测来获取根据用户的身体运动的健身单车的位移信息。在这种情况下，用户终端700也可以用作位移信息获取单元。此外，在这种情况下，健身单车的位移信息可以类似于例如示例2中描述的健身单车1600的位移信息。
可以基于例如由传感器单元740的相机741捕获的图像来获取健身单车的位移信息。注意，基于由相机741捕获的图像获取位移信息的方法可以与示例2中描述的获取位移信息的方法类似。
此外，可以通过组合由传感器单元740中的麦克风742、陀螺仪传感器743、加速度传感器744和方位传感器745中的至少一个传感器获取的传感器信息来获取健身单车的位移信息。
此外，在用户躺在床上的情况下，可以基于传感器单元740的感测来获取根据用户的身体运动的床的位移信息。在这种情况下，用户终端700也可以用作位移信息获取单元。此外，在这种情况下，床的位移信息可以类似于例如示例4中描述的床2400或床2500的位移信息。
可以基于例如由传感器单元740的相机741捕获的图像来获取床的位移信息。注意，基于由相机741捕获的图像获取位移信息的方法可以与示例2中描述的获取位移信息的方法类似。
此外，可以通过组合由传感器单元740中的麦克风742、陀螺仪传感器743、加速度传感器744和方位传感器745中的至少一个传感器获取的传感器信息来获取床的位移信息。
如上所述，在用户终端700用作位移信息获取单元的情况下，系统900可以不包括位移传感器941，因此具有简化配置的有利效果。
此外，可以基于传感器单元740的感测来获取关于用户的头部位置和头部姿势的信息。可以基于上述位移信息来估计头部位置和头部姿势，或者可以更直接地感测关于头部位置和头部姿势的信息。例如，可以基于由传感器单元740的相机741捕获的图像来获取关于用户的头部位置和头部姿势的信息。例如，可以基于投影视频与由对用户的视野方向进行成像的向外相机捕获的图像之间的对应关系来估计对用户方向进行成像的向内相机的图像中所示的用户头部的位置和姿势。此外，用户终端700可以从由相机741捕获的图像中检测用户的头部，并且如在上述头部检测相机942中那样将用户头部的视频发送至控制单元910。在这种情况下，系统900可以不包括头部检测相机942，因此具有简化配置的有利效果。
此外，可以通过组合由传感器单元740中的麦克风742、陀螺仪传感器743、加速度传感器744和方位传感器745中的至少一个传感器获取的传感器信息来获取关于用户的头部位置和头部姿势的信息。
此外，可以基于传感器单元740的感测来获取关于用户的身体倾斜的信息。关于身体倾斜的信息可以包括例如重心波动和摇摆的信息。例如，可以基于由传感器单元740的相机741捕获的图像来获取关于身体倾斜的信息。此外，可以通过组合由传感器单元740中的麦克风742、陀螺仪传感器743、加速度传感器744和方位传感器745中的至少一个传感器获取的传感器信息来获取关于身体倾斜的信息。
此外，可以基于传感器单元740的感测来获取关于用户的手部运动(手势)的信息。关于手部运动的信息可以包括例如关于手部运动(如拍手、挥手或手臂弯折)的信息。例如，可以基于由传感器单元740的相机741捕获的图像来获取关于手部运动的信息。此外，可以通过组合由传感器单元740中的麦克风742、陀螺仪传感器743、加速度传感器744和方位传感器745中的至少一个传感器获取的传感器信息来获取关于手部运动的信息。
此外，可以基于传感器单元740的传感器信息来获取关于穹顶屏101上的亮度的信息以及对从投影仪103和104中的每个进行投射的亮度调整值的偏好。例如，可以基于由传感器单元740的相机741捕获的图像来获取关于亮度的信息。此外，可以针对每个用户基于由传感器单元740的心跳传感器或体温传感器获取的心跳或体温来获取关于对亮度调整值的偏好的信息。
此外，可以基于传感器单元740的传感器信息来获取关于穹顶屏101上的图像质量的信息以及对从投影仪103和104中的每个进行投射的图像质量调整值的偏好。例如，可以基于由传感器单元740的相机741捕获的图像来获取关于图像质量的信息。此外，可以针对每个用户基于由传感器单元740的心跳传感器或体温传感器获取的心跳或体温来获取关于对图像质量调整值的偏好的信息。
此外，可以基于传感器单元740的传感器信息来针对每个用户获取关于对系统900输出的内容的偏好的信息。例如，可以针对每个用户基于由传感器单元740的心跳传感器或体温传感器获取的心跳或体温来获取关于对内容的偏好的信息。
此外，可以基于传感器单元740的传感器信息来获取关于对从系统900的音频输出系统输出的音频声音的音量和音量调整值的偏好的信息。例如，可以基于由传感器单元740的麦克风742获取的音频信号(声音信息)来获取关于音量的信息。此外，可以针对每个用户基于由传感器单元740的心跳传感器或体温传感器获取的心跳或体温来获取关于对音量调整值的偏好的信息。
此外，可以基于传感器单元740的传感器信息来获取关于对从系统900的音频输出系统输出的音频声音的声音质量和声音质量调整值的偏好的信息。例如，可以基于由传感器单元740的麦克风742获取的音频信号来获取关于声音质量的信息。此外，可以针对每个用户基于由传感器单元740的心跳传感器或体温传感器获取的心跳或体温来获取关于对声音质量调整值的偏好的信息。
此外，可以基于传感器单元740的传感器信息来获取关于地点的信息。例如，可以通过传感器单元740的定位单元746来获取关于地点的信息。此外，可以通过组合由传感器单元740中的陀螺仪传感器743、加速度传感器744和方位传感器745中的至少一个传感器获取的传感器信息来获取关于地点的信息。注意，优选地在将本说明书中提出的技术应用于例如诸如飞机、火车、公共汽车或乘用车的移动体的情况下获取关于地点的信息。
以上已经描述了传感器单元740的感测目标的示例。注意，基于上述捕获图像获取信息的处理和通过组合传感器信息获取信息的处理可以由用户终端700的终端控制器710执行，或者可以由系统900的主控制器911执行。
接下来，将描述感测结果的反映目标。用作输出控制单元的控制单元910使得传感器单元740的感测结果反映在交互中。在下面的表8中例示了感测目标与感测结果的反映目标之间的对应关系。
[表8]
例如，在基于传感器单元740的感测获取了座椅的位移信息的情况下，用作输出控制单元的控制单元910可以基于座椅的位移信息来控制视频处理或音频处理的输出。注意，与基于座椅的位移信息的视频处理或音频处理有关的输出控制例如可以与示例1中描述的与基于座椅1000的位移信息的视频处理或音频处理有关的输出控制类似。注意，用作输出控制单元的控制单元910可以执行使音频声音的音量根据座椅的位移信息而改变的音频处理。此外，用作输出控制单元的控制单元910可以基于座椅的位移信息执行切换要被输出的内容的视频处理或音频处理。
此外，在基于传感器单元740的感测获取了跑步机的位移信息的情况下，用作输出控制单元的控制单元910可以基于跑步机的位移信息来控制视频处理或音频处理的输出。注意，与基于跑步机的位移信息的视频处理或音频处理有关的输出控制例如可以与示例2中描述的与基于跑步机1500的位移信息的视频处理或音频处理有关的输出控制类似。替选地，用作输出控制单元的控制单元910可以执行使得基于位移信息(例如用户在跑步机上的行进或走动速度或者跑步机的向上或向下移动量、右或左倾斜角度等)来改变画面绘制速度的视频处理。此外，用作输出控制单元的控制单元910可以执行基于跑步机的位移信息来切换要被输出的内容的视频处理或音频处理。
此外，在基于传感器单元740的感测获取了健身单车的位移信息的情况下，用作输出控制单元的控制单元910可以基于健身单车的位移信息来控制视频处理或音频处理的输出。注意，与基于健身单车的位移信息的视频处理或音频处理有关的输出控制例如可以与示例2中描述的与基于健身单车1600的位移信息的视频处理或音频处理有关的输出控制类似。注意，用作输出控制单元的控制单元910可以根据车轮的旋转速度(健身单车的位移信息的示例)执行使画面绘制速度改变的视频处理或者使音频声音的音调或节奏改变的音频处理。此外，用作输出控制单元的控制单元910可以执行基于健身单车的位移信息来切换要被输出的内容的视频处理或音频处理。
此外，在基于传感器单元740的感测获取了床的位移信息的情况下，用作输出控制单元的控制单元910可以基于床的位移信息来控制视频处理或音频处理的输出。注意，与基于床的位移信息的视频处理或音频处理有关的输出控制例如可以与示例4中描述的与基于床2400或2500的位移信息的视频处理或音频处理有关的输出控制类似。注意，用作输出控制单元的控制单元910可以执行使音频声音的音量根据床的位移信息而改变的音频处理。此外，用作输出控制单元的控制单元910可以执行基于床的位移信息来切换要被输出的内容的视频处理或音频处理。
此外，在基于传感器单元740的感测获取了关于用户的头部位置或头部姿势的信息的情况下，用作输出控制单元的控制单元910可以基于关于头部位置和头部姿势的信息来控制视频处理或音频处理的输出。例如，用作输出控制单元的控制单元910可以基于关于头部位置和头部姿势的信息执行使观看期间的自由视点视频的视点位置改变的视频处理。此外，用作输出控制单元的控制单元910可以基于关于头部位置和头部姿势的信息来根据视频的视点位置控制SSF的改变。替选地，用作输出控制单元的控制单元910可以基于关于头部位置和头部姿势的信息执行使音频声音的音量改变的音频处理。此外，用作输出控制单元的控制单元910可以基于关于头部位置和头部姿势的信息执行切换要输出的内容的视频处理或音频处理。此外，用作输出控制单元的控制单元910可以基于关于头部位置和头部姿势的信息执行与对UI菜单的操作有关的视频处理。
此外，在基于传感器单元740的感测获取了关于用户的身体倾斜的信息的情况下，用作输出控制单元的控制单元910可以基于关于身体倾斜的信息来控制视频处理或音频处理的输出。例如，用作输出控制单元的控制单元910可以基于关于身体倾斜的信息执行使观看期间的自由视点视频的视点位置改变的视频处理。此外，用作输出控制单元的控制单元910可以基于关于身体倾斜的信息来根据视频的视点位置控制SSF的改变。替选地，用作输出控制单元的控制单元910可以基于关于身体倾斜的信息执行使音频声音的音量改变的音频处理。此外，用作输出控制单元的控制单元910可以基于关于身体倾斜的信息执行切换要被输出的内容的视频处理或音频处理。此外，用作输出控制单元的控制单元910可以基于关于身体倾斜的信息执行与对UI菜单的操作有关的视频处理。
此外，在基于传感器单元740的感测获取了关于用户的手部运动的信息的情况下，用作输出控制单元的控制单元910可以基于手部运动的信息执行切换要输出的内容的视频处理或音频处理。此外，用作输出控制单元的控制单元910可以基于关于手部运动的信息执行与对UI菜单的操作有关的视频处理。
此外，在基于传感器单元740的传感器信息获取了关于穹顶屏101上的亮度的信息的情况下，用作输出控制单元的控制单元910可以基于关于亮度的信息执行对投影仪103和104中的每个的亮度调整。此外，类似地，在基于传感器单元740的传感器信息获取了关于对亮度调整值的偏好的信息的情况下，用作输出控制单元的控制单元910可以基于关于对亮度调整值的偏好的信息执行对投影仪103和104中的每个的亮度调整。
此外，在基于传感器单元740的传感器信息获取了关于穹顶屏101上的图像质量的信息的情况下，用作输出控制单元的控制单元910可以基于关于图像质量的信息执行对投影仪103和104中的每个的图像质量调整。此外，类似地，在基于传感器单元740的传感器信息获取了关于对图像质量调整值的偏好的信息的情况下，用作输出控制单元的控制单元910可以基于关于对图像质量调整值的偏好的信息执行对投影仪103和104中的每个的图像质量调整。注意，由用作输出控制单元的控制单元910执行的图像质量调整可以包括例如对颜色、对比度或清晰度的调整。
此外，在基于传感器单元740的传感器信息获取了关于对内容的偏好的信息的情况下，用作输出控制单元的控制单元910可以基于关于对内容的偏好的信息执行切换要输出的内容的视频处理或音频处理。此外，用作输出控制单元的控制单元910可以基于关于对内容的偏好的信息执行使得向用户推荐内容(例如，使得显示推荐内容)的输出控制。
此外，在基于传感器单元740的传感器信息获取了关于从系统900的音频输出系统输出的音频声音的音量的信息的情况下，用作输出控制单元的控制单元910可以基于关于音量的信息执行对从系统900的音频输出系统输出的音频声音的音量调整。此外，类似地，在基于传感器单元740的传感器信息获取了关于对音量调整值的偏好的信息的情况下，用作输出控制单元的控制单元910可以基于关于对音量调整值的偏好的信息执行音量调整。
此外，在基于传感器单元740的传感器信息获取了关于从系统900的音频输出系统输出的音频声音的声音质量的信息的情况下，用作输出控制单元的控制单元910可以基于关于声音质量的信息执行对从系统900的音频输出系统输出的音频声音的声音质量调整。此外，类似地，在基于传感器单元740的传感器信息获取了关于对声音质量调整值的偏好的信息的情况下，用作输出控制单元的控制单元910可以基于关于对声音质量调整值的偏好的信息执行声音质量调整。注意，由用作输出控制单元的控制单元910执行的声音质量调整可以包括例如对音频输出系统的频率特性、相位特性、延迟特性的调整。
此外，在根据传感器单元740的传感器信息获取了关于地点的信息的情况下，用作输出控制单元的控制单元910可以基于关于地点的信息执行切换要输出的内容的视频处理或音频处理。例如，用作输出控制单元的控制单元910可以基于关于地点的信息使得输出用于引导附近的著名地点等的内容或者可以输出用于通告附近的商店等的内容。
以上已经描述了在系统900与用户终端700协作的情况下传感器单元740的感测目标和感测结果的反映目标。注意，以上已经描述了感测结果主要反映在与视频处理或音频处理有关的输出控制中的示例，但是本技术不限于这些示例。例如，用作输出控制单元的控制单元910可以基于由体温传感器748获取的关于体温的信息来控制外部输出单元952中包括的空气调节器的输出。此外，以上已经主要描述了用户使用系统900时传感器单元740的感测，但是本技术不限于该示例。例如，当安装有穹顶显示器101时，可以基于由传感器单元740的相机741捕获的图像来执行几何校正或边缘融合处理。此外，在校正随时间变化的移位时，也可以基于由相机741捕获的图像来执行校正。
接下来，将描述在系统900与用户终端700协作时对简档信息的利用。用作输出控制单元的控制单元910可以基于存储在用户终端700的存储单元750中的简档信息来控制交互。
例如，用作输出控制单元的控制单元910可以基于简档信息中包括的历史信息使得输出内容。例如，用作输出控制单元的控制单元910可以基于再现历史使得输出与用户先前再现的内容类似的内容。此外，用作输出控制单元的控制单元910可以基于再现历史使得输出用户先前经常再现的内容。
此外，用作输出控制单元的控制单元910可以基于简档信息中包括的个人信息来控制输出。例如，用作输出控制单元的控制单元910可以使得根据个人信息输出适当的内容。此外，用作输出控制单元的控制单元910可以使得在用户上年纪的情况下显示的文本的大小更大。此外，用作输出控制单元的控制单元910可以根据关于用户的高度或坐高的信息执行使观看期间的自由视点视频的视点位置改变的视频处理。此外，用作输出控制单元的控制单元910可以基于用户的日程的信息使得显示日程或者使得通知日程中包括的计划。注意，当在用户正在观看内容时使简档信息(例如关于日程的信息)叠加在内容视频上的情况下，优选地将简档信息布置在除了与用户前方对应的区域之外的区域中以便不阻碍观看内容。
此外，用作输出控制单元的控制单元910可以基于简档信息中包括的偏好信息来控制输出。例如，用作输出控制单元的控制单元910可以根据内容偏好信息使得输出所估计的用户偏好的内容。
此外，用作输出控制单元的控制单元910可以基于输出调整值偏好信息执行与亮度、图像质量、音量、声音质量等的输出有关的调整。在该配置中，由于快速执行针对每个用户的调整，因此例如可以减少由视频引起的弊病。在用户在商店等中频繁移位的情况下，基于简档信息针对每个用户的调整尤其有效。
以上已经描述了在系统900与用户终端700协作时对简档信息的利用。注意，在系统900与用户终端700协作时，对存储在存储单元750中的信息的利用不限于上述利用方式。例如，用作输出控制单元的控制单元910可以使得输出存储单元750中存储的内容。
接下来，将描述在系统900与用户终端700协作时用户终端700的其他功能协作的示例。用作输出控制单元的控制单元910可以基于用户终端700的各种功能来控制输出。
例如，在用户终端700具有视频电话功能的情况下，用作输出控制单元的控制单元910可以使用穹顶显示器100执行与视频电话有关的视频处理或音频处理。
此外，在用户终端700具有声音识别功能的情况下，用作输出控制单元的控制单元910可以根据声音识别功能执行视频处理和音频处理。具体地，在用户终端700具有语音对话功能的情况下，可以通过语音对话来执行与系统900有关的操作。
注意，在用作输出控制单元的控制单元910基于用户终端700的视频电话功能、声音识别功能、语音对话功能等控制输出的情况下，用户在穹顶屏101前方讲话。当用户在穹顶屏101前方讲话时，会产生回声因而存在用户终端700的麦克风742不能适当地获取语音的音频信号的担忧。因此，优选地预先对麦克风742进行校准。例如，通过测量音频脉冲响应，还可以根据用户终端700的位置执行校准以消除穹顶屏101的独特反射特性。因此，可以获取去除(消除)了其中的回声的音频信号。
此外，在用户终端700具有电话功能的情况下，用作输出控制单元的控制单元910可以基于用户终端700中的来电到达来减小音量。
此外，用作输出控制单元的控制单元910可以控制用户终端700的扬声器770的音频输出。用作输出控制单元的控制单元910可以根据用户终端700的布置来控制扬声器770的音频输出。例如，在用户终端700在头枕1040附近的情况下，如图63所示，用作输出控制单元的控制单元910可以使得替代头枕扬声器934输出音频声音。在该配置中，系统900可以不包括头枕扬声器934，因此具有简化配置的有利效果。
此外，用作输出控制单元的控制单元910可以基于通过用户终端700的操作输入单元780进行的用户操作来控制输出。例如，用作输出控制单元的控制单元910可以基于通过操作输入单元780进行的用户操作来执行使观看期间的自由视点视频的视点位置改变的视频处理。
以上已经描述了系统900与用户终端700的协作。注意，以上已经描述了系统900的通信单元913与用户终端700的通信单元730连接并且系统900与用户终端700协作的示例，但是本技术不限于这些示例。例如，在用户终端700可以嵌入系统900中的情况下，用户终端700可以具有控制单元910或输入系统的功能以替代控制单元910或输入系统。
图65示出了包括用户终端700的系统900的配置示例。图65所示的系统900与图9所示的系统900的不同之处在于，图65所示的系统900不包括控制单元910、位移传感器941、头部检测相机942、外部传感器943和音频播放器944而是包括用户终端700。
控制单元910的通信单元913的功能可以用用户终端700的通信单元730代替。此外，控制单元910中的主控制器911、主存储器912、视频DSP 914和音频DSP 915的功能(包括用作输出控制单元的功能)可以用终端控制器710和用户终端700的存储器720来代替。注意，用户终端700可以包括视频DSP或音频DSP。
此外，在输入系统中，位移传感器941、头部检测相机942和外部传感器943的功能可以用传感器单元740来代替。注意，在图65中省略了传感器单元740中包括的特定传感器的示例，但是其可以类似于例如图64所示的传感器单元740中包括的特定传感器的示例。
此外，在输入系统中，音频播放器944的功能可以用例如终端控制器710和存储单元750来代替。
注意，上述输入系统或控制单元910的所有功能都可以不被替代，并且系统900可以具有输入系统或控制单元910的一些或全部功能以及用户终端700。
此外，用户终端700可以通过通信单元730的无线通信无线地连接至音频输出系统和视频显示系统，或者可以有线连接至音频输出系统和视频显示系统。在用户终端700无线连接至音频输出系统和视频显示系统的情况下，例如，可以使用诸如Miracast(注册商标)或AirPlay(注册商标)的技术。在用户终端700有线连接至音频输出系统和视频显示系统的情况下，用户终端700可以通过例如移动高清链路(MHL)、高清多媒体接口(HDMI)(注册商标)连接至音频输出系统和视频显示系统。注意，用户终端700与音频输出系统和视频显示系统之间的连接不限于这些示例，用户终端700也可以通过蓝牙(注册商标)、通用串行总线(USB)等连接至音频输出系统和视频显示系统。
此外，图65示出了系统900包括一个用户终端700的示例，但是系统900可以包括多个用户终端700。此外，一个用户终端700可以连接至投影仪103和104中的每一个。在这种情况下，优选地在多个用户终端700之间同步视频输出定时。例如，可以使用诸如精确时间协议(PTP)的协议使用户终端700之间的时间同步，从而在预定时间开始输出视频。
以上已经描述了系统900包括用户终端700的示例。如上所述，用用户终端700代替了控制单元910或输入系统的功能，因此具有简化配置的有利效果。注意，在参照图65描述的系统900包括用户终端700的配置中，也可以执行反映上述传感器单元740的感测结果的交互、利用简档信息的交互或者基于用户终端700的功能的交互。
当然，在上述示例7中，可以采用设置有在图65中省略的控制单元、输入系统等中的至少一些或所有构成元件的系统。也就是说，可以单独起作用的图9的系统900可以包括用户终端700作为辅助操作终端，并且系统900和用户终端700可以被配置成协同操作。在该配置中，除了来自用户终端700的操作输入信息、传感器信息等之外，还可以基于来自图9所示的输入系统的各种信号(信息)来控制视频显示系统的视频。例如，在对象是座椅的情况下，可以基于座椅的运动信息和来自用户终端700的信息来控制视频显示系统的视频。
在前述配置中，例如，用户终端700的传感器单元740(第一传感器单元)可以获取关于用户的身体运动的传感器信息。另一方面，图9所示的位移传感器941(第二传感器单元)也可以获取关于用户的身体运动的传感器信息。通过基于由传感器单元740和位移传感器941中的每个获取的传感器信息来控制输出单元，可以在不使用专用的控制器的情况下为用户提供比图9的配置下的用户体验更丰富的用户体验。
例如，在坐在座椅上的用户正在观看提供给具有穹顶形状的显示单元的视频的情况下，假设如表2中所示的那样使视频的视差根据用户的身体运动而改变。在该配置中，可以基于由传感器单元740和位移传感器941中的每个获取的传感器信息来控制呈现给显示单元的视频的视差。在该配置中，可以使视差比图9中更显著地改变。更具体地，例如，可以通过组合右转或左转以及对用户终端700的输入操作来在维持用户观看到前侧的状态的同时使得更显著地改变视差。
[示例8]
接下来，将根据示例8描述穹顶显示器100的新的配置示例。以下要根据示例8描述的穹顶显示器100的若干配置示例的目的可以是使穹顶显示器100或整个系统小型化。根据示例8，以下要根据示例8描述的穹顶显示器100的若干配置示例可以与上述示例1至7组合来实现。
(进一步小型化的穹顶显示器100的第一配置示例)
图66至图71是示出进一步小型化的穹顶显示器100的第一配置示例的图。图66至图71是示出在不同方向上观察时的同一穹顶显示器100的图。图66是右侧视图，图67是后侧视图，图68是左侧视图，图69是前侧视图，以及图70和图71是透视图。
图66至图71所示的穹顶显示器100是包括具有大致穹顶形状的穹顶屏101、投影仪103、投影仪104和支承体800的显示装置。
穹顶屏101包括向其投射视频的穹顶投影表面101A(穹顶表面)、穹顶外表面101B和穹顶支承框架101C。在图66至图71所示的示例中，穹顶投影表面101A与穹顶外表面101B之间的宽度可以是恒定的(相等的宽度)。例如，穹顶投影表面101A和穹顶外表面101B的形状可以是共享中心而直径不同的球体的部分。此外，如图66好图68所示，从侧表面观看到的穹顶投影表面101A可以具有直径为2200mm的圆弧形状。
在图66至图71所示的示例中，穹顶屏101的穹顶投影表面101A的一侧朝向用户(未示出)倾斜。在该配置中，很少附着灰尘并且室内光很少到达穹顶投影表面101A，因此被配置成很少阻碍沉浸感。注意，在图66至图71所示的示例中，穹顶屏101与地板表面之间的角度约为60度，但不限于该示例。
当穹顶支承框架101C连接至支承体800并且相对于用户(未示出)一侧倾斜以向上延伸时，穹顶支承框架101C支承穹顶投影表面101A和穹顶外表面101B，从而提高整个装置的刚度(坚固度)。在图66至图71所示的示例中，穹顶支承框架101C是沿穹顶屏101的边缘固定的具有环形形状的框架。尽管未示出，但是在穹顶支承框架101C之内可以设置能够向多个投影仪103和104至少供应电力的电气系统(例如，电线等)。此外，尽管未示出，但是在穹顶支承框架101C中可以设置可以将来自电气系统的电力供应给多个投影仪103和104的连接单元(例如，插入端口、插座等)。投影仪104可以可拆卸地安装在穹顶支承框架101C的任何位置上，例如，适当地安装在穹顶支承框架101C的设置有连接单元的部分上或连接单元的附近，以便从连接单元向投影仪104供应电力。
注意，为了整个穹顶显示器100的小型化和轻量化，穹顶屏101优选地是轻质的并且更优选地由轻质或刚性材料形成。
投影仪103和104固定至穹顶屏101，并且基于基带视频信号协作地向穹顶屏101投射视频。注意，在本公开内容中，固定至穹顶屏101是指在与穹顶屏101的相对位置关系固定的状态下的布置，并且不限于直接连接至穹顶屏101。此外，在本公开内容中，“固定”的表述用作包括“可拆卸固定”的表述。
此外，投影仪103和104固定至穹顶屏101的边缘。如图66至图71所示的示例中，投影仪103(第一投影仪)被布置在支承件800内，并且被布置在支承体800中连接到穹顶屏101的部分(穹顶屏101的第一边缘)中。此外，在图66至图71所示的示例中，投影仪104(第二投影仪)被布置在穹顶支承框架101C上方、在竖直方向上面对第一边缘的部分(穹顶屏101的第二边缘)中。也就是说，投影仪104被布置在投影仪103上方。
注意，为了整个穹顶显示器100的小型化和轻量化，投影仪103和104优选为小且轻质的。
以这种方式，在图66至图71所示的示例中，投影仪103和104被布置在穹顶屏101的下边缘和上边缘中。在图13等所示的示例中那样，在图66至图71所示的示例中，与将投影仪布置成在水平方向上向穹顶屏101的两侧突起的示例相比，投影仪103和104在水平方向上并不向穹顶屏101的两侧突起。在该配置中，例如，可以抑制在穹顶显示器100附近经过的人与投影仪碰撞并且投影仪的布置发生偏移的事件的发生，因而穹顶屏101与投影仪之间的相对位置关系很少改变。
支承体800被布置在穹顶屏101下方并支承穹顶屏101。在图66至图71所示的示例中，支承体800包括第一支承单元801、第二支承单元802、第三支承单元803、第四支承单元804和基座单元810。注意，第一支承单元801、第二支承单元802、第三支承单元803和第四支承单元804统称为支承单元。
第一支承单元801接地到地板表面或在地面上并且连接至基座单元810。第二支承单元802连接至第一支承单元801以延伸至第一支承单元801的上侧。第三支承单元803将第二支承单元802连接至第四支承单元804。注意，第二支承单元802和第三支承单元803支承穹顶屏101的负荷作为单个支柱，如下文将描述的那样。当从用户侧(未示出)观察时，第四支承单元804将第三支承单元803连接至穹顶屏101并且从第三支承单元803延伸至在前侧的穹顶屏101侧。第四支承单元804可以包含投影仪103。
此外，在第四支承单元804内设置有送风风扇808。送风风扇808由上述控制单元910(输出控制单元)控制以向用户输出(送)风。例如，在送风风扇808与上述健身单车1600相组合的情况下，控制单元910可以控制送风风扇808的输出使得根据用户蹬踏健身单车1600的速度来输出风。
注意，尽管未示出，但是可以在第四支承单元804、第一支承单元801、第二支承单元802或第三支承单元803内设置诸如扬声器936的音频装置或其他装置。在该配置中，除了穹顶屏101之外，不需要的单元很少在用户的视野内，因此用户可以进一步获得沉浸感。此外，在该配置中，易于安装并且增加了安装点的选择。
基座单元810连接至第一支承单元801，确保一定的接地面积以使得能够经受住整个穹顶显示器100的负荷并且支承整个穹顶显示器100。基座单元810例如可以具有凹形形状或者可以具有大致圆弧形状，如图70和图71所示。在该配置中，可以将诸如用户可以乘坐的上述座椅1000或健身单车1600的对象布置在基座单元810内(凹形形状内)，并且用户可以在用户可以获得沉浸感的位置处观看视频。
注意，可以对上述穹顶显示器100的每个配置进行集成。具体地，第一支承单元801、第二支承单元802、第三支承单元803、第四支承单元804和整个支承体800可以形成为一体的。
与图1至图7以及图13至图16所示的穹顶形显示器100的配置示例相比，图66至图71所示的穹顶显示器100的整体配置是小型化的。特别地，与图1至图7、图13至图16等所示的支承体102相比，图66至图71所示的支承体800具有小型化(简单)配置，因此也可以减轻重量。然而，为了小型化会损失穹顶形显示器100的稳固性。例如，穹顶形显示器100倾覆是不可取的。因此，图66至图71所示的支承体800被配置成能够更有效地支承穹顶屏101和投影仪103和104的重量，由于保持了稳固性而抑制了倾覆。
具体地，将参照作为侧视图的图66和图68来描述穹顶显示器100的重量平衡。投影仪103和穹顶屏101的总负荷主要施加于包含投影仪103的第四支承单元804。另一方面，投影仪104的负荷主要施加于被定位在包含投影仪103的第四支承单元804上方的投影仪104。因此，在投影仪103和104的重量几乎相同的情况下，位于较低处的包含投影仪103的第四支承单元804比位于较高处的投影仪104施加有更大的负荷。因此，负荷集中在位于投影仪103与104之间并且用作水平方向上的一个支承支柱的第二支承单元802和第三支承单元803上。此外，施加到第二支承单元802和第三支承单元803的负荷被施加到具有较大接地面积的基座单元810，并且还经由接地的第一支承单元801在水平方向上扩散。以这种方式，尽管图66至图71所示的支承体800被构造成比图1至图7或图13至图16所示的支承体102更小型，但该支承体800可以有效地支承重量并且还可以抑制倾覆。
以上已经参照图66至图71描述了更小型的穹顶显示器100的第一配置示例。注意，已经参照图66至图71描述了穹顶显示器100包括两个投影仪103和104的示例，但是穹顶显示器100也可以包括更多的投影仪。通过包括更多个投影仪，穹顶显示器100可以改善要显示的视频的亮度和分辨率。
图72是示出在本配置示例中穹顶显示器100包括三个投影仪的配置示例的图。此外，图73是示出在本配置示例中穹顶显示器100包括四个投影仪的配置示例的图。在图72和图73所示的示例中，除投影仪布置之外的配置可以类似于图66至图71所示的示例的配置。
在图72所示的示例中，投影仪103的布置(未示出)与图66至图71所示的示例的布置类似。此外，图72所示的投影仪104和108安装在穹顶屏101的边缘的穹顶支承框架101C上，并且被布置成双侧对称。在该配置中，由于重量在水平方向上平衡并且负荷集中在用作一个支承支柱的第二支承单元802和第三支承单元803上，因此保持了整个穹顶显示器100的稳固性。此外，可以将三个投影仪103、104和108布置成使得角度从穹顶外表面101B的中心起基本相等。在该配置中，使投射到穹顶投影表面101A的视频的亮度或分辨率均衡化。
在图73所示的示例中，投影仪103的布置以及投影仪104的布置(未示出)与图66至图71所示的示例类似。此外，图73所示的投影仪108和109安装在穹顶屏101的边缘的穹顶支承框架101C上，并且被布置成双侧对称。在该配置中，由于重量在水平方向上平衡并且负荷集中在用作一个支承支柱的第二支承单元802和第三支承单元803上，因此保持了稳固性。此外，可以将四个投影仪103、104、108和109布置成使得角度从穹顶外表面101B的中心起基本相等。在该配置中，使投射到穹顶投影表面101A的视频的亮度或分辨率均衡化。
(进一步小型化的穹顶显示器100的第二配置示例)
图74至图79是示出进一步小型化的穹顶显示器100的第二配置示例的图。图74至图79是示出在不同方向上观察时的同一穹顶显示器100的图。图74是右侧视图，图75是后侧视图，图76是左侧视图，图77是前侧视图，以及图78和图79是透视图。
图74至图79所示的穹顶显示器100是包括具有大致穹顶形状的穹顶屏101、投影仪103、投影仪104和支承体800的显示装置。注意，由于图74至图79所示的穹顶形显示器100的每个配置是与图66至图71所示的上述穹顶形显示器100的配置部分类似的配置，因此将适当省略对类似部分的描述。
穹顶屏101包括向其投射视频的穹顶投影表面101A(穹顶表面)、穹顶外表面101B和穹顶支承框架101C。在图74至图79所示的示例中，穹顶投影表面101A与穹顶外表面101B之间的宽度可以是恒定的。例如，穹顶投影表面101A和穹顶外表面101B的形状可以是共享中心而直径不同的球体的部分。此外，如图74和图76所示，在从侧表面观看穹顶投影表面101A的情况下，穹顶投影表面101A可以具有直径为2200mm的圆弧形状，并且穹顶外表面101B可以具有直径为1600mm的圆弧形状。
在该配置中，与图66至图71所示的穹顶屏101相比，图74至图79所示的穹顶屏101中可以增加物理强度和抗热变形性。
此外，图74至图79所示的穹顶支承框架101C、投影仪103、投影仪104和支承体800的每个配置与参照图66至图71描述的每个对应配置类似。此外，与图66至图71所示的穹顶屏101相比，图74至图79所示的穹顶屏101的穹顶外表面101B更大。因此，可以增加穹顶屏101的重量。然而，如在参照图66和图68描述的示例中那样，在图74至图79所示的穹顶显示器100中对重量进行平衡。因此，支承体800可以是稳固的并且支承穹顶屏101和投影仪103和104。
以上已经参照图74至图79描述了更小型的穹顶显示器100的第二配置示例。注意，已经参照图74至图79描述了穹顶显示器100包括两个投影仪103和104的示例，但是穹顶显示器100也可以包括更多的投影仪。
图80是示出在本配置示例中穹顶显示器100包括三个投影仪的配置示例的图。此外，图81是示出在本配置示例中穹顶显示器100包括四个投影仪的配置示例的图。在图80和图81所示的示例中，穹顶投影表面101A与穹顶外表面101B之间的宽度可以不是如上述那样恒定的，并且除了穹顶外表面101B的形状不同之外，该示例可以类似于图72和图73中的每个所示的示例。
(进一步小型化的穹顶显示器100的第三配置示例)
图82至图87是示出进一步小型化的穹顶显示器100的第三配置示例的图。图82至图87是示出在不同方向上观察时的同一穹顶显示器100的图。图82是右侧视图，图83是后侧视图，图84是左侧视图，图85是前侧视图，以及图86和图87是透视图。
图82至图87所示的穹顶显示器100是包括具有大致穹顶形状的穹顶屏101、投影仪103、投影仪104和支承体800的显示装置。注意，由于图82至图87所示的穹顶形显示器100的每个配置是与图74至图79所示的上述穹顶形显示器100的配置部分类似的配置，因此将适当省略对类似部分的描述。
图82至图87所示的穹顶显示器100与图74至图79中的穹顶显示器100的不同之处在于穹顶屏101中包括的穹顶支承框架101C的形状不同。因此，下面将主要描述这一点。
在图82至图87所示的示例中，穹顶支承框架101C连接至支承体800并支承穹顶投影表面101A和穹顶外表面101B，从而提高整个装置的刚度(坚固度)。这里，图82至图87所示的穹顶支承框架101C是臂型框架，其具有沿穹顶外表面101B固定至穹顶屏101的后表面侧的圆弧形状。此外，在图82至图87所示的示例中，投影仪104由穹顶支承框架101C支承。
注意，如上述示例中那样，尽管未示出，但是在穹顶支承框架101C之内可以设置能够向多个投影仪103和104至少供应电力的电气系统(例如，电线等)。此外，尽管未示出，但是在穹顶支承框架101C中可以设置可以将来自电气系统的电力供应给多个投影仪103和104的连接单元(例如，插入端口、插座等)。
此外，图82至图87所示的穹顶投影表面101A、穹顶外表面101B、投影仪103和支承体800的每个配置可以与参照图74至图79描述的每个对应配置类似。注意，在图82至图87所示的示例中，穹顶投影表面101A与穹顶外表面101B之间的宽度可以不是如图74至图79所示的示例中那样恒定的，但是穹顶投影表面101A与穹顶外表面101B之间的宽度是如图66至图71所示的示例中那样恒定的。
此外，如在参照图66和图68描述的示例中那样，在图82至图87所示的穹顶显示器100中对重量进行平衡。因此，支承体800可以是稳固的并且支承穹顶屏101和投影仪103和104。
将具体描述图82至图87所示的穹顶显示器100的重量平衡。投影仪103和穹顶屏101的总负荷主要施加于包含投影仪103的第四支承单元804。另一方面，投影仪104的负荷主要施加于被定位在包含投影仪103并且安装在穹顶支承框架101C上的第四支承单元804上方的投影仪104。因此，在投影仪103和104的重量几乎相同的情况下，位于较低处的包含投影仪103的第四支承单元804比位于较高处的投影仪104施加有更大的负荷。因此，负荷集中在位于投影仪103与104之间并且用作水平方向上的一个支承支柱的第二支承单元802和第三支承单元803上。
此外，如图82至图87所示，穹顶显示器100在水平方向上具有大致双侧对称结构。此外，在本配置示例中，沿着穹顶显示器100的中心轴线在水平方向上设置具有圆弧形状的穹顶支承框架101C并将其连接至第四支承单元804。也就是说，穹顶支承框架101C和支承单元具有沿着穹顶显示器100的中心轴线在水平方向上的结构。如上所述，由于穹顶显示器100在水平方向上具有基本双侧对称的结构，因此穹顶屏101和投影仪103和104的重量可以由穹顶支承框架101C和支承单元稳固地支承。
以上已经参照图82至图87描述了更小型的穹顶显示器100的第三配置示例。注意，已经参照图82至图87描述了穹顶显示器100包括两个投影仪103和104的示例，但是穹顶显示器100也可以包括更多的投影仪。
图88是示出在本配置示例中穹顶显示器100包括三个投影仪的配置示例的图。此外，图89是示出在本配置示例中穹顶显示器100包括四个投影仪的配置示例的图。在图88和图89所示的示例中，除了投影仪布置和支承每个投影仪的穹顶支承框架101C的形状之外的配置可以与图82至图87所示的示例类似。
在图88所示的示例中，投影仪103的布置(未示出)与图82至图87所示的示例类似。此外，如图72所示示例中那样，图88所示的投影仪104和108被布置在穹顶屏101的边缘处呈两侧对称。这里，图88所示的投影仪104和108可以由沿着穹顶外表面101B固定至穹顶屏101的后表面侧的穹顶支承框架101C支承。图88所示的穹顶支承框架101C具有Y形状，其沿着穹顶外表面101B从第四支承单元804向上延伸，并且在靠近穹顶外表面101B的中心的右侧和左侧以大致相等的角度分支成两个部分。在这种配置中，可以在水平方向上平衡重量，并且可以保持整个穹顶显示器100的稳定。
在图89所示的示例中，投影仪103的布置以及投影仪104的布置(未示出)与图82至图87所示的示例类似。此外，如图73所示示例中那样，图89所示的投影仪108和109被布置在穹顶屏101的边缘处呈两侧对称。这里，图89所示的投影仪108和109可以由沿着穹顶外表面101B固定至穹顶屏101的后表面侧的穹顶支承框架101C支承。图89所示的穹顶支承框架101C具有十字形状，其在靠近穹顶外表面101B的中心的上、下、右和左侧以大致相等的角度分支成四个部分。在这种配置中，可以在水平方向上平衡重量，并且可以保持整个穹顶显示器100的稳定。
(集成有健身单车的穹顶显示器100的配置示例)
图90至图95是示出集成有健身单车的穹顶显示器100的配置示例的图。图90至图95是示出在不同方向上观察时的同一穹顶显示器100的图。图90是右侧视图，图91是后侧视图，图92是左侧视图，图93是前侧视图，以及图94和图95是透视图。
图90至图95所示的穹顶显示器100是包括具有大致穹顶形状的穹顶屏101、投影仪103、投影仪104和支承体800的显示装置。注意，由于图82至图87所示的穹顶形显示器100的每个配置是与图82至图87所示的上述穹顶形显示器100的配置部分类似的配置，因此将适当省略对类似部分的描述。
在图90至图95所示的穹顶显示器100中，穹顶屏101、投影仪103和投影仪104的配置可以类似于图82至图87所示的穹顶显示器100的配置。图90至图95所示的穹顶显示器100与图82至图87中的穹顶显示器100的不同之处在于，支承体800的结构不同。因此，下面将主要描述图90至图95所示的支承体800的配置。
在图90至图95所示的示例中，支承体800包括第三支承单元803、第四支承单元804、基座单元810和健身单车单元850。图90至图95所示的第三支承单元803将健身单车单元850连接至第四支承单元804。如参照图66至图71描述的示例中那样，当从用户侧(未示出)观察时，图90至图95所示的第四支承单元804将第三支承单元803连接至穹顶屏101并且从第三支承单元803延伸至在前侧的穹顶屏101。如参照图66至图71描述的示例中那样，可以将投影仪103和鼓风风扇808布置在图90至图95所示的第四支承单元804内。
图90至图95所示的基座单元810连接至健身单车单元850，确保一定的接地面积以使得能够经受住整个穹顶显示器100的负荷并且支承整个穹顶显示器100。在图90至图95所示的示例中，基座单元810可以具有圆弧形状。在该配置中，基座单元810可以是稳定的并且支承整个穹顶显示器100的负荷。
健身单车单元850是用户可以乘坐的对象。如上述示例2中的健身单车1600中那样，健身单车单元850获取根据用户的身体运动的位移信息。健身单车单元850连接至第三支承单元803和基座单元810并且以预定的位置关系固定至穹顶屏101。
健身单车单元850包括鞍座851、操作单元852和脚蹬853。用户可以跨坐在鞍座851上从下侧观看投射到穹顶投影表面101A的视频。操作单元852是可以由用户操作并且可以接收例如用户对健身单车单元850的操作的对象。此外，操作单元852可以具有显示关于健身单车单元850的信息的功能。此外，操作单元852可以用作手柄，并且可以利用跨坐在鞍座851上并采取向前弯曲姿势的用户的双手持握。
此外，用户坐在鞍座851上以操作脚蹬853。如示例2中的上述示例那样，可以在脚蹬853上安装标记(未示出)并且可以检测根据用户的身体运动的位移信息并将其输入至控制单元910。然后，如上所述，控制单元910例如可以根据位移信息(例如用户操作脚蹬853的速度)来控制投影仪103和104的视频输出或者鼓风风扇808的输出。
注意，图90至图95示出了其中除了支承体800之外的配置与图82至图87中的穹顶显示器100的配置类似的示例，但是具有上述健身单车单元850的支承体800也可以应用于该配置。例如，在图66至图71中的穹顶显示器100或图74至图79中的穹顶显示器100中，支承体800也可以具有包括健身单车单元850的配置。
此外，已经参照图90至图95描述了穹顶显示器100包括两个投影仪103和104的示例，但是正如参照图72、图73、图80、图81、图88和图89描述的示例中那样，也可以包括更多的投影仪。
此外，以上已经描述了健身单车单元850与穹顶显示器100集成的示例，但是本技术不限于该示例。用户使用的另一对象(例如，诸如上述座椅、跑步机或床的对象)也可以这种方式与穹顶显示器100集成。
如上所述，通过将用户使用的对象与穹顶显示器100集成，可以使对象与整个装置和谐地集成并统一外观设计。此外，通过将用户使用的对象与穹顶显示器100集成，可以将对象与穹顶屏101之间的位置关系固定为例如易于提高用户的沉浸感的预定的位置关系。此外，通过将用户使用的对象与穹顶显示器100集成，可以使整个系统小型化并且更便于运输和安装。
(投影仪的布置和配置)
以上已经根据示例8描述了穹顶显示器100的新的配置示例。在下文中，将更详细地描述根据上述示例的投影仪的配置和布置。
图96是示出了集成有图90所示的健身单车的穹顶显示器100的局部展开图。注意，下面将以集成有健身单车的穹顶显示器100作为示例来描述投影仪的配置和布置。本示例中的配置可以与参照图66至图95描述的任何配置类似。
如图96所示，投影仪103包括包含在第四支承单元804中并且发光的光源单元103A和从第四支承单元804突出的镜子单元103M。注意，投影仪103可以包括在光源单元103A与镜子单元103M之间的一个光学构件或多个光学构件(未示出)。如图96所示，从投影仪103的光源单元103A发射的光从镜子单元103M反射从而前往穹顶屏101的穹顶投影表面101A。
此外，如图96所示，投影仪104包括发光的光源单元104A和镜子单元104M。注意，投影仪104可以包括在光源单元104A与镜子单元104M之间的一个光学构件或多个光学构件(未示出)。如图96所示，从投影仪104的光源单元104A发射的光从镜子单元104M反射从而前往穹顶屏101的穹顶投影表面101A。
如图96所示，投影仪103的投影方向PD21和投影仪104的投影方向PD22优选地被配置成当从穹顶屏101的侧面观察时彼此不相交。注意，在本说明书中，投影仪的投影方向是指包括镜子的每个投影仪的光学系统中的光轴方向。
注意，图96示出了当从穹顶屏101的侧面观察时被布置成面向竖直方向的多个投影仪的投影方向不相交的示例。优选地，在多个投影仪被布置成面向水平方向的情况下，当从穹顶屏101的竖直上侧观察时该多个投影仪的投影方向不相交。在下文中，将参照图97至图100描述当从垂直于多个投影仪的面对方向的方向观察时通过将多个投影仪的投影方向配置成不相交而获得的效果。
如上所述，假设通过将穹顶屏101布置成相对于用户向下倾斜，使处于对象(例如健身单车)上的用户的头部被定位成如图97A或图97B中那样。注意，图97A是示出从竖直上侧观察时的穹顶屏101的图，而图97B是示出从右侧观察时的穹顶屏101的图。
由于据称人的可视角度为120度，因此用户的视野范围被穹顶屏101覆盖，如图97A和图97B所示。因此，用户可以专注于投射到穹顶屏101的视频并获得沉浸感。
顺便提及，还考虑到用户使他或她的头部进一步接近穹顶屏101以进一步获得沉浸感。此外，在用户处于健身单车上的情况下，考虑到用户执行站立蹬踏运动以使他或她的头部接近穹顶屏101。例如，如图98所示，在当从竖直上侧观察时操作单元852(对象的示例)被布置在穹顶屏101内部的情况下，持有操作单元852的用户的头部变得更靠近穹顶屏101。注意，当从竖直上侧观察时，穹顶屏101的内部是指：如图98所示，当从这一侧观察穹顶屏101时比从穹顶屏101的上端起沿竖直方向的直线L更靠近穹顶投影表面101A的一侧。
以这种方式，在用户的头部接近穹顶屏101的情况下，存在对投影仪投射的视频上出现阴影的担忧。将参照图99A和图99B描述该示例。图99A和图99B是示出当从竖直上侧观察时被布置成面向水平方向的投影仪103和104的投影范围的示意图。
如图99A所示，投影仪103和104被布置成使得当从竖直上侧观察时投影仪103的投影方向PD11与投影仪104的投影方向PD12相交，并且因此视频被投射到穹顶屏101的整个投影表面。然而，如图99B所示，当用户的头部接近穹顶屏101时，从投影仪103和104投射的光被用户的头部遮挡，并且因此在穹顶屏101的投影表面上可能出现阴影SR。此外，当用户的头部如图99B中那样接近穹顶屏101时，从投影仪103和104投射的光会进入用户的眼睛，因此存在用户感到刺眼的担忧。以这种方式，在当从垂直于多个投影仪的面对方向的方向观察时该多个投影仪的投影方向相交的情况下，用户接近穹顶屏101是不可取的。
然而，如上所述，在多个投影仪被布置成使得当从垂直于多个投影仪的面对方向的方向观察时这些投影仪的投影方向不相交的情况下，用户可以进一步接近穹顶屏101。图100是示出当从竖直上侧观察时，被布置成面向水平方向使得当从竖直上侧观察时投影方向不相交的投影仪103和104的投影范围的示意图。
在图100所示的示例中，当从竖直上侧观察时，投影仪103的投影方向PD21与投影仪104的投影方向PD22不相交。然而，投影仪103和104分别包括镜子单元103M和104M，并且被配置成使得视频被投射到穹顶屏101的整个投影表面。然后，在图100所示的示例中，即使在用户的头部接近穹顶屏101的情况下，也会是这样的效果：从投影仪103和104投射的光很少被用户的头部遮挡并且在穹顶屏101的投影表面上很少出现阴影。此外，在图100所示的示例中，即使在用户的头部接近穹顶屏101的情况下，也会是这样的效果：从投影仪103和104投射的光很少进入用户的眼睛因而用户很少感到刺眼。因此，通过将投影仪103的投影方向PD21和投影仪104的投影方向PD22配置成在从竖直上侧观察时不相交，用户可以进一步接近穹顶屏101并且可以更容易地获得沉浸感。
注意，以上已经描述了投影仪103和104被布置为面向水平方向的示例，但是即使在投影仪103和104被布置成面向竖直方向的情况下也可以获得类似的效果。
此外，当在垂直于面对方向的方向上观看时，投影仪103和104的投影方向不与投影仪103和104的面对方向相交，并且视频被投射到穹顶屏101的整个投影表面，投影仪103和104可以不包括镜子。这里，为了实现这种配置，投影仪103和104优选地是即使以短投影距离也能够将视频在宽范围内的所谓的短焦投影仪。
工业实用性
因此，前面参照具体实施方式详细描述了本说明书中公开的技术。然而，明显的是，本领域技术人员可以在不脱离本说明书中公开的技术的精神的情况下对这些实施方式进行修改和替换。
本说明书中提出的交互技术可以被开发为代替针对身体运动不自然的残疾人的控制器或控制台的替选的输入功能，因为可以通过日常生活中使用的家具如座椅、床等来检测用户的身体运动(例如躯干的位移)并且可以以之代替输入。
此外，本说明书中提出的交互技术不仅可以用于一般家庭，也可以用于医院、康复设施等。此外，本说明书中提出的交互技术还可以用于空间受限的移动体，例如与自动驾驶对应的飞机、火车、公共汽车或乘用车。
基本上，已经通过示例描述了本说明书中公开的技术，并且本说明书的所述内容不应被解释为是限制性的。应该在考虑权利要求书的情况下确定本说明书中公开的技术的精神。
此外，本技术还可以被如下配置。
(1)
一种信息处理装置，包括：
位移信息获取单元，其被配置成基于用户乘坐的预定对象的预定部分的位置信息，获取所述预定部分的根据所述用户的身体运动的与三维位移对应的位移信息；以及
输出控制单元，其被配置成基于所获取的位移信息执行控制使得输出单元执行预定输出。
(2)
根据(1)所述的信息处理装置，
其中，所述预定对象是所述用户能够坐在其上的对象，并且
所述用户的身体运动包括所述用户的上半身的倾斜运动。
(3)
根据(2)所述的信息处理装置，
其中，所述预定对象具有椅背，并且
所述位移信息获取单元获取与所述椅背在前后方向、左右方向和上下方向中的至少一个方向上的位置变化对应的位移信息。
(4)
根据(3)所述的信息处理装置，其中，所述位移信息获取单元获取与所述椅背在前后方向上的倾斜角度对应的位移信息。
(5)
根据(4)所述的信息处理装置，
其中，所述位移信息获取单元获取第一倾斜角度和大于所述第一倾斜角度的第二倾斜角度作为所述位移信息，
所述输出单元执行所述预定输出，所述预定输出包括第一输出和不同于所述第一输出的第二输出，并且
所述输出控制单元在所述椅背具有所述第一倾斜角度的情况下执行控制使得所述输出单元执行所述第一输出，并且在所述椅背具有所述第二倾斜角度的情况下执行控制使得所述输出单元执行所述第二输出。
(6)
根据(4)或(5)所述的信息处理装置，其中，所述位移信息获取单元获取与所述椅背的每预定时间的倾斜角度对应的位移信息。
(7)
根据(3)至(6)中任一项所述的信息处理装置,
其中，所述位移信息获取单元获取与所述椅背的倾斜角加速度对应的位移信息，
所述输出单元执行包括第三输出的所述预定输出，并且
所述输出控制单元在所述倾斜角加速度等于或大于预定阈值的情况下执行控制使得所述输出单元执行所述第三输出。
(8)
根据(2)至(7)中任一项所述的信息处理装置，其中，所述位移信息获取单元获取与所述预定对象的座位在前后方向、左右方向和上下方向中的至少一个方向上的位置变化对应的位移信息。
(9)
根据(2)至(8)中任一项所述的信息处理装置，其中，所述位移信息获取单元获取与所述预定对象的扶手在前后方向、左右方向和上下方向中的至少一个方向上的位置变化对应的位移信息。
(10)
根据(2)至(9)中任一项所述的信息处理装置，其中，所述输出单元包括显示视频的显示单元。
(11)
根据(10)所述的信息处理装置，其中，所述输出控制单元基于所述预定对象在左右方向上的倾斜角度来控制所述视频的亮度。
(12)
根据(10)或(11)所述的信息处理装置，其中，所述输出控制单元基于所述预定对象在左右方向上的倾斜角度来控制所述视频的视差。
(13)
根据(10)至(12)中任一项所述的信息处理装置，其中，所述输出控制单元基于所述预定对象在左右方向上的倾斜角度来控制所述视频的过渡方向。
(14)
根据(10)至(13)中任一项所述的信息处理装置，其中，所述输出控制单元使得显示出根据音频信号的效果图像。
(15)
根据(14)所述的信息处理装置，其中，所述输出控制单元根据对所述音频信号的分析结果而使所述效果图像改变。
(16)
根据(14)或(15)所述的信息处理装置，其中，所述效果图像包括颗粒，所述颗粒被显示成使得相对长度随着所述颗粒更靠近所述显示单元的外边缘附近而延伸。
(17)
根据(14)至(16)中任一项所述的信息处理装置，其中，所述效果图像包括多个颗粒群层，所述多个颗粒群层在虚拟空间中沿深度方向交叠并且根据所述音频信号的变化而在所述虚拟空间中沿所述深度方向彼此分开或靠近。
(18)
根据(1)所述的信息处理装置，其中，所述位移信息获取单元获取与所述预定对象的上表面在前后方向、左右方向和上下方向中的至少一个方向上的位置变化对应的位移信息。
(19)
根据(18)所述的信息处理装置，
其中，所述输出单元包括安装在所述预定对象上方并显示视频的显示单元，并且
所述输出控制单元根据基于所述位移信息估计的所述用户的正面方向和头部位置中的至少一个来控制所述视频。
(20)
根据(19)所述的信息处理装置，其中，所述输出控制单元根据所估计的所述用户的正面方向和头部位置中的至少一个来控制所述视频的显示位置。
(21)
根据(19)或(20)所述的信息处理装置，其中，所述输出控制单元根据所估计的所述用户的正面方向和头部位置中的至少一个来控制所述视频的方向。
(22)
根据(5)所述的信息处理装置，
其中，所述输出单元执行所述预定输出，所述预定输出包括与所述第一输出和所述第二输出二者均不同的第四输出，
所述位移信息获取单元获取与所述预定部分的振动或晃动对应的位移信息，并且
所述输出控制单元根据所述振动或所述晃动执行控制使得所述输出单元执行所述第四输出。
(23)
根据权利要求(1)至(22)中任一项所述的信息处理装置，其中，所述输出单元包括输出音频声音的扬声器，并且所述扬声器被安装成使得面向所述扬声器的振动方向的直线穿过所述用户的脸部。
(24)
根据(23)所述的信息处理装置，其中，面向所述扬声器的振动方向的所述直线在所述扬声器与所述用户的脸部之间不受阻碍。
(25)
一种信息处理方法，包括：
基于用户乘坐的预定对象的预定部分的位置信息来获取所述预定部分的根据所述用户的身体运动的与三维位移对应的位移信息的位移信息获取步骤；以及
基于所获取的位移信息执行控制使得输出单元执行预定输出的输出控制步骤。
(26)
一种以计算机可读格式描述的计算机程序，其用于使计算机用作：
位移信息获取单元，其被配置成基于用户乘坐的预定对象的预定部分的位置信息，获取所述预定部分的根据所述用户的身体运动的与三维位移对应的位移信息；以及
输出控制单元，其被配置成基于所获取的位移信息执行控制使得输出单元执行预定输出。
(27)
一种信息处理装置，包括：
位移信息获取单元，其被配置成获取根据用户的身体运动的、与由预定对象的至少两个特征部分形成的直线的三维旋转位移对应的第一位移信息；以及
输出控制单元，其被配置成基于所获取的第一位移信息执行控制使得输出单元执行预定输出。
(28)
根据(27)所述的信息处理装置，
其中，所述位移信息获取单元获取与由至少三个特征部分形成的平面的三维旋转位移对应的第一位移信息，以及
所述输出控制单元基于所获取的第一位移信息来控制所述输出单元。
(29)
根据(28)所述的信息处理装置，
其中，所述预定输出包括第一输出和不同于所述第一输出的第二输出，并且
所述输出控制单元在获取了基本在第一方向上的旋转位移作为所述第一位移信息的情况下执行控制使得所述输出单元执行所述第一输出，并且在获取了基本在不同于所述第一方向的第二方向上的旋转位移作为所述第一位移信息的情况下执行控制使得所述输出单元执行所述第二输出。
(30)
根据(29)所述的信息处理装置，
其中，所述第一方向和所述第二方向与根据所述用户的躯干的三维位移的预定对象的位移方向对应。
(31)
根据(29)或(30)所述的信息处理装置，
其中，所述预定输出还包括与所述第一输出和所述第二输出二者均不同的第三输出，并且
所述输出控制单元在获取了基本在所述第一方向上的第一位移量作为所述第一位移信息的情况下执行控制使得所述输出单元执行所述第一输出，并且在获取了大于基本在所述第一方向上的所述第一位移量的第二位移量作为所述第一位移信息的情况下执行控制使得所述输出单元执行所述第三输出。
(32)
根据(29)至(31)中任一项所述的信息处理装置,
其中，所述预定输出还包括与所述第一输出和所述第二输出二者均不同的第四输出，
所述位移信息获取单元还获取根据所述用户的身体运动的、与所述特征部分中的至少一个的平移位移对应的第二位移信息，并且
所述输出控制单元基于所述第二位移信息执行控制使得所述输出单元执行所述第四输出。
(33)
根据(29)至(32)中任一项所述的信息处理装置,
其中，所述预定输出还包括与所述第一输出和所述第二输出二者均不同的第五输出，
所述位移信息获取单元还获取根据所述用户的身体运动的、与所述特征部分中的至少一个的往复平移位移对应的第三位移信息，并且
所述输出控制单元基于所述第三位移信息执行控制使得所述输出单元执行所述第五输出。
(34)
根据(27)至(33)中任一项所述的信息处理装置,
其中，所述预定对象是放置在地板上的对象，并且在所述用户的身体运动中基本不执行与所述地板的相对移动，以及
所述输出控制单元基于与放置状态下的所述预定对象有关的约束条件和所述第一位移信息来控制所述输出单元的输出。
(35)
根据(27)至(34)中任一项所述的信息处理装置,
其中，所述特征部分是安装在所述预定对象中的标记。
(36)
根据(35)所述的信息处理装置，
其中，所述标记是安装在所述预定对象的边缘中的标记。
(37)
根据(27)至(34)中任一项所述的信息处理装置,
其中，所述特征部分是通过图像识别处理识别的所述预定对象的特征点。
(38)
根据(27)至(37)中任一项所述的信息处理装置,
其中，所述输出单元包括显示立体可见视频的显示单元，并且
所述输出控制单元基于所获取的第一位移信息来控制所述视频的视差。
(39)
根据(38)所述的信息处理装置，
其中，所述输出控制单元基于所获取的第一位移信息来控制所述视频的亮度。
(40)
根据(38)或(39)所述的信息处理装置，
其中，所述输出单元还包括反馈单元，所述反馈单元根据所述视频输出温度、风、湿度、气味、触摸感和声音中的至少一条反馈信息，并且
所述输出控制单元基于所获取的第一位移信息来控制从所述反馈单元输出的所述反馈信息的输出方向和输出量中的至少一者。
(41)
根据(38)至(40)中任一项所述的信息处理装置，还包括：
视线信息获取单元，其被配置成获取所述用户的视线信息，
其中，所述输出控制单元基于所获取的视线信息控制所述视频的视角范围，并且基于所获取的第一位移信息控制所述视频的视差。
(42)
根据(27)至(41)中任一项所述的信息处理装置,
其中，所述位移信息涉及所述预定对象的角速度或角加速度。
(43)
根据(27)至(42)中任一项所述的信息处理装置,
其中，所述预定对象是所述用户能够乘坐的对象。
(44)
一种信息处理方法，包括：
获取根据用户的身体运动的、与由预定对象的至少两个特征部分形成的直线的三维旋转位移对应的第一位移信息的位移信息获取步骤；以及
基于所获取的第一位移信息执行控制使得输出单元执行预定输出的输出控制步骤。
(45)
一种以计算机可读格式描述的计算机程序，其用于使计算机用作：
位移信息获取单元，其被配置成获取根据用户的身体运动的、与由预定对象的至少两个特征部分形成的直线的三维旋转位移对应的第一位移信息；以及
输出控制单元，其被配置成基于所获取的第一位移信息执行控制使得输出单元执行预定输出。
(46)
一种信息处理装置，包括：
输出单元，其被配置成具有能够覆盖用户的视野的穹顶形状并且被配置成输出视频或音频声音；以及
输出控制单元，其被配置成基于关于所述用户的身体运动的传感器信息和从包括所述用户的便携式终端和可穿戴终端中的至少一者的用户终端获取的终端信息来控制所述输出单元。
(47)
根据(46)所述的信息处理装置，
其中，所述终端信息包括在所述用户终端的存储装置中包括的关于用户的简档信息，以及
所述输出控制单元基于所述简档信息控制所述输出单元。
(48)
根据(46)或(47)所述的信息处理装置，
其中，所述终端信息包括关于所述用户终端的周围环境的环境信息，并且
所述输出控制单元基于所述环境信息控制所述输出单元。
(49)
根据(48)所述的信息处理装置，
其中，所述环境信息包括由所述用户终端中包括的麦克风获取的声音信息。
(50)
根据(46)至(49)中任一项所述的信息处理装置,
其中，所述用户终端包括被配置成获取所述传感器信息的第一传感器单元，并且
所述输出控制单元基于从所述用户终端获取的所述传感器信息来控制所述输出单元。
(51)
根据(50)所述的信息处理装置，还包括：
第二传感器单元，所述第二传感器单元不同于所述第一传感器单元并且被配置成获取所述传感器信息，
其中，所述输出控制单元基于从所述第一传感器单元获取的所述传感器信息和由所述第二传感器单元获取的所述传感器信息来控制所述输出单元。
(52)
根据(51)所述的信息处理装置，还包括：
显示单元，所述显示单元被配置成覆盖所述用户的视野的基本整个范围，
其中，所述输出控制单元基于从所述第一传感器单元获取的所述传感器信息和由所述第二传感器单元获取的所述传感器信息来控制从所述输出单元呈现给所述显示单元的视频的视差。
(53)
根据(52)所述的信息处理装置，
其中，所述第一传感器单元获取的传感器信息包括所述用户对所述用户终端的输入操作信息，
由所述第二传感器单元获取的所述传感器信息包括关于所述用户的旋转运动的旋转运动信息，并且
所述输出控制单元基于所述旋转运动信息和所述输入操作信息来控制所述视频的视差。
(54)
根据(50)至(53)中任一项所述的信息处理装置,
其中，所述输出控制单元基于从布置在所述用户能够乘坐的预定对象上的所述用户终端获取的所述传感器信息来控制所述输出单元。
(55)
一种显示装置，包括：
屏，所述屏被配置成具有基本穹顶形状；
固定至所述屏的第一投影仪和第二投影仪；以及
支承体，所述支承体被布置在所述屏的下方并且被配置成支承所述屏，
其中，所述第一投影机和所述第二投影机协作地向所述屏投射视频，
所述第二投影仪被布置在所述第一投影仪上方，并且
所述支承体的至少一部分沿水平方向被定位在所述第一投影仪与所述第二投影仪之间。
(56)
一种显示装置，包括：
屏，所述屏被配置成具有基本穹顶形状；
第一投影仪，所述第一投影仪被布置在所述屏的第一边缘中；以及
第二投影仪，所述第二投影仪被布置在所述屏的第二边缘中，在水平方向上与所述第一边缘相对，
其中，所述第一投影仪和所述第二投影仪协作地向所述屏投射视频，并且
所述第一投影仪和所述第二投影仪被布置成使得当从所述屏的上侧观察时所述第一投影仪的第一投影方向与所述第二投影仪的第二投影方向不相交。
(57)
一种显示装置，包括：
屏，所述屏被配置成具有基本穹顶形状；
第一投影仪，所述第一投影仪被布置在所述屏的第一边缘中；以及
第二投影仪，所述第二投影仪被布置在所述屏的第二边缘中，在竖直方向上与所述第一边缘相对，
其中，所述第一投影仪和所述第二投影仪协作地向所述屏投射视频，并且
所述第一投影仪和所述第二投影仪被布置成使得当从所述屏的侧面观察时所述第一投影仪的第一投影方向与所述第二投影仪的第二投影方向不相交。
(58)
根据(56)或(57)所述的显示设备，
其中，所述显示设备还包括固定至所述屏并且用户能够乘坐或者所述用户能够操作的对象，以及
其中，当从所述屏的上侧观察时，所述对象被布置在所述屏之内。
(59)
一种显示装置，包括：
屏，所述屏被配置成具有基本穹顶形状；
穹顶支承框架，所述穹顶支承框架沿着所述屏的边缘或外表面固定；以及
电气系统，所述电气系统安装在所述穹顶支承框架之内并且至少能够向多个投影仪供应电力，
其中，所述穹顶支承框架包括能够从所述电气系统向所述多个投影仪中的每个供应电力的连接单元。
附图标记列表
100 穹顶显示器
101 穹顶屏
101A 穹顶投影表面
101B 穹顶外表面
101C 穹顶支承表面
102 支承体
102A、102B 轴部
103、104 投影仪
105 视频解码单元
106 座椅
108、109 投影仪
800 支承体
801 第一支承单元
802 第二支承单元
803 第三支承单元
804 第四支承单元
810 基座单元
850 健身单车单元
900 系统
910 控制单元
911 主控制器
912 主存储器
913 通信单元
914 视频DSP
915 音频DSP
931 DAC
932 放大单元
933 头戴式耳机
934 头枕扬声器
935 低音音箱
936 扬声器
937 后扬声器
941 位移传感器
942 头部检测相机
943 外部传感器
944 音频播放器
950 MCOM
951 驱动系统输出单元
952 外部输出单元
953 显示UI单元
1000 座椅
1010 椅背
1011至1014 标记
1021、1022 相机
1030 扶手
1500 跑步机
1510 跑台
1511 环形跑带
1520 操作面板
1521、1522 扶手框架
1531、1532 标记
1541、1542 标记
1551、1552 相机
1600 健身单车
1610 鞍座
1620 把手
1630 前轮
1641 标记
1651、1652 标记
1661、1662 相机
2000 房间的天花板或墙壁
2100 座椅
2101 篷
2111、2112 标记
2120 相机
2300 乘用车内部
2301 座位
2311 标记
2320 相机
2400 床
2401、2402 标记
2411、2412 相机
2500 床
2501 斜倚部
2510 显示器
2521、2522 标记
2531、2532 相机

Claims (26)

1.一种信息处理装置，包括：
位移信息获取单元，其被配置成基于用户乘坐的预定对象的预定部分的位置信息，获取所述预定部分的根据所述用户的身体运动的与三维位移对应的位移信息；以及
输出控制单元，其被配置成基于所获取的位移信息执行控制使得输出单元执行预定输出。
2.根据权利要求1所述的信息处理装置，
其中，所述预定对象是所述用户能够坐在其上的对象，并且
所述用户的身体运动包括所述用户的上半身的倾斜运动。
3.根据权利要求2所述的信息处理装置，
其中，所述预定对象具有椅背，并且
所述位移信息获取单元获取与所述椅背在前后方向、左右方向和上下方向中的至少一个方向上的位置变化对应的位移信息。
4.根据权利要求3所述的信息处理装置，其中，所述位移信息获取单元获取与所述椅背在前后方向上的倾斜角度对应的位移信息。
5.根据权利要求4所述的信息处理装置，
其中，所述位移信息获取单元获取第一倾斜角度和大于所述第一倾斜角度的第二倾斜角度作为所述位移信息，
所述输出单元执行所述预定输出，所述预定输出包括第一输出和不同于所述第一输出的第二输出，并且
所述输出控制单元在所述椅背具有所述第一倾斜角度的情况下执行控制使得所述输出单元执行所述第一输出，并且在所述椅背具有所述第二倾斜角度的情况下执行控制使得所述输出单元执行所述第二输出。
6.根据权利要求4所述的信息处理装置，其中，所述位移信息获取单元获取与所述椅背的每预定时间的倾斜角度对应的位移信息。
7.根据权利要求3所述的信息处理装置，
其中，所述位移信息获取单元获取与所述椅背的倾斜角加速度对应的位移信息，
所述输出单元执行包括第三输出的所述预定输出，并且
所述输出控制单元在所述倾斜角加速度等于或大于预定阈值的情况下执行控制使得所述输出单元执行所述第三输出。
8.根据权利要求2所述的信息处理装置，其中，所述位移信息获取单元获取与所述预定对象的座位在前后方向、左右方向和上下方向中的至少一个方向上的位置变化对应的位移信息。
9.根据权利要求2所述的信息处理装置，其中，所述位移信息获取单元获取与所述预定对象的扶手在前后方向、左右方向和上下方向中的至少一个方向上的位置变化对应的位移信息。
10.根据权利要求2所述的信息处理装置，其中，所述输出单元包括显示视频的显示单元。
11.根据权利要求10所述的信息处理装置，其中，所述输出控制单元基于所述预定对象在左右方向上的倾斜角度来控制所述视频的亮度。
12.根据权利要求10所述的信息处理装置，其中，所述输出控制单元基于所述预定对象在左右方向上的倾斜角度来控制所述视频的视差。
13.根据权利要求10所述的信息处理装置，其中，所述输出控制单元基于所述预定对象在左右方向上的倾斜角度来控制所述视频的过渡方向。
14.根据权利要求10所述的信息处理装置，其中，所述输出控制单元使得显示出根据音频信号的效果图像。
15.根据权利要求14所述的信息处理装置，其中，所述输出控制单元根据对所述音频信号的分析结果而使所述效果图像改变。
16.根据权利要求14所述的信息处理装置，其中，所述效果图像包括颗粒，所述颗粒被显示成使得相对长度随着所述颗粒更靠近所述显示单元的外边缘附近而延伸。
17.根据权利要求14所述的信息处理装置，其中，所述效果图像包括多个颗粒群层，所述多个颗粒群层在虚拟空间中沿深度方向交叠并且根据所述音频信号的变化而在所述虚拟空间中沿所述深度方向彼此分开或靠近。
18.根据权利要求1所述的信息处理装置，其中，所述位移信息获取单元获取与所述预定对象的上表面在前后方向、左右方向和上下方向中的至少一个方向上的位置变化对应的位移信息。
19.根据权利要求18所述的信息处理装置，
其中，所述输出单元包括安装在所述预定对象上方并显示视频的显示单元，并且
所述输出控制单元根据基于所述位移信息估计的所述用户的正面方向和头部位置中的至少一个来控制所述视频。
20.根据权利要求19所述的信息处理装置，其中，所述输出控制单元根据所估计的所述用户的正面方向和头部位置中的至少一个来控制所述视频的显示位置。
21.根据权利要求19所述的信息处理装置，其中，所述输出控制单元根据所估计的所述用户的正面方向和头部位置中的至少一个来控制所述视频的方向。
22.根据权利要求5所述的信息处理装置，
其中，所述输出单元执行所述预定输出，所述预定输出包括与所述第一输出和所述第二输出二者均不同的第四输出，
所述位移信息获取单元获取与所述预定部分的振动或晃动对应的位移信息，并且
所述输出控制单元根据所述振动或所述晃动执行控制使得所述输出单元执行所述第四输出。
23.根据权利要求1所述的信息处理装置，其中，所述输出单元包括输出音频声音的扬声器，并且所述扬声器被安装成使得面向所述扬声器的振动方向的直线穿过所述用户的脸部。
24.根据权利要求23所述的信息处理装置，其中，面向所述扬声器的振动方向的所述直线在所述扬声器与所述用户的脸部之间不受阻碍。
25.一种信息处理方法，包括：
基于用户乘坐的预定对象的预定部分的位置信息来获取所述预定部分的根据所述用户的身体运动的与三维位移对应的位移信息的位移信息获取步骤；以及
基于所获取的位移信息执行控制使得输出单元执行预定输出的输出控制步骤。
26.一种以计算机可读格式描述的计算机程序，其用于使计算机用作：
位移信息获取单元，其被配置成基于用户乘坐的预定对象的预定部分的位置信息，获取所述预定部分的根据所述用户的身体运动的与三维位移对应的位移信息；以及
输出控制单元，其被配置成基于所获取的位移信息执行控制使得输出单元执行预定输出。
CN201780072301.7A 2016-11-29 2017-11-28 信息处理装置、信息处理方法以及计算机程序 Pending CN109997097A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP2016231510 2016-11-29
JP2016-231510 2016-11-29
JP2016231509 2016-11-29
JP2016-231509 2016-11-29
JP2017044963 2017-03-09
JP2017-044963 2017-03-09
JPPCT/JP2017/027786 2017-07-31
PCT/JP2017/027786 WO2018100800A1 (ja) 2016-11-29 2017-07-31 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム
PCT/JP2017/042690 WO2018101279A1 (ja) 2016-11-29 2017-11-28 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム

Publications (1)

Publication Number Publication Date
CN109997097A true CN109997097A (zh) 2019-07-09

Family

ID=62242604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780072301.7A Pending CN109997097A (zh) 2016-11-29 2017-11-28 信息处理装置、信息处理方法以及计算机程序

Country Status (4)

Country Link
US (1) US11683471B2 (zh)
JP (1) JP7159870B2 (zh)
CN (1) CN109997097A (zh)
WO (1) WO2018100800A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112714342A (zh) * 2019-10-25 2021-04-27 宝马股份公司 用于座椅的设备、座椅、车辆和用于播放媒体内容的方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10812770B2 (en) * 2017-09-13 2020-10-20 Canon Kabushiki Kaisha Image processing system, image processing apparatus, image processing method, and program
JP6965085B2 (ja) * 2017-10-05 2021-11-10 キヤノン株式会社 操作装置、システム、および撮像装置
WO2019155904A1 (ja) * 2018-02-08 2019-08-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および投影システム
JP6969793B2 (ja) * 2018-10-04 2021-11-24 株式会社ズーム アンビソニックスのためのａ／ｂフォーマット変換装置、ａ／ｂフォーマット変換ソフトウェア、レコーダー、再生ソフトウェア
TWI662984B (zh) * 2018-11-28 2019-06-21 宏碁股份有限公司 應用於虛擬實境之電競座艙
JP7060544B6 (ja) * 2019-04-26 2022-05-23 塁 佐藤 運動用設備
US11221683B2 (en) * 2019-05-09 2022-01-11 Dell Products, L.P. Graphical user interface (GUI) manipulation using hand gestures over a hovering keyboard
US20220365588A1 (en) * 2019-09-04 2022-11-17 Sony Group Corporation Information processing apparatus, information processing method, and program
KR20210044506A (ko) * 2019-10-15 2021-04-23 삼성전자주식회사 증강 현실 객체를 표시하는 장치 및 그 동작 방법
US11559041B2 (en) 2019-11-22 2023-01-24 Lg Electronics Inc. Treadmill having sensors
US11691046B2 (en) 2019-11-21 2023-07-04 Lg Electronics Inc. Treadmill having two belts
US11510395B2 (en) 2019-11-22 2022-11-29 Lg Electronics Inc. Control method for treadmill
US11565146B2 (en) * 2019-11-21 2023-01-31 Lg Electronics Inc. Treadmill having adjustable inclination
US11503807B2 (en) 2019-11-21 2022-11-22 Lg Electronics Inc. Treadmill having fragrance assembly
US11576352B2 (en) 2019-11-21 2023-02-14 Lg Electronics Inc. Treadmill having sterilizer
US11510394B2 (en) 2019-11-22 2022-11-29 Lg Electronics Inc. Portable and storable treadmill having handle
US11503808B2 (en) 2019-11-22 2022-11-22 Lg Electronics Inc. Control method for treadmill based on sensors
US11412709B2 (en) 2019-11-21 2022-08-16 Lg Electronics Inc. Treadmill having deodorizer
US11576351B2 (en) 2019-11-21 2023-02-14 Lg Electronics Inc. Treadmill
US11465031B2 (en) * 2020-09-16 2022-10-11 RevolutioNice, Inc. Ambulation simulation systems, terrain simulation systems, treadmill systems, and related systems and methods
KR20230060901A (ko) 2021-10-28 2023-05-08 주식회사 슈프리마 영상 처리 장치 및 방법
WO2024069779A1 (ja) * 2022-09-28 2024-04-04 日本電気株式会社 制御システム、制御方法、および記録媒体

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5909208A (en) * 1994-07-06 1999-06-01 Blomdahl; Rolf Control means for computers or industrial processes
JP2000019953A (ja) * 1998-07-03 2000-01-21 Hitachi Ltd 簡易全天画像表示装置
US20030200074A1 (en) * 2001-04-24 2003-10-23 Breed Automotive Technology, Inc. Simplified modeling software interface and method
CN1764871A (zh) * 2003-03-26 2006-04-26 松下电器产业株式会社 影像显示系统
US20090135133A1 (en) * 2007-11-26 2009-05-28 Kunzler Patrik A 3D Motion Control System and Method
CN101595512A (zh) * 2006-08-14 2009-12-02 亚当森集团有限责任公司 广告显示装置和方法
EP2458534A1 (en) * 2010-11-26 2012-05-30 Konica Minolta Business Technologies, Inc. Printer layout support device
US20140309035A1 (en) * 2013-04-10 2014-10-16 Disney Enterprises, Inc. Interactive lean sensor for controlling a vehicle motion system and navigating virtual environments
CN104507545A (zh) * 2012-06-15 2015-04-08 世嘉股份有限公司 乘坐式娱乐设施中的乘坐设备及其使用的安全装置以及乘坐设备的输入装置
CN104870064A (zh) * 2012-10-26 2015-08-26 动力结构有限公司 飞行影院
US20160320862A1 (en) * 2014-05-01 2016-11-03 Aaron Schradin Motion control seat input device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07193900A (ja) 1993-12-24 1995-07-28 Aqueous Res:Kk 立体音場形成用頭部位置検出装置
JP2004135023A (ja) 2002-10-10 2004-04-30 Sony Corp 音響出力装置、音響出力システム、音響出力方法
KR20050109468A (ko) * 2003-03-26 2005-11-21 마쯔시다덴기산교 가부시키가이샤 영상 표시 시스템
JP2014169022A (ja) 2013-03-04 2014-09-18 Mitsubishi Electric Corp モニタ装置
US9380295B2 (en) * 2013-04-21 2016-06-28 Zspace, Inc. Non-linear navigation of a three dimensional stereoscopic display

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5909208A (en) * 1994-07-06 1999-06-01 Blomdahl; Rolf Control means for computers or industrial processes
JP2000019953A (ja) * 1998-07-03 2000-01-21 Hitachi Ltd 簡易全天画像表示装置
US20030200074A1 (en) * 2001-04-24 2003-10-23 Breed Automotive Technology, Inc. Simplified modeling software interface and method
CN1764871A (zh) * 2003-03-26 2006-04-26 松下电器产业株式会社 影像显示系统
CN101595512A (zh) * 2006-08-14 2009-12-02 亚当森集团有限责任公司 广告显示装置和方法
US20090135133A1 (en) * 2007-11-26 2009-05-28 Kunzler Patrik A 3D Motion Control System and Method
EP2458534A1 (en) * 2010-11-26 2012-05-30 Konica Minolta Business Technologies, Inc. Printer layout support device
CN104507545A (zh) * 2012-06-15 2015-04-08 世嘉股份有限公司 乘坐式娱乐设施中的乘坐设备及其使用的安全装置以及乘坐设备的输入装置
CN104870064A (zh) * 2012-10-26 2015-08-26 动力结构有限公司 飞行影院
US20140309035A1 (en) * 2013-04-10 2014-10-16 Disney Enterprises, Inc. Interactive lean sensor for controlling a vehicle motion system and navigating virtual environments
US20160320862A1 (en) * 2014-05-01 2016-11-03 Aaron Schradin Motion control seat input device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112714342A (zh) * 2019-10-25 2021-04-27 宝马股份公司 用于座椅的设备、座椅、车辆和用于播放媒体内容的方法
CN112714342B (zh) * 2019-10-25 2023-12-12 宝马股份公司 用于座椅的设备、座椅、车辆和用于播放媒体内容的方法

Also Published As

Publication number Publication date
JPWO2018101279A1 (ja) 2019-10-24
US20190289285A1 (en) 2019-09-19
JP7159870B2 (ja) 2022-10-25
US11683471B2 (en) 2023-06-20
WO2018100800A1 (ja) 2018-06-07

Similar Documents

Publication Publication Date Title
CN109997097A (zh) 信息处理装置、信息处理方法以及计算机程序
EP3550404B1 (en) Information processing device, information processing method, and computer program
JP6988980B2 (ja) 画像表示装置
JP6316387B2 (ja) 広範囲同時遠隔ディジタル提示世界
US20090046140A1 (en) Mobile Virtual Reality Projector
CN108292040A (zh) 优化头戴式显示器屏幕上的内容定位的方法
JP6290467B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
CN107534824A (zh) 信息处理设备、信息处理方法和程序
JP2020530971A (ja) ヘッドマウントディスプレイおよびそのディスプレイ画面、ヘッドマウントブラケットおよびビデオ
JP7488867B2 (ja) プログラムおよびシステム
JP6470859B1 (ja) ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法
US20180374275A1 (en) Information processing method and apparatus, and program for executing the information processing method on computer
JP2020004284A (ja) システム、プログラム、方法、および情報処理装置
JP2020004388A (ja) システム、プログラム、方法、および情報処理装置
JP2018125003A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
KR20220014254A (ko) 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 방법 및 시스템
JP6820299B2 (ja) プログラム、情報処理装置、および方法
KR101922677B1 (ko) 체험장치
JP2021177580A (ja) 情報処理装置、情報処理方法、およびプログラム
JP6875029B1 (ja) 方法、プログラム、情報処理装置
JP6718933B2 (ja) プログラム、情報処理装置、および方法
JP2019160295A (ja) ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法
WO2023248832A1 (ja) 遠隔視認システム、現地撮像システム
JP7111848B2 (ja) プログラム、情報処理装置、および方法
JP2020184344A (ja) プログラム、情報処理装置、および方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190709

RJ01 Rejection of invention patent application after publication