CN110869900B - 信息处理装置、信息处理方法及程序 - Google Patents

信息处理装置、信息处理方法及程序 Download PDF

Info

Publication number
CN110869900B
CN110869900B CN201880045231.0A CN201880045231A CN110869900B CN 110869900 B CN110869900 B CN 110869900B CN 201880045231 A CN201880045231 A CN 201880045231A CN 110869900 B CN110869900 B CN 110869900B
Authority
CN
China
Prior art keywords
field
view
user
image
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880045231.0A
Other languages
English (en)
Other versions
CN110869900A (zh
Inventor
石川毅
高桥慧
佐佐木大辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN202311779793.7A priority Critical patent/CN117931023A/zh
Publication of CN110869900A publication Critical patent/CN110869900A/zh
Application granted granted Critical
Publication of CN110869900B publication Critical patent/CN110869900B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本特征涉及信息处理装置、信息处理方法和程序，利用该信息处理装置、信息处理方法和程序可以从通信方面对关于多个用户观看相同内容进行改善。获取内容数据，从基于内容数据的内容图像切割出与第一用户的视场对应的第一视场图像，并且还获取表示观看内容图像的第二用户的视场的视场信息。在显示装置上，显示第一视场图像并且基于第二用户的视场信息显示第二用户的视场。本特征可以例如应用于由多个用户观看诸如全方位图像或自由视点图像的内容的情况。

Description

信息处理装置、信息处理方法及程序
技术领域
本技术涉及信息处理装置、信息处理方法和程序，并且特别地，本技术涉及可以改善关于例如观看相同内容的多个用户的通信的信息处理装置、信息处理方法和程序。
背景技术
例如，假设使用头戴式显示器(在下文中，被简称为HMD)来观看诸如包括在从视点观看整个圆周的情况下的图像的球面图像的内容。在该情况下，内容的整个图像的范围的一部分被显示在HMD上。佩戴HMD的用户可以移动用户的头部以使在HMD上显示的范围移动，从而使球面图像中可以由用户观看的图像(图像中的场景)的范围即用户的视场移动(例如，参见专利文献1)。
例如，当佩戴HMD的用户面对右侧时，在HMD上显示的范围被移动到球面图像中当前显示的范围的右侧。因此，用户可以看到当前视场的右侧。另外，当例如佩戴HMD的用户面对上方时，在HMD上显示的范围被移动到球面图像中当前显示的范围上方。因此，用户可以看到当前视场上方。
引用列表
专利文献
专利文献1：JP 2005-354644A
发明内容
技术问题
顺便提及，在佩戴HMD的多个用户观看相同内容的情况下，每个用户可以观看整个内容的图像中的任意范围。然而，由用户观看的范围(用户的视场)以及由其他用户观看的范围(其他用户的视场)可能不一致。因此，在就例如关于观看相同内容的多个用户的通信而言存在改善的空间。
鉴于这样的情况进行本技术，并且本技术可以改善关于观看相同内容的多个用户的通信。
问题的解决方案
本技术的信息处理装置或程序是用于使计算机用作信息处理装置的信息处理装置或程序，该信息处理装置包括：内容获取单元，其被配置成获取内容的数据；图像切割单元，其被配置成从基于内容的数据的内容图像切割出与第一用户的视场对应的第一视场图像；视场信息获取单元，其被配置成获取表示观看内容图像的第二用户的视场的视场信息；以及显示控制单元，其被配置成控制显示装置以显示第一视场图像，并且被配置成控制显示装置以基于第二用户的视场信息来显示第二用户的视场。
本技术的信息处理方法是信息处理方法，该信息处理方法包括：获取内容的数据；从基于内容的数据的内容图像切割出与第一用户的视场对应的第一视场图像；获取表示观看内容图像的第二用户的视场的视场信息；以及控制显示装置以显示第一视场图像，并且控制显示装置以基于第二用户的视场信息来显示第二用户的视场。
在本技术的信息处理装置、信息处理方法和程序中，内容的数据被获取，并且从基于内容的数据的内容图像切割出与第一用户的视场对应的第一视场图像。另外，表示观看内容图像的第二用户的视场的视场信息被获取。此外，在显示装置上显示第一视场图像，并且基于第二用户的视场信息在显示装置上显示第二用户的视场。
发明的有益效果
根据本技术的方面，可以改善观看相同内容的多个用户的通信。
注意，这里描述的有益效果可以不受限制，并且有益效果可以是本公开内容中描述的有益效果中的任何效果。
附图说明
图1是示出根据本技术的内容观看系统的配置示例的框图。
图2是示出信息处理装置的配置示例的框图。
图3是示出显示装置的配置示例的框图。
图4是示出整个图像的示例的图。
图5是示出从内容图像切割出的视场图像的显示示例的图。
图6是在视场图像上叠加的广域图像的放大图。
图7是示出在视场图像上叠加并显示有视场方向指示标记的情况下的显示示例的图。
图8是示出用户的视场窄于其他用户的视场的情况下的视场图像的显示示例的图。
图9是示出用户的视场宽于其他用户的视场的情况下的视场图像的显示示例的图。
图10是示出在视场图像上叠加并显示有视场方向指示线的情况下的显示示例的图。
图11是示出跟踪其他用户的视场的跟踪图像的显示示例的图。
图12是示出跟踪其他用户的视场的跟踪图像的显示示例的图。
图13是示出与用户讲话对应的视场方向指示标记被突出显示的情况下的显示示例的图。
图14是描述视场信息呈现处理的流程图。
图15是示出从视场图像切换的广域图像的显示示例的图。
图16是描述图像切换处理的流程图。
图17是示出使视场图像移动超过用户的头部的旋转量的示例的图。
图18是示出用户视线的移动与视场图像的移动之间的关系的图。
图19是示出用户视线的移动与视场图像的移动之间的关系的图。
图20是用于描述视线移动角度的图。
图21是用于描述头部旋转角度的图。
图22是描述视场图像移动处理的流程图。
图23是用于描述选择要显示的化身的方法的图。
图24是示出化身的显示示例的图。
图25是描述化身显示处理的流程图。
图26是示出通用计算机的配置示例的框图。
具体实施方式
在下文中，将参照附图详细描述用于实施本技术的最佳模式(在下文中，被称为实施方式)。注意，将按照以下顺序描述实施方式。
1.根据本技术的内容查看系统的配置示例
2.每个用户的视场的呈现
3.跟踪其他用户的视场的跟踪图像
4.突出显示用户讲话
5.用户装置20的视场信息呈现处理
6.视场图像与广域图像的切换
7.视场图像的移动
8.对要显示的化身的选择
9.由软件执行的一系列处理
注意，在本说明书中，假定系统表示多个构成元件(装置、模块(部件)等)的集，并且并非所有构成元件必须位于同一壳体中。因此，容纳在独立的壳体中并且通过网络连接的多个装置以及包括被包含在一个壳体中的多个模块的一个装置两者均可以被假定为本说明书中的系统。
<1.根据本技术的内容查看系统的配置示例>
图1是示出根据本技术的内容观看系统的配置示例的框图。
内容观看系统10使得能够在多个用户观看相同内容的情况下了解其他用户的视场。注意，内容包括图像。显然，可以存在与图像对应的声音。然而，下面将提及仅内容的图像，并且不会提及内容的声音。
多个用户观看相同内容的时间不必是同一时间。例如，当用户(被称为用户A)观看内容时，表示用户A的视场的视场信息可以被保存。在稍后的时间，可以基于所保存的用户A的视场信息将用户A的视场呈现给观看相同内容的其他用户(被称为用户B)。
由内容观看系统10提供的内容可以是包括从视点观看整个圆周的情况下的图像的球面图像，或者是包括在视点被移动时观看整个圆周的情况下的图像的自由视点图像。
球面图像和自由视点图像可以是以下中的任何：通过拍摄真实空间获得的图像(拍摄的图像)、实时拍摄的真实空间的图像(正被拍摄的图像)、通过使用计算机图形以生成游戏的VR(虚拟现实)空间等而获得的图像、包括在真实空间上叠加的虚拟对象的图像等。
内容观看系统10包括服务器装置40以及由用户使用的用户装置20-1至20-N(N是自然数)。在下文中，用户装置20-1至20-N在不必单独区分用户装置20-1至20-N的情况下将被简称为用户装置20。
用户装置20包括信息处理装置21和显示装置22。信息处理装置21主要执行切割出内容的图像的一部分以生成要在显示装置22上显示的视场图像的处理。显示装置22主要显示视场图像。另外，显示装置22使用其他用户装置20来显示其他用户的视场，以向用户装置20的用户呈现其他用户的视场。
用户装置20的用户观看内容的图像中的在显示装置22上显示的视场图像。因此，视场图像中的场景的范围是观看视场图像的用户的视场。视场图像的视角，即，观看视场图像的用户的视场的视场大小(由显示装置22向观看视场图像的用户提供的视场的视场大小(视场))依赖于作为显示图像的显示软件或者显示装置22的显示装置而变化。例如，存在视场图像的视角为90度的显示装置、视场图像的视角为210度的显示装置等。
显示装置22的示例包括在用户的头部上佩戴并使用的显示装置，例如AR(增强现实)眼镜和其他HMD。然而，显示装置22可以是诸如电视接收器的平面显示装置，或者可以是诸如投影仪的投影图像的显示装置。
注意，用户装置20中包括的信息处理装置21和显示装置22可以被集成或者可以被放置在不同的壳体中并且被分开地布置。信息处理装置21与显示装置22之间的连接可以是有线连接或者可以是无线连接。
服务器装置40通过互联网31连接到用户装置20。服务器装置40包括内容分发单元41、视场信息管理单元42和通信管理单元43。
内容分发单元41根据来自用户装置20的请求通过互联网31分发内容的数据。内容的数据可以在同一时间或在不同时间被分发到用户装置20。
视场信息管理单元42从每个用户装置20获取表示内容在每个用户装置20中被观看时的用户的视场的视场信息并且管理视场信息。
视场信息包括内容识别信息、经过时间信息、视点信息、视场中心信息或视场大小信息中的至少之一。
内容识别信息是用于识别内容的信息。经过时间信息存在于内容的图像随时间变化的情况中，并且经过时间信息是表示从内容的顶部(内容被再现的时间位置)开始经过的时间的信息。视点信息是在内容是自由视点图像的情况下表示作为自由视点图像中的(场景的)空间的内容空间中的视点的位置的信息。
视场中心信息是表示视场中心(视场中心的坐标)的信息，该视场中心是从用户装置20中的内容的图像即基于内容的数据的内容图像切割出的视场图像(作为用户的视场的范围)的中心。视场大小信息是表示视场大小的信息，该视场大小是从用户装置20中的内容图像切割出的视场图像的大小，即，作为观看视场图像的用户的视场的范围的大小(由显示装置22向观看视场图像的用户提供的视场的大小)。注意，用户可以在由显示装置22所允许的范围内任意设置视场大小。另外，视场中心可以被认为是观看视场图像的用户的视场的中心，并且视场大小可以被认为是观看视场图像的用户的视场的大小。
可以参考内容识别信息来指定由用户观看的内容。在由内容识别信息指定的内容是随时间变化的内容的情况下，可以参考经过时间信息来指定由用户观看的内容的时间位置(定时)(寻找位置)。可以参考视场中心信息以及视场大小信息和视点信息(如果有必要)来指定观看由内容识别信息指定的内容的用户的视场，即，内容图像中的由用户观看的视场图像(视场图像的范围)。注意，为了大致了解用户的视场(视野)，可以发送和接收不包括视场大小信息的视场信息。另外，每个用户的视场大小可以被假定为相同固定值，并且可以从视场中心指定每个用户的视场。
通信管理单元43管理观看相同内容的用户之间的诸如使用语音或字符的消息交换的通信。
注意，服务器装置40的功能可以被提供给用户装置20中的至少之一，并且包括设置有服务器装置40的功能的用户装置20的多个用户装置20可以通过内联网等相互连接。
图2是示出用户装置20中包括的信息处理装置21的配置示例的框图。
信息处理装置21包括通信单元51、内容保持单元52、视场图像确定单元53、图像切割单元54、视场信息保持单元55、输入单元58、触发检测单元59和显示控制单元60。
通信单元51通过互联网31连接到服务器装置40，并且用作获取内容的数据的内容获取单元。此外，通信单元51获取与用户对应的用户图像(表示用户的用户图像)的图像数据例如用户的图标和化身等。由通信单元51从服务器装置40获取的内容的数据等被记录在内容保持单元52中。另外，通信单元51使用用户装置20向服务器装置40通知由视场信息保持单元55顺序地生成的用户(第一用户)的视场信息。此外，通信单元51用作视场信息获取单元，该视场信息获取单元使用其他用户装置20从服务器装置40获取其他用户的视场信息来观看内容。通信单元51将从服务器装置40获取的其他用户的视场信息输出到视场信息保持单元55。
内容保持单元52保持从服务器装置40获取的内容的数据。另外，内容保持单元52保持要叠加并显示在从基于内容的数据的内容图像切割出的图像(视场图像)上的用户图像的图像数据等例如用于表示每个用户的图标和化身。
视场图像确定单元53基于从显示装置22的视线检测单元71(图3)通知的视线的移动量或者从头部移动检测单元72(图3)通知的头部的移动量中的至少之一来确定视场中心。此外，视场图像确定单元53基于视场中心和视场大小(由显示装置22向观看视场图像的用户提供(限制)的视场的视场大小)来确定要从内容图像切割出的用户的视场图像(视场图像的范围)。例如，在显示装置22是HMD的情况下，视场图像确定单元53基于与作为显示装置22的HMD相关联的用户的头部的移动或者用户的视线的移动中的至少之一来确定视场中心，并且基于视场中心和视场大小来确定用户的视场图像。
另外，视场图像确定单元53响应于用户的视线接近用户的视场图像的边缘而基于用户的视线来移动用户的视场图像。
注意，视场图像确定单元53可以基于用户的视线的旋转角度以及头部的旋转角度使作为用户的视场图像的移动量的旋转角度大于用户的头部的旋转角度。
另外，视场图像确定单元53可以基于其他用户的视场信息确定与用户基本上已经开始观看内容的时间(用户已经开始使用用户装置20的时间)对应的视场图像的初始位置，即，视场图像的视场中心的初始位置。例如，视场图像确定单元53可以基于其他用户的视场信息来指定内容图像中聚集了等于或大于预定数目的其他用户的视场的区域，并且可以将该区域中的位置确定为视场中心的初始位置。此外，视场图像确定单元53可以基于视场中心的初始位置确定要从内容图像切割出的视场图像，即，将以内容图像中的视场中心的初始位置为中心的范围的图像确定为视场图像。在该情况下，用户可以在用户开始观看内容之后立即容易地与其他用户通信。
图像切割单元54从基于内容的数据的内容图像切割出(从而生成)与用户的视场对应的视场图像，即，由视场图像确定单元53确定的视场图像。另外，图像切割单元54可以从视场信息保持单元55获取其他用户的视场信息，并且根据其他用户的视场信息从内容图像切割出用户的视场大小(在用户的视场信息中包括的视场大小信息中指示的视场大小)或者其他用户的视场大小的图像作为视场图像。视场图像可以作为例如跟踪其他用户的视场的跟踪图像在显示装置22上显示。根据跟踪图像，用户可以将其他用户的视场设置为用户的视场，并且观看与由其他用户观看的视场图像相同的图像。
视场信息保持单元55顺序地更新并保持用户装置20中的视场信息，并且将视场信息输出到通信单元51以使通信单元51向服务器装置40通知视场信息。另外，视场信息保持单元55保持由通信单元51从服务器装置40获取的其他用户的视场信息。
输入单元58包括诸如遥控器的操作装置、诸如麦克风的语音输入装置以及诸如摄像机的成像装置。输入单元58使用操作装置来输入用户的键操作，使用语音输入装置来输入用户的语音，或者使用成像装置来输入通过拍摄用户的图片而获得的图像。
触发检测单元59根据由输入单元58输入的用户的操作、语音、图像等将键操作、语音命令、姿势等检测为预定动作的触发。
显示控制单元60控制显示器以使显示装置22显示视场图像以及表示用户的用户图像例如与每个用户对应的图标和化身。另外，显示控制单元60基于每个用户的视场信息来控制显示，以使显示装置22显示需要显示的用户的视场(表示视场的信息)。
例如，显示控制单元60基于其他用户的视场信息使显示装置22显示指示其他用户的视场的位置的视场位置指示图像。视场位置指示图像包括广域图像112(图5)，广域图像112包括用户装置20的用户的视场图像(第一视场图像)以及与其他用户的视场对应的视场图像(第二视场图像)。此外，视场位置指示图像包括指示其他用户的视场的位置、并且被叠加在用户装置20的用户的视场图像上的符号图像。符号图像的示例包括稍后描述的视场方向指示标记、视场方向指示线等。
注意，显示控制单元60可以响应于预定触发来控制显示装置22切换用户装置20的用户的视场图像与广域图像。预定触发包括用户装置20的用户的键操作、语音命令、头部的移动或姿势操作中的至少之一。
另外，显示控制单元60将其他用户的用户图像例如化身叠加在用户的视场图像上，并且使显示装置22显示该图像。在存在多个其他用户的情况下，显示控制单元60可以将与多个其他用户对应的多个用户图像中的至少之一叠加在用户的视场图像上，并且使显示装置22显示图像。
例如，显示控制单元60可以针对要在显示装置22中的视场图像等上叠加并显示的用户图像例如化身来设置其他用户的优先级，并且可以使显示装置22根据优先级来显示多个其他用户的部分或全部用户图像。
例如，显示控制单元60可以根据用户的视场图像与多个其他用户的视场中的每个视场之间的位置关系来控制(确定优先级)是否将多个其他用户的多个用户图像中的每个用户图像叠加在用户的视场图像上。
另外，例如，显示控制单元60可以在用户的视场图像上优先叠加多个其他用户之中具有相对接近于用户的视场图像的视场(由视场图像提供的视场)的其他用户的用户图像，并且可以使显示装置22显示图像。
此外，例如，显示控制单元60可以根据用户与多个其他用户之间的通信历史在用户的视场图像上优先叠加多个其他用户的多个用户图像中的一部分，并且可以使显示装置22显示图像。
图3是示出用户装置20中包括的显示装置22的配置示例的框图。特别地，图3示出了适合于显示装置22是安装在用户的头部上的HMD的情况的配置示例。
显示装置22包括视线检测单元71、头部移动检测单元72、显示单元73和语音输入/输出单元74。
视线检测单元71检测用户的视线。例如，可以使用角膜反射或其他任意方法和技术来检测视线。此外，视线检测单元71将从在显示单元73上显示的视场图像的中间(视场中间)到用户的视线的角度(视线移动角度)检测为视线的移动量，并且将视线移动角度发送到信息处理装置21的视场图像确定单元53。
头部移动检测单元72将佩戴作为显示装置22的HMD的用户的头部旋转角度检测为头部的移动量，并且将头部旋转角度发送到信息处理装置21的视场图像确定单元53。佩戴作为显示装置22的HMD的用户的头部旋转角度也是HMD的旋转角度。
显示单元73基于从显示控制单元60提供的视场图像等的图像信号来显示视场图像等。
语音输入/输出单元74包括例如麦克风和扬声器，并且被配置成输出内容的语音(基于内容的数据的内容语音)并且输入用户的语音。用户的输入语音用于例如观看相同内容的用户之间的通信。即，用户的输入语音被发送到其他用户装置20，并且从其他用户装置20的语音输入/输出单元74的扬声器输出。
如上所述，作为显示装置22的HMD包括视线检测单元71和头部移动检测单元72，并且在HMD(与HMD相关联)检测用户的视线的移动和头部的移动。
<2.每个用户的视场的呈现>
图4是示出包括在平面上展开的整个内容图像的整个图像的示例的图。
整个图像100是通过使用等距柱状投影在平面上展开作为球面图像的整个内容图像而获得的图像。
注意，用于在平面上展开作为球面图像的整个内容图像的投影可以是除了等距柱状投影以外的投影。例如，可以使用墨卡托(Mercator)投影法代替等距柱状投影。在下文中，通过使用等距柱状投影在平面上展开的图像将被称为等距柱状投影。类似地，通过使用墨卡托投影法在平面上展开的图像将被称为墨卡托投影。
在该情况下，假定由三个用户A至C共享(观看)内容。然而，用户A至C观看内容的时间可能不是同一时间。
由用户A使用的显示装置22显示通过根据用户A的视场信息的视场中心信息和视场大小信息(视场大小信息中指示的视场大小的范围，以视场中心信息中指示的视场中心为中心)从内容图像切割出视场范围101A而生成的视场图像。类似地，由用户B使用的显示装置22显示通过根据用户B的视场信息的视场中心信息和视场大小信息从内容图像切割出视场范围101B而生成的视场图像。由用户C使用的显示装置22显示通过根据用户C的视场信息的视场中心信息和视场大小信息从内容图像切割出视场范围101C而生成的视场图像。
视场范围101A表示用户A的视场(视场的范围)。类似地，视场范围101B表示用户B的视场，并且视场范围101C表示用户C的视场。
<使用广域图像的方法>
图5是示出在由用户A使用的显示装置22上显示并且通过从内容图像切割出视场范围101A而生成的视场图像111A的显示示例的图。
然而，在图5的情况下，参照图5，广域图像112根据用户A的预定操作被叠加并显示在视场图像111A中的预定位置处(在图5的情况下为左上方)。
广域图像112是一种视场位置指示图像，视场位置指示图像指示共享(观看)相同内容的其他用户(在该情况下为用户B和C)的视场的位置以向用户(在该情况下为用户A)呈现其他用户的视场。
通过使用整个图像100的全部或部分来生成广域图像112。即，广域图像112是通过从整个图像100切割出包括用户的视场图像(第一视场图像)以及其他用户的视场图像(第二视场图像)的范围来生成的。因此，在共享内容的多个用户的视场分散的情况下，基于通过切割出整个图像100的大范围而获得的图像或者基于整个图像100的全部来生成广域图像112。在共享内容的多个用户的视场集中的情况下，基于通过从整个图像100切割出小范围而获得的图像来生成广域图像112。注意，可以始终基于整个图像100的全部来生成广域图像112。
图6是在由用户A使用的显示装置22上显示的视场图像111A(图5)上叠加的广域图像112的放大图。
在用户A的显示装置22(由用户A使用的显示装置22)上显示的广域图像112包括用户A的视场图像以及作为与用户A共享相同内容的其他用户的用户B和C的视场图像。因此，广域图像112包括用户A的(视场的)视场范围以及用户B和C的视场范围。注意，尽管广域图像112是图6中的等距柱状投影，广域图像112可以是墨卡托投影、俯瞰图、鸟瞰图和平面图(例如，二维地图)中的任何。
在图6中，表示用户A的视场范围的视场范围显示113A、表示用户B的视场范围的视场范围显示113B、作为用户B的用户图像的图标114B、表示用户C的视场范围的视场范围显示113C、以及作为用户C的用户图像的图标114C被叠加并显示在广域图像112上。
根据视场范围显示113B和图标114B，将用户B的视场范围101B(图4)呈现给用户A。类似地，根据视场范围显示113C和图标114C，将用户C的视场范围101C(图4)呈现给用户A。
因此，广域图像112被叠加并显示在由用户A使用的显示装置22上显示的视场图像111A(图5)上，并且用户A可以了解共享内容的其他用户(在该情况下为用户B和C)的视场。
这可以改善关于观看相同内容的多个用户的通信。即，在例如用户关于由用户观看的事物执行诸如使用语音或字符的消息交换的通信的情况下，可以抑制诸如误通信的情况，并且可以辅助用户之间的顺畅通信。
注意，代替在视场图像111A(图5)上叠加并显示广域图像112，广域图像112可以被显示在除了显示装置22以外的显示装置例如电视接收器上。
接下来，将描述向用户呈现共享内容的其他用户的视场范围的其他方法。
<使用视场方向指示标记的方法>
图7是示出在表示共享内容的其他用户的视场的位置的方向的视场方向指示标记121被叠加并显示为在由用户使用的显示装置22上显示的视场图像111A上的指示其他用户的视场的位置的符号图像的情况下的显示示例的图。
在图7的显示示例中，与用户B对应的视场方向指示标记121B以及与用户C对应的视场方向指示标记121C被叠加并显示在与用户A对应的视场图像111A(用户A的视场图像)上。
通过用包括尖锐突起的图形围绕与用户B对应的图标114B(图6)来获得视场方向指示标记121B，尖锐突起指示用户B的视场的方向。
类似地，通过用包括尖锐突起的图形(示出所谓的语音气泡的图形)围绕与用户C对应的图标114C(图6)来获得视场方向指示标记121C，并且尖锐突起指示用户C的视场的方向。
在由用户A使用的显示装置22上显示的视场图像111A上叠加的视场方向指示标记121B和121C允许用户A了解共享内容的其他用户(在该情况下为用户B和C)的视场的位置的方向。用户A可以例如在由视场方向指示标记121B的尖锐突起指示的左上方方向上旋转头部，以将用户(用户A)的视场向用户B的视场移动。
类似地，用户A可以例如在由视场方向指示标记121C的尖锐突起指示的右方方向上旋转头部，以将用户(用户A)的视场向用户C的视场移动。
图8是示出在用户的视场窄于其他用户的视场的情况下的视场图像的显示示例的图。
如上述的图7所示，当观看包括叠加的视场方向指示标记121C的视场图像111A的用户A在由视场方向指示标记121C的尖锐突起指示的右方方向上旋转头部时，在显示装置22上显示的视场图像111A(作为视场图像111A切割出的范围)移动到内容图像的右侧。因此，用户(用户A)的视场逐渐接近用户C的视场。因此，视场方向指示标记121C的尖锐突起逐渐减小。此外，当用户(用户A)的视场被包括在宽于用户(用户A)的视场的用户C的视场中时(当用户A的(在显示装置22上显示的)视场图像被包括在用户C的视场图像中时)，如图8所示，视场方向指示标记121C的尖锐突起消失。
因此，在用户A的显示装置22上显示的视场图像111A上叠加的视场方向指示标记121C的突起的大小允许用户A了解用户(用户A)的视场与其他用户(在该情况下为用户C)的视场的接近度和一致度。
此外，当视场方向指示标记121C的突起消失时，可以确定用户(用户A)和其他用户(在该情况下为用户C)正在观看相同事物。因此，在该状态下，用户A和用户C可以执行诸如消息交换的通信，并且可以抑制诸如误通信的情况。
图9是示出在用户的视场宽于其他用户的视场的情况下的视场图像的显示示例的图。
如以上在图7中所述，当观看包括叠加的视场方向指示标记121C的视场图像111A的用户A在由视场方向指示标记121C的尖锐突起指示的右方方向上旋转头部时，用户(用户A)的视场逐渐接近用户C的视场。因此，视场方向指示标记121C的尖锐突起逐渐减小。此外，当窄于用户(用户A)的视场的用户C的视场被包括在用户(用户A)的视场中时，如图9所示，视场方向指示标记121C的尖锐突起消失，并且表示用户C的视场的视场范围显示141C被叠加并显示在视场图像111A上。
因此，在由用户A使用的显示装置22上显示的视场图像111A上叠加的视场方向指示标记121C的突起的大小以及视场范围显示141C允许用户A了解用户(用户A)的视场与其他用户(在该情况下为用户C)的视场的接近度和一致度(交叠度)。
此外，当视场方向指示标记121C的突起消失时，可以确定用户(用户A)和其他用户(在该情况下为用户C)正在观看相同事物。因此，在该状态下，用户A和用户C可以执行诸如消息交换的通信，并且可以抑制诸如误通信的情况。注意，视场方向指示标记121C和视场范围显示141C是指示用户C的视场位置类型的视场位置指示图像。
<使用视场方向指示线的方法>
图10是示出在表示共享内容的其他用户的视场的位置的方向的视场方向指示线131被叠加并显示为在由用户使用的显示装置22上显示的视场图像111A上的指示其他用户的视场的位置的符号图像的情况下的显示示例的图。
在图10的显示示例中，视场方向指示线131B被叠加并显示在与用户A的视场对应的视场图像111A上。
在视场方向指示线131B中，直线的一端表示用户B的视场的位置的方向(在该情况下为左上方方向)。另外，与用户B对应的图标132B被叠加并显示在视场方向指示线131B附近的视场图像111A上，以指示视场方向指示线131B与用户B对应。
在由用户A使用的显示装置22上显示的视场图像111A上叠加的视场方向指示线131B允许用户A了解共享内容的其他用户(在该情况下为用户B)的视场的位置的方向。用户A可以例如在沿视场方向指示线131B的左上方方向上旋转头部，以将用户(用户A)的视场向用户B的视场移动。
这可以在用户执行诸如消息交换的通信的情况下抑制诸如误通信的情况，并且可以辅助用户之间的顺畅通信。
<3.跟踪其他用户的视场的跟踪图像>
用户装置20可以基于从服务器装置40获取的其他用户装置20的视场信息来跟踪其他用户装置20的其他用户的视场。
图11是示出在用户A的视场图像(从内容图像切割出作为视场图像的范围)大于用户C的视场图像使得用户A的视场宽于用户C的视场的情况下，当由用户A使用的用户装置20跟踪用户C的视场时，在显示装置22的显示单元73上显示的跟踪图像AC的显示示例的图。
由用户A使用的用户装置20可以通过基于用户C的视场信息，以用户C的视场信息中指示的视场中心处为中心从内容图像切割出用户A的视场大小或者用户C的视场大小的图像作为视场图像来生成跟踪图像AC。
在图11的A中示出的跟踪图像151AC中，表示用户C的视场的视场范围显示152C以及与用户C对应的图标153C被叠加并显示在用户A的视场大小的视场图像上。
在图11的B中示出的跟踪图像151AC中，掩蔽显示154被叠加在用户A的视场大小的视场图像中的用户C的视场以外的范围上，并且与用户C对应的图标153C被叠加并显示在用户C的视场的范围上。
在图11的C中示出的跟踪图像151AC中，用户C的视场大小的视场图像被扩展以与用户A的视场大小对应，并且与用户C对应的图标153C被进一步叠加并显示。
图12是示出在用户A的视场图像小于用户C的视场图像使得用户A的视场窄于用户C的视场的情况下，当由用户A使用的用户装置20跟踪用户C的视场时，在显示装置22的显示单元73上显示的跟踪图像AC的显示示例的图。
在图12的A中示出的跟踪图像161AC中，与用户C对应的图标162C以及指示用户C的视场包括用户A的视场(指示用户C的视场宽于用户A的视场)的箭头163被叠加并显示在用户A的视场大小的视场图像上。
在图12的B中示出的跟踪图像161AC中，表示用户A的视场的图标162C、箭头163和视场范围显示164被叠加并显示在通过将用户C的视场大小的视场图像减小到用户A的视场大小内而获得的图像上。
用户装置20可以根据用户的头部等的移动，在用于确定在显示装置22上显示的用户的视场图像的正常模式与用于显示图11至图12中示出的跟踪图像的跟踪模式之间切换模式。根据跟踪模式，用户可以观看由其他用户观看的场景。
<4.突出显示用户讲话>
当其他用户的视场(包括视场的方向)始终在与用户A的视场对应的视场图像111A上显示时，使用户A在其他用户的数目增加的情况下看到视场图像111A变得困难。因此，在显示其他用户的视场时，例如，可以显示在用户之间通信时发送消息的仅用户的视场，或者可以突出显示发送消息的用户的视场。
图13是示出在由用户A使用的用户装置20响应于用户C的消息的发送而突出显示与用户C对应的视场方向指示标记171C的情况下的显示示例的图。
在图13的情况下，通过使轮廓线变粗而突出显示的视场方向指示标记171C被叠加在与用户A的视场对应的视场图像111A上。此外，与用户C的语音对应的文本显示172(在图13的情况下为“看这里”)被叠加并显示在视场方向指示标记171C的下方。
注意，为了允许用户A视觉地并且更容易地将发送消息的另一用户与不发送消息的又一用户区分，可以通过将轮廓变为虚线或者通过减小亮度以使视场方向指示标记171B不显眼来显示与不发送消息的又一用户(在这种情况下为用户B)对应的视场方向指示标记171B。
<5.用户装置20的视场信息呈现处理>
接下来，将描述用于在用户装置20的显示装置22上显示与用户的视场对应的视场图像的同时，向用户呈现其他用户的视场的位置的视场信息呈现处理。
图14是描述视场信息呈现处理的流程图。
在由用户A使用的用户装置20的信息处理装置21(图2)中，在步骤S1中，通信单元51通过互联网31连接到服务器装置40并且获取内容的数据。从服务器装置40获取的内容的数据被保持在内容保持单元52中。
此外，在步骤S1中，通信单元51开始从服务器装置40的视场信息管理单元42获取观看相同内容的其他用户(例如，用户B和C)的视场信息。
在步骤S2中，视场图像确定单元53基于其他用户的视场信息将在由更多其他用户观看的范围中的位置设置为视场中心的初始位置。此外，视场图像确定单元53基于视场中心的初始位置和视场大小在内容图像中确定用户的(与视场对应的)视场图像。通过将视场中心的初始位置设置在由更多其他用户观看的范围中的位置处，用户(在该情况下为用户A)可以立即观看与其他用户相同的图像作为视场图像，并且用户可以容易地通信。
在步骤S3中，图像切割单元54从内容图像切割出由视场图像确定单元53确定的视场图像111A(图5)以生成视场图像111A。
在步骤S4中，显示控制单元60在视场图像111A上叠加视场位置指示图像作为表示其他用户的视场的显示。随后，显示控制单元60将包括叠加的视场位置指示图像的视场图像111A的图像信号提供给显示装置22，并且使显示单元73显示视场图像111A。
这里，视场位置指示图像包括广域图像112(图6)、符号图像等。符号图像包括视场方向指示标记121B和121C(图7)、视场方向指示线131B(图10)等。
在步骤S5中，视场图像确定单元53基于视线的移动量(旋转角度)以及头部的移动量(旋转角度)确定是否移动在显示单元73上显示的视场图像。这里，在视场图像确定单元53确定移动视场图像的情况下，处理进入步骤S6。
在步骤S6中，视场信息保持单元55基于视线的移动量以及头部的移动量来更新并保持用户的视场信息，并且将视场信息输出到通信单元51。通信单元51通过互联网31向服务器装置40通知用户的更新的视场信息。注意，向服务器装置40通知的视场信息将被提供给其他用户装置20。
视场图像确定单元53基于更新的视场信息来确定与内容图像中的用户的视场对应的视场图像。处理返回到步骤S3，并且重复随后的处理，直到内容的再现结束。以此方式，基于更新的视场信息来确定与内容图像中的用户的视场对应的视场图像，并且在显示单元73上显示的视场图像基于用户的视线的移动量以及头部的移动量(作为视场图像从内容图像切割出的范围移动)而移动。
此外，在步骤S5中视场图像确定单元53确定不移动视场图像的情况下，视场图像确定单元53再次将上次的视场图像设置为与用户的视场对应的视场图像，并且跳过步骤S6。然后，处理返回到步骤S3，并且重复随后的处理直到内容的再现结束。
根据上述视场信息呈现处理，显示其他用户的视场(包括视场的位置的方向)以向用户呈现其他用户的视场。用户可以基于该呈现来移动视线和头部以使用户的视场移动，并且用户可以立即看到与其他用户相同的图像。这可以抑制用户之间的通信中的诸如误通信的情况。
<6.视场图像与广域图像的切换>
在到目前为止的描述中，广域图像(图6)被叠加并显示在视场图像(图5)上或者被显示在其他显示装置上。然而，显示装置22可以切换并显示视场图像与广域图像。
在将显示装置22的显示从视场图像切换为广域图像时，视场图像可以被瞬时切换为广域图像。另外，可以缩小视场图像，或者可以移动视点，从而逐渐将视场图像变为广域图像。
当例如用户(例如，用户A)想要知道其他用户(例如，用户B)的视场(包括视场的方向)时，可以将视场图像切换为广域图像。另外，即使在没有其他用户的情况下，视场图像也可以在用户A想要了解用户在整个内容图像中的视场的位置或者用户的视点时(在内容是自由视点图像的情况下)被切换为广域图像。
用于将视场图像切换为广域图像的触发的示例如下。
例如，由用户操作的输入单元58(图2)中包括的遥控器的键的操作可以是触发，并且视场图像可以被切换为仅在用户正在按遥控器的键期间显示广域图像。
另外，例如，由用户讲出的语音命令可以是触发。可以响应于由用户讲出的预定语音命令“缩小”将视场图像切换为广域图像，并且可以响应于由用户讲出的语音命令“返回”将广域图像返回到视场图像。
另外，例如，用户的头部的移动可以是触发。当用户面对正下方时，视场图像可以被切换为鸟瞰图等作为广域图像。当用户面对正上方时，视场图像可以被切换为2D地图的图像作为与内容空间对应的广域图像。
另外，例如，用户之间的通信可以是触发。当用户开始与其他用户通信时，或者当距其他用户的距离在通信期间增加使得其他用户不在视场内时，可以将图像切换为广域图像。此后，可以响应于预定姿势操作(例如，用户的点头或手部的移动)来切换视场图像与广域图像。
另外，例如，内容中的事件可以是触发。响应于事件，可以将视场图像切换为包括事件的地点的广域图像。
此外，在例如内容是真实空间中的实时图像的情况下，在真实空间中的警报(例如，发现可疑人员、起火、操作紧急按钮等)的生成可以是触发。响应于警报，视场图像可以被切换为包括警报的生成的位置的广域图像。
此外，可以分析作为用户之间的通信的对话的内容，并且当分析结果指示预定内容时，视场图像与广域图像之间的切换可以被触发。
另外，可以响应于用户向左或向右看的姿势(动作)或者拉拔的姿势来切换视场图像与广域图像。
接下来，图15是示出从视场图像切换的广域图像的显示示例的图。图15的A是在由用户A佩戴的显示装置22上显示的视场图像181的显示示例。
图15的B是使用响应于触发的检测从视场图像181(图15的A)切换的鸟瞰图的广域图像182的显示示例。指示用户的位置(即，视点)以及视场的方向的视场标记183被叠加在广域图像182上。以视场标记183不在广域图像182上的诸如主建筑物的对象的阴影内的角度显示鸟瞰图，而优先使得由视场标记183指示的用户的当前视场容易理解。
图15的C是使用响应于触发的检测从视场图像181(图15的A)切换的等距柱状投影的广域图像184的显示示例。表示用户A的视场的视场范围显示185A被叠加在广域图像184上。
图15的D是使用当例如用户A开始与用户B通信时触发的、从视场图像181(图15的A)切换的等距柱状投影的广域图像186的显示示例。表示用户A的视场的视场范围显示187A以及表示用户B的视场的视场范围显示187B被叠加在广域图像186上。
图15的E是使用当例如用户A开始与用户B通信时触发的、从视场图像181(图15的A)切换的等距柱状投影的广域图像188的显示示例。广域图像188是包括用户A和用户B的视场的范围的扩展图像。表示用户A的视场的视场范围显示189A以及表示用户B的视场的视场范围显示189B被叠加在广域图像188上。
关于广域图像，当多个用户的视场在多个用户在观看内容的同时进行通信的情况下显著变化时，同时包括多个用户的视场(多个用户的视场图像)的俯瞰图等可以用作广域图像并且自动显示。关于AR的内容，例如，可以使用独立的摄像机给现实世界拍照，并且可以使用图像来生成广域图像。
此外，在存在佩戴AR眼镜的用户以及远程观看被布置在用户的空间中的实时摄像机的图像的内容的另一用户的情况下，包括用户和另一用户的视场的俯瞰图像同时可以用作广域图像并且在用户与另一用户之间的通信期间被自动显示。
此外，在多个用户的视场显著变化的情况下，广域图像的显示可以优先于视场图像的显示。
此外，在估计多个用户关注内容图像中的不同对象的情况下，包括不同对象的图像(其中可以观看不同对象的图像)可以用作广域图像。
另外，广域图像可以是其中图像被缩小以超广角显示内容图像中的用户的视场图像周围的预定范围并且显示其他用户的位置的图像。
此外，关于作为广域图像的俯瞰图，可以基于作为显示装置22的HMD的方向来选择俯瞰图的视点以及俯瞰图的视角。
当用户识别到其他用户并且开始对话时，即，例如当用户从包括其他用户的图标的显示的菜单选择其他用户并且开始语音通话或文字聊天时，可以触发广域图像的显示。
另外，当其他用户在诸如用户与其他用户之间的语音通话的对话中离开用户时，可以触发广域图像的显示。
注意，在内容是自由视点图像的情况下，包括在从任意视点的任意方向上观看的自由视点图像中的内容空间的场景的图像可以是视场图像，并且视场图像可以显示在作为显示装置22的HMD上。然而，佩戴HMD的用户的可移动范围受到限制。因此，关于视场图像的移动，可以允许用户在旋转方向上移动图像，并且用户装置20可以自动执行平行移动。在观看这样的自由视点图像的情况下，也可以如上所述显示广域图像。
另外，可以显示广域图像以覆盖用户的整个视场。此外，广域图像可以被显示在用户的视场下方以便在用户面对下方时贴附在地面上。另外，可以在部分视场图像中显示窗口，并且可以在窗口中显示广域图像。
此外，可以使用低于视场图像的亮度来模糊地显示广域图像。
根据广域图像，在用户的视场与其他用户的视场不同而使得通信不顺畅的情况下，可以显示包括用户和其他用户的视场的广域图像，并且可以改善通信的障碍(差)。
此外，根据广域图像，不能识别自由视点图像中的位置的用户可以容易地返回到期望位置，或者可以在短时间内进行远距离移动。
<切换视场图像与广域图像的图像切换处理>
接下来，图16是描述切换视场图像与广域图像的图像切换处理的流程图。
然而，在图像切换处理的描述中将不会提及用户的视场的移动。
在步骤S11中，信息处理装置21生成与用户的视场对应的视场图像，并且使显示单元73显示所生成的视场图像。
具体地，信息处理装置21的图像切割单元54从内容保持单元52中保持的内容图像切割出视场图像以生成视场图像，并且显示控制单元60将所生成的视场图像的图像信号提供给显示装置22以使显示单元73显示视场图像。
在步骤S12中，信息处理装置21确定视场图像与广域图像之间是否存在用于指示切换的触发。具体地，信息处理装置21的触发检测单元59基于来自由输入单元58输入的用户的键操作、用户的语音、用户的图像等来确定是否检测到用于指示到广域图像的切换的广域触发。这里，在触发检测单元59确定未检测到广域触发的情况下，处理返回到步骤S11。因此，在显示单元73上仍然显示视场图像。
另一方面，在触发检测单元59在步骤S12中确定检测到广域触发的情况下，处理进入步骤S13。
在步骤S13中，信息处理装置21生成广域图像，并且显示装置22将显示单元73的显示从视场图像切换为广域图像。
具体地，例如，显示控制单元60将表示每个用户的视场的视场范围显示(例如，图15中的D的视场范围显示187A和187B)叠加在内容保持单元52中保持的内容图像的整个图像100(图4)上从而生成广域图像(例如，图15中的D的广域图像186)，并且将所生成的广域图像的图像信号提供给显示装置22以使显示单元73显示广域图像。
注意，显示控制单元60可以基于在视场信息保持单元55中保持的每个用户的视场信息来确定表示每个用户的视场的视场范围显示的显示位置。
在步骤S13之后，处理进入步骤S14，并且触发检测单元59基于来自由输入单元58输入的用户的键操作、用户的语音、用户的图像等来确定是否检测到用于指示到视场图像的切换的视场触发。这里，在触发检测单元59确定未检测到视场触发的情况下，处理返回到步骤S13。因此，在显示单元73上仍然显示广域图像。
在触发检测单元59在步骤S14中确定检测到视场触发的情况下，处理返回到步骤S11，并且显示单元73的显示被切换为视场图像。
根据上述图像切换处理，用户可以执行操作、语音、动作、姿势等作为切换视场图像与广域图像的触发。
观看广域图像的用户可以了解其他用户的视场，并且可以在用户之间的通信中抑制诸如误通信的情况。
另外，观看广域图像的用户可以了解用户的视场和视点(在内容是自由视点图像的情况下的内容空间中的用户的位置)。因此，在例如用户不能识别内容空间中的用户的位置的情况下，用户可以快速返回到期望位置。
<7.视场图像的移动>
接下来，将描述视场图像的移动。
在HMD中，用户旋转头部以使要从内容图像切割出的视场图像(视场图像的范围)移动，并且因此使用户的视场移动。然而，例如，在将视场图像移动到内容图像中的当前在显示装置22上显示的视场图像的正后方的情况下，身体也需要连同头部一起旋转，因为人通常不能使仅头部旋转180度。因此，如果用户在佩戴HMD时经常向左或向右或向后看，则用户会感到身体疲劳。
因此，本实施方式中的用户装置20使视场图像(在用于确定视场图像的视场信息中包括的视场中心信息中指示的视场中心)移动超过头部的旋转量以减小用户的身体疲劳。即，使视场图像的旋转角度大于用户的头部的旋转角度。例如，当用户使头部在水平方向上旋转90度时，视场图像在水平方向上旋转并移动180度。
图17是示出视场图像被旋转并移动超过用户的头部的旋转量的示例的图。
图17的A示出了从上方观看用户在预定方向上面对前方并且观看作为内容图像200的球面图像的状态的情况。在内容图像200中，在用户前方存在对象201，并且在用户后方存在对象202。在该情况下，当用户面对前方时，对象201存在于要从内容图像200切割出的视场图像(视场图像的范围)203中，并且用户可以在视觉上识别对象201。另一方面，对象202存在于用户的视场图像203的外部，并且用户无法在视觉上识别对象202。
如图17的B中所示，当用户在该状态下使头部旋转90度时，视场图像203在与内容图像200中的头部旋转相同的方向上被旋转例如大于头部的旋转角度的180度。在该情况下，对象201在旋转之后存在于视场图像203的外部，并且用户不能在视觉上识别对象201。然而，对象202在旋转之后存在于视场图像203中，并且用户可以在视觉上识别对象202。
然而，如图17所示，在视场图像仅移动与头部的旋转量相等或超过头部的旋转量的情况下，可能会使用户感到例如不适或不舒服。因此，在用户装置20中，仅在用户采取可以被认为是用户强烈愿意大大地移动视场的动作的情况下或者在用户不太可能注意到视场的大移动的条件下，视场图像才可以以超过头部的旋转量旋转和移动。
<根据视线的移动的视场图像的移动>
当在不旋转头部的情况下仅移动视线时，用户装置20可以移动视场图像，从而移动用户的视场。
图18和图19是示出用户的视线的移动与视场图像的移动之间的关系的图。
图18的A是通过在平面上展开内容图像而获得的整个图像190的示例，并且整个图像190上的范围191指示作为要在显示装置22的显示单元73上显示的视场图像192(图18的B)切割出的范围。图18的B是视场图像192的显示示例，并且X标记指示用户在视场图像192上的视线位置195。在图18的B的情况下，视线位置195被定位在视场图像192的较低中心处。
图19的A指示用户视线的移动。在图19的A中，将用户的视线位置195移动到视场图像192的左边缘的较低侧。图19的B示出了根据视线的移动在视场图像的移动之后即在图19的A中示出的视线的移动之后作为视场图像切割出的范围。
如图19的A所示，在用户移动视线使得视线位置195接近视场图像的边缘的情况下，可以认为是用户愿意看到当前视场图像的范围191外部。因此，视场图像确定单元53响应于视线位置195接近视场图像的边缘而基于视线位置195移动视场图像。即，在与视线的移动方向相同的方向上将作为视场图像切割出的范围从范围191(图17的A)移动到范围196(图18的B)。可以通过例如将视线位置195设置为视场中心来进行如上所述的基于(在移动之后的视线的)视线位置195的视场图像的移动以确定要从内容图像切割出的视场图像。
<根据视线的移动量以及头部的旋转量的视场图像的移动>
在用户迅速移动视线并且旋转头部的情况下，使用户注意到视场的大移动可能是困难的。因此，在一定时间内作为用户的视线的移动量的旋转角度以及头部的旋转量(旋转角度)等于或大于阈值的情况下，用户装置20使视场图像移动超过头部的旋转量。
然而，在头部的旋转方向与视线的移动方向不同的情况下，用户可能正在观看当前在视场图像中显示的对象，并且如果在这样的状态下视场图像的移动等于或大于头部的实际旋转，则可能会使用户感到不自然或不适。因此，在头部的旋转方向与视线的移动方向为相反方向的情况下，仅在头部的旋转与视线的移动(稍后描述的视线移动角度)之间的差在一定时间内改变超过阈值的下情况下，使视场图像的移动等于或大于头部的实际旋转。
<对视线移动角度和头部旋转角度的定义>
图20是用于描述对表示用户的视线的移动量的视线移动角度的定义的图，并且图20示出了从上方观看由显示装置22提供的用户的视场的状态。如图20所示，将从表示视场的中间的视场中间到视线移动后视线方向的角度定义为表示作为用户的视线的移动量的旋转角度的视线移动角度。此外，例如，将从视场中间到视场左边缘的角度定义为正视线移动角度，并且将从视场中间到视场右边缘的角度定义为负视线移动角度。
图21是用于描述对表示用户的头部的旋转量的头部旋转角度的定义的图，并且图21示出了从上方观看其中用户观看作为内容图像200的球面图像的状态的情况。头部旋转角度被定义使得用户的头部当前面对的由图21的A指示的预定方向为0度。此外，例如，将从预定方向到左侧的角度定义为正头部旋转角度，并且将从预定方向到右侧的角度定义为负头部旋转角度。
注意，在图21的A中，头部旋转角度为0度，并且视线移动角度为正值。在图21的B中，头部旋转角度为正值，并且视线移动角度是大于图21的A中的视线移动角度的正值。在图21的C中，头部旋转角度为正值，并且视线移动角度为负值。
<根据视线的移动量以及头部的旋转量的视场图像移动处理>
接下来，将描述根据视线的移动量以及头部的旋转量的视场图像移动处理。
图22是描述根据视线的移动量以及头部的旋转量移动视场图像的视场图像移动处理的流程图。在观看内容的同时执行视场图像移动处理。
在步骤S21中，显示装置22的头部移动检测单元72(图3)开始获取用户的头部旋转角度。将所获取的用户的头部旋转角度通知给信息处理装置21的视场图像确定单元53(图2)。在步骤S22中，显示装置22的视线检测单元71检测用户的视线，并且开始获取视线位置195(图18)以及用户的视线移动角度。视线位置195和视线移动角度被通知给信息处理装置21的视场图像确定单元53。
在步骤S23中，视场图像确定单元53基于来自视线检测单元71的通知确定用户的视线是否已经接近视场图像的边缘，并且在确定用户的视线已经接近视场图像的边缘时使处理行进到步骤S24。在步骤S24中，视场图像确定单元53在与视线的移动方向相同的方向上从内容图像中的当前位置移动视场图像。因此，在显示单元73上显示的视场图像在视线方向上移动。
注意，在步骤S23中视场图像确定单元53未确定用户的视线已经接近视场图像的边缘的情况下，跳过步骤S24，并且处理进入步骤S25。
在步骤S25中，视场图像确定单元53确定在一定时间内用户的头部旋转角度与视线移动角度的组合角度是否等于或大于阈值。在视场图像确定单元53确定在一定时间内用户的头部旋转角度与视线移动角度的组合角度等于或大于阈值的情况下，即，例如，在用户的头部和视线在相同方向上以等于或大于一定速度移动的情况下，或者在尽管用户的头部和视线在相反方向上移动、但用户的头部的移动(旋转)以及视线的移动(旋转)中的一个足够大于另一个的情况下，处理进入步骤S26。在步骤S26中，视场图像确定单元53使视场图像从内容图像中的当前位置移动(旋转)超过头部旋转角度。注意，可以使用任意方法来计算在使视场图像移动超过头部旋转角度时视场图像的移动量(旋转角度)。然后，处理返回到步骤S23，并且重复随后的处理。
另一方面，当在步骤S25中视场图像确定单元53确定在一定时间内用户的头部旋转角度和视线移动角度的组合角度小于阈值的情况下，处理进入步骤S27。在步骤S27中，视场图像确定单元53根据头部旋转角度从内容图像中的当前位置移动视场图像。然后，处理返回到步骤S23，并且重复随后的处理。
根据上述的视场图像移动处理，在用户将视线移动到视场图像的边缘的情况下，可以假定用户愿意观看当前视场图像(视场图像中的场景)的外部(场景外部)。因此，在用户移动视线的方向上移动视场图像。
此外，在一定时间内用户的头部旋转角度和视线移动角度的组合角度等于或大于阈值的情况下，使用户注意到视场的大的移动可能是困难的。因此，使视场图像移动超过头部旋转角度。因此，用户可以例如在不旋转身体的情况下以某种程度旋转头部以将视场移动到正后方。因此，在观看内容时可以容易地移动视场，而不会增加体力负荷。
<8.对要显示的化身的选择>
在多个用户观看相同内容时内容是自由视点图像的情况下，每个用户可以任意改变用户的视点。因此，另一用户(另一用户的视点)可以存在于用户的视场(由用户观看的视场图像)中。在这样的情况下，可以在视场图像(视场图像中的内容空间)中的另一用户的位置(另一用户的视点)处显示(叠加)作为另一用户的模型的角色例如化身。化身可以是图画或照片。另外，化身可以二维地显示或者三维地显示。
在视场图像上显示另一用户的化身可以预期用户可以更顺畅地通信的有利效果。
然而，如果在视场图像中存在多个其他用户，并且显示了与多个其他用户对应的所有化身，则可能存在麻烦，例如，视场图像被其他用户的化身(与其他用户对应的化身)占据，或者寻找通信伙伴(化身)变得困难。
因此，在显示化身的情况下，可以实现对要在视场图像上显示的化身进行选择的机制。
在本实施方式的用户装置20中，信息处理装置21的显示控制单元60(图2)选择要在视场图像上显示(叠加)的化身。
图23是用于描述在显示控制单元60中选择要在视场图像上显示的化身的方法的平面图。图23示出了在多个用户观看具有相同自由视点图像的内容的情况下从上方观看内容空间301的情况。
内容空间301包括与用户A对应的化身311A、与用户B对应的化身311B、与用户C对应的化身311C、以及与用户D对应的化身311D。图23示出了在用户A的视场图像中的范围312A、在用户B的视场图像中的范围312B、在用户C的视场图像中的范围312C、以及在用户D的视场图像中的范围312D。
用户装置20的信息处理装置21的显示控制单元60可以按照与用户观看相同事物的可能性的降序(即，例如，按照视场图像中的范围的交叠区域(这里，为在图23的平面图中观看的区域)的降序)设置存在于用户的视场图像的其他用户(化身)之中的其他用户(其他用户的化身)的优先级，并且根据优先级显示其他用户的化身。
例如，由用户A使用的用户装置20的信息处理装置21的显示控制单元60指定存在于用户A的视场图像中的范围312A中的其他用户(在图23的情况下为用户B、C和D)，并且检测用户A的视场图像中的范围312A与其他用户的视场图像中的范围的交叠区域。具体地，显示控制单元60检测以下中的每一个的区域：范围312A与用户B的视场图像中的范围312B的交叠范围315AB、范围312A与用户C的视场图像中的范围312C的交叠范围315AC、以及范围312A与用户D的视场图像中的范围312D的交叠范围315AD。
在图23的情况下，交叠范围315AD的面积最大，其次是交叠范围315AB和交叠范围315AC。因此，按照用户D、用户B和用户C的顺序来确定显示化身的优先级。此外，根据在用户A的视场图像中显示的其他用户的化身的数目基于优先级来显示化身。注意，在视场图像中显示的其他用户的化身的数目是预先确定的，并且用户可以改变化身的数目。
图24是与图23中示出的状态对应的图，该图示出了在由用户A使用的用户装置20的显示装置22上显示的用户A的视场图像以及与在该视场图像中显示的其他用户对应的化身的显示示例。这里，图24对应于在视场图像中显示的其他用户的化身的数目为1的情况。
如图24所示，用实线指示的与用户D对应的化身311D被叠加并显示在用户A的视场图像321A上。注意，不显示用虚线指示的与用户B对应的化身311B以及与用户C对应的化身311。然而，在视场图像中显示的其他用户的化身的数目为2的情况下，显示化身311D和化身311B。在视场图像中显示的其他用户的化身的数目为3或更大的情况下，显示化身311D、311B和311C。
注意，这里，根据用户A的视场图像中的范围与另一用户的视场图像中的范围的交叠区域来设置要在用户A的视场图像中显示的化身的优先级。因此，具有接近于用户A的视场图像(视场图像中的范围)的视场的另一用户的化身趋向于在用户A的视场图像中优先显示。
除了如上所述根据另一用户的视场与用户A的视场图像的接近度来设置在用户A的视场图像中显示化身的优先级以外，还可以根据用户A的视场图像(视场图像中的范围)与另一用户的视场之间的位置关系来设置优先级。以此方式，可以根据用户A的视场图像与另一用户的视场之间的位置关系来控制是否在用户A的视场图像上显示(叠加)另一用户的化身。
<化身显示处理>
接下来，图25是描述如上所述的设置化身的优先级来显示化身的化身显示处理的流程图。
在步骤S31中，显示控制单元60读取在视场信息保持单元55中保持的用户的视场信息以及其他用户的视场信息。在步骤S32中，显示控制单元60参考用户和其他用户的视场信息来确定用户的视场图像(即根据用户的视场信息确定的用户的视场图像(视场图像中的范围))是否包括大于预定数目的其他用户(其他用户的视点)。预定数目与在用户的视场图像中显示的其他用户的化身的预设数目对应。
在步骤S32中，处理在显示控制单元60确定用户的视场图像包括大于预定数目的其他用户(其他用户的视点)的情况下进入步骤S33。在步骤S33中，显示控制单元60参考用户和其他用户的视场信息，按照视场(视场图像中的范围)与用户的视场图像(视场图像中的范围)交叠的范围的大小的降序来设置其他用户的化身的优先级。
在步骤S34中，显示控制单元60根据设置的优先级确定要在用户的视场图像中显示的预定数目的其他用户的化身(与其他用户对应的化身)，并且将确定的其他用户的化身叠加在视场图像上。以此方式，预定数目的化身被叠加并显示在显示单元73上显示的视场图像上。
另一方面，在步骤S32中显示控制单元60确定用户的视场图像不包括大于预定数目的其他用户(其他用户的视点)的情况下，存在于用户的视场图像中的所有用户的化身将被显示，并且处理进入步骤S35。
在步骤S35中，显示控制单元60确定存在于用户的视场图像中的所有其他用户的化身均为要在视场图像中显示的化身，并且将确定的其他用户的化身叠加在视场图像上。以此方式，等于或小于预定数目的化身被叠加并显示在在显示单元73上显示的视场图像上。
根据上述化身显示处理，用户仅能够看到被认为正在观看相同或相似视场图像的其他化身，并且用户不能看到其它化身。这可以抑制通信中的问题例如与对应于可以被观看的化身的其他用户的误通信的发生。这还可以抑制用户的视场被化身占据的情况。
另外，用户能够任意地设置关于与其他用户对应的化身的显示的优先级。另外，可以根据通信历史来设置优先级，例如，消息交换的次数越多，优先级越高。此外，基于这些各种标准来设置的优先级能够被切换。
此外，在内容是随时间变化的内容的情况下，不仅可以通过考虑视场图像(视场图像中的范围)的交叠范围的面积来设置优先级，还可以通过考虑视场图像的交叠时间来设置优先级。
注意，化身显示处理还可以应用于显示用户的图标(与用户对应的图标)、用户的实景图像、表示用户的字符(串)(字符的图像)或者表示用户的其他用户图像而不显示化身的情况。
此外，可以首先显示图标，并且可以根据用户之间的关系的紧密度或者通信的程度，将显示变为显示仅化身的轮廓、化身的单色显示、化身的全彩显示等。
另外，还可以在显示图标或化身之前在用户之间执行相互认证。
注意，对于自由视点图像和球面图像中的任何一个的内容，还可以使用各种方法来控制是否在用户的视场图像上显示(叠加)其他用户的诸如化身的用户图像。
例如，可以在用户的视场图像中接近用户的视场图像中的用户的位置处显示具有接近于用户的视场的其他用户即具有相似视场图像的其他用户的化身。
另外，可以根据由用户和其他用户观看的相同内容的寻找位置(再现内容的时间位置)的接近度、在内容是3D游戏等的自由视点图像的情况下用户与其他用户的视点的接近度、用户与其他用户之间的过去对话的历史、SNS中关系的接近度等，在用户的视场图像上优先显示可能与用户相处的其他用户的化身。
此外，对于每个用户的化身，可以与化身一起显示关于用户的用户信息，例如，用户的对话(文本聊天)的内容以及用户的昵称。在可以在用户的视场图像上显示其他用户的化身的情况下，可以根据用户与其他用户之间的关系等来限制关于要在用户的视场图像中显示的其他用户的化身的显示。
例如，在其他用户的化身(化身的位置)在用户的视场中、但是用户的化身不在其他用户的视场中的情况下，与其他用户的化身有关的显示的细节(即，例如，其他用户的化身的脖子的角度以及表情、对话的文本等)可能不在用户的视场图像中显示，而简单的化身(即，例如，仅化身的剪影(外部形式))可以被显示。此外，可以在用户和其他用户的每一个的视场图像中显示用于请求通信许可的对话框，并且在用户和其他用户中的每一个允许通信的情况下，可以在视场图像中显示与伙伴的化身有关的显示。该情况可以防止用户窥视其他用户的通信。注意，另外，在用户和其他用户中的每一个允许通信之前，可以显示仅伙伴的图标，并且在用户和其他用户中的每一个允许通信的情况下，可以显示伙伴的化身或者实况的剪影。
此外，在用户的视场图像中显示其他用户的化身的情况下，可以采用3D图像等作为其他用户的化身。可以显示视场图像，使得视场图像根据用户的脖子或身体的移动来到其他用户的化身周围，并且这允许用户感觉到其他用户的存在是真实的。
此外，在具有接近于用户的视场图像的其他用户即具有相似视场图像的其他用户的化身被显示在用户的视场图像中时，当其他用户转动脖子以在用户的视场图像中离开时，其他用户的化身可以被移动到用户的视场图像中远离用户的位置，或者具有接近于用户的视场的又一用户(与其他用户不同的用户)的化身可以代替其他用户的化身被显示在用户的视场图像中。
另外，可以根据用户与其他用户之间的关系来改变与要在用户的视场图像中显示的其他用户的化身有关的显示。例如，与其他用户的化身有关的显示的部分信息(较少信息)可以被显示在曾经与其他用户交谈并且将其他用户注册为朋友的用户的视场图像中。与其他用户的化身有关的所有显示(更多信息)可以被显示在与其他用户交谈的用户的视场图像中。
此外，在用户可以执行放大或缩小操作以调整在显示装置22上显示的图像的视角(图像中的场景的范围)的情况下，还可以考虑在用户的显示装置22上显示的图像的视角与在其他用户的显示装置22上显示的图像的视角是否相似，设置在用户的视场图像中显示其他用户的化身的优先级。
此外，在内容包括由多个球面摄像机拍摄的多个球面图像的情况下，还可以考虑用户和其他用户是正在观看由同一球面摄像机拍摄的球面图像、或者是用户和其他用户正在观看由不同球面摄像机拍摄的球面图像，设置在用户的视场图像中显示其他用户的化身的优先级。
此外，在内容是自由视点图像的情况下，可以根据例如用户和其他用户的脖子的角度、相同物质(对象)是否存在于用户和其他用户的视场图像中等来确定用户和其他用户的视场的接近度。可以通过例如用户和其他用户的位置(视点)与用户和其他用户的视场图像的视角的组合来确定相同物质是否存在于用户和其他用户的视场图像中。
此外，关于化身的显示，可以在用户的视场图像中提供显示其他特定用户的化身的模式以及优先显示过去与用户交谈过的其他用户的化身的模式，并且可以根据用户的操作将显示化身的模式切换为该模式。
以此方式，可以显示化身以允许大量未指定用户观看相同内容中的相同或相似场景以相互连接，并且可以使对话顺畅进行。此外，可以根据视场的接近度、通信的许可等针对化身(其他用户)设置优先级，并且可以根据优先级显示化身。这可以防止妨碍观看内容的大量化身覆盖整个视场图像。
<9.由软件执行的一系列处理>
一系列处理可以由硬件执行或者可以由软件执行。在一系列处理由软件执行的情况下，软件中包括的程序被安装在计算机上。这里，计算机的示例包括可以通过安装各种程序来执行各种功能的被结合在专用硬件中的计算机以及通用个人计算机等。
图26是示出使用程序来执行一系列处理的计算机的硬件的配置示例的框图。
在计算机500中，CPU(中央处理单元)501、ROM(只读存储器)502和RAM(随机存取存储器)503通过总线504相互连接。
输入/输出接口505也连接到总线504。输入单元506、输出单元507、存储单元508、通信单元509和驱动器510连接到输入/输出接口505。
输入单元506包括键盘、鼠标、麦克风等。输出单元507包括显示器、扬声器等。存储单元508包括硬盘、非易失性存储器等。通信单元509包括网络接口等。驱动器510驱动可移除介质511，例如磁盘、光盘、磁光盘和半导体存储器。
在以此方式配置的计算机中，CPU 501例如通过输入/输出接口205和总线204将在存储单元208中存储的程序加载到RAM 203上，并且执行该程序以执行一系列处理。
可以通过例如将程序记录在作为封装介质等的可移除介质511中来提供由计算机(CPU 501)执行的程序。另外，可以通过诸如局域网、互联网和数字卫星广播的有线或无线传输介质来提供程序。
在计算机500中，可以将可移除介质511安装在驱动器510上，以通过输入/输出接口505将程序安装在存储单元508上。另外，通信单元509可以通过有线或无线传输介质来接收程序以将程序安装在存储单元508上。此外，可以预先将程序安装在ROM 502或存储单元508上。
注意，由计算机500执行的程序可以是以本说明书中描述的时间顺序执行处理的程序，或者程序可以是用于并行执行处理或用于在必要的时间例如在调用处理时执行处理的程序。
注意，本说明书中描述的有益效果仅是说明性的，并且有益效果不限于此。也可以有其他有利效果。
本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的范围的情况下进行各种变化。
<1>
一种信息处理装置，包括：
内容获取单元，其被配置成获取内容的数据；
图像切割单元，其被配置成从基于所述内容的数据的内容图像切割出与第一用户的视场对应的第一视场图像；
视场信息获取单元，其被配置成获取表示观看所述内容图像的第二用户的视场的视场信息；以及
显示控制单元，其被配置成控制显示装置以显示所述第一视场图像，并且被配置成控制所述显示装置以基于所述第二用户的视场信息来显示所述第二用户的视场。
<2>
根据<1>所述的信息处理装置，其中，
所述显示控制单元被配置成控制所述显示装置以基于所述第二用户的视场信息来显示指示所述第二用户的视场的位置的视场位置指示图像。
<3>
根据<2>所述的信息处理装置，其中，
所述视场位置指示图像包括广域图像，所述广域图像包括所述第一视场图像以及与所述第二用户的视场对应的第二视场图像。
<4>
根据<3>所述的信息处理装置，其中，
所述显示控制单元被配置成控制所述显示装置以响应于预定触发来切换所述第一视场图像和所述广域图像。
<5>
根据<4>所述的信息处理装置，其中，
所述预定触发包括由所述第一用户进行的键操作、语音命令、头部的移动或姿势操作中的至少之一。
<6>
根据<3>至<5>中的任一项所述的信息处理装置，其中，
所述广域图像包括等距柱状投影、墨卡托投影、鸟瞰图、俯瞰图或二维地图中的至少之一。
<7>
根据<2>至<6>中的任一项所述的信息处理装置，其中，
所述视场位置指示图像包括在所述第一视场图像上叠加的符号图像，所述符号图像指示所述第二用户的视场的位置。
<8>
根据<1>至<7>中的任一项所述的信息处理装置，还包括：
视场图像确定单元，其被配置成基于所述第一用户的视线的移动或者所述第一用户的头部的移动中的至少之一来确定要从所述内容图像切割出的所述第一视场图像。
<9>
根据<8>所述的信息处理装置，其中，
所述视场图像确定单元被配置成响应于所述第一用户的视线接近所述第一视场图像的边缘，基于所述第一用户的视线来移动所述第一视场图像。
<10>
根据<8>或<9>所述的信息处理装置，其中，
所述视场图像确定单元被配置成基于所述第一用户的视线的旋转角度以及所述第一用户的头部的旋转角度，使所述第一视场图像的旋转角度大于所述第一用户的头部的旋转角度。
<11>
根据<8>至<10>中的任一项所述的信息处理装置，其中，
所述视场图像确定单元被配置成基于所述第二用户的视场信息，确定与所述第一用户实质上开始观看所述内容的定时对应的所述第一用户的所述第一视场图像的初始位置。
<12>
根据<8>至<11>中的任一项所述的信息处理装置，其中，
所述显示装置包括头戴式显示器，并且
所述视场图像确定单元被配置成基于与所述头戴式显示器相关联的所述第一用户的头部的移动或者所述第一用户的视线的移动中的至少之一来确定所述第一视场图像。
<13>
根据<1>至<12>中的任一项所述的信息处理装置，其中，
所述第二用户包括多个用户，
所述显示控制单元被配置成控制所述显示装置以在所述第一视场图像上叠加与所述多个用户对应的多个用户图像中的至少之一，并且
所述显示控制单元被配置成根据所述第一视场图像与所述多个用户之中的每个用户的视场之间的位置关系，控制是否在所述第一视场图像上叠加所述多个用户图像中的每个用户图像。
<14>
根据<13>所述的信息处理装置，其中，
所述显示控制单元被配置成控制所述显示装置以在所述第一视场图像上优先叠加与所述多个用户之中具有相对接近于所述第一视场图像的视场的用户对应的用户图像。
<15>
根据<13>或<14>所述的信息处理装置，其中，
所述显示控制单元被配置成控制显示装置以根据所述第一用户与所述多个用户之间的通信历史来在所述第一视场图像上优先叠加所述多个用户图像的一部分。
<16>
根据<1>至<15>中的任一项所述的信息处理装置，其中，
所述内容图像包括球面图像或自由视点图像。
<17>
根据<1>至<16>中的任一项所述的信息处理装置，还包括：
所述显示装置。
<18>
一种信息处理方法，包括：
获取内容的数据；
从基于所述内容的数据的内容图像切割出与第一用户的视场对应的第一视场图像；
获取表示观看所述内容图像的第二用户的视场的视场信息；以及
控制显示装置以显示所述第一视场图像，并且控制所述显示装置以基于所述第二用户的所述视场信息来显示所述第二用户的视场。
<19>
一种程序，用于使计算机作为以下单元发挥作用：
内容获取单元，其被配置成获取内容的数据；
图像切割单元，其被配置成从基于所述内容的数据的内容图像切割出与第一用户的视场对应的第一视场图像；
视场信息获取单元，其被配置成获取表示观看所述内容图像的第二用户的视场的视场信息；以及
显示控制单元，其被配置成控制显示装置以显示所述第一视场图像，并且被配置成控制所述显示装置以基于所述第二用户的所述视场信息来显示所述第二用户的视场。
附图标记列表
10内容观看系统，20用户装置，21信息处理装置，22显示装置，31互联网，40服务器装置，41内容分发单元，42视场信息管理单元，43通信管理单元，51通信单元，52内容保持单元，53视场图像确定单元，54图像切割单元，55视场信息保持单元，58输入单元，59触发检测单元，60显示控制单元，71视线检测单元，72头部移动检测单元，73显示单元，74语音输入/输出单元，100整个图像，101视场范围，111视场图像，112广域图像，113视场范围显示，121视场方向指示标记，131视场方向指示线，132图标，141视场范围显示，151跟踪图像，162图标，163箭头，200内容图像，301内容空间，311化身，500计算机，501CPU

Claims (18)

1.一种信息处理装置，包括：
内容获取单元，其被配置成获取内容的数据；
图像切割单元，其被配置成从基于所述内容的数据的内容图像切割出与第一用户的视场对应的第一视场图像；
视场信息获取单元，其被配置成获取表示观看所述内容图像的第二用户的视场的视场信息；以及
显示控制单元，其被配置成控制显示装置以显示所述第一视场图像，以及基于表示所述第二用户的视场的视场信息来显示视场位置指示图像，
其中，所述视场位置指示图像包括在所述第一视场图像上叠加的符号图像，所述符号图像包括视场方向指示标记或视场方向指示线。
2.根据权利要求1所述的信息处理装置，还包括：
视场图像确定单元，其被配置成基于所述第一用户的视线的移动或者所述第一用户的头部的移动中的至少之一来确定要从所述内容图像切割出的所述第一视场图像。
3.根据权利要求2所述的信息处理装置，其中，
所述视场图像确定单元被配置成响应于所述第一用户的视线接近所述第一视场图像的边缘，基于所述第一用户的视线来移动所述第一视场图像。
4.根据权利要求2所述的信息处理装置，其中，
所述视场图像确定单元被配置成基于所述第一用户的视线的旋转角度以及所述第一用户的头部的旋转角度，使所述第一视场图像的旋转角度大于所述第一用户的头部的旋转角度。
5.根据权利要求2所述的信息处理装置，其中，
所述视场图像确定单元被配置成基于所述第二用户的视场信息，确定与所述第一用户实质上开始观看所述内容的定时对应的所述第一视场图像的初始位置。
6.根据权利要求2所述的信息处理装置，其中，
所述显示装置包括头戴式显示器，并且
所述视场图像确定单元被配置成基于与所述头戴式显示器相关联的所述第一用户的头部的移动或者所述第一用户的视线的移动中的至少之一来确定所述第一视场图像。
7.根据权利要求1所述的信息处理装置，其中，
所述第二用户包括多个用户，
所述显示控制单元被配置成控制所述显示装置以在所述第一视场图像上叠加与所述多个用户对应的多个用户图像中的至少之一，并且
所述显示控制单元被配置成根据所述第一视场图像与所述多个用户中的每个用户的视场之间的位置关系，控制是否在所述第一视场图像上叠加所述多个用户图像中的每个用户图像。
8.根据权利要求7所述的信息处理装置，其中，
所述显示控制单元被配置成控制所述显示装置以在所述第一视场图像上优先叠加与所述多个用户之中具有相对接近于所述第一视场图像的视场的用户对应的用户图像。
9.根据权利要求7所述的信息处理装置，其中，
所述显示控制单元被配置成控制所述显示装置以根据所述第一用户与所述多个用户之间的通信历史来在所述第一视场图像上优先叠加所述多个用户图像的一部分。
10.根据权利要求1所述的信息处理装置，其中，
所述内容图像包括球面图像或自由视点图像。
11.根据权利要求1所述的信息处理装置，还包括：
所述显示装置。
12.一种信息处理装置，包括：
内容获取单元，其被配置成获取内容的数据；
图像切割单元，其被配置成从基于所述内容的数据的内容图像切割出与第一用户的视场对应的第一视场图像；
视场信息获取单元，其被配置成获取表示观看所述内容图像的第二用户的视场的视场信息；以及
显示控制单元，其被配置成控制显示装置以显示所述第一视场图像，以及基于表示所述第二用户的视场的视场信息来显示视场位置指示图像，
其中，所述视场位置指示图像包括广域图像，所述广域图像包括所述第一视场图像以及与所述第二用户的视场对应的第二视场图像。
13.根据权利要求12所述的信息处理装置，其中，
所述显示控制单元被配置成控制所述显示装置以响应于预定触发来切换所述第一视场图像和所述广域图像。
14.根据权利要求13所述的信息处理装置，其中，
所述预定触发包括由所述第一用户进行的键操作、语音命令和姿势操作中的至少之一。
15.根据权利要求12所述的信息处理装置，其中，
所述广域图像包括等距柱状投影、墨卡托投影、鸟瞰图、俯瞰图或二维地图中的至少之一。
16.根据权利要求14所述的信息处理装置，其中，
所述姿势操作包括头部的移动。
17.一种信息处理方法，包括：
获取内容的数据；
从基于所述内容的数据的内容图像切割出与第一用户的视场对应的第一视场图像；
获取表示观看所述内容图像的第二用户的视场的视场信息；以及
控制显示装置以显示所述第一视场图像以及基于表示所述第二用户的视场的视场信息来显示视场位置指示图像，
其中，所述视场位置指示图像包括在所述第一视场图像上叠加的符号图像，所述符号图像包括视场方向指示标记或视场方向指示线。
18.一种其上记录有程序的计算机可读介质，当程序由计算机执行时使得所述计算机执行方法，所述方法包括：
获取内容的数据；
从基于所述内容的数据的内容图像切割出与第一用户的视场对应的第一视场图像；
获取表示观看所述内容图像的第二用户的视场的视场信息；以及
控制显示装置以显示所述第一视场图像以及基于表示所述第二用户的视场的视场信息来显示视场位置指示图像，
其中，所述视场位置指示图像包括在所述第一视场图像上叠加的符号图像，所述符号图像包括视场方向指示标记或视场方向指示线。
CN201880045231.0A 2017-07-13 2018-06-29 信息处理装置、信息处理方法及程序 Active CN110869900B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311779793.7A CN117931023A (zh) 2017-07-13 2018-06-29 信息处理装置、信息处理方法及非暂态计算机可读介质

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017137027 2017-07-13
JP2017-137027 2017-07-13
PCT/JP2018/024763 WO2019013016A1 (ja) 2017-07-13 2018-06-29 情報処理装置、情報処理方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311779793.7A Division CN117931023A (zh) 2017-07-13 2018-06-29 信息处理装置、信息处理方法及非暂态计算机可读介质

Publications (2)

Publication Number Publication Date
CN110869900A CN110869900A (zh) 2020-03-06
CN110869900B true CN110869900B (zh) 2024-01-19

Family

ID=65001256

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311779793.7A Pending CN117931023A (zh) 2017-07-13 2018-06-29 信息处理装置、信息处理方法及非暂态计算机可读介质
CN201880045231.0A Active CN110869900B (zh) 2017-07-13 2018-06-29 信息处理装置、信息处理方法及程序

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311779793.7A Pending CN117931023A (zh) 2017-07-13 2018-06-29 信息处理装置、信息处理方法及非暂态计算机可读介质

Country Status (6)

Country Link
US (4) US11094097B2 (zh)
EP (1) EP3654159A4 (zh)
JP (1) JP7127645B2 (zh)
KR (2) KR20240064020A (zh)
CN (2) CN117931023A (zh)
WO (1) WO2019013016A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11287653B2 (en) 2015-09-09 2022-03-29 Vantrix Corporation Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
JP6744271B2 (ja) * 2017-09-22 2020-08-19 Kddi株式会社 表示装置、表示プログラム、表示方法及び表示システム
JP7080164B2 (ja) * 2018-12-17 2022-06-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
JP7339740B2 (ja) * 2019-02-14 2023-09-06 キヤノン株式会社 画像表示装置、画像表示装置の制御方法及びプログラム
WO2020184021A1 (ja) * 2019-03-12 2020-09-17 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2020188721A1 (ja) * 2019-03-18 2020-09-24 マクセル株式会社 ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム
CN110324648B (zh) * 2019-07-17 2021-08-06 咪咕文化科技有限公司 直播展现方法和系统
CA3084900A1 (en) * 2019-11-29 2021-05-29 Vantrix Corporation Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
CN113138734A (zh) * 2020-01-20 2021-07-20 北京芯海视界三维科技有限公司 用于显示的方法、装置和产品
US10999527B1 (en) * 2020-02-14 2021-05-04 Gopro, Inc. Generation of enhanced panoramic visual content
US11568610B2 (en) 2020-05-12 2023-01-31 Magic Leap, Inc. Privacy preserving expression generation for augmented or virtual reality client applications
US20230237751A1 (en) * 2020-06-17 2023-07-27 Nippon Telegraph And Telephone Corporation Information processing apparatus, information processing method, and program
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
JP7466039B1 (ja) 2023-06-13 2024-04-11 Kddi株式会社 情報処理装置、情報処理方法及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105378625A (zh) * 2013-06-25 2016-03-02 微软技术许可有限责任公司 指示视野外的增强现实图像

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7673246B2 (en) * 2001-12-12 2010-03-02 Canon Kabushiki Kaisha Image information processing apparatus and method, virtual space presentation apparatus, information administration apparatus, and control methods thereof
JP4013922B2 (ja) 2004-06-14 2007-11-28 松下電工株式会社 仮想現実感生成装置および方法
US8161398B2 (en) * 2009-05-08 2012-04-17 International Business Machines Corporation Assistive group setting management in a virtual world
US8437506B2 (en) * 2010-09-07 2013-05-07 Microsoft Corporation System for fast, probabilistic skeletal tracking
JP5989373B2 (ja) 2012-03-26 2016-09-07 株式会社バンダイナムコエンターテインメント プログラム、情報記憶媒体、ゲーム装置、およびサーバシステム
US9094572B2 (en) * 2013-03-06 2015-07-28 Avaya Inc. Systems and methods to duplicate audio and visual views in a conferencing system
US20140267589A1 (en) * 2013-03-14 2014-09-18 Dai Nippon Printing Co., Ltd. Free viewpoint video display apparatus
US20150331240A1 (en) * 2014-05-15 2015-11-19 Adam G. Poulos Assisted Viewing Of Web-Based Resources
US10827230B2 (en) * 2014-07-03 2020-11-03 Sony Corporation Information processing apparatus and information processing method
JP2016045623A (ja) * 2014-08-21 2016-04-04 ソニー株式会社 情報処理装置および制御方法
GB2532243A (en) * 2014-11-13 2016-05-18 Nokia Technologies Oy An apparatus, method and computer program for using gaze tracking information
JP6543470B2 (ja) * 2015-01-19 2019-07-10 株式会社バンダイナムコエンターテインメント プログラム及びゲームシステム
CN106296796B (zh) * 2015-06-04 2019-08-13 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
EP3307407B1 (en) 2015-06-14 2020-09-09 Sony Interactive Entertainment Inc. Expanded field of view re-rendering for vr spectating
JP6646967B2 (ja) 2015-07-31 2020-02-14 キヤノン株式会社 制御装置、再生システム、補正方法、及び、コンピュータプログラム
EP3128413A1 (en) * 2015-08-04 2017-02-08 Nokia Technologies Oy Sharing mediated reality content
US10565773B1 (en) * 2019-01-15 2020-02-18 Nokia Technologies Oy Efficient light field video streaming

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105378625A (zh) * 2013-06-25 2016-03-02 微软技术许可有限责任公司 指示视野外的增强现实图像

Also Published As

Publication number Publication date
KR102662947B1 (ko) 2024-05-07
EP3654159A4 (en) 2020-07-22
US20220028142A1 (en) 2022-01-27
WO2019013016A1 (ja) 2019-01-17
CN117931023A (zh) 2024-04-26
JP7127645B2 (ja) 2022-08-30
US11861773B2 (en) 2024-01-02
US20230281897A1 (en) 2023-09-07
US20200219300A1 (en) 2020-07-09
CN110869900A (zh) 2020-03-06
JPWO2019013016A1 (ja) 2020-05-07
KR20240064020A (ko) 2024-05-10
US11094097B2 (en) 2021-08-17
US20240070947A1 (en) 2024-02-29
US11620776B2 (en) 2023-04-04
KR20200031083A (ko) 2020-03-23
EP3654159A1 (en) 2020-05-20

Similar Documents

Publication Publication Date Title
CN110869900B (zh) 信息处理装置、信息处理方法及程序
US10466777B2 (en) Private real-time communication between meeting attendees during a meeting using one or more augmented reality headsets
JP6462059B1 (ja) 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
US20190041985A1 (en) Information processing apparatus and information processing method
WO2017187708A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2022033135A (ja) サーバ、クライアント端末、制御方法、およびプログラム
US11361497B2 (en) Information processing device and information processing method
WO2017169369A1 (ja) 情報処理装置、情報処理方法、プログラム
CN113938748B (zh) 视频播放方法、装置、终端、存储介质及程序产品
US10771707B2 (en) Information processing device and information processing method
US11553009B2 (en) Information processing device, information processing method, and computer program for switching between communications performed in real space and virtual space
JP2019125215A (ja) 情報処理装置、情報処理方法、及び記録媒体
CN111415421B (zh) 虚拟物体控制方法、装置、存储介质及增强现实设备
CN113170023A (zh) 信息处理装置和方法以及程序
WO2019138682A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2019083029A (ja) 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
JPWO2019031397A1 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
WO2022269887A1 (ja) ウェアラブル端末装置、プログラムおよび画像処理方法
KR20240072170A (ko) 원격 디바이스들과의 사용자 상호작용들
CN112416123A (zh) 基于增强现实技术的精确定位寻人设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant