CN106576184B - 信息处理装置、显示装置、信息处理方法、程序和信息处理系统 - Google Patents

信息处理装置、显示装置、信息处理方法、程序和信息处理系统 Download PDF

Info

Publication number
CN106576184B
CN106576184B CN201580037646.XA CN201580037646A CN106576184B CN 106576184 B CN106576184 B CN 106576184B CN 201580037646 A CN201580037646 A CN 201580037646A CN 106576184 B CN106576184 B CN 106576184B
Authority
CN
China
Prior art keywords
display
range
content
user
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580037646.XA
Other languages
English (en)
Other versions
CN106576184A (zh
Inventor
增田徹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106576184A publication Critical patent/CN106576184A/zh
Application granted granted Critical
Publication of CN106576184B publication Critical patent/CN106576184B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Abstract

本技术涉及在将视野可以自由改变的内容的图像显示给用户时能够确定注视视野的信息处理装置、显示装置、信息处理方法、程序和信息处理系统。根据本技术的一个方面的信息处理装置接收观看历史信息。该观看历史信息包括视频内容在被观看时的视频内容的单个实例的显示范围的历史并且从显示视频内容的图像的多个显示装置发送该观看历史信息，对于该视频内容，显示范围跟随用户的移动时在整个图像的范围内切换。基于用于预定显示装置的视频内容的图像的显示范围的历史，该信息处理装置将在视频内容的预定时间间隙内的预定显示范围识别为兴趣范围。本技术可以被应用于提供由头戴式显示器(HMD)再现的内容的装置。

Description

信息处理装置、显示装置、信息处理方法、程序和信息处理 系统
技术领域
本技术涉及信息处理装置、显示装置、信息处理方法、程序和信息处理系统。具体地，本技术涉及被配置为能够在向用户呈现其中视野可以自由改变的内容的图像的情况下，能够确定所注视的视野的信息处理装置、显示装置、信息处理方法、程序和信息处理系统。
背景技术
近年来，人们已提出各种类型的技术，在这些技术中，用于头部跟踪的传感器被配备在头戴式显示器(HMD)中，使得图像的显示范围根据用户的头部的姿势被实时切换，从而给予用户好像在另一空间的体验。
例如，作为HMD的内容，使用了通过合成利用多个视频摄像机实际拍摄的图像和具有360度视角的计算机图形(CG)的图像所生成的具有360度视角的图像。实际上，用户根据设置在HMD中的显示装置的视角从整个360度视角观看图像的范围的一部分。
引用文献列表
专利文献
专利文献1：日本专利申请特开第2014-41502号
发明内容
本发明要解决的问题
例如，在观看运动赛事的图像时，在通常的电视节目的情况下，在节目创建者的一侧显示所选的播放图像，因此用户简单地观看该图像。与此形成对比的是，当视野可以自由改变时，用户需要由他/她自己来确定在哪里观看。
因此，可以认为用户有时会无法容易地判定看一些内容中的何处。
通过考虑这样的情况创造本技术，其目的是能够在其中视野可以自由改变的内容的图像被显示给用户的情况下确定注视的视野。
问题的解决方案
根据本技术的一个方面的信息处理装置包括：通信单元，接收包括每个视频内容在被观看时的显示范围(display range)的历史的观看历史信息(viewing historyinformation)，从均被配置为显示该视频内容的图像的多个显示装置发送该观看历史信息，在该视频内容中，该显示范围通过跟随用户的移动而在整个图像的范围内切换；以及识别单元，基于在预定的显示装置处的该视频内容的图像的显示范围的历史将该视频内容在预定时间段内的预定显示范围识别为注视范围(range of attention)。
根据本技术的另一方面的显示装置包括：再现单元(reproducing unit)，再现视频内容，在该视频内容中，显示范围通过跟随用户的移动而在整个图像的范围内切换；检测单元，检测在观看该视频内容时该用户的移动；显示控制单元，通过跟随该用户的移动来控制图像的该显示范围；以及通信单元，将观看历史信息发送至信息处理装置，该观看历史信息包括视频内容被观看时的显示范围的历史，该信息处理装置被配置为处理从多个显示装置发送的该观看历史信息；基于在预定的显示装置中的视频内容的图像的显示范围的历史将在视频内容的预定时间段内的视频内容的预定显示范围识别为注视范围。
本发明的效果
根据本技术，可以在其中视野可以自由改变的内容的图像被呈现给用户的情况下确定注视视野。
应注意，本文中所描述的效果不一定局限于此并且还适用于在本公开中描述的任何效果。
附图说明
[图1]示出根据本技术的实施例的内容发送系统的示例性配置的示意图。
[图2]示出自由视点内容的示例性成像空间的平面图。
[图3]示出图像的示例性视角的示意图。
[图4]示出图像的另一示例性视角的示意图。
[图5]示出示例性拍摄图像的示意图。
[图6]示出示例性视野的示意图。
[图7]示出内容管理服务器的示例性配置的框图。
[图8]示出内容管理服务器的示例性功能配置的框图。
[图9]示出示例性观看历史信息的示意图。
[图10]示出示例性内容信息的示意图。
[图11]示出HMD的示例性配置的框图。
[图12]示出控制单元的示例性功能配置的框图。
[图13]用于说明客户端终端的内容再现处理的流程图。
[图14]用于说明内容管理服务器的记录处理的流程图。
[图15]用于说明内容管理服务器的最多视野信息生成处理的流程图。
[图16]示出在视野之间的叠加的示例的示意图。
[图17]用于说明内容管理服务器的基于特征点的最多视野信息生成处理的流程图。
[图18]用于说明内容管理服务器的突出内容发送处理的流程图。
[图19]示出在视野之间的重叠数的最大值的时间序列的示意图。
[图20]用于说明内容管理服务器的其它突出内容发送处理的流程图。
[图21]用于说明客户端终端的突出内容再现处理的流程图。
[图22]用于说明客户端终端的其它突出内容再现处理的流程图。
[图23]示出突出点的示例性呈现的示意图。
[图24]用于说明客户端终端的内容再现处理的流程图。
[图25]用于说明内容管理服务器的突出点呈现处理的流程图。
[图26]用于说明在图25中的步骤S232执行的第一突出点识别处理的流程图。
[图27]用于说明在图25中的步骤S232执行的第二突出点识别处理的流程图。
[图28]用于说明在图25中的步骤S232执行的第三突出点识别处理的流程图。
[图29]用于说明在图25中的步骤S232执行的第四突出点识别处理的流程图。
[图30]用于说明在图25中的步骤S232执行的第五突出点识别处理的流程图。
[图31]示出示例性HMD的示意图。
具体实施方式
在下文中将描述用于执行本技术的模式。该描述将按以下次序进行。
1.第一实施例(发送突出内容(highlight content)的示例)
2.第二实施例(呈现突出点(highlight point)的示例)
<<第一实施例>>
<内容发送系统的配置>
图1示出根据本技术的实施例的内容发送系统的示例性配置的示意图。
图1中的内容发送系统由内容管理服务器(content management server)1、HMD2-1至2-3、便携式终端3和电视接收器4构成。HMD 2-1至2-3中的每一个、便携式终端3和电视接收器4通过诸如互联网的网络11被连接到内容管理服务器1。
在没有必要彼此区分HMD 2-1至2-3、便携式终端3和电视接收器4时，这些部件根据需要被统一称为客户端终端。虽然图1示出五个客户端终端，但是更多的终端被连接到网络11。
内容管理服务器1管理多个视频内容项并发送由客户端终端的用户所选择的视频内容。由内容管理服务器1所发送的视频内容为在水平方向和垂直方向的至少一个中具有360度的视角并且包括在多个位置处拍摄的图像的内容。
在收到从内容管理服务器1发送的视频内容时，例如HMD 2-1的用户可以在改变视野时从所选的视点选择观看图像的视点。由内容管理服务器1所发送的视频内容为视点可以被改变的所谓的自由视点内容。
诸如加速度传感器和陀螺仪传感器的用于头部跟踪的传感器被配备在HMD 2-1至2-3中的每一个中。HMD 2-1至2-3中的每一个检测佩戴HMD 2-1至2-3中的每一个的用户的头部的姿势以根据从头部的姿势估算的视线的方向来切换图像的显示范围。因此，用户从整个360度视角观看位于用户转动他/她的脸的方向中的图像的范围的某一部分。
在这里，“视点(viewpoint)”用作用户观看对象的立脚点。同时，“视野(visualfield)”为用户在观看的范围并对应于在显示器上显示的图像的范围(显示范围)。“视线(line of sight)”为用户的视野的方向并对应于在成像空间内的预定方向被假设为参考时的图像的显示范围的方向。
在下文中，将描述由内容管理服务器1所发送的自由视点内容的图像被假设为多个歌手在其中演唱的音乐会的图像的情况。各种类型的自由视点内容可以被配置为从内容管理服务器1发送，其包括戏剧的图像、运动图像、旅游网站的图像或CG图像。
图2为示出用作自由视点内容的成像空间的示例性演唱会会场的平面图。
舞台#1被设置在演唱会会场中并且观众层#2被设置在舞台#1的前面(图2中的下面)。具体地，三个歌手，人H1、H2和H3在舞台#1上。此外，假设观众层#2坐了很多观众。在演唱会会场中的整个场景被视为对象。
位置P1至P3表示图像拍摄位置。能够在水平方向和垂直方向中的至少一个中的360度视角拍摄图像的摄像机被安装在位置P1至P3中的每个位置处。具有彼此不同的图像拍摄范围的多个摄像机可被配置为安装在相应的图像拍摄位置，使得由这些多个摄像机拍摄的图像被组合以生成位置P1至P3用作图像拍摄位置的具有360度视角的图像。
轮廓箭头A1至A3表示分别在位置P1至P3的位置的参考方向。在图2的示例中，舞台#1的方向被假设为参考方向。
图3为示出在位置P1至P3中的每一个拍摄的图像的示例性视角的示意图。
例如，在广角镜头向右上转动以在位置P1至P3中的每一个处拍摄图像时，如图3所示，在具有半天球形状(half celestial sphere shape)的范围内拍摄图像，其中，由单点连线(one-dot chain line)表示的光轴L1与顶点在该半天球形状中彼此相交。图3中的视角被视为在水平方向的360度和在垂直方向的180度的视角。
如图4所示，在具有在水平方向和垂直方向两者获得360度视角的整个天球形状的范围内的图像可被配置为在位置P1至P3中的每一个被拍摄。在这里，在利用等距圆柱投影通过经度和纬度表示时，在具有整个天球形状的范围内的图像有时候被表示为在水平方向的360度和在垂直方向的180度。然而，为了区分这个范围与具有图3中的半天球形状的范围，在此情况下的视角被描述为在水平方向和在垂直方向两者的360度。
在下文中，为了便于描述，将描述在位置P1至P3中的每一个拍摄的图像被视为在具有如图3所示的半天球形状的范围内的图像的情况。
图5的A至C示出分别在位置P1至P3处拍摄的示例性图像的示意图。
图5的A至C中的半天球的每一个表示在位置P1至P3中的每一个处拍摄的视频的一个框(frame)的整个图像。
如图5的A所示，在位置P1拍摄视频，其中，人H1的大图像位于由轮廓箭头A1指示的舞台#1的方向并且小于人H1的图像的人H2的图像位于人H1的右侧。自然地，人H3的更小的静态图像位于人H2的右侧。面向舞台#1的方向的观众的图像位于舞台#1的相反方向。
如图5的B所示，在位置P2拍摄视频，其中，人H3的大图像位于由轮廓箭头A2指示的舞台#1的方向，以及小于人H3的图像的人H2的图像位于人H3的左侧。自然地，人H1的更小静态图像位于人H2的左侧。面向舞台#1的方向的观众的图像位于舞台#1的相反方向。
如图5的C所示，在位置P3拍摄视频，其中，整个舞台#1的图像位于由轮廓箭头A3所指示的深度方向，以及面向舞台#1的观众的背面图像位于舞台#1前面。
图6为示出在位置P1的示例性视野的示意图。
由图6中的球面上的虚线指示的框(frame)F1的范围表示例如HMD2-1的范围，即HMD 2-1的用户的视野。在由框F1指示的范围内的图片从在HMD 2-1的每个框分割以便被显示为视频。
在用户如箭头所指示移动他/她的头部时，框F1的位置被移位，并因此，在HMD 2-1的显示器上显示的范围也被切换。应指出，表示视野的范围的框的形状和大小根据包含在每个客户端终端中的长宽比和显示器的视角被改变。
在这里，用户的视野通过成像空间中的位置P1的位置(坐标)、框F1相对于参考方向的方向和框F1的视角来识别。因此，内容管理服务器1基于由用户所选的视点的位置、在再现自由视点内容时由HMD 2-1检测到的视线的方向和包含在HMD 2-1中的显示器的视角来识别用户的视野是可能的。
应指出，虽然在这里的描述中，视点的数量假设为三个，但是视点的数量可为一个或另选可为四个或四个以上。从一个视点或多个视点拍摄的图像的视频流包含在由内容管理服务器1所发送的自由视点内容中。待在客户端终端再现的视频流根据用户所选的视点切换。视点被视为能够在视频流从某一视点被再现时切换。
此外，通过合成从多个位置拍摄的图像所生成的完整自由视点内容可被用于从内容管理服务器1发送。完整自由视点内容为在成像空间内的任意位置可以被选择为视点的内容。
返回图1的描述，HMD 2-1至2-3接收从内容管理服务器1发送的自由视点内容。例如，从内容管理服务器1发送的自由视点内容包含提供实时音乐会图像的内容。而且，HMD2-1至2-3的用户可以观看与在音乐会会场中的观众观看的实况大体相同的实况。
HMD 2-1至2-3中的每一个再现自由视点内容并显示由用户在内置显示器中选择的视点的图像。HMD 2-1至2-3中的每一个为所谓的沉浸式HMD并在佩戴其主体的用户的眼前投影图像的位置设置有显示器。
HMD 2-1至2-3中的每一个检测在自由视点内容被再现时的用户的头部的姿势以根据头部的姿势切换图像的显示范围。
例如，如参考图6所述，在用户向右转动他/她的脸时，HMD 2-1至2-3中的每一个在保持视点的位置不动时将图像的显示范围的位置向右方向移位，在用户向左转动他/她的脸时，在保持视点的位置不动时将图像的显示范围的位置向左方向移位。同样，在用户向上转动他/她的脸时，HMD2-1至2-3中的每一个在保持视点的位置不动时将图像的显示范围的位置向上方向位移，在用户向下转动他/她的脸时，在保持视点的位置不动时将图像的显示范围的位置向下方向位移。例如，在用户向右倾斜他/她的头部时，HMD 2-1至2-3中的每一个在保持视点的位置和视线的方向不动时向右转动图像的显示范围，并且在用户向左倾斜他/她的头部时，在保持视点的位置和视线的方向不动时向左转动图像的显示范围。
在图1的示例中，假设HMD 2-1至2-3的用户分别观看图像V1至V3，则视野中的图像彼此不同。
此外，在自由视点内容被再现时，HMD 2-1至2-3向内容管理服务器1循环发送视野信息，具体地，关于在每个时间点的用户的视野的信息。视野信息可被配置为在预定时间发送，例如在完成自由视点内容的再现之后。
同样，便携式终端3也接收从内容管理服务器1发送的自由视点内容以再现并显示由用户在设置在其机壳表面上的显示器上选择的视点的图像。
另外，便携式终端3检测在自由视点内容被再现时的便携式终端3的机壳的姿势以根据所检测到的姿势切换图像的显示范围。便携式终端3的用户移动他/她的携带便携式终端3的手以改变机壳的姿势，从而能够显示他/她希望观看的图像。
而且，在便携式终端3用作智能电话或平板终端的情况下，传感器诸如用于检测该便携式终端的姿势的陀螺仪传感器和加速度传感器被配备在该便携式终端中。图像的显示范围可被配置为通过检测设置在显示器顶部上的触摸屏的触摸操作，根据该触摸操作来切换。
在自由视点内容被再现时，便携式终端3向内容管理服务器1发送视野信息。
如上所述，在图1的内容发送系统中，自由视点内容以每个客户端终端的用户更喜欢的视野中的图像被显示的方式再现。在内容管理服务器1中，指示在每个客户端终端的用户已观看图像时什么视野已被使用的信息被管理。
基于从多个客户端终端发送的视野信息，内容管理服务器1自由视点内容中的注视时间段并与此同时识别注视视野。
例如，内容管理服务器1发现在每个时间点的基于视野的视野之间叠加的数量，并将具有重叠数的最大值的时间段识别为注视时间段。
在如上所述的音乐会的图像在相应的客户端终端再现时，人H1至H3出现在舞台#1上的时间段标记由于相应的用户观看彼此类似的范围在视野之间增加的重叠数。同时，在人H1至H3出现之后，相应用户的视野被分开到相应用户最喜欢的人。例如，在存在1000个用户之中有5000个或更多的用户以叠加的方式观看的范围时，具有此范围的时间段被识别为注视时间段。
此外，内容管理服务器1将在注视时间段内具有最大的视野之间的重叠数的视野识别为注视视野。在内容管理服务器1中，由最大数量的用户观看的视野基于许多用户注意到相同范围的时间段内的单位时间进行识别。
内容管理服务器1连接整个自由视点内容之中在所识别的注视时间段内的所识别的注视视野内的图像，从而生成突出内容(highlight content)。在例如电视接收器4的用户请求发送某些自由视点内容的突出内容时，内容管理服务器1向电视接收器4发送所生成的突出内容。
电视接收器4接收待再现的突出内容并在显示器上显示突出内容的图像。因此，电视接收器4的用户观看在许多其他用户已注意到相同范围的时间段内已由最大数量的其他用户观看的视野中的图像。
与HMD 2-1至2-3和用作能够根据其主体的姿势切换视野的装置的便携式终端3相比，在这里，将电视接收器4假设为不能切换视野的装置。
如上所述，内容管理服务器1能够基于已观看自由视点内容的多个用户的视野的历史来确定该自由视点内容的注视时间段和注视视野。自由视点内容的创建者再现突出内容而无需他/她自己执行编辑操作是可能的。
在观看自由视点内容时，因为视点和视野可以被改变到任意位置，用户有时犹豫决定在哪里注意观看。在提供突出内容的情况下，用户可以通过使用类似于许多其他用户的视点和视野来观看图像并因此不再犹豫决定观看的方式。
此外，突出内容可被配置为被发送到HMD 2-1至2-3或便携式终端3，使得通过使用HMD 2-1至2-3或便携式终端3观看该突出内容。
后面将描述用于生成上述突出内容的相应装置的一系列处理。
<相应装置的配置>
·内容管理服务器的配置
图7为示出内容管理服务器1的示例性配置的框图。
中央处理单元(CPU)21、只读存储器(ROM)22和随机存取存储器(RAM)23经由总线24彼此互连。
另外，输入/输出接口25被连接到总线24。显示器26和输入单元27被连接到输入/输出接口25。输入单元27的示例包含由内容管理服务器1的管理员所使用的键盘和鼠标。
同时，由硬盘、非易失性存储器等构成的记录单元28和用作网络接口的通信单元29被连接到输入/输出接口25，其中，该通信单元被配置为通过网络11与其它装置通信。被配置为驱动可移除介质31的驱动器30也被连接到输入/输出接口25。
图8为示出内容管理服务器1的示例性功能配置的框图。
如图8所示的功能单元的至少一部分由执行预定程序的CPU 21实现。如图8所示，通信控制单元41、观看历史信息记录单元42、内容信息记录单元43、突出点识别单元44、发送图像生成单元45和内容记录单元46在内容管理服务器1中实现。观看历史信息记录单元42、内容信息记录单元43和内容记录单元46在记录单元28中实现。
通信控制单元41控制通信单元29与客户端终端的通信。通信控制单元41接收从客户端终端发送的视野信息并促使观看历史信息记录单元42记录该视野信息。此外，通信控制单元41向客户端终端发送由发送图像生成单元45所生成的突出内容。
如后面将要描述的，内容管理服务器1被配置为也能够向客户端终端的用户呈现突出点。在此情况下，通信控制单元41接收例如从客户端终端发送的关于突出点所待呈现给的自由视点内容的信息并且接着向突出点识别单元44和发送图像生成单元45输出此信息。
观看历史信息记录单元42记录包含时间序列视野信息的观看历史信息，该时间序列视野信息为从通信控制单元41供应的视野信息的时间序列。关于已在相应客户端终端观看的多项自由视点内容的观看历史信息被记录在观看历史信息记录单元42中。
图9为示出示例性观看历史信息的示意图。
观看历史信息包含内容信息、观看状态信息、装置信息、时间序列视野信息和用户信息。例如，每次一旦一项自由视点内容在某一客户端终端再现，则生成包含如图9中所示的相应信息段的观看历史信息。
内容信息为关于再现自由视点内容的身份信息。内容信息包含内容ID。
观看状态信息为指示在被再现时的自由视点内容的状态的信息。观看状态信息包含指示观看时间的信息(观看开始时间点和观看接收时间点)和指示由设置在客户端终端中的定位传感器等检测到的观看地点的信息。
装置信息为指示用于再现自由视点内容的客户端终端的姿势的信息。装置信息包含指示装置类别和用作客户端终端的身份信息的装置ID的信息，该装置类别表示客户端终端，诸如HMD、智能电话或电视接收器的类别。
时间序列视野信息为指示在自由视点内容被再现时在每个时间点的视野的信息。如前所述，用户的视野由视点的位置、视线的方向和视角表示。具体地，视角可被配置为由内容管理服务器1基于从客户端终端发送的装置信息来识别。在此情况下，关于设置在每个客户端终端中的显示器的视角的信息在内容管理服务器1中准备。
用户信息为指示已观看自由视点内容的用户的属性的信息。用户信息包含用户ID和用户资料信息。用户资料信息为指示年龄、性别、爱好、专长等的信息。
如上所述，指示在自由视点内容被观看时在每个时间点的视野的信息通过使其与指示被观看的自由视点内容的信息、指示用于观看自由视点内容的客户端终端的信息和关于已观看自由视点内容的用户的信息相关联在内容管理服务器1中被管理。
此外，用户信息可被特别配置为通过使其与装置信息相关联在内容管理服务器1中被管理而不是被管理为观看历史信息的一部分。
记录在观看历史信息记录单元24中的观看历史信息被突出点识别单元44和发送图像生成单元45读取。
图8中的内容信息记录单元43记录内容信息。内容信息被准备以用于可以通过内容管理服务器1发送的自由视点内容的每一项。
图10为示出示例性内容信息的示意图。
内容信息包含基于特征点的时间序列位置信息、最多视野信息(topmost visualfield information)和基于特征点的最多视野信息。
基于特征点的时间序列位置信息为指示在每个时间点在成像空间内的每个特征点的位置和转动方向的信息。特征点的示例包含人、人的一部分诸如脸、动物和出现在图像上的标记。在自由视点内容的图像为使用球的运动的图像的情况下，甚至该球也被视为特征点。特征点的位置为相对于用作成像空间内的参考的预定位置的绝对位置，而转动方向为在成像空间内的特征点的定向，诸如脸的定向。
最多视野信息为指示在每个时间点最佳观看视野的信息。最多视野信息基于时间序列视野信息而生成。
基于特征点的最多视野信息为指示在每个时间点基于最佳观看视野的信息。例如，在图2中的人H1至H3被设置为特征点时，基于特征点的最多视野信息表示在每个时间点在人H1至H3中的每一个在观看时哪个视野最常用。基于特征点的最多视野信息基于包含特征点的视野的信息而生成。
在包含在内容信息的信息之中，基于特征点的时间序列位置信息由自由视点内容的创建者等准备。基于特征点的时间序列位置信息可被配置为通过自由视点内容的图像的分析自动生成。同时，最多视野信息和基于特征点的最多视野信息由突出点识别单元44生成。
基于记录在观看历史信息记录单元42中的观看历史信息，图8中的突出点识别单元44生成包含在内容信息中的最多视野信息和基于特征点的最多视野信息并接着使内容信息记录单元43记录这些信息段。
同时，突出点识别单元44从内容信息记录单元43读取关于有待于生成突出内容的自由视点内容的内容信息并接着基于该内容信息识别突出点。突出点表示在注视时间段期间在每个时间点的注视视野。突出点识别单元44向发送图像生成单元45输出指示被识别突出点的信息。
在突出点被呈现给客户端终端的用户的情况下，突出点识别单元44向通信控制单元41输出指示被识别突出点的信息。
发送图像生成单元45向客户端终端发送自由视点内容。例如，发送图像生成单元45从内容记录单元46读取自由视点内容以向通信控制单元41输出，并接着促使通信控制单元41向请求发送自由视点内容的客户端终端发送该自由视点内容。
发送图像生成单元45也生成突出内容。例如，发送图像生成单元45从内容记录单元46读取自由视点内容并接着一起连接突出点的图像以生成突出内容。发送图像生成单元45向通信控制单元41输出所生成的突出内容，并接着促使通信控制单元41向请求发送突出内容的客户端终端发送该突出内容。
内容记录单元46记录可以由内容管理服务器1发送的自由视点内容。
应指出，在图8中的配置中实现的相应功能也可以被配置为由多个服务器实现，其中，该相应功能由每个服务器共享实现而不是由一个服务器实现。在此情况下，设想多个服务器通过分别共享来执行由内容管理服务器1实现的处理的相应阶段。
·HMD的配置
图11为示出HMD 2-1的示例性配置的框图。
HMD 2-1由分别连接到控制单元71的通信单元72、传感器73、显示器74、操作单元75、扬声器76和存储单元77构成。HMD 2-2和2-3也具有如图11所示配置相同的配置。
控制单元71由CPU、ROM、RAM等等构成。控制单元71执行预定的程序以控制HMD 2-1的整个行为。
通信单元72以无线方式与内容管理服务器1通信。通信单元72向内容管理服务器1发送从控制单元71提供的视野信息。此外，通信单元72接收从内容管理服务器1发送的自由视点内容和突出内容以向控制单元71输出。
传感器73由全球定位系统(GPS)传感器、陀螺仪传感器、加速度传感器等等构成。传感器73检测在自由视点内容被再现时的定位、角速度和加速度并向控制单元71输出传感器数据。
显示器74由LCD、有机EL显示器等构成并根据控制单元71的控制显示自由视点内容的图像。
操作单元75由设置在HMD 2-1的机壳表面上的操作按钮等构成。操作单元75被用于选择自由视点内容、选择视点等等。
在再现自由视点内容时，扬声器76基于包含在从控制单元71提供的自由视点内容中的音频数据输出音频。
存储单元77由闪存或插在设置在机壳中的卡槽中的存储卡构成。
便携式终端3还具有如图11所示配置基本相同的配置。此外，电视接收器4也具有如图11所示配置基本相同的配置，除了未提供传感器73以外。在下面的描述中，图11中的配置根据需要被引用为便携式终端3或电视接收器4的配置。
图12为示出控制单元71的示例性配置的框图。
如图12所示的功能单元的至少一部分由执行预定程序的控制单元71的CPU实现。如图12所示，再现单元91、显示控制单元92、视野检测单元93和视野信息管理单元94在控制单元71中实现。从传感器73输出的传感器数据被输入至视野检测单元93。
再现单元91再现从内容管理服务器1发送并接着在通信单元72接收的自由视点内容。例如，再现单元91解码被包含在自由视点内容中的由用户选择的视点的图像的视频流，并接着向显示控制单元92输出通过解码获得的数据。再现单元91也再现例如从内容管理服务器1发送的突出内容。
基于从再现单元91提供的数据，显示控制单元92在显示器74上显示预定视野中的自由视点内容的图像。此外，显示控制单元92根据由视野检测单元93检测到的视野切换图像的显示范围。
基于诸如角速度和加速度的传感器数据，视野检测单元93识别在自由视点内容被再现时的用户的视野并接着向显示控制单元92和视野信息管理单元94输出关于视野的信息。
视野信息管理单元94向通信单元72输出由视野检测单元93检测到的视野信息并接着促使通信单元72向内容管理服务器1发送该视野信息。视野信息在与被再现的自由视点内容的内容ID、装置ID、用户ID等等相关联之后被发送至内容管理服务器1。
<相应装置的动作>
在这里，将描述具有上述配置的相应装置的动作。
·在突出内容发送之前的处理
首先，将参考图13中的流程图来描述在再现自由视点内容时的客户端终端的处理。虽然这里的描述假设HMD 2-1执行处理，但是类似的处理也在HMD 2-2和2-3或便携式终端3中执行。
图13中的处理在例如由HMD 2-1的用户选择的自由视点内容从内容管理服务器1被发送时开始。例如，在HMD 2-1的显示器74上显示的菜单屏幕被用于选择自由视点内容。
在步骤S1，HMD 2-1的通信单元72接收从内容管理服务器1发送的自由视点内容。自由视点内容可被配置为以流传输的方法发送，或可替换地，以下载的方法发送。自由视点内容的数据被提供给控制单元71。
在步骤S2，再现单元91根据用户的操作选择视点。例如，视点可被配置为在显示视点的列表的菜单屏幕上选择，或可替换地，在自由视点内容被观看时通过预定的操作来选择。
在步骤S3，再现单元91再现由用户选择的视点的图像的视频流。通过再现视频流获得的图像的数据被持续提供给显示控制单元92。
在步骤S4，视野检测单元93基于从传感器73提供的传感器数据检测用户的视野。指示由视野检测单元93检测到的视野的关于视点、视线的方向和视角的信息被提供给显示控制单元92和视野信息管理单元94。
在步骤S5，显示控制单元92根据由视野检测单元93检测到的视野显示图像。具体地，在可以从由用户选择的视点观看的整个图像之中，显示控制单元92根据用户的视野在显示器74上显示该图像的范围的一部分。
在步骤S6，视野管理单元94向内容管理服务器1发送指示由视野检测单元93所检测出的视野的视野信息。
在步骤S7，再现单元91判定是否完成再现。在步骤S7中判定未完成再现时，则再现单元91在步骤S8基于用户的操作来判定是否切换视点。
在步骤S8判定出视点未被切换时，处理返回到步骤S4并且重复后续处理。基于传感器数据重复检测到用户的视野，使得图像的显示范围根据视野来切换。
在步骤S8判定出视点待切换时，该处理返回到步骤S2，并且在视点被切换后重复后续处理。
同时，在步骤S7判定由于自由视点内容已被再现至结束而完成再现，再现单元91终止该处理。
上述处理在已接收所发送的自由视点内容的相应客户端终端执行。自由视点内容在相应客户端终端被观看并与此同时，指示在每个时间点的视野的信息从该客户端终端被重复发送至内容管理服务器1。
在上面的描述中，假设在自由视点内容被再现时，视野信息被重复发送。与此形成对比的是，表示在再现期间检测到的所有视野的时间序列的时间序列视野信息可被配置为在完成自由视点内容的再现之后统一发送。
接下来，将参考图14中的流程图来描述在记录观看历史信息时的内容管理服务器1的处理。
在步骤S21，内容管理服务器1的通信控制单元41接收从客户端终端发送的视野信息。
在步骤S22，观看历史信息记录单元42促使观看历史信息记录单元42自身以所接收到的视野信息被添加到关于在已发送观看信息的客户端终端观看的自由视点内容的时间序列视野信息的方式来记录此视野信息。然后，处理终止。
上述处理在视野信息每次从客户端终端发送时被执行。在包含实时图像的自由视点内容被发送的情况下，指示在每个客户端终端的实时视野的信息被记录至观看历史信息记录单元42。
接下来，将参考图15中的流程图来描述在生成最多视野信息时的内容管理服务器1的处理。
如参考图10所述，最多视野信息被包含在关于每个自由视点内容的内容信息中。例如，图15中的处理在每次视野信息通过图14中的处理来添加时被执行。
在步骤S31，突出点识别单元44从观看历史信息记录单元42读取关于待生成的最多视野信息的自由视点内容的所有用户的观看历史信息。
在步骤S32，突出点识别单元44分析已被读取的被包含在观看历史信息中的时间序列视野信息并接着识别在自由视点内容被观看时的每个时间点的相应用户的视野。
在步骤S33，突出点识别单元44基于所识别的视野发现在每个时间点在视野之间的重叠数。
图16为示出在视野之间的叠加的示例的示意图。
图16示出在来自预定视点的图像在平坦表面上显影时，在自由视点内容被再现时在预定时间点的人H1至H3和四个客户端终端的用户的视野(显示范围)。
相应的矩形框F11至F14表示客户端终端的显示范围。客户端终端的显示范围根据用户的头部的姿势被定位在彼此不同的位置并且也根据显示器的性能具有彼此不同的大小。
例如，人H1的一部分包含在框F11的左边以及人H2被包含在其右边。这种情况表示用户在用包含在框F11左侧的人H1和在其右侧的人H2的视野观看自由视点内容。
由阴影指示的区域A1为框F11至F14叠加的区域。在区域A1中的视野之间的重叠数为四。
位于区域A1上侧的横向长矩形区域A2为框F11、F12和F14叠加的区域，并因此在视野之间的重叠数为三。同时，位于区域A1右上侧的小矩形区域A3为框F12和F14叠加的区域，并因此在视野之间的重叠数为两个。类似发现区域A4至A11的视野之间的重叠数。只有具有某些叠加区域或更大叠加区域的视野可被配置为被处理为叠加视野。
返回图15的描述，在步骤S34，突出点识别单元44识别在每个时间点具有最大重叠数的视野。突出点识别单元44将至内容信息记录单元43的指示被识别视野的信息记录为关于目前被处理的自由视点内容的最多视野信息。在如图16所示的时间，视野之间的重叠数为四个的区域A1被识别为具有最大重叠数的视野并且指示区域A1的方向、大小等等的信息被记录。
接下来，将参考图17中的流程图来描述在生成基于特征点的最多视野信息时的内容管理服务器1的处理。例如，图17中的处理也在每次视野信息被添加时被执行。
在步骤S51，突出点识别单元44从观看历史信息记录单元42读取关于待生成的基于特征点的最多视野信息的自由视点内容的所有用户的观看历史信息。
在步骤S52，突出点识别单元44分析已被读取的被包含在观看历史信息中的时间序列视野信息并接着识别在自由视点内容被观看时的每个时间点的相应用户的视野。
在步骤S53，突出点识别单元44从内容信息记录单元43读取事先准备的作为关于当前自由视点内容的内容信息的基于特征点时间序列位置信息。
在步骤S54，突出点识别单元44分析基于特征点的时间序列位置信息并接着基于特征点识别该特征点是否被包含在步骤S52所识别的视野，即，每个用户在每个时间点的视野中。基于特征点的时间序列位置信息为指示在每个时间点的每个特征点的位置的信息。
在步骤S55，突出点识别单元44基于特征点发现在每个时间点的包含特征点的视野之间的重叠数。
例如，在图2中的人H1至H3的相应脸部被设置为特征点并且其在每个时间点的位置由基于特征点时间序列位置信息指示的情况下，识别在每个时间点人H1至H3中的每一个的脸部是否被包含在每个用户的视野中。此外，通过注视包含特征点的视野，分别发现在每个时间点的包含人H1的脸部的视野之间的重叠数、包含人H2的脸部的视野之间的重叠数和包含人H3的脸部的视野之间的重叠数。
在步骤S56，突出点识别单元44基于特征点将至内容信息记录单元43的指示具有最大重叠数的视野的信息记录为关于目前被处理的自由视点内容的基于特征点的最多视野信息。指示具有最大重叠数的包含人H1的脸部的视野、具有最大重叠数的包含人H2的脸部的视野和具有最大重叠数的包含人H3的脸部的视野的相应信息段被记录以用于每个时间点。
如上所述，最多视野信息和基于特征点的最多视野信息在每次视野信息被添加时更新。突出内容基于最近的最多视野信息和最近的基于特征点的最多视野信息生成。
·突出内容的发送处理
接下来，将参考图18中的流程图来描述在发送突出内容时的内容管理服务器1的处理。
在图18中的处理为用于发送基于最多视野信息所生成的突出内容的处理。例如，在图18中的处理在从预定客户端终端请求发送突出内容时开始。
在步骤S71，通信控制单元41接收从客户端终端所发送的请求。例如，指定生成突出内容的自由视点内容的信息和指示客户端终端的规格的信息被包含在从该客户端终端所发送的请求中。
在指示客户端终端的规格的信息中，请求发送突出内容的客户端终端为能够根据其姿势以及包含在客户端终端中的显示器的视角以及所指示的其它参数改变显示范围的装置。由通信控制单元41所接收的信息被提供给突出点识别单元44和发送图像生成单元45。
在步骤S72，突出点识别单元44从内容信息记录单元43读取关于待生成的突出点的自由视点内容的最多视野信息。
在步骤S73，基于最多视野信息，突出点识别单元44识别视野之间的重叠数的最大值等于或大于阈值的区段(时间段)。具有视野之间的重叠数的最大值的区段可以被视为许多用户注视相同对象的区段。与此形成对比的是，具有视野之间的重叠数的小最大值的区段可以被视为用户的视野与多个对象分开的区段。
图19为示出在视野之间的重叠数的最大值的时间序列的示意图。
图19中的水平轴线表示在自由视点内容中的时间点，而其垂直轴线表示在视野之间的重叠数的最大值。在水平方向的虚线表示用作阈值的最大重叠数。
在图19的示例中，假设从时间点t1至时间点t2的区段T1、从时间点t3至时间点t4的区段T2和从时间点t5至时间点t6的区段T3中的每一个为视野之间的重叠数的最大值等于或大于阈值的区段。突出点识别单元44将区段T1至T3识别为注视区段。
用作注视区段的确定参考(determination reference)的阈值是可变的。突出点识别单元44根据待发送的突出内容的时间设置阈值并接着识别注视区段。
在图18中的步骤S74，基于最多视野信息，突出点识别单元44识别在注视区段内在每个时间点具有最大重叠数的视野。最多视野信息为指示在每个时间点具有最大重叠数的视野的信息。突出点识别单元44向发送图像生成单元45输出关于突出点，具体地，在注视区段内的每个时间点具有最大重叠数的视野的信息。
在步骤S75，发送图像生成单元45从内容记录单元46读取当前的自由视点内容。
在步骤S76，发送图像生成单元45判定请求突出内容的客户端终端是否为能够根据装置的姿势等等切换显示范围的装置。是否为能够切换显示范围的装置由在步骤S71接收到的信息指示，该信息指示客户端终端的规格。
在步骤S76判定客户端终端不是能够切换显示范围的装置时，发送图像生成单元45生成由自由视点内容的图像之中的突出点的内容构成的突出内容。
例如，在视野之间的叠加为如图16所示的状态的时间点，包含由具有最大重叠数的区域A1指示的视野的某些图像范围被切割以用于生成突出内容。发送图像生成单元45根据例如被包含在突出内容待发送至的客户端终端中的显示器的视角来确定待切割的图像的范围。发送图像生成单元45向通信控制单元41输出所生成的突出内容。
在步骤S78，通信控制单元41向客户端终端发送由发送图像生成单元45所生成的突出内容并终止该处理。
在诸如电视接收器4的客户端终端在视野之间的重叠数的最大值等于或大于阈值的区段内，突出内容被再现以在具有最大重叠数的视野中显示图像。
另一方面，在步骤S76在判定客户端终端为能够切换显示范围的装置时，在步骤S79，发送图像生成单元45向通信控制单元41输出从内容记录单元46读取的突出点信息和自由视点内容。突出点信息为指示由突出点识别单元44所识别的突出点的信息。通信控制单元41向客户端终端发送突出点信息和自由视点内容并终止该处理。
在诸如HMD 2-1的客户端终端处，自由视点内容被再现，并且在基于突出点信息控制显示范围时，在视野之间的重叠数的最大值等于或大于阈值的区段内，图像在具有最大重叠数的视野中显示。
接下来，将参考图20中的流程图来描述在发送突出内容时的内容管理服务器1的其它处理。
在图20中的处理为用于发送以基于特征点的最多视野信息为基础所生成的突出内容的处理。在图20中的处理为基本上类似于参考图18所述处理的处理，除了用于生成突出内容的信息为基于特征点的最多视野信息而不是最多视野信息以外。根据需要将省略重复描述。
在步骤S91，通信控制单元41接收从客户端终端所发送的请求。指定自由视点内容的信息、指示客户端终端的规格的信息和指定被注视特征点的信息被包含在用于从客户端终端所发送的突出内容的请求中。由通信控制单元41所接收的信息被提供给突出点识别单元44和发送图像生成单元45。
在步骤S92，突出点识别单元44从内容信息记录单元43读取关于当前自由视点内容的基于特征点的最多视野信息。
在步骤S93，以基于特征点的最多视野信息为基础，突出点识别单元44识别在包含由客户端终端的用户所选的特征点的视野之间的重叠数的最大值等于或大于阈值的区段。
在步骤S94，以基于特征点的最多视野信息为基础，突出点识别单元44从包含由客户端终端的用户所选择的特征点的视野之中识别在注视区段内的每个时间点具有最大重叠数的视野。突出点识别单元44向发送图像生成单元45输出关于突出点，具体地，在注视区段内的每个时间点具有最大重叠数的包含预定特征点的视野的信息。
在步骤S95，发送图像生成单元45从内容记录单元46读取当前的自由视点内容。
在步骤S96，发送图像生成单元45判定请求突出内容的客户端终端是否为能够切换显示范围的装置。
在步骤S96判定客户端终端不是能够切换显示范围的装置时，发送图像生成单元45在步骤S97生成由突出点的内容构成的突出内容。
在步骤S98，通信控制单元41向客户端终端发送由发送图像生成单元45所生成的突出内容并终止该处理。
另一方面，在步骤S96在判定客户端终端为能够切换显示范围的装置时，在步骤S99，发送图像生成单元45向通信控制单元41输出突出点信息和自由视点内容。通信控制单元41向客户端终端发送突出点信息和自由视点内容并终止该处理。
如上所述，从内容管理服务器1向客户端终端所发送的信息根据客户端终端是能够切换显示范围的装置还是不能切换显示范围的装置来切换。
接下来，将参考图21中的流程图来描述在再现突出内容时的客户端终端的处理。
图21中的处理为响应于在图18或图20中的处理而被执行的处理。图21中的处理由例如不能根据其姿势改变显示范围的电视接收器4执行。
在步骤S121，电视接收器4的控制单元71(图11)控制通信单元72以向内容管理服务器1发送用于请求发送突出内容的信息。
指定自由视点内容的信息和指示电视接收器4的规格的信息被包含在由电视接收器4所发送的信息中。指示电视接收器4的规格的信息为指示电视接收器4不是能够根据其姿势改变显示范围的装置以及指示被包含在电视接收器4中的显示器74的视角等等的信息。
此外，在用户已选择观看包含预定特征点的突出内容的情况下，指定由用户选择的特征点的信息也被包含在由电视接收器4所发送的信息中。
在特征点未被选择时，在图18中的处理在内容管理服务器1被执行，并接着突出内容被发送。另一方面，在特征点被选择时，在图20中的处理在内容管理服务器1被执行，并接着由包含预定特征点的视野中的图像构成的突出内容被发送。
在步骤S122，通信单元72接收从内容管理服务器1发送的突出内容。
在步骤S123，再现单元91再现突出内容。
在步骤S124，显示控制单元92在显示器74上显示突出内容的图像。例如，在视野之间的重叠数的最大值等于或大于阈值的区段内，在具有最大重叠数的视野中的图像在显示器74上显示。在完成突出内容的再现时，该处理被终止。
电视接收器4的用户可以在其他用户频繁观看的时间段内观看由其他用户频繁观看的视野中的图像。
接下来，将参考图22中的流程图来描述在再现突出内容时的客户端终端的处理。
图22中的处理还是响应于在图18或图20中的处理而被执行的处理。图22中的处理由能够根据其姿势改变显示范围的装置，例如便携式终端3来执行。
在步骤S131，便携式终端3的控制单元71(图11)控制通信单元72以向内容管理服务器1发送用于请求发送突出内容的信息。
指定自由视点内容的信息和指示便携式终端3的规格的信息被包含在由便携式终端3所发送的信息中。指示便携式终端3的规格的信息为指示便携式终端3是能够根据其姿势改变显示范围的装置以及指示被包含在便携式终端3中的显示器74的视角等等的信息。
此外，在用户已选择观看包含预定特征点的突出内容的情况下，指定由用户选择的特征点的信息也被包含在由便携式终端3所发送的信息中。
在步骤S132，通信单元72接收从内容管理服务器1发送的突出点信息和自由视点内容。
在步骤S133，再现单元91再现自由视点内容。
在步骤S134，显示控制单元92在显示器74上显示通过再现自由视点内容获得的整个图像之中被指定为突出点的视野中的图像。例如，在视野之间的重叠数的最大值等于或大于阈值的区段内，在具有最大重叠数的视野中的图像在显示器74上显示。在完成突出内容的再现时，该处理被终止。
便携式终端3的用户可以在其他用户频繁观看的时间段内观看由其他用户频繁观看的视野中的图像。图像的显示范围可被配置为由用户任意选择，使得在便携式终端3的定向被改变时，显示范围偏移出突出点的范围。
通过上述的一系列处理，在观看自由视点内容时，客户端终端的用户不再犹豫判定在哪里注视观看并可以类似于许多其他用户通过视点和视野来观看。另外，在特征点被指定时，许多其他用户注视的通过视点和视野的图像可以作为通过视点和包含指定特征点的视野的图像来观看。
用于生成突出内容的最多视野信息或基于特征点的最多视野信息为在每次视野信息被添加时被更新的信息。用户可以通过被其他用户使用的视点和视野来观看图像以在突出内容被观看的时间点观看。
上面的描述假设，在视野之间的重叠数的最大值等于或大于阈值的区段内，具有最大重叠数的视野被识别为突出点。与此形成对比的是，只有区段可被配置为待识别。因此在此情况下，突出内容由在视野之间的重叠数的最大值等于或大于阈值的区段内的所有视野中的图像构成。
<<第二实施例>>
在自由视点内容被再现时，呈现突出点的方向等等也是可能的。例如，根据在被观看图像顶部显示的信息，通过改变脸部的定向使得视野被切换，HMD 2-1的用户可以观看突出点的图像。
图23为示出突出点的示例性呈现的示意图。
例如，如图23所示的图像为由HMD 2-1的用户观看的图像。自由视点内容的图像根据用户的视野在HMD 2-1的显示器74上显示。
在图23中的图像顶部显示的箭头图A31用作在被观看图像的方向被假设为参考时指示突出点的方向的信息。在脸部根据箭头图A31转向右边以改变视野时，由内容管理服务器1选择的突出点的图像在HMD 2-1的显示器74上显示。在用户的视野匹配视点时，指示这一事实的信息可被配置为待显示。
在呈现突出点时，指示由内容管理服务器1识别的突出点的突出点信息与自由视点内容一起从内容管理服务器1被发送至客户端终端。
<相应装置的动作>
将参考图24中的流程图来描述在再现自由视点内容时的客户端终端的处理。
这里的描述假设HMD 2-1执行处理。类似处理也在HMD 2-2和2-3或便携式终端3中执行。
在步骤S201，控制单元71根据用户的操作选择待观看的自由视点内容。
在步骤S202，控制单元71根据用户的操作选择用于突出点的识别方法。
如将在后面所述，多种方法被准备作为用于突出点的识别方法。根据用户所选的方法，突出点在内容管理服务器1被识别。指定由用户所选的识别方法的信息被从HMD 2-1向内容管理服务器1发送。
在内容管理服务器1中，由HMD 2-1的用户选择的自由视点内容的突出点根据由HMD 2-1的用户所选的方法来识别。突出点信息和自由视点内容一起被发送至HMD 2-1。后面将描述在识别突出点时的内容管理服务器1的处理。
在步骤S203，通信单元72接收从内容管理服务器1发送的自由视点内容和突出点信息。
在步骤S204，再现单元91根据用户的操作选择视点。
在步骤S205，再现单元91再现由用户选择的视点的图像的视频流。通过再现视频流获得的图像的数据被持续提供给显示控制单元92。
在步骤S206，视野检测单元93基于从传感器73提供的传感器数据检测用户的视野。
在步骤S207，显示控制单元92根据由视野检测单元93检测到的视野显示图像。
在步骤S208，基于突出点信息，显示控制单元92在观看期间视野的方向被假设为参考时识别突出点的方向。显示控制单元92显示指示在自由视点内容的图像的顶部的突出点的方向。
在步骤S209，再现单元91判定是否完成再现。在步骤S209中判定未完成再现时，再现单元91在步骤S210判定是否切换视点。
在步骤S210判定视点未被切换时，处理返回到步骤S206并且后续处理被执行。在突出点的方向也被重复呈现时，图像的显示范围根据用户的视野被重复切换。
在步骤S210判定视点待切换时，该处理返回到步骤S204，并且在视点被切换后，后续处理被重复。
同时，在步骤S209中判定完成再现时，再现单元91终止处理。
通过根据在自由视点内容被观看时所显示的导向装置来改变视野，用户可以观看通过由他/她选择的方法所识别的突出点的图像。
接下来，将参考图25中的流程图来描述在呈现突出点时的内容管理服务器1的处理。
图25中的处理在指示待观看的自由视点内容的信息和用于突出点的识别方法从客户端终端诸如HMD 2-1被发送时开始。
在步骤S231，内容管理服务器1的通信控制单元41接收从HMD 2-1发送的指示选择细节的信息。所接收的信息被提供给突出点识别单元44和发送图像生成单元45。
在步骤S232，突出点识别单元44执行突出点识别处理。突出点识别处理的细节根据由HMD 2-1的用户所选的识别方法来切换。突出点识别处理将在后面参考图26至图30中的流程图来描述。
突出点识别单元44向通信控制单元41输出指示通过突出点识别处理所识别的突出点的突出点信息。发送图像生成单元45从内容记录单元46读取由用户选择的自由视点内容以向通信控制单元41输出。
在步骤S233，通信控制单元41向HMD 2-1发送从发送图像生成单元45提供的自由视点内容和从突出点识别单元44提供的突出点信息，并接着终止该处理。
·第一突出点识别处理
接下来，将参考图26中的流程图来描述在图25中的步骤S232执行的第一突出点识别处理。
第一突出点识别处理为在视野之间的重叠数的最大值等于或大于阈值的区段内，将具有最大重叠数的视野识别为突出点的处理。
在步骤S241，突出点识别单元44从内容信息记录单元43读取关于待生成的突出内容的自由视点内容的最多视野信息。
在步骤S242，基于最多视野信息，突出点识别单元44识别视野之间的重叠数的最大值等于或大于阈值的区段。
在步骤S243，基于最多视野信息，突出点识别单元44识别在所识别的注视区段内的每个时间点具有最大重叠数的视野。突出点识别单元44向通信控制单元41输出指示在注视区段内的每个时间点具有最大重叠数的视野的突出点信息。
然后，该处理返回至图25中的步骤S232并且执行后续处理。虽然在视野之间的重叠数的最大值等于或大于阈值的区段在HMD 2-1再现，但是指示突出点的方向的信息在图像的顶部显示。
根据所呈现的信息来改变视野，HMD 2-1的用户可以观看突出点的图像。突出点为在由许多用户观看的区段内，在由许多用户观看的视野中的图像。HMD 2-1的用户可以在与许多用户相同的视野中观看图像，并因此不再困扰决定哪个视野应被用来观看图像。
·第二突出点识别处理
接下来，将参考图27中的流程图来描述在图25中的步骤S232执行的第二突出点识别处理。
第二突出点识别处理为识别用户特别喜欢的人并接着将频繁出现被识别人的视野识别为突出点的处理。被选择为待观看的对象的自由视点内容被假设为出现用户特别喜欢的人的内容。
在步骤S251，突出点识别单元44从观看历史信息记录单元42读取关于HMD 2-1的用户的观看历史信息。
在步骤S252，突出点识别单元44基于观看历史信息识别用户过去已观看的观看自由视点内容，并接着从内容信息记录单元43读取关于被识别自由视点内容的基于特征点的时间序列位置信息。
在步骤S253，突出点识别单元44分析在自由视点内容的每项上的观看历史信息和基于特征点的时间序列位置信息，并接着基于特征点识别该特征点是否已被包含在用户的视野中。突出点识别单元44也基于特征点识别该特征点被包含在视野中、其在视野中的位置、在该特征点被包含在视野中时脸部的定向等等期间的时间，使得每个特征点被评估。
如上所述，基于特征点的时间序列位置信息为指示在每个时间点在成像空间内出现在自由视点内容的图像上的每个特征点的位置和转动方向的信息。在特征点被叠加在由观看历史信息所指示的用户的视野上时，基于特征点识别该特征点被包含在视野中、其在视野中的位置、在该特征点被包含在视野中时脸部的定向等等期间的时间是可能的。
例如，突出点识别单元44针对在长时间内被包含在视野中的特征点设置比在短时间内被包含在视野中的特征点更高的评估。突出点识别单元44也针对出现在视野中心附近的特征点设置比出现在该视野边缘的特征点更高的评估。突出点识别单元44针对在用户向前看时出现在视野中的特征点设置比在用户在不同于向前的方向观看时出现在视野中的特征点更高的评估。
在步骤S254，突出点识别单元44将具有所收到的最高评估的特征点的人识别为用户的特别喜欢的人。
在步骤S255，突出点识别单元44从内容信息记录单元43读取关于待生成的突出点的自由视点内容的基于特征点的最多视野信息。
在步骤S256，以基于特征点的最多视野信息为基础，突出点识别单元44将出现用户特别喜欢的人的具有最大重叠数的视野识别为突出点。突出点识别单元44向通信控制单元41输出指示被识别突出点的突出点信息。
然后，该处理返回至图25中的步骤S232并且后续处理被执行。自由视点内容在HMD2-1再现，并且指示出现用户特别喜欢的人的突出点的方向的信息在该自由视点内容的图像的顶部显示。
通过根据所呈现的信息改变视野，HMD 2-1的用户可以在许多用户所观看的视野中观看作为出现他/她特别喜欢的人的视野中的图像的图像。
·第三突出点识别处理
接下来，将参考图28中的流程图来描述在图25中的步骤S232执行的第三突出点识别处理。
第三突出点识别处理为识别类似于待接收突出点的呈现的HMD 2-1的用户的已观看历史的其他用户并且接着将由这些其他用户频繁观看的视野识别为突出点的处理。
在步骤S271，突出点识别单元44从观看历史信息记录单元42读取关于HMD 2-1的用户的观看历史信息。
在步骤S272，突出点识别单元44从观看历史信息记录单元42读取关于在过去已观看与待呈现给HMD 2-1的用户的自由视点内容相同的自由视点内容的其他用户的观看历史信息。
在步骤S273，基于关于HMD 2-1的用户的观看历史信息和在步骤S272读取的观看历史信息，突出点识别单元44识别具有与HMD 2-1的用户的观看历史类似的观看历史的其他用户。例如，突出点识别单元44将已观看预定数量的项或更多项的与HMD 2-1的用户在过去已观看的自由视点内容相同的自由视点内容的用户识别为具有类似观看历史的其他用户。
在步骤S274，从在步骤S273所识别的关于这些其他用户的观看历史信息，突出点识别单元44分析关于待呈现给HMD 2-1的用户的自由视点内容的观看历史信息。突出点识别单元44分析观看历史信息以识别在每个时间点这些相应其他用户的视野。
在步骤S275，发现在每个时间点在被识别视野之间的重叠数，重叠数的最大数值等于或大于阈值的区段被识别。
在步骤S276，突出点识别单元44在所识别的注视区段内将在每个时间点具有最大重叠数的视野识别为突出点。突出点识别单元44向通信控制单元41输出指示被识别突出点的突出点信息。
然后，该处理返回至图25中的步骤S232并且后续处理被执行。在区段在HMD 2-1再现时，在该区段中，在具有类似观看历史的用户的视野之间的重叠数的最大值等于或大于阈值，指示突出点的方向的信息在图像的顶部显示。
通过根据所呈现的信息改变视野，HMD 2-1的用户可以在与具有类似观看历史的其他用户的视野相同的视野中观看图像。已由具有类似观看历史的其他用户观看的图像具有为吸引HMD 2-1的兴趣的图像的更大可能性。这使得HMD 2-1的用户可以观看他/她感兴趣的图像。
·第四突出点识别处理
接下来，将参考图29中的流程图来描述在图25中的步骤S232执行的第四突出点识别处理。
第四突出点识别处理为识别了解待由HMD 2-1的用户观看的自由视点内容的类型的另一用户并接着将该另一用户的视野识别为突出点的处理。
在步骤S291，突出点识别单元44分析被记录在观看历史信息记录单元42中的用户资料信息并接着识别被视为待呈现给HMD 2-1的用户的自由视点内容的类型方面的专家的用户。例如，被包含在关于与待呈现给HMD 2-1的用户的自由视点内容相同的自由视点内容的观看历史信息中的关于所有用户的用户资料信息被分析。
在待呈现给HMD 2-1的用户的自由视点内容为偶像团体的音乐会的内容的情况下，为了解该偶像团体的专家的用户被识别。用户资料信息也包含诸如每个用户专业知识的信息。
在步骤S292，从已被识别的关于预定专家的观看历史信息，突出点识别单元44分析关于待呈现给HMD 2-1的用户的自由视点内容的观看历史信息，从而识别在每个时间点此专家的视野。
在步骤S293，突出点识别单元44将与专家的视野相同的视野识别为突出点并接着向通信控制单元41输出突出点信息。
然后，该处理返回至图25中的步骤S232并且后续处理被执行。自由视点内容在HMD2-1再现并且指示突出点的方向的信息被显示。
通过根据所呈现的信息改变视野，HMD 2-1的用户可以观看通过与此类型的专家的视野相同的视野观看的自由视点内容。
与通过分析用户资料信息来识别专家相反，充当专家的用户可被配置为被事先确定。在内容管理服务器1基于多个专家的视野事先生成关于一项和相同项的自由视点内容的多段突出点信息时，也可以实现诸如呈现指示由HMD 2-1的用户选择的预定专家的视野的突出点的服务。
·第五突出点识别处理
接下来，将参考图30中的流程图来描述在图25中的步骤S232执行的第五突出点识别处理。
第五突出点识别处理为将在HMD 2-1的用户已多次观看一项和相同项的自由视点内容的情况下还未被观看的视野识别为突出点的处理。
在步骤S311，从关于HMD 2-1的用户的观看历史信息，突出点识别单元44从观看历史信息记录单元42读取关于与这次待呈现给HMD 2-1的用户的自由视点内容相同的自由视点内容的过去观看历史信息。例如，在这次待观看的自由视点内容为第五次时，读取通过过去四次观看所生成的观看历史信息。
在步骤S312，突出点识别单元44分析已被读取的观看历史信息并接着识别在相应观看次数中的每个时间点的视野。
在步骤S313，突出点识别单元44将在过去每个时间点未被观看的视野识别为突出点并接着向通信控制单元41输出突出点信息。
然后，该处理返回至图25中的步骤S232并且后续处理被执行。自由视点内容在HMD2-1再现，并且指示突出点的方向的信息在该自由视点内容的图像的顶部显示。
通过根据所呈现的信息改变视野，HMD 2-1的用户可以观看还未被观看的视野中的图像。
如至此所描述的，突出点可以通过各种方法来识别。在突出点基于在某一地点在某段时间期间自由视点内容被观看时的时间点的观看历史信息被识别的情况下，用于识别突出点的观看历史信息使用各种类型的过滤条件来提取，由此突出点可以基于所提取的观看历史信息被识别。
<变形例>
·关于突出点的呈现
在上面的描述中，已假设箭头图在自由视点内容的图像顶部显示以指示突出点的方向。然而，在图像顶部显示的信息并不局限于箭头图。
此外，与借助于信息显示的呈现相反，突出点的方向可通过控制从HMD 2-1的扬声器76输出的自由视点内容的音频的音量或声场来呈现。例如，通过将被观看视野的位置假设为参考，音频的音量或声场被控制，使得能从该突出点的方向听到声音。
此外，突出点可被配置为通过调节与用户的头部接触的HMD 2-1的带部的松紧程度来呈现。例如，通过将被观看视野的位置假设为参考，在带部的松紧程度被调节，使得用户不自觉地看向突出点的方向。
·HMD的形式
在该描述中，HMD 2-1至2-3已被假设为如图31的A中示出的沉浸式HMD。然而，本技术也可以被应用于所谓的视频透视式HMD或光学透视式HMD。
如图31的B中所示，视频透视式HMD与沉浸式HMD相同之处在于，显示器被设置在图像被投影在佩戴其主体的用户的眼睛前面的位置，而不同之处在于，摄像机被设置在HMD的机壳中，使得用摄像机拍摄的在用户前面的实况的图像在显示器上显示。
如图31的C中所示，光学透视式HMD为在佩戴HMD的用户的眼睛前面设置有半反射镜，使得用户可以通过该半反射镜观看其前面实况的HMD。各种类型的信息的光，诸如从设置在HMD的框部分等的发光单元输出的自由视点内容的图像在被引导向用户的眼睛的半反射镜反射。用户可以在眼睛前面的场景顶部观看各种类型的信息。
·关于程序
可以由硬件执行并且也可以由软件执行一系列上述的处理。在由软件执行一系列处理时，构成软件的程序从程序记录介质被安装在内置在专用硬件中的计算机、通用个人计算机等等中。
待安装的程序通过被记录在如图7所示的可移除介质31中来提供，该可移除介质由光盘(例如，光盘只读存储器(CD-ROM)和数字通用光盘(DVD))、半导体存储器等构成。此外，程序的供应可被配置为通过有线或无线传输介质，诸如局域网、互联网和数字卫星广播来进行。程序可以被事先安装至ROM 22或记录单元28。
应指出，由计算机执行的程序可为处理根据在本说明书中描述的次序与时间序列一起执行的程序，或可替换地，可为处理被并行执行或在必要时间，例如在被调用时被执行的程序。
同时，在本说明书中，系统指的是多个构成部件(例如，装置和模块(部件))的集合，并且，所有构成部件是否被布置在相同机壳内并不是重要的。因此，被容纳在单独机壳中以便通过网络彼此连接的多个装置以及多个模块被容纳在一个机壳内的一个装置均被视为系统。
此外，在本说明书中描述的效果仅用作示例并不应被视为限制性的。也可存在其它效果。
根据本技术的实施例不局限于上述实施例，在不脱离本技术的范围的情况下，可以对其进行各种更改。
<配置的示例性组合>
本技术也可以被配置如下。
(1)一种信息处理装置，包括：
通信单元，接收包括每个视频内容在被观看时的显示范围的历史的观看历史信息，从均被配置为显示所述视频内容的图像的多个显示装置发送所述观看历史信息，在所述视频内容中，所述显示范围通过跟随用户的移动而在整个图像的范围内切换；以及
识别单元，基于在预定的所述显示装置处的所述视频内容的图像的所述显示范围的历史将在所述视频内容的预定时间段内的所述视频内容的预定显示范围识别为注视范围。
(2)根据前述(1)所述的信息处理装置，其中，
所述视频内容是由在水平方向和垂直方向中的至少一个上具有360度视角的图像构成的内容。
(3)根据前述(2)所述的信息处理装置，其中，
所述视频内容是包括通过从多个位置拍摄一个相同对象所获得的多个图像的内容，其中，所述多个位置中的一个位置能够被选择作为观看所述视频内容时的视点。
(4)根据前述(2)所述的信息处理装置，其中，
所述视频内容是通过合成通过从多个位置拍摄一个相同对象获得的多个图像所获得的内容，其中，任意位置能够被选择作为观看所述视频内容时的视点。
(5)根据前述(1)至(4)中的任一项所述的信息处理装置，进一步包括生成单元，所述生成单元生成由所述注视范围内的图像构成的注视内容，其中，
所述通信单元将所述注视内容发送至所述显示装置。
(6)根据前述(5)所述的信息处理装置，其中，
基于多个用户的所述观看历史信息，所述识别单元将在所述显示范围之间的重叠数的最大值等于或大于阈值的时间段内的具有所述显示范围之间的最大重叠数的所述显示范围识别为所述注视范围。
(7)根据前述(1)到(4)中任一项所述的信息处理装置，其中，
所述通信单元将指示所述注视范围的信息和所述视频内容发送至所述显示装置，并且
所述注视范围在观看所述视频内容时被呈现在所述显示装置上。
(8)根据前述(7)所述的信息处理装置，其中，
基于多个用户的所述观看历史信息，所述识别单元将在所述显示范围之间的重叠数的最大值等于或大于阈值的时间段内的具有所述显示范围之间的最大重叠数的所述显示范围识别为所述注视范围。
(9)根据前述(7)所述的信息处理装置，其中，
所述识别单元选择包含在由所述注视范围待呈现给的用户的所述观看历史信息指示的所述显示范围中的预定特征点，基于多个所述显示装置的用户的所述观看历史信息将在包括所述预定特征点的所述显示范围之间的重叠数的最大值等于或大于阈值的时间段内的具有包括所述预定特征点的所述显示范围之间的最大重叠数的所述显示范围识别为所述注视范围。
(10)根据前述(7)所述的信息处理装置，其中，
基于多个用户的所述观看历史信息，所述识别单元选择已观看的所述视频内容与所述注视范围待被呈现给的用户观看的类似的所述视频内容的其他用户，基于关于所述注视范围待呈现的所述视频内容的上述其他用户的所述观看历史信息将在所述显示范围之间的重叠数的最大值等于或大于阈值的时间段内的具有所述显示范围之间的最大重叠数的所述显示范围识别为所述注视范围。
(11)根据前述(7)所述的信息处理装置，其中，
基于关于所述注视范围待呈现的所述视频内容的、与所述注视范围待被呈现给的用户不同的另一用户的所述观看历史信息，所述识别单元将与所述另一用户在观看期间的所述显示范围相同的所述显示范围识别为所述注视范围。
(12)根据前述(7)所述的信息处理装置，其中，
基于关于所述注视范围待呈现的所述视频内容的、所述注视范围待呈现给的用户的所述观看历史信息，所述识别单元将与所述注视范围待呈现给的用户在观看期间的所述显示范围不同的所述显示范围识别为所述注视范围。
(13)一种信息处理方法，包括以下步骤：
通过信息处理装置的接收器接收包括每个视频内容在被观看时的显示范围的历史的观看历史信息，从均被配置为显示所述视频内容的图像的多个显示装置发送所述观看历史信息，在所述视频内容中，所述显示范围通过跟随用户的移动而在整个图像的范围内切换；并且
通过所述信息处理装置的识别单元基于在预定的所述显示装置的所述视频内容的图像的所述显示范围的历史将在所述视频内容的预定时间段内的所述视频内容的预定显示范围识别为注视范围。
(14)一种程序，使计算机执行包括以下步骤的处理：
接收包括每个视频内容在被观看时的显示范围的历史的观看历史信息，从均被配置为显示所述视频内容的图像的多个显示装置发送所述观看历史信息，在所述视频内容中，所述显示范围通过跟随用户的移动而在整个图像的范围内切换；并且
基于在预定的所述显示装置的所述视频内容的图像的所述显示范围的历史将在所述视频内容的预定时间段内的所述视频内容的预定显示范围识别为注视范围。
(15)一种显示装置，包括：
再现单元，再现视频内容，在所述视频内容中，显示范围通过跟随用户的移动而在整个图像的范围内切换；
检测单元，检测在观看所述视频内容时的所述用户的移动；
显示控制单元，通过跟随所述用户的移动来控制图像的所述显示范围；以及
通信单元，将观看历史信息发送至信息处理装置，所述观看历史信息包括所述视频内容在被观看时的所述显示范围的历史，所述信息处理装置被配置为处理从多个显示装置发送的所述观看历史信息、基于在预定的所述显示装置中的所述视频内容的图像的所述显示范围的历史将在所述视频内容的预定时间段内的所述视频内容的预定显示范围识别为注视范围。
(16)根据前述(15)所述的显示装置，其中，
所述通信单元接收由在所述显示范围之间的重叠数的最大值等于或大于阈值的时间段内的用作具有所述显示范围之间的最大重叠数的所述显示范围的所述注视范围的图像构成的注视内容，所述注视内容由所述信息处理装置基于多个用户的所述观看历史信息生成并且然后从所述信息处理装置发送所述注视内容；并且
所述再现单元再现所述注视内容。
(17)根据前述(15)所述的显示装置，其中，
所述通信单元接收从所述信息处理装置发送的指示所述注视范围的信息和所述视频内容，并且
所述显示控制单元将指示所述注视范围的信息显示在所述视频内容的图像上方。
(18)一种信息处理方法，包括以下步骤：
再现视频内容，在所述视频内容中，显示范围跟随用户的移动在整个图像的范围内切换；
检测所述用户的移动；
通过跟随所述用户的移动控制图像的所述显示范围；并且
将观看历史信息发送至信息处理装置，所述观看历史信息包括所述视频内容在被观看时的所述显示范围的历史，所述信息处理装置被配置为处理从多个显示装置发送的所述观看历史信息并基于在预定的所述显示装置的所述视频内容的图像的所述显示范围的历史将在所述视频内容的预定时间段内的所述视频内容的预定显示范围识别为注视范围。
(19)一种程序，使计算机执行包括以下步骤的处理：
再现视频内容，在所述视频内容中，显示范围跟随用户的移动在整个图像的范围内切换；
检测所述用户的移动；
通过跟随所述用户的移动来控制图像的所述显示范围；并且
将观看历史信息发送至信息处理装置，所述观看历史信息包括所述视频内容在被观看时的所述显示范围的历史，所述信息处理装置被配置为处理从多个显示装置发送的所述观看历史信息并基于在预定的所述显示装置的所述视频内容的图像的所述显示范围的历史将在所述视频内容的预定时间段内的所述视频内容的预定显示范围识别为注视范围。
(20)一种信息处理系统，由显示装置和信息处理装置构成，
所述显示装置，包括：
再现单元，再现视频内容，在所述视频内容中，显示范围通过跟随用户的移动而在整个图像的范围内切换；
检测单元，检测在观看所述视频内容时的所述用户的移动；
显示控制单元，通过跟随所述用户的移动控制图像的所述显示范围；以及
将观看历史信息发送至信息处理装置的通信单元，所述观看历史信息包括所述视频内容在被观看时的所述显示范围的历史，以及
所述信息处理装置，包括：
接收从多个所述显示装置发送的所述观看历史信息的通信单元；以及
识别单元，基于在预定的所述显示装置处的所述视频内容的图像的所述显示范围的历史将在所述视频内容的预定时间段内的所述视频内容的预定显示范围识别为注视范围。
符号说明
1 内容管理服务器
2-1至2-3 HMD
3 便携式终端
4 电视接收器
41 通信控制单元
42 观看历史信息记录单元
43 内容信息记录单元
44 突出点识别单元
45 发送图像生成单元
46 内容记录单元
91 再现单元
92 显示控制单元
93 视野检测单元
94 视野信息管理单元

Claims (18)

1.一种信息处理装置，包括：
通信单元，接收包括每个视频内容在被观看时在显示装置上的显示范围的历史的观看历史信息，从均被配置为显示所述视频内容的图像的多个显示装置发送所述观看历史信息，在所述视频内容中，所述显示范围通过跟随用户的移动而在整个图像的范围内切换；
识别单元，基于多个用户的所述观看历史信息，将在所述显示范围之间的重叠数的最大值等于或大于阈值的时间段内的具有所述显示范围之间的最大重叠数的所述显示范围识别为注视范围；以及
生成单元，生成由所述注视范围内的图像构成的注视内容。
2.根据权利要求1所述的信息处理装置，其中，
所述视频内容是由在水平方向和垂直方向中的至少一个上具有360度视角的图像构成的内容。
3.根据权利要求2所述的信息处理装置，其中，
所述视频内容是包括通过从多个位置拍摄一个相同对象所获得的多个图像的内容，其中，所述多个位置中的一个位置能够被选择作为观看所述视频内容时的视点。
4.根据权利要求2所述的信息处理装置，其中，
所述视频内容是通过合成通过从多个位置拍摄一个相同对象获得的多个图像所获得的内容，其中，任意位置能够被选择作为观看所述视频内容时的视点。
5.根据权利要求1所述的信息处理装置，其中，
所述通信单元将所述注视内容发送至所述显示装置。
6.根据权利要求1所述的信息处理装置，其中，
所述通信单元将指示所述注视范围的信息和所述视频内容发送至所述显示装置，并且
所述注视范围在观看所述视频内容时被呈现在所述显示装置上。
7.根据权利要求6所述的信息处理装置，其中，
所述识别单元选择包含在由所述注视范围待呈现给的用户的所述观看历史信息指示的所述显示范围中的预定特征点，基于多个所述显示装置的用户的所述观看历史信息将在包括所述预定特征点的所述显示范围之间的重叠数的最大值等于或大于阈值的时间段内的具有包括所述预定特征点的所述显示范围之间的最大重叠数的所述显示范围识别为所述注视范围。
8.根据权利要求6所述的信息处理装置，其中，
基于多个用户的所述观看历史信息，所述识别单元选择已观看的所述视频内容与所述注视范围待被呈现给的用户观看的类似的所述视频内容的其他用户，基于关于所述注视范围待呈现的所述视频内容的上述其他用户的所述观看历史信息将在所述显示范围之间的重叠数的最大值等于或大于阈值的时间段内的具有所述显示范围之间的最大重叠数的所述显示范围识别为所述注视范围。
9.根据权利要求6所述的信息处理装置，其中，
基于关于所述注视范围待呈现的所述视频内容的、与所述注视范围待被呈现给的用户不同的另一用户的所述观看历史信息，所述识别单元将与所述另一用户在观看期间的所述显示范围相同的所述显示范围识别为所述注视范围。
10.根据权利要求6所述的信息处理装置，其中，
基于关于所述注视范围待呈现的所述视频内容的、所述注视范围待呈现给的用户的所述观看历史信息，所述识别单元将与所述注视范围待呈现给的用户在观看期间的所述显示范围不同的所述显示范围识别为所述注视范围。
11.一种信息处理方法，包括以下步骤：
通过信息处理装置的接收器接收包括每个视频内容在被观看时在显示装置上的显示范围的历史的观看历史信息，从均被配置为显示所述视频内容的图像的多个显示装置发送所述观看历史信息，在所述视频内容中，所述显示范围通过跟随用户的移动而在整个图像的范围内切换；
通过所述信息处理装置的识别单元基于多个用户的所述观看历史信息，将在所述显示范围之间的重叠数的最大值等于或大于阈值的时间段内的具有所述显示范围之间的最大重叠数的所述显示范围识别为注视范围；以及
通过所述信息处理装置的生成单元生成由所述注视范围内的图像构成的注视内容。
12.一种显示装置，包括：
再现单元，再现视频内容，在所述视频内容中，显示范围通过跟随用户的移动而在整个图像的范围内切换；
检测单元，检测在观看所述视频内容时的所述用户的移动；
显示控制单元，通过跟随所述用户的移动来控制图像的所述显示范围；以及
通信单元，将观看历史信息发送至信息处理装置，所述观看历史信息包括所述视频内容在被观看时在所述显示装置上的所述显示范围的历史，所述信息处理装置被配置为处理从多个显示装置发送的所述观看历史信息，基于多个用户的所述观看历史信息，将在所述显示范围之间的重叠数的最大值等于或大于阈值的时间段内的具有所述显示范围之间的最大重叠数的所述显示范围识别为注视范围，以及生成由所述注视范围内的图像构成的注视内容。
13.根据权利要求12所述的显示装置，其中，
所述通信单元接收由在所述显示范围之间的重叠数的最大值等于或大于阈值的时间段内的用作具有所述显示范围之间的最大重叠数的所述显示范围的所述注视范围的图像构成的注视内容，所述注视内容由所述信息处理装置基于多个用户的所述观看历史信息生成并且然后从所述信息处理装置发送所述注视内容；并且
所述再现单元再现所述注视内容。
14.根据权利要求12所述的显示装置，其中，
所述通信单元接收从所述信息处理装置发送的指示所述注视范围的信息和所述视频内容，并且
所述显示控制单元将指示所述注视范围的信息显示在所述视频内容的图像上方。
15.一种信息处理方法，包括以下步骤：
再现视频内容，在所述视频内容中，显示范围跟随用户的移动在整个图像的范围内切换；
检测所述用户的移动；
通过跟随所述用户的移动控制图像的所述显示范围；并且
将观看历史信息发送至信息处理装置，所述观看历史信息包括所述视频内容在被观看时在显示装置上的所述显示范围的历史，所述信息处理装置被配置为处理从多个显示装置发送的所述观看历史信息，基于多个用户的所述观看历史信息，将在所述显示范围之间的重叠数的最大值等于或大于阈值的时间段内的具有所述显示范围之间的最大重叠数的所述显示范围识别为注视范围，以及生成由所述注视范围内的图像构成的注视内容。
16.一种信息处理系统，由显示装置和信息处理装置构成，
所述显示装置，包括：
再现单元，再现视频内容，在所述视频内容中，显示范围通过跟随用户的移动而在整个图像的范围内切换；
检测单元，检测在观看所述视频内容时的所述用户的移动；
显示控制单元，通过跟随所述用户的移动控制图像的所述显示范围；以及
将观看历史信息发送至信息处理装置的通信单元，所述观看历史信息包括所述视频内容在被观看时在所述显示装置上的所述显示范围的历史，以及
所述信息处理装置，包括：
接收从多个所述显示装置发送的所述观看历史信息的通信单元；
识别单元，基于多个用户的所述观看历史信息，将在所述显示范围之间的重叠数的最大值等于或大于阈值的时间段内的具有所述显示范围之间的最大重叠数的所述显示范围识别为注视范围；以及
生成单元，生成由所述注视范围内的图像构成的注视内容。
17.一种存储介质，其中存储有程序，所述程序被执行以使计算机执行包括以下步骤的处理：
接收包括每个视频内容在被观看时在显示装置上的显示范围的历史的观看历史信息，从均被配置为显示所述视频内容的图像的多个显示装置发送所述观看历史信息，在所述视频内容中，所述显示范围通过跟随用户的移动而在整个图像的范围内切换；
基于多个用户的所述观看历史信息，将在所述显示范围之间的重叠数的最大值等于或大于阈值的时间段内的具有所述显示范围之间的最大重叠数的所述显示范围识别为注视范围；以及
生成由所述注视范围内的图像构成的注视内容。
18.一种存储介质，其中存储有程序，所述程序被执行以使计算机执行包括以下步骤的处理：
再现视频内容，在所述视频内容中，显示范围跟随用户的移动在整个图像的范围内切换；
检测所述用户的移动；
通过跟随所述用户的移动来控制图像的所述显示范围；并且
将观看历史信息发送至信息处理装置，所述观看历史信息包括所述视频内容在被观看时在显示装置上的所述显示范围的历史，所述信息处理装置被配置为处理从多个显示装置发送的所述观看历史信息并基于在预定的所述显示装置的所述视频内容的图像的所述显示范围的历史将在所述视频内容的预定时间段内的所述视频内容的预定显示范围识别为注视范围，基于多个用户的所述观看历史信息，将在所述显示范围之间的重叠数的最大值等于或大于阈值的时间段内的具有所述显示范围之间的最大重叠数的所述显示范围识别为注视范围，以及生成由所述注视范围内的图像构成的注视内容。
CN201580037646.XA 2014-07-18 2015-07-06 信息处理装置、显示装置、信息处理方法、程序和信息处理系统 Expired - Fee Related CN106576184B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014147598 2014-07-18
JP2014-147598 2014-07-18
PCT/JP2015/069381 WO2016009864A1 (ja) 2014-07-18 2015-07-06 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム

Publications (2)

Publication Number Publication Date
CN106576184A CN106576184A (zh) 2017-04-19
CN106576184B true CN106576184B (zh) 2020-08-18

Family

ID=55078362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580037646.XA Expired - Fee Related CN106576184B (zh) 2014-07-18 2015-07-06 信息处理装置、显示装置、信息处理方法、程序和信息处理系统

Country Status (5)

Country Link
US (1) US20170142486A1 (zh)
EP (1) EP3171602A4 (zh)
JP (1) JP6558587B2 (zh)
CN (1) CN106576184B (zh)
WO (1) WO2016009864A1 (zh)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9190110B2 (en) 2009-05-12 2015-11-17 JBF Interlude 2009 LTD System and method for assembling a recorded composition
US11232458B2 (en) 2010-02-17 2022-01-25 JBF Interlude 2009 LTD System and method for data mining within interactive multimedia
US9009619B2 (en) 2012-09-19 2015-04-14 JBF Interlude 2009 Ltd—Israel Progress bar for branched videos
US9257148B2 (en) 2013-03-15 2016-02-09 JBF Interlude 2009 LTD System and method for synchronization of selectably presentable media streams
US10448119B2 (en) 2013-08-30 2019-10-15 JBF Interlude 2009 LTD Methods and systems for unfolding video pre-roll
US9653115B2 (en) 2014-04-10 2017-05-16 JBF Interlude 2009 LTD Systems and methods for creating linear video from branched video
US10389992B2 (en) * 2014-08-05 2019-08-20 Utherverse Digital Inc. Immersive display and method of operating immersive display for real-world object alert
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US11412276B2 (en) 2014-10-10 2022-08-09 JBF Interlude 2009 LTD Systems and methods for parallel track transitions
US10582265B2 (en) 2015-04-30 2020-03-03 JBF Interlude 2009 LTD Systems and methods for nonlinear video playback using linear real-time video players
US10460765B2 (en) 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
US11128853B2 (en) 2015-12-22 2021-09-21 JBF Interlude 2009 LTD Seamless transitions in large-scale video
US11163358B2 (en) 2016-03-17 2021-11-02 Sony Interactive Entertainment Inc. Spectating virtual (VR) environments associated with VR user interactivity
US10462202B2 (en) 2016-03-30 2019-10-29 JBF Interlude 2009 LTD Media stream rate synchronization
US11856271B2 (en) 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
US20170316806A1 (en) * 2016-05-02 2017-11-02 Facebook, Inc. Systems and methods for presenting content
JP6095830B1 (ja) 2016-05-18 2017-03-15 株式会社コロプラ 視野情報収集方法および当該視野情報収集方法をコンピュータに実行させるためのプログラム
US10218760B2 (en) 2016-06-22 2019-02-26 JBF Interlude 2009 LTD Dynamic summary generation for real-time switchable videos
CN106101847A (zh) * 2016-07-12 2016-11-09 三星电子（中国）研发中心 全景视频交互传输的方法和系统
US11172005B2 (en) * 2016-09-09 2021-11-09 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content
US11050809B2 (en) 2016-12-30 2021-06-29 JBF Interlude 2009 LTD Systems and methods for dynamic weighting of branched video paths
JP6241802B1 (ja) * 2017-01-20 2017-12-06 パナソニックＩｐマネジメント株式会社 映像配信システム、ユーザ端末装置および映像配信方法
WO2018139147A1 (ja) * 2017-01-24 2018-08-02 シャープ株式会社 制御装置、ヘッドマウントディスプレイ、制御装置の制御方法、および制御プログラム
KR102054947B1 (ko) * 2017-04-21 2019-12-11 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
JP6878177B2 (ja) * 2017-07-04 2021-05-26 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6462059B1 (ja) * 2017-07-13 2019-01-30 株式会社コロプラ 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
KR102233667B1 (ko) * 2017-07-13 2021-03-31 삼성전자주식회사 네트워크 시스템에서 데이터를 전송하는 방법 및 장치
JP7069970B2 (ja) * 2017-07-18 2022-05-18 株式会社リコー 閲覧システム、画像配信装置、画像配信方法、プログラム
JP6433559B1 (ja) 2017-09-19 2018-12-05 キヤノン株式会社 提供装置および提供方法、プログラム
JP7140487B2 (ja) * 2017-10-25 2022-09-21 キヤノン株式会社 情報処理装置、表示制御方法、及び、プログラム
JP7031228B2 (ja) 2017-10-26 2022-03-08 株式会社リコー プログラム、画像表示方法、画像表示システム、情報処理装置
CN107872731B (zh) * 2017-11-22 2020-02-21 三星电子（中国）研发中心 全景视频播放方法及装置
WO2019135313A1 (ja) * 2018-01-04 2019-07-11 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10257578B1 (en) 2018-01-05 2019-04-09 JBF Interlude 2009 LTD Dynamic library display for interactive videos
JP2019149122A (ja) * 2018-02-28 2019-09-05 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP6898879B2 (ja) * 2018-03-19 2021-07-07 株式会社Ｎｔｔドコモ 情報処理装置
JP7085869B2 (ja) * 2018-03-20 2022-06-17 株式会社Ｎｔｔドコモ 情報処理装置
US11601721B2 (en) 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
WO2020084778A1 (ja) * 2018-10-26 2020-04-30 株式会社ソニー・インタラクティブエンタテインメント コンテンツ再生装置、画像データ出力装置、コンテンツ作成装置、コンテンツ再生方法、画像データ出力方法、およびコンテンツ作成方法
EP3923267A4 (en) * 2019-02-08 2022-04-13 Sony Group Corporation REPRODUCTION DEVICE, REPRODUCTION METHOD AND PROGRAM
WO2020203167A1 (ja) * 2019-03-29 2020-10-08 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US11490047B2 (en) 2019-10-02 2022-11-01 JBF Interlude 2009 LTD Systems and methods for dynamically adjusting video aspect ratios
JP7322191B2 (ja) * 2020-01-22 2023-08-07 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
US11245961B2 (en) 2020-02-18 2022-02-08 JBF Interlude 2009 LTD System and methods for detecting anomalous activities for interactive videos
WO2022019149A1 (ja) * 2020-07-21 2022-01-27 ソニーグループ株式会社 情報処理装置、３ｄモデル生成方法、情報処理方法およびプログラム
JPWO2022220305A1 (zh) * 2021-04-16 2022-10-20
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
JP7140890B1 (ja) 2021-06-18 2022-09-21 株式会社ドワンゴ 視聴者端末、視聴者端末の制御方法、視聴者端末の制御プログラム、および、記録媒体
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites
WO2023157782A1 (ja) * 2022-02-21 2023-08-24 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
JP7257080B1 (ja) 2022-07-06 2023-04-13 株式会社PocketRD 映像分析装置、映像分析方法及び映像分析プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1707308A (zh) * 2004-05-06 2005-12-14 奥林巴斯株式会社 头戴式显示装置
CN102729902A (zh) * 2012-07-19 2012-10-17 西北工业大学 一种服务于汽车安全驾驶的嵌入式全景显示装置和方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184345A (ja) * 1998-12-14 2000-06-30 Nec Corp マルチモーダルコミュニケーション支援装置
JP3951695B2 (ja) * 2001-12-11 2007-08-01 ソニー株式会社 画像配信システムおよび方法、画像配信装置および方法、画像受信装置および方法、記録媒体、並びにプログラム
US8106742B2 (en) * 2006-08-04 2012-01-31 Tegic Communications, Inc. Remotely controlling one or more client devices detected over a wireless network using a mobile device
US20100009809A1 (en) * 2008-06-26 2010-01-14 Janice Carrington System for simulating a tour of or being in a remote location while exercising
US8836771B2 (en) * 2011-04-26 2014-09-16 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
US10092868B2 (en) * 2011-08-31 2018-10-09 Donaldson Company, Inc. Liquid filter assembly, system and methods
JP6006536B2 (ja) * 2012-06-01 2016-10-12 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP5600148B2 (ja) * 2012-08-23 2014-10-01 ヤフー株式会社 映像配信装置、映像配信方法及び映像配信プログラム
JP5818326B2 (ja) * 2012-09-04 2015-11-18 日本電信電話株式会社 映像視聴履歴解析方法、映像視聴履歴解析装置及び映像視聴履歴解析プログラム
JP5923021B2 (ja) * 2012-10-05 2016-05-24 日本電信電話株式会社 映像視聴履歴解析装置、映像視聴履歴解析方法及び映像視聴履歴解析プログラム
US9532095B2 (en) * 2012-11-29 2016-12-27 Fanvision Entertainment Llc Mobile device with smart gestures

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1707308A (zh) * 2004-05-06 2005-12-14 奥林巴斯株式会社 头戴式显示装置
CN102729902A (zh) * 2012-07-19 2012-10-17 西北工业大学 一种服务于汽车安全驾驶的嵌入式全景显示装置和方法

Also Published As

Publication number Publication date
JP6558587B2 (ja) 2019-08-14
EP3171602A1 (en) 2017-05-24
US20170142486A1 (en) 2017-05-18
WO2016009864A1 (ja) 2016-01-21
JPWO2016009864A1 (ja) 2017-06-01
CN106576184A (zh) 2017-04-19
EP3171602A4 (en) 2018-02-14

Similar Documents

Publication Publication Date Title
CN106576184B (zh) 信息处理装置、显示装置、信息处理方法、程序和信息处理系统
US11265603B2 (en) Information processing apparatus and method, display control apparatus and method, reproducing apparatus and method, and information processing system
US11601699B2 (en) Predictive content delivery for video streaming services
CN109416931B (zh) 用于视线跟踪的装置和方法
US20180376205A1 (en) Method and apparatus for remote parental control of content viewing in augmented reality settings
US8643703B1 (en) Viewer tracking image display
US10541000B1 (en) User input-based video summarization
US20120320013A1 (en) Sharing of event media streams
KR101895846B1 (ko) 소셜 네트워킹 툴들과의 텔레비전 기반 상호작용의 용이화
US10296281B2 (en) Handheld multi vantage point player
US10156898B2 (en) Multi vantage point player with wearable display
US20210097667A1 (en) Video quality measurement for virtual cameras in volumetric immersive media
US11245887B2 (en) Electronic device and operation method therefor
KR101847200B1 (ko) 객체 제어 방법 및 시스템
WO2017169369A1 (ja) 情報処理装置、情報処理方法、プログラム
US20180124374A1 (en) System and Method for Reducing System Requirements for a Virtual Reality 360 Display
US20180376204A1 (en) Method and apparatus for displaying content in augmented reality settings
EP4080907A1 (en) Information processing device and information processing method
WO2018002423A1 (en) Recommendation method and system
KR102487976B1 (ko) 전자 장치 및 그 동작방법
US11936839B1 (en) Systems and methods for predictive streaming of image data for spatial computing
KR20220066724A (ko) 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200818

Termination date: 20210706