CN116137954A - 信息处理设备、信息处理方法和信息处理系统 - Google Patents

信息处理设备、信息处理方法和信息处理系统 Download PDF

Info

Publication number
CN116137954A
CN116137954A CN202180063408.1A CN202180063408A CN116137954A CN 116137954 A CN116137954 A CN 116137954A CN 202180063408 A CN202180063408 A CN 202180063408A CN 116137954 A CN116137954 A CN 116137954A
Authority
CN
China
Prior art keywords
viewpoint
resolution
region
recommended
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180063408.1A
Other languages
English (en)
Inventor
小仓翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN116137954A publication Critical patent/CN116137954A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开涉及一种能够实现更有利的宽范围图像的分发的信息处理设备、信息处理方法和信息处理系统。控制单元执行控制以在图像中以第一分辨率编码与对于显示设备的用户的视点对应的视点区域，以第二分辨率编码在所述图像中设定的推荐区域，并以低于所述第一分辨率和所述第二分辨率的第三分辨率编码其他区域。例如，本技术可以应用于图像分发系统。

Description

信息处理设备、信息处理方法和信息处理系统
技术领域
本公开涉及一种信息处理设备、信息处理方法和信息处理系统，更具体地，涉及一种能够实现更有利的宽范围图像的分发的信息处理设备、信息处理方法和信息处理系统。
背景技术
通常，在诸如虚拟现实(VR)图像之类的全景图像在诸如头戴式显示器(HMD)或平板计算机终端之类的显示设备上被查看的情况下，仅显示全景图像的部分区域。
作为分发此类全景图像的高效的方法，使用头部追踪或眼动追踪以高分辨率分发用户的查看区域并以低分辨率分发其他区域的方法是已知的。此方法实现了频带节约和显示设备的负荷减低。
例如，专利文献1公开了对于包括要向用户呈现的当前呈现区域的部分视频分发高分辨率视频数据并对于其他部分视频分发低分辨率视频数据的视频分发方法。
引用列表
专利文献
专利文献1：日本专利申请特许公开No.2016-167699
发明内容
本发明要解决的问题
然而，在传统的技术中，在一些情况下，当查看方向被改变时无法有利地分发全景图像。
已经鉴于此类状况进行本公开，并且其目的为实现更有利的宽范围图像的分发。
问题的解决方案
根据本公开的第一方面的信息处理设备是一种包括控制单元的信息处理设备，所述控制单元执行控制以在图像中以第一分辨率编码与对于显示设备的用户的视点对应的视点区域，以第二分辨率编码在所述图像中设定的推荐区域，并以低于所述第一分辨率和所述第二分辨率的第三分辨率编码其他区域。
根据本公开的第一方面的信息处理方法是一种包括信息处理设备的信息处理方法，所述信息处理设备执行控制以在图像中以第一分辨率编码与对于显示设备的用户的视点对应的视点区域，以第二分辨率编码在所述图像中设定的推荐区域，并以低于所述第一分辨率和所述第二分辨率的第三分辨率编码其他区域。
根据本公开的第二方面的信息处理设备是一种包括获取控制单元和显示控制单元的信息处理设备，所述获取控制单元执行控制以从由分发服务器传输的图像中经由不同的传输路径获取以第一分辨率编码与用户的视点对应的视点区域的图像数据和以第二分辨率编码在所述图像中设定的推荐区域的所述图像数据，所述显示控制单元基于所述图像数据显示所述视点区域，其中当所述用户的视点移动到所述推荐区域时，所述显示控制单元显示所述推荐区域代替所述视点区域。
根据本公开的第二方面的信息处理方法是一种包括信息处理设备的信息处理方法，所述信息处理设备执行控制以从由分发服务器传输的图像中经由不同的传输路径获取以第一分辨率编码与用户的视点对应的视点区域的图像数据和以第二分辨率编码在所述图像中设定的推荐区域的所述图像数据，所述信息处理设备基于所述图像数据显示所述视点区域，并且当所述用户的视点移动到所述推荐区域时，所述信息处理设备显示所述推荐区域代替所述视点区域。
根据本公开的第三方面的信息处理系统是一种包括分发服务器和显示设备的信息处理系统，其中所述分发服务器包括控制单元，所述控制单元执行控制以在图像中以第一分辨率编码与对于所述显示设备的用户的视点对应的视点区域，以第二分辨率编码在所述图像中设定的推荐区域，并以低于所述第一分辨率和所述第二分辨率的第三分辨率编码其他区域。
在本公开的第一和第三方面中，执行控制以在图像中以第一分辨率编码与对于显示设备的用户的视点对应的视点区域，以第二分辨率编码在所述图像中设定的推荐区域，并以低于所述第一分辨率和所述第二分辨率的第三分辨率编码其他区域。
在本公开的第二方面中，执行控制以从由分发服务器传输的图像中经由不同的传输路径获取以第一分辨率编码与用户的视点对应的视点区域的图像数据和以第二分辨率编码在所述图像中设定的推荐区域的所述图像数据，基于所述图像数据显示所述视点区域，并且当所述用户的视点移动到所述推荐区域时，显示所述推荐区域代替所述视点区域。
附图说明
图1是图示了根据本公开的实施例的图像分发系统的概要的图。
图2是图示了图像分发系统的功能配置示例的框图。
图3是图示了宽范围图像的各区域的分发的示例的图。
图4是图示了RWP数据的示例的图。
图5是图示了包括推荐区域的图像数据的示例的图。
图6是用于说明显示设备的操作的流程的流程图。
图7是用于说明分发服务器的操作的流程的流程图。
图8是图示了推荐区域的示例的图。
图9是图示了推荐区域的示例的图。
图10是图示了推荐区域的示例的图。
图11是图示了图像分发系统的另一个功能配置示例的框图。
图12是图示了宽范围图像的各区域的分发的示例的图。
图13是用于说明层次结构数据的图。
图14是用于解释显示设备的操作的流程的流程图。
图15是图示了存在多个推荐区域的情况下的处理的示例的图。
图16是图示了存在多个推荐区域的情况下的处理的示例的图。
图17是图示了存在多个推荐区域的情况下的处理的示例的图。
图18是图示了视点区域和推荐区域重叠的情况下的处理的示例的图。
图19是图示了视点区域和推荐区域重叠的情况下的处理的示例的图。
图20是图示了视点区域和推荐区域重叠的情况下的处理的示例的图。
图21是图示了视点区域和推荐区域重叠的情况下的处理的示例的图。
图22是图示了计算机的硬件配置示例的框图。
具体实施方式
在下文中，将说明用于实施本公开的模式(以下称为实施例)。注意，将按照以下顺序来给出说明。
1.图像分发系统的概述
2.第一实施例(通过一个流的分发)
3.推荐区域的变体
4.第二实施例(通过多个流的分发)
5.根据推荐区域的处理的示例
6.计算机配置示例
<1.图像分发系统的概述>
图1是图示了根据本实施例的图像分发系统的概要的图。
如图1中所示，图像分发系统1包括分发服务器10和经由网络NW连接到分发服务器10的显示设备20。
分发服务器10被包括在诸如因特网之类的网络NW上构建的所谓的云计算中。诸如用360度相机通过对真实空间进行成像获得的全方位图像或诸如由计算机图形学(CG)生成的360度CG图像之类的VR图像之类的、表示比显示设备20的显示区域中能够显示的范围更宽的范围的图像(以下也称为宽范围图像)作为视频内容被上传到分发服务器10。宽范围图像不限于使得能够查看整个360度周围的360度图像，并且包括例如使得能够查看180度周围的180度图像。在以下说明中，宽范围图像是移动图像，但也可以是静止图像。
分发服务器10经由网络NW向显示设备20分发上传的视频内容(宽范围图像)。视频内容的分发可以是实时分发或视频点播(VOD)分发。
显示设备20是头戴式显示器(HMD)或平板计算机终端等。在显示设备20是HMD的情况下，根据用户的视点(头的方向或视线的方向)在显示设备20的显示区域(显示单元)中仅显示视频内容的部分区域。此外，在显示设备20是平板计算机终端的情况下，根据用户的操作(对于作为显示单元的触摸面板的触摸输入、由陀螺仪传感器检测的平板计算机终端的倾斜等)仅显示视频内容的部分区域。
具体地，分发服务器10基于上传的视频内容生成通过对于每个区域(对于每个视点)编码视频内容获得的视点图像。显示设备20通过根据用户的视点请求分发服务器10传输视点图像来获取与用户的视点对应的视点图像。
在这个时候，分发服务器10以高分辨率分发与用户的视点对应的视点区域，以中分辨率分发在视频内容中设定的推荐区域，并以低分辨率分发其他区域。作为结果，即使当用户的视点移动到用户很可能注意的推荐区域时，用户也可以查看具有一定质量的图像。
这里，高分辨率指显示设备20所支持的分辨率中的最高的分辨率、实现作为视频内容保证的最高的质量的分辨率、按照相机所捕获的图像的原样的分辨率等。另一方面，低分辨率是低于高分辨率的分辨率，并指作为视频内容可以在没有故障的情况下查看的最低限度的分辨率。然后，中分辨率指低于高分辨率并且高于低分辨率的分辨率。在受到分发频带等的影响时，中分辨率可以是尽可能接近于高分辨率的分辨率，或者在分发频带中存在余量的环境中，中分辨率可以是与高分辨率相同的分辨率。
可以不论图像分发系统1预先确定这些分辨率(高分辨率、中分辨率、低分辨率)，或者可以对于每个图像分发系统1设定这些分辨率。此外，可以由用户来适当地设定这些分辨率。
在下文中，将说明根据本实施例的图像分发系统的具体配置。
<2.第一实施例>
(图像分发系统的框图)
图2是图示了根据第一实施例的图像分发系统1的功能配置示例的框图。
图2的图像分发系统1除了包括分发服务器10和显示设备20以外，还包括相机31和传感器32。
相机31和传感器32被安装在用于对戏剧或电影等的表演者进行成像的成像现场，用于记录艺术家的现场表演的现场表演会场，或用于对诸如足球、英式橄榄球或田径之类的体育赛事中的运动员或管理者进行成像的体育场等中以对表演者、艺术家或运动员等进行成像和感测。
相机31能够捕获宽范围图像，并且是例如360度相机。在这种情况下，由相机31拍摄成像现场、现场表演会场或体育场等获得的全方位图像作为宽范围图像被上传到分发服务器10。
传感器32能够获取诸如由相机31进行成像的表演者、艺术家或运动员之类的拍摄对象的位置(距离)，并且是例如立体相机或深度传感器等。传感器32所感测的表演者、艺术家或运动员的感测结果也与宽范围图像一起被上传到分发服务器10。宽范围图像和感测结果优选地相互同步。注意，传感器32可以直接附接到表演者、艺术家或运动员等。
分发服务器10包括编码器51、传输单元52和控制单元53。
在控制单元53的控制下，编码器51对于每个区域编码相机31所捕获的宽范围图像，从而生成编码宽范围图像的各区域的图像数据。
在控制单元53的控制下，传输单元52作为一个流向显示设备20传输编码器51所生成的图像数据中与来自显示设备20的获取请求对应的图像数据。
控制单元53控制包括编码器51和传输单元52的分发服务器10的各单元。
具体地，控制单元53控制通过编码器51的每个区域的图像数据的生成，并控制通过传输单元52的图像数据的传输。
例如，控制单元53执行控制以在宽范围图像中以第一分辨率编码与对于显示设备20的用户的视点对应的视点区域，以第二分辨率编码在宽范围图像中设定的推荐区域，并以低于第一分辨率和第二分辨率的第三分辨率编码其他区域。推荐区域是推荐查看宽范围图像的用户特别注意的区域。第一分辨率高于或等于第二分辨率。这里，编码器51生成以高分辨率编码视点区域、以中分辨率编码推荐区域并以低分辨率编码其他区域的图像数据。
基于以下信息来设定推荐区域：来自传感器32的宽范围图像中的拍摄对象的感测结果，指示在成像现场、现场表演会场或体育场的管理者或成像工作人员等的操作的操作信息，指示查看了分发的宽范围图像的其他用户的查看历史的查看历史信息等。在宽范围图像中，可以在时间和空间上设定多个推荐区域。
此外，控制单元53生成表示在宽范围图像中设定的推荐区域的推荐区域信息。推荐区域信息包括宽范围图像中的推荐区域的时间位置(再现时间)和空间位置(方向)。
控制单元53与从传输单元52向显示设备20传输的图像数据同步向显示设备20供给推荐区域信息。推荐区域信息可以作为图像数据的元数据被打包在图像数据中并传输到显示设备20。
显示设备20包括推荐区域信息获取单元71、视点信息获取单元72、获取控制单元73、缓冲器74、解码器75、显示控制单元76和显示单元77。
推荐区域信息获取单元71从分发服务器10获取推荐区域信息，并向获取控制单元73供给推荐区域信息。
视点信息获取单元72获取表示查看宽范围图像的用户的视点的视点信息，并向获取控制单元73和解码器75供给视点信息。视点信息可以是通过眼动追踪获得的视线检测结果，或者可以是指示通过头部追踪获得的头部的朝向和姿势的信息。
获取控制单元73基于来自视点信息获取单元72的视点信息请求分发服务器10获取与用户的视点对应的视点区域的图像数据。
作为结果，缓冲器74获取与用户的视点对应的视点区域的图像数据(高分辨率图像数据)。此外，与视点区域的图像数据一起，缓冲器74获取推荐区域的中分辨率图像数据和其他区域的低分辨率图像数据。所获取的图像数据被暂时保持在缓冲器74中并按顺序供给解码器75。
解码器75基于来自视点信息获取单元72的视点信息解码从缓冲器74按顺序供给的与用户的视点对应的图像数据，并向显示控制单元76供给解码的图像数据。
显示控制单元76基于由解码器75解码的图像数据，使作为显示器的显示单元77显示高分辨率视点区域。
(宽范围图像的分发)
这里，将说明图2的图像分发系统1中的宽范围图像的分发。
图3是图示了宽范围图像的各区域的分发的示例的图。
在图3中所示的宽范围图像P10中，假定设定了与用户的视点对应的视点区域V11和推荐区域R12。在这种情况下，在图2的图像分发系统1中，作为一个流传输以高分辨率编码视点区域V11、以中分辨率编码推荐区域R12并以低分辨率编码其他区域的图像数据。例如，作为通过打包宽范围图像的每一帧同时对于每个区域改变分辨率获得的按区域打包(region wise packing)(RWP)数据来传输图像数据。
图4是图示了RWP数据的示例的图。
例如，RWP数据是对于每个区域在位置和大小上改变11K大小的宽范围图像(的每一帧)并在二维平面上布置各区域以便整体上形成矩形并且以4K大小打包各区域的编码的数据。在图4的示例中，图示了VR图像的一帧中的五个区域被打包为视口(viewport)(显示区域)的五段RWP数据。
图4的图A图示了在VR图像中以高分辨率打包视口1所指示的区域、以中分辨率打包A和B所指示的区域并以低分辨率打包X和Y所指示的区域的RWP数据。这里，视口1与用户的斜左后方的视点区域对应，并且例如，当用户的视点移动到斜左后方时，图A中的RWP数据被传输到显示设备20。
图4的图B图示了在VR图像中以高分辨率打包视口2所指示的区域、以中分辨率打包A和B所指示的区域并以低分辨率打包X和Y所指示的区域的RWP数据。这里，视口2与用户的左侧的视点区域对应，并且例如，当用户的视点移动到左侧时，图B中的RWP数据被传输到显示设备20。
图4的图C图示了在VR图像中以高分辨率打包视口3所指示的区域、以中分辨率打包A和B所指示的区域并以低分辨率打包X和Y所指示的区域的RWP数据。这里，视口3与用户的正面的视点区域对应，并且在用户的视点在正面的情况下，图C中的RWP数据被传输到显示设备20。
图4的图D图示了在VR图像中以高分辨率打包视口4所指示的区域、以中分辨率打包A和B所指示的区域并以低分辨率打包X和Y所指示的区域的RWP数据。这里，视口4与用户的右侧的视点区域对应，并且例如，当用户的视点移动到右侧时，图D中的RWP数据被传输到显示设备20。
图4的图E图示了在VR图像中以高分辨率打包视口5所指示的区域、以中分辨率打包A和B所指示的区域并以低分辨率打包X和Y所指示的区域的RWP数据。这里，视口5与用户的斜右后方的视点区域对应，并且例如，当用户的视点移动到斜右后方时，图E中的RWP数据被传输到显示设备20。
以这种方式，在本实施例中，作为图像数据传输RWP数据。例如，在传输通过编码图3中的宽范围图像P10获得的图像数据的情况下，传输如图5中所示的以高分辨率打包视点区域V11、以中分辨率打包推荐区域R12并以低分辨率打包其他区域的RWP数据。
(显示设备的操作的流程)
接下来，将参照图6的流程图说明显示设备20的操作的流程。
例如，基本上，在与显示单元77上的图像的绘图速度对应的定时重复图6中的处理。
在步骤S11中，推荐区域信息获取单元71从分发服务器10获取推荐区域信息。
在步骤S12中，视点信息获取单元72获取表示查看宽范围图像的用户的视点的视点信息。
在步骤S13中，获取控制单元73基于视点信息获取单元72所获取的视点信息确定用户的视点是否已经显著地变化。
如果在步骤S13中确定用户的视点尚未显著地变化，则处理前进到步骤S14。
在步骤S14中，获取控制单元73请求分发服务器10获取与当时的用户的视点对应的视点区域具有高分辨率并且由在步骤S11中获取的推荐区域信息所表示的推荐区域具有中分辨率的图像数据。缓冲器74响应于来自获取控制单元73的请求获取从分发服务器10传输的图像数据。
在步骤S15中，解码器75解码在先前定时由缓冲器74获取的图像数据，并且显示控制单元76基于由解码器75解码的图像数据使显示单元77显示高分辨率视点区域。在步骤S15之后，处理返回到步骤S11，并且重复后续处理。
另一方面，如果在步骤S13中确定用户的视点已经显著地变化，则处理前进到步骤S16。
在步骤S16中，获取控制单元73基于视点信息获取单元72所获取的视点信息确定用户的视点是否已经移动到推荐区域。
如果在步骤S16中确定用户的视点已经移动到推荐区域，则处理前进到步骤S17。
在步骤S17中，获取控制单元73请求分发服务器10获取推荐区域具有高分辨率的图像数据。缓冲器74响应于来自获取控制单元73的请求获取从分发服务器10传输的图像数据。
在步骤S18中，解码器75解码在先前定时由缓冲器74获取的图像数据，并且显示控制单元76基于由解码器75解码的图像数据使显示单元77显示中分辨率推荐区域。在步骤S18之后，处理返回到步骤S11，并且重复后续处理。在后续处理中，从分发服务器10获取推荐区域作为视点区域的高分辨率图像数据。
与此同时，如果在步骤S16中确定用户的视点尚未移动到推荐区域，即如果用户的视点已经移动到推荐区域以外的另一个区域，则处理前进到步骤S19。
在步骤S19中，获取控制单元73基于视点信息获取单元72所获取的视点信息更新指示要在宽范围图像的各区域中获取的区域的获取区域信息。
在步骤S20中，获取控制单元73请求分发服务器10获取变化后视点区域具有高分辨率的图像数据，所述变化后视点区域是在用户的视点已经变化之后的视点区域并由所更新的获取区域信息来表示。缓冲器74响应于来自获取控制单元73的请求获取从分发服务器10传输的图像数据。
在步骤S21中，显示控制单元76确定是否能够显示高分辨率的变化后视点区域。在这个时候，由于在先前定时由缓冲器74获取的图像数据中包括的变化后视点区域具有低分辨率，确定无法显示具有高分辨率的变化后视点区域，并且处理前进到步骤S22。
在步骤S22中，解码器75解码在先前定时由缓冲器74获取的图像数据，并且显示控制单元76基于由解码器75解码的图像数据使显示单元77显示先前的(高分辨率的)视点区域。在步骤S22之后，处理返回到步骤S20，并且重复步骤S20和S21。也在与显示单元77上的图像的绘图速度对应的定时重复步骤S20和S21。
另一方面，如果在步骤S21中确定能够显示高分辨率的变化后视点区域，则处理前进到步骤S23，解码器75解码在先前定时由缓冲器74获取的图像数据，并且显示控制单元76基于由解码器75解码的图像数据使显示单元77显示高分辨率的变化后视点区域。在步骤S23之后，处理返回到步骤S11，并且重复后续处理。
如上文所述，在缓冲器74中，缓存了高分辨率视点区域以及中分辨率推荐区域。作为结果，当用户的视点移动到推荐区域以外的其他区域时，会发生延迟直到以高分辨率显示查看区域为止。然而，当用户的视点移动到推荐区域时，以中分辨率显示用户很可能注意的推荐区域。因此，用户可以查看具有一定质量的图像。
(分发服务器的操作的流程)
接下来，将参照图7的流程图说明分发服务器10的操作的流程。
例如，基本上，也在与显示设备20(显示单元77)中的图像的绘图速度对应的定时重复图7的处理。
在步骤S31中，控制单元53控制编码器51以对于宽范围图像的每一帧以不同分辨率编码宽范围图像的各区域。
例如，生成宽范围图像的各区域被打包为视口的五段RWP数据。在这个时候，在各RWP数据中，如果存在被设定为推荐区域的区域，则以中分辨率打包该区域。然而，注意，这不适用于作为视口打包被设定为推荐区域的区域的RWP数据。
在步骤S32中，控制单元53基于来自显示设备20的图像数据的请求，从编码器51所编码的图像数据中选择与显示设备20的请求对应的图像数据作为向显示设备20传输的目标。
例如，响应于基于指示用户的视点的视点信息的来自显示设备20的请求，选择与该用户的视点对应的视点区域被打包为视口的RWP数据作为向显示设备20传输的目标。此外，当用户的视点移动到推荐区域时，响应于来自显示设备20的请求，选择推荐区域被打包为视口的RWP数据作为向显示设备20传输的目标。
在步骤S33中，控制单元53控制传输单元52以向显示设备20传输作为向显示设备20传输的目标选择的图像数据。在步骤S33之后，处理返回到步骤S31，并且重复后续处理。
根据以上的处理，作为以高分辨率编码宽范围图像的各区域的图像数据，向显示设备20分发包括中分辨率推荐区域的图像数据。作为结果，即使当用户的视点移动到用户很可能注意的推荐区域时，用户也可以在没有延迟的情况下查看具有一定质量的图像，并且可以实现更有利的宽范围图像的分发。
注意，在以上说明中，假定不论来自显示设备20的请求，生成以不同分辨率编码宽范围图像的各区域的多段图像数据。
相反，每次分发服务器10接收来自显示设备20的基于指示用户的视点的视点信息或指示推荐区域的推荐区域信息的请求时，可以生成通过在宽范围图像的各区域中以高分辨率编码与用户的视点对应的区域并以中分辨率编码与推荐区域对应的区域获得的图像数据。
<3.推荐区域的变体>
这里，将说明在宽范围图像中设定的推荐区域的变体。
在宽范围图像中，可以在空间上设定多个推荐区域。
例如，如在图8中所示的宽范围图像P20中，除了与用户的视点对应的视点区域V21以外，还设定了两个推荐区域R22和R23。
在这种情况下，基于用户的操作、偏好或视线转变中的至少一个，选择一个推荐区域作为最终推荐区域。
即，可以由用户来选择最终推荐区域，或者可以基于用户的偏好自动地选择最终推荐区域。此外，作为最终推荐区域，可以选择与基于预先获取的用户的视线转变估计的视点接近的推荐区域。
在宽范围图像中，推荐区域的周边区域可以被包括在该推荐区域中。
例如，如在图9中所示的宽范围图像P30中，在设定了与用户的视点对应的视点区域V31和推荐区域R32的情况下，由图中的虚线框所指示的、在推荐区域R32周围具有预定宽度的区域SA也以与推荐区域R32相同的方式被处理。
在这种情况下，可以以中分辨率编码包括区域SA的推荐区域R32，或者当用户的视点移动到包括区域SA的推荐区域R32时，可以显示推荐区域R32。
在宽范围图像中，视点区域和推荐区域的一部分可以重叠。
例如，如在图10中所示的宽范围图像P40中，考虑与用户的视点对应的视点区域V41和推荐区域R42的一部分重叠的情况。在此类情况下，视点区域可以从视点区域V41转变到推荐区域R42。作为结果，能够允许用户更可靠地查看提供宽范围图像P40的一侧想要向用户推荐的区域。
<4.第二实施例>
(图像分发系统的框图)
图11是图示了根据第二实施例的图像分发系统1的功能配置示例的框图。
类似于图2的图像分发系统，图11的图像分发系统1除包括分发服务器10和显示设备20外还包括相机31和传感器32。
图11中的分发服务器10包括编码器151、传输单元152和控制单元153。
编码器151、传输单元152和控制单元153基本上分别具有与图2中的编码器51、传输单元52和控制单元53的功能类似的功能。
然而注意，这里，编码器151生成以高分辨率编码视点区域和推荐区域并以低分辨率编码其他区域的图像数据。
此外，在控制单元153的控制下，传输单元152作为多个(在图11的示例中是两个)流向显示设备20传输编码器151所生成的图像数据中与来自显示设备20的获取请求对应的图像数据。
图11中的显示设备20包括推荐区域信息获取单元171、视点信息获取单元172、获取控制单元173、解码器174-1和174-2、切换单元175、显示控制单元176和显示单元177。
推荐区域信息获取单元171、视点信息获取单元172、显示控制单元176和显示单元177基本上分别具有与图2中的推荐区域信息获取单元71、视点信息获取单元72、显示控制单元76和显示单元77的功能类似的功能。
获取控制单元173请求分发服务器10获取作为多个流传输的图像数据。具体地，基于推荐区域信息获取单元171所获取的推荐区域信息和视点信息获取单元172所获取的视点信息，获取控制单元173执行控制以作为不同的流获取与用户的视点对应的视点区域的图像数据和推荐区域的图像数据。
解码器174-1和174-2中的每一个具有组合图2中的缓冲器74和解码器75的功能。即，每个解码器174-1、174-2获取来自分发服务器10的图像数据，暂时保持图像数据，并按顺序解码保持的图像数据。解码器174-1和174-2相互同步解码图像数据。
切换单元175基于来自视点信息获取单元172的视点信息将向显示控制单元176供给的图像数据切换为由解码器174-1和174-2解码的图像数据中的一段。即，在由解码器174-1和174-2解码的图像数据中，向显示控制单元176供给与用户的视线对应的区域的图像数据。显示控制单元176基于来自切换单元175的图像数据显示视点区域，或者当用户的视点移动到推荐区域时，显示控制单元176显示推荐区域代替视点区域。
(宽范围图像的分发)
这里，将说明图11的图像分发系统1中的宽范围图像的分发。
图12是图示了宽范围图像的各区域的分发的示例的图。
在图12中所示的宽范围图像P10中，假定设定了与用户的视点对应的视点区域V11和推荐区域R12。在这种情况下，在图11的图像分发系统1中，例如，作为一个流传输以高分辨率编码视点区域V11的图像数据，并且作为另一个流传输以高分辨率编码推荐区域R12的图像数据和以低分辨率编码其他区域的图像数据。例如，作为对于每个分辨率使宽范围图像的各区域层次化的层次结构数据来传输图像数据。
图13是图示了层次结构数据的示例的图。
层次结构数据是以不同分辨率编码宽范围图像(的每一帧)的各区域的编码的数据。图13的示例图示了以三个等级的分辨率(高分辨率、中分辨率、低分辨率)编码宽范围图像的一帧中的三个区域A、B和C的编码的数据。
在图13的示例中，例如，在用户的视点在区域B中并且推荐区域被设定在区域C中的情况下，作为一个流向显示设备20传输以高分辨率编码区域B(视点区域)的编码的数据，并且作为另一个流向显示设备20传输以高分辨率编码区域C的编码的数据。在这个时候，对于包括区域A的其他区域，作为所述流中的一个或者又一个流向显示设备20传输以低分辨率编码那些区域的编码的数据。
此外，可以向显示设备20传输以高分辨率编码与用户的视点对应的区域(视点区域)的编码的数据和以中分辨率编码其邻近区域的编码的数据。此外，在带宽中没有余量的情况下，对于设定推荐区域的区域，可以向显示设备20传输以中分辨率编码该区域的编码的数据。
在以上说明中，假定作为多个流传输的图像数据是层次结构数据。然而，所述图像数据可以是上述的RWP数据。
即在图13的示例中，在用户的视点在区域B中并且推荐区域被设定在区域C中的情况下，仅需要作为一个流向显示设备20传输以高分辨率打包区域B(视点区域)的RWP数据，并且作为另一个流向显示设备20传输以高分辨率打包区域C的RWP数据。
以这种方式，在本实施例中，作为图像数据传输层次结构数据或RWP数据。
(显示设备的操作的流程)
接下来，将参照图14的流程图说明图13中的显示设备20的操作的流程。
例如，基本上，在与显示单元177上的图像的绘图速度对应的定时重复图14中的处理。注意，图14的流程图中的步骤S111到S113中的处理与图6的流程图中的步骤S11到S13中的处理类似，因此省略该说明。
即在步骤S113中确定用户的视点尚未显著地变化的情况下，处理前进到步骤S114。
在步骤S114中，获取控制单元173请求分发服务器10获取与当时的用户的视点对应的视点区域的高分辨率图像数据和推荐区域信息所表示的推荐区域的高分辨率图像数据。解码器174-1响应于获取控制单元173的请求获取从分发服务器10传输的视点区域的图像数据，并解码在先前定时获取的图像数据。解码器174-2响应于获取控制单元173的请求获取从分发服务器10传输的推荐区域的图像数据，并解码在先前定时获取的图像数据。
在步骤S115中，切换单元175向显示控制单元176供给由解码器174-1解码的、与用户的视线对应的视点区域的图像数据，并且显示控制单元176使显示单元177显示高分辨率视点区域作为主线图像。在步骤S115之后，处理返回到步骤S111，并且重复后续处理。
另一方面，如果在步骤S113中确定用户的视点已经显著地变化，则处理前进到步骤S116。
在步骤S116中，获取控制单元173基于视点信息获取单元172所获取的视点信息确定用户的视点是否已经移动到推荐区域。
如果在步骤S116中确定用户的视点已经移动到推荐区域，则处理前进到步骤S117。
在步骤S117中，切换单元175通过将向显示控制单元176供给的图像数据切换为由解码器174-2解码的推荐区域的图像数据，来将主线图像切换为推荐区域。
在步骤S118中，显示控制单元176基于由解码器174-2解码的图像数据，使显示单元177显示高分辨率推荐区域。在步骤S118之后，处理返回到步骤S111，并且重复后续处理。在后续处理中，从分发服务器10获取以推荐区域作为视点区域的高分辨率图像数据。
与此同时，如果在步骤S116中确定用户的视点尚未移动到推荐区域，即如果用户的视点已经移动到推荐区域以外的另一个区域，则处理前进到步骤S119。
在步骤S119中，获取控制单元173基于视点信息获取单元172所获取的视点信息更新指示要在宽范围图像的各区域中获取的区域的获取区域信息。
在步骤S120中，获取控制单元173请求分发服务器10获取先前的视点区域的图像数据以及高分辨率的变化后视点区域的图像数据，所述变化后视点区域是在用户的视点已经变化之后的视点区域，并由所更新的获取区域信息来表示。解码器174-1响应于获取控制单元173的请求获取从分发服务器10传输的视点区域的图像数据，并解码在先前定时获取的图像数据。解码器174-2响应于获取控制单元73的请求开始获取从分发服务器10传输的变化后视点区域的图像数据。
在步骤S121中，显示控制单元176确定是否能够显示高分辨率的变化后视点区域。在这个时候，由于在先前定时由解码器174-2获取的图像数据是推荐区域的图像数据，确定无法显示变化后视点区域，并且处理前进到步骤S122。
在步骤S122中，显示控制单元176基于由解码器174-1解码的图像数据使显示单元177显示先前的(高分辨率的)视点区域。在步骤S122之后，处理返回到步骤S120，并且重复步骤S120和S121。也在与显示单元177上的图像的绘图速度对应的定时重复步骤S120和S121。
另一方面，如果在步骤S121中确定能够显示高分辨率的变化后视点区域，则处理前进到步骤S123，并且切换单元175通过将向显示控制单元176供给的图像数据切换为由解码器174-2解码的变化后视点区域的图像数据，来将主线图像切换为变化后视点区域。
在步骤S124中，显示控制单元176基于由解码器174-2解码的图像数据，使显示单元177显示高分辨率的变化后视点区域。在步骤S124之后，处理返回到步骤S111，并且重复后续处理。
如上文所述，由解码器174-1获取高分辨率视点区域，并且由解码器174-2获取高分辨率推荐区域。作为结果，当用户的视点移动到推荐区域以外的其他区域时，会发生延迟直到以高分辨率显示查看区域为止。然而，当用户的视点移动到推荐区域时，以高分辨率显示用户很可能注意的推荐区域。因此，用户可以查看高质量的图像。
(分发服务器的操作的流程)
接下来，将说明图13中的分发服务器10的操作的流程。图13的分发服务器10的操作的流程基本上与参照图7的流程图说明的图2的分发服务器10的操作的流程类似。
然而，注意，图13中的分发服务器10的操作与图13中的分发服务器10的操作的不同之处在于：响应于基于指示用户的视点的视点信息和指示推荐区域的推荐区域信息的来自显示设备20的请求，对于多个流中的每个选择要向显示设备20传输的图像数据。具体地，除了以高分辨率编码视点区域的图像数据以外，还选择以高分辨率编码推荐区域的图像数据作为向显示设备20传输的目标。
根据此类操作，与以高分辨率编码查看区域的图像数据一起，向显示设备20分发以高分辨率编码推荐区域的图像数据。作为结果，即使当用户的视点移动到用户很可能注意的推荐区域时，用户也可以在没有延迟的情况下查看高质量的图像，并且可以实现更有利的宽范围图像的分发。
<5.根据推荐区域的处理的示例>
在上文中，作为在宽范围图像中设定的推荐区域的变体，已经说明了设定多个推荐区域的示例(图8)和视点区域与推荐区域重叠的示例(图10)。这里，将说明每个情况下的处理的细节。
(存在多个推荐区域的情况下的处理的示例)
图15到图17是图示了存在多个推荐区域的情况下的处理的示例的图。这里，假定打包并作为一个流传输不同分辨率的图像数据。
在图15中所示的宽范围图像P110中，除了与用户的视点对应的视点区域V111以外，还设定了两个推荐区域R112和R113。在图15的示例中，整个视点区域V111与推荐区域R112重叠。
在这种情况下，如图中右侧所示，传输以高分辨率打包包括推荐区域R112的视点区域V111、以中分辨率打包推荐区域R113并以低分辨率打包其他区域的RWP数据。即推荐区域R112被视为与视点区域V111相同，并且选择推荐区域R113作为最终推荐区域。
在图16中所示的宽范围图像P110中，同样地，除了与用户的视点对应的视点区域V111以外，还设定了两个推荐区域R112和R113。然而，注意，在图16的示例中，视点区域V111没有与推荐区域R112和R113中的任何一个重叠。
在这种情况下，如图中右侧所示，传输以高分辨率打包视点区域V111、以中分辨率打包推荐区域R112和R113并以低分辨率打包其他区域的RWP数据。即作为最终推荐区域，选择并以相同分辨率打包推荐区域R112和R113。注意，图16的示例中的推荐区域R112和R113的分辨率(中分辨率)低于图15的示例中的推荐区域R113的分辨率(中分辨率)。
在图16的示例中，以相同分辨率打包推荐区域R112和R113。然而，可以根据对于推荐区域的加权来调整分辨率。
例如，类似于图16，在图17中所示的宽范围图像P110中，在除了与用户的视点对应的视点区域V111以外还设定了两个推荐区域R112和R113的情况下，根据到视点区域V111的距离来加权推荐区域。
在这种情况下，如图中右侧所示，虽然选择推荐区域R112和R113作为最终推荐区域，但以比远离视点区域V111的推荐区域R113更高的分辨率来打包接近于视点区域V111的推荐区域R112。
此外，虽然没有图示，但可以根据基于用户的偏好或用户的视线转变的推荐度而不是到视点区域V111的距离来加权推荐区域，或者可以根据用户的选择结果来加权推荐区域。
注意，在以上说明中，打包并作为一个流传输具有不同分辨率的图像数据。然而，在作为多个流传输具有不同分辨率的图像数据的情况下，对于对应的图像数据的每个流执行类似的处理。
(视点区域和推荐区域重叠的情况下的处理的示例)
图18到图21是图示了视点区域和推荐区域重叠的情况下的处理的示例的图。这里，假定打包并作为一个流传输不同分辨率的图像数据。
在图18中所示的宽范围图像P120中，与用户的视点对应的视点区域V121的一部分和推荐区域R122重叠。如上文所述，在难以估计用户的视点将移动到视点区域V121和推荐区域R122中的哪一个的状况中，以视点区域V121为中心的周围区域SA123被设定为要以中分辨率编码的区域(中分辨率区域)。
在图18的示例中，如图中下部所示，传输以高分辨率打包视点区域V121、以中分辨率打包推荐区域R122和周围区域SA123并以低分辨率打包其他区域的RWP数据。注意，在图18的示例中，虽然以比周围区域SA123的分辨率更高的分辨率来打包推荐区域R122，但可以逆转分辨率的等级。
此外，如图19中所示，在视点区域V121的整个区域被包括在作为中分辨率区域设定的周围区域SA123中的情况下，可以设定以推荐区域R122为中心的SA123。
在图20中所示的宽范围图像P120中，与用户的视点对应的整个视点区域V121与推荐区域R122重叠。以这种方式，在用户的视点在推荐区域R122中的状况中，以视点区域V121为中心的周围区域SA123被设定为中分辨率区域。
在图20的示例中，如图中下部所示，传输以高分辨率打包包括推荐区域R122的视点区域V121、以中分辨率打包周围区域SA123并以低分辨率打包其他区域的RWP数据。
图21图示了存在多个推荐区域并且视点区域和推荐区域中的任何一个重叠的情况的示例。
在图21中所示的宽范围图像P130中，除了与用户的视点对应的视点区域V131以外，还设定了两个推荐区域R132和R133，并且整个视点区域V131与推荐区域R132重叠。如上文所述，在用户的视点在多个推荐区域中的一个(推荐区域R132)中的状况中，基于多个推荐区域、同时包括视点区域V131的周围区域SA134被设定为中分辨率区域。
在图21的示例中，设定周围区域SA134使得包括包含视点区域V131的整个推荐区域R132和推荐区域R133的一部分。
如上文所述，因为视点区域和推荐区域重叠，即使在难以估计用户的视点将移动到哪里的状况中，设定周围区域也允许用户查看具有一定质量的图像。
注意，在以上说明中，打包并作为一个流传输具有不同分辨率的图像数据。然而，在作为多个流传输具有不同分辨率的图像数据的情况下，对于对应的图像数据的每个流执行类似的处理。
<6.计算机配置示例>
可以由硬件或软件来执行上述的一系列的处理。在由软件执行所述一系列的处理的情况下，将构成该软件的程序从程序记录介质安装到专用硬件中包含的计算机或通用个人计算机等。
图22是图示了根据程序执行上述的一系列的处理的计算机的硬件配置示例的框图。
由具有图22中所示的配置的计算机来实现上述的分发服务器10和显示设备20。
中央处理单元(CPU)301、只读存储器(ROM)302和随机存取存储器(RAM)303经由总线304相互连接。
输入/输出接口305也连接到总线304。包括键盘、鼠标等的输入单元306和包括显示器、扬声器等的输出单元307连接到输入/输出接口305。此外，包括硬盘和非易失性存储器等的存储单元308、包括网络接口等的通信单元309以及用于驱动可移除介质311的驱动器310连接到输入/输出接口305。
例如，在如上文所述配置的计算机中，CPU 301通过输入/输出接口305和总线304将存储单元308中存储的程序加载到RAM 303上，并执行所述程序以进行上述的一系列的处理。
例如，通过在可移除介质311中记录或者经由诸如局域网、因特网或数字广播之类的有线或无线传输介质来提供由CPU 301执行的程序，并将所述程序安装在存储单元308中。
注意，由计算机执行的程序可以是根据本说明书中说明的顺序按照时间顺序执行处理的程序，或者可以是并行执行或在诸如进行通话时之类的必要的时机执行处理的程序。
本公开的实施例不限于上述的实施例，并且可以在不脱离本公开的范围的情况下进行各种修改。
此外，本说明书中所述的效果仅为示例，并且不是限制性的。因此，可以获得其他效果。
此外，本公开可以具有以下配置。
(1)
一种信息处理设备，所述信息处理设备包括
控制单元，所述控制单元执行控制以在图像中以第一分辨率编码与对于显示设备的用户的视点对应的视点区域，以第二分辨率编码在所述图像中设定的推荐区域，并以低于所述第一分辨率和所述第二分辨率的第三分辨率编码其他区域。
(2)
根据(1)所述的信息处理设备，其中
所述第一分辨率高于或等于所述第二分辨率。
(3)
根据(1)所述的信息处理设备，其中
所述控制单元基于指示所述用户的视点的视点信息或指示所述推荐区域的推荐区域信息中的至少一个，来从通过编码所述图像的各区域获得的多段图像数据中选择对于所述显示设备的传输目标。
(4)
根据(3)所述的信息处理设备，其中
所述控制单元执行控制以作为一个流传输作为所述传输目标选择的所述图像数据。
(5)
根据(4)所述的信息处理设备，其中
当所述用户的视点移动到所述推荐区域时，所述控制单元选择以所述第一分辨率编码所述推荐区域的所述图像数据作为所述传输目标。
(6)
根据(4)或(5)所述的信息处理设备，其中
所述图像数据包括通过打包所述图像同时对于每个区域改变分辨率获得的按区域打包(RWP)数据。
(7)
根据(3)所述的信息处理设备，其中
所述控制单元执行控制以作为多个流传输作为所述传输目标选择的所述图像数据。
(8)
根据(7)所述的信息处理设备，其中
所述控制单元除了选择以所述第一分辨率编码所述视点区域的所述图像数据作为所述传输目标以外，还选择以所述第一分辨率编码所述推荐区域的所述图像数据作为所述传输目标。
(9)
根据(7)或(8)所述的信息处理设备，其中
所述图像数据包括通过对于每个分辨率使所述图像的各区域层次化获得的层次结构数据。
(10)
根据(7)或(8)所述的信息处理设备，其中
所述图像数据包括通过打包所述图像同时对于每个区域改变分辨率获得的按区域打包(RWP)数据。
(11)
根据(3)到(10)中的任何一个所述的信息处理设备，其中
在存在多个所述推荐区域的情况下，所述控制单元选择基于所述用户的操作、偏好或视线转变中的至少一个选择的所述推荐区域作为最终推荐区域。
(12)
根据(3)到(11)中的任何一个所述的信息处理设备，其中
在所述视点区域和所述推荐区域部分地或完全地重叠的情况下，所述控制单元选择以所述第二分辨率编码至少包括所述视点区域和所述推荐区域的一部分的周围区域的所述图像数据作为所述传输目标。
(13)
根据(1)到(12)中的任何一个所述的信息处理设备，其中
所述推荐区域包括所述推荐区域的周边区域。
(14)
一种信息处理方法，所述信息处理方法包括
信息处理设备，所述信息处理设备
执行控制以在图像中以第一分辨率编码与对于显示设备的用户的视点对应的视点区域，以第二分辨率编码在所述图像中设定的推荐区域，并以低于所述第一分辨率和所述第二分辨率的第三分辨率编码其他区域。
(15)
一种信息处理设备，所述信息处理设备包括：
获取控制单元，所述获取控制单元执行控制以从由分发服务器传输的图像中经由不同的传输路径获取以第一分辨率编码与用户的视点对应的视点区域的图像数据和以第二分辨率编码在所述图像中设定的推荐区域的所述图像数据；和
显示控制单元，所述显示控制单元基于所述图像数据显示所述视点区域，其中
当所述用户的视点移动到所述推荐区域时，所述显示控制单元显示所述推荐区域代替所述视点区域。
(16)
根据(15)所述的信息处理设备，其中
所述第一分辨率高于或等于所述第二分辨率。
(17)
根据(15)或(16)所述的信息处理设备，其中
所述获取控制单元基于指示所述用户的视点的视点信息和指示所述推荐区域的推荐区域信息来控制所述图像数据的获取。
(18)
根据(15)到(17)中的任何一个所述的信息处理设备，其中
在存在多个所述推荐区域的情况下，所述获取控制单元基于所述用户的操作、偏好或视线转变中的至少一个来选择要最终获取的所述推荐区域。
(19)
一种信息处理方法，所述信息处理方法包括：
信息处理设备，所述信息处理设备
从由分发服务器传输的图像中经由不同的传输路径获取以第一分辨率编码与用户的视点对应的视点区域的图像数据和以第二分辨率编码在所述图像中设定的推荐区域的所述图像数据；
基于所述图像数据显示所述视点区域；并且
当所述用户的视点移动到所述推荐区域时，显示所述推荐区域代替所述视点区域。
(20)
一种信息处理系统，所述信息处理系统包括：
分发服务器；和
显示设备，其中
所述分发服务器包括
控制单元，所述控制单元执行控制以在图像中以第一分辨率编码与对于所述显示设备的用户的视点对应的视点区域，以第二分辨率编码在所述图像中设定的推荐区域，并以低于所述第一分辨率和所述第二分辨率的第三分辨率编码其他区域。
附图标记列表
1图像分发系统
10分发服务器
20显示设备
31相机
32传感器
51编码器
52传输单元
53控制单元
71推荐区域信息获取单元
72视点信息获取单元
73获取控制单元
74缓冲器
75解码器
76显示控制单元
77显示单元
151 编码器
152 传输单元
153 控制单元
171 推荐区域信息获取单元
172 视点信息获取单元
173 获取控制单元
174-1,174-2解码器
175 切换单元
176 显示控制单元
177 显示单元

Claims (20)

1.一种信息处理设备，所述信息处理设备包括
控制单元，所述控制单元执行控制以在图像中以第一分辨率编码与对于显示设备的用户的视点对应的视点区域，以第二分辨率编码在所述图像中设定的推荐区域，并以低于所述第一分辨率和所述第二分辨率的第三分辨率编码其他区域。
2.根据权利要求1所述的信息处理设备，其中
所述第一分辨率高于或等于所述第二分辨率。
3.根据权利要求1所述的信息处理设备，其中
所述控制单元基于指示所述用户的视点的视点信息或指示所述推荐区域的推荐区域信息中的至少一个，来从通过编码所述图像的各区域获得的多段图像数据中选择对于所述显示设备的传输目标。
4.根据权利要求3所述的信息处理设备，其中
所述控制单元执行控制以作为一个流传输作为所述传输目标选择的所述图像数据。
5.根据权利要求4所述的信息处理设备，其中
当所述用户的视点移动到所述推荐区域时，所述控制单元选择以所述第一分辨率编码所述推荐区域的所述图像数据作为所述传输目标。
6.根据权利要求4所述的信息处理设备，其中
所述图像数据包括通过打包所述图像同时对于每个区域改变分辨率获得的按区域打包(RWP)数据。
7.根据权利要求3所述的信息处理设备，其中
所述控制单元执行控制以作为多个流传输作为所述传输目标选择的所述图像数据。
8.根据权利要求7所述的信息处理设备，其中
所述控制单元除了选择以所述第一分辨率编码所述视点区域的所述图像数据作为所述传输目标以外，还选择以所述第一分辨率编码所述推荐区域的所述图像数据作为所述传输目标。
9.根据权利要求7所述的信息处理设备，其中
所述图像数据包括通过对于每个分辨率使所述图像的各区域层次化获得的层次结构数据。
10.根据权利要求7所述的信息处理设备，其中
所述图像数据包括通过打包所述图像同时对于每个区域改变分辨率获得的按区域打包(RWP)数据。
11.根据权利要求3所述的信息处理设备，其中
在存在多个所述推荐区域的情况下，所述控制单元选择基于所述用户的操作、偏好或视线转变中的至少一个选择的所述推荐区域作为最终推荐区域。
12.根据权利要求3所述的信息处理设备，其中
在所述视点区域和所述推荐区域部分地或完全地重叠的情况下，所述控制单元选择以所述第二分辨率编码至少包括所述视点区域和所述推荐区域的一部分的周围区域的所述图像数据作为所述传输目标。
13.根据权利要求1所述的信息处理设备，其中
所述推荐区域包括所述推荐区域的周边区域。
14.一种信息处理方法，所述信息处理方法包括
信息处理设备，所述信息处理设备
执行控制以在图像中以第一分辨率编码与对于显示设备的用户的视点对应的视点区域，以第二分辨率编码在所述图像中设定的推荐区域，并以低于所述第一分辨率和所述第二分辨率的第三分辨率编码其他区域。
15.一种信息处理设备，所述信息处理设备包括：
获取控制单元，所述获取控制单元执行控制以从由分发服务器传输的图像中经由不同的传输路径获取以第一分辨率编码与用户的视点对应的视点区域的图像数据和以第二分辨率编码在所述图像中设定的推荐区域的所述图像数据；和
显示控制单元，所述显示控制单元基于所述图像数据显示所述视点区域，其中
当所述用户的视点移动到所述推荐区域时，所述显示控制单元显示所述推荐区域代替所述视点区域。
16.根据权利要求15所述的信息处理设备，其中
所述第一分辨率高于或等于所述第二分辨率。
17.根据权利要求15所述的信息处理设备，其中
所述获取控制单元基于指示所述用户的视点的视点信息和指示所述推荐区域的推荐区域信息来控制所述图像数据的获取。
18.根据权利要求15所述的信息处理设备，其中
在存在多个所述推荐区域的情况下，所述获取控制单元基于所述用户的操作、偏好或视线转变中的至少一个来选择要最终获取的所述推荐区域。
19.一种信息处理方法，所述信息处理方法包括：
信息处理设备，所述信息处理设备
执行控制以从由分发服务器传输的图像中经由不同的传输路径获取以第一分辨率编码与用户的视点对应的视点区域的图像数据和以第二分辨率编码在所述图像中设定的推荐区域的所述图像数据；
基于所述图像数据显示所述视点区域；并且
当所述用户的视点移动到所述推荐区域时，显示所述推荐区域代替所述视点区域。
20.一种信息处理系统，所述信息处理系统包括：
分发服务器；和
显示设备，其中
所述分发服务器包括
控制单元，所述控制单元执行控制以在图像中以第一分辨率编码与对于所述显示设备的用户的视点对应的视点区域，以第二分辨率编码在所述图像中设定的推荐区域，并以低于所述第一分辨率和所述第二分辨率的第三分辨率编码其他区域。
CN202180063408.1A 2020-09-23 2021-09-09 信息处理设备、信息处理方法和信息处理系统 Pending CN116137954A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020158545 2020-09-23
JP2020-158545 2020-09-23
PCT/JP2021/033075 WO2022065040A1 (ja) 2020-09-23 2021-09-09 情報処理装置、情報処理方法、および情報処理システム

Publications (1)

Publication Number Publication Date
CN116137954A true CN116137954A (zh) 2023-05-19

Family

ID=80845215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180063408.1A Pending CN116137954A (zh) 2020-09-23 2021-09-09 信息处理设备、信息处理方法和信息处理系统

Country Status (5)

Country Link
US (1) US20230300309A1 (zh)
EP (1) EP4221234A4 (zh)
JP (1) JPWO2022065040A1 (zh)
CN (1) CN116137954A (zh)
WO (1) WO2022065040A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6359993B2 (ja) 2015-03-09 2018-07-18 日本電信電話株式会社 映像配信方法、映像配信装置及び映像配信プログラム
EP3466076A1 (en) * 2016-05-26 2019-04-10 VID SCALE, Inc. Methods and apparatus of viewport adaptive 360 degree video delivery
US20180176468A1 (en) * 2016-12-19 2018-06-21 Qualcomm Incorporated Preferred rendering of signalled regions-of-interest or viewports in virtual reality video
US10931985B2 (en) * 2017-01-06 2021-02-23 Sony Corporation Information processing apparatus and information processing method
JP7212611B2 (ja) * 2017-02-27 2023-01-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
JP7130653B2 (ja) * 2017-09-12 2022-09-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像表示方法、画像配信方法、画像表示装置及び画像配信装置
JP6859286B2 (ja) * 2018-03-26 2021-04-14 Kddi株式会社 Ｖｒ映像配信装置および方法、ｖｒ映像再生装置および方法ならびにｖｒ映像システム
EP3672251A1 (en) * 2018-12-20 2020-06-24 Koninklijke KPN N.V. Processing video data for a video player apparatus

Also Published As

Publication number Publication date
EP4221234A1 (en) 2023-08-02
JPWO2022065040A1 (zh) 2022-03-31
US20230300309A1 (en) 2023-09-21
EP4221234A4 (en) 2024-02-28
WO2022065040A1 (ja) 2022-03-31

Similar Documents

Publication Publication Date Title
JP7029562B2 (ja) コンテンツを提供及び表示するための装置及び方法
US11924394B2 (en) Methods and apparatus for receiving and/or using reduced resolution images
Fan et al. A survey on 360 video streaming: Acquisition, transmission, and display
US11653065B2 (en) Content based stream splitting of video data
JP6410918B2 (ja) パノラマ映像コンテンツの再生に使用するシステム及び方法
KR102632421B1 (ko) 콘텐트를 캡처, 스트리밍, 및/또는 재생하기 위한 방법들 및 장치
US20160277772A1 (en) Reduced bit rate immersive video
CN106063277A (zh) 用于对内容进行流传输的方法和装置
US11317124B2 (en) Apparatus and method for generating an image data stream
Heymann et al. Representation, coding and interactive rendering of high-resolution panoramic images and video using MPEG-4
WO2018004936A1 (en) Apparatus and method for providing and displaying content
EP4221234A1 (en) Information processing device, information processing method, and information processing system
US20240107110A1 (en) Changing video tracks in immersive videos
TW202339495A (zh) 多視圖視訊資料之呈現
JP2023085913A (ja) 動画配信システム、動画配信装置、方法、及びプログラム
JP2023085912A (ja) 動画配信システム、動画配信装置、端末、方法、データ構造、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination