CN107409233A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN107409233A
CN107409233A CN201680012776.2A CN201680012776A CN107409233A CN 107409233 A CN107409233 A CN 107409233A CN 201680012776 A CN201680012776 A CN 201680012776A CN 107409233 A CN107409233 A CN 107409233A
Authority
CN
China
Prior art keywords
image
face
resolution
celestial sphere
faces
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680012776.2A
Other languages
English (en)
Other versions
CN107409233B (zh
Inventor
泉伸明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107409233A publication Critical patent/CN107409233A/zh
Application granted granted Critical
Publication of CN107409233B publication Critical patent/CN107409233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

本公开内容涉及一种可以即时显示用户的视场范围的图像的图像处理装置和图像处理方法。编码器以高分辨率对每个面的全方位图像——包括从每个方向上的图像生成的立方体的多个面的图像——进行编码以生成与每个面对应的高分辨率编码流。编码器以低分辨率对全方位图像进行编码以生成低分辨率编码流。本公开内容可以应用于例如生成全方位图像并显示用户的视场范围的图像的图像显示系统。

Description

图像处理装置和图像处理方法
技术领域
本公开内容涉及图像处理装置和图像处理方法。更具体地，本公开内容涉及用于即时显示用户的视场的图像的图像处理装置和图像处理方法。
背景技术
存在如下记录装置：通过将在水平方向上具有360度并且在垂直方向上具有180度的图像映射到二维(2D)图像(面图像)，根据多相机设备捕获的全方位图像来生成天球图像，所生成的天球图像被编码和记录(例如参见PTL 1)。
上述类型的记录装置在生成天球图像时使用诸如等距圆柱投影或立方体映射的方法，通过该方法，三维(3D)图像被映射到2D图像。在使用等距圆柱投影作为用于生成天球图像的方法的情况下，天球图像是通过从捕获图像映射到球体表面的等距圆柱投影形成的球体图像。在使用立方体映射作为用于生成天球图像的方法的情况下，天球图像是面被映射有捕获图像的规则六面体(立方体)的扩展面。
同时，存在如下再现装置，其对由记录装置记录的天球图像的编码流进行解码，并且使用通过解码获得的天球图像来显示用户视场的图像。这种再现装置将天球图像贴到诸如球体或立方体的3D模型上作为其表面上的纹理。然后，再现装置显示通过从3D模型中的单个点沿用户的视线矢量的方向观看3D模型的表面上的纹理而获得的用户的视场的图像。这就是如何再现在用户的视场中的捕获图像。
在计算机图形学领域(CG)中，上述的再现方法被称为环境光模型。其中球体表面贴有由等距圆柱投影生成的图像的环境光模型被称为球体模型。其中立方体表面贴有由立方体映射生成的图像的环境光模型被称为立方体模型。
可以使用仅与用户的视线矢量对应的天球图像的特定区域来再现用户的视场中的捕获图像。例如，如果在水平方向上的视角为90度，则沿水平方向映射有360度的全方位图像的天球图像的仅四分之一被用于再现在用户的视场中的捕获图像。这也适用于垂直方向。
因此，对整个天球图像的编码流进行解码通常是浪费的过程。然而，由于视线矢量由用户确定，所以记录装置无法对仅与视线矢量对应的天球图像的特定区域进行编码。
如果通过诸如运动图像专家组2阶段(MPEG2)或高级视频编码(AVC)/H.264的常用编码方法对天球图像进行编码，则使用关于整个屏幕的信息进行编码。因此，难以从将天球图像表示为单个图像的编码流中对仅与用户的视线矢量对应的区域的编码流进行解码。
因此，已经提出，记录装置使天球图像在被编码时被划分，并且再现装置对仅与用户的视线矢量对应的图像的划分区域的编码流进行解码，以便减少解码处理的负担(例如，PTL 2和PTL 3)。
引用列表
专利文献
[PTL 1]
JP 2006-14174A
[PTL 2]
JP 2001-298652A
[PTL 3]
JP 2002-312778A
发明内容
技术问题
然而，诸如MPEG2或AVC的常用编码方法涉及在编码中使用按时间顺序的关联。这意味着除了在可随机访问的位置诸如在图像组(GOP)开始时、在即时解码刷新(IDR)图像中或在随机接入点处之外，不可能切换要被解码的对象的编码流。由于数据压缩的效率随可随机访问的位置之间的间隔越长而增加，因此难以充分缩短可随机访问的位置之间的间隔。
因此，如果用户的视线矢量突然改变，则无法使用与改变的视线矢量对应的天球图像的区域来即时显示用户的视场的图像。因此，可能保持显示不变的视场的图像，或者可能不显示改变的视场的图像的一部分。
鉴于上述情况作出本公开内容。因此，本公开内容的目的是即时显示用户的视场的图像。
问题的解决方案
根据本公开内容的第一方面，提供了一种图像处理装置，所述图像处理装置包括：第一编码部，被配置成对由根据全方位图像生成的多个面的图像形成的模型的第一天球图像进行编码，以生成与面中的每个面对应的第一编码流，所述编码以第一分辨率被逐面地执行；以及第二编码部，被配置成以第二分辨率对根据全方位图像生成的第二天球图像进行编码以生成第二编码流。
根据本公开内容的第一方面的图像处理方法对应于根据本公开内容的第一方面的图像处理装置。
根据本公开的第一方面，由根据全方位图像生成的多个面的图像形成的模型的第一天球图像被划分成面并且被以第一分辨率逐面地编码，以生成与面中的每个面对应的第一编码流，并且根据全方位图像生成的第二天球图像被以第二分辨率编码以生成第二编码流。
根据本公开内容的第二方面，提供了一种图像处理装置，所述图像处理装置包括：解码部，被配置成：对于通过将由根据全方位图像生成的多个面的图像形成的模型的第一天球图像划分成面并以第一分辨率逐面地对图像编码而生成的第一编码流以及通过以第二分辨率对根据全方位图像生成的第二天球图像进行编码而生成的第二编码流，以第一分辨率对与每对相对的面中的一个面对应的第一编码流进行解码以生成相应面的第一天球图像。
根据本公开内容的第二方面的图像处理方法对应于根据本公开内容的第二方面的图像处理装置。
根据本公开的第二方面，对于通过将由根据全方位图像生成的多个面的图像形成的模型的第一天球图像划分成面并以第一分辨率逐面地对图像进行编码而生成的第一编码流以及通过以第二分辨率对根据全方位图像生成的第二天球图像进行编码而生成的第二编码流，以第一分辨率对与每对相对的面中的一个面对应的第一编码流进行解码以生成相应面的第一天球图像。
根据本公开内容的第一方面和第二方面的图像处理装置可以各自由执行程序的计算机来实现。
根据本公开内容的第一方面和第二方面的由计算机执行以实现图像处理装置的程序可以经由传输介质发送或者在被提供时被记录在记录介质上。
根据本公开内容的第一方面和第二方面的图像处理装置可以各自是独立装置或者构成单个装置的一个或更多个内部块。
发明的有益效果
根据本公开内容的第一方面，对天球图像进行编码。同样根据本公开内容的第一方面，可以生成用于即时显示用户视场的图像的编码流。
根据本公开内容的第二方面，对天球图像的编码流进行解码。同样根据本公开内容的第二方面，可以即时显示用户视场的图像。
上述有益效果并不限于本公开内容。从接下来的描述中，本公开内容的另外的优点将变得明显。
附图说明
[图1]
图1是示出了作为3D模型的立方体的透视图。
[图2]
图2是示出了通过立方体映射生成的典型天球图像的示意图。
[图3]
图3是示出了通过使用图2中的天球图像生成的用户的视场的典型图像的示意图。
[图4]
图4是示出了图2的天球图像中的像素分布的示意图。
[图5]
图5是示出了作为3D模型的球体的透视图。
[图6]
图6是示出了通过等距圆柱投影生成的典型天球图像的示意图。
[图7]
图7是示出了通过使用图6中的天球图像生成的用户的视场的典型图像的示意图。
[图8]
图8是示出了图6中的天球图像中的像素分布的示意图。
[图9]
图9是示出了作为本公开内容的第一实施方式的图像显示系统的典型配置的框图。
[图10]
图10是示出了图9中包括的内容服务器的典型结构的框图。
[图11]
图11是示出了图10中包括的编码器的典型结构的框图。
[图12]
图12是说明了由图10中的内容服务器执行的编码处理的流程图。
[图13]
图13是示出了图9中包括的本地服务器的典型结构的框图。
[图14]
图14是示出了图13中包括的解码器的典型结构的框图。
[图15]
图15是示出了图13中的解码器的典型操作时序的时序图。
[图16]
图16是说明了由图13中包括的映射处理部生成的立方体图像的示意图。
[图17]
图17是示出了用户的典型视场的示意图。
[图18]
图18是说明了由图13中的本地服务器执行的解码处理的流程图。
[图19]
图19是说明了图18中包括的面选择处理的细节的流程图。
[图20]
图20是示出了通过新的等距圆柱投影将图像映射到其的作为3D模型的球体的示意图。
[图21]
图21是说明了由新的等距圆柱投影生成的天球图像的示意图。
[图22]
图22是示出了使用图21中的天球图像生成的用户的视场的典型图像的示意图。
[图23]
图23是示出了图21中的天球图像中的像素分布的示意图。
[图24]
图24是示出了作为本公开内容的第二实施方式的图像显示系统的内容服务器的典型配置的框图。
[图25]
图25是示出了图24中包括的映射处理部的典型结构的框图。
[图26]
图26是示出了通过新的等距圆柱投影将图像映射到其的作为3D模型的另一典型球体的示意图。
[图27]
图27是说明了通过新的等距圆柱投影生成的另一个典型的天球图像的示意图。
[图28]
图28是说明了天球图像的连续性的示意图。
[图29]
图29是示出了作为本公开内容的第三实施方式的图像显示系统的典型配置的框图。
[图30]
图30是说明了根据本公开内容的用于生成与高分辨率图像和低分辨率图像对应的天球图像的方法的示意图。
[图31]
图31是示出了根据第一模式由本地服务器映射的球体的图像的示意图。
[图32]
图32是示出了计算机的典型硬件结构的框图。
具体实施方式
下面描述本公开内容的前提和用于实施本公开内容的方式(以下称为实施方式)。将在以下标题下给出说明：
0.本公开内容的前提(图1至图8)
1.第一实施方式：图像显示系统(图9至图19)
2.第二实施方式：图像显示系统(图20至图28)
3.第三实施方式：图像显示系统(图29)
4.用于生成与高分辨率图像和低分辨率图像对应的天球图像的方法的说明(图30和图31)
5.第四实施方式：计算机(图32)
<本公开内容的前提>
(立方体映射的说明)
图1是示出了通过用作用于生成天球图像的方法的立方体映射将图像映射到其的作为3D模型的立方体的透视图。
如图1所示，当使用立方体映射作为用于生成天球图像的方法时，将图像映射到构成立方体10的六个面11至16。
在本说明书中，穿过作为立方体10的中心的原点O并与面11和12垂直相交的轴被称为x轴；与面13和14垂直相交的轴被称为y轴；并且与面15和16垂直相交的轴被称为z轴。根据需要，使得x＝r的面11(其中，r表示从原点O到面11至16中的每个面的距离)被称为+x面11，以及使得x＝-r的面12被称为-x面12。类似地，根据需要，使得y＝r的面13被称为+y面13；使得y＝-r的面14被称为-y面14；使得z＝r的面15被称为+z面15；以及使得z＝-r的面16被称为-z面16。
+x面11与-x面12相对，+y面13与-y面14相对，以及+z面15与-z面16相对。
图2是示出了通过立方体映射生成的典型天球图像的示意图。
如图2所示，通过立方体映射生成的天球图像30是立方体10的扩展面图像。具体地，天球图像30由在附图中心处从左向右布置的-x面12的图像32、+z面15的图像35、+x面11的图像31和-z面16的图像36构成，图像35被+y面13的图像33超过并且具有布置在正下方的-y面14的图像34。
图3是示出了通过使用图2中的天球图像30生成的用户的视场的典型图像的示意图。
在图3的示例中，用户的视线矢量50从原点O朝下指向+x面11和+z面15彼此接触的一侧(即，视线方向上的矢量)。
在这种情况下，可以使用+x面11的图像31、-y面14的图像34和+z面15的图像35来生成用户视场51的图像。也就是说，与用户的视线矢量50对应的面是：面使得视线矢量50的x轴分量的符号和x轴坐标的符号相同的+x面11；面使得y轴分量的符号和y轴坐标的符号相同的-y面14；以及面使得z轴分量的符号和z轴坐标的符号相同的+z面15。
在本说明书中，关于构成天球图像的每对相对面，将可以用于生成用户视场的图像的面称为与用户的视线矢量对应的面。
图4是示出了图2中的天球图像30中的像素的分布的示意图。
在图4中，每个点代表像素的中心。
如图4的A所示，以水平地和垂直地相距相等的距离来布置构成天球图像30的像素的中心。另外，如图4的B所示，当天球图像30被映射到球体60的表面时，以相距短距离来布置构成被映射的天球图像30的像素的中心。也就是说，像素密度遍及映射到球体60的表面的天球图像30变化很小。因此，天球图像30具有良好的图像质量。
(等距圆柱投影的说明)
图5是示出了由等距圆柱投影生成的天球图像被映射到其的作为3D模型的球体的透视图。
如图5所示，在使用等距圆柱投影作为用于生成天球图像的方法的情况下，将图像映射到球体70的表面。球体70的表面可以例如划分成相同的大小和形状的八个面71至78。
在本说明书中，穿过作为球体70的中心的原点O、面71的中心和面72的中心的轴被称为A轴；穿过面73的中心和面74的中心的轴被称为B轴；穿过面75的中心和面76的中心的轴被称为C轴；以及穿过面77的中心和面78的中心的轴被称为D轴。按照需要，使得A＝r的面71(其中，r表示从原点O到面71至78中的每个面的距离)被称为+A面71，以及使得A＝-r的面72被称为-A面72。类似地，根据需要，使得B＝r的面73被称为+B面73；使得B＝-r的面74被称为-B面74；使得C＝r的面75被称为+C面75；使得C＝-r的面76被称为-C面76；使得D＝r的面77被称为+D面77；以及使得D＝-r的面78被称为-D面78。
+A面71与-A面72相对，+B面73与-B面74相对，+C面75与-C面76相对，以及+D面77与-D面78相对。
图6是示出了由等距圆柱投影生成的典型天球图像的示意图。
如图6所示，通过等距圆柱投影生成的天球图像90是使用球体70通过等距圆柱投影生成的。也就是说，当球体70代表地球时，天球图像90的水平和垂直坐标分别对应于的球体70的经度和纬度。
具体地，天球图像90由在上排中从左到右布置的+A面71的图像91、+B面73的图像93、+C面75的图像95和+D面77的图像97以及在下排中从左到右布置的-C面76的图像96、-D面78的图像98、-A面72的图像92和-B面74的图像94构成。
图7是示出了通过使用图6中的天球图像90生成的用户的视场的典型图像的示意图。
在图7的示例中，用户的视线矢量110从原点O指向与+A面71、+B面73、-C面76和-D面78的交点。
在这种情况下，可以使用+A面71的图像91、+B面73的图像93、-C面76的图像96和-D面78的图像98来生成用户视场111的图像。也就是说，与用户的视线矢量110对应的面是：使得视线矢量110的A轴分量的符号和A轴坐标的符号相同的+A面71；使得B轴分量的符号和B轴坐标的符号相同的+B面73；使得C轴分量的符号和C轴坐标的符号相同的-C面76；以及使得D轴分量的符号和D轴坐标的符号相同的-D面78。
图8是示出了图6中的天球图像90中的像素分布的示意图。
在图8中，每个点表示像素的中心。
如图8的A所示，以水平地和垂直地相距相等的距离来布置构成天球图像90的像素的中心。另外，如图8的B所示，当天球图像90被映射到球体70的表面时，构成所映射的天球图像90的图像91至98中的每一个近似为三角形形状。也就是说，图像91、93、95和97的上部朝向球体70的上极收缩，并且图像92、94、96和98的下部朝向球体70的下极收缩。因此，靠近两极的像素的密度非常高。
通常，构成物体的像素的密度越高，其分辨率越高，使得物体被再现直到高频分量。此外，当编码时，具有高像素密度的物体被分配多个比特，使得其图像质量被增强。然而，因为人类通常水平注视，所以通常在水平方向上找到感兴趣的物体。因此，在天球图像90中，上极和下极附近的物体通常不是很重要。
等距圆柱投影被广泛用作用于生成天球图像的方法，特别是在涉及运动图像的情况下。广泛使用等距圆柱投影的一个原因是球体70的纬度和经度直接对应于天球图像90的矩形形式的x和y坐标，这有利于坐标变换。另一个原因是天球图像90的矩形形式在内部没有不连续性，这适用于处理矩形图像的常见编码方法。
然而，如上面讨论的，通过等距圆柱投影生成的天球图像90在映射在球体70的上极和下极附近的相对不重要的物体的图像中具有高分辨率。这些图像在编码时被分配了许多位。
相比之下，通过立方体映射生成的天球图像30在映射到球体60时具有基本恒定的像素密度。而且，与用户的视线矢量对应的面的数目小于等距圆柱投影中的面的数目。此外，从天球图像30划分的图像31至36分别为方形，其可适用于处理矩形图像的常用编码方式。
然而，由于天球图像30是十字形的，因此计算视线矢量比等距圆柱投影更复杂。当天球图像90被转换成天球图像30并且被编码时，像素偏移引起转换失真。这导致比如果天球图像90在没有转换的情况下被编码的图像质量更低。
因此，本技术旨在使通过等距圆柱投影生成并且映射到球体的天球图像中的像素的密度基本上均匀。
如上所述，使用仅与天球图像30(90)中的用户的视线矢量对应的面的图像来生成用户的视场的图像。考虑到这一点，已经提出构成天球图像30(90)的面被逐面地编码，使得仅与用户的视线矢量对应的面的图像的编码流可以被解码以便减少解码负担。
然而，诸如MPEG或AVC的常用编码方法涉及在编码中使用按时间顺序的关联。这意味着除了在可随机访问的位置之外，不可能切换解码目标对象的编码流。因此，如果用户的视线矢量突然改变，则不可能即时使用与改变的视线矢量对应的面的图像来显示用户的视场的图像。
本技术被设计成以下方式：如果用户的视线矢量突然改变，则可以使用与改变的视线矢量对应的面的图像来即时显示用户视场的图像。
<第一实施方式>
(作为第一实施方式的图像显示系统的典型配置)
图9是示出了作为本公开内容的第一实施方式的图像显示系统的典型配置的框图。
图9中的图像显示系统130由多相机设备131、内容服务器132、本地服务器133、转换器134和头戴式显示器135构成。图像显示系统130从由多相机设备131捕获的图像生成天球图像30，并且显示从生成的天球图像30得到的用户的视场的图像。
具体地，图像显示系统130中的多相机设备131由多个相机构成。相机分别捕获图像以以帧为单位形成全方位图像。多相机设备131将捕获的全方位图像提供给内容服务器132。
根据多相机设备131提供的捕获图像，内容服务器132使用立方体映射生成天球图像30。内容服务器132对天球图像30进行降频转换。内容服务器132进一步将天球图像30划分成六个面11至16的图像。这生成两种图像：面11至16的高分辨率图像还未被降频转换，并且整个天球图像30的低分辨率图像已被降频转换。
内容服务器132使用AVC或高效视频编码(HEVC)/H.265下的编码方法对面11至16的每个高分辨率图像进行压缩编码，从而生成六个高分辨率编码流(第一编码流)。内容服务器132还使用也在AVC或HEVC下的编码方法对低分辨率图像进行压缩编码，以生成一个低分辨率编码流(第二编码流)。
内容服务器132记录由此生成的六个高分辨率编码流和一个低分辨率编码流。此外，内容服务器132经由未示出的网络将记录的六个高分辨率编码流和一个低分辨率编码流发送到本地服务器133。
本地服务器133接收从内容服务器132发送的六个高分辨率编码流和一个低分辨率编码流。使用内部相机133A，本地服务器133捕获附接到头戴式显示器135的标记135A的图像。基于标记135A的捕获图像，本地服务器133检测用户的位置。根据头戴显示器135，本地服务器133经由转换器134接收头戴式显示器135中的陀螺仪传感器135B的检测结果。
基于陀螺仪传感器135B的检测结果，本地服务器133确定用户的视线矢量。基于用户的位置和视线矢量，本地服务器133确定用户的视场。
本地服务器133从面11至16中确定与用户的视线矢量对应的三个面。从六个高分辨率编码流中，本地服务器133(图像处理装置或终端)对与用户的视线矢量对应的三个面的高分辨率编码流进行选择并解码，从而生成三个面的高分辨率图像。
本地服务器133还对一个低分辨率编码流进行解码以生成低分辨率图像。根据这三个面的高分辨率图像和因此生成的低分辨率图像，本地服务器133生成用户的视场的图像作为显示图像。本地服务器133经由未示出的高清多媒体接口(HDMI；注册商标)电缆将显示图像发送到转换器134。
转换器134将从本地服务器133发送的显示图像中的坐标转换成头戴式显示器135的坐标。转换器134将具有转换的坐标的显示图像提供给头戴式显示器135。
头戴显示器135佩戴在用户的头上。头戴显示器135显示从转换器134提供的显示图像。头戴式显示器135内的陀螺仪传感器135B检测头戴式显示器135的倾斜度，并且将检测结果经由转换器134发送到本地服务器133。
(内容服务器的典型结构)
图10是示出了图9中包括的内容服务器132的典型结构的框图。
图10中的内容服务器132由拼接处理部151、映射处理部152、降频转换部153、编码器154、划分部155、编码器156-1至156-6、存储部157以及发送部158构成。
拼接处理部151使从图9中的多相机设备131提供的捕获的全方位图像的颜色和亮度均匀，并且将图像拼接在一起而图像之间没有交叠。拼接处理部151向映射处理部152提供由此获得的捕获图像。
映射处理部152根据由拼接处理部151提供的捕获图像通过立方体映射生成天球图像30。映射处理部152将由此生成的天球图像30提供给降频转换部153和划分部155。顺便提及，拼接处理部151和映射处理部152可以一体形成。
降频转换部153(转换部)通过将从映射处理部152提供的天球图像30的分辨率水平地和垂直地减半来生成低分辨率图像。降频转换部153将低分辨率图像提供给编码器154。
编码器154(第二编码部)对从降频转换部153提供的低分辨率图像进行编码，以生成低分辨率编码流。编码器154将低分辨率编码流提供给存储器157用于在其中进行记录。
划分部155将从映射处理部152提供的天球图像30划分成六个面11至16的图像31至36。划分部155将作为+x面11的高分辨率图像的图像31提供给编码器156-1并且将作为-x面12的高分辨率图像的图像32提供给编码器156-2。划分部155还将作为+y面13的高分辨率图像的图像33提供给编码器156-3，并且将作为-y面14的高分辨率图像的图像34提供给编码器156-4。划分部155还将作为+z面15的高分辨率图像的图像35提供给编码器156-5，并且将作为-z面16的高分辨率图像的图像36提供给编码器156-6。
编码器156-1至156-6(第一编码部)以下述方式对从划分部155提供的高分辨率图像进行编码：面11至16的相对的面的对在可随机访问位置中被同步，并且面被布置成闭合的图像组(GOP)结构。编码器156-1至156-6将由此生成的面11至16的高分辨率编码流提供给存储器157用于在其中进行记录。
存储器157(存储部)记录从编码器154提供的一个低分辨率编码流和从编码器156-1至156-6提供的面11至16的六个高分辨率编码流。
发送部158(传送部)读取存储在存储器157中的一个低分辨率编码流和六个高分辨率编码流，并且经由未示出的网络将检索到的流发送(传送)到图9中的本地服务器133。
(编码器的典型结构)
图11是示出了图10中包括的编码器154的典型结构的框图。
图11中的编码器154包括屏幕分类缓冲区191、算术部192、正交变换部193、量化部194、无损编码部195、累积缓冲区196、生成部197、逆量化部198、逆正交变换部199和加法部200。编码器154还包括滤波器201、帧存储器202、开关203、帧内预测部204、运动预测/补偿部205、预测图像选择部206和速率控制部207。编码器154根据HEVC方法对编码单位(CU)中的低分辨率图像进行编码。
具体地，编码器154中的屏幕分类缓冲区191存储从图10中的降频转换部153提供的低分辨率图像。屏幕分类缓冲区191根据GOP结构将显示序列中存储的低分辨率图像的帧分类为编码序列中的帧的图像。屏幕分类缓冲区191将分类的低分辨率图像输出到算术部192、帧内预测部204和运动预测/补偿部205。
算术部192在进行编码之前，从由屏幕分类缓冲区191提供的低分辨率图像中减去由预测图像选择部206提供的预测图像。算术部192将所得到的图像输出到正交变换部193作为残差信息。如果没有从预测图像选择部206提供预测图像，则算术部192将从屏幕分类缓冲区191检索的低分辨率图像直接输出到正交变换部193作为残差信息。
正交变换部193以变换单位(TU)对来自算术部192的残差信息进行正交变换。正交变换部193向矢量化部194提供作为正交变换的结果而获得的正交变换系数。
量化部194对从正交变换部193提供的正交变换系数进行量化。量化部194将量化的正交变换系数提供给无损编码部195。
无损编码部195从帧内预测部204获取指示最佳帧内预测模式的帧内预测模式信息。例如，无损编码部195从运动预测/补偿部205获取指示最佳帧间预测模式、运动矢量和标识参考图像的信息的帧间预测模式信息。无损编码部195进一步从滤波器201获取关于偏移滤波器的偏移滤波器信息。
无损编码部195使从量化部194提供的量化的正交变换系数经受无损编码诸如可变长度编码(例如，上下文自适应可变长度编码(CAVLC))或算术编码(例如，上下文自适应二进制算术编码(CABAC))。
无损编码部195进一步对帧内预测模式信息进行无损编码；或者对作为关于所涉及的编码的编码信息的帧间预测模式信息、运动矢量、识别参考图像的信息和偏移滤波器信息进行无损编码。无损编码部195将无损编码信息和正交变换系数作为编码数据提供给累积缓冲区196用于在其中累积。可替选地，无损编码信息可以作为标题部分诸如片头添加到编码数据。
累积缓冲区196临时存储从无损编码部195提供的编码数据。累积缓冲区196将存储的编码数据提供给生成部197。
生成部197根据诸如序列参数集(SPS)或图像参数集(PPS)的参数集合并且根据由累积缓冲区196提供的编码数据生成低分辨率编码流。生成部197将所生成的低分辨率编码流提供给图10中的存储器157。
从量化部194输出的量化正交变换系数也输入到逆量化部198。逆量化部198根据与由量化部194使用的量化方法对应的方法对由量化部194量化的正交变换系数进行逆量化。逆量化部198向逆正交变换部199提供作为逆量化的结果获得的正交变换系数。
逆正交变换部199根据与由正交变换部193使用的正交变换方法对应的方法对从TU中的逆量化部198提供的正交变换系数执行逆正交变换。逆正交变换部199向加法部200提供作为逆正交变换的结果获得的残差信息。
加法部200通过将从逆正交变换部199提供的残差信息和从预测图像选择部206提供的预测图像相加来对低分辨率图像进行部分解码。如果没有从预测图像选择部206提供预测图像，则加法部200使用从逆正交变换部199提供的残差信息作为部分解码的低分辨率图像。当低分辨率图像的整个屏幕尚未解码时，加法部200将解码的低分辨率图像提供给帧存储器202。当整个屏幕被解码时，加法部200将解码的低分辨率图像提供给滤波器201。
滤波器201使从加法部200提供的低分辨率图像经受去块滤波处理通过去块滤波处理去除块失真。滤波器201使由去块滤波处理得到的低分辨率图像经受自适应偏移滤波(采样自适应偏移(SAO))处理，该处理主要从低分辨率图像中去除振铃。
具体地，滤波器201确定针对每个最大编码单元(LCU)的自适应偏移滤波处理的类型，并且获得用于每个自适应偏移滤波处理的偏移。使用由此获得的偏移，滤波器201对由去块滤波处理得到的低分辨率图像执行确定类型的自适应偏移滤波处理。
滤波器201向帧存储器202提供由自适应偏移滤波处理得到的低分辨率图像。滤波器201还向无损编码部195提供指示执行的自适应偏移滤波处理的类型和涉及的偏移的偏移滤波器信息。
帧存储器202累积从滤波器201提供的低分辨率图像和从加法部200提供的低分辨率图像。与在帧存储器202中累积的且尚未经历滤波处理的低分辨率图像中的预测单元(PU)相邻的像素经由开关203作为周边像素被提供给帧内预测部204。帧存储器202中累积的并已经经过滤波处理的低分辨率图像经由开关203作为参考图像被输出到运动预测/补偿部205。
帧内预测部204经由开关203使用从帧存储器202读取的PU中的周边像素对所有候选帧内预测模式进行帧内预测处理。
此外，帧内预测部204基于从屏幕分类缓冲区191读取的低分辨率图像并且基于作为帧内预测过程的结果而生成的预测图像，计算所有候选帧内预测模式的成本函数值(稍后详细讨论)。帧内预测部204继续进行以确定成本函数值最小的帧内预测模式作为最佳帧内预测模式。
帧内预测部204向预测图像选择部206提供在最佳帧内预测模式中生成的预测图像和对应的成本函数值。在由预测图像选择部206通知最佳帧内预测模式中生成的预测图像的选择时，帧内预测部204将帧内预测模式信息提供给无损编码部195。
成本函数值(也称为速率失真(RD)成本)可以通过高复杂度模式或低复杂度模式的方法诸如由联合模型(JM)定义的方法即H.264/AVC参考软件来计算。H.264/AVC参考软件在http://iphome.hhi.de/suehring/tml/index.htm中公开。
运动预测/补偿部205对PU中的所有候选帧间预测模式执行运动预测/补偿处理。具体地，运动预测/补偿部205基于从屏幕分类缓冲区191提供的低分辨率图像和参考图像来检测所有候选帧间预测模式的运动矢量。基于运动矢量，运动预测/补偿部205对参考图像执行补偿处理以生成预测图像。顺便提及，帧间预测模式是表示PU尺寸和其他设置的模式。
运动预测/补偿部205还基于低分辨率图像和预测图像来计算所有候选帧间预测模式的成本函数值。运动预测/补偿部205然后确定成本函数值最小的帧间预测模式作为最佳帧间预测模式。运动预测/补偿部205继续向预测图像选择部206提供最佳帧间预测模式中的成本函数值和对应的预测图像。
在由预测图像选择部206通知最佳帧间预测模式中生成的预测图像的选择时，运动预测/补偿部205例如向无损编码部195输出帧间预测模式信息、相应的运动矢量和识别参考图像的信息。
预测图像选择部206基于从帧内预测部204和运动预测/补偿部205提供的成本函数值，将具有两个对应的成本函数值中的较小值的最佳帧内预测模式或最佳帧间预测模式确定为最佳预测模式。预测图像选择部206将最佳预测模式的预测图像提供给算术部192和加法部200。此外，预测图像选择部206通知帧内预测部204或运动预测/补偿部205对最佳预测模式的预测图像的选择。
速率控制部207以下述方式来控制量化部194的量化速率：使得不会基于在累积缓冲区196中累积的编码数据发生上溢或下溢。
尽管未示出，编码器156-1至156-6的结构与编码器154的结构基本相同。
(由内容服务器执行的处理的说明)
图12是说明了由图10中的内容服务器132执行的编码处理的流程图。编码处理例如以帧为单位进行。
在图12的步骤S11中，拼接处理部151使从图9中的多相机设备131提供的捕获的全方位图像的颜色和亮度均匀，并且将图像拼接在一起而图像之间没有交叠。拼接处理部151向映射处理部152提供由此获得的捕获图像。
在步骤S12中，映射处理部152根据由拼接处理部151提供的捕获图像通过立方体映射生成天球图像30。映射处理部152将天球图像30提供给降频转换部153和划分部155。
在步骤S13中，降频转换部153对从映射处理部152提供的天球图像30进行降频变换，以生成低分辨率图像。降频转换部153将所得到的低分辨率图像提供给编码器154。
在步骤S14中，编码器154对从降频转换部153提供的低分辨率图像进行编码，以生成低分辨率编码流。编码器154将低分辨率编码流提供给存储器157。
在步骤S15中，划分部155将从映射处理部152提供的天球图像30划分成六个面11至16的图像31至36。划分部155将图像31至36分别作为面11至16的高分辨率图像提供给编码器156-1至156-6。
在步骤S16中，编码器156-1至156-6对面11至16的高分辨率图像分别编码以生成编码流。编码器156-1至156-6将编码流提供给存储器157。
在步骤S17中，存储器157记录从编码器154提供的一个低分辨率编码流和从编码器156-1至156-6提供的六个高分辨率编码流。
在步骤S18中，发送部158从存储器157读取一个低分辨率编码流和六个高分辨率编码流，并且经由未示出的网络将检索到的流发送到本地服务器133。这使得处理结束。
(本地服务器的典型结构)
图13是示出了图9中包括的本地服务器133的典型结构的框图。
图13中的本地服务器133由相机133A、接收部221、存储器222、解码器223、开关224-1至224-3、解码器225-1至225-3、映射处理部226、渲染部227、另一接收部228和视线检测部229构成。
本地服务器133中的接收部221经由未示出的网络接收从图10中的发送部158发送的六个高分辨率编码流和一个低分辨率编码流。接收部221将接收到的六个高分辨率编码流和一个低分辨率编码流提供给存储器222用于在其中进行记录。
存储器222记录从接收部221提供的六个高分辨率编码流和一个低分辨率编码流。存储器222将一个低分辨率编码流提供给解码器223。
从六个高分辨率编码流中，存储器222读取彼此相对的+x面11和-x面12的成对编码流，并且向开关224-1提供检索到的流。类似地，存储器222向开关224-2提供彼此相对的+y面13和-y面14的成对编码流，并且向开关224-3提供彼此相对的+z面15和-z面16的成对编码流。
解码器223(第二解码部)对从存储器222提供的一个低分辨率编码流进行解码，以生成低分辨率图像。解码器223将低分辨率图像提供给映射处理部226。
开关224-1基于用于选择从视线检测部229提供的+x面11和-x面12中之一的面选择信息来选择+x面11和-x面12的成对高分辨率编码流之一，并且将选择的流提供给解码器225-1。类似地，开关224-2基于面选择信息向解码器225-2提供+y面13和-y面14的成对的高分辨率编码流中之一。开关224-3基于面选择信息向解码器225-3提供+z面15和-z面16的成对的高分辨率编码流中之一。
解码器225-1(第一解码部)对从开关224-1提供的高分辨率编码流进行解码，以生成+x面11或-x面12的高分辨率图像，并且将所生成的高分辨率图像提供给映射处理部226。解码器225-2(第一解码部)对从开关224-2提供的高分辨率编码流进行解码，以生成+y面13或-y面14的高分辨率图像，并且将生成的高分辨率图像提供给映射处理部226。解码器225-3(第一解码部)对从开关224-3提供的高分辨率编码流进行解码，以生成+z面15或-z面16的高分辨率图像，并且将生成的高分辨率图像提供给映射处理部226。
映射处理部226将从解码器223提供的低分辨率图像作为纹理映射到立方体10的面11至16中的每个面。此后，映射处理部226将从解码器225-1至225-3提供的三个面的图像叠加在映射有低分辨率图像的立方体10上。映射处理部226将得到的立方体图像提供给渲染部227。
渲染部227将从映射处理部226提供的立方体图像投影到从视线检测部229提供的用户的视场上，从而生成用户视场的图像。渲染部227经由HDMI电缆将生成的图像作为显示图像发送到图9中的转换器134。
接收部228从头戴式显示器135经由转换器134接收图9中的陀螺仪传感器135B的检测结果。接收部228将检测结果提供给视线检测部229。
视线检测部229基于由接收部228提供的陀螺仪传感器135B的检测结果来确定用户的视线矢量。基于用户的视线矢量，视线检测部229(选择部)将面11至16中的三个面确定为与视线矢量对应的面。
具体地说，视线检测部229确定使得视线矢量的x轴分量的符号和x轴坐标的符号相同的+x面11或-x面12；确定使得y轴分量的符号和y轴坐标的符号相同的+y面13或-y面14；并且确定使得z轴分量的符号和z轴坐标的符号相同的+z面15或-z面16作为与用户视线矢量对应的三个面。
视线检测部229进一步从相机133A获取标记135A的捕获图像，并且基于所捕获的标记图像来检测用户的位置。视线检测部229基于用户的位置和视线矢量来确定用户的视场。
视线检测部229将用户的视场提供给渲染部227。此外，视线检测部229生成用于选择面11至16中的每对相对的面中的一个面作为与用户的视线矢量对应的面的面选择信息。视线检测部229向开关224-1提供用于选择+x面11或-x面12的面选择信息，向开关224-2提供用于选择+y面13或-y面14的面选择信息，以及向开关224-3提供用于选择+z面15或-z面16的面选择信息。
(解码器的典型结构)
图14是示出了图13中包括的解码器223的典型结构的框图。
图14中的解码器223包括累积缓冲区241、无损解码部242、逆量化部243、逆正交变换部244、加法部245、滤波器246和屏幕分类缓冲区247。解码器223还包括帧存储器248、开关249、帧内预测部250、运动补偿部251和开关252。
解码器223中的累积缓冲区241从图13中的存储器222接收低分辨率编码流以累积编码数据。包括在低分辨率编码流中的参数集根据需要被提供给解码器223的部件。累积缓冲区241将累积的编码数据提供给无损解码部242。
无损解码部242对来自累积缓冲区241的编码数据执行无损解码，诸如与由图11中的无损编码部195执行的无损编码对应的可变长度解码或算术解码，从而获取量化的正交变换系数和编码信息。无损解码部242将量化的正交变换系数提供给逆量化部243。无损解码部242向帧内预测部250提供帧内预测模式信息或其他信息作为编码信息。无损解码部242例如向运动补偿部251提供运动矢量、帧间预测模式信息和用于识别参考图像的信息。
此外，无损解码部242向开关252提供帧内预测模式信息或帧间预测模式信息作为编码信息。
逆量化单元243、逆正交变换部244、相加部245、滤波器246、帧存储器248、开关249、帧内预测部250和运动补偿部251分别执行与图11中的逆量化部198、逆正交变换部199、加法部200、滤波器201、帧存储器202、开关203、帧内预测部204和运动预测/补偿部205大致相同的处理。该处理对低分辨率图像进行解码。
具体地，逆量化部243对来自无损解码部242的量化的正交变换系数进行反量化。逆量化部243将得到的正交变换系数提供给逆正交变换部244。
逆正交变换部244对来自TU中的逆量化单元243的正交变换系数进行逆正交变换。逆正交变换部244向加法部245提供作为逆正交变换的结果获得的残差信息。
加法部245将从逆正交变换部244提供的残差信息和从开关252提供的预测图像相加，从而对低分辨率图像进行部分解码。如果没有从开关252提供预测图像，则加法部245使用从逆正交变换部244提供的残差信息作为部分解码的低分辨率图像。如果低分辨率图像的整个屏幕尚未解码，则加法部245将解码的低分辨率图像提供给帧存储器248。当整个屏幕被解码时，加法部245将解码的低分辨率图像提供给滤波器246。
滤波器246对从加法部245提供的低分辨率图像执行去块滤波处理。使用来自无损解码部242的由偏移滤波器信息指示的偏移，滤波器246针对每个LCU执行由经过去块滤波处理的低分辨率图像的偏移滤波器信息指示的类型的自适应偏移滤波处理。滤波器246将经过自适应偏移滤波处理的低分辨率图像提供给帧存储器248和屏幕分类缓冲区247。
屏幕分类缓冲区247以帧为单位存储从滤波器246提供的低分辨率图像。屏幕分类缓冲区247将编码序列中存储的低分辨率图像的帧分类回初始显示序列。屏幕分类缓冲区247将分类图像提供给图13中的映射处理部226。
帧存储器248累积从滤波器246提供的低分辨率图像和从加法部245提供的低分辨率图像。与在帧存储器248中累积的且尚未经历滤波处理的低分辨率图像中的PU相邻的像素经由开关249作为周边像素被提供给帧内预测部250。累积在帧存储器248中且已经经过滤波处理的低分辨率图像经由开关249作为参考图像被提供给运动补偿部251。
帧内预测部250使用PU中的经由开关249从帧存储器248读出的周边像素对由从无损解码部242提供的帧内预测模式信息指示的最佳帧内预测模式进行帧内预测处理。帧内预测部250向开关252提供作为帧内预测处理的结果而生成的预测图像。
运动补偿部251经由开关249从帧存储器248读取参考图像，参考图像由从无损解码部242提供的参考图像识别信息识别。使用从无损解码部242提供的运动矢量和参考图像，运动补偿部251在由无损解码部242提供的帧间预测模式信息所指示的最佳帧间预测模式下，对PU进行运动补偿处理。运动补偿部251向开关252提供作为运动补偿处理的结果而生成的预测图像。
假定帧内预测模式信息来自无损解码部242，开关252向加法部245提供从帧内预测部250提供的预测图像。假定帧间预测模式信息来自无损解码部242，开关252向加法部245提供从运动补偿部251提供的预测图像。
(解码器的典型操作时序)
图15是示出了图13中的解码器223和解码器225-1至225-3的典型操作时序的时序图。
在图15中，横轴表示时间。同样在图15中，粗箭头表示要被解码器223和解码器225-1至225-3解码的目标。
如果从视线检测部229提供的面选择信息被改变，则开关224-1至224-3各自在可随机访问的位置中从输入的成对的高分辨率编码流中的一个切换到另一个。因此，如图15所示，解码器225-1至225-3在可随机访问的位置中改变作为解码目标的高分辨率编码流。
低分辨率编码流总是输入到解码器223。解码器223对低分辨率编码流进行连续解码。
如上所述，要解码的高分辨率编码流可以仅在可随机访问的位置进行切换。因此，如果视线矢量突然改变，则正在解码的每个高分辨率编码流不能改变，直到到达下一个可随机访问的位置。因此，不可能生成与改变的视线矢量对应的三个面的高分辨率图像。然而，由于低分辨率编码流被连续地解码，所以可以使用在过渡期间与改变的视线矢量对应的面的低分辨率图像来生成显示图像。
输入到每个开关224-1至224-3的成对的高分辨率编码流具有同步的可随机访问的位置，并且具有闭合的GOP结构。因此，解码器225-1至225-3中的每一个需要仅从流被切换的位置解码新选择的流。
相比之下，如果成对的编码流分别具有不同的可随机访问位置，或者如果它们不具有闭合的GOP结构，则要重新选择的流需要在流被切换的位置之前被解码。因此，待被选择的编码流和新选择的编码流都需要被同时解码。因此，用于对高分辨率编码流进行解码的解码器需要与涉及的高分辨率编码流一样多。
如果编码器156-1至156-6执行编码使得每对编码流具有不同的可随机访问的位置，则解码器225-1至225-3被允许具有用于切换要被解码的流的交错时序。这使解码过程的负担缓和。
(典型立方体图像)
图16是说明了由图13中包括的映射处理部226生成的立方体图像的示意图。
在图16中，每个正方形表示立方体图像的LCU。图16中的A和B示出了从立方体10内部观看的立方体图像。
在图16中的A的示例中，与用户的视线矢量对应的面是+x面11、-y面14和+z面15。因此，如图16的A所示，映射处理部226通过映射生成立方体图像261，使得图像31、图像34和图像35分别叠加在映射有低分辨率图像260的立方体10的+x面11、-y面14和+z面15上。
图像31、34和35以及低分辨率图像260被映射到相同尺寸的面。这意味着低分辨率图像260的LCU的尺寸比图像31、34和35的LCU大。
在图16中的B的示例中，与用户的视线矢量对应的面是+x面11、-y面14和-z面16。因此，如图16的B所示，映射处理部226通过映射生成立方体图像262，使得图像31、图像34和图像36分别叠加在映射有低分辨率图像260的立方体10的+x面11、-y面14和-z面16上。
图像31、34和36以及低分辨率图像260被映射到相同尺寸的面。这意味着低分辨率图像260的LCU的尺寸大于图像31、34和36的LCU。
如上所述，构成立方体10的每对相对面中的一个面被映射有高分辨率图像，并且相对面对中的另一个面被映射有低分辨率图像。
当用户的视线矢量被改变时，导致与用户的视线矢量对应的面相应地改变，映射有高分辨率图像的至少一个面被另一成对的面代替。例如，如果与用户的视线矢量对应的面从+x面11、-y面14和+z面15改变为面+x面11、-y面14和-z面16，则立方体图像261被立方体图像262代替。
此时，立方体图像261和262分别是使面11至16被全映射的图像。因此，渲染部227可以使用立方体图像262即时生成用户视场的显示图像，直到与改变的视线矢量对应的立方体图像262被生成。
(用户的视场的示例)
图17是示出了用户的视场的示例的示意图。
在图17的示例中，立方体图像262由映射处理部226生成。
如图17所示，根据与用户位置对应的立方体10内的位置，在生成用户视场271的图像时可能需要使用除与用户的视线矢量对应的+x面11、-y面14和-z面16以外的+z面15的图像。
在这种情况下，渲染部227仍然可以使用+x面11的图像31、-y面14的图像34、-z面16的图像36和+z面15的低分辨率图像260来生成视场271的图像。这是因为立方体图像262是使面11至16被全映射的图像。
相比之下，如果不生成低分辨率编码流，则立方体图像是使得仅与用户的视线矢量对应的三个面被映射的图像。因此，不能生成用户的视场271的图像。
(由本地服务器执行的处理的说明)
图18是说明了由图13中的本地服务器133执行的解码处理的流程图。解码处理例如以帧为单位执行。
在图18的步骤S31中，本地服务器133中的接收部221经由未示出的网络接收从图10中的发送部158发送的一个低分辨率编码流和六个高分辨率编码流。接收部221将接收到的一个低分辨率编码流和六个高分辨率编码流提供给存储器222。
在步骤S32中，存储器222记录从接收部221提供的一个低分辨率编码流和六个高分辨率编码流。
在步骤S33中，存储器222从六个高分辨率编码流中读取彼此相对的+x面11和-x面12的成对编码流，并且将因此检索到的成对的流提供给开关224-1。类似地，存储器222向开关224-2提供彼此相对的+y面13和-y面14的成对编码流，并且向开关224-3提供彼此相对的+z面15和-z面16的成对编码流。存储器222还读取一个低分辨率的编码流并且将其提供给解码器223。
在步骤S34中，接收部228经由转换器134从头戴式显示器135接收图9中的陀螺仪传感器135B的检测结果。接收部228将检测结果提供给视线检测部229。
在步骤S35中，视线检测部229基于从接收部228提供的陀螺仪传感器135B的检测结果来确定用户的视线矢量。
在步骤S36中，相机133A捕获标记135A的图像，并且将捕获图像提供给视线检测部229。在步骤S37中，视线检测部229基于从相机133A提供的标记135A的捕获图像来检测用户的位置。
在步骤S38中，视线检测部229基于用户的位置和视线矢量确定用户的视场以及面作为与用户的视线矢量对应的面的面11至16中的三个。视线检测部229将用户的视场提供给渲染部227。
在步骤S39中，视线检测部229生成用于选择面11至16中的每对相对的面中的一个面作为与用户的视线矢量对应的面的面选择信息。视线检测部229向开关224-1提供用于选择+x面11或-x面12的面选择信息，向开关224-2提供用于选择+y面13或-y面14的面选择信息，以及向开关224-3提供用于选择+z面15或-z面16的面选择信息。
在步骤S40中，开关224-1至224-3根据从视线检测部229提供的面选择信息执行用于选择高分辨率编码流的面选择处理。稍后将参考图19详细讨论面选择处理。
在步骤S41中，解码器225-1对从开关224-1提供的高分辨率编码流进行解码，以生成+x面11或-x面12的高分辨率图像，并且将生成的图像提供给映射处理部226。解码器225-2对从开关224-2提供的高分辨率编码流进行解码，以生成+y面13或-y面14的高分辨率图像，并且将生成的图像提供给映射处理部226。解码器225-3对从开关224-3提供的高分辨率编码流进行解码，以生成+z面15或-z面16的高分辨率图像，并且将生成的图像提供给映射处理部226。
在步骤S42中，解码器223对从存储器222提供的一个低分辨率编码流进行解码，以生成低分辨率图像。解码器223将生成的低分辨率图像提供给映射处理部226。
在步骤S43中，映射处理部226将从解码器223提供的低分辨率图像映射到立方体10，并且将从解码器225-1至225-3提供的三个面的高分辨率图像叠加到立方体10上用于映射。映射处理部226向渲染部227提供作为映射的结果而获得的立方体图像。
在步骤S44中，渲染部227基于来自映射处理部226的立方体图像，并且基于来自视线检测部229的用户视场，将立方体图像投影到用户的视场上。通过这样做，渲染部227生成用户的视场的图像作为显示图像。
在步骤S45中，渲染部227经由HDMI电缆将显示图像发送到图9中的转换器134。这使得处理结束。
图19是示出了图18的步骤S40中的面选择处理的细节的流程图。
在图19的步骤S61中，开关224-1确定要处理的帧是否使得+x面11和-x面12的高分辨率编码流处于可随机访问的位置。
如果在步骤S61中确定要处理的帧使得+x面11和-x面12的高分辨率编码流处于可随机访问的位置，则处理转移到步骤S62。在步骤S62中，开关224-1确定是否从视线检测部229提供了用于选择+x面11的面选择信息。
如果在步骤S62中确定提供了用于选择+x面11的面选择信息，则处理转移到步骤S63。在步骤S63中，开关224-1从由存储器222提供的+x面11和-x面12的高分辨率编码流中选择+x面11的高分辨率编码流作为要被解码的流。开关224-1将所选择的高分辨率编码流提供给解码器225-1。
如果在步骤S62中确定没有提供用于选择+x面11的面选择信息，即，在步骤S62中确定从视线检测部229提供用于选择-x面12的面选择信息，则处理转移到步骤S64。在步骤S64中，开关224-1从由存储器222提供的+x面11和-x面12的高分辨率编码流中选择-x面12的高分辨率编码流作为要被解码的流。开关224-1将所选择的高分辨率编码流提供给解码器225-1。
如果在步骤S61中确定要处理的帧没有使得+x面11和-x面12的高分辨率编码流处于可随机访问的位置，则处理转移到步骤S65。
在步骤S65中，开关224-1从由存储器222提供的+x面11和-x面12的高分辨率编码流中选择与为紧前一帧所选择的面相同的面的高分辨率编码流作为要被解码的流。
也就是说，如果要处理的帧没有使得+x面11和-x面12的高分辨率编码流处于可随机访问的位置，则要被解码的流不在+x面11与-x面12的高分辨率编码流之间切换。开关224-1将所选择的高分辨率编码流提供给解码器225-1。在完成步骤S63至S65之后，处理转移到步骤S66。
在步骤S66中，开关224-2确定要处理的帧是否使得+y面13和-y面14的高分辨率编码流处于可随机访问的位置。
如果在步骤S66中确定要处理的帧使得+y面13和-y面14的高分辨率编码流处于可随机访问的位置，则处理转移到步骤S67。在步骤S67中，开关224-2确定是否从视线检测部229提供了用于选择+y面13的面选择信息。
如果在步骤S67确定提供了用于选择+y面13的面选择信息，则处理转移到步骤S68。在步骤S68中，开关224-2从由存储器222提供的+y面13和-y面14的高分辨率编码流中选择+y面13的高分辨率编码流作为要被解码的流。开关224-2将所选择的高分辨率编码流提供给解码器225-2。
如果在步骤S67中确定没有提供用于选择+y面13的面选择信息，即，在步骤S67中确定从视线检测部229提供用于选择-y面14的面选择信息，则处理转移到步骤S69。在步骤S69中，开关224-2从由存储器222提供的+y面13和-y面14的高分辨率编码流中选择-y面14的高分辨率编码流作为要被解码的流。开关224-2将所选择的高分辨率编码流提供给解码器225-2。
如果在步骤S66中确定要处理的帧没有使得+y面13和-y面14的高分辨率编码流处于可随机访问的位置，则处理转移到步骤S70。
在步骤S70中，开关224-2从由存储器222提供的+y面13和-y面14的高分辨率编码流中选择与为紧前一帧选择的面相同的面的高分辨率编码流作为要被解码的流。
也就是说，如果要处理的帧没有使得+y面13和-y面14的高分辨率编码流处于可随机访问的位置，则要被解码的流不在+y面13与-y面14的高分辨率编码流之间切换。开关224-2将所选择的高分辨率编码流提供给解码器225-2。当完成步骤S68至S70时，处理转移到步骤S71。
在步骤S71中，开关224-3确定要处理的帧是否使得+z面15和-z面16的高分辨率编码流处于可随机访问的位置。
如果在步骤S71中确定要处理的帧使得+z面15和-z面16的高分辨率编码流处于可随机访问的位置，则处理转移到步骤S72。在步骤S72中，开关224-3确定是否从视线检测部229提供了用于选择+z面15的面选择信息。
如果在步骤S72中确定提供了用于选择+z面15的面选择信息，则处理转移到步骤S73。在步骤S73中，开关224-3从由存储器222提供的+z面15和-z面16的高分辨率编码流中选择+z面15的高分辨率编码流作为要被解码的流。开关224-3将选择的高分辨率编码流提供给解码器225-3。
如果在步骤S72中确定没有提供用于选择+z面15的面选择信息，即，在步骤S72中确定从视线检测部229提供用于选择-z面16的面选择信息，则处理转移到步骤S74。在步骤S74中，开关224-3从由存储器222提供的+z面15和-z面16的高分辨率编码流中选择-z面16的高分辨率编码流作为要被解码的流。开关224-3将选择的高分辨率编码流提供给解码器225-3。
如果在步骤S71中确定要处理的帧没有使得+z面15和-z面16的高分辨率编码流处于可随机访问的位置，则将处理转移到步骤S75。
在步骤S75中，开关224-3从由存储器222提供的+z面15和-z面16的高分辨率编码流中选择与为紧前一帧选择的面相同的面的高分辨率编码流。
也就是说，如果要处理的帧没有使得+z面15和-z面16的高分辨率编码流处于可随机访问的位置，则要被解码的流不在+z面15与-z面16的高分辨率编码流之间切换。开关224-3将所选择的高分辨率编码流提供给解码器225-3。在完成步骤S73至S75之后，处理转移到图18中的步骤S41。
如图19所示，基于面选择信息，面11至16中的每对相对面中的一个面独立于其他相对的面的对被选择为解码目标。
以上述方式，图像显示系统130的内容服务器132生成构成天球图像30的面11至16中的每个面的高分辨率编码流以及表示整个天球图像30的低分辨率编码流。
因此，如果视线矢量突然改变，则使用低分辨率图像即时显示用户的视场的图像，直到与改变的视线矢量对应的面的高分辨率编码流被解码。如果在生成用户视场的图像时需要使用与视线矢量对应的三个面以外的面，则仍然可以使用低分辨率图像来显示用户视场的图像。
本地服务器133与通过对表示整个天球图像30的一个编码流进行解码生成显示图像的任何本地服务器兼容。
<第二实施方式>
(根据第二实施方式的用于生成天球图像的方法的说明)
图20是第二实施方式中的通过用于生成天球图像的方法将图像映射到其的作为3D模型的球体的示意图(在下文该方法被称为新的等距圆柱投影)。
如图20所示，通过新的等距圆柱投影将图像映射到球体280的表面，当通过等距圆柱投影时，除了将球体280的表面垂直划分成三个面之外，该三个面中的中间面进一步水平划分成四个，最终构成大约相同面积的六个面281到286。在图20的示例中，球体280的中间面被划分成面283至286，使得映射到球体280的图像的前部291位于面284与285之间的边界上的中心处，并且后部292位于面283与286之间的边界上的中心处。图像的前部291通常位于沿参考视线方向的视场的中心处(例如，视线方向在用户佩戴头戴式显示器135时自然会面向前方)。
在本说明书中，穿过作为球体280的中心的原点O且穿过面281的中心和面282的中心的轴被称为a轴；穿过面283的中心和面284的中心的轴被称为b轴；以及穿过面285的中心和面286的中心的轴被称为c轴。根据需要，使得a＝r(其中，r表示从原点O到面281至286中的每个面的距离)的面281被称为+a面281。根据需要，使得a＝-r的面282被称为-a面282。类似地，根据需要，使得b＝r的面283被称为+b面283；使得b＝-r的面284被称为-b面284；使得c＝r的面285被称为+c面285；以及使得c＝-r的面286被称为-c面286。
+a面281与-a面282相对，+b面283与-b面284相对，以及+c面285与-c面286相对。前部291位于+c面285与-b面284之间的边界上的中心处。后部292位于-c面286与+b面283之间的边界上的中心处。
图21是说明了由新的等距圆柱投影生成的天球图像的示意图。
根据新的等距圆柱投影，如图21的左侧所示，以图像301的中心与前部291重合的方式，首先通过等距圆柱投影方式生成映射有捕获的全方位图像的球体280的图像301。因此后部292位于图像301的右边缘和左边缘的中心处。在图21的示例中，图像301由1920个像素(水平方向)乘以960个像素(垂直方向)构成。
如图21的中间所示，当图像301被垂直划分成三个图像时，最上面的图像是+a面281的图像311(顶部图像)，并且最下面的图像是-a面282的图像312(底部图像)。当中间图像被划分成四个图像时，最左边的图像是+b面283的图像313，左边的第二图像是+c面285的图像315，左边的第三个图像是-b面284的图像314，并且最右边的图像是-c面286的图像316。前部291位于图像315与314之间的边界上的中心处，并且后部292位于图像313的左边缘和图像316的右边缘之间的中心处。
在图21的示例中，图像311和312各自由1920个像素乘以240个像素构成。图像313至316(划分后的中间图像)分别由480个像素乘以480个像素构成。
接下来，如图21的右侧所示，图像301中的图像311和312以水平方向的分辨率减半的方式进行降频转换。在图21的示例中，根据图像311降频转换后的低分辨率顶部图像321和根据图像312降频转换后的低分辨率底部图像322各自由960个像素乘以240个像素构成。低分辨率顶部图像321、低分辨率底部图像322和图像313至316各自被赋予相同数目的像素，即230400个像素(＝480×480＝960×240)。
作为上述处理的结果，生成低分辨率顶部图像321、低分辨率底部图像322和图像313至316以构成天球图像320。
图22是示出了通过使用图21中的天球图像320生成的用户的视场的典型图像的示意图。
在图22的示例中，用户的视线矢量330从原点O指向+b面283、+c面285和-a面282的交点。
在这种情况下，可以使用+b面283的图像313、+c面285的图像315和-a面282的图像312来生成用户的视场331的图像。也就是说，与用户的视线矢量330对应的面是：面使得视线矢量330的轴分量的符号和a轴坐标的符号相同的面282；面使得b轴分量的符号和b轴坐标的符号相同的+b面283；以及面使得c轴分量的符号和c轴坐标的符号相同的+c面285。
图23是示出了图21的天球图像320中的像素的分布的示意图。
在图23中，每个点表示像素的中心。
如图23的A所示，以水平地和垂直地相距相等的距离来布置构成天球图像320的像素的中心。要注意，构成低分辨率顶部图像321与低分辨率底部图像322的像素之间的水平距离是构成图像313至316的像素之间的水平距离的两倍。
如图23的B所示，当天球图像320被映射到球体280的表面时，映射的低分辨率顶部图像321、低分辨率底部图像322和图像313至316分别具有面281至286的面积，这些面积基本相同。低分辨率顶部图像321、低分辨率底部图像322和图像313至316以与球体60上的立方体映射图像31至36的布置类似的方式布置在球体280上。面281至286中的每个面的像素密度基本相同。
如上所述，通过新的等距圆柱投影映射到球体280的天球图像320比通过等距圆柱投影映射时具有更好的像素各向同性。这降低了在球体280的上极和下极附近的解码过程的负担。而且，来自新的等距圆柱投影的天球图像320中的像素总数小于来自等距圆柱投影的天球图像320中的像素总数。与视线矢量对应的面的数目与立方体映射的情况下是相同的三个。
(第二实施方式中的内容服务器的典型结构)
除了内容服务器的结构不同并且由本地服务器映射的天球图像的3D模型是球体之外，作为本公开内容的第二实施方式的图像显示系统的配置与图9中的图像显示系统130的配置基本相同。因此，下面仅解释内容服务器。
图24是示出了作为本公开内容的第二实施方式的图像显示系统的典型配置的框图。
在图24所示的部件中，与图10相同的那些部件被分配相同的附图标记。在适当的情况下，下文将省略对部件的冗余说明。
图24中的内容服务器340的结构与图10中的内容服务器132不同在于：映射处理部341和划分部342分别替换映射处理部152和划分部155。内容服务器340(图像处理装置)在从映射有捕获的全方位图像的球体70上通过等距圆柱投影形成的图像中对顶部图像和底部图像进行降频转换以生成天球图像。
具体地说，映射处理部341根据由拼接处理部151提供的捕获图像通过新的等距圆柱投影生成天球图像320。映射处理部341将天球图像320馈送入降频转换部153和划分部342。
划分部342将从映射处理部341馈送的天球图像320划分成低分辨率顶部图像321、低分辨率底部图像322和六个面281至286的图像313至316。划分部342向编码器156-1提供低分辨率顶部图像321作为+a面281的高分辨率图像并且向编码器156-2提供低分辨率底部图像322作为-a面282的高分辨率图像。
划分部342向编码器156-3提供图像313作为+b面283的高分辨率图像，并且向编码器156-4提供图像314作为-b面284的高分辨率图像。划分部342进一步向编码器156-5提供图像315作为+c面285的高分辨率图像，并且向编码器156-6提供图像316作为-c面286的高分辨率图像。
因此，面281至286的高分辨率编码流以如下方式被生成：使得球体280上的面281至286的相对的面的对在可随机访问的位置中被同步，并且面被布置成为闭合的GOP结构。
(映射处理部的典型结构)
图25是示出了图24中包括的映射处理部341的典型结构的框图。
图25中的映射处理部341由等距圆柱图像生成部361、屏幕划分部362和降频转换部363构成。
映射处理部341中的等距圆柱图像生成部361使球体280映射有从图24中的拼接处理部151提供的捕获图像，从而通过等距圆柱投影来生成映射球体280的图像301。等距圆柱图像生成部361将图像301提供给屏幕划分部362。
屏幕划分部362将从等距圆柱图像生成部361馈送的图像301垂直划分成三个图像：顶部图像311、中间图像和底部图像312。屏幕划分部362还将中间图像水平划分成四个图像313至316。屏幕划分部362将图像311至316提供给降频转换部363。
降频转换部363(转换部)对从屏幕划分部362馈送的图像311和312进行降频转换，以分别生成低分辨率顶部图像321和低分辨率底部图像322。降频转换部363向图24中的降频转换部153和划分部342提供由因此生成的低分辨率顶部图像321和低分辨率底部图像322构成并且由从屏幕划分部362馈送的图像313至316构成的天球图像320。
根据新的等距圆柱投影，如上所述，使用映射有捕获图像的球体280的图像301通过等距圆柱投影生成天球图像320。与通过等距圆柱投影生成的天球图像90一样，根据新的等距圆柱投影容易地实现天球图像320的坐标变换。因此，天球图像320适用于处理矩形图像的普通编码方法。
根据新的等距圆柱投影，图像311和312被降频变换。这意味着天球图像320具有比天球图像90更少的像素，这降低了所涉及的解码过程的负担。也可以抑制映射有天球图像320的球体280的上极和下极附近的像素密度的增加。此外，防止在球体280的上极和下极附近映射的天球图像320在编码时被分配许多位。因此，整个天球图像320以相同的比特率被编码。这改善了天球图像320的图像质量。
同样根据新的等距圆柱投影，与视线矢量对应的面数目与当通过立方体映射生成天球图像时相同。与通过具有与视线矢量对应的四个面的等距圆柱投影生成天球图像的情况相比，编码器的数目和解码器的数目减少。
根据新的等距圆柱投影，构成天球图像320的面281至286的低分辨率顶部图像321、图像313至316和低分辨率底部图像322具有相同数目的像素。这意味着面281至286上的解码过程的负担基本相同。这抑制了由于视线矢量的波动引起的解码处理的负担的波动。
上面解释到，映射有图像的球体280的中间面被划分成使得图像前部291位于划分面284与285之间的边界上的中心处，并且使得后部292位于划分面283与286之间的边界上的中心处。可替选地，球体280的中间面可以被划分成使得前部291和后部292都不位于划分面之间的边界上的中心处。
(划分球体的中间面的方法的另一示例)
图26是示出了其中间面被划分成使得前部291和后部292位于划分面的相应中心处的另一典型球体280的示意图。
在图26所示的部分中，与图20中相同的那些部分被分配相同的附图标记。
在图26的示例中，球体280的表面被划分成面281、中间面和面282。中间面进一步被分成四个面383至386，使得前部291位于面385的中心处并且后部292位于面386的中心处。
在本说明书中，穿过作为球体280的中心的原点O且穿过面383和384的中心的轴被称为b'轴，并且穿过面385和386的中心的轴被称为c'轴。根据需要，面使得b'＝r(其中，r表示从原点O到面281、282和面383至386中的每一个的距离)的面383被称为+b'面383；使得b'＝-r的面384被称为-b'面384；使得c'＝r的面385被称为+c'面385；以及使得c'＝-r的面386被称为-c'面386。
在图26中的球体280上，+a面281与-a面282相对；+b'面383与-b'面384相对；以及+c'面385与-c'面386相对。前部291位于+c'面385的中心处。后部292位于-c'面386的中心处。
(由新的等距圆柱投影生成的天球图像的另一示例)
图27是说明了当捕获的全方位图像被映射到图26中的球体280时生成的典型天球图像的示意图。
在图27所示的部分中，与图21中相同的那些部分被分配相同的附图标记。
如图27的左侧所示，当图26中的球体280根据新的等距圆柱投影被映射有捕获的全方位图像时，首先以与图21相同的方式生成图像301。如图27的中间所示，图像301被垂直划分成三个图像。在这些图像中，顶部图像是+a面281的图像311，并且底部图像是-a面282的图像312。然后，在与右边缘和左边缘中的每一个相距整个水平距离的八分之一处分割中间图像。将边缘处的两个分割部分之间的中间部分进一步水平地三等分。在这种情况下，最左边的图像是-c'面386的右半部分图像396-1(第一划分中间图像)。左边的第二个图像是+b'面383(第三划分中间图像)的图像393。左边的第三个图像是+c'面385(第四划分中间图像)的图像395。左边的第四个图像是-b'面384(第五划分中间图像)的图像394；最右边的图像是-c'面386的左半部分图像396-2(第二划分中间图像)。
也就是说，图27的图像301中的中间图像通过将图21中的图像301中的中间图像向右移动整个水平距离的八分之一来获得。
如上所述，当图26中的球体280被映射有捕获的全方位图像时，图像301中的-c'面386的图像396被水平划分成如图所示设置的图像396-1和396-2。前部291位于图像395的中心处。后部292位于图像396-1的左边缘的中心处并且位于图像396-2的右边缘的中心处。在图27的示例中，图像393至395各自由480像素乘以480像素构成，并且图像396-1和396-2各自由240个像素乘以480像素形成。
接下来，如图27的右侧所示，图像301中的图像311和312以它们在水平方向上的分辨率减半的方式被降频转换。因此，低分辨率顶部图像321、低分辨率底部图像322和图像393至396各自被赋予相同数目的像素，即230400个像素(＝480×480＝960×240)。
作为上述处理的结果，生成低分辨率顶部图像321、低分辨率底部图像322和图像393至396以构成天球图像400。在天球图像400中，前部291位于+c'面395的中心处并且后部292位于-c'面396的中心处。因此，防止前部291因在解码的天球图像400中的图像393至396的边界上遭受的图像质量恶化导致的图像质量的劣化。这使天球图像400的图像质量的劣化最小化。
也就是说，图像393至396被独立编码。根据诸如AVC或HEVC的压缩编码方法，通过其按照时间顺序的运动补偿来压缩信息，当移动目标对象在屏幕上移动时，压缩失真的表现在保持一定形状的同时在帧间传播。当屏幕被划分并且划分的图像被独立编码时，不跨越图像之间的边界执行运动补偿。这意味着压缩失真倾向于在边界上显见。因此，从被移动图像划分出来的图像在被解码时显示由划分图像的边界上的压缩失真的变化表现导致的条纹。已知这种现象发生在AVC中的条带(slice)与HEVC中的片(tile)之间。
因此，解码图像393至396的边界上的图像质量易于劣化。然而，在天球图像400中，最有可能被用户观看的前部291不位于图像393至396的边界上。由于在前部291没有明显的图像质量恶化，所以天球图像400的图像质量的劣化保持不显著。
图21和图28中的图像301通过等距圆柱投影生成。这意味着图像301的右边缘继续至如图28中的A和B所示的图像的左边缘。如果与图像301上的视线矢量对应的位置向右移动超过图像301的右边缘，则该位置移动到图像301的左边缘。也就是说，图像301在水平方向上实际上是连续的方向。
在第二实施方式中，仅对高分辨率图像进行编码。在这种情况下，可以对所有面的高分辨率图像的编码流进行解码。可替选地，仅与视线矢量对应的面的高分辨率图像的编码流可以被解码。
<第三实施方式>
(作为第三实施方式的图像显示系统的典型配置)
图29是示出了作为本公开内容的第三实施方式的图像显示系统的典型配置的框图。
在图29所示的部件中，与图9中相同的那些部件被分配相同的附图标记。在适当的情况下，下文中将省略对部件的冗余说明。
图29中的图像显示系统470被配置成与图9中的图像显示系统130的有如下不同：本地服务器471和显示单元472分别替换本地服务器133和头戴式显示器135，省略了转换器134，并且提供了控制器473。
在图像显示系统370中，用户操作控制器473以输入用户的位置和视线矢量。显示单元472显示反映输入位置和视线矢量的显示图像。
具体地，图像显示系统370中的本地服务器471接收从内容服务器132发送的六个高分辨率编码流和一个低分辨率编码流。本地服务器471从控制器473接收关于用户的位置和视线矢量的指令。
与图9中的本地服务器133一样，本地服务器471从面11至16中确定用作用于确定的基础的与用户视线矢量对应的三个面。本地服务器471从六个高分辨率编码流中选择性地对与用户的视线矢量对应的面的三个高分辨率编码流进行解码。本地服务器471还对一个低分辨率编码流进行解码。
与本地服务器133一样，本地服务器471基于用户的位置和视线矢量来确定用户的视场。本地服务器471基于通过解码获得的高分辨率图像和低分辨率图像来生成用户的视场的图像作为显示图像。本地服务器471经由未示出的HDMI电缆将显示图像发送到显示单元472。
显示单元472显示从本地服务器471提供的显示图像。
控制器473包括操作按钮和其他控制。当用户通常通过操作操作按钮输入用户的位置和视线矢量时，控制器473接收输入。控制器473根据用户的位置和视线矢量指示本地服务器471。
顺便提及，控制器473和显示单元472可以一体地形成。集成实体可以构成诸如移动电话或平板电脑终端或个人计算机的一部分的移动终端。控制器473可以包括陀螺仪传感器、加速度传感器和地磁传感器。然后，可以基于这些传感器的检测结果来确定用户的视线矢量。
(用于生成与高分辨率图像和低分辨率图像对应的天球图像的方法的说明)
图30是说明了体现本公开内容的用于生成与图像显示系统中的高分辨率图像和低分辨率图像对应的天球图像的方法的示意图。
在本公开内容的第一实施方式至第三实施方式中，从由立方体映射生成的相同的天球图像30(320，400)生成高分辨率图像和低分辨率图像。可替选地，高分辨率图像和低分辨率图像可以由通过不同方法生成的天球图像生成。作为另一替选方案，用于生成高分辨率图像和低分辨率图像的天球图像可以通过等距圆柱投影生成。
也就是说，如图30所示，在体现本公开内容的图像显示系统中可以存在七种模式，其中，组合用于生成与高分辨率图像对应的天球图像的方法和用于生成与低分辨率图像对应的天球图像的方法。
具体地，根据第一模式，用于生成与高分辨率图像对应的天球图像的方法是立方体映射，并且用于生成与低分辨率图像对应的天球图像的方法是等距圆柱投影。在这种情况下，用于生成与低分辨率图像对应的天球图像的方法是等距圆柱投影，使得本公开内容的图像显示系统与现有的图像显示系统兼容，该现有图像显示系统将由等距圆柱投影生成的天球图像编码成一个编码流。此外，由于用于生成与高分辨率图像对应的天球图像的方法是立方体映射，所以构成立方体图像的高分辨率图像中的像素密度基本上是恒定的。因此，显示图像具有良好的图像质量。
根据第二模式，用于生成与高分辨率图像对应的天球图像的方法和用于生成与低分辨率图像对应的天球图像的方法都是立方体映射。因此，第二模式适用于第一实施方式和第三实施方式。在这种情况下，整个立方体图像中的像素密度基本上是恒定的，使得显示图像具有良好的图像质量。
根据第三模式，用于生成与高分辨率图像对应的天球图像的方法和用于生成与低分辨率图像对应的天球图像的方法都是等距圆柱投影。在这种情况下，本公开内容的图像显示系统130(370)与现有的图像显示系统兼容，该现有的图像显示系统将由等距圆柱投影生成的天球图像编码成一个编码流。
根据第四模式，用于生成与高分辨率图像对应的天球图像的方法是等距圆柱投影，并且用于生成与低分辨率图像对应的天球图像的方法是立方体映射。
根据第五模式，用于生成与高分辨率图像对应的天球图像的方法是立方体映射，并且用于生成与低分辨率图像对应的天球图像的方法是新的等距圆柱投影。在这种情况下，整个立方体图像中的像素密度基本上是恒定的，使得显示图像具有良好的图像质量。
根据第六模式，用于生成与高分辨率图像对应的天球图像的方法和用于生成与低分辨率图像对应的天球图像的方法都是新的等距圆柱投影。因此，第六模式适用于本公开内容的第二实施方式。在这种情况下，整个立方体图像中的像素密度基本上是恒定的，使得显示图像具有良好的图像质量。
根据第七模式，用于生成与高分辨率图像对应的天球图像的方法是新的等距圆柱投影，并且用于生成与低分辨率图像对应的天球图像的方法是立方体映射。在这种情况下，整个立方体图像中的像素密度基本上是恒定的，使得显示图像具有良好的图像质量。
在第五模式和第七模式中，立方体映射可以由等距圆柱投影代替。
图31是示出了由本地服务器映射的球体的图像的示意图，其中，用于生成与高分辨率图像和低分辨率图像对应的天球图像的方法构成第一模式。
根据第一模式，与低分辨率图像对应的天球图像是由等距圆柱投影生成的天球图像90。因此，如图31所示，从天球图像90降频转换的低分辨率图像501首先被映射到球体70。与用户的视线方向对应的图像31、34和36被叠加到映射有低分辨率图像501的球体70用于映射，其生成球体图像500。球体图像500用于生成显示图像。
除了将天球图像30生成为用于高分辨率图像的天球图像并且天球图像90被生成为用于低分辨率图像的天球图像之外，使用第一模式的图像显示系统与图像显示系统130相同。
除了天球图像30代替天球图像90，天球图像90被划分成八个面71至78的图像91至98，并且存在九个编码器和五个解码器之外，使用第三模式的图像显示系统与图像显示系统130相同。
除了将天球图像90生成为用于高分辨率图像的天球图像，天球图像30被生成为用于低分辨率图像的天球图像，天球图像90被划分成八个面71至78的图像91至98，并且存在九个编码器和五个解码器之外，使用第四模式的图像显示系统与图像显示系统130相同。
除了将天球图像30生成为用于高分辨率图像的天球图像并且天球图像320(400)被生成用于低分辨率图像之外，使用第五模式的图像显示系统与图像显示系统130相同。
除了将天球图像320(400)生成为用于高分辨率图像的天球图像，并且天球图像30被生成为用于低分辨率图像的天球图像之外，使用第七模式的图像显示系统与作为第二实施方式的图像显示系统相同。
<第四实施方式>
(应用本公开内容的计算机的说明)
上面结合内容服务器132(340)和本地服务器133(471)描述的一系列步骤或处理可以通过硬件或软件执行。在这些步骤或过程由软件执行的情况下，构成软件的程序被安装到合适的计算机中。计算机的变化包括预先安装在其专用硬件中的软件，以及能够基于安装在其中的程序执行各种功能的通用个人计算机或类似设备。
图32是示出了使用程序执行上述一系列步骤或处理的计算机的典型硬件结构的框图。
在计算机900中，通过总线904将中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903互连。
总线904还与输入/输出接口905连接。输入/输出接口905与输入部906、输出部907、存储部908、通信部909和驱动器910连接。
输入部906可以由键盘、鼠标和麦克风形成。输出部907可以由显示单元和扬声器构成。存储部908可以由硬盘或非易失性存储器构成。通信部909可以由网络接口构成。驱动器910驱动可移动介质911，例如磁盘、光盘、磁光盘或半导体存储器。
在如上所述构造的计算机900中，CPU 901通过使RAM 903经由输入/输出接口905和总线904从存储部908加载程序并通过执行加载的程序来执行上述步骤或处理。
由计算机900(CPU 901)执行的程序可以被提供记录在通常作为包装介质提供的可移动介质911上。还可以通过诸如局域网、互联网或数字卫星广播的有线或无线媒体来传送程序。
在计算机900中，可以经由输入/输出接口905将程序从装载在驱动器910中的可移动介质911安装到存储部908中。程序可以替选地在经由有线或无线介质被通信部909接收之后被安装到存储部908中。作为另一选择，程序可以预先安装在ROM 902或存储部908中。
计算机900执行的程序可以按时间顺序处理，即以本说明书中描述的顺序处理；或者以其他适当的时序方式如根据需要被调用。
在本说明书中，术语“系统”是指多个部件(装置或模块(部件))的集合。所有部件是否都安装在同一个机箱中无关紧要。因此，系统可以被配置有容纳在单独的外壳中并且经由网络互连的多个装置，以及被配置有在单个外壳中容纳多个模块的单个装置。
在本说明书中提到的有益效果仅仅是本发明的示例而不是限制，这也将提供其他优点。
本公开内容不限于在本公开内容的精神和范围内可以不同地改变或修改的上述实施方式。
例如，高分辨率图像不需要被转换成低分辨率图像，使得所得到的分辨率是原始分辨率的四分之一。高分辨率图像的分辨率仅需要高于低分辨率图像的分辨率。可以通过转换天球图像的分辨率来生成高分辨率图像。捕获的图像可以是静止图像或运动图像。3D模型不限于球体或立方体；它可以是正多面体，例如正十二面体或二十面体。
内容服务器132(340)可以将编码的流实时地发送到本地服务器133(471)而不记录它们。编码器156-1至156-6可以设置在内容服务器132(340)的外部。
上面已经解释了编码流有两个分辨率。可替选地，编码流可以有三个或更多个分辨率。
例如，如果存在三个分辨率，则与划分成面11至16(例如，面71至78、面281至286、面281和282以及面383至386)相比，3D模型的面被划分得更细。对于比面11至16(例如，面71至78、面281至286、面281和282以及面383至386)划分得更细的每个面，天球图像30(90,320,400)在编码之前被划分成高分辨率图像。图像31至36(例如，图像91至98、低分辨率顶部图像321、低分辨率底部图像322和图像313至316(393至396))在被编码前各自降频转换成中等分辨率图像。在被编码之前，将天球图像30(90)降频转换成分辨率低于中等分辨率图像的图像。然后，与高分辨率图像对应的面被选择为与视线矢量对应的面。
当生成天球图像时映射的3D模型在尺寸上可能与在生成显示图像时要映射的3D模型不同。
假如在生成显示图像时低分辨率图像和高分辨率图像被映射到的3D模型包括低分辨率图像被映射到的3D模型，则在生成显示图像时低分辨率图像和高分辨率图像被映射到的3D模型可能与低分辨率图像被映射到的3D模型不同。
在第三实施方式中，显示单元472可以是圆顶形的。在这种情况下，本地服务器471可以生成所有面11至16的图像作为显示图像。
本公开内容可以被配置成云计算设备，其中，单个功能由基于共享的多个联网装置协同地处理。
参考上述流程图讨论的每个步骤可以由单个装置或由共享的多个装置执行。
如果单个步骤包括多个处理，则这些处理可以由单个装置执行，也可以由基于共享的多个装置执行。
本公开内容可以被配置如下：
(1)一种图像处理装置，包括：
第一编码部，被配置成对根据全方位图像生成的由模型的多个面的图像形成的第一天球图像进行编码以生成与所述面中的每个面对应的第一编码流，所述编码以第一分辨率被逐面地执行；以及
第二编码部，被配置成以第二分辨率对根据所述全方位图像生成的第二天球图像进行编码以生成第二编码流。
(2)根据上述段落(1)所述的图像处理装置，其中，
通过不同的方法生成所述第一天球图像和所述第二天球图像。
(3)根据上述段落(2)所述的图像处理装置，其中，
通过立方体映射生成所述第一天球图像，并且通过等距圆柱投影生成所述第二天球图像。
(4)根据上述段落(1)至(3)中任一项所述的图像处理装置，其中，
所述第一编码部被配置成以如下方式生成所述第一编码流：相对的面的对的第一编码流的可随机访问位置同步。
(5)根据上述段落(1)至(4)中任一项所述的图像处理装置，其中，
所述第一编码部被配置成以如下方式生成所述第一编码流：所述第一编码流被布置成闭合的图像组结构。
(6)根据上述段落(1)至(5)中任一项所述的图像处理装置，其中，
转换部，被配置成将所述第二天球图像的分辨率转换成所述第二分辨率。
(7)根据上述段落(1)至(6)中任一项所述的图像处理装置，还包括：
存储部，被配置成存储所述第一编码流和所述第二编码流。
(8)根据上述段落(7)所述的图像处理装置，还包括：
传送部，被配置成将存储在所述存储部中的所述第一编码流和所述第二编码流传送至对所述第一编码流和所述第二编码流进行解码的终端。
(9)根据上述段落(1)至(8)中任一项所述的图像处理装置，还包括：
所述第一编码部被配置成根据高级视频编码/H.264标准或高效视频编码/H.265标准生成所述第一编码流，并且
所述第二编码部根据高级视频编码/H.264标准或高效视频编码/H.265标准生成所述第二编码流。
(10)一种图像处理方法，包括，
通过图像处理装置进行的第一编码步骤：对根据全方位图像生成的由模型的多个面的图像形成的第一天球图像进行编码以生成与所述面中的每个面对应的第一编码流，所述编码以第一分辨率逐面地执行；以及
通过所述图像处理装置进行的第二编码步骤：以第二分辨率对根据所述全方位图像生成的第二天球图像进行编码以生成第二编码流。
(11)一种图像处理装置，包括：
解码部，被配置成：对于通过将根据全方位图像生成的由模型的多个面形成的模型的第一天球图像划分成所述面并以第一分辨率逐面地对图像进行编码而生成的第一编码流以及通过以第二分辨率对根据所述全方位图像生成的第二天球图像进行编码而生成的第二编码流，以所述第一分辨率对与每对相对的面中的一个面对应的第一编码流进行解码以生成相应面的所述第一天球图像。
(12)根据上述段落(11)所述的图像处理装置，其中，
所述解码部以所述第二分辨率对所述第二编码流进行解码以生成所述第二天球图像。
(13)根据上述段落(11)或(12)所述的图像处理装置，其中，
选择部，被配置成根据用户的视线方向来选择每对相对的面中的一个面，
其中，所述解码部对与由所述选择部选择的面对应的第一编码流进行解码。
(14)根据上述段落(13)所述的图像处理装置，其中，
渲染部，被配置成通过使用由所述解码部以所述第一分辨率生成的每对相对的面中的一个面的所述第一天球图像和由所述解码部以所述第二分辨率生成的所述第二天球图像、基于所述视线方向来生成视场的图像。
(15)根据上述段落(11)至(14)中任一项所述的图像处理装置，其中，
通过不同的方法生成所述第一天球图像和所述第二天球图像。
(16)根据上述段落(15)所述的图像处理装置，其中，
通过立方体映射生成所述第一天球图像，并且通过等距圆柱投影生成所述第二天球图像。
(17)根据上述段落(11)至(16)中任一项所述的图像处理装置，其中，
相对的面的对的第一编码流的可随机访问位置同步。
(18)根据上述段落(11)至(17)中任一项所述的图像处理装置，还包括：
所述第一编码流被布置成闭合的GOP结构。
(19)根据上述段落(11)至(18)中任一项所述的图像处理装置，其中，
所述解码部包括：
第一解码部，被配置成对所述第一编码流进行解码；以及
第二解码部，被配置成对所述第二编码流进行解码。
(20)一种图像处理方法，包括：
通过图像处理装置进行的解码步骤：对于通过将根据全方位图像生成的由模型的多个面的图像形成的第一天球图像划分成所述面并以第一分辨率逐面地对图像进行编码而生成的第一编码流以及通过以第二分辨率对根据所述全方位图像生成的第二天球图像进行编码而生成的第二编码流，以所述第一分辨率对与每对相对的面中的一个面对应的第一编码流进行解码以生成相应面的所述第一天球图像。
[附图标记列表]
10：立方体
11至16：面
30：天球图像
132：内容服务器
133：本地服务器
154、156-1至156-6：编码器
223、225-1至225-3：解码器
227：渲染部
229：视线检测部
301、311至316：图像
320：天球图像
321：低分辨率顶部图像
340：内容服务器
322：低分辨率底部图像
362：屏幕划分部
363：降频转换部
471：本地服务器

Claims (20)

1.一种图像处理装置，包括：
第一编码部，被配置成对根据全方位图像生成的由模型的多个面的图像形成的第一天球图像进行编码，以生成与所述面中的每个面对应的第一编码流，所述编码以第一分辨率被逐面地执行；以及
第二编码部，被配置成以第二分辨率对根据所述全方位图像生成的第二天球图像进行编码以生成第二编码流。
2.根据权利要求1所述的图像处理装置，其中，
通过不同的方法生成所述第一天球图像和所述第二天球图像。
3.根据权利要求2所述的图像处理装置，其中，
通过立方体映射生成所述第一天球图像，并且通过等距圆柱投影生成所述第二天球图像。
4.根据权利要求1所述的图像处理装置，其中，
所述第一编码部被配置成以如下方式生成所述第一编码流：相对的面的对的第一编码流的可随机访问位置同步。
5.根据权利要求4所述的图像处理装置，其中，
所述第一编码部被配置成以如下方式生成所述第一编码流：所述第一编码流被布置成闭合的图像组结构。
6.根据权利要求1所述的图像处理装置，还包括：
转换部，被配置成将所述第二天球图像的分辨率转换成所述第二分辨率。
7.根据权利要求1所述的图像处理装置，还包括：
存储部，被配置成存储所述第一编码流和所述第二编码流。
8.根据权利要求7所述的图像处理装置，还包括：
传送部，被配置成将存储在所述存储部中的所述第一编码流和所述第二编码流传送至对所述第一编码流和所述第二编码流进行解码的终端。
9.根据权利要求1所述的图像处理装置，其中，
所述第一编码部被配置成根据高级视频编码/H.264标准或高效视频编码/H.265标准生成所述第一编码流，并且
所述第二编码部根据高级视频编码/H.264标准或高效视频编码/H.265标准生成所述第二编码流。
10.一种图像处理方法，包括：
通过图像处理装置进行的第一编码步骤：对根据全方位图像生成的由模型的多个面的图像形成的第一天球图像进行编码，以生成与所述面中的每个面对应的第一编码流，所述编码以第一分辨率逐面地执行；以及
通过所述图像处理装置进行的第二编码步骤：以第二分辨率对根据所述全方位图像生成的第二天球图像进行编码以生成第二编码流。
11.一种图像处理装置，包括：
解码部，被配置成：对于通过将根据全方位图像生成的由模型的多个面的图像形成的第一天球图像划分成所述面并以第一分辨率逐面地对图像进行编码而生成的第一编码流以及通过以第二分辨率对根据所述全方位图像生成的第二天球图像进行编码而生成的第二编码流，以所述第一分辨率对与每对相对的面中的一个面对应的第一编码流进行解码以生成相应面的所述第一天球图像。
12.根据权利要求11所述的图像处理装置，其中，
所述解码部以所述第二分辨率对所述第二编码流进行解码以生成所述第二天球图像。
13.根据权利要求12所述的图像处理装置，还包括：
选择部，被配置成根据用户的视线方向来选择每对相对的面中的一个面，
其中，所述解码部对与由所述选择部选择的面对应的第一编码流进行解码。
14.根据权利要求13所述的图像处理装置，还包括：
渲染部，被配置成通过使用由所述解码部以所述第一分辨率生成的每对相对的面中的一个面的所述第一天球图像和由所述解码部以所述第二分辨率生成的所述第二天球图像、基于所述视线方向来生成视场的图像。
15.根据权利要求11所述的图像处理装置，其中，
通过不同的方法生成所述第一天球图像和所述第二天球图像。
16.根据权利要求15所述的图像处理装置，其中，
通过立方体映射生成所述第一天球图像，并且通过等距圆柱投影生成所述第二天球图像。
17.根据权利要求11所述的图像处理装置，其中，
相对的面的对的第一编码流的可随机访问位置同步。
18.根据权利要求17所述的图像处理装置，其中，
所述第一编码流被布置成闭合的图像组合结构。
19.根据权利要求11所述的图像处理装置，其中，
所述解码部包括：
第一解码部，被配置成对所述第一编码流进行解码；以及
第二解码部，被配置成对所述第二编码流进行解码。
20.一种图像处理方法，包括：
通过图像处理装置进行的解码步骤：对于通过将根据全方位图像生成的由模型的多个面的图像形成的第一天球图像划分成所述面并以第一分辨率逐面地对图像进行编码而生成的第一编码流以及通过以第二分辨率对根据所述全方位图像生成的第二天球图像进行编码而生成的第二编码流，以所述第一分辨率对与每对相对的面中的一个面对应的第一编码流进行解码以生成相应面的所述第一天球图像。
CN201680012776.2A 2015-03-05 2016-02-19 图像处理装置和图像处理方法 Active CN107409233B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015-043613 2015-03-05
JP2015043613 2015-03-05
JP2015-119142 2015-06-12
JP2015119142 2015-06-12
PCT/JP2016/054835 WO2016140083A1 (ja) 2015-03-05 2016-02-19 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
CN107409233A true CN107409233A (zh) 2017-11-28
CN107409233B CN107409233B (zh) 2020-04-14

Family

ID=56848904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680012776.2A Active CN107409233B (zh) 2015-03-05 2016-02-19 图像处理装置和图像处理方法

Country Status (4)

Country Link
US (1) US10911781B2 (zh)
JP (1) JP6688469B2 (zh)
CN (1) CN107409233B (zh)
WO (1) WO2016140083A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866485A (zh) * 2019-04-25 2020-10-30 中国移动通信有限公司研究院 立体画面投影和传输方法、装置和计算机可读存储介质
CN114207562A (zh) * 2020-02-29 2022-03-18 近江数码制造株式会社 运动图像分发方法、运动图像再现方法、运动图像分发装置以及分发数据结构

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107993276B (zh) * 2016-10-25 2021-11-23 杭州海康威视数字技术股份有限公司 一种全景图像的生成方法及装置
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
GB2555788A (en) * 2016-11-08 2018-05-16 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
GB2571638B (en) * 2016-12-14 2022-04-20 Mediatek Inc Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by rectangular projection faces packed in viewport
US10573076B2 (en) 2016-12-14 2020-02-25 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by rectangular projection faces packed in viewport-based cube projection layout
CN108235031B (zh) * 2016-12-15 2019-11-05 华为技术有限公司 一种运动矢量解码方法及解码器
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
WO2018134946A1 (ja) 2017-01-19 2018-07-26 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、及び画像表示制御装置
CN110235447B (zh) * 2017-01-19 2023-03-28 索尼互动娱乐股份有限公司 图像传送装置
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US10839480B2 (en) * 2017-03-22 2020-11-17 Qualcomm Incorporated Sphere equator projection for efficient compression of 360-degree video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
GB2563275B (en) * 2017-06-09 2019-10-09 Sony Interactive Entertainment Inc Image processing device and system
US20200137417A1 (en) * 2017-06-26 2020-04-30 Sony Corporation Generation device and generation method, and reproduction device and reproduction method
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
EP3429207A1 (en) * 2017-07-13 2019-01-16 Thomson Licensing A method and apparatus for encoding/decoding a colored point cloud representing the geometry and colors of a 3d object
CN109427089B (zh) * 2017-08-25 2023-04-28 微软技术许可有限责任公司 基于环境光照条件的混合现实对象呈现
US10573060B1 (en) * 2018-06-14 2020-02-25 Kilburn Live, Llc Controller binding in virtual domes
US10740957B1 (en) * 2018-06-14 2020-08-11 Kilburn Live, Llc Dynamic split screen
JP7176277B2 (ja) * 2018-07-31 2022-11-22 株式会社リコー 配信装置、カメラ装置、配信システム、配信方法及び配信プログラム
JP7249755B2 (ja) * 2018-10-26 2023-03-31 キヤノン株式会社 画像処理システムおよびその制御方法、プログラム
JP7326774B2 (ja) * 2019-03-06 2023-08-16 株式会社リコー 画像処理システム、撮像装置、情報処理装置、画像処理方法及びプログラム
GB2619640B (en) * 2019-07-05 2024-06-05 V Nova Int Ltd Quantization of residuals in video coding
GB2585645B (en) * 2019-07-08 2024-04-17 Toshiba Kk Computer vision method and system
US11533467B2 (en) 2021-05-04 2022-12-20 Dapper Labs, Inc. System and method for creating, managing, and displaying 3D digital collectibles with overlay display elements and surrounding structure display elements

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001298652A (ja) * 2000-04-17 2001-10-26 Sony Corp 画像圧縮方法及び画像圧縮装置、並びにソフトウェア記憶媒体
CN1759616A (zh) * 2003-03-07 2006-04-12 索尼株式会社 数据编码器、数据编码方法和计算机程序
CN101262597A (zh) * 2007-03-09 2008-09-10 索尼株式会社 图像显示系统、装置和方法,图像发送装置和方法,以及程序
CN101765012B (zh) * 2010-01-20 2012-05-23 李博航 图像信息处理方法
CN101771877B (zh) * 2010-01-20 2012-07-25 李博航 信息处理方法
CN103428500A (zh) * 2013-08-31 2013-12-04 西安电子科技大学 一种超分辨率大视场红外成像方法
US20140087867A1 (en) * 2012-09-26 2014-03-27 Igt Wearable display system and method
CN104349142A (zh) * 2014-11-03 2015-02-11 南京航空航天大学 一种基于分层表达的无人机视频自适应传输方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002312778A (ja) 2001-04-09 2002-10-25 Be Here Corp モーションパノラマ画像を電子的に配信する方法および装置
US8737816B2 (en) * 2002-08-07 2014-05-27 Hollinbeck Mgmt. Gmbh, Llc System for selecting video tracks during playback of a media production
JP2004072694A (ja) * 2002-08-09 2004-03-04 Sony Corp 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム
JP4475643B2 (ja) 2004-06-29 2010-06-09 キヤノン株式会社 画像符号化装置及び方法
JP5918618B2 (ja) * 2011-06-03 2016-05-18 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US9917877B2 (en) * 2014-10-20 2018-03-13 Google Llc Streaming the visible parts of a spherical video

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001298652A (ja) * 2000-04-17 2001-10-26 Sony Corp 画像圧縮方法及び画像圧縮装置、並びにソフトウェア記憶媒体
CN1759616A (zh) * 2003-03-07 2006-04-12 索尼株式会社 数据编码器、数据编码方法和计算机程序
CN101262597A (zh) * 2007-03-09 2008-09-10 索尼株式会社 图像显示系统、装置和方法,图像发送装置和方法,以及程序
CN101765012B (zh) * 2010-01-20 2012-05-23 李博航 图像信息处理方法
CN101771877B (zh) * 2010-01-20 2012-07-25 李博航 信息处理方法
US20140087867A1 (en) * 2012-09-26 2014-03-27 Igt Wearable display system and method
CN103428500A (zh) * 2013-08-31 2013-12-04 西安电子科技大学 一种超分辨率大视场红外成像方法
CN104349142A (zh) * 2014-11-03 2015-02-11 南京航空航天大学 一种基于分层表达的无人机视频自适应传输方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HIDEAKI KIMATA.等: "Panorama video coding for user-driven interactive video", 《THE 13TH IEEE INTERNATIONAL SYMPOSIUM ON CONSUMER ELECTROINC，ISCE2009》 *
HIDEAKI KIMATA等: "Interactive Panorama Video Distribution System", 《2011 TECHNIACAL SYMPOSIUM AT ITU TELECOM WORLD》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866485A (zh) * 2019-04-25 2020-10-30 中国移动通信有限公司研究院 立体画面投影和传输方法、装置和计算机可读存储介质
CN114207562A (zh) * 2020-02-29 2022-03-18 近江数码制造株式会社 运动图像分发方法、运动图像再现方法、运动图像分发装置以及分发数据结构

Also Published As

Publication number Publication date
JPWO2016140083A1 (ja) 2017-12-14
CN107409233B (zh) 2020-04-14
WO2016140083A1 (ja) 2016-09-09
JP6688469B2 (ja) 2020-04-28
US10911781B2 (en) 2021-02-02
US20180007387A1 (en) 2018-01-04

Similar Documents

Publication Publication Date Title
CN107409233A (zh) 图像处理装置和图像处理方法
CN107409231A (zh) 图像处理装置和图像处理方法
JP6937302B2 (ja) 多視点ビデオの符号化／復号化方法
TWI690201B (zh) 全方位視訊之解碼方法、編碼方法及電子設備
JP5722761B2 (ja) 動画圧縮装置、画像処理装置、動画圧縮方法、画像処理方法、および動画圧縮ファイルのデータ構造
US20220368942A1 (en) Method and device for image encoding and decoding, and recording medium having bit stream stored therein
CN105721876B (zh) 图像解码方法
CN107409232A (zh) 图像处理设备和图像处理方法
CN109983757A (zh) 全景视频回放期间的视图相关操作
CN109716766A (zh) 一种滤波360度视频边界的方法及装置
CN107439012A (zh) 高动态范围视频编码中的在环且基于块的图像再成形
JP5826730B2 (ja) 動画圧縮装置、画像処理装置、動画圧縮方法、画像処理方法、および動画圧縮ファイルのデータ構造
CN109983500A (zh) 重新投影全景视频图片的平板投影以通过应用进行渲染
OA10382A (en) Apparatus and method for decoding video images
JP2008054267A (ja) 画像処理装置、画像符号化装置及び画像復号化装置
CN108965847A (zh) 一种全景视频数据的处理方法及装置
Su et al. Learning compressible 360 video isomers
DE102019218316A1 (de) 3d-renderer-zu-videocodierer-pipeline für verbesserte visuelle qualität und geringe latenz
US20230071018A1 (en) Parallel encoding of video frames without filtering dependency
US20230063062A1 (en) Hardware codec accelerators for high-performance video encoding
CN116600134B (zh) 一种适配图形引擎的并行视频压缩方法和装置
CN112385232B (zh) 用于双向帧内预测的参考像素插值方法和装置
CN113542864B (zh) 视频的花屏区域检测方法、装置、设备及可读存储介质
KR20190113655A (ko) 비디오 신호 처리 방법 및 장치
JP2007102571A (ja) 動画生成装置、動画生成方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant