CN108475337B - 视频编解码方法及装置 - Google Patents

视频编解码方法及装置 Download PDF

Info

Publication number
CN108475337B
CN108475337B CN201780003722.4A CN201780003722A CN108475337B CN 108475337 B CN108475337 B CN 108475337B CN 201780003722 A CN201780003722 A CN 201780003722A CN 108475337 B CN108475337 B CN 108475337B
Authority
CN
China
Prior art keywords
projection
view
triangular projection
layout
triangular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780003722.4A
Other languages
English (en)
Other versions
CN108475337A (zh
Inventor
林建良
林鸿志
李佳盈
张胜凯
朱启诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN108475337A publication Critical patent/CN108475337A/zh
Application granted granted Critical
Publication of CN108475337B publication Critical patent/CN108475337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频编码方法，包括：设置多个投影面的360°虚拟现实(360VR)投影布局，其中所述多个投影面包括分别位于所述360VR投影布局中的多个位置的多个三角形投影面；对具有由排列在所述360VR投影布局中的所述多个投影面所表示的360°图像内容的帧进行编码以生成比特流；对于包括在所述多个位置的至少一部分中的每一个位置，通过所述比特流发信至少一个语法元素，其中所述至少一个语法元素被设置以指示三角形投影视图的一个索引与应用于所述三角形投影视图的内容旋转的一个旋转角度中的至少一个，所述三角形投影视图被填充到位于所述每一个位置的对应的三角形投影面。

Description

视频编解码方法及装置
相关参考
本申请要求递交于2016年10月7日，号码为62/405,290的美国临时申请的优先权，其整体通过参考纳入其中。
背景技术
本发明涉及视频编码和视频解码，更具体地，涉及具有所采用投影布局(projection layout)的语法元素信令(syntax element signaling)的视频编码方法和装置以及相关的视频解码方法和装置。
具有多个头戴式显示器(head-mounted displays，简称HMDs)的虚拟现实(VR)与各种各样的应用相关联，其向用户提供宽视场内容(wide field of view content)的能力可以用来提供沉浸式的视觉体验(immersive visual experiences)。必须在所有方向上捕获真实世界环境以生成对应于观察球(viewing sphere)的全景视频(omnidirectionalvideo)。随着多个相机平台(camera rig)和多个HMD的发展，由于展示如360°图像内容所需要的高比特率，VR内容的递送可能很快成为瓶颈。当全景视频的分辨率是4K或者更高的时候，数据压缩/编码对比特率的减小是关键的。
通常，对应于观察球的全景视频被转换成由排列在360VR投影布局多个投影面所表示的具有360°图像内容的帧，然后所生产的帧被编码成比特流用于传输。如果所采用的360VR投影布局的配置是固定的而不允许进行任何调整，视频编码器对于该360°图像内容的编码具有较小的灵活性。因此，需要设计灵活的视频编码器，其被允许决定/选择360VR投影布局并且发信与所采用的该360VR投影布局有关的语法元素至视频解码器。
发明内容
本发明的目的之一是提供一种具有所采用投影布局的语法元素信令的视频编码方法和装置以及相关的视频解码方法和装置。
根据本发明的第一方面，公开了一种示例性视频编码方法。该示例性视频编码方法包括：设置多个投影面的360°虚拟现实(360VR)投影布局，其中所述多个投影面包括分别位于所述360VR投影布局中的多个位置的多个三角形投影面；对具有由排列在所述360VR投影布局的所述多个投影面所表示的360°图像内容的帧进行编码以生成比特流；以及对于包括在所述多个位置的至少一部分中的每一个位置，通过所述比特流发信至少一个语法元素，其中所述至少一个语法元素被设置以指示三角形投影视图的一个索引与应用于所述三角形投影视图的内容旋转的一个旋转角度中的至少一个，所述三角形投影视图被填充到位于所述每一个位置的对应的三角形投影面。
根据本发明的第二方面，公开了一种示例性视频编码方法。该示例性编码方法包括：对具有由排列在360°虚拟现实(360VR)投影布局中的多个投影面所表示的360°图像内容的帧进行编码以生成比特流，其中所述多个投影面包括多个三角形投影面；以及通过所述比特流发信第一语法元素，其中当预定义的投影布局被选择并用作为所述360VR投影布局的时候，所述第一语法元素被设置以指示所述预定义的投影布局的选择。
根据本发明的第三方面，公开了一种示例性视频解码方法。该示例性解码方法包括：接收比特流，处理所述比特流以为包括在多个位置中的至少一部分中的每一个位置获得至少一个语法元素；参考为所述多个位置中的至少一部分所获得的至少多个语法元素以决定多个投影面的360°虚拟现实(360VR)投影布局，其中所述多个投影面包括分别位于所述360VR投影布局中的所述多个位置的多个三角形投影面，并且所述至少一个语法元素指示三角形投影视图的一个索引与应用于所述三角形投影视图的内容旋转的一个旋转角度中的至少一个，所述三角形投影视图被填充到位于所述每一个位置的对应的三角形投影面；以及对所述比特流进行解码以生成具有由排列在所述360VR投影布局中的所述多个投影面表示的360°图像内容的解码帧。
根据本发明的第四方面，公开了一种示例性视频解码方法。该示例性解码方法包括：接收比特流；处理所述比特流以获得第一语法元素；参考至少所述第一语法元素以决定多个投影面的360°虚拟现实(360VR)投影布局，其中所述多个投影面包括多个三角形投影面，以及当预定义的投影布局被选择并用作为所述360VR投影布局的时候，所述第一语法元素指示所述预定义的投影布局的选择；以及解码所述比特流以生成具有由排列在所述360VR投影布局的所述多个投影面表示的360°图像内容的解码帧。
根据本发明的第五方面，公开了一种示例性视频编码器。该示例性视频编码器包括控制电路以及编码电路。所述控制电路用于设置多个投影面的360°虚拟现实(360VR)投影布局，其中所述多个投影面包括分别位于所述VR投影布局中的多个位置的多个三角形投影面。所述编码电路用于对具有由排列在所述360VR投影布局中的所述多个投影面表示的360°图像内容的帧进行编码以生成比特流，其中对于包括在所述多个位置的至少一部分中的每一个位置，所述编码电路进一步通过所述比特流发信至少一个语法元素，其中所述至少一个语法元素被设置以指示三角形投影视图的一个索引与应用于所述三角形投影视图的内容旋转的一个旋转角度中的至少一个，所述三角形投影视图被填充到位于所述每一个位置的对应的三角形投影面。
根据本发明的第六方面，公开了一种示例性视频解码器。该示例性视频解码器包括控制电路以及解码电路。所述解码电路用于接收比特流，处理所述比特流以获得用于包括在多个位置的至少一部分中的每一个位置的至少一个语法元素，并且对所述比特流进行解码以生成具有由排列在所述360°虚拟现实(360VR)投影布局中的所述多个投影面所表示的360°图像内容的解码帧；所述控制电路用于参考为所述多个位置的至少一部分的所获得的至少多个语法元素以决定多个投影面的360°虚拟现实投影布局，其中所述多个投影面包括分别位于所述360VR投影布局中的所述多个位置的多个三角形投影面，以及所述至少一个语法元素指示三角形投影视图的一个索引与应用于所述三角形投影视图的内容旋转的一个旋转角度中的至少一个，所述三角形投影视图被填充到位于所述每一个位置的对应的三角形投影面。
通过本发明提供的编解码方法，可以提高编解码的效率，并提供编码端更多的自由度去达到最优的投影布局。
在阅读下面的附图和附图中所示的优选实施例的详细描述后，本发明的上述目的和其他目的对本领域普通技术人员将毫无疑问是显而易见的。
附图说明
图1示出了根据本发明一实施例的视频编码器。
图2示出了根据本发明一实施例的视频解码器。
图3示出了在图1所示的控制电路的控制下将要被填充到八面体(octahedron)投影布局的多个三角形投影面的多个三角形投影视图。
图4示出了根据本发明一实施例的八面体投影布局。
图5示出了根据本发明一实施例的设置八面体投影布局的配置的过程。
图6示出了根据本发明一实施例的设置八面体投影布局的配置的另一过程。
图7示出了根据本发明一实施例的另一个八面体投影布局。
图8示出了根据本发明一实施例的又一个八面体投影布局。
图9示出了在图1所示的控制电路的控制下将要被填充到四面体(tetrahedron)投影布局的多个三角形投影面的多三角形投影视图。
图10示出了根据本发明一实施例的四面体投影布局。
图11示出了在图1所示的控制电路的控制下将要被填充到二十面体(icosahedron)投影布局的多个三角形投影面的多三角形投影视图。
图12示出了根据本发明一实施例的二十面体投影布局。
图13示出了在图1所示的控制电路的控制下将要被填充到基于石英的四边形(tetragon quartz-based)投影布局的多个三角形投影面的多三角形投影视图。
图14示出了根据本发明一实施例的基于石英的四边形投影布局。
图15示出了在图1所示的控制电路的控制下将要被填充到基于石英的六边形(tetragon quartz-based)投影布局的多个三角形投影面的多三角形投影视图。
图16示出了根据本发明一实施例的基于石英的六边形投影布局。
图17示出了根据本发明一实施例的支持一组不同的预定义的投影布局的视频编码器的一部分。
图18示出了根据本发明一实施例的支持预定义的默认投影布局的视频编码器的一部分。
图19示出了根据本发明一实施例的支持一组不同的预定义的投影布局的视频解码器的一部分。
图20示出了根据本发明一实施例的支持预定义的默认投影布局的视频解码器的一部分。
具体实施方式
下面的描述和权利要求自始至终使用确定的多个术语，其指的具体的多个元件。本领域技术人员将会理解的是，电子设备制造商可能使用不同的名称表示一元件，本文档不旨在区分名称不同但功能不相同多个元件。在下面的描述和权利要求中，术语“包括”和“包含”以开放式的方式使用，且因此应被解释为“包括但不限于”。术语“耦合”意味着间接或直接电连接的任一个。因此，如果一个设备耦合到另一个设备，则连接可以通过直接电连接，或通过经由其他装置和连接的间接电连接。
图1示出了根据本发明一实施例的视频编码器。视频编码器100包括控制电路102和编码电路104。需要注意的是，图1所示的视频编码器架构仅用于说明性的目的，并不意味着对本发明的限制。例如，编码电路104的架构可以根据编码标准而变化。所述控制电路102接收对应于观察球的全景视频S_IN，并将所述全景视频S_IN转换成具有由排列在360VR投影布局的多个投影面所表示的360°图像内容的帧IMG，例如，所述全景视频S_IN可以从视频捕获设备如全景相机中生成。所述编码电路104对所述帧IMG(其具有由排列在360VR投影布局的多个投影面所表示的360°图像内容)进行编码以生成比特流BS。如图1所示，所述编码电路104包括残差计算电路111、转换电路(由“T”表示)112、量化电路(由“Q”表示)113、熵编码电路(例如，可变长度编码器)114、逆量化电路(由“IQ”表示)115、逆转换电路(由“IT”表示)116、重建电路117、至少一个环路滤波器118、参考帧缓冲器119、帧间预测电路120(其包括运动估计电路(由“ME”表示)121以及运动补偿电路(由“MC”表示)122)、帧内预测电路(由“IP”表示)123以及帧内/帧间模式选择开关124。因为在所述编码电路104实施的这些电路组件的基本功能和操作对本领域技术人员是众所周知的，此处不再赘述。
所述视频编码器100和传统视频编码器之间的主要区别在于所述控制电路102用于决定/选择360VR投影布局，并且进一步用于设置与所决定的/所选择的360VR投影布局有关的一个或多个语法元素(SE)，其中与所决定的/所选择的360VR投影布局有关语法元素通过从所述熵编码电路114生成的比特流BS发信给视频解码器。换句话说，由所述视频编码器100所采用的360VR投影布局不是固定的，且被允许通过视频编码器100进行调整。因此，视频编码器100对所述360°图像内容的编码具有更多的灵活性，后面将描述进一步的细节。
图2示出了根据本发明一实施例的视频解码器。视频解码器200可以通过如有线/无线通信链路(communication link)或存储媒介的传输方法与编码器(例如图1所示的视频编码器100)沟通，在这个实施例中，视频解码器200接收比特流BS，并对所接收到的比特流BS进行解码以生成解码帧IMG’。例如，由所述解码帧IMG’所携带的多个图像内容可以显示在显示设备上，如头戴式显示器。如图2所示，视频解码器200包括解码电路220和控制电路230，需要注意的是图2所示的视频解码器结构仅用于说明性的目的，并不意味着对本发明的限制，例如，解码电路220的架构可以根据编码标准而变化。解码电路220包括熵解码电路(例如可变长度解码器)202、逆量化电路(由“IQ”所表示)204、逆转换电路(由“IT”所表示)206、重建电路208、运动向量计算电路(由“MV计算”所表示)210、运动补偿电路(由“MC”表示)213、帧内预测电路(由“IP”所表示)214、帧内/帧间模式选择开关216、至少一个环路滤波器218以及参考帧缓冲器222。在这个实施例中，由所述视频编码器100所编码的帧IMG具有由排列在由控制电路102所设置/选择的360VR投影布局的多个投影面所表示的360°图像内容。因此，在视频解码器200对所述比特流BS进行解码以后，所解码的帧(也就是重建的帧)IMG’也具有由排列在由控制电路102所设置/选择的360VR投影布局的多个投影面所表示的360°图像内容。因为在解码电路220实施的这些电路元件的基础功能和操作对相关领域的技术人员是众所周知的，此处不再赘述。
视频解码器200和传统视频解码器之间的主要区别在于熵解码电路202进一步用于处理比特流BS以获得与由控制电路102所设置/选择的360VR投影布局有关的语法元素，并且输出所获得的语法元素至控制电路230。因此，视频解码器200的控制电路230可以参考所述所获得的语法元素以决定由视频编码器100的控制电路102设置/选择的360VR投影布局。换句话说，在决定由视频编码器100的控制电路102设置/选择的360VR投影布局之后，控制电路230了解360°图像内容如何排列在所述解码帧(也就是重建的帧)IMG’之中。
由视频解码器100所设置/选择的所述360VR投影布局的多个投影面包括多个三角形投影面。例如，所述360VR投影布局可以是基于三角形的投影布局，例如四面体投影布局、八面体投影布局、二十面体投影布局、基于石英的四边形投影布局或者基于石英的六边形投影布局。
在本发明的一些实施例中，在根据从比特流获得语法元素决定所述360VR投影布局(例如基于三角形的投影布局)之后，具有由所述视频解码器100所采用的360VR投影布局的多个投影面所表示的360°图像内容的解码帧(也就是重建的帧)IMG’可以进一步被转换成具有由不同的360VR投影布局(也就是等边投影(equirectangular projection，简称ERP)布局)的多个投影面所表示的360°图像内容的帧。例如，根据基于从比特流所获得的多个语法元素决定的360VR投影布局，控制电路230可以有后处理的功能，即能够将后处理(post-processing)(例如，360VR投影布局转换)应用到解码帧IMG’。然而，这仅用于说明性的目的，并不意味着对本发明的限制。
图3示出了在图1所示的控制电路的控制下将要被填充到八面体投影布局的多个三角形投影面的多个三角形投影视图。可以从对应于观察球的全景视频中的多个投影中获得三角形投影视图301-308，所述对应于观察球的全景视频可以从例如全景相机中生成。具体地，三角形投影视图301-304与第一半个观察球有关，以及三角形投影视图305-308与第二半个观察球有关。因此，第一半个观察球的图像内容适当地投影到四个三角形平面上以形成三角形投影视图301-304，以及第二半个观察球的图像内容适当地投影到四个三角形平面上以形成三角形投影视图305-308。
图4示出了根据本发明一实施例的八面体投影布局。在这个实施例中，八面体投影布局402包括分别位于不同位置P0-P7的八个三角形投影面，360°图像内容(其可以由全景相机所捕获)由多个三角形投影面中填充的多个图像内容所表示。根据三角形投影布局402，所述八个三角形面P0-P7适当地被包装以形成将要由所述编码电路104编码的帧IMG。
在示例性灵活的视频编码器设计中，其能够设置八面体投影布局402的配置，控制电路102决定图3所示的三角形投影视图301-308以及图4所示的位于不同位置P0-P7的多个三角形投影面之间的映射，和/或决定应用于三角形投影视图301-308的内容旋转的旋转角度，所述三角形投影视图301-308被填充到多个三角形投影面；以及编码电路104(具体地，熵编码电路114)通过比特流BS将所述八面体投影布局402的最终配置发信到视频解码器(例如视频解码器200)。例如，关于包括在所述位置P0-P7的至少一部分(也就是部分或所有)中的每一个位置，编码电路104通过比特流BS发信至少一个语法元素，其中所述至少一个语法元素由所述控制电路102设置以指示三角形投影视图的至少一个索引以及应用于所述三角形投影视图的内容旋转的旋转角度，所述三角形投影视图被填充到位于所述位置的对应的三角形投影面的。
图5示出了根据本发明一实施例的设置八面体投影布局402的配置的过程。首先，控制电路102以预定义的顺序创建投影视图301-308的视图阵列，根据实际设计的考虑，首先排列在所述视图阵列的三角形投影视图301-308的顺序可以调整。为了简洁和简单，假定所述三角形投影视图301-308顺序地排列在视图阵列中，使得所述三角形投影视图301-308分别由阵列索引0-7指示。所述视图阵列中的三角形投影视图的阵列索引被用作通过比特流BS发信的三角形投影视图的索引。需要注意的是，由控制电路102参考以用于在编码器侧的视图选择的排列在所述视图阵列中的多个三角形投影视图，可以由唯一的多个数字或唯一的多个符号表示，而不实际包括在所述视图阵列中。换句话说，所述视图阵列中的每一阵列元素是被分配给三角形投影视图301-308其中一个的唯一的数字/符号。因此，在下面的描述中，所述视图阵列中的三角形投影视图以及所述视图阵列中的三角形投影视图的唯一数字/符号可以是可交换的。另外，根据实际设计的需要，设置多个三角形投影面的顺序可以是可调整的。为了简洁和简单，假定由控制电路102按顺序地对在位置P0-P7的所述多个三角形投影面进行设置。
对于具有位置索引i＝0的第一位置P0，控制电路102决定三角形投影视图301-308中的哪一个被选择为将要填充到位于第一位置P0的三角形投影面中，决定多个旋转角度的哪一个被选择用于将内容旋转应用到所选择的三角形投影视图，所述所选择的三角形投影视图被填充到位于第一位置P0的三角形投影面，以及设置相关的语法元素view_index和layout_rotation。语法元素view_index[i]指示所述所选择的三角形投影视图的索引(例如，从视图阵列中选择的三角形投影视图的阵列索引)，以及语法元素layout_rotation[i]指示应用到所选择三角形投影视图的内容旋转的旋转角度，语法元素layout_rotation的规格可以由下表所定义。
layout_rotation[i] 旋转角度(逆时针)
0 0°
1 +120°
2 +240°
因此，当应用到三角形投影视图(其是等边三角形)的内容旋转的旋转角度是0°的时候，语法元素layout_rotation被设置为0；当应用到三角形投影视图(其是等边三角形)的内容旋转的旋转角度是逆时针+120°的时候，语法元素layout_rotation被设置为1；当应用到三角形投影视图(其是等边三角形)的内容旋转的旋转角度是逆时针+240°的时候，语法元素layout_rotation被设置为2。
需要注意的是，位于基于三角形的投影布局中不同位置的多个三角形投影面可以被分配默认的多个旋转角度，以致具有默认旋转角度的内容旋转经常被应用于三角形投影视图，所述三角形投影视图被填充到被分配默认旋转角度的三角形投影视图。因此，应用于三角形投影视图的内容旋转的最终旋转角度等于所述默认旋转角度加所述发信的旋转角度(也就是，由发信的语法元素layout_rotation指示的旋转角度)，所述三角形投影视图被填充到被分配默认旋转角度的三角形投影面。例如，关于图4所示的八面体投影布局402，位于不同位置P0-P7的多个三角形投影面可以被分配相同的默认旋转角度(例如，0°)。又例如，关于不同于图4所示的八面体投影布局402的八面体投影布局，在一些位置的多个三角形投影面可以被分配第一默认旋转角度(例如逆时针+60°)，以及在一些位置的多个三角形投影面可以被分配第二默认旋转角度(例如逆时针-60°)，多个默认旋转角度可以由视频编码器100和视频解码器200所预定义和所了解。因此，多个默认旋转角度的语法元素信令可以省略。
假如控制电路102决定三角形投影视图304被选择为将要填充到位于具有位置索引i＝0的第一位置P0的三角形投影面以及决定用于将内容旋转应用到所选择的三角形投影视图的旋转角度是逆时针+120°，语法元素view_index[0]由三个二进制数字“011”设置，该三个二进制数字表明三角形投影视图304由视图阵列中的阵列索引3表示，以及语法元素layout_rotation[0]由两个二进制数字“01”设置，该两个二进制数字表明旋转角度＝逆时针+120°。在用于具有位置索引i＝0的第一位置的语法元素view_index[0]和layout_rotation[0]被设置以后，由阵列索引3表示并保存于视图阵列中的三角形投影视图304可以被标记为不可选择的阵列元素。
对于具有位置索引i＝1的第二位置，控制电路102决定三角形投影视图301-303、305-308中的哪一个被选择为将要填充到位于第二位置P1的三角形投影面，决定多个旋转角度中的哪一个被选择用于将内容旋转应用于所选择的三角形投影视图，所述所选择的三角形投影视图被填充到位于第二位置P1的三角形投影面，并设置相关的语法元素view_index[1]和layout_rotation[1]。假如控制电路102决定三角形投影视图302被选择为将要填充到具有位置索引i＝1的第二位置P1的三角形投影面，以及决定用于将内容旋转应用到所选择的三角形投影视图302的所选择的旋转角度是0°，语法元素view_index[1]由三个二进制数字“001”设置，该三个二进制数字表明三角形投影视图302由视图阵列中的阵列索引1表示，且语法元素layout_rotation[1]由两个二进制数字“00”设置，该两个二进制数字表明旋转角度＝0°。在具有位置索引i＝1的用于第二位置P1的语法元素view_index[1]和layout_rotation[1]被设置以后，由阵列索引1表示并保存于视图阵列中的三角形投影视图302可以被标记为不可选择的阵列元素。
对于具有位置索引i＝2的第三位置P2，控制电路102决定三角形投影视图301、303、305-308中的哪一个被选择为将要填充到位于第三位置P2的三角形投影面，决定多个旋转角度中的哪一个被选择用于将内容旋转应用于填充到位于第三位置P2的三角形投影面的所选择三角形投影视图，以及设置相关的语法元素view_index[2]和layout_rotation[2]。假定控制电路102决定三角形投影视图301被选择为将要填充到位于具位置索引i＝2的第三位置P2三角形投影面以及决定用于将内容旋转应用于所选择的三角形投影视图304的所选择的旋转角度是逆时针+240°，语法元素view_index[2]由三个二进制数字“000”设置，该三个二进制数字表明三角形投影视图301由视图阵列中的阵列索引0表示，以及语法元素layout_rotation[2]由两个二进制数字“10”设置，该两个二进制数字表明旋转角度是逆时针+240°。在用于具有位置索引i＝2的第三位置P2语法元素view_index[2]和layout_rotation[2]被设置以后，由阵列索引0表示并保存于视图阵列中的三角形投影视图301可以被标记为不可选择的阵列元素。
位于多个位置P0-P7的多个三角形投影面由控制电路102按顺序地设置。假定在用于具有位置索引i＝5的第五位置P5的语法元素view_index[5]和layout_rotation[5]被设置以后，剩余的可选择的多个阵列元素是由视图阵列中的阵列索引4表示的三角形投影视图305以及由视图阵列中的阵列索引7表示的三角形投影视图308。对于具有位置索引i＝6的第七位置P6，控制电路102决定三角形投影视图305、308中的哪一个被选择为将要填充到位于第七位置P6的三角形投影面中，决定多个旋转角度中的哪一个被选择用于将内容旋转应用于所选择的三角形投影视图，所述所选择的三角形投影视图被填充到位于第七位置P6的三角形投影面，以及设置相关的语法元素view_index[6]和layout_rotation[6]。假定控制电路102决定三角形投影视图305被选择为将要填充到位于具有位置索引i＝6的第七位置的三角形投影面，以及决定用于将内容旋转应用于所选择的三角形投影视图的所选择的旋转角度是逆时针+240°，语法元素view_index[6]由三个二进制数字“100”设置，该三个二进制数字表明三角形投影视图305由视图阵列中的阵列索引4表示，以及语法元素layout_rotation[6]由两个二进制数字“10”设置，该两个二进制数字表明旋转角度是逆时针+240°。在用于具有位置索引i＝6的第七位置P6的view_index[6]和layout_rotation[6]被设置以后，由阵列索引4表示并保存于视图阵列中的三角形投影视图305可以被标记为不可选择的阵列元素。
因为在视图阵列中仅有一个可选择的阵列元素(例如三角形投影视图308)，可以推测的是，该三角形投影视图被选择为将要填充位于最后位置(也就是具有位置索引i＝7的第八位置P7)的三角形投影面。对于具有位置索引i＝7的第八位置P7，控制电路102不需要设置语法元素view_index，以致没有语法元素view_index通过比特流BS发信，语法元素view_index表明剩余的三角形投影视图的索引，所述剩余的三角形投影视图被填充到位于具有位置索引i＝7的第八位置P7的对应的三角形投影面，这样，可以提高编码效率。
对于具有位置索引i＝7的第八位置P7，控制电路102仍需要决定多个旋转角度中的哪一个被选择用于将内容旋转应用于被选择的三角形投影视图，所述被选择的三角形投影视图被填充到位于第八位置P7的三角形投影面，以及设置相关的语法元素layout_rotation[7]。假定控制电路102决定用于将内容旋转应用到所选择的三角形投影视图308的旋转角度是逆时针+120°，语法元素layout_rotation[7]由两个二进制数字“01”设置，该两个二进制数字表明旋转角度＝逆时针+120°。
多个固定长度的语法元素view_index[0]-view_index[6]以及多个固定长度语法元素layout_rotation[0]-layout_rotation[7]通过比特流BS发信到视频解码器(也就是视频解码器200)，所述多个固定长度的语法元素view_index[0]-view_index[6]表明填充到位于多个位置P0-P6的多个三角形投影面的多个三角形投影视图的多个索引以及所述多个固定长度语法元素layout_rotation[0]-layout_rotation[7]表明应用于填充到位于多个位置P0-P7的多个三角形投影面的多个三角形投影视图的内容旋转的多个旋转角度。因此，熵解码电路202可以将数据处理(也就是语法解析)应用到比特流BS以从所述比特流BS中获得所发信的语法元素view_index[0]-view_index[6]以及layout_rotation[0]-layout_rotation[7]，所获得的语法元素view_index[0]-view_index[6]以及layout_rotation[0]-layout_rotation[7]被提供给控制电路230。
和视频编码器100的控制电路102一样，视频编码器200的控制电路230以与由控制电路102采用的相同的预定义顺序的创建三角形投影视图301-308的最初的视图阵列。在这个示例中，可选择的三角形投影视图301-308顺序地排列在最初的视图阵列中，以致所述可选择的三角形投影视图301-308可以分别由阵列索引0-7表示。需要注意的是，由控制电路230参考用于解码器侧的视图确定的排列在视图阵列中的多个三角形投影视图，可以由唯一的多个数字或唯一的符号所表示，而并不实际包括在视图阵列中。换句话说，视图阵列中的每个阵列元素是被分配给三角形投影视图301-308其中一个的唯一的数字/符号。因此，在下面的描述中，视图阵列中的三角形投影视图以及视图阵列中的三角形投影视图的唯一的数字/符号可以是互换的。
和视频编码器100的控制电路102一样，视频编码器200的控制电路230按顺序的决定位于多个位置P0-P7的多个三角形投影面。因此，控制电路230参考语法元素view_index[0]-view_index[6]以决定位于多个位置P0-P7的多个三角形投影面。在一个语法元素view_index[i]用于决定三角形投影视图301-308中的哪一个被填充到位于八面体投影布局402中的位置[i]的三角形投影面之后，具有由阵列元素view_index[i]指定的阵列索引的三角形投影视图被标记为视图阵列中不可选择的阵列元素。在所有语法元素view_index[0]-view_index[6]被用于决定位于多个位置P0-P7的多个三角形投影面之后，控制电路230决定视图阵列中可用的剩余可选择的三角形投影视图是被填充到位于八面体投影布局402中的最后位置P7的剩余的三角形投影面的三角形投影视图。此外，控制电路230参考语法元素layout_rotation[0]-layout_rotation[7]以决定应用于位于多个三角形投影面的八面体投影布局402中的多个位置P0-P7的内容旋转的多个旋转角度。需要注意的是，位于多个位置P0-P7的多个三角形投影面可以进一步被分别分配多个默认旋转角度。因此，旋转内容的最终旋转角度等于所述默认旋转角度加所发信的旋转角度(也就是由所发信的语法元素layout_rotation所指示的旋转角度)，该旋转内容被应用于填充到被分配默认旋转角度的三角形投影面的三角形投影视图。
在图5所示的实施例中，所有语法元素view_index[0]-view_index[6]表明位于多个位置P0-P6的多个三角形投影面的多个索引具有相同比特长度(例如，3)。然而，这仅用于说明性的目的，并不意味着对本发明的限制。或者，一些语法元素view_index[0]-view_index[6]表明位于位置P0-P6的多个三角形投影面的多个索引具有不同的比特长度，这样，可以进一步提高编码效率。
图6示出了根据本发明一实施例的设置八面体投影布局402的配置的另一过程。首先，控制电路102以预定义的顺序创建三角形投影视图301-308的视图阵列。根据实际设计的需要，在该视图阵列中的三角形投影视图301-308的最初排列顺序是可调整的。为了简洁和简单，假定三角形投影视图301-308是顺序地排列在视图阵列中的，以致三角形投影视图301-308分别由阵列索引0-7表示。视图阵列中的三角形投影视图的阵列索引被用作为将要通过比特流BS发信的三角形投影视图的索引。根据实际设计的需要，设置多个三角形投影面的顺序是可调整的，为了简洁和简单，假定位于多个位置P0-P7的多个三角形投影面由控制电路102按顺序的设置。
对于具有位置索引i＝0的第一位置P0，控制电路决定三角形投影视图301-308中的哪一个被选择为将要填充到位于第一位置P0的三角形投影面中，决定多个旋转角度的哪一个被选择用于将内容旋转应用于所选择的三角形投影视图，所述所选择的三角形投影视图被填充到位于第一位置P0的三角形投影面，以及设置相关的语法元素view_index[0]和layout_rotation[0]。语法元素view_index[i]指示所选择的三角形投影视图的索引(例如，视图阵列中的该三角形投影视图的阵列索引)，以及语法元素layout_rotation[i]指示应用到所选择三角形投影视图的内容旋转的旋转角度。因为视图阵列中的阵列元素的数量是8，至少需要三个二进制数字以设置所述语法元素view_index[0]。假定控制电路102决定三角形投影视图304被选择为将要填充到位于具有位置索引i＝0的第一位置P0的三角形投影面，以及决定用于将内容旋应用于所选择的三角形投影视图304的旋转角度是逆时针+120°，语法元素view_index[0]由三个二进制数字“011”设置，该三个二进制数字表明三角形投影视图304由视图阵列中的阵列索引3表示，以及语法元素layout_rotation[0]由两个二进制数字“01”设置，该两个二进制数字表明旋转角度＝逆时针+120°。在用于具有位置索引i＝0的第一位置P0的语法元素view_index[0]和layout_rotation[0]被设置以后，将所选择的三角形投影视图304从视图阵列中移除，因此多个三角形投影视图301-303,305-308顺序地排列在更新的视图阵列中，以致三角形投影视图301-303、305-308可以分别由阵列索引0-6表示。
对于具有位置索引i＝1的第二位置P1，控制电路102决定三角形投影视图301-303、305-308中的哪一个被选择为将要填充到位于第二位置P1的三角形投影面，决定多个旋转角度中的哪一个被选择用于将内容旋转应用于填充到位于第二位置P1的三角形投影面的所选择的三角形投影视图，并设置相关的语法元素view_index[1]和layout_rotation[1]。因为视图阵列中的阵列元素的数量是7，至少需要三个二进制数字以设置所述语法元素view_index[1]。假定控制电路102决定三角形投影视图302被选择为将要填充到位于具有位置索引i＝1的第二位置P1的三角形投影面，以及决定用于将内容旋应用于所选择的三角形投影视图302的旋转角度是0°，语法元素view_index[1]由三个二进制数字“001”设置，该三个二进制数字表明三角形投影视图302由视图阵列中的阵列索引1表示，以及语法元素layout_rotation[1]由两个二进制数字“00”设置，该两个二进制数字表明旋转角度＝0°。在用于具有位置索引i＝1的第二位置P1的语法元素view_index[1]和layout_rotation[1]被设置以后，将所选择的三角形投影视图302从视图阵列中移除。因此，三角形投影视图301、303、305-308顺序地排列在更新的视图阵列中，以致三角形投影视图301、303、305-308可以分别由阵列索引0-5表示。
对于具有位置索引i＝2的第三位置P2，控制电路102决定三角形投影视图301、303、305-308中的哪一个被选择为将要填充到位于第三位置P2的三角形投影面，决定多个旋转角度中的哪一个被选择用于将内容旋转应用于填充到位于第三位置P2的三角形投影面的所选择的三角形投影视图，并设置相关的语法元素view_index[2]和layout_rotation[2]。因为视图阵列中的阵列元素的数量是6，至少需要三个二进制数字以设置所述语法元素view_index[2]。假定控制电路102决定三角形投影视图301被选择为将要填充到位于具有位置索引i＝2的第三位置P2的三角形投影面，以及决定用于将内容旋应用于所选择的三角形投影视图301的旋转角度是逆时针240°，语法元素view_index[2]由三个二进制数字“000”设置，该三个二进制数字表明三角形投影视图301由更新的视图阵列中的阵列索引2表示，以及语法元素layout_rotation[2]由两个二进制数字“10”设置，该两个二进制数字表明旋转角度＝逆时针240°。在用于具有位置索引i＝2的第三位置P2的语法元素view_index[2]和layout_rotation[2]被设置以后，将所选择的三角形投影视图301从视图阵列中移除，因此导致更新的视图阵列具有5个阵列元素。
位于多个位置P0-P7的多个三角形投影面由控制电路按顺序的设置。因此，当更新的视图阵列中剩余的阵列元素数量大于2且小于5的时候，两个二进制数字可以用于设置语法元素view_index[i]，其中4≤i≤5；以及当更新的视图阵列中剩余的阵列元素数量小于3的时候，一个二进制数字可以用来设置语法元素view_index[i]，其中i＝6。假定在用于具有位置索引i＝5的第六位置P5的语法元素view_index[5]和layout_rotation[5]被设置以后，剩余的阵列元素是三角形投影视图305和308，该三角形投影视图305和308顺序地排列在更新的视图阵列中，以致该三角形投影视图305和308分别由阵列索引0和1表示。对于具有位置索引i＝6的第七位置P6，控制电路102决定三角形投影视图305、308中的哪一个被选择为将要填充到位于第七位置P6的三角形投影面，决定多个旋转角度中的哪一个被选择用于将内容旋转应用于所选择的三角形投影视图，所述所选择的三角形投影视图被填充到位于第七位置P6的三角形投影面，并设置相关的语法元素view_index[6]和layout_rotation[6]。因为视图阵列中的阵列元素的数量是2，可以用一个二进制数字设置语法元素view_index[6]。假定控制电路102决定三角形投影视图305被选择为将要被填充到位于具有位置索引i＝6的第七位置的三角形投影面中，以及决定用于将内容旋应用于所选择的三角形投影视图305的所选择的旋转角度是逆时针240°，语法元素view_index[6]由一个二进制数字“0”设定，该一个二进制数字表示三角形投影视图305由更新的视图阵列中的阵列索引0表示，语法元素layout_rotation[6]由两个二进制数字“10”表示，该两个二进制数字表示旋转角度＝逆时针+240°。在用于具有位置索引i＝6的第七位置P6的语法元素view_index[6]和layout_rotation[6]被设置以后，将所选择的三角形投影视图305从视图阵列中移除，导致更新的视图阵列仅有一个阵列元素(也就是三角形投影视图308)。
因为剩余的可选择的阵列元素是仅由视图阵列中的阵列索引0表示的三角形投影视图308，可以推测是，该三角形投影视图被选择为将要填充位于最后位置(也就是具有位置索引i＝7的第八位置P7)的三角形投影面。对于具有位置索引i＝7的第八位置P7，控制电路102不需要设置语法元素view_index，以致没有语法元素view_index表明剩余的三角形投影视图的索引通过比特流BS发信，所述剩余的三角形投影视图被填充到位于具有位置索引i＝7的第八位置P7的对应的三角形投影面。对于具有位置索引i＝7的第八位置P7，控制电路102仍需要决定多个旋转角度中的哪一个被选择用于将内容旋转应用于填充到位于第八位置P7的三角形投影面的被选择的三角形投影视图，以及设置相关的语法元素layout_rotation[7]。假定控制电路102决定用于将内容旋转应用到所选择的三角形投影视图308的旋转角度是逆时针+120°，语法元素layout_rotation[7]由两个二进制数字“01”设置，该两个二进制数字表明旋转角度＝逆时针+120°。
多个可变长度的语法元素view_index[0]-view_index[6]以及多个固定长度语法元素layout_rotation[0]-layout_rotation[7]通过比特流BS发信到视频解码器(也就是视频解码器200)，所述多个可变长度的语法元素view_index[0]-view_index[6]表明位于多个位置P0-P6的多个三角形投影面的多个索引以及所述多个固定长度语法元素layout_rotation[0]-layout_rotation[7]表明应用于位于多个位置P0-P7的多个三角形投影面的内容旋转的多个旋转角度。因此，熵解码电路202可以将数据处理(也就是语法解析)应用到比特流BS以从所述比特流BS中获得所发信的语法元素view_index[0]-view_index[6]以及layout_rotation[0]-layout_rotation[7]，所获得的语法元素view_index[0]-view_index[6]以及layout_rotation[0]-layout_rotation[7]被提供给控制电路230。
和视频编码器100的控制电路102一样，视频编码器200的控制电路230以与由控制电路102采用的相同的预定义顺序的创建三角形投影视图301-308的最初的视图阵列。在这个示例中，可选择的三角形投影视图301-308顺序地排列在最初的视图阵列中，以致所述可选择的三角形投影视图301-308可以分别由阵列索引0-7表示。和视频编码器100的控制电路102一样，视频编码器200的控制电路230按顺序的决定位于多个位置P0-P7的多个三角形投影面。因此，控制电路230参考语法元素view_index[0]-view_index[6]以决定位于多个位置P0-P7的多个三角形投影面。在一个语法元素view_index[i]用于决定三角形投影视图301-308中的哪一个被填充到位于八面体投影布局402中的位置[i]的三角形投影面之后，将具有由阵列元素view_index[i]指定的阵列索引的三角形投影视图从视图阵列中移除，因此导致有阵列元素数量减小的更新的视图阵列。在所有语法元素view_index[0]-view_index[6]被用于决定位于多个位置P0-P6的多个三角形投影面之后，控制电路230决定视图阵列中可用的剩余可选择的三角形投影视图是被填充到位于八面体投影布局402中的最后位置P7的剩余的三角形投影面的三角形投影视图。此外，控制电路230参考语法元素layout_rotation[0]-layout_rotation[7]以决定应用于位于八面体投影布局402中的多个位置P0-P7的多个三角形投影面的内容旋转的多个旋转角度。需要注意的是，位于多个位置P0-P7的多个三角形投影面可以进一步被分别分配多个默认旋转角度。因此，旋转内容的最终旋转角度等于所述默认旋转角度加所发信的旋转角度(也就是由所发信的语法元素layout_rotation所指示的旋转角度)，该旋转内容被应用于填充到被分配默认旋转角度的三角形投影面的三角形投影视图。
在图5和图6的示例中，控制电路102决定图3所示的三角形投影视图301-308以及图4所示的位于不同位置P0-P7的多个三角形投影面之间的映射，以及进一步决定应用于被填充到多个三角形投影面的多个三角形投影视图301-308的内容旋转的旋转角度；以及编码电路104通过比特流BS将与八面体投影布局402的最终配置有关的语法元素view_index[0]-view_index[6]以及layout_rotation[0]-layout_rotation[7]发信到视频解码器(例如视频解码器200)。然而，这仅用于说明性的目的，并不意味着对本发明的限制。
在第一可选设计中，控制电路102决定图3所示的三角形投影视图301-308以及图4所示的位于不同位置P0-P7的多个三角形投影面之间的映射，以及编码电路104通过比特流BS将与八面体投影布局402的最终配置有关的语法元素view_index[0]-view_index[6]以及layout_rotation[0]-layout_rotation[7]发信到视频解码器(例如视频解码器200)，然而，应用于填充到多个三角形投影面的三角形投影视图301-308的内容旋转的多个旋转角度由视频编码器100和视频解码器200两者所预定义和所了解，以致编码电路104不需要通过比特流BS发信语法元素layout_rotation[0]-layout_rotation[7]至视频解码器200。
在第二可选的设计中，控制电路102决定应用于被填充到多个三角形投影面的多个三角形投影视图301-308的内容旋转的旋转角度，以及编码电路104通过比特流BS将与八面体投影布局402的最终配置有关的语法元素layout_rotation[0]-layout_rotation[7]发信至视频解码器(例如，视频解码器200)。然而，图3所示的三角形投影视图301-308以及图4所示的位于不同位置P0-P7的三角形投影面之间的映射是视频编码器100和视频解码器200两者所预定义和所了解的，以致编码电路104不需要通过比特流BS将语法元素view_index[0]-view_index[6]发信到视频解码器200。
在上述提到的语法元素信令的多个示例中，控制电路102不设置用于最后位置(也就是具有位置索引i＝7的第八位置P7)的语法元素view_index，以致没有语法元素view_index通过比特流BS被发信，语法元素view_index表明剩余的三角形投影视图的索引，所述剩余的三角形投影视图被填充到位于最后位置(也就是具有位置索引i＝7的第八位置P7)的对应的三角形投影面。然而，这仅用于说明性的目的，并不意味着对本发明的限制。或者，控制电路102可以进一步设置用于最后位置(也就是具有位置索引i＝7的第八位置P7)的语法元素view_index，以致表明剩余的三角形投影视图的索引的语法元素view_index也通过比特流BS被发信，所述剩余的三角形投影视图被填充到位于最后位置(也就是具有位置索引i＝7的第八位置P7)的对应的三角形投影面。因此，多个固定长度的语法元素view_index[0]-view_index[7](或可变长度的语法元素view_index[0]-view_index[7])以及多个固定长度的语法元素layout_rotation[0]-layout_rotation[7]通过比特流BS发信到视频解码器(例如视频解码器200)，所述多个固定长度的语法元素view_index[0]-view_index[7](或可变长度的语法元素view_index[0]-view_index[7])表明位于多个位置P0-P7的多个三角形投影面的多个索引，所述多个固定长度的语法元素layout_rotation[0]-layout_rotation[7]表明应用于位于多个位置P0-P7的多个三角形投影面的内容旋转的多个旋转角度。熵解码电路202可以将数据处理(例如语法解析)应用于比特流BS以从比特流BS中获得所发信的语法元素view_index[0]-view_index[7]以及layout_rotation[0]-layout_rotation[7]，所获得的语法元素view_index[0]-view_index[7]以及layout_rotation[0]-layout_rotation[7]被提供给控制电路230。
图4所示的具有多个三角形投影面特定排列的八面体投影布局仅用于说明目的，并不意味着对对本发明的限制。通过决定多个三角形投影视图和位于八面体投影布局中不同的位置的多个三角形投影面之间的映射和/或应用于填充到多个三角形投影面的多个三角形投影视图的内容旋转的多个旋转角度，设置八面体投影布局的相同概念也可以应用到如图7和图8所示的具有多个三角形投影面不同的特定排列的其他八面体投影布局。需要注意的是，为了说明性的目的，图7-8仅示出了两个可选的八面体投影布局。实际上，具有多个三角形投影面的任何360VR投影布局可以由所提出的视频编码器100进行配置，其中相关的语法元素可以被发信到所提出的视频解码器200中。
例如，通过决定多个三角形投影视图和位于八面体投影布局中不同的位置的多个三角形投影面之间的映射和/或应用于填充到多个三角形投影面的多个三角形投影视图的内容旋转的多个旋转角度，设置八面体投影布局的相同概念也可也应用到其他基于三角形的投影布局中，如四面体投影布局、二十面体投影布局、基于石英的四边形投影布局和基于石英的六边形投影布局。
图9示出了在图1所示的控制电路的控制下将要被填充到四面体(tetrahedron)投影布局的多个三角形投影面的多三角形投影视图。图10示出了根据本发明一实施例的四面体投影布局。将要被编码的帧IMG具有由排列在四面体投影布局中的多个三角形投影面表示的360°图像内容。视频编码器100的控制电路102通过决定多个三角形投影视图和位于四面体投影布局中不同的位置的多个三角形投影面之间的映射，和/或设置应用于填充到多个三角形投影面的多个三角形投影视图的内容旋转的多个旋转角度来设置四面体投影布局。此外，视频编码器100的熵编码电路114通过比特流BS将与由控制电路102设置的四面体投影布局的最终配置有关的语法元素(例如view_index和/或layout_rotation)发信到视频解码器(例如视频解码器200)。关于视频解码器200，熵编码电路202从比特流BS中获得所发信的多个语法元素(例如view_index和/或layout_rotation)，并且控制电路230参考所获得的语法元素(例如view_index和/或layout_rotation)以决定由控制电路102设置四面体投影布局的配置。
图11示出了在图1所示的控制电路102的控制下将要被填充到二十面体(icosahedron)投影布局的多个三角形投影面的多三角形投影视图。图12示出了根据本发明一实施例的二十面体投影布局。将要被编码的帧IMG具有由排列在二十面体投影布局中的多个三角形投影面表示的360°图像内容，视频编码器100的控制电路102通过决定多个三角形投影视图和位于二十面体投影布局中不同的位置的多个三角形投影面之间的映射，和/或设置应用于填充到多个三角形投影面的多个三角形投影视图的内容旋转的多个旋转角度来设置二十面体投影布局。此外，视频编码器100的熵编码电路114通过比特流BS将与由控制电路102设置的二十面体投影布局的最终配置有关的语法元素(例如view_index和/或layout_rotation)发信到视频解码器(例如视频解码器200)。关于视频解码器200，熵编码电路202从比特流BS中获得所发信的多个语法元素(例如view_index和/或layout_rotation)，并且控制电路230参考所获得的语法元素(例如view_index和/或layout_rotation)以决定由控制电路102设置二十面体投影布局的配置。
图13示出了在图1所示的控制电路的控制下将要被填充到基于石英的四边形(tetragon quartz-based)投影布局的多个投影面的多个投影视图。图14示出了根据本发明一实施例的基于石英的四边形投影布局。将要被编码的帧IMG具有由排列在基于石英的四边形投影布局中的多个投影面(其包括三角形投影面)表示的360°图像内容，基于石英的四边形投影布局的多个设置由视频编码器100的控制电路102决定，包括多个三角形投影视图和位于基于石英的四边形投影布局中不同的位置的多个三角形投影面之间的映射和/或设置应用于填充到多个三角形投影面的多个三角形投影视图的内容旋转的多个旋转角度。此外，视频编码器100的熵编码电路114通过比特流BS将与由控制电路102设置的基于石英的四边形投影布局的最终配置有关的语法元素(例如view_index和/或layout_rotation)发信到视频解码器(例如视频解码器200)。关于视频解码器200，熵编码电路202从比特流BS中获得所发信的多个语法元素(例如view_index和/或layout_rotation)，并且控制电路230参考所获得的语法元素(例如view_index和/或layout_rotation)以决定由控制电路102设置基于石英的四边形投影布局的配置。
图15示出了在图1所示的控制电路的控制下将要被填充到基于石英的六边形(tetragon quartz-based)投影布局的多个三角形投影面的多三角形投影视图。图16示出了根据本发明一实施例的基于石英的六边形投影布局。将要被编码的帧IMG具有由排列在基于石英的六边形投影布局中的多个投影面(其包括三角形投影面)表示的360°图像内容，基于石英的六边形投影布局的多个设置由视频编码器100的控制电路102决定，包括多个三角形投影视图和位于基于石英的六边形投影布局中不同的位置的多个三角形投影面之间的映射和/或设置应用于填充到多个三角形投影面的多个三角形投影视图的内容旋转的多个旋转角度。此外，视频编码器100的熵编码电路114通过比特流BS将与由控制电路102设置的基于石英的六边形投影布局的最终配置有关的语法元素(例如view_index和/或layout_rotation)发信到视频解码器(例如视频解码器200)。关于视频解码器200，熵编码电路202从比特流BS中获得所发信的多个语法元素(例如view_index和/或layout_rotation)，并且控制电路230参考所获得的语法元素(例如view_index和/或layout_rotation)以决定由控制电路102设置基于石英的六边形投影布局的配置。
与上述实施例的灵活视频编码器设计的实施例一致，控制电路102可以用于设置360VR投影布局(例如四面体投影布局、八面体投影布局、二十面体投影布局、基于石英的四边形投影布局和基于石英的六边形投影布局)，通过积极地设置多个三角形投影视图和位于360VR投影布局中不同的位置的多个三角形投影面之间的映射和/或应用于填充到360VR投影布局的多个三角形投影面的多个三角形投影视图的内容旋转的多个旋转角度，以及熵编码电路114可以通过比特流BS将与由控制电路102设置的360VR投影布局的最终配置有关的语法元素(例如view_index和/或layout_rotation)发信到视频解码器(例如视频解码器200)。在一个可选设计中，多个具有固定配置的不同的预定义的投影布局中的其中一个可以被选择为360VR投影布局，以及与所选择的预定义的投影布局有关的特定的语法元素可以通过比特流发信。在另一个可选的设计中，具有固定配置的预定义的默认投影布局可以有选择地用作360VR投影布局，以及表明预定义的默认投影布局的选择/不选择的特定的语法元素可以通过比特流发信。需要注意的是，每个预定义的默认投影布局都已被视频编码器100和视频解码器200两者所了解，并且具有固定的配置设置(例如多个投影视图和位于预定义的投影布局中不同的位置的多个投影面之间固定的映射以及应用于填充到预定义的投影布局中多个投影面的多个投影视图的内容旋转的多个固定的旋转角度)。
图17示出了根据本发明一实施例的支持一组不同的预定义的投影布局的视频编码器的一部分。在这个实施例中，一组不同的预定义的投影布局S1-SN由控制电路102所使用。例如，每个预定义的投影布局S1-SN是具有多个三角形投影面的预定义的基于三角的投影布局(例如预定义的四面体投影布局、预定义的八面体投影布局、预定义的二十面体投影布局、预定义的基于石英的四边形投影布局或预定义的基于石英的六边形投影布局)。控制电路102从不同的预定义的投影布局S1-SN中选择预定义的投影布局，并将所选择的预定义的投影布局作为360VR投影布局，其中帧IMG具有由排列在360VR投影布局中的多个投影面所表示的360°图像内容，并被编码成比特流BS用于传输。此外，控制电路102设置语法元素layout_selection以指示预定义的投影布局的选择，其中语法元素layout_selection通过从熵编码电路114生成的比特流BS发信到视频解码器(例如视频解码器200)。
图18示出了根据本发明一实施例的支持预定义的默认投影布局的视频编码器的一部分。在这个实施例中，预定义的默认投影布局S由控制电路102所使用。例如，预定义的默认投影布局S是具有多个三角形投影面的预定义的基于三角形的投影布局(例如预定义的四面体投影布局、预定义的八面体投影布局、预定义的二十面体投影布局、预定义的基于石英的四边形投影布局或预定义的基于石英的六边形投影布局)。控制电路102决定如果预定义的默认投影布局S应该被选择为作为360VR投影布局，在360VR投影布局由预定义的默认投影布局S设置的情况下，帧IMG具有由排列在360VR投影布局中的多个投影面所表示360°图像内容，并且被编码成比特流BS用于传输。此外，控制电路102设置语法元素layout_flag以指示预定义的默认投影布局的选择，其中语法元素layout_flag通过从熵编码电路114生成的比特流BS发信到视频解码器(例如视频解码器200)。
在预定义的默认投影布局S没有被选择为设置360VR投影布局的另一个情况下，控制电路102通过设置多个三角形投影视图和位于360VR投影布局中不同的位置的多个三角形投影面之间的映射和/或应用于填充到360VR投影布局的多个三角形投影面的多个三角形投影视图的内容旋转的多个旋转角度来设置360VR投影布局(例如预定义的四面体投影布局、预定义的八面体投影布局、预定义的二十面体投影布局、预定义的基于石英的四边形投影布局或预定义的基于石英的六边形投影布局)。帧IMG具有通过由控制电路102明确设置的排列在360VR投影布局中的多个投影面所表示的360°图像内容，并且被编码成比特流BS用于传输。此外，控制电路102设置语法元素layout_flag以指示预定义的默认投影布局的不选择，以及进一步设置与360投影布局的最终配置有关的多个语法元素(例如view_index和layout_rotation)，其中所述多个语法元素包括layout_flag、view_index和layout_rotation、或layout_flag和view_index、或layout_flag和layout_rotation，通过比特流BS被发信到视频解码器(例如视频解码器200)。因为相关领域的技术人员在阅读了参展图5-6中的实施例的上述段落之后，可以很容易地理解设置360VR投影布局的配置的细节，在此不再赘述。
因为与由视频编码器100所采用的360VR投影布局的配置/选择有关的多个语法元素(例如layout_selection、layout_flag、view_index和/或layout_rotation)被发信到视频解码器200，视频解码器200可以参考所发信的多个语法元素(例如layout_selection、layout_flag、view_index和/或layout_rotation)以了解由视频编码器100所采用的360VR投影布局的配置/选择。
图19示出了根据本发明一实施例的支持一组不同的预定义的投影布局的视频解码器的一部分。对由视频解码器200所接收的比特流BS进行解码以生成解码帧IMG’，所述解码帧IMG’具有由排列在360VR投影布局中的多个投影面所表示的360°图像内容，所述360VR投影布局是由视频编码器100所选择的预定义的投影布局。在这个实施例中，视频解码器200的控制电路230也使用了相同的如图17所示的一组不同的预定义的投影布局S1-SN。熵解码电路202处理所述比特流以获得语法元素layout_selection，并输出所获得的语法元素layout_selection至控制电路230。接着，控制电路230参考语法元素layout_selection以决定预定义的投影布局S1-SN中的哪一个是由视频编码器100所使用的360VR投影布局。
图20示出了根据本发明一实施例的支持预定义的默认投影布局的视频解码器的一部分。对由视频解码器200所接收的比特流BS进行解码以生成具有由排列在360VR投影布局中的多个投影面所表示的360°图像内容的解码帧IMG’，其中当预定义的默认投影布局被选择，所述360VR投影布局可以是预定义的默认投影布局，或者当所述预定义的投影布局没有被选择，所述360VR投影布局可以由视频解码器100明确地设置。在这个实施例中，视频解码器200的控制电路230也使用了相同的如图18所示预定义的默认投影布局S。熵解码电路202处理所述比特流以获得语法元素layout_flag，并输出所获得的语法元素layout_flag至控制电路230。控制电路202参考语法元素layout_flag以决定如果360VR投影布局是预定义的默认投影布局S，在这种情况下，其中语法元素layout_flag指示预定义的默认投影布局S的选择，控制电路230决定360VR投影布局是预定义的默认投影布局S。在另一种情况下，其中语法元素layout_flag指示预定义的默认投影布局S的不选择，熵解码电路202处理比特流BS以获得额外的多个语法元素(例如view_index和/或layout_rotation)，并且输出所获得的额外的多个语法元素(例如view_index和/或layout_rotation)至控制电路230，控制电路230参考所述额外的多个语法元素(例如view_index和/或layout_rotation)以决定由视频编码器100所使用的360VR投影布局的配置。
举例来说，而非限制，与由视频编码器100所采用的360VR投影布局(例如基于三角形的投影布局)的配置/选择有关的上述多个语法元素(例如layout_selection、layout_flag、view_index、和/或layout_rotation)可以在序列层级、视图层级、图像层级、切片层级、块层级、序列参数集层级(sequence parameter set，简称SPS)、视频参数集(videoparameter set，简称VPS)层级或自适应参数集(adaptive parameter set，简称APS)层级被发信到视频解码器200。
本领域技术人员将很容易观察到，在保持本发明的教导的同时，可以对设备和方法进行许多修改和变化，因此，以上公开的内容仅所附权利要求涵盖的范围确定。

Claims (14)

1.一种视频编码方法，其特征在于，包括：
设置多个投影面的360°虚拟现实投影布局，其中所述多个投影面包括分别位于所述360°虚拟现实投影布局中的多个位置的多个三角形投影面；
对具有由排列在所述360°虚拟现实投影布局中的所述多个投影面所表示的360°图像内容的帧进行编码以生成比特流；
对于包括在所述多个位置的至少一部分中的每一个位置，通过所述比特流发信多个语法元素，其中所述多个语法元素被设置以指示三角形投影视图的一个索引与应用于所述三角形投影视图的内容旋转的一个旋转角度，所述三角形投影视图被填充到位于所述每一个位置的对应的三角形投影面。
2.如权利要求1所述的视频编码方法，其特征在于，其中所述多个位置的数量为N；所述多个位置包括(N-1)个位置和剩余的位置；对于所述(N-1)个位置中的每一个，指示所述三角形投影视图的索引的语法元素通过所述比特流发信，所述三角形投影视图被填充到位于所述(N-1)个位置中的每一个对应的三角形投影面；以及对于所述剩余的位置，没有指示三角形投影视图的索引的语法元素通过所述比特流发信，所述三角形投影视图被填充到位于所述剩余的位置的对应的三角形投影面。
3.如权利要求1所述的视频编码方法，其特征在于，其中所述多个位置的数量为N；以及对于所述多个位置中的M个位置的每一个，指示三角形投影视图的索引的语法元素通过所述比特流发信，所述三角形投影视图被填充到位于所述M个位置的每一个的对应的三角形投影面，其中所发信的多个语法元素表明用于所述M个位置的多个索引具有相同的比特长度，并且M＝N或(N-1)。
4.如权利要求1所述的视频编码方法，其特征在于，其中对于包括在所述多个位置的至少一部分中的所述每一个位置，从多个三角形投影视图的视图阵列中选择所述三角形投影视图，所述三角形投影视图被填充到位于所述每一个位置的所述对应的三角形投影面，并且由所述视图阵列中的所述三角形投影视图的阵列索引设置所述三角形投影视图的所述索引，其中在为所述每一个位置选择所述三角形投影视图以后，通过从所述视图阵列中移除所述三角形投影视图来更新所述视图阵列；分别指示多个三角形投影视图的多个索引的多个语法元素通过所述比特流发信，所述多个三角形投影视图被填充到位于所述多个位置的至少一部分中的所有位置的对应的多个三角形投影面，以及并非所有的所述多个语法元素具有相同的比特长度。
5.如权利要求1所述的视频编码方法，其特征在于，其中对于所述多个位置中的每一个，指示应用于所述三角形投影视图的所述内容旋转的旋转角度的语法元素通过所述比特流发信，所述三角形投影视图被填充到位于所述多个位置中的每一个的对应的三角形投影面。
6.如权利要求5所述的视频编码方法，其特征在于，其中从由0°、120°和240°组成的组中选择所述旋转角度。
7.一种视频解码方法，其特征在于，包括：
接收比特流；
处理所述比特流以为包括在多个位置的至少一部分中的每一个位置获得语法元素；
参考为所述多个位置中的至少一部分所获得的多个语法元素以决定多个投影面的360°虚拟现实投影布局，其中所述多个投影面包括分别位于所述360°虚拟现实投影布局中的所述多个位置的多个三角形投影面，并且所述多个语法元素指示三角形投影视图的一个索引与应用于所述三角形投影视图的内容旋转的一个旋转角度，所述三角形投影视图被填充到位于所述每一个位置的对应的三角形投影面；以及
对所述比特流进行解码以生成由排列在所述360°虚拟现实投影布局中的所述多个投影面所表示的具有360°图像内容的解码帧。
8.如权利要求7所述的视频解码方法，其特征在于，其中所述多个位置的数量是N；所述多个位置包括(N-1)个位置和剩余的位置，对于所述(N-1)个位置的每一个，从所述比特流中获得指示三角形投影视图的索引的语法元素，所述三角形投影视图被填充到位于所述(N-1)个位置的每一个的对应的三角形投影面；以及对于所述剩余的位置，没有所述比特流中获得指示三角形投影视图的索引的语法元素，所述三角形投影视图被填充到位于所述剩余的位置的对应三角形投影面。
9.如权利要求7所述的视频解码方法，其特征在于，其中所述多个位置的数量是N；并且对于所述多个位置的M个位置中的每一个，从所述比特流中获得指示三角形投影视图的索引的语法元素，所述三角形投影视图被填充到位于所述M个位置中的每一个的对应的三角形投影面，其中所获得的多个语法元素表明用于所述M个位置的多个索引具有相同的比特长度，并且M＝N或(N-1)。
10.如权利要求7所述的视频解码方法，其特征在于，其中对于包括在所述多个位置的所述至少一部分中的所述每一个位置，从多个三角形投影视图的视图阵列中决定所述三角形投影视图，所述三角形投影视图被填充到位于所述每一个位置的所述对应的三角形投影面，以及由所述三角形投影视图的所述索引决定所述视图阵列中的所述三角形投影视图的阵列索引，其中在为所述每一个位置决定所述三角形投影视图以后，通过从所述视图阵列中移除所述三角形投影视图更新所述视图阵列；从所述比特流中获得指示多个三角形投影视图的多个索引的多个语法元素，其中所述多个三角形投影视图被填充到位于包括在所述多个位置中的所述至少一部分中的所有位置的对应的多个三角形投影面，以及并不是所有的所获得的所述多个语法元素具有相同的比特长度。
11.如权利要求7所述的视频解码方法，其特征在于，其中对于所述多个位置中的每一个，从所述比特流中获得指示应用于所述三角形投影视图的内容旋转的旋转角度的语法元素，所述三角形投影视图被填充到位于所述多个位置的每一个对应的三角形投影面。
12.如权利要求11所述的视频解码方法，其特征在于，其中从由0°、120°和240°组成的组中选择所述旋转角度。
13.一种视频编码器，其特征在于，包括：
控制电路，用于设置多个投影面的360°虚拟现实投影布局，其中所述多个投影面分别包括位于所述360°虚拟现实投影布局中的多个位置的多个三角形投影面；
编码电路，用于对具有由排列在所述360°虚拟现实投影布局中的所述多个投影面表示的360°图像内容的帧进行编码以生成比特流；其中对于包括在所述多个位置的至少一部分中的每一个位置，所述编码电路进一步通过所述比特流发信多个语法元素，其中所述多个语法元素被设置以指示三角形投影视图的一个索引与应用于所述三角形投影视图的内容旋转的一个旋转角度，所述三角形投影视图被填充到位于所述每一个位置的对应的三角形投影面。
14.一种视频解码器，其特征在于，包括：
解码电路，用于接收比特流，处理所述比特流以获得用于包括在多个位置的至少一部分中的每一个位置的多个语法元素，并且对所述比特流进行解码以生成具有由排列在360°虚拟现实投影布局中的多个投影面所表示的360°图像内容的解码帧；以及
控制电路，用于参考为所述多个位置的至少一部分的所获得的多个语法元素以决定多个投影面的所述360°虚拟现实投影布局，其中所述多个投影面包括分别位于所述360°虚拟现实投影布局中的所述多个位置的多个三角形投影面，以及所述多个语法元素指示三角形投影视图的一个索引与应用于所述三角形投影视图的内容旋转的一个旋转角度，所述三角形投影视图被填充到位于所述每一个位置的对应的三角形投影面。
CN201780003722.4A 2016-10-07 2017-09-30 视频编解码方法及装置 Active CN108475337B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662405290P 2016-10-07 2016-10-07
US62/405,290 2016-10-07
PCT/CN2017/104849 WO2018064967A1 (en) 2016-10-07 2017-09-30 Video encoding method and apparatus with syntax element signaling of employed projection layout and associated video decoding method and apparatus

Publications (2)

Publication Number Publication Date
CN108475337A CN108475337A (zh) 2018-08-31
CN108475337B true CN108475337B (zh) 2022-02-15

Family

ID=61830775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780003722.4A Active CN108475337B (zh) 2016-10-07 2017-09-30 视频编解码方法及装置

Country Status (5)

Country Link
US (1) US10462484B2 (zh)
EP (1) EP3472756A4 (zh)
CN (1) CN108475337B (zh)
TW (1) TWI663871B (zh)
WO (1) WO2018064967A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107547907B (zh) 2016-06-27 2020-02-21 华为技术有限公司 编解码的方法及设备
EP3476125A4 (en) 2016-10-07 2019-08-21 MediaTek Inc. METHOD AND DEVICE FOR PRODUCING A PROJECTION BASED KADER WITH 360 DEGREE IMAGE CONTENT SHOWN BY TRIANGULAR PROJECTION SURFACES IN A LIGHT SURFACE PROJECTION LAYOUT
US10380715B2 (en) * 2016-12-07 2019-08-13 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
US10931971B2 (en) * 2016-12-27 2021-02-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding 360-degree image
WO2018128247A1 (ko) * 2017-01-03 2018-07-12 엘지전자 주식회사 360도 비디오에 대한 영상 코딩 시스템에서 인트라 예측 방법 및 장치
MX2021007977A (es) * 2018-12-30 2021-08-16 Beijing Dajia Internet Information Tech Co Ltd Metodo y aparato para codificacion de video para prediccion de triangulo.
US20200213570A1 (en) * 2019-01-02 2020-07-02 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face and at least one padding region packed in 360-degree virtual reality projection layout
US11190801B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method
US11659206B2 (en) 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
US11190768B2 (en) * 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus
US11303931B2 (en) * 2020-06-10 2022-04-12 Mediatek Inc. Method and apparatus for processing projection-based frame having projection faces packed in hemisphere cubemap projection layout with face packing constraints

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1759616A (zh) * 2003-03-07 2006-04-12 索尼株式会社 数据编码器、数据编码方法和计算机程序
CN102308580A (zh) * 2009-02-05 2012-01-04 汤姆森特许公司 用于自适应模式视频编码和解码的方法和装置
CN103888757A (zh) * 2014-03-24 2014-06-25 中国人民解放军国防科学技术大学 众视点裸视三维数字立体投影显示系统
CN104244019A (zh) * 2014-09-18 2014-12-24 孙轩 一种全景视频影像室内分屏显示方法及显示系统
CN104321803A (zh) * 2012-06-06 2015-01-28 索尼公司 图像处理装置、图像处理方法和程序
CN105898254A (zh) * 2016-05-17 2016-08-24 亿唐都科技（北京）有限公司 节省带宽的vr全景视频布局方法、装置及展现方法、系统

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141034A (en) 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
US6144773A (en) 1996-02-27 2000-11-07 Interval Research Corporation Wavelet-based data compression
US6466254B1 (en) * 1997-05-08 2002-10-15 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
JP2003141562A (ja) 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US7308131B2 (en) 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
CN101606177B (zh) 2007-01-04 2013-07-17 鸣川肇 信息处理方法
US8638327B2 (en) 2007-11-14 2014-01-28 Microsoft Corporation Tiled projections for planar processing of round earth data
US8090014B2 (en) * 2008-10-06 2012-01-03 Hewlett-Packard Development Company, L.P. Managing multiview streaming video data composed of frames
TW201101077A (en) 2009-06-25 2011-01-01 Univ Shu Te Constructing method and system for 3D environmental appearance simulation
KR20100138725A (ko) 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
CN101853621B (zh) 2010-02-05 2012-06-27 北京水晶石数字科技股份有限公司 一种八面体幻影成像系统
EP2408196B1 (en) 2010-07-14 2017-01-11 Alcatel Lucent A method, server and terminal for generating a composite view from multiple content items
CN102938018B (zh) 2012-10-16 2015-06-17 华北水利水电学院 一种基于经纬线的等面积全球离散格网剖分方法
US8902322B2 (en) 2012-11-09 2014-12-02 Bubl Technology Inc. Systems and methods for generating spherical images
US9986154B2 (en) 2014-05-21 2018-05-29 Here Global B.V. Developing a panoramic image
JP6398457B2 (ja) 2014-08-14 2018-10-03 株式会社リコー 撮影装置、撮影方法、およびプログラム
US9710879B2 (en) 2014-09-08 2017-07-18 Ross Video Limited Methods and systems for computing an alpha channel value
US10104361B2 (en) 2014-11-14 2018-10-16 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
WO2016140082A1 (ja) 2015-03-05 2016-09-09 ソニー株式会社 画像処理装置および画像処理方法
US10684485B2 (en) 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
JP6774304B2 (ja) 2015-11-26 2020-10-21 キヤノン株式会社 画像形成装置及び画像形成方法並びにプログラム及び記憶媒体
CN105898359A (zh) 2016-04-27 2016-08-24 乐视控股（北京）有限公司 虚拟现实终端及其视频的处理方法和装置
KR102506480B1 (ko) 2016-06-14 2023-03-07 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
US20180075576A1 (en) 2016-09-09 2018-03-15 Mediatek Inc. Packing projected omnidirectional videos
US10380715B2 (en) 2016-12-07 2019-08-13 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
KR20180091381A (ko) 2017-02-06 2018-08-16 삼성전자주식회사 다면체에 기반한 vr 이미지를 제공하는 전자 장치 및 그 이미지의 제공 방법
US11057643B2 (en) 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
US11004173B2 (en) 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1759616A (zh) * 2003-03-07 2006-04-12 索尼株式会社 数据编码器、数据编码方法和计算机程序
CN102308580A (zh) * 2009-02-05 2012-01-04 汤姆森特许公司 用于自适应模式视频编码和解码的方法和装置
CN104321803A (zh) * 2012-06-06 2015-01-28 索尼公司 图像处理装置、图像处理方法和程序
CN103888757A (zh) * 2014-03-24 2014-06-25 中国人民解放军国防科学技术大学 众视点裸视三维数字立体投影显示系统
CN104244019A (zh) * 2014-09-18 2014-12-24 孙轩 一种全景视频影像室内分屏显示方法及显示系统
CN105898254A (zh) * 2016-05-17 2016-08-24 亿唐都科技（北京）有限公司 节省带宽的vr全景视频布局方法、装置及展现方法、系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Framework to Evaluate Omnidirectional Video Coding Schemes;Matt Yu 等，;《2015 IEEE International Symposium on Mixed and Augmented Reality》;20151112;第2015年卷;第31-36页 *
Fringe projection profilometry for panoramic 3D reconstruction;César-CruzAlmaraz-Cabral 等，;《Optics and Lasers in Engineering》;20160331;第78卷;第106-112页 *
一种基于三角形重投影的虚拟视角合成;张春晓 等，;《北京航空航天大学学报》;20120131;第38卷(第1期);第86-90页 *

Also Published As

Publication number Publication date
TW201817233A (zh) 2018-05-01
EP3472756A1 (en) 2019-04-24
US20180332305A1 (en) 2018-11-15
WO2018064967A1 (en) 2018-04-12
US10462484B2 (en) 2019-10-29
CN108475337A (zh) 2018-08-31
EP3472756A4 (en) 2020-03-04
TWI663871B (zh) 2019-06-21

Similar Documents

Publication Publication Date Title
CN108475337B (zh) 视频编解码方法及装置
CN113573077B (zh) 具有旋转信息的360°图像/视频内处理方法及装置
RU2716156C1 (ru) Способ и устройство для составления всенаправленного изображения в выходной формат макета
US10904570B2 (en) Method for encoding/decoding synchronized multi-view video by using spatial layout information and apparatus of the same
US20190273929A1 (en) De-Blocking Filtering Method and Terminal
JP5687767B2 (ja) 圧縮サンプリング測定値を使用する任意解像度ビデオ符号化のための方法および装置
KR20180124046A (ko) 가상 현실 비디오 콘텐츠를 표현하기 위한 절두 정사각 피라미드 지오메트리 및 프레임 패킹 구조
CN107547907B (zh) 编解码的方法及设备
CN110121065B (zh) 空间排序视频编码应用中的多向图像处理
US11138460B2 (en) Image processing method and apparatus
US11659206B2 (en) Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
US20180262774A1 (en) Video processing apparatus using one or both of reference frame re-rotation and content-oriented rotation selection and associated video processing method
JP7177034B2 (ja) レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム
KR20120082994A (ko) 움직임 벡터 부호화/복호화 방법 및 장치
Naman et al. Decoding high-throughput jpeg2000 (htj2k) on ag
US11190768B2 (en) Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus
US11190801B2 (en) Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method
CN111492654A (zh) 不同的映射函数应用于不同的正方形投影面，不同的轴和/或轴的不同位置的基于立方体的投影方法
Micanti et al. Backward-compatible robust error protection of JPEG XR compressed video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant