CN111684807B - 用于360度视频的帧内预测 - Google Patents

Abstract

一种视频译码器可基于360度视频数据的当前图片的当前块的定位和定义所述当前图片中的多个区的布置的打包布置来确定参考样本。所述当前图片处于投影域中且所述多个区中的每一相应区是由360度视频数据的投影定义的相应面。所述区根据所述打包布置而布置在所述当前图片中。基于所述当前块的所述定位在所述第一区的邻近于所述第二区的边界处且在所述边界处存在因所述打包布置所致的不连续性，所述参考样本是所述当前图片的在球面域中且不在所述投影域中与所述当前块在空间上相邻的图片样本。

Description

用于360度视频的帧内预测

本申请要求2019年2月8日申请的美国专利申请第16/271,065号的优先权，所述申请要求2018年2月14日申请的美国临时专利申请第62/630,714号的权益，所述申请中的每一个的全部内容以引用方式并入。

技术领域

本公开涉及视频编码和视频解码。

背景技术

数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫星无线电话(所谓的“智能电话”)、视频电传会议装置、视频流播装置和其类似物。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)、高效视频译码(HEVC)标准、ITU-T H.265/高效视频译码(HEVC)定义的标准，和这种标准的扩展中所描述的那些技术。视频装置可通过实施这种视频译码技术来更有效地发射、接收、编码、解码和/或存储数字视频信息。

视频译码技术包含空间(图片内)预测和/或时间(图片间)预测以减少或去除为视频序列所固有的冗余。针对基于块的视频译码，视频切片(例如，视频图片或视频图片的一部分)可分割成视频块，视频块也可称作译码树单元(CTU)、译码单元(CU)和/或译码节点。图片的帧内所译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的帧间所译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可称作帧，且参考图片可称作参考帧。

发明内容

一般来说，本公开描述选择用于针对具有立方体贴图投影(CMP)和其衍生投影(例如调整后的立方体贴图投影(ACP)和赤道圆柱投影(ECP))的360°视频的帧内预测的参考的技术。由于360°视频的立方体贴图投影可包括或由若干不连续区组成，所以选择用于帧内预测的参考的现有方法(其一般使用来自当前块的上方或左方或右方的邻近块的参考样本)不起作用，因为参考样本可能取决于投影的面如何打包/结构化而在不同区中。

在一个实例中，本公开描述一种译码360度视频数据的方法，所述方法包括：基于360度视频数据的当前图片的当前块的定位和定义当前图片中的多个区的布置的打包布置来确定参考样本，其中：当前图片处于投影域中，多个区中的每一相应区是由360度视频数据的投影定义的相应面，投影是立方体贴图投影(CMP)或CMP的衍生投影，所述区包含第一区和第二区，所述区根据打包布置而布置在当前图片中，基于当前块的定位在邻近于第二区的第一区的边界处且在边界处存在因打包布置所致的不连续性，参考样本是当前图片的在球面域中且不在投影域中与当前块在空间上相邻的图片样本；和基于所确定的参考样本中的一或多个使用帧内预测来产生当前块的预测块。

在另一实例中，本公开描述一种用于译码360度视频数据的装置，所述装置包括：存储器，其配置成存储360度视频数据；和一或多个处理器，其实施于电路中，一或多个处理器配置成：基于360度视频数据的当前图片的当前块的定位和定义进入当前图片的多个区的布置的打包布置来确定参考样本，其中：当前图片处于投影域中，多个区中的每一相应区是由360度视频数据的投影定义的相应面，投影是立方体贴图投影(CMP)或CMP的衍生投影，所述区包含第一区和第二区，所述区根据打包布置而布置在当前图片中，基于当前块的定位在邻近于第二区的第一区的边界处且在边界处存在因打包布置所致的不连续性，参考样本是当前图片的在球面域中且不在投影域中与当前块在空间上相邻的图片样本；和基于所确定的参考样本中的一或多个使用帧内预测来产生当前块的预测块。

在另一实例中，本公开描述一种用于译码视频数据的装置，所述装置包括：用于基于360度视频数据的当前图片的当前块的定位和定义当前图片中的多个区的布置的打包布置来确定参考样本的装置，其中：当前图片处于投影域中，多个区中的每一相应区是由360度视频数据的投影定义的相应面，投影是立方体贴图投影(CMP)或CMP的衍生投影，所述区包含第一区和第二区，所述区根据打包布置而布置在当前图片中，基于当前块的定位在邻近于第二区的第一区的边界处且在边界处存在因打包布置所致的不连续性，参考样本是当前图片的在球面域中且不在投影域中与当前块在空间上相邻的图片样本；和用于基于所确定的参考样本中的一或多个使用帧内预测来产生当前块的预测块的装置。

在另一实例中，本公开描述一种计算机可读存储介质，其具有存储在其上的指令，所述指令在执行时使得一或多个处理器：基于360度视频数据的当前图片的当前块的定位和定义进入当前图片的多个区的布置的打包布置来确定参考样本，其中：当前图片处于投影域中，多个区中的每一相应区是由360度视频数据的投影定义的相应面，投影是立方体贴图投影(CMP)或CMP的衍生投影，所述区包含第一区和第二区，所述区根据打包布置而布置在当前图片中，基于当前块的定位在邻近于第二区的第一区的边界处且在边界处存在因打包布置所致的不连续性，参考样本是当前图片的在球面域中且不在投影域中与当前块在空间上相邻的图片样本；和基于所确定的参考样本中的一或多个使用帧内预测来产生当前块的预测块。

在以下附图和描述中阐述一或多个实例的细节。其它特征、目标和优点从描述、图式和权利要求书将是显而易见的。

附图说明

图1是说明可进行本公开的技术的实例视频编码和解码系统的框图。

图2A、2B和2C说明实例立方体和呈2维帧的立方体贴图的实例表示。

图3说明具有立方体贴图(CMP)投影的360度视频的实例紧凑表示。

图4A和图4B说明在先前帧内预测程序中使用的参考样本、在本公开的帧内预测程序中使用的参考样本和解析和译码参考样本的方向。

图5A和图5B说明其中可根据本公开的技术来应用参考样本选择的块的实例区域。

图6A到6F说明针对不同类型的打包布置的参考样本选择。

图7说明根据本公开的技术的实例参考样本复制方法。

图8A和图8B说明最右边界处的块的参考样本。

图9A到图9D说明最左下边界处的块的参考样本。

图10说明根据本公开的技术的针对参考样本的实例几何推导程序。

图11是说明根据本公开的技术的用于确定参考样本的实例方法的流程图。

图12是说明可进行本公开的技术的实例视频编码器的框图。

图13是说明可进行本公开的技术的实例视频解码器的框图。

图14是说明用于编码当前块的实例方法的流程图。

图15是说明用于解码视频数据的当前块的实例方法的流程图。

图16是说明根据本公开的技术的用于译码360度视频数据的实例操作的流程图。

具体实施方式

360度视频可包含观看者可在任何时间情况下都可能在所述观看者周围的球面看见任何可见物的视频。360度视频可应用于观看者可自由改变其观看方向的沉浸式虚拟现实(VR)体验中。在360度视频中，每一图片可对应于观看者周围的3维球面中的可见内容。

视频编码编解码器(codec)主要设计用于编码2维图像，例如适用于习知电视或电影投影仪上的显示器的那些视频编码编解码器。因此，为使360度视频适应视频编解码器中的编码，将360度视频的图片投影到2维域(也就是投影域)中。接着可以相同方式将投影域中的2维图片编码为习知2维图片。

立方体贴图投影是将360度视频的图片投影到2维域中的常见方式。在立方体贴图投影中，立方体居中于观看者的视点上。因此，立方体可具有用于观看者的前方内容的前面、用于观看者的右方内容的右面、用于观看者的左方内容的左面、用于观看者上方内容的顶面和用于观看者下方内容的底面。将来自观看者周围的3维球面的样本投影到立方体的面上。因此，立方体的每一面可包括样本的2维阵列。立方体的面本身可根据进入2维图片的打包布置而布置。所得2维图片接着可编码。

使用立方体贴图投影的一个问题是当根据打包布置来布置立方体的面时，第一区(也就是第一面)的边界处的样本可与未在球面域中邻近的第二区(也就是第二面)的样本在空间上相邻。举例来说，上区与左区之间的边界的任一侧上的样本可实际上未在球面域中彼此邻近。这可限制分析区之间的边界上的参考样本的效用。举例来说，在上文实例中，当进行上区与左区之间的边界处的上区的块的帧内预测时，边界的另一侧上的左区的样本可具有极小预测值。不能使用某些区间边界上的样本可削弱潜在编码效率，导致视频数据的更少压缩。

本公开描述可解决这些问题且可能提高编码效率的技术。在本公开中，应了解，在第一区与第二区之间的边界处的第一区的样本可在球面域中邻近于不在第一区与第二区之间的边界上的样本。举例来说，在立方体贴图投影的一些打包布置中，在上区与左区之间的边界处的上区的样本可在球面域中邻近于在左区的顶部边界处的样本。因此，当前图片可含有在球面域中但不在投影域中与当前块在空间上相邻的当前块的参考样本(例如，在编码当前图片的当前块中使用的当前图片的样本)。

因此，在本公开的一个实例中，视频译码器(例如，视频编码器或视频解码器)可基于当前图片的当前块的定位来确定参考样本。在这一实例中，当前图片处于投影域中且包括多个区。多个区中的每一相应区是由360度视频数据的投影定义的相应面。投影是立方体贴图投影(CMP)或CMP的衍生投影。所述区根据打包布置而布置在当前图片中。换句话说，打包布置定义当前图片中的多个区的布置。此外，在这一实例中，视频译码器可基于当前块的定位来确定参考样本，使得参考样本是在球面域中且不在投影域中与当前块在空间上相邻的图片样本。在这一实例中，视频译码器可基于所确定的参考样本中的一或多个使用帧内预测来产生当前块的预测块。针对当前图片的其它块，参考样本可在球面域和投影域两者中与其它块在空间上相邻。

图1是说明可进行本公开的技术的实例视频编码和解码系统100的框图。本公开的技术一般是针对译码(编码和/或解码)视频数据。一般来说，视频数据包括用于处理视频的任何数据。因此，视频数据可包含原始未编码的视频、所编码视频、所解码(例如重构后的)视频和视频元数据，例如传信数据。

如图1中所展示，在这一实例中，系统100包含源装置102，其提供待由目的地装置116解码和显示的所编码视频数据。详细地说，源装置102经由计算机可读介质110将视频数据提供到目的地装置116。源装置102和目的地装置116可包括广泛范围的装置中的任一个，包含桌上型计算机、笔记型(也就是膝上型)计算机、平板计算机、机顶盒、广播接收器装置、移动装置、例如智能电话的电话手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流播装置或其类似物。在一些情况下，源装置102和目的地装置116可装备用于无线通信，且由此可称作无线通信装置。

在图1的实例中，源装置102包含视频源104、存储器106、视频编码器200和输出接口108。目的地装置116包含输入接口122、视频解码器300、存储器120和显示装置118。根据本公开，源装置102的视频编码器200和目的地装置116的视频解码器300可配置成应用选择用于针对具有立方体贴图投影(CMP)和其衍生投影的360°视频的帧内预测的参考的技术。由此，源装置102表示视频编码装置的实例，而目的地装置116表示视频解码装置的实例。在其它实例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置102可从外部视频源(例如，外部相机)接收视频数据。同样地，目的地装置116可与外部显示装置介接，而不是包含集成显示装置。

如图1中所展示的系统100仅是一个实例。一般来说，任何数字视频编码和/或解码装置都可进行选择用于针对具有立方体贴图投影(CMP)和其衍生投影的360°视频的帧内预测的参考样本的技术。源装置102和目的地装置116仅是源装置102产生所译码视频数据以供传输到目的地装置116的这种译码装置的实例。本公开将“译码”装置称作对数据进行译码(编码和/或解码)的装置。由此，视频编码器200和视频解码器300表示译码装置的实例，特定来说分别表示视频编码器和视频解码器的实例。在一些实例中，装置102、116可以大体上对称的方式操作，使得装置102、116中的每一个包含视频编码和解码组件。因此，系统100可支持装置102、116之间的单向或双向视频传输以用于(例如)视频流播、视频播放、视频广播或视频电话。

一般来说，视频源104表示视频数据源(也就是，原始未编码的视频数据)且将视频数据的连续一系列图片(也称作“帧”)提供到视频编码器200，所述视频编码器编码图片的数据。源装置102的视频源104可包含视频捕获装置，例如视频相机、含有先前捕获的原始视频的视频存档和/或用以从视频内容提供商接收视频的视频馈送接口。作为另一替代方案，视频源104可产生基于计算机图形的数据作为源视频，或实况视频、存档视频和计算机产生的视频的组合。在每一情况下，视频编码器200对所捕获、所预先捕获或计算机产生的视频数据进行编码。视频编码器200可将图片的接收次序(有时称作“显示次序”)重新布置成译码次序以供译码。视频编码器200可产生包含所编码视频数据的位流。源装置102接着可经由输出接口108将所编码视频数据输出到计算机可读介质110上以供通过例如目的地装置116的输入接口122接收和/或检索。

源装置102的存储器106和目的地装置116的存储器120表示通用存储器。在一些实例中，存储器106、120可存储原始视频数据，例如来自视频源104的原始视频和来自视频解码器300的原始所解码视频数据。另外或替代地，存储器106、120可存储可分别由例如视频编码器200和视频解码器300执行的软件指令。尽管在这一实例中展示为与视频编码器200和视频解码器300分开，但应理解，视频编码器200和视频解码器300也可包含功能上类似或同等目的的内部存储器。此外，存储器106、120可存储(例如)从视频编码器200输出和输入到视频解码器300的所编码视频数据。在一些实例中，可分配存储器106、120的部分作为一或多个视频缓冲器，以例如存储原始、所解码和/或所编码视频数据。

计算机可读介质110可表示能够将所编码视频数据从源装置102传送到目的地装置116的任何类型的介质或装置。在一个实例中，计算机可读介质110表示用以使得源装置102能够实时地将所编码视频数据(例如)经由射频网络或基于计算机的网络直接传输到目的地装置116的通信介质。根据例如无线通信协议的通信标准，输出接口108可调制包含所编码视频数据的传输信号，且输入接口122可调制所接收的传输信号。通信介质可包括任何无线或有线通信介质，例如射频(RF)频谱或一或多个实体传输线。通信介质可形成基于分组的网络(例如，局域网、广域网或例如互联网的全球网络)的部分。通信介质可包含路由器、交换器、基站或任何其它可用于促进从源装置102到目的地装置116的通信的设备。

在一些实例中，源装置102可将所编码数据从输出接口108输出到存储装置112。类似地，目的地装置112可经由输入接口122从存储装置112存取所编码数据。存储装置112可包含各种分布式或本地存取的数据存储介质中的任一个，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储所编码视频数据的任何其它合适的数字存储介质。

在一些实例中，源装置102可将所编码视频数据输出到文件服务器114，或可存储源装置102所产生的所编码视频的另一中间存储装置。目的地装置116可经由流播或下载而从文件服务器114存取存储的视频数据。文件服务器114可以是能够存储所编码视频数据且将所述所编码视频数据传输到目的地装置116的任何类型的服务器装置。文件服务器114可表示网页服务器(例如用于网站)、文件传送协议(FTP)服务器、内容递送网络装置或网络附接存储(NAS)装置。目的地装置116可经由包含互联网连接的任何标准数据连接从文件服务器114存取所编码视频数据。此可包含无线通道(例如Wi-Fi连接)、有线连接(例如DSL、有线电视调制解调器等)，或适用于存取存储在文件服务器114上的所编码视频数据的两者的组合。文件服务器114和输入接口122可配置成根据流播传输协议、下载传输协议或其组合来操作。

输出接口108和输入接口122可表示无线发射器/接收器、调制解调器、有线网络连接组件(例如，以太网卡)、根据各种IEEE 802.11标准中的任一个来操作的无线通信组件或其它实体组件。在输出接口108和输入接口122包括无线组件的实例中，输出接口108和输入接口122可配置成根据蜂窝通信标准(例如4G、4G-LTE(长期演进)、高级LTE、5G或其类似物)来传送数据，例如所编码视频数据。在输出接口108包括无线传输器的一些实例中，输出接口108和输入接口122可配置成根据其它无线标准(例如IEEE 802.11规格、IEEE 802.15规格(例如ZigBee^TM)、Bluetooth^TM标准或其类似物)传送数据，例如所编码视频数据。在一些实例中，源装置102和/或目的地装置116可包含相应芯片上系统(SoC)装置。举例来说，源装置102可包含SoC装置以进行归于视频编码器200和/或输出接口108的功能性，且目的地装置116可包含SoC装置以进行归于视频解码器300和/或输入接口122的功能性。

本公开的技术可应用于支持各种多媒体应用中的任一个的视频译码，例如，空中电视广播、有线电视传输、卫星电视传输、互联网流播视频传输(例如，经由HTTP的动态自适应流播(DASH))、编码到数据存储介质上的数字视频、存储在数据存储介质上的数字视频的解码或其它应用。

目的地装置116的输入接口122从计算机可读介质110(例如存储装置112、文件服务器114或其类似物)接收所编码视频位流。从计算机可读介质110接收的所编码视频位流可包含由视频编码器200定义的传信信息(其也由视频解码器300使用)，例如具有描述视频块或其它所译码单元(例如切片、图片、图片组、序列或其类似物)的特性和/或处理的值的语法元素。显示装置118向用户显示所解码视频数据的所解码图片。显示装置118可表示各种显示装置中的任一个，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

本公开一般可指“传信”某些信息，例如语法元素。术语“传信”一般可指用于解码所编码视频数据的语法元素和/或其它数据的值的传达。也就是，视频编码器200可在位流中传信语法元素的值。一般来说，传信是指在位流中产生值。如上文所提及，源装置102可大体上实时地将位流传送到目的地装置116，或不实时传送，例如可在将语法元素存储到存储装置112以供目的地装置116稍后检索时发生。

尽管图1中未展示，但在一些实例中，视频编码器200和视频解码器300可各自与音频编码器和/或音频解码器集成，且可包含合适的MUX-DEMUX单元或其它硬件和/或软件，以处置在共同数据流播中包含音频和视频两者的多任务流播。如果适用，那么MUX-DEMUX单元可遵照ITU H.223多任务器协议或例如用户数据报协议(UDP)的其它协议。

视频编码器200和视频解码器300各自可实施为各种合适编码器和/或解码器电路中的任一个，例如一或多个微处理器、数字信号处理器(DSP)、特殊应用集成电路(ASIC)、场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术以软件部分地实施时，装置可将用于软件的指令存储在合适的非暂时性计算机可读介质中，且在硬件中使用一或多个处理器执行指令以进行本公开的技术。视频编码器200和视频解码器300中的每一个可包含于一或多个编码器或译码器中，编码器或解码器中的任一个可集成为相应装置中的组合式编码器/解码器(CODEC)的部分。包含视频编码器200和/或视频解码器300的装置可包括集成电路、微处理器和/或无线通信装置，例如蜂窝电话。

视频编码器200和视频解码器300可根据视频译码标准操作，例如ITU-T H.265，也称作高效视频译码(HEVC)或其扩展，例如多视图和/或可调式视频译码扩展。可替代地，视频编码器200和视频解码器300可根据其它专有或工业标准(例如联合探索测试模型(JEM)或多功能视频译码(VVC))来操作。然而，本公开的技术不限于任何特定译码标准。

一般来说，视频编码器200和视频解码器300可进行图片的基于块的译码。术语“块”一般是指包含待处理(例如编码、解码或以其它方式在编码和/或解码程序中使用)的数据的结构。举例来说，块可包含亮度和/或色度数据样本的二维矩阵。一般来说，视频编码器200和视频解码器300可译码以YUV(例如Y、Cb、Cr)格式表示的视频数据。也就是说，视频编码器200和视频解码器300可译码亮度和色度分量，而不是译码图片的样本的红色、绿色和蓝色(RGB)数据，其中所述色度分量可包含红色调和蓝色调色度分量两者。在一些实例中，视频编码器200在编码之前将所接收的RGB格式数据转换成YUV表示，且视频解码器300将YUV表示转换成RGB格式。可替代地，预处理单元和后处理单元(未展示)可进行这些转换。

本公开一般可指对图片进行译码(例如编码和解码)以包含编码或解码图片的数据的程序。类似地，本公开可指对图片的块进行译码以包含编码或解码块的数据的程序，例如预测和/或残余译码。所编码视频位流一般包含表示译码决策(例如译码模式)和图片到块的分割的语法元素的一系列值。因此，对译码图片或块的提及一般应理解为译码形成所述图片或块的语法元素的值。

HEVC定义各种块，包含译码单元(CU)、预测单元(PU)和变换单元(TU)。根据HEVC，视频译码器(例如视频编码器200)根据四叉树结构将译码树单元(CTU)分割成CU。也就是，视频译码器将CTU和CU分割成四个相同的非重叠正方形，且四叉树的每一节点具有零个或四个子节点。不具有子节点的节点可称作“叶节点”，且这种叶节点的CU可包含一或多个PU和/或一或多个TU。视频译码器可进一步分割PU和TU。举例来说，在HEVC中，残余四叉树(RQT)表示TU的分割。在HEVC中，PU表示帧间预测数据，而TU表示残余数据。帧内预测后的CU包含帧内预测信息，例如帧内模式指示。

作为另一实例，视频编码器200和视频解码器300可配置成根据JEM或VVC来操作。根据JEM和VVC，视频译码器(例如视频编码器200)将图片分割成多个译码树单元(CTU)。视频编码器200可根据树状结构(例如四叉树二叉树(QTBT)结构)分割CTU。JEM的QTBT结构去除多个分割类型的概念，例如HEVC的CU、PU和TU之间的间距。JEM的QTBT结构包含两个层级：根据四叉树分割进行分割的第一层级，和根据二叉树分割进行分割的第二层级。QTBT结构的根节点对应于CTU。二叉树的叶节点对应于译码单元(CU)。

在一些实例中，视频编码器200和视频解码器300可使用单个QTBT结构以表示亮度和色度分量中的每一个，而在其它实例中，视频编码器200和视频解码器300可使用两个或更多个QTBT结构，例如用于亮度分量的一个QTBT结构和用于两个色度分量的另一QTBT结构(或用于相应色度分量的两个QTBT结构)。

为实现对CTU的更灵活分割，提出基于混合变换树(MTT)的CU结构以取代基于四叉树、二叉树和/或QTBT的CU结构。本公开的MTT分割结构仍是递归树状结构。然而，使用多个不同分割结构(例如三个或更多个)。举例来说，在MTT分割结构中，可在树状结构的每一深度处使用三个或更多个不同分割结构。在这一情况下，树状结构中的节点的深度可指从节点到树状结构的根的路径的长度(例如，分裂的数目)。如本公开中所使用，分割结构一般可指一块可划分成多少不同块。举例来说，四叉树分割结构可将块划分成四个块，二叉树分割结构可将块划分成两个块，且三叉树分割结构可将块划分成三个块。分割结构可具有多个不同分割类型，如将在下文更详细地解释。分割类型可另外定义如何划分块，包含对称或不对称分割、均匀或非均匀分割和/或水平或竖直分割。视频编码器200和视频解码器300可配置成使用根据HEVC的四叉树分割、根据JEM的QTBT分割、MTT或其它分割结构。

本公开可能可互换地使用“N×N”和“N乘N”以指块(例如CU或其它视频块)在竖直和水平尺寸方面的样本尺寸，例如16×16样本或16乘16样本。一般来说，16×16CU在竖直方向上将具有16个样本(y＝16)且在水平方向上将具有16个样本(x＝16)。同样地，N×N CU一般在竖直方向上具有N个样本且在水平方向上具有N个样本，其中N表示非负整数值。可按行和列来布置CU中的样本。此外，CU不一定在水平方向上和竖直方向上具有相同数目个样本。举例来说，CU可包括N×M个样本，其中M未必等于N。

视频编码器200编码CU的表示预测和/或残余信息和其它信息的视频数据。预测信息指示将如何对CU进行预测以形成CU的预测块。残余信息一般表示编码前CU与预测块的样本之间的逐样本差。

为了预测CU，视频编码器200一般可经由帧间预测或帧内预测形成CU的预测块。帧间预测一般是指从先前所译码图片的数据预测CU，而帧内预测一般是指从同一图片的先前所译码数据预测CU。为了进行帧间预测，视频编码器200可使用一或多个运动向量来产生预测块。视频编码器200一般可进行运动搜索以识别(例如在CU与参考块之间的差方面)紧密匹配CU的参考块。视频编码器200可使用绝对差总和(SAD)、平方差总和(SSD)、平均绝对差(MAD)、均方差(MSD)或其它这种差计算来计算差度量，以确定参考块是否紧密匹配当前CU。在一些实例中，视频编码器200可使用单向预测或双向预测来预测当前CU。

JEM和VVC也提供仿射运动补偿模式，其可视为帧间预测模式。在仿射运动补偿模式中，视频编码器200可确定表示非平移运动(例如放大或缩小、旋转、透视运动或其它不规则运动类型)的两个或更多个运动向量。

为了进行帧内预测，视频编码器200可选择帧内预测模式以产生预测块。JEM提供六十七种帧内预测模式，包含各种定向模式以及planar模式和DC模式。一般来说，视频编码器200选择描述与当前块(例如CU块)相邻的样本的帧内预测模式，从所述样本预测当前块的样本。这种样本可称作用于帧内预测的“参考样本”。用于帧内预测的参考样本一般在与当前块处于同一图片中的当前块上方、上方和左方或左方，假定视频编码器200以光栅扫描次序(从左到右、从上到下)译码CTU和CU。在当前块上方的样本的行中的参考样本在本文中可称作上方参考样本。在当前块左方的样本的列中的参考样本在本文中可称作左方参考样本。

例如视频编码器200或视频解码器300的视频译码器可使用从多个可用帧内预测模式选择的帧内预测模式进行帧内预测。帧内预测模式可包含非定向帧内预测模式和定向帧内预测模式，其也可称作帧内预测方向。不同定向帧内预测模式对应于不同角度。在一些实例中，为使用定向帧内预测模式确定预测符块的当前样本的值，视频译码器可确定以对应于定向帧内预测模式的角度穿过当前样本的线与参考样本集相交的点。参考样本可包括紧靠预测符块左方的列中的样本(左方参考样本)和紧靠预测符块上方的行中的样本(上方参考样本)。如果所述点在参考样本中的两个之间，那么视频译码器可内插或以其它方式确定对应于所述点的值。如果所述点仅对应于参考样本中的一个，那么视频译码器可确定所述点的值等于参考样本。视频译码器可将预测符块的当前样本的值设定为等于所述点的所确定值。

视频编码器200可编码表示当前块的预测模式的数据。举例来说，针对帧间预测模式，视频编码器200可编码表示使用各种可用帧间预测模式中的哪一个以及对应模式的运动信息的数据。举例来说，针对单向或双向帧间预测，视频编码器200可使用高级运动向量预测(AMVP)或合并模式来编码运动向量。视频编码器200可使用类似模式来编码仿射运动补偿模式的运动向量。

在块的预测(例如帧内预测或帧间预测)之后，视频编码器200可计算所述块的残余数据。残余数据(例如残余块)表示块与所述块的使用对应预测模式所形成的预测块之间的逐样本差。视频编码器200可将一或多个变换应用于残余块，以在变换域而不是样本域中产生所变换数据。举例来说，视频编码器200可将离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换应用于残余视频数据。另外，视频编码器200可在一级变换之后应用次级变换，例如模式依赖不可分次级变换(MDNSST)、信号依赖变换、Karhunen-Loeve变换(KLT)或其类似物。视频编码器200在应用一或多个变换之后产生变换系数。

如上文所提及，在任何变换以产生变换系数后，视频编码器200可进行变换系数的量化。量化一般是指量化变换系数以可能地减少用以表示系数的数据量从而提供进一步压缩的程序。通过进行量化程序，视频编码器200可减少与系数中的一些或所有相关联的位深度。举例来说，视频编码器200可在量化期间将n位值下舍入到m位值，其中n大于m。在一些实例中，为了进行量化，视频编码器200可进行待量化值的按位右移位。

在量化之后，视频编码器200可扫描变换系数，从而从包含量化后的变换系数的二维矩阵产生一维向量。扫描可设计以将较高能量(且因此较低频率)系数置于向量前部，且将较低能量(且因此较高频率)变换系数置于向量后部。在扫描量化后的变换系数以形成一维向量之后，视频编码器200可例如根据上下文适应性二进制算术译码(CABAC)来熵编码一维向量。视频编码器200也可熵编码描述与所编码视频数据相关联的元数据的语法元素的值，以供由视频解码器300用于解码视频数据。

视频编码器200可进一步(例如)在图片标头、块标头、切片标头或其它语法数据(例如序列参数集(SPS)、图片参数集(PPS)或视频参数集(VPS))中为视频解码器300产生语法数据，例如基于块的语法数据、基于图片的语法数据和基于序列的语法数据。视频解码器300可同样地解码这种语法数据以确定如何解码对应视频数据。

以这一方式，视频编码器200可产生包含所编码视频数据(例如描述将图片分割成块(例如CU)和块的预测和/或残余信息的语法元素)的位流。最后，视频解码器300可接收位流并解码所编码视频数据。

一般来说，视频解码器300进行与视频编码器200所进行的程序互逆的程序，以解码位流的所编码视频数据。举例来说，视频解码器300可使用CABAC以与视频编码器200的CABAC编码程序大体上类似但互逆的方式解码位流的语法元素的值。语法元素可定义图片到CTU的分割信息和每一CTU根据对应分割结构(例如QTBT结构)的分割，以定义CTU的CU。语法元素可进一步定义视频数据的块(例如CU)的预测和残余信息。

残余信息可由例如量化后的变换系数表示。视频解码器300可反量化和反变换块的量化后的变换系数，以再生块的残余块。视频解码器300使用传信预测模式(帧内或帧间预测)和相关预测信息(例如帧间预测的运动信息)以形成块的预测块。视频解码器300接着可(在逐样本基础上)使预测块与残余块组合以再生初始块。视频解码器300可进行额外处理，例如进行解块程序以减少沿块边界的视觉伪影。

如上文所提及，为使360度视频适应视频编译码器中的编码，可根据立方体贴图投影(CMP)或立方体贴图投影的衍生物将360度视频的图片投影到2维“投影”域中。将立方体贴图投影(和其衍生物)中的区打包成2维布置，例如如在图2A、2B和2C中说明的2x3或3x4表示。

具体来说，图2A说明展示立方体贴图投影中的区之间的关系的实例3维立方体。举例来说，在图2A中，“前”区以对角线交叉图案展示，“右”区以小点图案展示，“左”区以竖直线图案展示，“底部”区以密集点图案展示，“后”区以水平/竖直交叉图案展示，且“顶部”区以对角线图案展示。

如图2B的实例中所展示，可根据打包布置来布置区，使得“左”、“前”和“右”区形成图片的上半部且“底部”、“后”和“顶部”区形成图片的下半部。在图2B的实例中，“底部”、“后”和“顶部”区的文字竖直地书写以指示“底部”、“后”和“顶部”区中的样本是根据从样本扫描到“左”、“前”和“右”区中的次序去除90度的次序扫描到这些区中。举例来说，“右”区可对应于使用者将其头部转向右方时观看者将具有的视图。在这一实例中，当观看者将其头部转向右方时，对应于观看者的视场左上方的样本可扫描到“右”区的左上方中且对应于观看者的视场右上方的样本可扫描到“右”区的右上方中。在这一实例中，“顶部”区可对应于使用者向上转动其头部时观看者将具有的视图。在这一实例中，当观看者向上转动其头部时，对应于观看者的视场左上方的样本可扫描到“顶部”区的右上角中且对应于观看者的视场右上方的样本可扫描到“顶部”区的右下角中。图2C说明另一实例打包布置。

这种打包布置打破面之间的图片连续性，从而可能阻碍使用基于使用空间相邻样本(例如顶部、左方和/或右方样本)作为参考来起作用的帧内预测方法最优地进行。举例来说，在图2B的实例中，“底部”区的沿与“左”区的边界的样本在投影域中在空间上彼此邻近但不在初始球面域中邻近。由此，使用“左”区的样本作为参考样本以供“底部”区的沿“底部”区与“左”区之间的边界的块的帧内预测的益处将极小。

图3说明具有CMP投影的360°视频的实例紧凑表示。更具体来说，图3说明具有CMP投影的帧的2x3打包布置的实例。这种布置是如由图2B所说明的2x3打包布置的实例。由此，图3的帧的上半部的左方第三个是“左”区且图3的帧的下半部的左方第三个是“底部”区。如图3中所展示，在帧的上半部与帧的下半部之间存在不连续性。这种不连续性将影响帧内预测的性能，尤其影响帧的下半部的第一行译码块。相反，帧的上半部内的邻近区中的块之间和帧的下半部内的邻近区中的块之间存在更小的不连续性。由此，在帧的上半部中的区之间的边界和帧的下半部中的区之间的边界上进行帧内预测仍可以是有利的。

基于使用空间相邻样本作为参考来起作用的帧内预测方法无法最优地进行，这是因为至少两个问题。首先，位于第一面的边界处的块的校正参考样本可能在未与第一面在空间上相邻的第二面中。举例来说，位于图2B中的底、后和顶面的顶部边界处的块的参考样本并非邻近于那些块的样本。其次，针对360度视频，一般不可供用于非360度视频的帧内预测的用途的利用的参考样本可能可供用于在360度视频中的帧内预测的利用。举例来说，在图2B中的“底部”面的左方边界处的块的左方参考样本可从“前”面的底部获得，在图2C中的“右”面的顶部边界处的块的顶部参考样本可从“顶部”面的右部获得。这些参考样本可用性仅应用于360°视频且未在当前帧内预测方法中采用。

本公开描述可解决这些问题且可由此提高360度视频的译码效率的技术。这一章节中所公开的以下技术可独立和/或彼此组合应用以提高360度视频处理中的帧内预测的性能。

根据本公开的技术，视频译码器(例如视频编码器200或视频解码器300)可基于当前块的定位和投影区的打包结构来确定针对具有CMP投影和其衍生投影(例如调整后的立方体贴图投影(ACP)和赤道圆柱投影(ECP))的360°视频的帧内预测的参考样本。可基于在球面域中而不是在投影域中与区B在空间上相邻的区A来选择邻近于其中存在不连续性的区B的区A的边界处的参考块。以这一方式，视频译码器可以可消除不连续性的方式从块选择参考样本。

图4A和图4B说明位于2x3打包布置中的“底部”面的边界处的当前块的上方参考样本。也就是说，图4A和4B说明在先前帧内预测程序中使用的参考样本、在本公开的帧内预测程序中使用的参考样本和解析和译码参考样本的方向。根据本公开的技术所确定的参考样本可能不与当前块中的样本在同一方向上。如图4A的实例中所展示，底面中的当前块(其从左到右解析和译码)的所提出的顶部参考样本位于“右”面的底部行处且在从左到右方向上解析和译码。如图4B的实例中所展示，“后”面中的当前块(其从左到右解析和译码)的所提出的顶部参考样本位于“右”面的最右区域处且在从下到上方向上解析和译码。

针对2x3打包布置(例如图2B、图3、图4A和图4B中所展示的2x3打包布置)，视频译码器可将本公开的所提出的参考样本选择方案应用于如下块：

-帧的下半部中的第一行块。

-帧的左下区中的最左块。

针对3x4打包布置(例如图2C中所展示的3x4打包布置)，视频译码器可将本公开的所提出的参考样本选择应用于如下块：

-帧的第二行面中的第一行块，其中其顶部空间相邻者不可用。

-帧的左下区中的最左块。

图5A和图5B说明实例区域，其中块的参考样本选择使用本公开的所提出的技术。换句话说，图5A和图5B说明块的区域，其中根据本公开的技术来应用所提出的参考样本选择。具体来说，在图5A的实例中，箭头500指示本公开的所提出的参考样本选择方案可应用于帧502的下半部中的第一行块。箭头504指示本公开的所提出的参考样本选择方案可应用于帧502的左下区中的最左块。在图5B的实例中，箭头510指示本公开的所提出的参考样本选择方案可应用于帧512的第二行面(区)中的第一行块(其中其顶部空间相邻者不可用)。箭头514指示本公开的所提出的参考样本选择方案可应用于帧512的左下区中的最左块。

所提出的参考样本选择取决于投影的打包布置。图6A到6F说明针对可能的打包布置的非穷尽性参考样本选择。换句话说，图6A到6F说明针对不同类型的打包布置的参考样本选择。在图6A到6F中，对应的线虚线式样指示对应的边缘。举例来说，在图6A的实例中，沿“顶部”区的顶部行的块的上方参考样本从右到左沿“左”区的顶部行扫描；沿“顶部”区的左方列的块的左方参考样本从左到右沿“前”区的顶部行扫描；沿“后”区的顶部行的块的上方参考样本从上到下沿“左”区的左方列扫描；且沿“底部”区的顶部行的块的上方参考样本从左到右沿“左”区的底部行扫描。解释箭头的类似方式相对于图6B到6F而应用。

上文相对于图4A、4B、5A、5B和6A到6F提供的实例公开位于投影面的边界处的块的参考样本定位的选择。然而，投影面内的失真不均匀。因此，给出参考样本定位，实际参考样本值可通过基于几何形状的方法进一步优化。

在一个实例中，视频译码器(例如视频编码器200或视频解码器300)可进行参考样本复制方法，其中视频译码器通过从如上文相对于图4A到9D的实例所描述的定位复制值来确定参考样本的值。

图7说明根据本公开的技术的实例参考样本复制方法。在图7的实例中，图片700的“顶部”区包含“顶部”区中的块的顶部行中的当前块702。当前块702的顶部行包含样本C1到C4。此外，如相对于图6A所描述，针对“顶部”区的顶部行中的块选择的上方参考样本从右到左沿图片700的“左”区中的样本的顶部行扫描。在图7的实例中，将参考样本标记为R0到R8。

使用参考样本复制方法的一个优点是所述参考样本复制方法可允许传统上不可用于某些块的参考样本变成可用的。可受益于此的块的两个定位是在图8A和图8B中说明的块。帧的下半部中的最右块的参考样本中的一些一般并不可用。然而，使用本公开的技术，那些参考样本可用且存在可使用的两个候选集，如在图8A和图8B中所说明。换句话说，图8A和图8B说明最右边界处的块的参考样本。

图8A说明根据本公开的技术的实例参考样本复制方法。在图8A的实例中，图片800的“底部”区包含“底部”区中的块的顶部行和右方列中的当前块802。当前块802的顶部行包含样本C1到C4。此外，如相对于图6A所描述，针对“底部”区的顶部行中的块选择的上方参考样本从左到右沿图片800的“左”区中的样本的底部行扫描，且可延续到图片800的“前”区中的样本的底部行中。在图8A的实例中，将参考样本标记为R0到R8。

图8B说明根据本公开的技术的实例参考样本复制方法。在图8A的实例中，图片810的“底部”区包含“底部”区中的块的顶部行和右方列中的当前块812。当前块812的顶部行包含样本C1到C4。此外，如相对于图6A所描述，针对“底部”区的顶部行中的块选择的上方参考样本从左到右沿图片810的“左”区中的样本的底部行扫描，且可延续到图片810的“左”区中的样本的最右列中。在图8B的实例中，将参考样本标记为R0到R8。

同样地，帧的下半部中的最左下块的参考样本中的一些一般并不可用。然而，使用所提出的技术，那些参考样本可用且存在可使用的两个候选集，如在图9A到9D中所说明。换句话说，图9A到9D说明图片的最左下边界处的块的参考样本。

举例来说，在图9A的实例中，图片900的“顶部”区包含“顶部”区中的块的底部行和左方列中的当前块902。当前块902的左方列行包含样本C1到C4。此外，如相对于图6A所描述，针对“顶部”区的左方列中的块选择的左方参考样本从左到右沿图片900的“前”区中的样本的顶部行扫描，且可延续到图片900的“右”区中的样本的顶部行中。在图9A的实例中，将参考样本标记为R0到R8。

在图9B的实例中，图片910的“顶部”区包含“顶部”区中的块的底部行和左方列中的当前块912。当前块912的左方列行包含样本C1到C4。此外，如相对于图6D所描述，针对“顶部”区的左方列中的块选择的左方参考样本从左到右沿图片910的“前”区中的样本的底部行扫描，且可延续到图片910的“右”区中的样本的底部行中。在图9B的实例中，将参考样本标记为R0到R8。

在图9C的实例中，图片920的“顶部”区包含“顶部”区中的块的底部行和左方列中的当前块922。当前块922的左方列行包含样本C1到C4。此外，如相对于图6A所描述，针对“顶部”区的左方列中的块选择的左方参考样本从左到右沿图片900的“前”区中的样本的顶部行扫描，且可沿图片920的“前”区中的样本的最右列向下延续。在图9C的实例中，将参考样本标记为R0到R8。

在图9D的实例中，图片930的“顶部”区包含“顶部”区中的块的底部行和左方列中的当前块932。当前块932的左方列行包含样本C1到C4。此外，如相对于图6D所描述，针对“顶部”区的左方列中的块选择的左方参考样本从左到右沿图片930的“前”区中的样本的底部行扫描，且可沿图片930的“前”区中的样本的最右列向上延续。在图9D的实例中，将参考样本标记为R0到R8。

视频译码器(例如视频编码器200或视频解码器300)确定参考样本的值的第二种方式是通过考虑面/区中的参考样本的定位基于几何计算来推导值。针对几何推导，视频译码器可确定如在本公开中的别处(例如相对于图4A到9D)所描述的参考样本定位以确定球面上的相关联定位。一旦视频译码器定位球面上的定位，那么视频译码器接着可将所述定位投影回到投影图片且视频译码器可使用投影图片的样本值作为最终参考样本。

在一些实例中，视频译码器可使用以下等式和表格以在图片内的2D坐标与球面上的3D坐标之间变换。举例来说，区中的任一个的尺寸可标示为A×A。针对2D到3D坐标变换，给出给出区r中的位置(m,n)和图2B的打包布置，视频译码器可将(u,v)确定为：

u＝(m+0.5)*2/A-1,0≤m<A (1)

v＝(n+0.5)*2/A-1,0≤n<A (2)

视频译码器可使用给出位置(u,v)和面索引r的下表来推导3D坐标(X,Y,Z)。

r	X	Y	Z
				前	1.0	-v	-u
后	-1.0	-v	u
				顶部	u	1.0	v
底部	u	-1.0	-v
				左	u	-v	1.0
右	-u	-v	-1.0

针对从3D坐标到2D坐标的变换，根据下表计算给出的(X,Y,Z)、(u,v)和区索引r。视频译码器接着可确定对等式(1)和(2)求解的区上的(m,n)。

条件	r	u	v
				|X|≥|Y|且|X|≥|Z|且X>0	前	-Z/|X|	-Y/|X|
|X|≥|Y|且|X|≥|Z|且X<0	后	Z/|X|	-Y/|X|
				|Y|≥|X|且|Y|≥|Z|且Y>0	顶部	X/|Y|	Z/|Y|
|Y|≥|X|且|Y|≥|Z|且Y<0	底部	X/|Y|	-Z/|Y|
				|Z|≥|X|且|Z|≥|X|且Z>0	左	X/|Z|	-Y/|Z|
|Z|≥|X|且|Z|≥|Y|且Z<0	右	-X/|Z|	-Y/|Z|

图10说明根据本公开的技术的针对参考样本的实例几何推导程序。在图10的实例中，图片1000包含当前块1002。当前块1002在图10中标记为“C1”。当前块1002在图片1000的“顶部”区中的块的顶部行中。与图6A的实例一致，视频译码器可确定当前块的上方参考样本1004在图片1000的“左”区的样本的顶部行中。参考样本1004也在图10中标记为“R1”。这展示于图10的上部部分中。

此外，在图10的实例中，视频译码器可确定参考样本1004在球面1008上的位置1006，如由箭头1010所展示。图10也展示当前块1002在球面1008上的位置1012。视频译码器接着可将参考样本1004的位置1006投影回到图片1000上，如由箭头1014所展示。当视频译码器将位置1006投影回到图片1000上时，参考样本R1在图片1000中的位置1016处。注意，位置1016不同于参考样本1004的初始位置。视频译码器可使用位置1016处的样本作为当前块1002的上方参考样本。

相较于简单复制方法，几何推导方法(例如相对于图10的实例所描述的那些几何推导方法)可使得视频译码器能够确定更好的参考样本值。然而，几何推导方法可具有以下不足之处：所推导出的参考样本位置可能在尚不可用的区域(例如尚未解码的区域)中。为了处置这种情况，本公开提出组合所述两种方法以使得使用几何推导方法，然而当参考样本的最终位置在不可用区域中时，使用来自复制方法的参考样本。

图11是说明根据本公开的技术的用于确定参考样本的方法的流程图。图11的流程图是组合几何推导方法和复制方法的方法的一个实例。

特定来说，在图11的实例中，视频译码器(例如视频编码器200或视频解码器300)可确定当前块的定位1100。举例来说，视频译码器可确定当前块的拐角的x和y坐标。另外，视频译码器可确定当前块是否位于可应用的边界处1102。举例来说，在2x3打包布置(例如图2B、图3、图4A和图4B中所展示的2x3打包布置)中，如果当前块在当前图片的下半部中的块的顶部行中或如果当前块在当前图片的左下区中的块的最左列中，那么当前块可能在可应用的边界处。在3x4打包布置(例如图2C中所展示的3x4打包布置)中，如果当前块在当前图片的第二行面中的第一行块(其中其顶部空间相邻者不可用)中或如果当前块在当前图片的左下区中的块的最左列中，那么当前块可能在可应用的边界处。

响应于确定当前块不在可应用的边界处(1102的“否”分支)，视频译码器可从当前块的空间相邻样本复制样本值1104。举例来说，视频译码器可使用当前块上方的一行样本中的样本的值(如果可用)作为当前块的上方参考样本。另外，在这一实例中，视频译码器可使用当前块左方的一列样本中的样本的值(如果可用)作为当前块的左方参考样本。如果空间相邻样本中的一或多个不可用，那么视频译码器可根据所属领域中已知的各种技术(例如填补、外插和内插)来确定不可用空间相邻样本的值。确定参考样本的程序接着可结束。

然而，响应于确定当前块在可应用的边界处(1102的“是”分支)，视频译码器可应用几何推导方法以寻找参考样本1106。应用几何推导方法来寻找参考样本的实例在本公开中的别处(例如相对于图10)描述。

此外，在图11的实例中，视频译码器可确定通过几何推导方法找到的参考样本是否位于可用区域中1108。举例来说，在一个实例中，如果参考样本在当前块的正右方、当前块下方、当前块的下方和右方、图片边界外部、切片边界外部或另一类型的边界外部的定位处，那么视频译码器可确定参考样本不可用。

响应于确定通过几何推导方法找到的参考样本不在可用区域中(1108的“否”分支)，视频译码器可在没有几何投影的情况下复制最初所确定的参考样本的值(例如如相对于图4A到6D所描述)1112。视频译码器接着可结束确定参考样本的值的程序。另一方面，响应于确定通过几何推导方法找到的参考样本在可用区域中(1108的“是”分支)，视频译码器可使用来自通过几何推导方法所确定的最终定位的样本值(例如如相对于图10所描述)1112。视频译码器接着可结束确定参考样本的值的程序。

图12是说明可进行本公开的技术的实例视频编码器200的框图。出于解释的目的而提供图12，且不应将所述图视为对如本公开中广泛示例和描述的技术的限制。出于解释的目的，本公开在例如HEVC视频译码标准和研发中的H.266视频译码标准的视频译码标准的情况下描述视频编码器200。然而，本公开的技术不限于这些视频译码标准，且一般可适用于视频编码和解码。

在图12的实例中，视频编码器200包含视频数据存储器1230、模式选择单元1202、残余产生单元1204、变换处理单元1206、量化单元1208、反量化单元1210、反变换处理单元1212、重构单元1214、滤波器单元1216、所解码图片缓冲器(DPB)1218和熵编码单元1220。

视频数据存储器1230可存储待由视频编码器200的组件编码的视频数据。视频编码器200可从(例如)视频源104(图1)接收存储在视频数据存储器1230中的视频数据。DPB1218可充当参考图片存储器，其存储参考视频数据以供用于通过视频编码器200预测后续视频数据。视频数据存储器1230和DPB 1218可由例如动态随机存取存储器(DRAM)(包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置的各种存储器装置中的任一个形成。视频数据存储器1230和DPB1218可由同一存储器装置或独立存储器装置提供。在各种实例中，视频数据存储器1230可与视频编码器200的其它组件一起在芯片上，如所说明，或关于那些组件在芯片外。

在本公开中，对视频数据存储器1230的参考不应解释为将存储器限于在视频编码器200内部(除非具体地如此描述)，或将存储器限于在视频编码器200外部(除非具体地如此描述)。实情为，对视频数据存储器1230的参考应理解为存储视频编码器200所接收以用于编码的视频数据(例如，待编码的当前块的视频数据)的参考存储器。图1的存储器106也可提供对来自视频编码器200的各种单元的输出的暂时存储。

说明图13的各种单元以辅助理解通过视频编码器200进行的操作。单元可实施为固定功能电路、可编程电路或其组合。固定功能电路指提供特定功能性且对可进行的操作进行预设的电路。可编程电路指可编程以进行各种任务并在可进行的操作中提供灵活功能性的电路。举例来说，可编程电路可执行使得可编程电路以由软件或固件的指令定义的方式操作的软件或固件。固定功能电路可执行软件指令(例如，以接收参数或输出参数)，但固定功能电路进行的操作的类型一般是不可变的。在一些实例中，单元中的一或多个可以是不同电路块(固定功能或可编程)，且在一些实例中，一或多个单元可以是集成电路。

视频编码器200可包含由可编程电路形成的算术逻辑单元(ALU)、基本功能单元(EFU)、数字电路、模拟电路和/或可编程核心。在视频编码器200的操作是使用由可编程电路执行的软件进行的实例中，存储器106(图1)可存储视频编码器200接收并执行的软件的目标程序代码，或视频编码器200内的另一存储器(未展示)可存储这种指令。

视频数据存储器1230配置成存储所接收视频数据。视频编码器200可从视频数据存储器1230检索视频数据的图片，并将视频数据提供到残余产生单元1204和模式选择单元1202。视频数据存储器1230中的视频数据可以是待编码的原始视频数据。

模式选择单元1202包含运动估计单元1222、运动补偿单元1224和帧内预测单元1226。模式选择单元1202可包含额外功能单元以根据其它预测模式进行视频预测。作为实例，模式选择单元1202可包含调色板单元、块内复制单元(其可以是运动估计单元1222和/或运动补偿单元1224的部分)、仿射单元、线性模型(LM)单元或其类似物。

模式选择单元1202一般协调多个编码遍次，以测试编码参数的组合，和用于这种组合的所得速率失真值。编码参数可包含CTU到CU的分割、用于CU的预测模式、用于CU的残余数据的变换类型、用于CU的残余数据的量化参数等。模式选择单元1202可最终选择相比其它所测试组合具有更好速率失真值的编码参数的组合。

视频编码器200可将从视频数据存储器1230检索的图片分割成一系列CTU，并将一或多个CTU囊封于切片内。模式选择单元210可根据树状结构分割图片的CTU，例如上文所描述的HEVC的QTBT结构或四叉树结构。如上文所描述，视频编码器200可用根据树状结构分割CTU来形成一或多个CU。这一CU一般也可称作“视频块”或“块”。

一般来说，模式选择单元1202也控制其组件(例如运动估计单元1222、运动补偿单元1224和帧内预测单元1226)以产生当前块(例如，当前CU或HEVC中的PU和TU的重叠部分)的预测块。针对当前块的帧间预测，运动估计单元1222可进行运动搜索以识别一或多个参考图片(例如，存储在DPB 1218中的一或多个先前所译码图片)中的一或多个紧密匹配参考块。详细地说，运动估计单元1222可(例如)根据绝对差总和(SAD)、平方差总和(SSD)、平均值绝对差(MAD)、均方差(MSD)或其类似物来计算表示潜在参考块与当前块类似程度的值。运动估计单元1222可一般使用当前块与所考虑的参考块之间的逐样本差来进行这些计算。运动估计单元1222可识别具有由这些计算产生的最低值的参考块，从而指示最紧密匹配当前块的参考块。

运动估计单元1222可形成一或多个运动向量(MV)，其关于当前图片中的当前块的位置定义参考图片中的参考块的位置。运动估计单元1222接着可将运动向量提供到运动补偿单元1224。举例来说，对于单向帧间预测，运动估计单元1222可提供单个运动向量，而对于双向帧间预测，运动估计单元1222可提供两个运动向量。运动补偿单元1224接着可使用运动向量产生预测块。举例来说，运动补偿单元1224可使用运动向量检索参考块的数据。作为另一实例，如果运动向量具有分数样本精确度，那么运动补偿单元1224可根据一或多个内插滤波器为预测块内插值。此外，对于双向帧间预测，运动补偿单元1224可检索用于通过相应运动向量识别的两个参考块的数据，并(例如)经由逐样本求平均值或加权求平均值来组合所检索的数据。

作为另一实例，对于帧内预测，或帧内预测译码，帧内预测单元1226可从与当前块相邻的样本产生预测块。举例来说，对于定向模式，帧内预测单元1226一般可在数学上组合相邻样本的值，且在横跨当前块的所定义方向上填入这些计算值以产生预测块。作为另一实例，对于DC模式，帧内预测单元1226可计算到当前块的相邻样本的平均值，并产生预测块以针对预测块的每一样本包含这一所得平均值。

模式选择单元1202将预测块提供到残余产生单元1204。残余产生单元1204接收来自视频数据存储器1230的当前块和来自模式选择单元1202的预测块的原始未编码版本。残余产生单元1204计算当前块与预测块之间的逐样本差。所得逐样本差定义用于当前块的残余块。在一些实例中，残余产生单元1204也可确定残余块中的样本值之间的差，以使用残余差分脉码调制(RDPCM)产生残余块。在一些实例中，可使用进行二进制减法的一或多个减法器电路形成残余产生单元1204。

在模式选择单元1202将CU分割成PU的实例中，每一PU可与明度预测单元和对应色度预测单元相关联。视频编码器200和视频解码器300可支持具有各种大小的PU。如上文所指示，CU的大小可指CU的明度译码块的大小，且PU的大小可指PU的明度预测单元的大小。假定特定CU的大小是2N×2N，那么视频编码器200可支持用于帧内预测的2N×2N或N×N的PU大小，和用于帧间预测的2N×2N、2N×N、N×2N、N×N或类似大小的对称PU大小。视频编码器200和视频解码器300也可支持用于帧间预测的2N×nU、2N×nD、nL×2N和nR×2N的PU大小的不对称分割。

在模式选择单元未将CU进一步分割为PU的实例中，每一CU可与明度译码块和对应色度译码块相关联。如上，CU的大小可指CU的明度译码块的大小。视频编码器200和视频解码器300可支持2N×2N、2N×N或N×2N的CU大小。

对于例如块内复制模式译码、仿射模式译码和线性模型(LM)模式译码的其它视频译码技术，如少数实例，模式选择单元1202经由与译码技术相关联的相应单元产生用于正编码的当前块的预测块。在例如调色板模式译码的一些实例中，模式选择单元1202可能不会产生预测块，而是产生指示基于所选择调色板重构块的方式的语法元素。在这种模式中，模式选择单元1202可将这些语法元素提供到熵编码单元1220以待编码。

如上文所描述，残余产生单元1204接收用于当前块和对应预测块的视频数据。残余产生单元1204接着产生用于当前块的残余块。为产生残余块，残余产生单元1204计算预测块与当前块之间的逐样本差。

变换处理单元1206将一或多个变换应用于残余块以产生变换系数的块(在本文中称作“变换系数块”)。变换处理单元1206可将各种变换应用于残余块以形成变换系数块。举例来说，变换处理单元1206可将离散余弦变换(DCT)、定向变换、Karhunen-Loeve变换(KLT)或概念上类似的变换应用于残余块。在一些实例中，变换处理单元1206可对残余块进行多个变换，例如初级变换和次级变换，例如旋转变换。在一些实例中，变换处理单元1206不将变换应用于残余块。

量化单元216可量化变换系数块中的变换系数，以产生量化后的变换系数块。量化单元216可根据与当前块相关联的量化参数(QP)值量化变换系数块的变换系数。视频编码器200(例如经由模式选择单元1202)可通过调节与CU相关联的QP值来调节应用于与当前块相关联的系数块的量化程度。量化可引入信息的损耗，且因此，量化后的变换系数可相比由变换处理单元1206产生的初始变换系数而具有较低精确度。

反量化单元1210和反变换处理单元1212可将反量化和反变换分别应用于量化后的变换系数块，以用变换系数块重构残余块。重构单元1214可基于重构后的残余块和通过模式选择单元1202产生的预测块，产生对应于当前块的重构后的块(尽管可能具有一些程度的失真)。举例来说，重构单元1214可将重构后的残余块的样本添加到来自由模式选择单元1202产生的预测块的对应样本，以产生重构后的块。

滤波器单元1216可对重构后的块进行一或多个滤波操作。举例来说，滤波器单元1216可进行解块操作以沿CU的边缘减少块效应伪影。在一些实例中，可跳过滤波器单元1216的操作。

视频编码器200将重构后的块存储在DPB 1218中。举例来说，在不需要滤波器单元224的操作的实例中，重构单元1214可将重构后的块存储到DPB 1218。在需要滤波器单元224的操作的实例中，滤波器单元1216可将滤波重构后的块存储到DPB 1218。运动估计单元1222和运动补偿单元1224可从DPB 1218检索由重构后的(和可能滤波后的)块形成的参考图片，以对随后所编码图片的块进行帧间预测。另外，帧内预测单元1226可使用当前图片的DPB 1218中的重构后的块，以对当前图片中的其它块进行帧内预测。

一般来说，熵编码单元1220可熵编码从视频编码器200的其它功能组件所接收的语法元素。举例来说，熵编码单元1220可熵编码来自量化单元1208的量化后的变换系数块。作为另一实例，熵编码单元1220可熵编码来自模式选择单元1202的预测语法元素(例如用于帧间预测的运动信息或用于帧内预测的帧内模式信息)。熵编码单元1220可对语法元素(其是视频数据的另一实例)进行一或多个熵编码操作以产生熵编码后的数据。举例来说，熵编码单元1220可对数据进行上下文自适应性可变长度译码(CAVLC)操作、CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应性二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数-哥伦布编码操作或另一类型的熵编码操作。在一些实例中，熵编码单元1220可在旁路模式中操作，其中语法元素未熵编码。

视频编码器200可输出位流，其包含重构切片或图片的块所需的熵编码后的语法元素。详细地说，熵编码单元1220可输出所述位流。

上文所描述的操作相对于块进行描述。这一描述应理解为用于明度译码块和/或色度译码块的操作。如上文所描述，在一些实例中，明度译码块和色度译码块是CU的明度和色度分量。在一些实例中，明度译码块和色度译码块是PU的明度和色度分量。

在一些实例中，无需针对色度译码块重复相对于明度译码块进行的操作。作为一个实例，无需重复识别明度译码块的运动向量(MV)和参考图片的操作用于识别色度块的MV和参考图片。实情为，明度译码块的MV可按比例缩放以确定色度块的MV，且参考图片可以是相同的。作为另一实例，帧内预测程序可针对明度译码块和色度译码块而为相同的。

视频编码器200表示配置成编码视频数据的装置的实例，所述装置包含：存储器，其配置成存储视频数据；和一或多个处理单元，其实施于电路中且配置成基于当前图片的当前块的定位来确定参考样本。在这一实例中，当前图片包含多个区，所述多个区中的每一相应区是由360度视频数据的投影定义的面。投影可以是立方体贴图投影(CMP)或CMP的衍生投影。所述区根据打包布置而布置在当前图片中。此外，在这一实例中，视频编码器200的帧内预测单元1226可基于所确定的参考样本中的一或多个使用帧内预测来产生当前块的预测块。

图13是说明可进行本公开的技术的实例视频解码器300的框图。出于解释的目的而提供图13，且其并不限制如本公开中所广泛示例和描述的技术。出于解释的目的，本公开描述视频解码器300是根据JEM、VVC和HEVC的技术来描述的。然而，本公开的技术可由配置为其它视频译码标准的视频译码装置进行。

在图13的实例中，视频解码器300包含所译码图片缓冲器(CPB)存储器1320、熵解码单元1302、预测处理单元1304、反量化单元1306、反变换处理单元1308、重构单元1310、滤波器单元1312和所解码图片缓冲器(DPB)1314。预测处理单元1304包含运动补偿单元1316和帧内预测单元1318。预测处理单元1304可包含根据其它预测模式进行预测的额外单元。作为实例，预测处理单元1304可包含调色板单元、块内复制单元(其可形成运动补偿单元1316的部分)、仿射单元、线性模型(LM)单元或其类似物。在其它实例中，视频解码器300可包含更多、更少或不同功能组件。

CPB存储器1320可存储待由视频解码器300的组件解码的视频数据，例如所编码视频位流。可(例如)从计算机可读介质110(图1)获得存储在CPB存储器1320中的视频数据。CPB存储器1320可包含存储来自所编码视频位流的所编码视频数据(例如，语法元素)的CPB。又，CPB存储器1320可存储除所译码图片的语法元素之外的视频数据，例如表示来自视频解码器300的各种单元的输出的临时数据。DPB 1314一般存储所解码图片，其中视频解码器300可在解码所编码视频位流的后续数据或图片时输出所述所译码图片和/或将其用作参考视频数据。CPB存储器1320和DPB 1314可由例如动态随机存取存储器(DRAM)(包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置的各种存储器装置中的任一个形成。CPB存储器1320和DPB 1314可由同一存储器装置或独立存储器装置提供。在各种实例中，CPB存储器1320可与视频解码器300的其它组件一起在芯片上，或关于那些组件在芯片外。

另外或替代地，在一些实例中，视频解码器300可从存储器120(图1)检索所译码视频数据。也就是，存储器120可用CPB存储器1320存储如上文所论述的数据。同样，当视频解码器300的一些或所有功能性实施于软件中以通过视频解码器300的处理电路执行时，存储器120可存储待由视频解码器300执行的指令。

说明图13中所展示的各种单元以辅助理解由视频解码器300进行的操作。单元可实施为固定功能电路、可编程电路或其组合。类似于图12，固定功能电路指提供特定功能性，且对可进行的操作进行预设的电路。可编程电路指可编程以进行各种任务并在可进行的操作中提供灵活功能性的电路。举例来说，可编程电路可执行使得可编程电路以由软件或固件的指令定义的方式操作的软件或固件。固定功能电路可执行软件指令(例如，以接收参数或输出参数)，但固定功能电路进行的操作的类型一般是不可变的。在一些实例中，单元中的一或多个可以是不同电路块(固定功能或可编程)，且在一些实例中，一或多个单元可以是集成电路。

视频解码器300可包含ALU、EFU、数字电路、模拟电路和/或由可编程电路形成的可编程核心。在由在可编程电路上执行的软件进行视频解码器300的操作的实例中，芯片上或芯片外存储器可存储视频解码器300接收和执行的软件的指令(例如目标程序代码)。

熵解码单元1302可从CPB接收所编码视频数据，并熵解码视频数据以再生语法元素。预测处理单元1304、反量化单元1306、反变换处理单元1308、重构单元1310和滤波器单元1312可基于从位流提取的语法元素而产生所解码视频数据。

一般来说，视频解码器300在逐块基础上重构图片。视频解码器300可单独对每一块进行重构操作(其中当前重构后的(也就是所解码)块可称作“当前块”)。

熵解码单元1302可熵解码定义量化后的变换系数块的量化后的变换系数的语法元素，以及变换信息，例如量化参数(QP)和/或变换模式指示。反量化单元1306可使用与量化后的变换系数块相关联的QP确定量化程度，且同样确定反量化程度供反量化单元1306应用。反量化单元1306可(例如)进行按位左移操作以将量化后的变换系数反量化。反量化单元1306可从而形成包含变换系数的变换系数块。

在反量化单元1306形成变换系数块后，反变换处理单元1308可将一或多个反变换应用于变换系数块以产生与当前块相关联的残余块。举例来说，反变换处理单元1308可将反DCT、反整数变换、反Karhunen-Loeve变换(KLT)、反旋转变换、反定向变换或另一反变换应用于系数块。

此外，预测处理单元1304根据通过熵解码单元1302熵解码的预测信息语法元素产生预测块。举例来说，如果预测信息语法元素指示帧间预测当前块，那么运动补偿单元1316可产生预测块。在这一情况下，预测信息语法元素可指示DPB 1314中的参考图片(从其检索参考块)，以及运动向量，其识别参考图片中的参考块关于当前图片中的当前块的定位的定位。运动补偿单元1316可一般以大体上类似于相对于运动补偿单元1224所描述的方式的方式进行帧间预测程序(图13)。

作为另一实例，如果预测信息语法元素指示帧内预测当前块，那么帧内预测单元1318可根据通过预测信息语法元素指示的帧内预测模式产生预测块。又，帧内预测单元1318可一般以大体上类似于相对于帧内预测单元1226所描述的方式的方式进行帧内预测程序(图12)。帧内预测单元1318可将相邻样本的数据从DPB 1314检索到当前块。

重构单元1310可使用预测块和残余块重构当前块。举例来说，重构单元1310可将残余块的样本添加到预测块的对应样本以重构当前块。

滤波器单元1312可对重构后的块进行一或多个滤波操作。举例来说，滤波器单元1312可进行解块操作以沿重构后的块的边缘减少块效应伪影。滤波器单元1312的操作不一定在所有实例中进行。

视频解码器300可将重构后的块存储在DPB 1314中。如上文所论述，DPB 1314可将参考信息提供到预测处理单元1304，例如用于帧内预测的当前图片和用于后续运动补偿的先前解码的图片的样本。此外，视频解码器300可输出来自DPB的所解码图片用于后续呈现于显示装置上，例如图1的显示装置118。

以这一方式，视频解码器300表示视频解码装置的实例，所述视频译码装置包含：存储器，其配置成存储视频数据；和一或多个处理单元，其实施于电路中且配置成基于当前图片的当前块的定位来确定参考样本。在这一实例中，当前图片包含多个区，所述多个区中的每一相应区是由360度视频数据的投影定义的面。投影可以是立方体贴图投影(CMP)或CMP的衍生投影。所述区根据打包布置而布置在当前图片中。此外，在这一实例中，视频解码器300的帧内预测单元1318可基于所确定的参考样本中的一或多个使用帧内预测来产生当前块的预测块。

图14是说明用于编码当前块的实例方法的流程图。当前块可包括当前CU。尽管相对于视频编码器200(图1和12)加以描述，但应理解，其它装置可配置成进行类似于图14的方法的方法。

在这一实例中，视频编码器200初始地预测当前块1400。举例来说，视频编码器200可形成当前块的预测块。在一些实例中，视频编码器200使用帧内预测以形成预测块。作为使用帧内预测形成预测块的部分，视频编码器200可确定当前块的上方参考样本和左方参考样本。根据本公开的技术，上方和/或左方参考样本可对应于立方体贴图投影中的上方和/或左方参考样本，但不一定在投影域(例如在当前图片中)中，例如当打包布置使得立方体贴图投影的相邻面在投影域中彼此分开时。由此，视频编码器200可根据本公开的技术和实例中的任一个确定当前块的上方和左方参考样本，例如如下文中相对于图16更详细地解释。

视频编码器200接着可计算当前块的残余块1402。为了计算残余块，视频编码器200可计算当前块的初始未编码块与预测块之间的差。视频编码器200接着可变换并量化残余块的系数1404。接着，视频编码器200可扫描残余块的量化后的变换系数1406。在扫描期间或在扫描之后，视频编码器200可熵编码系数1408。举例来说，视频编码器200可使用CAVLC或CABAC来编码系数。视频编码器200接着可输出块的熵译码后的数据1410。

图15是说明用于解码视频数据的当前块的实例方法的流程图。当前块可包括当前CU。尽管相对于视频解码器300(图1和13)加以描述，但应理解，其它装置可配置成进行类似于图15的方法的方法。

视频解码器300可接收当前块的熵译码后的数据，例如熵译码后的预测信息和对应于当前块的残余块的系数的熵译码后的数据1500。视频解码器300可熵解码熵译码后的数据，以确定当前块的预测信息且再生残余块的系数1502。

视频解码器300可例如使用如由当前块的预测信息所指示的帧内或帧间预测模式来预测当前块1504，以计算当前块的预测块。在一些实例中，视频解码器300使用帧内预测以形成预测块。作为使用帧内预测形成预测块的部分，视频解码器300可确定当前块的上方参考样本和左方参考样本。视频解码器300可根据本公开的技术和实例中的任一个确定当前块的上方和左方参考样本。

视频解码器300可反扫描再生的系数1506以产生量化后的变换系数的块。视频解码器300接着可反量化和反变换系数以产生残余块1508。视频解码器300可最终通过组合预测块和残余块来解码当前块1510。

图16是说明根据本公开的技术的用于译码360度视频数据的实例操作的流程图。图16中的用于译码360度视频数据的操作可以是用以编码360度视频数据的程序或用以解码360度视频数据的程序的部分。图16的实例操作可通过视频译码器(例如视频编码器200或视频解码器300)进行。

在图16的实例中，视频译码器可基于360度视频数据的当前图片的当前块的定位和定义当前图片中的多个区的布置的打包布置来确定参考样本1600。在图16的实例中，当前图片处于投影域中。多个区中的每一相应区是由360度视频数据的投影定义的相应面。在图16的实例中，投影是立方体贴图投影(CMP)或CMP的衍生投影。此外，所述区包含至少第一区和第二区，例如“底部”区和“左”区。所述区根据打包布置而布置在当前图片中，例如图2A和图2B中展示的那些区。

基于当前块的定位在邻近于第二区的第一区的边界处且在边界处存在因打包布置所致的不连续性，视频译码器可确定参考样本是当前图片的在球面域中且不在投影域中与当前块在空间上相邻的图片样本。举例来说，视频译码器可根据图4A-9D、图10或图11中的任一个中所描述的技术来确定参考样本。

由此，在一些实例中，第一区的边界可在投影域中邻近于第二区的边界且第一区的边界未在球面域中邻近于第二区的边界。举例来说，图4A的实例，第一区(例如图4A的“底部”区)的边界在投影域中邻近于第二区(例如图4A的“左”区)的边界且第一区的边界未在球面域中邻近于第二区的边界。实情为，在一些这种实例中，第一区的边界未在投影域中邻近于多个区中的第三区(例如图4A的“右”区)的边界且参考样本是第三区中的样本的拷贝。

在一个实例中，块(例如图8A的当前块802或图8B的当前块812)是投影域中的当前图片中的最右块且处于当前图片的下半部中。在这一实例中，在球面域中与块在空间上相邻的参考样本各自在当前图片内。此外，在一些实例中，块(例如图9A的当前块902、图9B的当前块912、图9C的当前块922或图9D的当前块932)是当前图片中的最左下块，且在球面域中与块在空间上相邻的参考样本各自在当前图片内。

根据一些实例，例如图10的实例，视频译码器可(作为在图16的动作1600中确定参考样本的部分)基于参考样本的定位来确定球面上的相关联定位。视频译码器接着可将相关联定位投影回到当前图片以确定投影定位。视频译码器接着可使用投影定位来确定在球面域中与当前块在空间上相邻的样本。在其它实例中，视频译码器可从在球面域中与当前块在空间上相邻的样本复制参考样本。

根据一些实例，例如图11的实例，当当前块位于所述区中的一个的边界(例如第一区的边界)处时，视频译码器可(作为在图16的动作1600中确定参考样本的部分)应用几何推导以确定参考样本定位。此外，视频译码器可确定参考样本的值。当参考样本定位未处于任何可用区域中时，参考样本是与球面域中的当前样本相邻的相邻样本的拷贝(例如使用相对于图4A-9D所描述的)。然而，在这一实例中，当参考样本定位处于可用区域中时，视频译码器可使用在所确定的参考样本定位处的样本作为参考样本。如果当前块不位于所述区中的任一个的边界处时，视频译码器可确定参考样本的值作为在投影域中与当前块在空间上相邻的样本的拷贝。

此外，在图16的实例中，视频译码器可基于所确定的参考样本中的一或多个使用帧内预测来产生当前块的预测块1602。举例来说，视频译码器可使用利用参考样本的定向或非定向帧内预测模式，如在本公开中的别处所描述。在图16的操作在视频编码的情况下进行的实例中，视频译码器可基于预测块和当前块的样本产生残余数据。在图16的操作在视频解码的情况下进行的实例中，视频译码器可基于预测块的样本和残余样本重构当前块的样本。

应认识到，取决于实例，本文中所描述的技术中的任一个的某些动作或事件可以不同顺序进行、可添加、合并或完全省去(例如，并非所有所描述动作或事件为实践所述技术所必要)。此外，在某些实例中，可(例如)经由多线程处理、中断处理或多个处理器同时而不是依序进行动作或事件。

在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一或多个指令或程序代码而存储在计算机可读介质上或经由计算机可读介质进行传输，且通过基于硬件的处理单元执行。计算机可读介质可包含计算机可读存储介质(其对应于例如数据存储介质的有形介质)或通信介质，所述通信介质包含(例如)根据通信协议促进计算机程序从一处传送到另一处的任何介质。以这一方式，计算机可读介质一般可对应于(1)非暂时性的有形计算机可读存储介质，或(2)例如信号或载波的通信介质。数据存储介质可以是可通过一或多个计算机或一或多个处理器存取以检索指令、程序代码和/或数据结构以用于实施本公开所描述的技术的任何可用介质。计算机程序产品可包含计算机可读介质。

作为实例而不是限制，这种计算机可读存储介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、快闪存储器或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它介质。又，任何连接适当地称为计算机可读介质。举例来说，如果使用同轴缆线、光缆、双绞线、数字用户线(DSL)或无线技术(例如红外线、无线和微波)从网站、服务器或其它远程源传输指令，那么同轴缆线、光缆、双绞线、DSL或无线技术(例如红外线、无线和微波)包含于介质的定义中。然而，应理解，计算机可读存储介质和数据存储介质不包含连接、载波、信号或其它暂时性介质，而实情为关于非暂时性有形存储介质。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘一般以磁性方式再生数据，而光盘通过激光以光学方式再生数据。以上的组合也应包含于计算机可读介质的范围内。

指令可由一或多个处理器执行，所述一或多个处理器例如一或多个数字信号处理器(DSP)、通用微处理器、特殊应用集成电路(ASIC)、场可编程门阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文所用的术语“处理器”可指前述结构或适用于实施本文中所描述的技术的任何其它结构中的任一个。另外，在一些实例中，本文所描述的功能性可提供于配置成供编码和解码或并入于组合的编解码器中的专用硬件和/或软件模块内。此外，所述技术可完全实施于一或多个电路或逻辑组件中。

本公开的技术可实施于广泛多种装置或设备中，包含无线手持机、集成电路(IC)或一组IC(例如芯片组)。在本公开中描述各种组件、模块或单元以强调配置成进行所公开技术的装置的功能方面，但未必需要通过不同硬件单元来实现。确切地说，如上文所描述，可将各种单元组合在编解码器硬件单元中，或通过互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合结合合适的软件和/或固件来提供所述单元。

各种实例已予以描述。这些和其它实例在以下权利要求书的范围内。

Claims (20)

1.一种译码360度视频数据的方法，所述方法包括：

基于所述360度视频数据的当前图片的当前块的定位和定义所述当前图片中的多个区的布置的打包布置来确定参考样本，其中：

所述当前图片处于投影域中，

所述多个区中的每一相应区是由360度视频数据的投影定义的相应面，所述投影是立方体贴图投影CMP或所述CMP的衍生投影，所述多个区包含第一区和第二区，

所述多个区根据所述打包布置而布置在所述当前图片中，

基于所述当前块的所述定位在所述第一区的邻近于所述第二区的边界处、且在所述边界处存在因所述打包布置所致的不连续性，所述参考样本是所述当前图片的在球面域中且不在所述投影域中与所述当前块在空间上相邻的图片样本，以及

确定所述参考样本包括基于所述当前块位于所述第一区的所述边界处来：

应用几何推导来确定参考样本定位；和

确定参考样本的值，其中：

基于所述参考样本定位未处于任何可用区域中，所述参考样本是在所述球面域中与当前样本相邻的相邻样本的拷贝，或

基于所述参考样本定位处于可用区域中，所述参考样本是在所述参考样本定位处的样本，以及

基于所确定的参考样本中的一或多个使用帧内预测来产生所述当前块的预测块。

2.根据权利要求1所述的方法，其中译码包括编码且所述方法进一步包括基于所述预测块和所述当前块的样本来产生残余数据。

3.根据权利要求1所述的方法，其中译码包括解码且所述方法进一步包括基于所述预测块的样本和残余样本来重构所述当前块的样本。

4.根据权利要求1所述的方法，其中所述第一区的所述边界在所述投影域中邻近于所述第二区的边界且所述第一区的所述边界未在所述球面域中邻近于所述第二区的所述边界。

5.根据权利要求4所述的方法，其中所述第一区的所述边界未在所述投影域中邻近于所述多个区中的第三区的边界，且所述参考样本是所述第三区中的样本的拷贝。

6.根据权利要求4所述的方法，其中所述当前块是第一块且以下中的一个适用：

所述当前块的第二块在所述投影域中是所述当前图片中的最右块且处于所述当前图片的下半部分中，且在所述球面域中与所述第二块在空间上相邻的参考样本各自在所述当前图片内，或

所述第二块是所述当前图片中的最左下块，且在所述球面域中与所述第二块在空间上相邻的所述参考样本各自在所述当前图片内。

7.根据权利要求1所述的方法，其中确定所述参考样本包括：

基于所述参考样本的定位来确定球面上的相关联定位；

将所述相关联定位投影回到所述当前图片以确定投影定位；和

使用所述投影定位来确定在所述球面域中与所述当前块在空间上相邻的所述样本。

8.根据权利要求1所述的方法，其中所述当前块是所述当前图片的第一块，且所述方法进一步包括：

基于所述图片的第二块不位于所述多个区中的任一个的边界处，确定针对所述第二块的参考样本的值作为在所述投影域中与所述第二块在空间上相邻的样本的拷贝。

9.一种用于译码360度视频数据的装置，所述装置包括：

存储器，其配置成存储所述360度视频数据；和

一或多个处理器，其实施于电路中，所述一或多个处理器配置成：

基于所述360度视频数据的当前图片的当前块的定位和定义进入所述当前图片的多个区的布置的打包布置来确定参考样本，其中：

所述当前图片处于投影域中，

所述多个区中的每一相应区是由360度视频数据的投影定义的相应面，所述投影是立方体贴图投影CMP或所述CMP的衍生投影，所述多个区包含第一区和第二区，

所述多个区根据所述打包布置而布置在所述当前图片中，

基于所述当前块的所述定位在所述第一区的邻近于所述第二区的边界处、且在所述边界处存在因所述打包布置所致的不连续性，所述参考样本是所述当前图片的在球面域中且不在所述投影域中与所述当前块在空间上相邻的图片样本，以及

基于所述当前块位于所述第一区的所述边界处，所述一或多个处理器配置成使得所述一或多个处理器：

应用几何推导来确定参考样本定位；和

确定参考样本的值，其中：

基于所述参考样本定位未处于任何可用区域中，所述参考样本是在所述球面域中与当前样本相邻的相邻样本的拷贝，且

基于所述参考样本定位处于可用区域中，所述参考样本是在所述参考样本定位处的样本，以及

基于所确定的参考样本中的一或多个使用帧内预测来产生所述当前块的预测块。

10.根据权利要求9所述的装置，其中译码包括编码且所述一或多个处理器配置成基于所述预测块和所述当前块的样本来产生残余数据。

11.根据权利要求9所述的装置，其中译码包括解码且所述一或多个处理器配置成基于所述预测块的样本和残余样本来重构所述当前块的样本。

12.根据权利要求9所述的装置，其中所述第一区的所述边界在所述投影域中邻近于所述第二区的边界且所述第一区的所述边界未在所述球面域中邻近于所述第二区的所述边界。

13.根据权利要求12所述的装置，其中所述第一区的所述边界未在所述投影域中邻近于所述多个区中的第三区的边界，且所述参考样本是所述第三区中的样本的拷贝。

14.根据权利要求12所述的装置，其中所述当前块是第一块且以下中的一个适用：

所述当前块的第二块在所述投影域中是所述当前图片中的最右块且处于所述当前图片的下半部分中，且在所述球面域中与所述第二块在空间上相邻的参考样本各自在所述当前图片内，或

所述第二块是所述当前图片中的最左下块，且在所述球面域中与所述第二块在空间上相邻的所述参考样本各自在所述当前图片内。

15.根据权利要求9所述的装置，其中所述一或多个处理器配置成使得作为确定所述参考样本的部分，所述一或多个处理器：

基于所述参考样本的定位来确定球面上的相关联定位；

将所述相关联定位投影回到所述当前图片以确定投影定位；和

使用所述投影定位来确定在所述球面域中与所述当前块在空间上相邻的所述样本。

16.根据权利要求9所述的装置，其中所述一或多个处理器配置成使得作为确定所述参考样本的部分，所述一或多个处理器：

当所述当前块不位于所述多个区中的任一个的边界处时，将所述参考样本的值确定为在所述投影域中与所述当前块在空间上相邻的样本的拷贝。

17.根据权利要求9所述的装置，其进一步包括配置成显示所解码视频数据的显示器。

18.根据权利要求9所述的装置，其中所述装置包括相机、计算机、移动装置、广播接收器装置或机顶盒中的一或多个。

19.一种用于译码视频数据的装置，所述装置包括：

用于基于360度视频数据的当前图片的当前块的定位和定义所述当前图片中的多个区的布置的打包布置来确定参考样本的装置，其中：

所述当前图片处于投影域中，

所述多个区中的每一相应区是由360度视频数据的投影定义的相应面，所述投影是立方体贴图投影CMP或所述CMP的衍生投影，所述多个区包含第一区和第二区，

所述多个区根据所述打包布置而布置在所述当前图片中，

基于所述当前块的所述定位在所述第一区的邻近于所述第二区的边界处、且在所述边界处存在因所述打包布置所致的不连续性，所述参考样本是所述当前图片的在球面域中且不在所述投影域中与所述当前块在空间上相邻的图片样本，以及

基于所述当前块位于所述第一区的所述边界处，所述用于确定参考样本的装置包括：

用于应用几何推导来确定参考样本定位的装置；和

用于确定参考样本的值的装置，其中：

基于所述参考样本定位未处于任何可用区域中，所述参考样本是在所述球面域中与当前样本相邻的相邻样本的拷贝，且

基于所述参考样本定位处于可用区域中，所述参考样本是在所述参考样本定位处的样本，以及

用于基于所确定的参考样本中的一或多个使用帧内预测来产生所述当前块的预测块的装置。

20.一种非暂时性计算机可读存储介质，其具有存储在其上的指令，所述指令在执行时使得一或多个处理器：

基于360度视频数据的当前图片的当前块的定位和定义进入所述当前图片的多个区的布置的打包布置来确定参考样本，其中：

所述当前图片处于投影域中，

所述多个区中的每一相应区是由360度视频数据的投影定义的相应面，所述投影是立方体贴图投影CMP或所述CMP的衍生投影，所述多个区包含第一区和第二区，

所述多个区根据所述打包布置而布置在所述当前图片中，

基于所述当前块的所述定位在所述第一区的邻近于所述第二区的边界处、且在所述边界处存在因所述打包布置所致的不连续性，所述参考样本是所述当前图片的在球面域中且不在所述投影域中与所述当前块在空间上相邻的图片样本，以及

基于所述当前块位于所述第一区的所述边界处，所述指令的执行使得所述一或多个处理器：

应用几何推导来确定参考样本定位；和

确定参考样本的值，其中：

基于所述参考样本定位未处于任何可用区域中，所述参考样本是在所述球面域中与当前样本相邻的相邻样本的拷贝，且

基于所述参考样本定位处于可用区域中，所述参考样本是在所述参考样本定位处的样本，以及

基于所确定的参考样本中的一或多个使用帧内预测来产生所述当前块的预测块。