CN112243585B - 调整平面源图像中的样本块的量化参数qp值的方法和编码设备 - Google Patents

Abstract

提供了调整平面源图像中的样本块的量化参数QP值的方法和编码设备。对输入到编码器中进行编码的平面源图像，用于调整其中样本块的量化参数(QP)值的方法可以包括：确定与平面源图像相关联的信息，平面源图像为非平面表面的投影。该方法可以包括确定与所述平面源图像中的所述样本块相关联的初始QP值。该方法还包括基于与所述平面源图像相关联的所述信息，确定与所述样本块相关联的QP偏移值。该方法还包括基于所述初始QP值和所述QP偏移值，确定与所述样本块相关联的最终QP值。该方法还包括使用所述最终QP值对所述样本块进行编码。

Description

调整平面源图像中的样本块的量化参数QP值的方法和编码 设备

技术领域

所公开的主题涉及图像和视频编码及解码，特别涉及，在已经利用非平面内容(诸如360视频)人为生成平面视频编解码器的输入数据的环境中，针对与内容的(空间)几何形状的统计量有直接关系的某些语法元素的高效编码。

背景

利用具有运动补偿的图像间预测的视频编码和解码已在几十年来为人所知。未压缩的数字视频可由一系列图像组成，每个图像具有一定的空间维度，例如1920x1080的亮度样本和相应的色度样本。图像序列可具有固定或可变的图像速率(俗称帧率)，例如，每秒60张图像或60Hz。未压缩的视频需要较高的比特率。例如，每个样本为8比特的1080p60 4：2：0(60Hz帧率下的1920x1080亮度样本分辨率)的视频需要接近1.5G比特/秒的带宽。长度为一小时的这种视频需要600G字节以上的存储空间。

视频编码和解码的一个目的是，通过压缩来降低输入视频信号的冗余。在一些情况下，压缩可有助于减小带宽或存储空间的需求，一些情况下可以减少两个数量级甚至更多。可使用无损压缩、有损压缩，或其组合。无损压缩指可从经过压缩的原始信号中重建出原始信号的精确副本的技术。当利用有损压缩时，重建信号可与原始信号不一致，但原始信号和重建信号之间的失真足够小，以使重建信号能够实现所期望的用途。视频领域中广泛采用有损压缩。容许的失真量取决于应用，例如，一些消费型直播应用的用户比电视节目应用的用户能容忍更大的失真。可实现的压缩比可以反映出：可允许/可容忍的失真越大，可使压缩比越高。

视频编码器和解码器可利用几大类技术，例如包括运动补偿、变换、量化和熵编码，下文中将介绍其中一些技术。

以往，采用上述技术的视频编码常常假设输入内容是单个相机拍摄的。已引起关注的其它内容被称为立体内容：来自空间对齐使拍摄轴近似平行的两个相机的相机信号，在合适的渲染器中被合并后，在某些条件下观看时可以提供三维图像的错觉。由于这些相机信号高度相关，因此设计了某些视频编码技术，将这两个信号相关联，以获得比对这两个信号单独编码时更高的编码效率。这些技术中的一种被称为多视图编码，在H.264和H.265中以配置文件的形式提供。一些情况下，这种多视图编码可以扩展到对多于两个相机信号的组合编码，同时仍然利用多个相机信号的相似性(如果有的话)。然而，上述意义上的多视图编码仍然在平面相机图像上操作。

近来，已经出现了具有拍摄角度可能不平行的多个相机的输入设备。在其物理布局允许的范围内，这些输入设备能够拍摄形状为球体的空间。这些相机可以在市场上销售，并且在本文中被称为“360相机”，因为它们可以在所有维度上具有360度的拍摄视野。静态图像360相机可以通过使用平移-倾斜摄像机头进行操作，该平移-倾斜摄像机头上安装有单个相机，该相机带有可以拍摄相对广角的镜头。通过在拍摄之前将平移-倾斜机头的两个轴旋转到特定位置，该相机可以拍摄一系列的静态图像，其中各个静态图像具有一定程度的重叠。通过使用与控制平移倾斜摄像机头的控制信息相一致的几何信息，这些图像可以经过几何校正并被拼接在一起，以形成可以输入到传统图像处理技术中的平面图像，例如用于压缩和传输的目的。几何校正和拼接过程在本文中称为“投影”。360图像的渲染可涉及与360拍摄场景有关的观察点或观察方向的选择、反向几何校正、去拼接等，以生成适于观看的平面图像。反向几何校正和去拼接在本文中称为“去投影”或“逆投影”。理想情况下，该图像所描绘的场景会与从该观察方向或从所选择的观察点所拍摄的平面图像一致。

上述概念可以扩展到视频的拍摄，因为视频可以由在足够短的时间间隔内拍摄并渲染的一系列静态图像来表示。市售的支持360视频的相机有两种基本型号。第一种型号使用快速旋转的摄像机头，该摄像机头具有一个或多个相机以及合适的镜头，这些相机和镜头的布局使得，在一次旋转的过程中能够拍摄到(一个维度上的)360度场景。该一个或多个相机和镜头可以经过布置以覆盖另一维度。为了获得例如每秒60帧的帧速率，摄像机头必须最少以例如每分钟3600转的速度旋转。为了避免相机模糊，选择的相机拍摄时间可能必须非常短，这会限制相机传感器的得到曝光的光子数，导致产生噪声图像，需要高照明的场景，或者两者兼具。为了避免在机械方面上依赖旋转机头，其它实现方式可以通过使用许多相机和合适的镜头、且该许多相机和镜头的布局使所有相机和镜头的重叠视野能够拍摄到整个360度球体范围，从而避免上述问题，额外的代价是需要更多相机和镜头。两种概念的混合形式也是可能的。相比机械部件，由于光电组件的成本不断降低，似乎存在从机械360相机转向多镜头相机的趋势。此外，基于360相机作为物理设备必须安装在某处、以及观看者可能对安装的硬件兴趣有限的认知，一些设计忽略了某些(通常相对窄的)拍摄角度的拍摄。和上面的静态相机一样，许多支持360的相机将(在同一瞬间拍摄的，或利用旋转机头在几乎同一瞬间拍摄的)图像几何投影在一起，以形成表示相机的360度视野的一系列投影图像。

将表示球形拍摄场景的图像投影到平面表面上已经是一个已知且经过充分研究了几个世纪的问题。例如，一个众所周知的投影是在1569年引入的墨卡托(Mercator)投影，墨卡托投影是一个圆柱形投影，并且仍然在许多世界地图中使用。从那时起，已经设计了许多其它投影，包括例如等量矩形投影、圆锥投影、Aitoff投影、Hammer投影、Plate Carree投影等。参考图1，示出了可适于将球形拍摄场景映射到平面表面上的几种投影(许多投影中的几个)，这些投影在360度视频压缩的可能应用已经经过了研究。图中示出了球体(101)，以及该球体到平面地图的三个投影。第一个投影被称为等量矩形投影(102)。第二个投影为立方体投影，其中球体的表面被投影在六个正方形的、平面正方形表面上，这六个表面表示在每个维度上具有90度角位移的六个方向。这六个正方形可以排列在单个平面表面上，生成立方体地图(103)。这里呈现的平面表面上立方体表面的排列方式为若干选择中的一种。最后，二十面体投影将球体表面投影到二十面体(104)(由20个三角形平面表面组成的三维对称几何图形)的表面上，并且这20个三角形表面可以被布置在单个平面表面(105)上。再次，对于单个平面表面(105)上的20个三角形表面的空间分配存在许多合理的选择。

这些以及其它合适的投影格式试图将球形表面映射到平面表面。平面表示方式必然不可能是球体的几何特征在数学上的正确表示方式，而是具有一定量的误差的近似表示方式。其中，从空间的角度上，误差所在的位置以及误差会变得多大取决于投影的性质。例如，众所周知，等距投影显著夸大了远离赤道的纬度处的经度间的距离。例如，在等距投影的世界地图中，格陵兰岛被描绘得比澳州还大，然而实际上它仅有描绘的表面积的大约1/3。

发明内容

根据本公开的一个方面，一种方法可以包括：确定与平面源图像相关联的信息，所述平面源图像为非平面表面的投影；确定与所述平面源图像中的样本块相关联的初始QP值；基于与所述平面源图像相关联的信息，确定与所述样本块相关联的QP偏移值；基于初始QP值和QP偏移值确定与所述样本块相关联的最终QP值；及，使用所述最终QP值对所述样本块进行编码。

根据本公开的一个方面，一种设备可以包括一个或多个处理器，用于：确定与平面源图像相关联的信息，所述平面源图像为非平面表面的投影；确定与所述平面源图像中的样本块相关联的初始QP值；基于与所述平面源图像相关联的信息，确定与所述样本块相关联的QP偏移值；基于初始QP值和QP偏移值确定与所述样本块相关联的最终QP值；及，使用所述最终QP值对所述样本块进行编码。

根据本公开的一个方面，一种非易失性计算机可读介质可以存储指令，由设备的一个或多个处理器执行时，所述指令可以使所述一个或多个处理器：确定与平面源图像相关联的信息，所述平面源图像为非平面表面的投影；确定与所述平面源图像中的样本块相关联的初始QP值；基于与所述平面源图像相关联的信息，确定与所述样本块相关联的QP偏移值；基于初始QP值和QP偏移值确定与所述样本块相关联的最终QP值；及，使用所述最终QP值对所述样本块进行编码。

附图说明

根据以下详细描述和附图，所公开主题的其它特征、性质和各种优点将变得更加明显，在附图中：

图1是相关技术的几个投影的示意图。

图2是一个实施例的通信系统的简化框图的示意图。

图3是一个实施例的通信/流传输系统的简化框图的示意图。

图4是一个实施例的360通信/流传输系统的简化框图的示意图。

图5是一个实施例的解码器的简化框图的示意图。

图6是一个实施例的编码器的简化框图的示意图。

图7是投影的示意图。

图8是具有变形椭圆(Tissot Indicatrix)的地球表面的等量矩形投影的示意图。

图9是地球表面的Kavrayskiy-VII投影的示意图。

图10是一个实施例的用于生成QP偏移图的示例过程的流程图。

图11是一个实施例的投影的细节的示意图。

图12是一个实施例的适于地球表面的Kavrayskiy-VII投影的QP偏移图的示意图。

图13是一个实施例的适于投影的QP偏移图的示意图。

图14是使用最终QP值对块进行编码的示例过程的流程图。

图15是本申请实施例的计算机系统的示意图。

要解决的问题

360视频压缩系统可以通过首先使用投影(例如，等量矩形投影、立方体投影等)进行操作，从而将360视频序列的图像映射到平面图像中，并且可以对该平面图像或该平面图像的序列进行压缩。平面图像和视频的压缩技术是众所周知的，但是针对每个样本的相关性大致相似的输入材料进行了优化。然而，通过投影步骤引入的几何层面上的不准确和误差，造成平面图像中平面表示的某些区域和样本比其它区域和样本的相关性小，因为它们表示投影源的球体上相对较小的表面区域。为了在测量球体表面(而不是平面投影)的表示性能时获得最高速率畸变性能，在平面压缩技术中需要某些优化，因为在不修改的技术中性能是次优的。可以在不改变平面解码器机制的情况下进行这些优化，特别是对QP的调整。

具体实施方式

图2示出本公开实施例的通信系统(200)的简化框图。系统(200)可包括通过网络(250)互联的至少两个终端(210-220)。对于单向数据传输，第一终端(210)可在本地位置编码视频数据，用于经网络(250)传输至另一终端(220)。第二终端(220)可从网络(250)接收另一终端的已编码视频数据，解码该已编码数据并显示恢复出的视频数据。单向数据传输在媒体服务应用等应用中是较常见的。

图2示出第二对终端(230，240)，用于支持(例如，在视频会议期间产生的)已编码视频的双向传输。对于双向数据传输，每个终端(230，240)可对在本地位置拍摄的视频数据进行编码，以便通过网络(250)传输至另一终端。每个终端(230，240)还可接收由另一终端传输的已编码视频数据，可解码该已编码数据，并可在本地显示器设备显示恢复出的视频数据。

在图2中，终端(210-240)可以被示为服务器、个人计算机和智能电话，但是本申请的原理不限于此。本公开实施例可应用于笔记本电脑、平板电脑、媒体播放器和/或专用视频会议设备。网络(250)表示任意数量的网络，可以在终端(210-240)之间传输已编码视频数据，可以包括，例如，有线和/或无线通信网络。通信网络(250)可在电路交换和/或分组交换信道中交换数据。代表性的网络可包括电信网络、局域网、广域网和/或互联网。出于本文的目的，除非在下文中有所解释，否则网络(250)的架构和拓扑对于本公开的操作来说可能是无关紧要的。

作为本公开主题的应用示例，图3示出一种在流媒体环境下视频编码器和解码器的部署方式。本公开主题也可适用于其它支持视频的应用，包括，例如视频会议、数字电视、在数字介质(包括CD、DVD、存储棒等)上存储已压缩的视频的应用等。

流式传输系统可包括采集子系统(313)，所述采集子系统可包括数码相机等视频源(301)，所述视频源创建，例如，未压缩的视频采样流(302)。采样流(302)(用粗线表示，以在与已编码视频码流相比时强调高数据量)可由耦合于照相机(301)的编码器(303)来处理。编码器(303)可包括硬件、软件或其组合，以使能或实现如下文详细描述的本公开主题的各方面。编码视频比特流(304)(用细线表示，以在与采样流相比时强调较低的数据量)可存储于流媒体服务器(305)以供后续使用。一个或多个流媒体客户端(306、308)可访问流媒体服务器(305)，以获取已编码视频码流(304)的副本(307、309)。客户端(306)可包括视频解码器(310)，其解码已编码视频码流(307)的传入副本并创建可在显示器(312)或其它呈现设备(未描绘)上呈现的传出视频样本流(311)。在一些流媒体系统中，可以根据某些视频编码/压缩标准对视频码流(304、307、309)进行编码。该些标准的例子包括ITU-T H.265。正在开发的是非正式地称为多功能视频编码(VVC)的视频编码标准。本申请可用于VVC标准的上下文中。

图3的通信系统200或流传输系统可以被扩展为能够使用360视频。参考图4，这种360系统的布局可以如下。360视频拍摄单元(401)可以包括支持360的摄像机(402)以及将输入的360图像(403)投影到平面图像(405)的投影器(404)。360图像(403)和平面图像(405)以粗体箭头描绘，以强调与诸如编码视频序列(407)的压缩信号相比，具有较高的数据速率。平面图像可以由平面编码器(406)转换成一个或多个编码视频序列(407)，编码视频序列(407)还可以包括例如与投影器(404)产生或获得的投影相关的附带元信息。编码视频序列(407)可以通过网络(未示出)被直接转发到解码器/渲染器，或者可以存储在流服务器(408)上。流服务器(408)可以将编码视频序列直接流传输到支持360视频的端点(409)，端点(409)可以包括(平面)解码器(410)和去投影器(411)。例如，去投影器(411)可以对投影仪(404)产生的投影进行还原，从而生成一个或多个图像序列，该图像序列适于在设备上显示，尤其适合诸如虚拟现实护目镜(未示出)、支持伪3D的屏幕(412)等的设备。去投影器可以通过允许用户选择观察角度、观察点等的用户界面(未示出)来控制。该数据流可能需要全360视频呈现，如由投影仪(404)和编码器(406)投影并压缩，以备流传输到支持360的端点(409)。

作为替代方案或附加方案，在一些情况下，接收端点可能不具有对重构全360度场景或逆投影所需要的所有数据进行解码的连接或计算资源。在这种情况下，传统的(不支持360的)端点(413)可以将(例如从它的用户界面获得的)与观察点相关的元信息(414)发送到网络中的360处理器(415)。360处理器可以基于所获得的元信息执行支持360的端点的任务，然后在传统的(平面优化的)编码器中对渲染的平面视频(416)进行重新编码以供传统端点(413)使用。在这样的场景中，计算量大的360场景的解码和逆投影可以转移到基于云的资源中处理，例如360处理器(415)。如所描述的，360处理器可以充当代码转换器，因为它具有解压缩和压缩两种机制。

一些情况下，一些360数据在被正确生成并被适当标记后，可以被选择性转发单元(SFU)删除。例如，如果投影格式是立方体投影，那么，对于任何给定的观察点，六个平面正方形表示中的最少三个、最多五个，不需要渲染(假设投影源为非透明源球体)。假设比特流被正确地生成，例如通过使用切片、图块、层、视图等，经过正确配置的SFU，由于已经知道观察点(例如由于已经接收到诸如360处理器(415)所使用的元数据)，可以省略不必要的360数据的转发操作。这样的SFU可以被视为不包括完整代码转换器所需的一些信号处理技术的轻量级代码转换器。

图5可以是根据本发明实施例的视频解码器(310)的功能框图。

接收器(510)可以接收要由解码器(310)解码的一个或多个已编码视频序列；在相同或另一实施例中，每次接收一个已编码视频序列，其中每个已编码视频序列的解码独立于其它已编码视频序列。可从信道(512)接收已编码视频序列，所述信道可以是通向存储有已编码视频数据的存储装置的硬件/软件链路。接收器(510)可接收已编码视频数据以及其它数据，例如，已编码音频数据和/或辅助数据流，这些数据可被转发到使用它们的各实体(未标示)。接收器(510)可将已编码视频序列与其它数据分开。为了对抗网络抖动，缓冲存储器(515)可以耦合在接收器(510)和熵解码器/解析器(520)之间(此后称为“解析器”)。当接收器(510)正在从具有足够带宽和可控性的存储/转发设备或从同步网络接收数据时，可能不需要缓冲器(515)，或缓冲器(515)可以较小。为了在诸如因特网的尽力而为分组网络上使用，可能需要缓冲器(515)，缓冲器(515)可以相对较大并且最好可以自适应调整大小。

视频解码器(310)可以包括解析器(520)，用于从熵编码视频序列中重建得到符号(521)。这些符号的类别包括用于管理解码器(310)操作的信息，还可能包括用于控制诸如显示器(312)的呈现设备的信息，该呈现设备不是解码器的组成部分，但是可以耦合到解码器，如图3所示。呈现设备的控制信息可以是补充增强信息(SEI消息)或视频可用性信息(VUI)参数集片段(未示出)的形式。解析器(520)可以解析/熵解码所接收的已编码视频序列。已编码视频序列的编码可遵循视频编码技术或标准，且可遵循所属领域的技术人员周知的原理，包括可变长度编码、霍夫曼编码、具有或不具有上下文敏感性的算术编码等。解析器(520)可以基于与某个组相对应的至少一个参数，从已编码视频序列中提取视频解码器中像素的子组中的至少一个像素子组的子组参数集。子组可包括图片组(Group ofPictures，GOP)、图片、图块、切片、宏块、编码单元(Coding Unit，CU)、块、变换单元(Transform Unit，TU)、预测单元(Prediction Unit，PU)等。熵解码器/解析器还可以从已编码视频序列中提取例如转换系数、量化器参数(QP)值、运动向量等信息。

解析器(520)可以对从缓冲器(515)接收的视频序列执行熵解码/解析操作，以便创建符号(521)。解析器(520)可以接收编码数据，并且选择性地解码特定符号(521)。此外，解析器(520)可以确定是否将特定符号(521)提供给运动补偿预测单元(553)、定标器/逆转换单元(551)、帧内预测单元(552)或环路滤波器(556)。

符号(521)的重建可涉及多个不同单元，这取决于已编码视频图像或已编码视频图像的一部分的类型(例如：帧间图片和帧内图片、帧间块和帧内块)以及其它因素。涉及哪些单元以及涉及方式可由解析器(520)从已编码视频序列中解析出的子组控制信息控制。为了简洁起见，未描述解析器(520)与下文的多个单元之间的此类子组控制信息流。

除了已经提到的功能块之外，解码器(310)可以在概念上被细分为如下所述的多个功能单元。在商业约束下运行的实际实施中，这些单元中的许多单元彼此紧密交互并且可以至少部分地彼此集成。然而，出于描述所公开主题的目的，从概念上细分成下文的功能单元是适当的。

第一单元是缩放器/逆变换单元(551)。定标器/逆转换单元(551)从解析器(520)接收量化的转换系数以及控制信息，包括使用何种转换、块的大小、量化因子、量化缩放矩阵等，这些均作为符号(521)。它可以输出包括采样值的块，这些块可以被输入到聚合器(555)中。

在一些情况下，缩放器/逆变换单元(551)的输出样本可属于帧内编码块；即：该块不使用来自先前已重建的图片的预测性信息，而是可以使用来自当前图片的先前已重建部分的预测性信息。此类预测信息可由帧内图片预测单元(552)提供。在一些情况下，帧内图像预测单元(552)使用从当前(部分重建的)图像(556)获取的周围已经重建的信息来生成与正在重建的块的大小和形状相同的块。在一些情况下，聚合器(555)基于每个样本，将帧内预测单元(552)生成的预测信息添加到由缩放器/逆变换单元(551)提供的输出样本信息中。

在其它情况下，缩放器/逆变换单元(551)的输出样本可属于帧间编码的、可能经过运动补偿的块。在这种情况下，运动补偿预测单元(553)可以访问参考图像存储器(557)以获取用于预测的样本。在根据属于该块的符号(521)对所提取的样本进行运动补偿之后，这些样本可以由聚合器(555)添加到定标器/逆转换单元的输出(在这种情况下称为残差样本或残差信号)，以便生成输出样本信息。运动补偿单元获取的预测样本在参考图像存储器内的地址可以由运动向量控制，运动补偿单元可以得到符号(521)形式的该运动向量，符号(521)可以具有，例如，X、Y和参考图像分量。在使用子样本精确运动向量时，运动补偿还可以包括从参考图像存储器获取的样本值的插值操作、运动向量预测机制等。

聚合器(555)的输出样本可在环路滤波器单元(556)中经过各种环路滤波技术处理。视频压缩技术可以包括环路内滤波器技术，该环路内滤波器技术由已编码视频码流中的参数来控制并且作为来自解析器(520)的符号(521)由环路滤波器单元(556)获得。视频压缩技术还可以对元信息作出响应，该元信息是在对已编码图像或已编码视频序列的(解码顺序上的)先前部分进行解码的期间获得的。视频压缩技术还可以先前重建的并经过环路滤波的样本值作出响应。

环路滤波器单元(556)的输出可以是样本流，所述样本流可输出到呈现设备(312)，也可以存储在参考图像存储器(557)中供后续的帧间图像预测使用。

一旦被完全重建，某些已编码图像就可用作参考图像以用于将来的预测。一旦已编码图像被完全重建并且已经被识别为参考图像(例如由解析器(520))，则当前参考图像(558)可以成为参考图像缓冲器(557)的一部分，并且可以在开始对后续编码图像进行重建之前重新分配新的当前图像存储器。

视频解码器(310)可根据标准中记载的预定义视频压缩技术，如ITU-TRec.H.265，来执行解码操作。已编码视频序列可遵循视频压缩技术文档或标准中，特别是其概要文档中，指定的视频压缩技术或标准的语法，从这个意义上来说，已编码视频序列遵循所使用的视频压缩技术或标准指定的语法。为了遵循规定，还要求已编码视频序列的复杂度处于视频压缩技术或标准的层级所限定的范围内。在一些情况下，层级限制最大图片大小、最大帧率、最大重建样本速率(以例如每秒兆(mega)个样本为单位进行测量)、最大参考图片大小等。在一些情况下，由层级设定的限制可通过假想参考解码器(HypotheticalReference Decoder，HRD)规范和在已编码视频序列中用信号表示的HRD缓冲器管理的元数据来进一步限定。

一个实施例中，接收器(510)可连同已编码视频一起接收附加(冗余)数据。所述附加数据可以是已编码视频序列的一部分。所述附加数据可由视频解码器(310)使用于对数据进行正确解码和/或更准确地重建原始视频数据。附加数据可以是，例如，时间、空间或信噪比(signal noise ratio，SNR)增强层、冗余切片、冗余图像、前向纠错码等形式。

图6示出本公开实施例的视频编码器(303)的功能框图。

编码器(303)可从视频源(301)(并非编码器的一部分)接收视频样本，视频源(303)可采集将由编码器(303)编码的视频图像。

视频源(301)可以以数字视频样本流的形式提供将由编码器(303)编码的源视频序列，该数字视频样本流可以具有任何合适的比特深度(例如：8位、10位、12位……)、任何颜色空间(例如BT.601YCrCb、RGB……)和任何合适的样本结构(例如YCrCb4：2：0、YCrCb 4：4：4)。在媒体服务系统中，视频源(301)可以是存储先前已准备的视频的存储装置。在视频会议系统中，视频源(303)可以是采集本地图像信息作为视频序列的相机。可将视频数据提供为多个单独的图像，当按顺序观看时，这些图像被赋予运动效果。图片自身可构建为空间像素阵列，其中，取决于所用的取样结构、色彩空间等，每个像素可包括一个或多个样本。所属领域的技术人员可以很容易理解像素与样本之间的关系。下文侧重于描述样本。

一个实施例中，编码器(303)可实时或在应用需要的任何其它时间约束下，对源视频序列的图像进行编码并压缩为已编码视频序列(643)。施行适当的编码速度是控制器(650)的一个功能。控制器控制如下所述的其它功能单元并且功能性地耦接到这些单元。为了简洁起见，图中未标示耦接。由控制器设置的参数可以包括速率控制相关参数(图像跳跃、量化器、速率失真优化技术的λ值……)、图像大小、图像组(GOP)布局、最大运动向量搜索范围等。本领域技术人员很容易理解控制器(650)具有的其它功能，这些功能属于针对特定系统设计而优化的视频编码器(303)。

一些视频编码器以本领域技术人员容易认识到的“编码环路”操作。作为过度简化的描述，编码环路可以包括编码器(630)的编码部分(此后称为“源编码器”)(负责基于要编码的输入图像和参考图像创建符号)，以及嵌入编码器(303)中的(本地)解码器(633)，该解码器(633)重建符号以创建(远程)解码器也会创建的采样数据(因为在所公开的主题中所考虑的视频压缩技术中，符号与编码视频码流之间的任何压缩是无损的)。重建的样本流可输入到参考图像存储器(634)。由于符号流的解码产生与解码器位置(本地或远程)无关的比特级精确结果，因此参考图像存储器中的内容在本地编码器与远程编码器之间也是按比特位精准对应的。换言之，编码器的预测部分“看到”的参考图像采样与解码期间使用预测时所“看到”的采样值完全相同。参考图像同步性(以及如果(例如由于信道误差)不能保持同步性，而导致的漂移)的基本原理是本领域技术人员公知的。

“本地”解码器(633)的操作可以与上面已经结合图5详细描述的“远程”解码器(310)的操作相同。然而，还是简要地参考图5，由于符号可用，并且由熵编码器(645)和解析器(520)对编码视频序列的符号的解码可以是无损的，所以解码器(310)的熵解码部分，包括信道(512)、接收器(510)、缓冲器(515)和解析器(520)，可能不能完全在本地解码器(633)中实现。

此时可以观察到，除存在于解码器中的解析/熵解码之外的任何解码器技术，也必定以基本上相同的功能形式存在于对应的编码器中。可简化编码器技术的描述，因为编码器技术与全面描述的解码器技术互逆。更详细的描述仅在某些区域必要，并且已在下文提供。

作为其操作的一部分，源解码器(630)可执行运动补偿预测编码，参考视频序列中一个或多个先前编码的帧(称为“参考帧”)对输入帧进行预测性编码。以此方式，编码引擎(632)对输入帧的像素块和被选作该输入帧的预测参考的参考帧的像素块之间的差异进行编码。

本地视频解码器(633)可基于源编码器(630)创建的符号，对指定为参考帧的帧的已编码视频数据进行解码。有利的是，编码引擎(632)的操作可为有损过程。当已编码视频数据可在视频解码器(图6中未示)处被解码时，重建的视频序列通常可以是带有一些误差的源视频序列的副本。本地视频解码器(633)复制可由视频解码器对参考帧执行的解码过程，且可使得重建的参考帧存储在参考图像缓存(634)中。以此方式，编码器(303)可在本地存储已重建的参考帧的副本，所述副本与将由远端视频解码器获得的已重建参考帧具有相同内容(不存在传输误差)。

预测器(635)可针对编码引擎(632)执行预测搜索。即，对于待编码的新帧，预测器(635)可在参考图像存储器(634)中搜索适合作为新图像的预测参考的样本数据(作为候选参考像素块)或一些元数据，如参考图像运动矢量、块的形状等。预测器(635)可基于逐像素块的样本块操作，以找到合适的预测参考。在一些情况下，根据预测器(635)获得的搜索结果，可确定输入图像可具有从参考图像存储器(634)中存储的多个参考图像取得的预测参考。

控制器(650)可管理视频编码器(630)的编码操作，包括，例如对用于已编码视频数据的参数和子组参数进行设置。

可在熵编码器(645)中对所有上述功能单元的输出进行熵编码。熵编码器根据例如哈夫曼编码、可变长度编码、算术编码等本领域技术人员已知的技术对各种功能单元生成的符号进行无损压缩，从而将所述符号转换成编码视频序列。

传输器(640)可缓冲由熵编码器(645)创建的已编码视频序列，为通过通信信道(660)进行传输做准备，该通信信道(660)可以是通向存储已编码视频数据的存储设备的硬件/软件链路。传输器(640)可将来自视频编码器(630)的已编码视频数据与待传输的其它数据合并，所述其它数据例如是已编码音频数据和/或辅助数据流(未示出来源)。

控制器(650)可管理视频编码器(303)的操作。在编码期间，控制器(650)可以为每个已编码图像分配某一已编码图像类型，但这可能影响可应用于相应的图像的编码技术。例如，通常可以将图像指定为以下帧类型之一：

内部图像(I图像)可以是不需要利用序列中其它任何帧作为预测源进行编码和解码的图像。一些视频编解码器允许不同类型的帧内图像，包括例如独立解码器刷新图像(Independent Decoder Refresh Pictures)。所属领域的技术人员了解I图片的变形及其相应的应用和特征。

预测图像(P图像)可以是可使用帧内预测或帧间预测来编码和解码的图像，帧内预测或帧间预测使用至多一个运动向量和参考索引来预测每个块的采样值。

双向预测图像(B图像)可以是可使用帧内预测或帧间预测来编码和解码的图像，使用至多两个运动向量和参考索引来预测每个块的样本值。类似地，多个预测性图像可使用多于两个参考图像和相关联的元数据用于重建单个块。

源图像通常可以在空间上细分为多个采样块(例如，每个采样为4×4、8×8、4×8或16×16的块)，并且在逐块的基础上编码。这些块可参考其它(已编码的)块进行预测编码，其它块可以根据应用于块的相应图像的编码任务来确定。例如，I图像的块可进行非预测编码，或该块可参考同一图像中已编码的块来进行预测编码(空间预测或帧内预测)。P图像的像素块可进行非预测编码，或参考一个先前已编码的参考图像进行空间预测编码或时间预测编码。B图像的块可进行非预测编码，或参考一个或两个先前编码的参考图像进行空间预测编码或时间预测编码。

视频编码器(303)可根据如ITU-T Rec.H.265建议书的预定视频编码技术或标准执行编码操作。在操作中，视频编码器(303)可执行各种压缩操作，包括利用输入视频序列中的时间和空间冗余进行预测编码操作。因此，已编码视频数据可符合所用的视频编码技术或标准指定的语法。

一个实施例中，传输器(640)可在传输已编码的视频时传输附加数据。视频编码器(630)可将此类数据作为已编码视频序列的一部分。附加数据可包括时间/空间/SNR增强层、例如冗余图像和切片等其它形式的冗余数据、补充增强信息(EnhancementInformation，SEI)消息、可视可用性信息(Visual Usability Information，VUI)参数集片段等。

对平面视频源中的样本进行编码或解码时，从来看，所有样本可以表示具有大致相同的角度间隔的、垂直于拍摄轴并且与相机的观察点距离足够远的投影平面。例如，参考图7，由相机(705)拍摄的投影表面(701)在垂直维度上，被划分成样本(702、703、704)。样本大小不成比例；在实际系统中，相机的垂直分辨率可以是720、1080或更多样本，而不仅为三个。可以观察到，表示样本的角度间隔(706、708)大致相同。假设场景还算平坦并且近似垂直于拍摄轴(709)，样本(702、703、704)也具有大致相同的大小。这种关系是已知的，因为摄影和相机镜头的出现是为了生成尽可能近似的这种关系，即使在需要光学校正的情况下，例如相对于场景的大小，相机到被拍摄场景的距离较近。

仍然参考图7，现在考虑使用等量矩形投影的简化表示对球体(710)(仅描绘了球体的四分之一)的场景进行拍摄，其中仅描绘了一个维度。假设拍摄轴(711)垂直于球体的赤道(未示出)。示出了具有相同角宽度(未示出)的三个样本(713、714、715)。直觉上，看起来很明显的是，靠近赤道的样本所表示的球体的表面区域比描绘两极区域的样本所表示的球体表面区域更小。例如，考虑表示球体的最北纬度的样本715。通过分隔器(716、717)示出的它的相关表面区域显著大于与样本713相关的表面区域。

虽然上面的示例看起来似乎极端，但应当注意，实际应用中普遍使用的一些投影，描绘的某些极地区域比在球面上测量的较准确的表面区域大许多倍。参见上面针对“格陵兰/澳大利亚”的示例。

图8示出了地球表面的等量矩形投影(801)。示出了著名的变形椭圆的示例。叠加在地图上的每个椭圆(802、803、804)表示球体上的圆形表面区域。假设投影由具有相同样本大小的样本地图表示。显然，在远离赤道的区域中，例如由椭圆(804)表示的区域，在投影中占据更大的表面区域，因此使用了比例如赤道上的椭圆(802)更多的样本来表示球体表面上的相同面积。

图9示出了投影的另一示例，即地球表面的Kavrayskiy-VII投影(901)，依然叠加有变形椭圆。该投影还分别包括一些纬度和经度“线”；更具体地，恒定纬度或经度的线。在球体的表面上，每条线与其它线以直角相交，并且假设每个交点之间的表面距离相同。但是，在该投影中，特别是在某些极地区域中以及远离子午线的区域，“正方形”表面区域由非正方形区域表示。考虑覆盖非洲中北部的表面区域(902)。该区域靠近赤道和子午线，由正方形近似地(而不是准确地)表示。作为极端反例，考虑表面区域(903)，它覆盖了阿拉斯加的大部分。这个(在球体上近似正方形的)表面区域的形状严重畸变。这图11中示出。示出了图9的投影的片段，其中仅描绘了西北半球(903)的一小部分；其中有样本块(905)。表面区域(1102)的形状可以逆投影(1103)到正方形表面(1104)中，正方形表面(1104)是与球体上的表面区域非常近似的区域。在该附图的底部，相同的表面区域(903)和块(905)的投影如上所示。注意(在投影正方形上的)块(1105)的非正方形的、畸变的几何形状。进一步注意，从块(905)到畸变的块(1105)的逆投影是将区域(903)简化成四边形的简化操作。如果考虑到投影(1106、1107)中的表面区域的边缘的弯曲性质，则块(1105)的畸变还会更严重。

由于将球形场景投影到平面图像上以进行压缩，当该图像的某些样本表示球形场景中比较大的表面区域或角宽度时，这些样本在解压缩和去投影之后会更多地影响球形场景的忠实再现。类似地，例如当使用等量矩形投影时，描绘球体的赤道区域的样本可以覆盖相对小的表面区域，这使得它们对球形场景的忠实再现的影响不大。针对平面图像和视频进行了优化的传统图像和视频编解码器不必然能解决这种不均等。

需要注意的是，平面编码器也可以具有与所使用的投影的性质和特性有关的信息。此外，在实际的系统设计中，该信息也需要告知去投影器，例如通过比特流。没有这些信息，去投影器可能无法对平面解码器产生的样本流进行有意义的操作。由于编码器和解码器系统都容易获取到关于所使用的投影的附加信息(必须从发送系统传输到接收系统，以使去投影器能够对投影器创建的场景进行逆投影)，因此视频编码本身不需要对该信息进行再次编码；编码器可以假设解码器具有该信息的先验知识。当然，该附加信息也可以包含在视频比特流中，在这种情况下，可能不需要以其它方式发送该信息。

根据实施例，针对投影的360视频的编码进行了优化的平面视频编码器可以基于该编码器对所使用的投影的特性的了解对它产生的已编码视频序列进行优化。

理想情况下，平面视频编码器在对投影后的360材料进行压缩时，可以将重点放在表示360球体中较大拍摄角或表面区域的那些样本，对于表示360球体中较小拍摄角或表面区域的那些样本反而可以给予较少的关注。以等量矩形投影为例，假设360球体的所有表面区域与用户的相关性相似(不一定是地图投影的情况，其用户很少对两极区域的细节感兴趣——但对于360视频，这可能是一个有效的假设)，更合理的做法是重点处理覆盖两极区域的样本而较少关注覆盖赤道区域的样本。

许多视频编解码器允许通过选择合适的量化参数(QP)对少量样本，即变换单元、块、宏块等(后文称为“块”)，所使用的比特数进行较精细地调整。

在同一实施例或另一实施例中，当时，视频编码器使用对360投影的性质的先验知识为包括表示较小拍摄角度或表面区域的样本的块选择比包括表示较大拍摄角度或表面区域的样本的块相比更粗略的量化(数值更高的QP)。该选择可以在编码器中本地实现，并且不需要改变解码器，也不需要改变该视频压缩技术或标准本身来实现上述方案。根据同一实施例或另一实施例，编码器可以生成(可能仅生成一次，在初始化期间获得投影的细节时)并使用量化步长差值(后文称为“QP偏移”)的图，该图可以与(经平面优化的)速率控制选择的QP值结合使用(例如：添加、稍后归一化)。在同一实施例或另一实施例中，可以根据块去投影到球体上的表面区域创建QP偏移图。在许多视频编解码器中，QP步长大小与使用的比特数之间的近似关系是已知的。例如，H.265中可能存在三个QP步长对应双倍比特速率的近似关系。在同一实施例或另一实施例中，QP偏移的计算所使用的关系中可以通过适当的方式加入QP与比特率之间的上述关系以及去投影的块的表面面积。

例如，简要参考图9，考虑块(904)。该块位于赤道旁边，且可用于归一化。因此，该块以及它右侧和左侧的相邻块(以及位于赤道以南、紧邻赤道的相邻块)可以使用0作为QP偏移。

现在考虑覆盖阿拉斯加北部的块(905)。当将该块去投影到球体上时，该块的表面区域可以通过底索(tissot)投影的椭圆的大小的相对增量来估计，并且可以估计该块小于赤道块的表面区域的一半。因此，可以更粗略地量化该块，具体可以利用3个量化步长，因为在H.265中，三个量化步长可以使比特率大约减半。当一致应用这样的方案时，不论投影产生怎样的几何伪影，表示球体上任何给定区域所需的比特数大致相同。

图10是用于构建QP偏移图的示例方法1000的流程图。在一些实现方式中，图10的一个或多个方法步骤可以由平面编码器406执行。在一些实现方式中，图10的一个或多个方法步骤可以由与平面编码器406分离或包括平面编码器406的另一设备或一组设备执行。

如图10所示，方法1000可以包括确定与平面源图像相关联的信息，平面源图像为非平面表面的投影(步骤1010)。例如，平面编码器406可以从360视频拍摄单元401的另一组件接收与平面源图像相关联的信息，平面源图像是表示非平面内容的图像到平面表面上的投影。非平面内容可以表示球形拍摄场景，或者可以表示任何其它几何形状。例如，非平面内容可以是360图像(例如，360视频流中的图像)。

平面编码器406可以确定与平面源图像相关联的一组块。平面源图像可以在空间上被细分为块，且每个块可以包括一组样本。例如，块可以包括4x4、8x8、4x8、16x16等样本的矩阵。平面编码器406可以确定平面源图像的各个块，并按照如下所述的方式处理各个块。

平面编码器406可以确定用于生成平面源图像的投影技术。例如，平面编码器406可以基于与平面源图像相关联的元数据确定投影技术，或者可以从另一设备接收该信息，或者可以从存储器获取该信息，等。投影技术可以包括等量矩形投影技术、立方体投影技术、二十面体投影技术等。也即，投影技术可以包括将非平面表面映射到平面表面的任何投影技术。

进一步如图10所示，方法1000可以包括从一组块中确定平面源图像中的样本块(步骤1020)。例如，平面编码器406可以确定平面源图像的一组块中将要处理的特定块。首先，平面编码器406可以确定要处理的初始块，并且可以迭代地处理平面源图像的其它块。

进一步如图10所示，方法1000可以包括确定与非平面表面相关的样本块的表面区域(步骤1030)，并基于该样本块的表面区域确定投影增加值(1040)。例如，平面编码器406可以基于与非平面表面相关联的块的表面区域来确定投影增加值。

平面编码器406可以使用与平面源图像相关联的信息来执行逆投影技术。例如，平面编码器406可以基于生成该平面源图像的正向投影技术来执行逆投影技术。也即，平面编码器406可以执行块的逆投影。

平面编码器406可以确定与非平面表面的表面区域相关的块的表面区域。例如，平面编码器406可以对块进行逆投影，并基于对块的逆投影来确定三维空间中的一组坐标。例如，平面编码器406可以确定与逆投影的块相关联的一组四个坐标。另外，平面编码器406可以确定与非平面表面相关联的坐标。例如，平面编码器406可以确定非平面表面的球体的中心坐标。平面编码器406可以基于前述坐标中的任何坐标和/或实施特定技术来确定与非平面表面相关的块的表面区域。

平面编码器406可以基于块的表面区域确定投影增加值。例如，平面编码器406可以通过比较块的表面区域与非平面表面的表面区域来确定投影增加值。

通过确定块的表面区域和/或投影增加值，平面编码器406可以通过识别比其它块表示更大表面区域的块和样本、以及通过为识别出的块分配更多比特，来改善平面源图像的最终编码和压缩。以这种方式，可以更精确地保持非平面内容的完整性。此外，平面编码器406可以通过识别比其它块表示表面区域的更小的块和样本、及通过为识别出的块分配更少比特来改善平面源图像的最终编码和压缩。以这种方式，可以节省网络资源，并且可以改进网络度量。

进一步如图10所示，方法1000可以包括基于投影增加值确定块的量化参数(QP)偏移值(步骤1050)。例如，平面编码器406可以基于投影增加值确定块的QP偏移值。

QP偏移值可以指能与编解码器选择的QP值结合使用的量化步长差值。此外，结合图14的具体描述，QP偏移值可以表示对初始QP值进行调整以生成最终QP值时的调整量。

QP偏移值可以基于与非平面表面相关联的块的位置。例如，与非平面表面相关联的块的位置会影响块的QP偏移值。例如，在球体的情况下，位于球体的赤道附近的块可以包括较小的QP偏移值，因为块的表面区域和/或投影增加值相对较小。此外，接上例，位于球体的极点附近的块可以包括相对较大的QP偏移值，因为块的表面区域和/或投影增加值相对较大。也即，与非平面表面相关的块的位置可以影响块的QP偏移值。通过考虑与非平面表面相关联的块的位置，本文中的一些方案改善了视频质量，提高了视频数据的完整性，节省了网络资源，改善了网络度量值等。也即，通过使用QP偏移值调整QP值，本文中的一些实现方式构成了对360视频数据的编码效率和质量的技术改进。

QP值可以影响编解码器将比特分配给某个块的方式。例如，与较小的QP值相比，较大的QP值可能导致给块分配较少的比特。QP偏移值可以影响最终QP值。以这种方式，相比表示非平面表面的较大表面区域的样本，平面编码器406可以为包括表示较小表面区域的样本的块的选择更粗略的量化(例如，数值上更大的QP值)。

平面编码器406可以确定块的QP偏移值，并且存储该QP偏移值。例如，平面编码器406可以存储块和相应的QP偏移值的映射关系的数据结构。这样，如下所述，平面编码器406可以生成QP偏移图。

进一步如图10所示，方法1000可以包括确定是否平面源图像中的所有块已经经过处理(步骤1060)。例如，平面编码器406可以在处理某个块之后确定是否要处理另一个块。在其它实现方式中，可以并行处理多个块。

进一步如图10所示，如果不是所有块均已经过处理(步骤1060-否)，方法1000可以包括返回步骤1020。例如，平面编码器406可以反复执行步骤1020到1060，以处理平面源图像的所有块。然而，在某些情况下对于某些块，方法1000可能不需要对所有块执行前述的所有步骤，因为基于几何形状和对称性考虑，某些块的投影增加值有时可以通过复制具有相似几何形状和对称位置处的块的该信息来确定。

进一步如图10所示，如果所有块均已经过处理(步骤1060-是)，则方法1000可以包括为平面源图像中的该组块生成QP偏移图(步骤1070)。例如，平面编码器406可以生成QP偏移图，将平面源图像的各个块与对应的QP偏移值进行映射。如上所述，平面编码器406可以存储包括QP偏移图的数据结构，并且可以通过迭代地确定各QP偏移值以及将所确定的QP偏移值加入该图来生成QP偏移图。在某些情况下，不完全的QP偏移图是可接受的，在这些情况下，不需要生成完整的图。例如，当先验知识指示用户对非平面表面的某些区域的兴趣有限或不感兴趣，则编码器将不编码或“跳过”覆盖这些区域的块，也不需要计算这些区域对应的QP偏移值。

平面编码器406可以在初始化期间生成QP偏移图。例如，平面编码器406可以在对各块进行编码之前生成QP偏移图。另外或替代性地，平面编码器406可以任意次数地、和/或基于任意时间帧生成QP偏移图。例如，平面编码器406可以生成一次该图，可以基于一个时间帧更新该图，和/或可以基于另一个度量来更新该图。

以这种方式，平面编码器406可以生成QP偏移图，并且可以在对平面源图像进行编码时利用该QP偏移图，如下面结合图14的描述。

尽管图10示出了方法1000的示例步骤，但是在一些实现方式中，方法1000可以包括与图10中描绘的那些步骤相比更多的步骤、更少的步骤、不同的步骤或不同排列的步骤。另外或替代性地，可以并行执行方法1000的两个或更多个步骤。

换言之，生成QP偏移图的机制可以如下所述。一个环可以遍历投影被细分得到的所有块。块大小可以是例如8x8或16x16的样本。在环内，对于每个块，块的四个坐标可以逆投影到球体上，产生空间中的四个点。逆投影的性质取决于正向投影。空间中的第五个点(即球体的中心)也是已知的。使用这四个或五个点，可以计算球体的表面上这四个点限定的表面区域，并且在一些情况下，可以计算球心。当球心的位置未知时，在一些情况下，可以在假设该四个点形成平行四边形的条件下粗略估计表面区域。在这种情况下，粗略估计的本质可以是，粗略估计的表面区域小于正确投影在球体上的表面区域，如同在矩形投影的情况下，表面区域是平的，而在球体上则是弯曲的。

球体上的表面区域可以与块(例如8x8或16x16的样本)的表面区域相关联，以产生投影增加值。使用已知特性或当前平面视频编解码器的特性来确定该块的QP偏移时，可以使用该投影增加值。例如，在高效视频编码(HEVC)中，该关系可以是，投影增加值增加两倍，可以导致QP变化三。

参考图12，示出了QP偏移图的示例，QP偏移图可以由本文中其它地方描述的机制生成，可以被硬编码到设计中，或者通过其它一些机制提供给编码器。示出了以粗体线(1201)描绘的示例性投影中的球体的四分之一，仍然使用Kavrayskiy-VII投影。投影(1201)由块(1202)的网格覆盖(数字(1202)仅指示单个块)。这些块中的每个块用示例性QP偏移值示出。可以观察到，QP偏移值随着与投影中的纬度/经度点0/0的距离增加而增加。

作为进一步的示例，图13示出了用于立方体和二十面体投影的QP偏移图。在这些投影中，六个立方体和20个二十面体表面可以组合到已经描述的单个平面表面中。由于这六个或20个表面的几何畸变彼此类似，因此仅需要针对投影中所示的正方形或三角形中的一个来描述QP偏移图。

把二十面体投影作为第一示例，示出了完整投影(1301)，其中20个三角形(1302)中的一个被放大。每个三角形可以被某一数量的块覆盖；这里，覆盖该三角形需要水平方向上的六个块以及垂直方向上的五个块，但是根据块大小、所需的全投影大小等，这些数量可以不同。对于每个块(1303)，当使用诸如H.265的视频压缩技术时，整数示出了QP的显著增加。由于每个三角形覆盖球体表面上相对较小的区域，因此几何畸变相对较小，并且因此，QP偏移值的可察觉的变化同样较小。对于诸如H.265的编解码器，只需要对覆盖每个三角形的角的块的QP进行轻微调整。

相反，在立方体投影(1304)的情况下，可能需要度对每个块(1306)的QP偏移值进行显著改变以忠实地表示内容。再次描绘立方体(1305)的一个表面，该表面被六个块划分为六个。对于诸如H.265的编码技术，描绘的36个块中仅四个不需要为了忠实的表示而调整QP，并且因此，仅四个块的QP偏移为0。

本领域技术人员可以依照本申请的要求，很容易地对上述机制进行调整以适用于各种其它投影，以及调整比特率以适应QP偏移特性、块大小、块形状等。

图14是使用最终QP值对块进行编码的示例方法1400的流程图。在一些实现方式中，图14的一个或多个方法步骤可以由平面编码器406执行。在一些实现方式中，图14的一个或多个方法步骤可以由与平面编码器406分离或包括平面编码器406的另一设备或一组设备执行。

如图14所示，方法1400可以包括识别与平面源图像相关联的信息，平面源图像为非平面表面的投影(步骤1410)。例如，平面编码器406可以确定与平面源图像相关联的信息，平面源图像为非平面表面的投影。平面源图像可以与360视频数据流相关联。平面编码器406可以迭代处理平面源图像的每个块。也即，平面编码器406可以反复执行步骤1410到1450关联的操作。

进一步如图14所示，方法1400可以包括确定与平面源图像中的样本块相关联的初始量化参数(QP)值(步骤1420)。例如，平面编码器406可以基于控制信息确定初始QP值。

平面编码器406可以接收控制信息，例如指示变换系数的信息、要使用的特定变换、块大小、量化因子、量化缩放矩阵等的信息。另外，平面编码器406可以接收指示与平面源图像的编码相关联的特定视频编码技术或标准的信息，和/或可以接收与特定视频编码技术或标准相关联的控制信息。

平面编码器406可以通过确定前述信息来确定初始QP值，可以从存储器获取初始QP值，可以初始化初始QP值等。

进一步如图14所示，方法1400可以包括，基于与平面源图像相关联的信息，确定与样本块相关联的QP偏移值(步骤1430)。例如，平面编码器406可以，通过确定与平面源图像相关联的信息，基于QP偏移图来确定特定块的QP偏移值。

平面编码器406可以确定QP偏移图，如上面结合图10所描述的。例如，平面编码器406可以存储包括QP偏移图的数据结构。在一些实现方式中，平面编码器406可以生成QP偏移图，并且通过生成QP偏移图来确定QP偏移图。或者，平面编码器406可以接收QP偏移图，可以获取QP偏移图等。

如上面结合图10描述的，QP偏移图基于非平面表面的投影的特性，和/或基于与非平面表面相关联的各个块的位置。

进一步如图14所示，方法1400可以包括基于初始QP值和QP偏移值确定与样本块相关联的最终QP值(步骤1440)。例如，平面编码器406可以使用初始QP值和QP偏移值执行运算(例如，减法、加法、乘法等)，并且通过执行该运算来确定最终QP值，可以使用数据结构和QP偏移值来确定最终QP值，可以执行查找，等。

这样，平面编码器406可以调整块的QP值(例如，从初始值到最终值)从而调整分配给块的比特数。此外，以这种方式，本文中的一些实现方式允许将更多比特分配给与其它块相比表示非平面表面的更大表面区域的块，从而在解压缩和逆投影之后改善非平面表面的再现质量。此外，以这种方式，本文中的一些实现方式允许减少分配给与其它块相比表示非平面表面的更小表面区域的块的比特数量，从而减少带宽、等待时间、延迟、网络资源消耗等，而不会显著影响360视频数据的质量和完整性。

进一步如图14所示，方法1400可以包括使用最终QP值对样本块进行编码(步骤1450)。例如，平面编码器406可以使用最终QP值对样本块进行编码。平面编码器406可以使用符合视频编码技术或标准的特定技术对块进行编码。此外，平面编码器406可以通过使用最终QP值量化至少一个变换系数，从而对块进行编码。

平面编码器406可以通过确定各个块的最终QP值来迭代地处理平面源图像的每个块，并使用这些最终QP值对相应的块进行编码。或者，平面编码器406可以并行处理任意数量的块。

尽管图14示出了方法1400的示例步骤，但是在一些实现方式中，方法1400可以包括与图14中描绘的那些步骤相比更多的步骤、更少的步骤、不同的步骤或不同排列的步骤。另外或替代性地，可以并行执行方法1400的两个或更多个步骤。

这样，本文中的一些实现方式利用关于非平面表面的投影类型和/或与非平面表面相关的平面源图像的各块的表面区域的信息。通过调整块的QP值，本文中的一些实现方式通过为表示非平面表面的更大表面区域的块分配更多比特来改善360视频数据的质量。此外，还通过调整块的QP值，本文中的一些实现方式通过减少分配给表示非平面表面的较小表面区域的块的比特数来节省网络资源并改善网络度量值。

上述为360图像选择QP以及视频编码的技术可由利用计算机可读指令的计算机软件实现，该计算机软件可物理存储于一个或多个计算机可读介质中。例如，图15示出了适于实现所公开主题的某些实施例的计算机系统1500。

该计算机软件可利用任何合适的机器代码或计算机语言来编码，可采用汇编、编译、链接或类似机制生成指令代码。这些指令代码可由计算机中央处理单元(CPU)、图形处理单元(GPU)等直接执行或通过代码解释、微代码执行等操作来执行。

这些指令可在多种类型的计算机或组件中执行，包括，例如，个人计算机、平板电脑、服务器、智能电话、游戏设备、物联网设备等。

图15所示的计算机系统1500的部件本质上是示例性的，并不旨在对实现本申请的实施例的计算机软件的使用范围或功能提出任何限制。也不应将组件的构造解释为对计算机系统1500的示例性实施例中所说明的部件中的任一者或组合具有任何依赖性或要求。

计算机系统1500可以包括某些人机界面输入设备。这样的人机界面输入设备可以响应于一个或多个人类用户通过，例如，触觉输入(诸如按键、挥动、数据手套移动)、音频输入(诸如语音、拍击)、视觉输入(诸如姿势)、嗅觉输入(未示出)的输入。人机界面设备还可用于捕捉不必直接与人类有意识输入相关的某些介质，例如音频(诸如语音、音乐、环境声音)、图像(诸如扫描的图像、从静止图像相机获得的摄影图像)、视频(诸如二维视频，包括立体视频的三维视频)。

人机界面输入设备可包括以下项中的一种或多种(每一种仅描绘一个)：键盘1501、鼠标1502、触控板1503、触摸屏1510、数据手套1504、操纵杆1505、麦克风1506、扫描仪1507、照相机1508。

计算机系统1500还可以包括某些人机界面输出设备。这样的人机界面输出设备可以通过例如触觉输出、声音、光和气味/味道来刺激一个或多个人类用户的感觉。这种人机界面输出设备可以包括触觉输出设备(例如通过触摸屏1510、数据手套1504或操纵杆1505的触觉反馈，但是也可以有不用作输入设备的触觉反馈设备)、音频输出设备(诸如扬声器1509、耳机(未示出))、可视输出设备以及打印机(未示出)，其中可视输出设备诸如屏幕1510、虚拟现实眼镜(未示出)、全息显示器和烟雾箱(未示出)，屏幕1510包括阴极射线管(CRT)屏幕、液晶显示器(LCD)屏幕、等离子屏幕、有机发光二极管(OLED)屏幕，每一种都具有或不具有触摸屏输入能力，每一种都具有或不具有触觉反馈能力，这些屏幕中的一些能够通过手段(诸如立体图像输出)输出二维可视输出或多于三维的输出。

计算机系统1500还可以包括人类可访问的存储设备及其相关联的介质，诸如光学介质(包括具有CD/DVD的CD/DVDROM/RW 1520)或类似介质1521、拇指驱动器1522、可移动硬盘驱动器或固态驱动器1523、传统磁介质(诸如磁带和软盘(未示出))、基于专用ROM/ASIC/PLD的设备(诸如安全道尔芯片(未示出))，等等。

本领域技术人员还应当理解，结合当前公开的主题使用的术语“计算机可读介质”不包括传输介质、载波或其它瞬时信号。

计算机系统1500还可以包括连接一个或多个通信网络的接口。网络可以是，例如，无线网络、有线网络、光网络。网络还可以是本地网、广域网、城域网、车联网的和工业网络、实时网络、延迟容忍网络等等。网络的示例包括局域网(诸如以太网、无线LAN)、蜂窝网络(包括全球移动通信系统(GSM)、第三代(3G)、第四代(4G)、第五代(5G)、长期演进(LTE)等)、电视有线或无线广域数字网络(包括有线电视、卫星电视和地面广播电视)、车辆和工业网络(包括CANBus)，等等。某些网络通常需要外部网络接口适配器，该外部网络接口适配器连接到某些通用数据端口或外围总线(1549)(诸如计算机系统1500的通用串行总线(USB)端口)；其它的通常通过如下所述连接到系统总线而集成到计算机系统1500的核心中(例如，进入个人计算机系统的以太网接口或进入智能手机计算机系统的蜂窝网络接口)。通过使用这些网络中的任何一个，计算机系统1500可以与其它实体通信。这种通信可以是使用局域或广域数字网络的到其它计算机系统的单向的、仅接收的(例如广播TV)、单向仅发送的(例如到某些CAN总线设备的CAN总线)或双向的通信。可以在如上所述的那些网络和网络接口中的每一个上使用某些协议和协议栈。

上述人机界面设备、人类可访问存储设备和网络接口可以连接到计算机系统1500的内核1540。

内核1540可以包括一个或多个中央处理单元(CPU)1541、图形处理单元(GPU)1542、以现场可编程门阵列(FPGA)1543形式存在的专用可编程处理单元、用于特定任务的硬件加速器1544等。这些设备与只读存储器(ROM)1545、随机存取存储器(RAM)1546、内部大容量存储器(诸如内部非用户可访问硬盘驱动器)、固态驱动器(SSD)等1547一起可以通过系统总线1548连接。在一些计算机系统中，系统总线1248可以以一个或多个物理插头的形式访问，从而使得通过附加CPU、GPU等能够进行扩展。外围设备可直接附接到核心的系统总线1548上，或通过外围总线1549附接到核心的系统总线1548上。外围总线的体系结构包括外围部件互连(PCI)、USB等。

CPU 1541、GPU 1542、FPGA 1543和加速器1544可以执行某些指令，这些指令组合起来可以构成上述计算机代码。该计算机代码可以存储在ROM 1545或RAM 1546中。过渡数据也可以存储在RAM 1546中，而永久数据可以存储在例如内部大容量存储器1547中。通过使用高速缓冲存储器可实现对任何内存设备的快速存储和检索，高速缓冲存储器可与一个或多个CPU 1541、GPU 1542、大容量存储器1547、ROM 1545、RAM 1546等紧密关联。

计算机可读介质上可以具有计算机代码，在计算机代码上执行各种计算机执行的操作。介质和计算机代码可以是为本申请的目的而特别设计和构造的，也可以是计算机软件领域的技术人员所熟知和可用的介质和代码。

作为示例而非限制，具有体系结构1500的计算机系统，特别是内核1540，可以作为处理器(包括CPU、GPU、FPGA、加速器等)提供功能，从而执行包括在一个或多个有形的计算机可读介质中的软件。这种计算机可读介质可以是与如上所述的用户可访问的大容量存储器相关联的介质，以及具有非瞬态性质的核心1540的某些存储器，诸如核心内部大容量存储器1547或ROM 1545。实现本申请的各种实施例的软件可以存储在这种设备中并由核心1540来执行。根据特定需要，计算机可读介质可包括一个或多个存储器设备或芯片。软件可致使内核1540，具体地是其中的处理器(包括CPU、GPU、FPGA等)执行本文所述的特定过程或特定过程的特定部分，包括界定存储在RAM 1546中的数据结构并根据软件所界定的过程修改这种数据结构。另外或作为替代，计算机系统可提供作为逻辑硬连线或以其它方式包括在电路(例如加速器1544)中的功能，该电路可代替软件或与软件一起操作以执行本文所述的特定过程或特定过程的特定部分。在适当的情况下，对软件的引用可以包括逻辑，反之亦然。在适当的情况下，对计算机可读介质的引用可包括存储执行软件的电路(如集成电路(IC))，包括执行逻辑的电路，或两者兼备。本申请包括硬件和软件的任何适当组合。

虽然本公开已对多个示例性实施例进行了描述，但实施例的各种变更、置换和各种替代属于本公开的范围内。因此应理解，本领域技术人员能够设计多种系统和方法，所述系统和方法虽然未在本文中明确展示或描述，但其体现了本公开的原则，因此属于本申请的精神和范围之内。

缩略语

QP：Quantizer Parameter量化参数

VVC:versatile video coding多功能视频编码

SFU：Selective Forwarding Unit选择性转发单元

SEI:Supplementary Enhancement Information补充增强信息

VUI:Video Usability Information视频可用性信息

GOPs:Groups of Pictures图像组

TUs:Transform Units,变换单元

PUs:Prediction Units预测单元

HRD:Hypothetical Reference Decoder假想参考解码器

SNR:Signal Noise Ratio信噪比

GOPs:Groups of Pictures图像组

I picture：Intra Picture帧内图像

P picture：Predictive picture预测图像

B Picture：Bi-directionally Predictive Picture双向预测图像

HEVC:High Efficiency Video Coding高效视频编码

Claims (8)

1.一种调整平面源图像中的样本块的量化参数QP值的方法，所述平面源图像被输入到编码器用于编码，所述方法由所述编码器执行，其特征在于，所述方法包括：

确定与所述平面源图像相关联的信息，所述平面源图像为非平面表面的投影；

确定与所述平面源图像中的样本块相关联的初始QP值；

确定与所述非平面表面相关的所述样本块的表面区域；

比较所述样本块的表面区域与所述非平面表面的表面区域；

通过比较所述样本块的表面区域与所述非平面表面的表面区域，确定投影变化值；

根据所述投影变化值，确定与所述样本块相关联的QP偏移值，其中，所述QP偏移值与所述投影变化值成正比；

基于所述初始QP值和所述QP偏移值，确定与所述样本块相关联的最终QP值；及

使用所述最终QP值对所述样本块进行编码。

2.根据权利要求1所述的方法，其特征在于，进一步包括：

从所述初始QP值中减去所述QP偏移值；以及

通过从所述初始QP值减去所述QP偏移值，确定所述最终QP值。

3.根据权利要求1所述的方法，其特征在于，进一步包括：

生成所述平面源图像中的第一多个块的QP偏移值的图；及

基于所述平面源图像中的第二多个块的所述QP偏移值的图，确定与所述样本块相关联的所述QP偏移值，其中所述第二多个块是所述第一多个块的子集。

4.根据权利要求1所述的方法，其特征在于，所述投影包括等量矩形投影、立方体投影和二十面体投影中的至少一种。

5.根据权利要求1所述的方法，其特征在于，确定与所述非平面表面相关的所述样本块的表面区域包括：

通过对所述样本块进行逆投影，确定三维空间中的一组坐标；及

通过确定所述三维空间中的所述一组坐标，确定所述块的表面区域。

6.一种编码设备，用于调整平面源图像中的样本块的量化参数QP值，，所述平面源图像被输入到编码器用于编码，其特征在于，所述编码设备包括：

第一模块，用于确定与所述平面源图像相关联的信息，所述平面源图像为非平面表面的投影；

第二模块，用于确定与所述平面源图像中的样本块相关联的初始QP值；

第三模块，用于确定与所述非平面表面相关的所述样本块的表面区域；比较所述样本块的表面区域与所述非平面表面的表面区域；通过比较所述样本块的表面区域与所述非平面表面的表面区域，确定投影变化值；根据所述投影变化值，确定与所述样本块相关联的QP偏移值，其中，所述QP偏移值与所述投影变化值成正比；

第四模块，用于基于所述初始QP值和所述QP偏移值，确定与所述样本块相关联的最终QP值；及

第五模块，用于使用所述最终QP值对所述样本块进行编码。

7.一种编码设备，其特征在于，包括：

至少一个存储器，用于存储计算机程序；

至少一个处理器，用于读取所述计算机程序并且按照所述计算机程序的指示执行如权利要求1～5任一项所述的方法。

8.一种非易失性计算机可读介质，存储有指令，其特征在于，所述指令包括：一个或多个指令，当由设备的一个或多个处理器执行时，使所述一个或多个处理器执行如权利要求1～5任一项所述的方法。

Images