CN112119634A - 360图像及视频编码的qp编码方法 - Google Patents

360图像及视频编码的qp编码方法 Download PDF

Info

Publication number
CN112119634A
CN112119634A CN201980026706.6A CN201980026706A CN112119634A CN 112119634 A CN112119634 A CN 112119634A CN 201980026706 A CN201980026706 A CN 201980026706A CN 112119634 A CN112119634 A CN 112119634A
Authority
CN
China
Prior art keywords
value
differential
block
blocks
temporary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980026706.6A
Other languages
English (en)
Other versions
CN112119634B (zh
Inventor
史蒂芬·文格尔
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN112119634A publication Critical patent/CN112119634A/zh
Application granted granted Critical
Publication of CN112119634B publication Critical patent/CN112119634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种在解码器中对已编码视频序列内的已编码的图像或图片进行解码的方法，所述图像或图片表示非平面在平面上的投影，所述解码器利用去量化步骤，所述方法可以包括获取至少一个临时的量化参数差分QP值，所述量化参数差分QP值与多个第一块中的至少一个第一块相关；对与第二块相关的量化参数QP值进行解码；将所述量化参数差分QP值与所述量化参数QP值进行组合，以生成最终量化参数QP值；使用所述最终量化参数QP值对与所述第二块相关的至少一个值进行逆量化。

Description

360图像及视频编码的QP编码方法
技术领域
本申请公开的主题涉及图像和视频的编码与解码，特别是涉及在平面视频编解码器的输入是从非平面内容例如360度视频人工创建的环境中，基于内容的(空间)几何统计关系的量化参数语法元素的有效编码。
背景技术
利用具有运动补偿的图像间预测的视频编码和解码已在几十年来为人所知。未压缩的数字视频可由一系列图像组成，每个图像具有一定的空间维度，例如1920x1080的亮度样本和相应的色度样本。图像序列可具有固定或可变的图像速率(俗称帧率)，例如，每秒60张图像或60Hz。未压缩的视频需要较高的比特率。例如，每个样本为8比特的1080p60 4：2：0(60Hz帧率下的1920x1080亮度样本分辨率)的视频需要接近1.5G比特/秒的带宽。长度为一小时的这种视频需要600G字节以上的存储空间。
视频编码和解码的一个目的是，通过压缩来降低输入视频信号的冗余。在一些情况下，压缩可有助于减小带宽或存储空间的需求，一些情况下可以减少两个数量级甚至更多。可使用无损压缩、有损压缩，或其组合。无损压缩指可从经过压缩的原始信号中重建出原始信号的精确副本的技术。当利用有损压缩时，重建信号可与原始信号不一致，但原始信号和重建信号之间的失真足够小，以使重建信号能够实现所期望的用途。视频领域中广泛采用有损压缩。容许的失真量取决于应用，例如，一些消费型直播应用的用户比电视节目应用的用户能容忍更大的失真。可实现的压缩比可以反映出：可允许/可容忍的失真越大，可使压缩比越高。
视频编码器及解码器可以利用来自数个大类的技术，包括例如运动补偿、变换、量化及熵编码，下面将介绍其中一些技术。
以往，采用上述技术的视频编码常常假设输入内容是单个相机拍摄的。其它输入内容已引起关注，称为立体内容：来自空间对齐的两个相机的相机信号，例如，使两个相机的拍摄轴近似平行，在合适的渲染器中被合并后，在某些条件下观看时可以提供三维图像的错觉。由于这些相机信号高度相关，因此设计了某些视频编码技术，将这两个信号相关联，以获得比对这两个信号单独编码时更高的编码效率。这些技术中的一种被称为多视图编码，在H.264和H.265中以配置文件的形式提供。一些情况下，这种多视图编码可以扩展到对多于两个相机信号的组合编码，同时仍然利用多个相机信号的相似性(如果有的话)。然而，上述意义上的多视图编码仍然在平面相机图像上操作。
近来，已经出现了具有多个拍摄角度可能不平行的相机的输入设备。在其物理布局允许的范围内，这些输入设备能够拍摄形状为球体的空间。这些相机可以在市场上销售，并且在本文中被称为“360相机”，因为它们可以在所有维度上具有360度的拍摄视野。静态图像360相机可以通过使用平移-倾斜摄像头进行操作，该平移-倾斜摄像头上安装有单个相机，该相机带有可以拍摄相对广角的镜头。通过在拍摄之前将平移-倾斜头的两个轴旋转到特定位置，该相机可以拍摄一系列的静态图像，其中各个静态图像具有一定程度的重叠。通过使用与控制平移倾斜摄像头的控制信息相一致的几何信息，这些图像可以经过几何校正并被拼接在一起，以形成可以输入到传统图像处理技术中的平面图像，例如用于压缩和传输的目的。几何校正和拼接过程在本文中称为“投影”。360图像的渲染可涉及与360拍摄场景有关的观察点或观察方向的选择、反向几何校正、去拼接等，以生成适于观看的平面图像。反向几何校正和去拼接在本文中称为“去投影”或“逆投影”。理想情况下，该图像所描绘的场景会与从该观察方向或从所选择的观察点所拍摄的平面图像一致。
上面的概念可扩展到视频的拍摄，因为视频可以由在足够短的时间间隔内拍摄并渲染的一系列静态图像来表示。支持360视频的相机有两种基本型号。第一型号使用快速旋转的摄像头，该摄像头具有一个或多个相机和适当的镜头，这些相机和镜头的布局使得，在一次旋转的过程中能够拍摄到(一个维度上的)360度场景。一个或多个相机和镜头可以经过布置来覆盖另一维度。为了获得例如每秒60帧的帧率，摄像头必须最少以例如每分钟3600转的速度旋转。为了避免相机模糊，选择的相机的拍摄时间可能必须非常短，这可能限制相机传感器接触的光子数，导致产生噪声图像，以及需要高照明的场景，或两者兼备。为了避免在机械方面上依赖旋转机头，其它实现方式可以通过使用许多相机和合适的镜头、且该许多相机和镜头的布局使所有相机和镜头的重叠视野能够拍摄到整个360度球体范围，从而避免上述问题，额外的代价是需要更多相机和镜头。还可能有两种概念的混合形式。因电光组件相对机械组件成本不断降低，似乎存在从机械360相机转向多镜头相机的趋势。此外，一些设计忽略了某些，通常是相对狭窄的拍摄角度，基于这样的理解，360相机作为物理设备，必然需要安装在某处、以及观看者可能对安装的硬件兴趣有限的认知。就像上面的静态相机一样，许多支持360的相机将(在同一时刻拍摄，或利用旋转机头在近乎同一时刻拍摄的)图像几何投影在一起，以形成表示相机的360度视野的一系列投影图像。
将代表球形采集场景的图像投影到平面上，这是数世纪来为人熟知且充分研究的问题。一种众所周知的投影例如为1569年引入的麦卡托投影(Mercator projection)，所述麦卡托投影为圆柱投影，且仍用于许多世界地图。从那时起，设计了许多其它投影，包括例如等量矩形投影(equirectangular projection)、圆锥投影(conic projection)、阿伊托夫投影(Aitoff projection)、汉麦尔投影(Hammer projection)、可利投影(Plate Carreeprojection)等。参考图1，示出了(许多)投影的一些，这些投影适合于将球形采集场景图像映射到平面上，已经在360度视频压缩的背景下研究了这些投影。参考图1，示出了可适于将球形拍摄场景映射到平面上的几种投影(许多投影中的几个)，这些投影在360度视频压缩的可能应用已经经过了研究。图中示出了球体(101)，以及该球体到平面地图的三个投影。第一个投影被称为等量矩形投影(102)。第二个投影为立方体投影，其中球体的表面被投影在六个正方形的、平面正方形表面上，这六个表面表示在每个维度上具有90度角位移的六个方向。这六个正方形可以排列在单个平面上，生成立方体地图(103)。这里呈现的平面上立方体表面的排列方式为若干选择中的一种。最后，二十面体投影将球体表面投射到二十面体(104)(由20个三角形平面组成的三维对称几何图形)的表面上，并且这20个三角形表面可以被布置在单个平面(105)上。再次，对于单个平面(105)上的20个三角形表面的空间分配存在许多合理的选择。
这些以及其它合适的投影格式试图将球形表面映射到平面。平面表示方式必然不可能是球体的几何特征在数学上的正确表示方式，而是具有一定量的误差的近似表示方式。其中，从空间的角度上，误差所在的位置以及误差会变得多大取决于投影的性质。例如，众所周知，等距投影显著夸大了远离赤道的纬度处的经度间的距离。例如，在等距投影的世界地图中，格陵兰岛被描绘得比澳州还大，然而实际上它仅有描绘的表面积的大约1/3。
发明内容
根据本申请公开的一个方面，一种在解码器中对已编码视频序列内的已编码的图像或图片进行解码的方法，所述图像或图片表示非平面在平面上的投影，所述方法包括：获取至少一个临时的差分QP值，所述差分QP值与多个第一块中的至少一个第一块相关；对与第二块相关的量化参数QP值进行解码；将所述差分QP值与所述量化参数QP值进行组合，以生成最终量化参数QP值；使用所述最终量化参数QP值对与所述第二块相关的至少一个值进行逆量化；其中，如果所述第二块中各个样本对应的空间位置包含在所述多个第一块中的单个第一块中，则所述差分QP值设置为所述单个第一块的临时的差分QP值；或如果所述第二块中各个样本的相应的空间位置包含在所述多个第一块中的至少两个第一块中，则根据所述至少两个第一块中的至少一个第一块的临时的差分QP值，设置所述差分QP值。
根据本申请公开的一个方面，一种设备可包括：至少一个存储器，配置为存储程序代码；至少一个处理器，配置为读取所述程序代码、且如所述程序代码所指示的操作，以：获取至少一个临时的差分QP值，所述差分QP值与多个第一块中的至少一个第一块相关；对与第二块相关的量化参数QP值进行解码；将所述差分QP值与所述量化参数QP值进行组合，以生成最终量化参数QP值；使用所述最终量化参数QP值对与所述第二块相关的至少一个值进行逆量化；其中，如果所述第二块中各个样本对应的空间位置包含在所述多个第一块中的单个第一块中，则所述差分QP值设置为所述单个第一块的临时的差分QP值；或如果所述第二块中各个样本的相应的空间位置包含在所述多个第一块中的至少两个第一块中，则根据所述至少两个第一块中的至少一个第一块的临时的差分QP值，设置所述差分QP值。\
根据本申请公开的一个方面，一种非易失性计算机可读介质，存储有指令，所述指令包括：由设备的一个或多个处理器执行一个或多个指令时，使一个或多个处理器：获取至少一个临时的差分QP值，所述差分QP值与多个第一块中的至少一个第一块相关；对与第二块相关的量化参数QP值进行解码；将所述差分QP值与所述量化参数QP值进行组合，以生成最终量化参数QP值；使用所述最终量化参数QP值对与所述第二块相关的至少一个值进行逆量化；其中，如果所述第二块中各个样本对应的空间位置包含在所述多个第一块中的单个第一块中，则所述差分QP值设置为所述单个第一块的临时的差分QP值；或如果所述第二块中各个样本的相应的空间位置包含在所述多个第一块中的至少两个第一块中，则根据所述至少两个第一块中的至少一个第一块的临时的差分QP值，设置所差分QP值。
附图说明
根据下面的详细描述及附图，本申请公开的主题的进一步特征、性质及各种优点将更显而易见，其中：
图1为根据相关技术的数种投影的示意图。
图2为根据本申请一些实施例的通信系统的简化框图的示意图。
图3为根据本申请一些实施例的通信系统的简化框图的示意性图示。
图4为360通信/流传输系统的简化框图的示意性图示。
图5为根据本申请一些实施例的解码器的简化框图的示意性图示。
图6为根据本申请一些实施例的编码器的简化框图的示意性图示。
图7为本申请实施例所述的投影的示意性图示。
图8为本申请实施例所述的具有天梭指示线(Tissot Indicatrix)的地球表面的等量矩形投影的示意性图示。
图9为本申请实施例所述的地球表面的Kavrayskiy-VII投影的示意性图示。
图10是本申请实施例中的用于生成差分QP值表的示例过程的流程图
图11为本申请实施例所述的投影细节的示意性图示。
图12为本申请实施例中适于地球表面的Kavrayskiy-VII投影的差分QP值表的示意图。
图13为本申请实施例中适于投影的差分QP值表的示意性图示。
图14为本申请实施例中在解码器中重建样本的流程图。
图15为本申请实施例中生成最终QP值以及通过最终QP值进行逆量化的流程图。
图16为本申请实施例的计算机系统的示意性图示。
要解决的技术问题
360视频压缩系统可通过首先使用例如等距柱状投影、立方投影等将360视频序列的图像映射到一个平面图片来进行操作，且所述平面图片或其序列可受到压缩。平面图像及视频的压缩技术是公知的，但在每个样本的相关度大致相似的情况下，为输入参数优化所述压缩技术。但是，在投影步骤中引入的几何误差和误差会使得平面图像，例如平面表示的某些区域和样本，与其他区域相比不那么相关，因为它们相对于投影的球体上对应的区域，只表示了较小的表面积。为了在测量表示球体表面(而不是平面投影)的性能时获得最高的率失真性能，在平面压缩技术中需要某些优化，因为它在未修改的形式中是次优的。尤其是，可能需要以某种方式调整量化参数，来反映投影中的单个样本所表示的球体表面积。为了在球体上的逆投影后维持同样的保真度，投影的某些区域可能需要较粗的量化，而其它区域需要较细的量化。可根据视频压缩技术或标准的特性和投影的几何属性的组合来导出所需的量化器调整量(下文为QP差值)。在编码视频比特流中用信号通知已调整的QP是可能的。然而，此类信号表示以消耗比特位为代价，当编码器和解码器基于投影特性的公知常识并根据所需的QP差值调整对应的QP时，可以节省比特位(从而提高系统的率失真性能)。
具体实施方式
图2是根据本申请公开的实施例的通信系统(200)的简化框图。通信系统(200)包括至少两个终端装置，所述至少两个终端装置可通过例如网络(250)彼此通信。对于单向数据传输，第一终端装置(210)可对本地的视频数据进行编码以通过网络(250)传输到另一终端装置(220)。第二终端装置(220)可从网络(250)接收其他终端装置的已编码视频数据，对已编码视频数据进行解码，并显示恢复的视频数据。单向数据传输在媒体服务等应用中是较常见的。
图2示出了提供的支持已编码视频数据的双向传输的另一对终端装置(230，240)，例如，所述双向传输可在视频会议期间发生。对于双向数据传输，终端装置(230，240)中的每一个终端装置可对本地采集的视频数据进行编码，以通过网络(250)传输到另一终端装置。终端装置(230，240)中的每一个终端装置还可以接收由另一终端装置传输的已编码视频数据，且可对已编码视频数据进行解码，并在本地显示装置上显示恢复的视频数据。
在图2中，终端装置(210-240)可为服务器、个人计算机和智能电话，但本申请公开的原理可不限于此。本申请公开的实施例适用于膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。网络(250)表示在终端装置(210-240)之间传送已编码视频数据的任何数目的网络，包括例如有线和/或无线通信网络。通信网络(250)可在电路交换和/或分组交换信道中交换数据。该网络可包括通信网络、局域网、广域网和/或互联网。出于本论述的目的，除非在下文中有所解释，否则网络(250)的架构和拓扑对于本申请公开的操作来说可能是无关紧要的。
作为实施例，图3示出视频编码器和视频解码器在流式传输环境中的设置方式。本申请所公开主题可同等地适用于其它支持视频的应用，包括例如视频会议、数字TV、在包括CD、DVD、存储棒等的数字介质上存储压缩视频等等。
流式传输系统可包括采集子系统(313)，所述采集子系统可包括视频源(301)，例如，数码相机，所述视频源(301)创建未压缩的视频样本流(302)。相较于已编码的视频码流，视频样本流(302)被描绘为粗线以强调其高数据量，视频样本流(302)可由耦接到相机(301)的编码器(303)处理。编码器(303)可包括硬件、软件或软硬件组合，以使能或实施如下文更详细描述的所公开主题的各方面。相较于样本流，已编码的视频码流(304)被描绘为细线以强调较低数据量，已编码的视频码流(304)可存储在流式传输服务器(305)上以供将来使用。一个或多个流式传输客户端(306，308)可访问流式传输服务器(305)，以检索已编码的视频码流(304)的副本(307，309)。客户端(306)可包括视频解码器(310)，视频解码器(310)对已编码视频码流的传入副本(307)进行解码，且产生可在显示器(312)或另一呈现装置(未描绘)上呈现的输出视频样本流(311)。在一些流式传输系统中，可根据某些视频编码/压缩标准对视频码流(304，307，309)进行编码。那些标准的示例包括ITU-T H.265。正在开发的视频编码标准非正式地称为下一代视频编码，或VVC(Versatile Video Coding，VVC)。所公开的主题可用于VVC标准的上下文中。
通信系统200或图3的流式传输系统可扩展来启用360视频。参考图4，此类360系统的布局可如下。360视频采集单元(401)可包括支持360的摄像机(402)和投影仪(404)，所述投影仪(404)可将输入的360图像(403)投影为平面图像(405)。相较于压缩信号，例如已编码视频序列(407)，360图像(403)和平面图像(405)被描绘为黑体箭头以强调高数据速率。平面编码器(406)可将平面图像转换为一个或多个已编码视频序列(407)，已编码视频序列(407)还可包括例如与由投影仪(404)生成或从投影仪(404)获取的投影相关的附带元信息。已编码视频序列(407)通过网络(未描绘)被直接转发给解码器/呈现装置，或可存储在流式传输服务器(408)上。流式传输服务器(408)可将已编码视频序列直接流式传输给支持360视频的端点(409)，端点(409)可包括(平面)解码器(410)和去投影器(411)。去投影器(411)可对投影仪(404)产生的投影进行还原，从而生成一个或多个图像序列，该图像序列适于在设备上显示，尤其适合诸如虚拟现实护目镜(未示出)、支持伪3D的屏幕(412)等的设备。去投影器可以通过用户界面(未描绘)来控制，该用户界面允许用户选择观察角度、观察点等。此数据流可能需要由360全景视频呈现，如投影仪(404)和编码器(406)投影并压缩，以流式传输给支持360的端点(409)。
作为替代方案或附加方案，在一些情况下，接收端点可能不具有对重构全360度场景或逆投影所需要的所有数据进行解码的连接或计算资源。在这种情况下，传统的(不支持360的)端点(413)可以将(例如从它的用户界面获得的)与观察点相关的元信息(414)发送到网络中的360处理器(415)。360处理器可以基于所获得的元信息执行支持360的端点的任务，然后在传统的(平面优化的)编码器中对渲染的平面视频(416)进行重新编码以供传统端点(413)使用。在这样的场景中，计算量大的360场景的解码和逆投影可以转移到基于云的资源中处理，例如360处理器(415)。如所描述的，360处理器可以充当代码转换器，因为它具有解压缩和压缩两种机制。
一些情况下，一些360数据在被正确生成并被适当标记后，可以被选择性转发单元(SFU)删除。例如，如果投影格式是立方体投影，那么，对于任何给定的观察点，六个平面正方形表示中的最少三个、最多五个，不需要渲染(假设投影源为非透明源球体)。假设比特流被正确地生成，例如通过使用切片、图块、层、视图等，经过正确配置的SFU，由于已经知道观察点(例如由于已经接收到诸如360处理器(415)所使用的元数据)，可以省略不必要的360数据的转发操作。这样的SFU可以被视为不包括完整代码转换器所需的一些信号处理技术的轻量级代码转换器。
图5可以为根据本发明的实施例的视频解码器(310)的功能性框图。
接收器(510)可以接收要由解码器(310)解码的一个或多个已编码视频序列；在同一实施例或另一实施例中，每次接收一个已编码视频序列，其中每个已编码视频序列的解码独立于其它已编码视频序列。可从信道(512)接收已编码视频序列，所述信道可以是通向存储有已编码视频数据的存储装置的硬件/软件链路。接收器(510)可接收已编码视频数据以及其它数据，例如，已编码音频数据和/或辅助数据流，这些数据可被转发到使用它们的各实体(未标示)。接收器(510)可将已编码视频序列与其它数据分开。为了对抗网络抖动，缓冲存储器(515)可以耦合在接收器(510)和熵解码器/解析器(520)之间(此后称为“解析器”)。当接收器(510)正在从具有足够带宽和可控性的存储/转发设备或从同步网络接收数据时，可能不需要缓冲器(515)，或缓冲器(515)可以较小。为了在诸如因特网的尽力而为分组网络上使用，可能需要缓冲器(515)，缓冲器(515)可以相对较大并且最好可以自适应调整大小。
视频解码器(310)可以包括解析器(520)，用于从熵编码视频序列中重建符号(521)。这些符号的类别包括用于管理解码器(310)操作的信息，还可能包括用于控制诸如显示器(312)的呈现设备的信息，该呈现设备不是解码器的组成部分，但是可以耦合到解码器，如图3所示。呈现设备的控制信息可以是补充增强信息(SEI消息)或视频可用性信息(VUI)参数集片段(未示出)的形式。解析器(520)可以解析/熵解码所接收的已编码视频序列。已编码视频序列的编码可遵循视频编码技术或标准，且可遵循所属领域的技术人员周知的原理，包括可变长度编码、霍夫曼编码、具有或不具有上下文敏感性的算术编码等。解析器(520)可以基于与某个组相对应的至少一个参数，从已编码视频序列中提取视频解码器中像素的子组中的至少一个像素子组的子组参数集。子组可包括图片组(Group ofPictures，GOP)、图片、图块、切片、宏块、编码单元(Coding Unit，CU)、块、变换单元(Transform Unit，TU)、预测单元(Prediction Unit，PU)等。熵解码器/解析器还可以从已编码视频序列中提取例如转换系数、量化参数(QP)值、运动向量等信息。
解析器(520)可以对从缓冲器(515)接收的视频序列执行熵解码/解析操作，以便创建符号(521)。解析器(520)可以接收编码数据，并且选择性地解码特定符号(521)。此外，解析器(520)可以确定是否将特定符号(521)提供给运动补偿预测单元(553)、定标器/逆转换单元(551)、帧内预测单元(552)或环路滤波器(556)。
符号(521)的重建可涉及多个不同单元，这取决于已编码视频图像或已编码视频图像的一部分的类型(例如：帧间图片和帧内图片、帧间块和帧内块)以及其它因素。涉及哪些单元以及涉及方式可由解析器(520)从已编码视频序列中解析出的子组控制信息控制。为了简洁起见，未描述解析器(520)与下文的多个单元之间的此类子组控制信息流。
除了已经提到的功能块之外，解码器(310)可以在概念上被细分为如下所述的多个功能单元。在商业约束下运行的实际实施中，这些单元中的许多单元彼此紧密交互并且可以至少部分地彼此集成。然而，出于描述所公开主题的目的，从概念上细分成下文的功能单元是适当的。
第一单元是缩放器/逆变换单元(551)。定标器/逆转换单元(551)从解析器(520)接收量化的转换系数以及控制信息，包括使用何种转换、块的大小、量化因子、量化缩放矩阵等，这些均作为符号(521)。它可以输出包括采样值的块，这些块可以被输入到聚合器(555)中。
在一些情况下，缩放器/逆变换单元(551)的输出样本可属于帧内编码块；即：该块不使用来自先前已重建的图片的预测性信息，而是可以使用来自当前图片的先前已重建部分的预测性信息。此类预测信息可由帧内图片预测单元(552)提供。在一些情况下，帧内图像预测单元(552)使用从当前(部分重建的)图像(556)获取的周围已经重建的信息来生成与正在重建的块的大小和形状相同的块。在一些情况下，聚合器(555)基于每个样本，将帧内预测单元(552)生成的预测信息添加到由缩放器/逆变换单元(551)提供的输出样本信息中。
在其它情况下，缩放器/逆变换单元(551)的输出样本可属于帧间编码的、可能经过运动补偿的块。在这种情况下，运动补偿预测单元(553)可以访问参考图像存储器(557)以获取用于预测的样本。在根据属于该块的符号(521)对所提取的样本进行运动补偿之后，这些样本可以由聚合器(555)添加到定标器/逆转换单元的输出(在这种情况下称为残差样本或残差信号)，以便生成输出样本信息。运动补偿单元获取的预测样本在参考图像存储器内的地址可以由运动向量控制，运动补偿单元可以得到符号(521)形式的该运动向量，符号(521)可以具有，例如，X、Y和参考图像分量。在使用子样本精确运动向量时，运动补偿还可以包括从参考图像存储器获取的样本值的插值操作、运动向量预测机制等。
聚合器(555)的输出样本可在环路滤波器单元(556)中经过各种环路滤波技术处理。视频压缩技术可以包括环路内滤波器技术，该环路内滤波器技术由已编码视频码流中的参数来控制并且作为来自解析器(520)的符号(521)由环路滤波器单元(556)获得。视频压缩技术还可以对元信息作出响应，该元信息是在对已编码图像或已编码视频序列的(解码顺序上的)先前部分进行解码的期间获得的。视频压缩技术还可以先前重建的并经过环路滤波的样本值作出响应。
环路滤波器单元(556)的输出可以是样本流，所述样本流可输出到呈现设备(312)，也可以存储在参考图像存储器(55 67)中供后续的帧间图像预测使用。
一旦被完全重建，某些已编码图像就可用作参考图像以用于将来的预测。一旦已编码图像被完全重建并且已经被识别为参考图像(例如由解析器(520))，则当前参考图像(55 68)可以成为参考图像存储器(557)的一部分，并且可以在开始对后续编码图像进行重建之前重新分配新的当前图像存储器。
视频解码器(310)可根据标准中记载的预定义视频压缩技术，如ITU-TRec.H.265，来执行解码操作。已编码视频序列可遵循视频压缩技术文档或标准中，特别是其概要文档中，指定的视频压缩技术或标准的语法，从这个意义上来说，已编码视频序列遵循所使用的视频压缩技术或标准指定的语法。为了遵循规定，还要求已编码视频序列的复杂度处于视频压缩技术或标准的层级所限定的范围内。在一些情况下，层级限制最大图片大小、最大帧率、最大重建样本速率(以例如每秒兆(mega)个样本为单位进行测量)、最大参考图片大小等。在一些情况下，由层级设定的限制可通过假想参考解码器(HypotheticalReference Decoder，HRD)规范和在已编码视频序列中用信号表示的HRD缓冲器管理的元数据来进一步限定。
一个实施例中，接收器(510)可连同已编码视频一起接收附加(冗余)数据。所述附加数据可以是已编码视频序列的一部分。所述附加数据可由视频解码器(310)使用于对数据进行正确解码和/或更准确地重建原始视频数据。附加数据可以是，例如，时间、空间或信噪比(signal noise ratio，SNR)增强层、冗余切片、冗余图像、前向纠错码等形式。
图6可为根据本申请公开的实施例的视频编码器(303)的框图。
编码器(303)可从视频源(301)(并非编码器的一部分)接收视频样本，视频源(303)可采集将由编码器(303)编码的视频图像。
视频源(301)可以以数字视频样本流的形式提供将由编码器(303)编码的源视频序列，该数字视频样本流可以具有任何合适的比特深度(例如：8位、10位、12位……)、任何颜色空间(例如BT.601YCrCb、RGB……)和任何合适的样本结构(例如YCrCb 4：2：0、YCrCb4：4：4)。在媒体服务系统中，视频源(301)可以是存储先前已准备的视频的存储装置。在视频会议系统中，视频源(303)可以是采集本地图像信息作为视频序列的相机。可将视频数据提供为多个单独的图像，当按顺序观看时，这些图像被赋予运动效果。图片自身可构建为空间像素阵列，其中，取决于所用的取样结构、色彩空间等，每个像素可包括一个或多个样本。所属领域的技术人员可以很容易理解像素与样本之间的关系。下文侧重于描述样本。
一个实施例中，编码器(303)可实时或在应用需要的任何其它时间约束下，对源视频序列的图像进行编码并压缩为已编码视频序列(643)。施行适当的编码速度是控制器(650)的一个功能。控制器控制如下所述的其它功能单元并且功能性地耦接到这些单元。为了简洁起见，图中未标示耦接。由控制器设置的参数可以包括速率控制相关参数(图像跳跃、量化器、速率失真优化技术的λ值……)、图像大小、图像组(GOP)布局、最大运动向量搜索范围等。本领域技术人员很容易理解控制器(650)具有的其它功能，这些功能属于针对特定系统设计而优化的视频编码器(303)。
一些视频编码器以本领域技术人员容易认识到的“编码环路”操作。作为过度简化的描述，编码环路可以包括编码器(630)的编码部分(此后称为“源编码器”)(负责基于要编码的输入图像和参考图像创建符号)，以及嵌入编码器(303)中的(本地)解码器(633)，该解码器(633)重建符号以创建(远程)解码器也会创建的采样数据(因为在所公开的主题中所考虑的视频压缩技术中，符号与编码视频码流之间的任何压缩是无损的)。重建的样本流可输入到参考图像存储器(634)。由于符号流的解码产生与解码器位置(本地或远程)无关的比特级精确结果，因此参考图像存储器中的内容在本地编码器与远程编码器之间也是按比特位精准对应的。换言之，编码器的预测部分“看到”的参考图像采样与解码期间使用预测时所“看到”的采样值完全相同。参考图像同步性(以及如果(例如由于信道误差)不能保持同步性，而导致的漂移)的基本原理是本领域技术人员公知的。
“本地”解码器(633)的操作可以与上面已经结合图5详细描述的“远程”解码器(310)的操作相同。然而，还是简要地参考图5，由于符号可用，并且由熵编码器(645)和解析器(520)对编码视频序列的符号的解码可以是无损的，所以解码器(310)的熵解码部分，包括信道(512)、接收器(510)、缓冲器(515)和解析器(520)，可能不能完全在本地解码器(633)中实现。
此时可以观察到，除存在于解码器中的解析/熵解码之外的任何解码器技术，也必定以基本上相同的功能形式存在于对应的编码器中。可简化编码器技术的描述，因为编码器技术与全面描述的解码器技术互逆。更详细的描述仅在某些区域必要，并且已在下文提供。
作为其操作的一部分，源解码器(630)可执行运动补偿预测编码，参考视频序列中一个或多个先前编码的帧(称为“参考帧”)对输入帧进行预测性编码。以此方式，编码引擎(632)对输入帧的像素块和被选作该输入帧的预测参考的参考帧的像素块之间的差异进行编码。
本地视频解码器(633)可基于源编码器(630)创建的符号，对指定为参考帧的帧的已编码视频数据进行解码。有利的是，编码引擎(632)的操作可为有损过程。当已编码视频数据可在视频解码器(图6中未示)处被解码时，重建的视频序列通常可以是带有一些误差的源视频序列的副本。本地视频解码器(633)复制可由视频解码器对参考帧执行的解码过程，且可使得重建的参考帧存储在参考图像缓存(634)中。以此方式，编码器(303)可在本地存储已重建的参考帧的副本，所述副本与将由远端视频解码器获得的已重建参考帧具有相同内容(不存在传输误差)。
预测器(635)可针对编码引擎(632)执行预测搜索。即，对于待编码的新帧，预测器(635)可在参考图像存储器(634)中搜索适合作为新图像的预测参考的样本数据(作为候选参考像素块)或一些元数据，如参考图像运动矢量、块的形状等。预测器(635)可基于逐像素块的样本块操作，以找到合适的预测参考。在一些情况下，根据预测器(635)获得的搜索结果，可确定输入图像可具有从参考图像存储器(634)中存储的多个参考图像取得的预测参考。
控制器(650)可管理视频编码器(630)的编码操作，包括，例如对用于已编码视频数据的参数和子组参数进行设置。
可在熵编码器(645)中对所有上述功能单元的输出进行熵编码。熵编码器根据例如哈夫曼编码、可变长度编码、算术编码等本领域技术人员已知的技术对各种功能单元生成的符号进行无损压缩，从而将所述符号转换成编码视频序列。
传输器(640)可缓冲由熵编码器(645)创建的已编码视频序列，为通过通信信道(660)进行传输做准备，该通信信道(660)可以是通向存储已编码视频数据的存储设备的硬件/软件链路。传输器(640)可将来自视频编码器(630)的已编码视频数据与待传输的其它数据合并，所述其它数据例如是已编码音频数据和/或辅助数据流(未示出来源)。
控制器(650)可管理视频编码器(303)的操作。在编码期间，控制器(650)可以为每个已编码图像分配某一已编码图像类型，但这可能影响可应用于相应的图像的编码技术。例如，通常可以将图像指定为以下帧类型之一：
内部图像(I图像)可以是不需要利用序列中其它任何帧作为预测源进行编码和解码的图像。一些视频编解码器允许不同类型的帧内图像，包括例如独立解码器刷新图像(Independent Decoder Refresh Pictures)。所属领域的技术人员了解I图片的变形及其相应的应用和特征。
预测图像(P图像)可以是可使用帧内预测或帧间预测来编码和解码的图像，帧内预测或帧间预测使用至多一个运动向量和参考索引来预测每个块的采样值。
双向预测图像(B图像)可以是可使用帧内预测或帧间预测来编码和解码的图像，使用至多两个运动向量和参考索引来预测每个块的样本值。类似地，多个预测性图像可使用多于两个参考图像和相关联的元数据用于重建单个块。
源图像通常可以在空间上细分为多个采样块(例如，每个采样为4×4、8×8、4×8或16×16的块)，并且在逐块的基础上编码。这些块可参考其它(已编码的)块进行预测编码，其它块可以根据应用于块的相应图像的编码任务来确定。例如，I图像的块可进行非预测编码，或该块可参考同一图像中已编码的块来进行预测编码(空间预测或帧内预测)。P图像的像素块可进行非预测编码，或参考一个先前已编码的参考图像进行空间预测编码或时间预测编码。B图像的块可进行非预测编码，或参考一个或两个先前编码的参考图像进行空间预测编码或时间预测编码。
视频编码器(303)可根据如ITU-T Rec.H.265建议书的预定视频编码技术或标准执行编码操作。在操作中，视频编码器(303)可执行各种压缩操作，包括利用输入视频序列中的时间和空间冗余进行预测编码操作。因此，已编码视频数据可符合所用的视频编码技术或标准指定的语法。
一个实施例中，传输器(640)可在传输已编码的视频时传输附加数据。视频编码器(630)可将此类数据作为已编码视频序列的一部分。附加数据可包括时间/空间/SNR增强层、例如冗余图像和切片等其它形式的冗余数据、补充增强信息(EnhancementInformation，SEI)消息、可视可用性信息(Visual Usability Information，VUI)参数集片段等。
对平面视频源中的样本进行编码或解码时，从来看，所有样本可以表示具有大致相同的角度间隔的、垂直于拍摄轴并且与相机的观察点距离足够远的投影平面。例如，参考图7，由相机(705)拍摄的投影表面(701)在垂直维度上，被划分成样本(702、703、704)。样本大小不成比例；在实际系统中，相机的垂直分辨率可以是720、1080或更多样本，而不仅为三个。可以观察到，表示样本的角度间隔(706、708)大致相同。假设场景还算平坦并且近似垂直于拍摄轴(709)，样本(702、703、704)也具有大致相同的大小。这种关系是已知的，因为摄影和相机镜头的出现是为了生成尽可能近似的这种关系，即使在需要光学校正的情况下，例如相对于场景的大小，相机到被拍摄场景的距离较近。
仍然参考图7，现在考虑使用等量矩形投影的简化表示对球体(710)(仅描绘了球体的四分之一)的场景进行拍摄，其中仅描绘了一个维度。假设拍摄轴(711)垂直于球体的赤道(未示出)。示出了具有相同角宽度(未示出)的三个样本(713、714、715)。直觉上，看起来很明显的是，靠近赤道的样本所表示的球体的表面区域比描绘两极区域的样本所表示的球体表面区域更小。例如，考虑表示球体的最北纬度的样本715。通过分隔器(716、717)示出的它的相关表面区域显著大于与样品713相关的表面区域。
虽然上面的示例看起来似乎极端，但应当注意，实际应用中普遍使用的一些投影，描绘的某些极地区域比在球面上测量的较准确的表面区域大许多倍。参见上面针对“格陵兰/澳大利亚”的示例。
图8示出了地球表面的等量矩形投影(801)。示出了著名的天梭指示线的示例。叠加在地图上的每个椭圆(802、803、804)表示球体上的圆形表面区域。假设投影由具有相同样本大小的样本地图表示。显然，在远离赤道的区域中，例如由椭圆(804)表示的区域，在投影中的占据更大的表面区域，因此使用了比例如赤道上的椭圆(802)更多的样本来表示球体表面上的相同面积。
图9示出了投影的另一示例，即地球表面的Kavrayskiy-VII投影(901)，也与天梭指示线重叠。该投影还分别包括一些纬度和经度“线”；更具体地，恒定纬度或经度的线。在球体的表面上，每条线与其它线以正确的角度相交，并且假设每个相交点之间的表面距离相同。但是，在该投影中，特别是在某些极地区域中以及远离子午线的区域，“正方形”表面区域由非正方形区域表示。考虑覆盖非洲中北部的表面区域(902)。该区域靠近赤道和子午线，近似地(而不是准确地)由正方形表示。作为极端反例，考虑表面区域(903)，它覆盖了阿拉斯加的大部分。这个(在球体上近似正方形的)表面区域的形状严重畸变。这在图11中示出。示出了图9的投影的节选，其中仅描绘了西北半球(903)的一小部分；其中有样品块(905)。表面区域(1102)的形状可以逆投影(1103)到正方形表面(1104)中，正方形表面(1104)是球体上的表面区域的非常近似的区域。在该附图的底部，相同的表面区域(903)和块(905)的投影如上所示。注意(在投影正方形上)的块(1105)的非正方形的、畸变的几何形状。进一步注意，从块(905)到畸变的块(1105)的逆投影是将区域(903)简化成四边形的简化操作。如果考虑到投影(1106、1107)中的表面区域的边缘的弯曲性质，则块(1105)的畸变还会更严重。
由于将球形场景投影到平面图像上以进行压缩，当该图像的某些样本表示球形场景中比较多的表面区域或角宽度时，这些样本在解压缩和去投影之后会更多地影响球形场景的忠实再现。类似地，例如当使用等量矩形投影时，描绘球体的赤道区域的样本可以覆盖相对小的表面区域，这使得它们对球形场景的忠实再现的影响不大。针对平面图像和视频进行了优化的传统图像和视频编解码器不一定解决这种不均等。
必须承认的是，平面编码器也可以具有与所使用的投影的性质和特性有关的信息。此外，在实际的系统设计中，该信息也需要例如通过比特流告知去投影器。没有这些信息，去投影器可能无法对由平面解码器产生的样本流进行有意义的操作。由于编码器和解码器系统都可以轻松获取关于所使用的投影的附加信息(必须从发送系统传输到接收系统，以使去投影器能够对投影器创建的场景进行逆投影)，因此视频编码本身不需要对该信息进行再次编码；编码器可以假设解码器具有该信息的先验知识。当然，该附加信息也可以包含在视频比特流中，在这种情况下，可能不需要以其它方式发送该信息。
根据实施例，针对投影的360视频的编码进行了优化的平面视频编码器可以基于该编码器对所使用的投影的特性的了解对它产生的编码视频序列进行优化。
理想情况下，平面视频编码器在对投影后的360材料进行压缩时，可以将重点放在表示360球体的较大拍摄角或表面区域的那些样本，对于表示360球体的较小拍摄角或表面区域的那些样本反而可以给予较少的关注。以等量矩形投影为例，假设360球体的所有表面区域对用户的相关性相似(不一定是地图投影的情况，因为用户很少对两极区域的细节感兴趣——但对于360视频，这可能是一个有效的假设)，更合理的做法是重点处理覆盖两极区域的样本而较少关注覆盖赤道区域的样本。
许多视频编解码器允许通过选择合适的量化参数(QP)对少量样本，即变换单元、块、宏块等(此后为“块”)，所使用的比特数进行较精细地调整。
在同一实施例或另一实施例中，视频编码器根据对360投影的性质的先验知识，相比于包括表示较大拍摄角度或表面区域的样本的块，为包括表示较小拍摄角度或表面区域的样本的块选择粗略的量化(数值较高的QP)。该选择可以在编码器中本地实现，并且不需要改变解码器，也不需要改变该视频压缩技术或标准本身中来实现上述方案。根据同一实施例或另一实施例，编码器可以生成(可能仅生成一次，在初始化期间，以及在投影的细节已知的情况下)并且使用delta量化参数(后文称为“差分量化参数QP值”，简称差分QP值)的图，该图可以与由(经平面优化的)速率控制选择的QP值结合(例如：添加、稍后归一化)使用。在同一实施例或另一实施例中，可以基于一个块去投影到球体上的表面区域创建差分QP值表。在许多视频编解码器中，QP步长大小与使用的比特数之间的近似关系是已知的。例如，H.265中可能存在三个QP步长对应双倍比特速率的近似关系。在同一实施例或另一实施例中，差分QP值的计算所使用的关系中可以通过适当的方式加入QP与比特率之间的上述关系以及去投影的块的表面面积。
例如，简要参考图9，考虑块(904)。该块位于赤道旁边，且可用于归一化。因此，该块以及它右侧和左侧的相邻块(以及紧邻赤道以南的相邻块)可以使用0作为差分QP值。
现在考虑覆盖阿拉斯加北部的块(905)。当将该块去投影到球体上时，该块的表面区域可以通过天梭投影的椭圆的大小的相对增加来估计，并且可以估计该块小于赤道块的表面区域的一半。因此，可以更粗略地量化该块，具体可以通过3个量化步长，因为在H.265中，三个量化步长可以导致比特率的大约减半。当一致应用这样的方案时，不论投影产生怎样的几何伪影，表示球体上任何给定区域所需的比特数大致相同。
图10是用于构建差分QP值表的示例方法1000的流程图。在一些实现中，图10的一个或多个过程块可以由平面编码器406执行。在一些实现中，图10的一个或多个过程块可以由与平面编码器406分离或包括平面编码器406的另一设备或一组设备执行。
参考图10，填充差分QP值表的机制可以如下所述。一个环(1001)可以遍历投影细分出的所有块。块大小可以是例如8x8或16x16的样本。在环内，对于每个块，块的四个坐标可以逆投影(1002)到球体上，产生空间中的四个点。逆投影的性质取决于正向投影。空间中的第五个点(即球体的中心)也是已知的。使用这四个或五个点，可以计算(1003)球体的表面上这四个点限定的表面区域，并且在一些情况下，可以计算球心。当球心的位置未知时，在一些情况下，可以在假设该四个点形成平行四边形的条件下粗略估计表面区域。在这种情况下，粗略估计的性质可以是粗略估计的表面区域小于正确投射在球体上的表面区域，如同在矩形投影的情况下，表面区域是平的，而在球体上它将是弯曲的。
球体上的表面区域可以与块(例如8x8或16x16的样品)的表面区域相关联，以产生投影增加值(1004)。使用已知特性或当前平面视频编解码器的特性来确定该块的差分QP值时，可以使用该投影增加值。例如，在高效视频编码(HEVC)中，该关系可以是，投影增加值增加两倍，可以导致QP变化三倍。
尽管图10示出了过程1000的示例性块，但在一些实施方式中，过程1000可包括附加的过程块、较少的过程块、不同的过程块、或与图10中的描述所不同的排列布置的过程块框。另外或替代地，可并行执行过程1000的两个或更多的过程块。
参考图12，示出了差分QP值表的示例，差分QP值表可以由上面的机制生成，被硬编码到设计中，或者通过其它一些机制提供给编码器。示出了以粗体线(1201)描绘的示例性投影中的球体的四分之一，仍然使用Kavrayskiy-VII投影。投影(1201)由块(1202)的网格覆盖(数字(1202)仅指示单个块)。这些块中的每个块用示例性差分QP值示出。可以观察到，差分QP值随着与投影中的纬度/经度点0/0的距离增加而增加。
等量矩形投影(未描绘)的差分QP值表的生成可以包括：在每行的块中选择具有相同值的QP偏移，以及选择行之间逐渐增大的差分QP值，这些差分QP值随着行离赤道的距离增加而增加。确切地说，发生从一个差分QP值变到下一个差分QP值(行之间)的变化取决于视频压缩技术或标准的特性，包括QP值减小与位率增大之间的关系。
作为进一步的示例，图13示出了用于立方体和二十面体投影的差分QP值表。在这些投影中，六个立方体和20个二十面体表面可以组合到已经描述的单个平面中。由于这六个或20个表面的几何畸变彼此类似，因此仅需要针对投影中所示的正方形或三角形中的一个来描述差分QP值表。
把二十面体投影作为第一示例，示出了完整投影(1301)，其中20个三角形(1302)中的一个被放大。每个三角形可以被某一数量的块覆盖；这里，覆盖该三角形需要水平方向上的六个块以及垂直方向上的五个块，但是根据块大小、所需的全投影大小等，这些数量可以不同。对于每个块(1303)，当使用诸如H.265的视频压缩技术时，整数示出了QP的显著增加。由于每个三角形覆盖球体表面上相对小的区域，因此几何畸变相对较小，并且因此，差分QP值的可察觉的变化同样较小。对于诸如H.265的编解码器，只需要轻微调整覆盖每个三角形的角的块的QP。
相反，在立方体投影(1304)的情况下，可能需要每个块(1306)的差分QP值的显著变化以忠实地表示内容。再次描绘立方体(1305)的一个表面，该表面被六个块划分为六个。对于诸如H.265的编码技术，描绘的36个块中仅四个不需要为了忠实的表示而调整QP，并且因此，仅四个块的QP偏移为0。
对于立方及其它等面体的投影，包括二十面体的投影，差分QP值的增大可以是差分QP值在等面体中心的从0开始、随着离中心的距离在各个方向均匀增加而增大。增大的速率可随距离增加而增大，以反应随着接近表面边缘，采集角度逐渐增大。
本领域技术人员可以依照本申请的要求，容易地使上述机制适应各种其它投影以及使比特率适应QP偏移特性、块大小、块形状等。
使用某些投影时，差分QP值在图片、或图块、或切片的编码期间可以变化数次。每一次变化都可能以消耗一些比特位。然而，通过使用差分QP值表，这些变化是可预测的。如已描述的，该差分QP值表可以基于视频压缩技术或标准的先验知识、以及编码器及解码器中已知的投影特性，在编码器和解码器中进行构建。
在同一实施例或另一实施例中，解码器可基于投影特性和对压缩技术或标准的先验知识构建已经描述的差分QP值表。在同一实施例或另一实施例中，投影特性可以作为位于例如序列参数集、图片参数集、序列头、图片群组(GOP)头、图片头、切片头或类似语法结构(高级语法结构，即下文的HLS结构)中的一个或多个规范的语法元素，用于已编码视频码流内部的解码器。在同一实施例或另一实施例中，投影特性还可以通过带外机制用于解码器。
投影特性的编码可采用许多形式。在同一实施例或另一实施例中，单个语法元素或少量语法元素的摘要值可用来直接或间接地指示差分QP值表的生成机制，所述差分QP值表的生成机制出自于视频编码技术规范中定义的那些多个机制，所述视频编码技术规范可以是与解码器所基于的相同规范，或不同的规范。直接指示可以指直接参考差分QP值表生成机制。间接指示可以指例如参考一个投影，该投影的规范可以包括差分QP值表生成机制和其它特性例如平面到球体表面的几何映射或对应的反向映射。例如，可有语法元素“projection_id”，编码为无符号整数，例如8位的。此语法元素允许使用信号通知多达256个投影，每个投影可包含它自己的差分QP值表生成机制。HLS结构的语法图表中对应的条目可以采用以下形式表示：
projection_id u(8)
还可以有其它的差分QP值表的编码形式。例如，差分QP值表可直接被编码成高级语法结构。此类编码可以是具有适当数值范围的整数值的二维矩阵的形式，适当数值范围可例如0到7，其中该矩阵的每个元素表示一个nxn样本的块，其中n可例如为4、8或16。例如，使用常用于视频压缩技术或标准规范工作的语法，且假设块大小为2的幂的方形块，“planar_size x”和“planar_size y”表示平面图片的大小，均以样本为单位来测量，这样的差分QP值表可表示为：
Figure BDA0002730541270000191
在上面的语法图表中，“x”和“y”为运行变量，“planar_size_x”和“planar_size_y”表示以样本为单位测量的(投影的)平面的大小，“blocksize”表示根据差分QP值进行编码的块的大小。可以使块的大小与最小变换的大小相同，例如4x4。在该情况下，“qp_delta”语法元素的数量可能相对较大，但该较大的数量可以使投影中各个样本的相关性非常接近。还可选择较大的块大小，这样可以节省用于直接编码的差分QP值表的比特位，因为需要编码的差分QP值较少；然而，并不能使投影中各个样本的相关性更接近。许多相关的视频压缩技术或标准使用变换，且对变换系数进行量化。基于该原因，以小于最小变换块大小的粒度对差分QP值表进行编码的好处有限。可以在诸如“log2_blocksize”(log2，因为通常使用的变换大小是2的幂)之类的语法元素中对用于差分QP值表的块的大小进行编码。
在同一实施例或另一实施例中，可对此类直接编码的差分QP值表进行适当地熵编码，例如通过使用适当的运行行程长度编码(Run-Length Coding)机制、本领域公知的通用压缩算法，例如.zip等。本领域的技术人员可容易为差分QP值表设计此类编码机制。
上述两种机制与可实现类似目的的其它机制之间的选择可取决于应用需求，以及此类应用可能具有的压缩、计算及存储约束。
另外，纳入语法元素“enable_qpmap”是明智的，这样可以使用差分QP值表。当用于该语法元素的值为“假”时，平面解码器无法使用差分QP值表。然而，当用于那个语法元素的值为“真”时，解码器可以按照上述的方式使用差分QP值表，即在编码期间通过将差分QP值添加到QP值或从QP值中减去差分QP值，来实现其平面解码过程。
图14为根据实施例中在解码器中重建样本的示例性过程1400的流程图。在一些实施方式中，图14的一个或多个过程块可由解码器执行。在一些实施方式中，图14的一个或多个过程块可由与解码器分离或包括解码器的另一设备或一群设备执行。
在同一实施例或另一实施例中，解码器可如下这样使用差分QP值表。参考图14，在解码过程的早期，对差分QP值表进行解码(1401)，并存储在存储器内(1402)。在平面解码器中，解码照常继续进行。特别地，解码可以是对来自码流的QP值进行解码(1403)。该QP值与变换单元(Transform Unit，TU)相关。解码器知道该变换单元的空间位置。在此点，解码器访问存储的差分QP值表(1404)，并识别出与所述块相关的一个或多个差分QP值(例如，临时的差分QP值)。
差分QP值表的TU大小及块大小不一定必须相同，且差分QP值表的TU和块的边缘不一定必须对齐。如果TU的空间区域完全包含在差分QP值表的块内，则可能仅有单个差分QP值可直接应用，例如通过添加该差分QP值到解码的TU的QP值中或从解码的TU的QP值中减去该差分QP值，来获得最终QP值(1405)。如果TU的空间区域跨越差分QP值表的多个块，那么确定可用的差分QP值就并不是那么直接，因为各个块的差分QP值表中的差分QP值可能不同。出现某些替代方案，且视频编码技术或标准可指定以下的一个或多个替代方案、或本领域技术人员可以容易地识别另一合适的替代方案。
作为第一替代方案，根据至少部分TU需要精细表示的理论，选择可能的最精细量化；换言之，选择的差分QP值，当已解码的QP值加上该选择的差分QP值/从已解码的QP值减去该选择的差分QP值时，可以得到数值最小的最终QP值。
作为第二替代方案，可通过例如计算中值、均值或可用的差分QP值的任一其它组合方式，利用适当的取整对各种差分QP值进行组合。
作为第三替代方案，应该注意到TU以及QP偏移块覆盖了表示为样本的空间区域。在某些视频压缩技术及标准中，既不使用TU也不使用QP偏移块，样本空间可能存在重叠；也就是说，每个样本位置只恰好属于一个TU和一个差分QP值。对于那些视频压缩技术及标准，可通过确定TU中的某个样本位置落入差分QP值表的哪个块，来选择TU的差分QP值。TU中的此类样本位置可包括例如TU的左上角样本位置、中心样本位置或TU中的任一其它样本位置。然后，用于TU解码的差分QP值可以是与差分QP值表中包括该样本位置的块相关联的差分QP值。
只要编码器和解码器使用相同的组合机制，可避免不一致和编码漂移。视频压缩技术规范或标准可容易地定义使用哪种组合。
上面获得的最终QP值可用于变换系数的逆量化(1406)。然后，对去量化的变换系数进行逆变换(1407)，以获得遵循视频编码技术或标准(未示出)的用于进一步处理的临时样本值。继续处理以下一个TU，直到编码视频序列(未示出)结束为止。
尽管图14示出了过程1400的示例性过程块，但在一些实施方式中，过程1400可以包括额外的过程块、更少的过程块、不同的过程块、或与图14描绘的那些布置不同的过程块。另外或替代地，可并行执行过程1400的两个或更多的过程块。
图15本申请实施例中生成最终QP值以及通过最终QP值进行逆量化的流程图。在一些实施方式中，图15的一个或多个过程块可由解码器执行。在一些实施方式中，图15的一个或多个过程块可由与解码器分离或包括解码器的另一设备或一群设备执行。
如图15所示，过程1500可以包括获取至少一个临时的差分量化参数(QuantizerParameter,QP)值，所述差分QP值与多个第一块中的至少一个第一块相关(块1501)。
如图15进一步所示的，过程1500可以包括对与第二块相关的QP值进行解码(块1502)。
如图15进一步所示的，过程1500可以包括确定第二块中各个样本对应的空间位置是否包含在所述多个第一块中的单个第一块中(块1503)。
如图15进一步所示的，如果所述第二块中各个样本的相应的空间位置包含在所述多个第一块中的单个第一块中(块1503—是)，则过程1500可以包括将差分QP值设置为所述单个第一块的临时的差分QP值(块1504)。
如图15进一步所示的，如果所述第二块中各个样本对应的空间位置包含在所述多个第一块中的多个第一块中(块1503-否)，过程1500可以包括根据所述多个第一块中的多个第一块中至少一个第一块的临时的差分QP值，设置所述差分QP值(块1505)。
如图15进一步所示的，过程1500可以包括将差分QP值与QP值组合，以生成最终QP值(块1506)。
如图15进一步所示的，过程1500可以包括使用所述最终QP值对与所述第二块相关的至少一个值进行逆量化(块1507)。
尽管图15示出了过程1500的示例性框，但在一些实施方式中，过程1500可以包括额外的过程块、更少的过程块、不同的过程块、或与图15中描绘的那些布置不同的过程块。另外或替代地，可并行执行过程1500的两个或多个过程块。
上述为360图像选择QP以及视频编码的技术可由利用计算机可读指令的计算机软件实现，该计算机软件可物理存储于一个或多个计算机可读介质中。例如，图16示出了适于实现所公开主题的某些实施例的计算机系统1600。
该计算机软件可利用任何合适的机器代码或计算机语言来编码，可采用汇编、编译、链接或类似机制生成指令代码。这些指令代码可由计算机中央处理单元(CPU)、图形处理单元(GPU)等直接执行或通过代码解释、微代码执行等操作来执行。
这些指令可在多种类型的计算机或组件中执行，包括，例如，个人计算机、平板电脑、服务器、智能电话、游戏设备、物联网设备等。
图16所示的计算机系统1600的部件本质上是示例性的，并不旨在对实现本申请的实施例的计算机软件的使用范围或功能提出任何限制。也不应将组件的构造解释为对计算机系统1600的示例性实施例中所说明的部件中的任一者或组合具有任何依赖性或要求。
计算机系统1600可以包括某些人机界面输入设备。这样的人机界面输入设备可以响应于一个或多个人类用户通过，例如，触觉输入(诸如按键、挥动、数据手套移动)、音频输入(诸如语音、拍击)、视觉输入(诸如姿势)、嗅觉输入(未示出)的输入。人机界面设备还可用于捕捉不必直接与人类有意识输入相关的某些介质，例如音频(诸如语音、音乐、环境声音)、图像(诸如扫描的图像、从静止图像相机获得的摄影图像)、视频(诸如二维视频，包括立体视频的三维视频)。
人机界面输入设备可包括以下项中的一种或多种(每一种仅描绘一个)：键盘1601、鼠标1602、触控板1603、触摸屏1610、数据手套1604、操纵杆1605、麦克风1606、扫描仪1607、照相机1608。
计算机系统1600还可以包括某些人机界面输出设备。这样的人机界面输出设备可以通过例如触觉输出、声音、光和气味/味道来刺激一个或多个人类用户的感觉。这种人机界面输出设备可以包括触觉输出设备(例如通过触摸屏1610、数据手套1604或操纵杆1605的触觉反馈，但是也可以有不用作输入设备的触觉反馈设备)、音频输出设备(诸如扬声器1609、耳机(未示出))、可视输出设备以及打印机(未示出)，其中可视输出设备诸如屏幕1610、虚拟现实眼镜(未示出)、全息显示器和烟雾箱(未示出)，屏幕1610包括阴极射线管(CRT)屏幕、液晶显示器(LCD)屏幕、等离子屏幕、有机发光二极管(OLED)屏幕，每一种都具有或不具有触摸屏输入能力，每一种都具有或不具有触觉反馈能力，这些屏幕中的一些能够通过手段(诸如立体图像输出)输出二维可视输出或多于三维的输出。
计算机系统1600还可以包括人类可访问的存储设备及其相关联的介质，诸如光学介质(包括具有CD/DVD的CD/DVDROM/RW 1620)或类似介质1621、拇指驱动器1622、可移动硬盘驱动器或固态驱动器1623、传统磁介质(诸如磁带和软盘(未示出))、基于专用ROM/ASIC/PLD的设备(诸如安全道尔芯片(未示出))，等等。
本领域技术人员还应当理解，结合当前公开的主题使用的术语“计算机可读介质”不包括传输介质、载波或其它瞬时信号。
计算机系统1600还可以包括连接一个或多个通信网络的接口。网络可以是，例如，无线网络、有线网络、光网络。网络还可以是本地网、广域网、城域网、车联网的和工业网络、实时网络、延迟容忍网络等等。网络的示例包括局域网(诸如以太网、无线LAN)、蜂窝网络(包括全球移动通信系统(GSM)、第三代(3G)、第四代(4G)、第五代(5G)、长期演进(LTE)等)、电视有线或无线广域数字网络(包括有线电视、卫星电视和地面广播电视)、车辆和工业网络(包括CANBus)，等等。某些网络通常需要外部网络接口适配器，该外部网络接口适配器连接到某些通用数据端口或外围总线(1649)(诸如计算机系统1600的通用串行总线(USB)端口)；其它的通常通过如下所述连接到系统总线而集成到计算机系统1600的核心中(例如，进入个人计算机系统的以太网接口或进入智能手机计算机系统的蜂窝网络接口)。通过使用这些网络中的任何一个，计算机系统1600可以与其它实体通信。这种通信可以是使用局域或广域数字网络的到其它计算机系统的单向的、仅接收的(例如广播TV)、单向仅发送的(例如到某些CAN总线设备的CAN总线)或双向的通信。可以在如上所述的那些网络和网络接口中的每一个上使用某些协议和协议栈。
上述人机界面设备、人类可访问存储设备和网络接口可以连接到计算机系统1600的内核1640。
内核1640可以包括一个或多个中央处理单元(CPU)1641、图形处理单元(GPU)1642、以现场可编程门阵列(FPGA)1643形式存在的专用可编程处理单元、用于特定任务的硬件加速器1644等。这些设备与只读存储器(ROM)1645、随机存取存储器(RAM)1646、内部大容量存储器(诸如内部非用户可访问硬盘驱动器)、固态驱动器(SSD)等1647一起可以通过系统总线1648连接。在一些计算机系统中，系统总线1648可以以一个或多个物理插头的形式访问，从而使得通过附加CPU、GPU等能够进行扩展。外围设备可直接附接到核心的系统总线1648上，或通过外围总线1649附接到核心的系统总线1648上。外围总线的体系结构包括外围部件互连(PCI)、USB等。
CPU 1641、GPU 1642、FPGA 1643和加速器1644可以执行某些指令，这些指令组合起来可以构成上述计算机代码。该计算机代码可以存储在ROM 1645或RAM 1646中。过渡数据也可以存储在RAM 1646中，而永久数据可以存储在例如内部大容量存储器1647中。通过使用高速缓冲存储器可实现对任何内存设备的快速存储和检索，高速缓冲存储器可与一个或多个CPU 1641、GPU 1642、大容量存储器1647、ROM 1645、RAM 1646等紧密关联。
计算机可读介质上可以具有计算机代码，在计算机代码上执行各种计算机执行的操作。介质和计算机代码可以是为本申请的目的而特别设计和构造的，也可以是计算机软件领域的技术人员所熟知和可用的介质和代码。
作为示例而非限制，具有体系结构1600的计算机系统，特别是内核1640，可以作为处理器(包括CPU、GPU、FPGA、加速器等)提供功能，从而执行包括在一个或多个有形的计算机可读介质中的软件。这种计算机可读介质可以是与如上所述的用户可访问的大容量存储器相关联的介质，以及具有非瞬态性质的核心1640的某些存储器，诸如核心内部大容量存储器1647或ROM 1645。实现本申请的各种实施例的软件可以存储在这种设备中并由核心1640来执行。根据特定需要，计算机可读介质可包括一个或多个存储器设备或芯片。软件可致使内核1640，具体地是其中的处理器(包括CPU、GPU、FPGA等)执行本文所述的特定过程或特定过程的特定部分，包括界定存储在RAM 1646中的数据结构并根据软件所界定的过程修改这种数据结构。另外或作为替代，计算机系统可提供作为逻辑硬连线或以其它方式包括在电路(例如加速器1644)中的功能，该电路可代替软件或与软件一起操作以执行本文所述的特定过程或特定过程的特定部分。在适当的情况下，对软件的引用可以包括逻辑，反之亦然。在适当的情况下，对计算机可读介质的引用可包括存储执行软件的电路(如集成电路(IC))，包括执行逻辑的电路，或两者兼备。本申请包括硬件和软件的任何适当组合。
虽然本公开已对多个示例性实施例进行了描述，但实施例的各种变更、置换和各种替代属于本公开的范围内。因此应理解，本领域技术人员能够设计多种系统和方法，所述系统和方法虽然未在本文中明确展示或描述，但其体现了本公开的原则，因此属于本申请的精神和范围之内。
附录A：首字母缩略词
QP：Quantizer Parameter量化参数
VVC:versatile video coding多功能视频编码
SFU：Selective Forwarding Unit选择性转发单元
SEI:Supplementary Enhancement Information补充增强信息
VUI:Video Usability Information视频可用性信息
GOP:Group of Pictures图像组
CU：Coding Unit编码单元TU:Transform Unit变换单元
PU:Prediction Unit预测单元
HRD:Hypothetical Reference Decoder假想参考解码器
SNR:Signal Noise Ratio信噪比
GOPs:Groups of Pictures图像组
I picture：Intra Picture帧内图像
P picture：Predictive picture预测图像
B Picture：Bi-directionally Predictive Picture双向预测图像
HEVC:High Efficiency Video Coding高效视频编码HLS:High Level Syntax高级语法

Claims (20)

1.一种在解码器中对已编码视频序列内的已编码的图像或图片进行解码的方法，其特征在于，所述图像或图片表示非平面在平面上的投影，所述方法包括：
获取至少一个临时的差分量化参数QP值，所述差分QP值与至少一个第一块相关；
对与第二块相关的量化参数QP值进行解码；
将所述差分QP值与第二块相关的所述QP值进行组合，以生成最终量化参数QP值；
使用所述最终QP值，对与所述第二块相关的至少一个值进行逆量化；
其中，如果所述第二块中各个样本对应的空间位置包含在单个第一块中，则将所述差分QP值设置为所述单个第一块的临时的差分QP值；或
如果所述第二块中各个样本的相应的空间位置包含在所述多个第一块中的至少两个第一块中，则根据所述至少两个第一块中的至少一个第一块的临时的差分QP值，设置所述差分QP值。
2.根据权利要求1所述的方法，其特征在于，所述组合是将所述差分QP值与所述第二块相关的QP值相加。
3.根据权利要求1所述的方法，其特征在于，所述组合是从所述第二块相关的QP值减去所述差分QP值。
4.根据权利要求1所述的方法，其特征在于，所述获取至少一个临时的差分QP值，所述差分QP值与多个第一块中的至少一个第一块相关，包括：创建与所述多个第一块相关的差分QP值表。
5.根据权利要求4所述的方法，其特征在于，所述创建与所述多个第一块相关的差分QP值表包括：对与投影格式相关的至少一个语法元素进行解码，并使用所述投影格式的特征创建所述差分QP值表。
6.根据权利要求4所述的方法，其特征在于，所述创建与所述多个第一块相关的差分QP值表包括：对表示所述差分QP值表中的差分QP值的多个整数值进行解码，其中，所述多个整数值以熵编码的格式包含在码流内。
7.根据权利要求1所述的方法，进一步包括：
通过计算临时的差分QP值的均值并进行取整，对所述多个第一块中的至少两个第一块的临时的差分QP值进行组合。
8.根据权利要求1所述的方法，其特征在于，所述解码器使用逆变换；以及
所述与所述第二块相关的至少一个值为所述第二块的变换系数。
9.根据权利要求1所述的方法，进一步包括：
根据所述至少两个第一块的临时的差分QP值，确定一个临时的差分QP值，该临时的差分QP值和所述第二块相关的QP值组合时，生成数值最小的最终QP值；
将生成数值最小的最终QP值的所述临时的差分QP值设为所述差分QP值。
10.根据权利要求9的所述方法，进一步包括：
从所述第二块相关的所述QP值中减去生成数值最小的最终QP值的所述临时的差分QP值，以生成所述最终的QP值。
11.根据权利要求1所述的方法，进一步包括：
通过计算临时的差分QP值的中值，对所述多个第一块中的至少两个第一块的临时的差分QP值进行组合。
12.一种设备，其特征在于，包括：
至少一个存储器，配置为存储程序代码；
至少一个处理器，配置为读取所述程序代码、且如所述程序代码所指示的操作，以：
获取至少一个临时的差分量化参数QP值，所述差分QP值与至少一个第一块相关；
对与第二块相关的量化参数QP值进行解码；
将所述差分QP值与第二块相关的所述QP值进行组合，以生成最终量化参数QP值；
使用所述最终QP值，对与所述第二块相关的至少一个值进行逆量化；
其中，如果所述第二块中各个样本对应的空间位置包含在单个第一块中，则将所述差分QP值设置为所述单个第一块的临时的差分QP值；或
如果所述第二块中各个样本的相应的空间位置包含在所述多个第一块中的多个至少两个第一块中，则根据所述至少两个第一块中的至少一个第一块的临时的差分QP值，设置所述差分QP值。
13.根据权利要求12所述的设备，其特征在于，所述程序代码配置为使所述至少一个处理器：
将所述差分QP值与所述第二块相关的QP值相加，以生成所述最终QP值。
14.根据权利要求12所述的设备，其特征在于，所述程序代码配置为使所述至少一个处理器：
从所述第二块相关的QP值减去所述差分QP值，以生成所述最终QP值。
15.根据权利要求12所述的设备，其特征在于，所述程序代码配置为使所述至少一个处理器：
通过创建所述多个第一块相关的差分QP值表，获取所述至少一个临时的差分QP值。
16.根据权利要求12所述的设备，其特征在于，所述程序代码配置为使至少一个处理器：
通过计算临时的差分QP值的均值并进行取整，对所述多个第一块中的至少两个第一块的临时的差分QP值进行组合。
17.根据权利要求12所述的设备，其特征在于，所述程序代码配置为使所述至少一个处理器：
通过计算临时的差分QP值的中值，对所述多个第一块中的至少两个第一块的临时的差分QP值进行组合。
18.根据权利要求12所述的设备，其特征在于，所述程序代码配置为使所述至少一个处理器：
通过对与投影格式相关的至少一个语法元素进行解码，并使用所述投影格式的特征创建所述差分QP值表。
19.根据权利要求12所述的设备，其特征在于，所述设备使用逆变换；以及
所述与所述第二块相关的至少一个值为所述第二块的变换系数。
20.一种非易失性计算机可读介质，其特征在于，存储有指令，所述指令包括：，由设备的一个或多个处理器执行一个或多个指令时，使一个或多个处理器：
获取至少一个临时的差分量化参数QP值，所述差分QP值与至少一个第一块相关；
对与第二块相关的量化参数QP值进行解码；
将所述差分QP值与第二块相关的所述QP值进行组合，以生成最终量化参数QP值；
使用所述最终QP值，对与所述第二块相关的至少一个值进行逆量化；
其中，如果所述第二块中各个样本对应的空间位置包含在单个第一块中，则将所述差分QP值设置为所述单个第一块的临时的差分QP值；或
如果所述第二块中各个样本的相应的空间位置包含在所述多个第一块中的至少两个第一块中，则根据所述至少两个第一块中的至少一个第一块的临时的差分QP值，设置所述差分QP值。
CN201980026706.6A 2018-10-01 2019-05-16 对360度图像及视频编码或解码的方法、设备及存储介质 Active CN112119634B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/148,380 2018-10-01
US16/148,380 US10638146B2 (en) 2018-10-01 2018-10-01 Techniques for QP coding for 360 image and video coding
PCT/US2019/032579 WO2020072101A1 (en) 2018-10-01 2019-05-16 Techniques for qp coding for 360 image and video coding

Publications (2)

Publication Number Publication Date
CN112119634A true CN112119634A (zh) 2020-12-22
CN112119634B CN112119634B (zh) 2022-10-25

Family

ID=69946936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980026706.6A Active CN112119634B (zh) 2018-10-01 2019-05-16 对360度图像及视频编码或解码的方法、设备及存储介质

Country Status (6)

Country Link
US (1) US10638146B2 (zh)
EP (1) EP3861733A4 (zh)
JP (1) JP6983463B2 (zh)
KR (1) KR102548327B1 (zh)
CN (1) CN112119634B (zh)
WO (1) WO2020072101A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422802A (zh) * 2022-03-28 2022-04-29 浙江智慧视频安防创新中心有限公司 一种基于码本的自编码机图像压缩方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021104773B3 (de) 2021-02-26 2022-03-17 IGZ Ingenieurgesellschaft für logistische Informationssysteme mbH Kommissionierroboter mit optimierter trajektorie und verfahren zum steuern eines kommissionierroboters
WO2024080917A1 (en) * 2022-10-13 2024-04-18 Telefonaktiebolaget Lm Ericsson (Publ) Quantization parameter (qp) coding for video compression

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180020241A1 (en) * 2016-07-15 2018-01-18 Qualcomm Incorporated Signaling of quantization information in non-quadtree-only partitioned video coding
WO2018045108A1 (en) * 2016-09-02 2018-03-08 Vid Scale, Inc. Method and system for signaling of 360-degree video information
WO2018060328A1 (en) * 2016-09-30 2018-04-05 Thomson Licensing Method and apparatus for calculating quantization parameters to encode and decode an immersive video
US20180278936A1 (en) * 2017-03-23 2018-09-27 Qualcomm Incorporated Adaptive parameters for coding of 360-degree video

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082450B2 (en) 2001-08-30 2006-07-25 Nokia Corporation Implementation of a transform and of a subsequent quantization
US7492820B2 (en) 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
WO2011142279A1 (ja) * 2010-05-13 2011-11-17 シャープ株式会社 符号化装置、復号装置、およびデータ構造
US20120230418A1 (en) 2011-03-08 2012-09-13 Qualcomm Incorporated Coding of transform coefficients for video coding
US10298939B2 (en) * 2011-06-22 2019-05-21 Qualcomm Incorporated Quantization in video coding
EP2774359B1 (en) 2011-11-04 2015-12-30 Panasonic Intellectual Property Corporation of America Deblocking filtering with modified image block boundary strength derivation
KR101698657B1 (ko) * 2012-07-04 2017-01-20 인텔 코포레이션 파노라마 기반 3d 비디오 코딩
US20140079135A1 (en) * 2012-09-14 2014-03-20 Qualcomm Incoporated Performing quantization to facilitate deblocking filtering
US20150373327A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Block adaptive color-space conversion coding
US10638133B2 (en) * 2018-01-31 2020-04-28 Qualcomm Incorporated Delta quantization parameter (QP) coding options for video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180020241A1 (en) * 2016-07-15 2018-01-18 Qualcomm Incorporated Signaling of quantization information in non-quadtree-only partitioned video coding
WO2018045108A1 (en) * 2016-09-02 2018-03-08 Vid Scale, Inc. Method and system for signaling of 360-degree video information
WO2018060328A1 (en) * 2016-09-30 2018-04-05 Thomson Licensing Method and apparatus for calculating quantization parameters to encode and decode an immersive video
US20180278936A1 (en) * 2017-03-23 2018-09-27 Qualcomm Incorporated Adaptive parameters for coding of 360-degree video

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HENDRY等: "HG8: Adaptive QP for 360º video ERP projection（JVET-F0049_v3）", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 6TH MEETING: HOBART, AU, 31 MARCH – 7 APRIL 2017》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422802A (zh) * 2022-03-28 2022-04-29 浙江智慧视频安防创新中心有限公司 一种基于码本的自编码机图像压缩方法
CN114422802B (zh) * 2022-03-28 2022-08-09 浙江智慧视频安防创新中心有限公司 一种基于码本的自编码机图像压缩方法

Also Published As

Publication number Publication date
CN112119634B (zh) 2022-10-25
US20200107037A1 (en) 2020-04-02
EP3861733A4 (en) 2021-09-08
WO2020072101A1 (en) 2020-04-09
KR102548327B1 (ko) 2023-06-28
US10638146B2 (en) 2020-04-28
JP6983463B2 (ja) 2021-12-17
EP3861733A1 (en) 2021-08-11
KR20200139775A (ko) 2020-12-14
JP2021516932A (ja) 2021-07-08

Similar Documents

Publication Publication Date Title
JP7443455B2 (ja) 映像復号化のための方法、装置及びコンピュータ・プログラム
US11212438B2 (en) Loop filter padding for 360-degree video coding
CN113228659B (zh) 帧内模式编解码的方法和装置
CN113574873B (zh) 对已编码视频流的子码流进行解码的方法和计算机设备
CN112385216B (zh) 用于多行帧内预测的帧内插值滤波器的方法、装置和介质
CN113785593A (zh) 用于概括的trisoup几何编码的技术和装置
CN112119634B (zh) 对360度图像及视频编码或解码的方法、设备及存储介质
CN112236997B (zh) 对视频序列进行解码、编码的方法、装置及存储介质
CN112715032A (zh) 帧内预测中的帧内模式选择
CN112243585B (zh) 调整平面源图像中的样本块的量化参数qp值的方法和编码设备
US11295541B2 (en) Method and apparatus of 360 degree camera video processing with targeted view
JP2024516634A (ja) クラウドソーシングを使用したホログラフィックまたはライトフィールド・ビューの生成のための方法、装置および媒体
US11012710B2 (en) Techniques for intra prediction for 360 image and video coding
US10904558B2 (en) Method and apparatus for motion compensation for 360 video coding
CN118118667A (zh) 视频编码、解码的方法和计算机设备
CN116710852A (zh) 用于光场或全息媒体的自适应流
CN114073084A (zh) 在视频码流中有效发信号通知图片大小和分区信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40035582

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant