CN111903134B

CN111903134B - 通过使用帧间预测来处理视频信号的方法和装置

Info

Publication number: CN111903134B
Application number: CN202080002063.4A
Authority: CN
Inventors: S·帕鲁利; 金昇焕
Original assignee: LG Electronics Inc
Current assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date: 2019-01-02
Filing date: 2020-01-02
Publication date: 2023-09-12
Anticipated expiration: 2040-01-02
Also published as: KR102398936B1; RU2022107813A; KR102619088B1; US20200374512A1; JP2023015383A; AU2020205179B2; EP3742733A4; KR20200085848A; CN111903134A; CA3125551A1; AU2020205179A1; AU2022252845A1; US20230118101A1; MX2021007711A; KR20220051414A; BR112021013071B1; KR20230034425A; KR102504741B1; CN117156127A; US11570429B2

Abstract

根据本说明书的实施方式，提供了一种借助于帧间预测来对视频信号进行解码的方法和装置。根据本说明书的实施方式的用于处理视频信号的方法包括：形成视频信号中的当前图片的参考图片列表的步骤；以及通过使用参考图片列表来对当前图片执行预测的步骤，其中，用于形成参考图片列表的步骤包括：当参考图片列表的第一条目与短期参考图片(STRP)条目相对应时，获得与第一条目有关的图片与另一图片之间的图片顺序计数(POC)差的步骤；以及当参考图片列表的第二条目与长期参考图片(LTRP)条目相对应时，获得与第二条目有关的图片的POC模值的步骤。可以生成用于简单且有效地标识图片的参考图片列表以提高压缩性能并且减少计算时间。

Description

通过使用帧间预测来处理视频信号的方法和装置

技术领域

本公开的实施方式涉及一种用于使用帧间预测(inter prediction)来处理视频信号的方法和装置，并且更具体地，涉及一种用于构建参考图片列表以预测当前图片的方法和装置。

背景技术

压缩编码(compression coding)是指用于经由通信线路发送数字化信息或者将数字化信息以合适的格式存储在存储介质中的一系列信号处理的技术。视频、图像、声音或其它媒体可以是压缩编码的目标。特别地，针对视频的压缩编码技术被称为视频压缩。

下一代视频内容将以场景表示的高空间分辨率、高帧速率和高维度为特征。针对这种内容的处理，将导致存储器空间、存储器存取速率和处理功率方面的大量增长。

因此，存在针对用于高效地处理下一代视频内容的编码工具的设计的需要。特别地，后高效视频编码(HEVC)视频编解码器标准需要能够在更高效地使用资源的同时精确地生成预测样本的预测技术。

发明内容

技术问题

本公开的实施方式提供了一种用于构建预测当前图片所必需的参考图片列表的方法和装置。

本公开的实施方式提供了一种用于获得构建参考图片列表所必需的信息的方法和装置。

本公开的实施方式提供了一种用于限定构建参考图片列表所必需的条目数量的方法和装置。

本公开的实施方式提供了一种用于减少构建参考图片列表所必需的语法元素的量的方法和装置。

本公开的实施方式提供了一种用于在构建参考图片列表的过程期间对参考图片标记的次数进行计数的方法和装置。

本公开的目的不限于前述目的，并且根据以下描述，其它未提及的目的对于本领域普通技术人员而言将是显而易见的。

技术方案

本公开的实施方式提供了用于使用帧间预测来对视频信号进行解码的方法和装置。根据本公开的实施方式，一种用于处理视频信号的方法包括以下步骤：构建视频信号中的当前图片的参考图片列表；以及通过使用参考图片列表来对当前图片执行预测，其中，构建参考图片列表的步骤包括，如果参考图片列表的第一条目与短期参考图片(STRP)相对应，则获得与第一条目有关的图片与另一图片之间的图片顺序计数(POC)差，以及如果参考图片列表的第二条目与长期参考图片(LTRP)相对应，则获得与第二条目有关的图片的POC模值。

根据实施方式，构建参考图片列表的步骤可以包括：获得参考图片列表的条目数；以及通过与条目数一样多的次数按LTRP或STRP对参考图片列表的各个条目执行参考图片标记。

根据实施方式，条目数的最大值可以为解码图片缓冲器的最大所需大小加14。

根据实施方式，执行参考图片标记的步骤可以包括：获得STRP条目数和LTRP条目数；以及通过与STRP条目数一样多的次数来执行STRP标记并且通过与LTRP条目数一样多的次数来执行LTRP标记。

根据实施方式，构建参考图片列表的步骤可以包括：获得第一标志；以及基于第一标志确定参考图片列表的条目是对应于STRP条目还是对应于LTRP条目。

根据实施方式，POC差可以是另一图片的POC减去与第一条目有关的图片的POC的绝对值。

根据实施方式，构建参考图片列表的步骤可以包括：如果绝对值大于0，则获得指示POC差的符号的第二标志。

根据本公开的实施方式，一种用于对视频信号进行编码的方法包括以下步骤：构建视频信号中的当前图片的参考图片列表；通过使用参考图片列表来对当前图片执行预测；以及对用于构建参考图片列表的信息进行编码。用于构建参考图片列表的信息可以包括与短期参考图片(STRP)条目有关的图片与参考图片列表中的另一图片之间的图片顺序计数(POC)差以及其中参考图片列表中的第二条目与长期参考图片(LTRP)条目有关的图片的POC模值。

根据实施方式，用于构建参考图片列表的编码信息还可以包括参考图片列表的条目数。条目数的最大值可以为解码图片缓冲器的最大所需大小加14。

根据实施方式，用于构建参考图片列表的编码信息还可以包括第一标志，该第一标志指示参考图片列表的条目是否与STRP条目相对应。

根据实施方式，用于构建参考图片列表的编码信息还可以包括第二标志，该第二标志针对POC差大于0的条目指示POC差的符号。

根据实施方式，用于构建参考图片列表的编码信息可以被包括在与视频信号有关的比特流中的序列参数集(SPS)、图片参数集(PPS)或切片报头中。

根据本公开的另一实施方式，一种用于对视频信号进行解码的装置包括：存储器，该存储器用于存储视频信号；以及处理器，该处理器联接到存储器。处理器被配置为构建视频信号中的当前图片的参考图片列表，并且使用参考图片列表来对当前图片执行预测。为了构建参考图片列表，处理器被配置为，如果参考图片列表的第一条目与短期参考图片(STRP)相对应，则获得与第一条目有关的图片与另一图片之间的图片顺序计数(POC)差，并且如果参考图片列表的第二条目与长期参考图片(LTRP)相对应，则获得与第二条目有关的图片的POC模值。

根据本公开的另一实施方式，一种用于对视频信号进行编码的装置包括：存储器，该存储器用于存储视频信号；以及处理器，该处理器联接到存储器。处理器被配置为构建视频信号中的当前图片的参考图片列表并且对用于构建参考图片列表的信息进行编码。用于构建参考图片列表的编码信息可以包括与第一条目有关的图片与参考图片列表中的另一图片之间的图片顺序计数(POC)差以及与参考图片列表中的第二条目有关的图片的POC模值。

根据本公开的另一实施方式，提供了一种存储一个或更多个指令的非暂时性计算机可读介质。由一个或更多个处理器执行的一个或更多个指令控制视频信号处理装置构建视频信号中的当前图片的参考图片列表并且使用参考图片列表来对当前图片执行预测。一个或更多个指令控制视频信号处理装置进行以下操作：为了构建所述参考图片列表，如果参考图片列表的第一条目与短期参考图片(STRP)相对应，则获得与第一条目有关的图片与另一图片之间的图片顺序计数(POC)差，并且如果参考图片列表的第二条目与长期参考图片(LTRP)相对应，则获得与第二条目有关的图片的POC模值。

有益效果

根据本公开的实施方式，可以通过标记参考图片来构建预测当前图片所必需的参考图片列表。

根据本公开的实施方式，可以按照参考图片的类型获得适当的信息。

根据本公开的实施方式，可以限定构建参考图片列表所必需的条目数，以使得能够高效地管理存储图片所必需的存储器。

根据本公开的实施方式，可以省略用于构建参考图片列表所必需的数据的量以解析一些语法元素。

根据本公开的实施方式，可以通过对参考图片标记计数进行计数来高效地实现用于构建参考图片列表的语法。

本公开的效果不限于前述效果，并且根据以下描述，其它未提及的效果对于本领域普通技术人员而言将是显而易见的。

附图说明

当结合附图考虑时，通过参考以下详细描述，本公开将变得更好理解，并且将容易获得对本公开及其许多伴随方面的更完整的理解，在附图中：

图1示出了根据本公开的实施方式的示例视频编码系统；

图2是示意性地示出了根据本公开的实施方式的用于对视频/图像信号进行编码的编码设备的框图；

图3是示意性地示出了根据本公开的实施方式的用于对视频信号进行解码的解码设备的框图；

图4是示出了根据本公开的实施方式的内容流系统的结构的图；

图5是示出了根据本公开的实施方式的用于处理视频信号的示例装置的框图；

图6a、图6b、图6c和图6d是示出了根据本公开的实施方式的分别通过四叉树(QT)、二叉树(BT)、三叉树(TT)和非对称树(AT)获得的示例块拆分结构的视图；

图7和图8示出了根据本公开的实施方式的编码设备中的基于帧间预测的视频/图像编码程序和帧间预测单元；

图9和图10示出了根据本公开的实施方式的解码设备中的基于帧间预测的视频/图像解码程序和帧间预测单元；

图11是示出了根据本公开的实施方式的构建参考图片列表的示例的流程图；

图12和图13是示出了根据本公开的实施方式的标记参考图片的示例的流程图；

图14是示出了根据本公开的实施方式的标记参考图片的另一示例的流程图；以及

图15是示出了根据本公开的实施方式的处理视频信号的示例的流程图。

具体实施方式

在下文中，参照附图详细地描述本公开的优选的实施方式。结合附图进行的以下详细描述意在用于描述本公开的示例实施方式，而不是用于呈现本公开的唯一实施方式。下面的详细描述包括具体细节以传达对本公开的透彻理解。然而，本领域普通技术人员将容易理解，即使在没有这些细节的情况下，也可以实践本公开的实施方式。

在一些情况下，为了避免概念模糊，在着重于每个结构和装置的核心特征的同时，可能省略或以框图的形式示出已知的结构或装置。

尽管本公开的实施方式主要利用当前广泛使用的一般术语来描述，但是发明人可能选取一些特定术语。在这样的情况下，可能针对该术语给出发明人的定义。因此，本文使用的术语应该基于其由发明人做出的定义而不是其简单的在词典中的定义来解释。

本文使用的术语是为了更好地理解本公开而提供的，并且在不脱离本公开的技术精神的情况下，可以对其做出改变。例如，可以在每个编码过程中适当地替换和解释术语“信号”、“数据”、“样本”、“图片”、“切片”、“图块(tile)”、“帧”和“块”。

如本文所使用的，术语“处理单元”是指诸如编码/解码(例如，预测、变换和/或量化)的处理的单元。可以将“处理单元”解释为包括用于亮度分量(luma component)的单元和用于色度分量(chroma component)的单元。例如，处理单元可以对应于块、编码单元(CU)、预测单元(PU)或变换单元(TU)。

也可以将处理单元解释为用于亮度分量的单元或用于色度分量的单元。例如，处理单元可以对应于用于亮度分量的编码树块、编码块(CB)、PU或变换块(TB)。或者，处理单元可以对应于用于色度分量的CTB、CB、PU或TB。然而，不限于此，也可以将处理单元解释为包括用于亮度分量的单元和用于色度分量的单元。

此外，处理单元不一定限于正方形块，而相反地可以是具有三个或更多个顶点的多边形。

如本文所使用的，“像素”和“系数”(例如，变换系数或已进行第一变换的变换系数)可以被统称为样本(sample)。当使用样本时，这可能意味着使用例如像素值或系数(例如，变换系数或已进行第一变换的变换系数)。

图1示出了根据本公开的实施方式的示例视频编码系统(video coding system)。

视频编码系统可以包括源装置10和接收装置20。源装置10可以经由数字存储介质或网络将经编码的(encoded)视频/图像信息或数据以文件或流的形式传送到接收装置20。

源装置10可以包括视频源11、编码设备12和发送器13。接收装置20可以包括接收器21、解码设备22和渲染器23。可以将编码设备12称为视频/图像编码设备，并且可以将解码设备22称为视频/图像解码设备。发送器13可以被包括在编码设备12中。接收器21可以被包括在解码设备22中。渲染器23可以包括显示单元，并且显示单元可以被配置为单独的装置或外部组件。

视频源可以通过捕获、合成或生成视频/图像来获得视频/图像。视频源可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个相机以及包括先前捕获的视频/图像的视频/图像档案。视频/图像生成装置可以包括例如计算机、平板PC或智能电话，并且可以(电子地)生成视频/图像。例如，可以经由例如计算机生成虚拟视频/图像，在此情况下用于生成其相关数据的过程可以替代视频/图像捕获过程。

编码设备12可以对输入视频/图像进行编码。为了压缩和编码效率，编码设备12可以执行诸如预测(prediction)、变换(transform)和量化(quantization)的一系列过程。可以以比特流(bitstream)的形式输出经编码的数据(经编码的视频/图像信息)。

发送器13可以经由数字存储介质或网络将已经以比特流的形式输出的经编码的视频/图像信息或数据以文件或流的形式传送到接收装置的接收器。数字存储介质可以包括诸如通用串行总线(USB)、安全数字(SD)、光盘(CD)、数字视频光盘(DVD)、蓝光、硬盘驱动器或固态驱动器(SSD)介质的各种存储介质。发送器13可以包括用于以预定文件格式生成媒体文件的元件和用于在广播/通信网络之上进行发送的元件。接收器21可以提取比特流并将比特流传送到解码设备22。

解码设备22可以执行与编码设备12的操作相对应的诸如逆量化、逆变换和预测的一系列程序，从而对视频/图像进行解码。

渲染器23可以渲染经解码的视频/图像。可以将经渲染的视频/图像显示在显示单元上。

图2是示意性地示出了根据本公开的实施方式的用于对视频/图像信号进行编码的编码设备的框图。

参照图2，编码设备100可以包括图像分割单元110、减法器115、变换单元120、量化单元130、逆量化单元140、逆变换单元150、加法器155、滤波单元160、存储器170、帧间预测单元180、帧内预测单元185和熵编码单元190。帧间预测单元180和帧内预测单元185可以被统称为预测器。换句话说，预测器可以包括帧间预测单元180和帧内预测单元185。变换单元120、量化单元130、逆量化单元140和逆变换单元150可以被包括在残差处理器(residualprocessor)中。残差处理器还可以包括减法器115。根据实施方式，可以将上述图像分割单元110、减法器115、变换单元120、量化单元130、逆量化单元140、逆变换单元150、加法器155、滤波单元160、帧间预测单元180、帧内预测单元185和熵编码单元190配置为单个硬件组件(例如，编码器或处理器)。根据实施方式，可以将存储器170配置为单个硬件组件(例如，存储器或数字存储介质)，并且存储器170可以包括解码图片缓冲器(DPB)175。

图像分割单元110可以将输入到编码设备100的图像(或图片或帧)拆分成一个或更多个处理单元。作为示例，处理单元可以被称为编码单元(coding unit，CU)。在这种情况下，可以根据四叉树二叉树(QTBT)结构从编码树单元(CTU)或最大编码单元(LCU)递归地(recursively)拆分编码单元。例如，可以基于四叉树结构和/或二叉树结构将一个编码单元拆分成更深深度的多个编码单元。在这种情况下，例如，可以首先应用四叉树结构，并且然后可以应用二叉树结构。或者可以首先应用二叉树结构。可以基于不再拆分的最终编码单元来执行根据本公开的实施方式的编码程序。在这种情况下，可以基于例如每图像性质的编码效率直接将最大编码单元用作最终编码单元，或者在必要时可以将编码单元递归地拆分成更低深度的编码单元，并且可以将最佳大小的编码单元用作最终编码单元。编码程序可以包括例如下文描述的预测、变换或重建(reconstruction)。作为示例，处理单元还可以包括预测单元PU或变换单元TU。在这种情况下，预测单元和变换单元各自可以被拆分成上述最终编码单元或者从上述最终编码单元分割。预测单元可以是样本预测的单元，并且变换单元可以是用于导出变换系数的单元和/或用于从变换系数导出残差信号的单元。

在一些情况下，术语“单元”可以与“块”或“区域”互换地使用。通常，M×N块可以表示由M列和N行构成的样本或变换系数的集合。通常，样本可以表示像素或像素值或者可以表示仅亮度分量的像素/像素值或仅色度分量的像素/像素值。可以将样本用作与一个图片(或图像)的像素或图像元素(pel)相对应的术语。

编码设备100可以通过从输入图像信号(原始块或原始样本数组)减去从帧间预测单元180或帧内预测单元185输出的预测信号(预测块或预测样本数组)来生成残差信号(残差块或残差样本数组)，并且将所生成的残差信号发送到变换单元120。在这种情况下，如图所示，在编码设备100中用于从输入图像信号(原始块或原始样本数组)减去预测信号(预测块或预测样本数组)的单元可以被称为减法器115。预测器可以对用于处理的目标块(在下文中为当前块)执行预测并且生成包括针对当前块的预测样本的预测块。预测器可以确定在每个块或CU单元中应用帧内预测还是帧间预测。预测器可以生成用于预测的各项信息(例如，预测模式信息)，如在下面结合各种预测模式所描述的，并且将所生成的信息传送到熵编码单元190。预测相关信息可以由熵编码单元190编码并以比特流的形式输出。

帧内预测单元185可以通过参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可以与当前块相邻或远离当前块定位。在帧内预测中，预测模式可以包括多个非定向模式和多个定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的精确程度，定向模式可以包括例如33种定向预测模式或65种定向预测模式。然而，这仅仅是示例，并且可以使用更多或更少的定向预测模式。帧内预测单元185可以使用应用于邻近块的预测模式来确定应用于当前块的预测模式。

帧间预测单元180可以基于由参考图片上的运动矢量指定的参考块(参考样本数组)来导出当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息中的相关性来按照块、子块或样本预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测或Bi预测)信息。在帧间预测的情况下，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片可以与包括时间邻近块的参考图片相同或不同。可以将时间邻近块称为例如同位(co-located)参考块或同位CU(colCU)，并且可以将包括时间邻近块的参考图片称为同位图片(colPic)。例如，帧间预测单元180可以基于邻近块构建运动信息候选列表并且生成指示哪个候选用于导出当前块的运动矢量和/或参考图片索引的信息。可以基于各种预测模式执行帧间预测。例如，在跳过模式或合并模式下，帧间预测单元180可以将邻近块的运动信息用作当前块的运动信息。在跳过模式下，与在合并模式下不同，可以不发送残差信号。在运动矢量预测(MVP)模式下，可以将邻近块的运动矢量用作运动矢量预测器，并且可以用信号通知运动矢量差，从而指示当前块的运动矢量。

经由帧间预测单元180或帧内预测单元185生成的预测信号可以用于生成重建信号或残差信号。

变换单元120可以对残差信号应用变换方案，从而生成变换系数。例如，变换方案可以包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen-Loeve变换(KLT)、基于图的变换(GBT)或条件非线性变换(CNT)中的至少一种。GBT是指从表示像素之间的关系的信息的图获得的变换。CNT是指基于使用所有先前重建的像素来生成预测信号而获得的变换。此外，变换过程可以应用于具有相同大小的正方形像素块或者也可以应用于非正方形的可变大小的块。

量化单元130可以对变换系数进行量化并将经量化的变换系数发送到熵编码单元190，并且熵编码单元190可以对经量化的信号(经量化的变换系数的信息)进行编码并在比特流中输出经编码的信号。经量化的变换系数的信息可以被称为残差信息。量化单元130可以基于系数扫描顺序以一维矢量的形式对块状的经量化的变换系数进行重新排序(re-sort)，并且基于经量化的变换系数的一维形式来生成经量化的变换系数的信息。熵编码单元190可以执行诸如例如指数Golomb、上下文自适应可变长度编码(CAVLC)或上下文自适应二进制算术编码(CABAC)的各种编码方法。熵编码单元190可以将重建视频/图像所必需的各项信息(例如，语法元素(syntax element))的值连同经量化的变换系数一起或与经量化的变换系数分开地进行编码。可以基于每网络抽象层(NAL)单元以比特流的形式发送或存储经编码的信息(例如，视频/图像信息)。可以经由网络发送比特流或者将比特流存储在数字存储介质中。网络可以包括例如广播网络和/或通信网络，并且数字存储介质可以包括例如USB、SD、CD、DVD、蓝光、HDD、SSD或其它各种存储介质。可以将用于发送从熵编码单元190输出的信号的发送器(未示出)和/或存储从熵编码单元190输出的信号的存储单元(未示出)配置为编码设备100的内部/外部元件，或者发送器可以是熵编码单元190的组件。

从量化单元130输出的经量化的变换系数可以用于生成预测信号。例如，可以通过经由环路中的逆量化单元140和逆变换单元150对经量化的变换系数应用逆量化和逆变换来重建残差信号。加法器155可以将重建的残差信号与从帧间预测单元180或帧内预测单元185输出的预测信号相加，从而生成重建信号(重建图片、重建块或重建样本数组)。如在应用跳过模式的情况下一样，当用于处理的目标块没有残差时，可以将预测块用作重建块。可以将加法器155表示为重建器或重建块生成器。重建信号可以被用于当前图片中的下一个目标处理块的帧内预测，并且(如下文所述)被滤波(filtered)然后用于下一个图片的帧间预测。

滤波单元160可以通过对重建信号应用滤波来增强主观/客观图像质量。例如，滤波单元160可以通过对重建图片应用各种滤波方法来生成经修改的重建图片并且将经修改的重建图片发送到解码图片缓冲器170。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环路滤波器或双边滤波器。滤波单元160可以如在下面结合每种滤波方法所描述的那样生成用于滤波的各项信息并且将所得到的信息传送到熵编码单元190。滤波相关信息可以由熵编码单元190编码并且以比特流的形式输出。

发送到解码图片缓冲器170的经修改的重建图片可以被用作帧间预测单元180中的参考图片。编码设备100(当由其应用帧间预测时)可以避免编码设备100与解码设备200之间的预测失配并且提高编码效率。

解码图片缓冲器170可以存储经修改的重建图片以将其用作帧间预测单元180中的参考图片。

图3是示意性地示出了根据本公开的实施方式的用于对视频信号进行解码的解码设备的框图。

参照图3，解码设备200可以包括熵解码单元210、逆量化单元220、逆变换单元230、加法器235、滤波单元240、存储器250、帧间预测单元260和帧内预测单元265。帧间预测单元260和帧内预测单元265可以被统称为预测器。换句话说，预测器可以包括帧间预测单元180和帧内预测单元185。逆量化单元220和逆变换单元230可以被统称为残差处理器。换句话说，残差处理器可以包括逆量化单元220和逆变换单元230。根据实施方式，可以在单个硬件组件(例如，解码器或处理器)中配置熵解码单元210、逆量化单元220、逆变换单元230、加法器235、滤波单元240、帧间预测单元260和帧内预测单元265。根据实施方式，可以将解码图片缓冲器250实现为单个硬件组件(例如，存储器或数字存储介质)。存储器可以包括DPB250并且由数字存储介质配置。

当包括视频/图像信息的比特流输入时，解码设备200可以重建与在图2的编码设备100中的视频/图像信息过程相对应的图像。例如，解码设备200可以使用在编码设备100中应用的处理单元来执行解码。因此，在解码时，处理单元可以是例如编码单元，并且可以根据四叉树结构和/或二叉树结构从编码树单元或最大编码单元拆分编码单元。可以经由播放器来播放通过解码设备200解码并输出的重建图像信号。

解码设备200可以以比特流的形式接收从图2的编码设备100输出的信号，并且可以经由熵解码单元210对所接收到的信号进行解码。例如，熵解码单元210可以解析(parse)比特流并提取图像重建(或图片重建)所必需的信息(例如，视频/图像信息)。例如，熵解码单元210可以基于诸如指数Golomb编码、CAVLC或CABAC的编码方法对比特流中的信息进行解码并且可以输出图像重建所必需的语法元素的值以及有关残差的变换系数的量化值。具体地，CABAC熵解码方法可以接收与比特流中的每个语法元素相对应的二进制数(bin)，使用解码目标语法元素信息、邻近和解码目标块的解码信息或在在先步骤中解码的符号/二进制数的信息来确定上下文模型，根据所确定的上下文模型来预测二进制数的发生概率，并且执行对二进制数的算术解码。此时，在确定上下文模型之后，CABAC熵解码方法可以使用针对下一个符号/二进制数的上下文模型解码的符号/二进制数的信息来更新上下文模型。在由熵解码单元210解码的各项信息当中，可以将用于预测的信息提供给预测器(例如，帧间预测单元260和帧内预测单元265)，并且可以将由熵解码单元210熵解码的残差值(即，经量化的变换系数和相关处理器信息)输入到逆量化单元220。在由熵解码单元210解码的各项信息当中，可以将用于滤波的信息提供给滤波单元240。同时，可以进一步将用于接收从编码设备100输出的信号的接收器(未示出)配置为解码设备200的内部/外部元件，或者接收器可以是熵解码单元210的组件。

逆量化单元220可以对经量化的变换系数进行逆量化并且输出变换系数。逆量化单元220可以以二维块的形式对经量化的变换系数进行重新排序。在这种情况下，可以基于编码设备100曾执行的系数扫描顺序来执行重新排序。逆量化单元220可以使用量化参数(例如，量化步长信息)来对经量化的变换系数进行逆量化，从而获得变换系数。

逆变换单元230可以通过对变换系数应用逆变换来输出残差信号(残差块或残差样本数组)。

预测器可以对当前块执行预测并且生成包括当前块的预测样本的预测块。预测器可以基于从熵解码单元210输出的用于预测的信息来确定将帧内预测或帧间预测中的哪一个应用于当前块并且确定具体帧内/帧间预测模式。

帧内预测单元265可以通过参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可以邻近当前块或远离当前块定位。在帧内预测中，预测模式可以包括多种非定向模式和多种定向模式。帧内预测单元265可以使用应用于邻近块的预测模式来确定应用于当前块的预测模式。

帧间预测单元260可以基于由参考图片上的运动矢量指定的参考块(参考样本数组)来导出当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息中的相关性来按照块、子块或样本来预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测或Bi预测)的信息。在帧间预测的情况下，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。例如，帧间预测单元260可以基于邻近块构建运动信息候选列表并且基于所接收到的候选选择信息而导出当前块的运动矢量和/或参考图片索引。可以基于各种预测模式执行帧间预测。用于预测的信息可以包括指示用于当前块的帧间预测的模式的信息。

加法器235可以将所获得的残差信号与从帧间预测单元260或帧内预测单元265输出的预测信号(例如，预测块或预测样本数组)相加，从而生成重建信号(重建图片、重建块或重建样本数组)。如在应用跳过模式的情况下一样，当用于处理的目标块没有残差时，可以将预测块用作重建块。

可以将加法器235表示为重建器或重建块生成器。所生成的重建信号可以被用于当前图片中的下一个目标处理块的帧内预测，并且(如下文所述)被滤波并且然后用于下一个图片的帧间预测。

滤波单元240可以通过对重建信号应用滤波来增强主观/客观图像质量。例如，滤波单元240可以通过对重建图片应用各种滤波方法来生成经修改的重建图片并且将经修改的重建图片发送到解码图片缓冲器250。各种滤波方法可以包括例如去块滤波、样本自适应偏移(SAO)、自适应环路滤波器(ALF)或双边滤波器。

发送到解码图片缓冲器250的经修改的重建图片可以被帧间预测单元260用作参考图片。

在本公开中，以上结合编码设备100的滤波单元160、帧间预测单元180和帧内预测单元185描述的实施方式可以与解码设备的滤波单元240、帧间预测单元260和帧内预测单元265以相同的方式应用，或者对应于解码设备的滤波单元240、帧间预测单元260和帧内预测单元265。

图4是示出了根据本公开的实施方式的内容流系统的结构的图。

应用本公开的内容流系统可以主要包括编码服务器410、web服务器430、媒体存储装置440、用户装置450和多媒体输入装置460。

编码服务器410可以将从多媒体输入装置(例如，智能电话、相机或摄录像机)输入的内容压缩成数字数据，生成比特流，并且将比特流发送到流服务器420。作为示例，当多媒体输入装置460(例如，智能电话、相机或摄录像机)本身生成比特流时，可以省略编码服务器410。

可以通过应用本公开的编码或比特流生成方法来生成比特流，并且流服务器420可以在发送或接收比特流的同时临时存储比特流。

流服务器420可以通过web服务器430基于用户请求将多媒体数据发送到用户装置450，并且web服务器430起代理作用以通知用户提供了什么服务。当用户向web服务器430发送对期望服务的请求时，web服务器430将该请求传送到流服务器420，并且流服务器420将多媒体数据发送给用户。内容流系统可以包括单独的控制服务器，在此情况下控制服务器控制内容流系统中的装置之间的命令/响应。

流服务器420可以从媒体存储装置440和/或编码服务器410接收内容。例如，流服务器420可以实时地从编码服务器410接收内容。在这种情况下，为了无缝地提供服务，流服务器420可以将比特流存储预定时间。

例如，用户装置450的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航装置、触屏平板PC、平板PC、超级本、可穿戴装置(例如，智能手表、智能眼镜或头戴式显示器(HMD))、数字TV、台式计算机或数字标牌装置。

在内容流系统中，服务器可以是分布式服务器，在此情况下可以分发并处理每个服务器接收的数据。

图5是示出了根据本公开的实施方式的用于处理视频信号的示例装置的框图。图5的视频信号处理装置可以对应于图2的编码设备100或图3的解码设备200。

根据本公开的实施方式，视频信号处理装置500可以包括用于存储视频信号的存储器520和与存储器联接以处理视频信号的处理器510。

根据本公开的实施方式，处理器510可以被配置为用于处理视频信号的至少一个处理电路并且可以执行用于对视频信号进行编码或解码的指令从而处理视频信号。换句话说，处理器510可以通过执行下述编码或解码方法来对视频信号进行编码或者对经编码的视频信号进行解码。

根据本公开的实施方式，处理器510可以被配置为用于处理图像信号的至少一个处理电路并且可以执行用于对图像信号进行编码或解码的指令从而处理图像信号。换句话说，处理器510可以通过执行上述编码或解码方法来对原始图像数据进行编码或者对经编码的图像信号进行解码。

图6a、图6b、图6c和图6d是示出了根据本公开的实施方式的分别通过四叉树(QT)、二叉树(BT)、三叉树(TT)和非对称树(AT)获得的示例块拆分结构的图。

在视频编码中，可以基于QT拆分一个块。可以进一步通过QT递归地拆分通过QT拆分成的一个子块。可以通过BT、TT或AT的至少一种方案来拆分不再通过QT拆分的叶块(leafblock)。BT可以具有诸如水平BT(2N×N、2N×N)和垂直BT(N×2N、N×2N)的两种类型的拆分。TT可以具有诸如水平TT(2N×1/2N、2N×N、2N×1/2N)和垂直TT(1/2N×2N、N×2N、1/2N×2N)的两种类型的拆分。AT可以具有诸如水平向上AT(2N×1/2N、2N×3/2N)、水平向下AT(2N×3/2N、2N×1/2N)、垂直向左AT(1/2N×2N、3/2N×2N)和垂直向右AT(3/2N×2N、1/2N×2N)的四种类型的拆分。BT、TT和AT各自可以使用BT、TT和AT来进一步递归地拆分。

图6a示出了QT拆分的示例。可以通过QT将块A拆分成四个子块(A0、A1、A2、A3)。可以通过QT将子块A1再次拆分成四个子块(B0、B1、B2、B3)。

图6b示出了BT拆分的示例。可以将不再通过QT拆分的块B3拆分成垂直BT(C0、C1)或水平BT(D0、D1)。像块C0一样，每个子块可以例如以水平BT(E0、E1)或垂直BT(F0、F1)的形式进一步递归地拆分。

图6c示出了TT拆分的示例。可以将不再通过QT拆分的块B3拆分成垂直TT(C0、C1、C2)或水平TT(D0、D1、D2)。像块C1一样，每个子块可以例如以水平TT(E0、E1、E2)或垂直TT(F0、F1、F2)的形式进一步递归地拆分。

图6d示出了AT拆分的示例。可以将不再通过QT拆分的块B3拆分成垂直AT(C0、C1)或水平AT(D0、D1)。像块C1一样，每个子块可以例如以水平AT(E0、E1)或垂直TT(F0、F1)的形式进一步递归地拆分。

同时，可以将BT、TT和AT一起用于拆分。例如，可以通过TT或AT来拆分通过BT拆分的子块。此外，可以通过BT或AT来拆分通过TT拆分的子块。可以通过BT或TT来拆分通过AT拆分的子块。例如，在通过水平BT拆分之后，可以通过垂直BT来拆分每个子块，或者在通过垂直BT拆分之后，可以通过水平BT来拆分每个子块。在这种情况下，尽管应用了不同的拆分顺序，然而在拆分之后的最终形状可以是相同的。

当块被拆分时，可以限定各种搜索块的顺序。通常，从左向右或从上向下执行搜索。搜索块可以是指确定是否对拆分成的每个子块进行进一步拆分的顺序、(在块不再进行拆分的情况下)对每个子块进行编码的顺序、或者当子块参考其它邻近块时的搜索顺序。

图7和图8示出了根据本公开的实施方式的编码设备中的基于帧间预测的视频/图像编码程序和帧间预测单元。

编码设备100对当前块执行帧间预测(S710)。编码设备100可以导出当前块的运动i和帧间预测模式并且生成当前块的预测样本。这里，可以同时地执行帧间预测模式的确定、运动信息的导出以及预测样本的生成，或者任何一项可以早于其余项被执行。例如，编码设备100的帧间预测单元180可以包括预测模式确定单元181、运动信息导出单元182和预测样本导出单元183。预测模式确定单元181可以确定当前块的预测模式，运动信息导出单元182可以导出当前块的运动信息，并且预测样本导出单元183可以导出当前块的预测样本。例如，编码设备100的帧间预测单元180可以经由运动估计在参考图片的预定区域(搜索区域)中搜索与当前块类似的块并且导出与当前块具有最小差或者预定差或更小差的参考块。基于此，可以导出指示参考块所位于的参考图片的参考图片索引，并且可以基于参考块与当前块之间的位置差来导出运动矢量。编码设备100可以在各种预测模式当中确定应用于当前块的模式。编码设备100可以比较各种预测模式的RD成本并且确定当前块的最佳预测模式。

例如，当跳过模式或合并模式应用于当前块时，编码设备100可以构建下文描述的合并候选列表，并且导出在由合并候选列表中包括的合并候选所指示的参考块当中的与当前块具有最小差或预定差或更小差的参考块。在这种情况下，可以选择与所导出的参考块相关联的合并候选，并且可以生成指示所选合并候选的合并索引信息并且将其用信号通知给解码设备200。可以使用所选合并候选的运动信息来导出当前块的运动信息。

作为示例，当(A)MVP模式应用于当前块时，编码设备100可以构建(A)MVP候选列表，并且使用从(A)MVP候选列表中包括的运动矢量预测器(MVP)候选当中选择的MVP候选的运动矢量作为当前块的MVP。在这种情况下，例如，可以将指示通过上述运动估计导出的参考块的运动矢量用作当前块的运动矢量，并且在MVP候选当中具有与当前块的运动矢量相差最小的运动矢量的MVP候选可以是所选MVP候选。可以导出作为当前块的运动矢量减去MVP的运动矢量差(MVD)。在这种情况下，可以将MVD的信息用信号通知给解码设备200。此外，当应用(A)MVP模式时，参考图片索引的值可以被配置为参考图片索引信息并且被分开地用信号通知给解码设备200。

编码设备100可以基于预测样本导出残差样本(S720)。编码设备100可以经由当前块的原始样本与预测样本之间的比较来导出残差样本。

编码设备100对包括预测信息和残差信息的图像信息进行编码(S730)。编码设备100可以以比特流的形式输出经编码的图像信息。预测信息可以包括运动信息和预测模式信息(例如，跳过标志、合并标志或模式索引)，作为与预测程序有关的各项信息。运动信息可以包括候选选择信息(例如，合并索引、mvp标志或mvp索引)，该候选选择信息是用于导出运动矢量的信息。此外，运动信息可以包括上述MVD的信息和/或参考图片索引信息。运动信息可以包括指示是否应用L0预测、L1预测或Bi预测的信息。残差信息是残差样本的信息。残差信息可以包括用于残差样本的经量化的变换系数的信息。

输出比特流可以被存储在(数字)存储介质中并被传送到解码设备，或者可以经由网络被传送到解码设备。

同时，如上所述，编码设备可以基于参考样本和残差样本生成重建图片(包括重建样本和重建块)。这是为了让编码设备100导出与由解码设备200获得的预测结果相同的预测结果，从而可以提高编码效率。因此，编码设备100可以将重建图片(或重建样本或重建块)存储在存储器中并且将其用作用于帧间预测的参考图片。如上所述，例如，可以进一步对重建图片执行环路内滤波(in-loop filtering)。

图9和图10示出了根据本公开的实施方式的解码设备中的基于帧间预测的视频/图像解码程序和帧间预测单元。

解码设备200可以执行与由编码设备100执行的操作相对应的操作。解码设备200可以基于所接收到的预测信息对当前块执行预测并且导出预测样本。

具体地，解码设备200可以基于所接收到的预测信息确定当前块的预测模式(S910)。解码设备200可以基于预测信息中的预测模式信息确定哪一种帧间预测模式应用于当前块。

例如，解码设备200可以基于合并标志确定将合并模式或(A)MVP模式中的哪一种模式应用于当前块。或者解码设备200可以基于模式索引从各种帧间预测模式候选当中选择一种。帧间预测模式候选可以包括跳过模式、合并模式和/或(A)MVP模式或下述其它各种帧间预测模式。

解码设备200基于所确定的帧间预测模式导出当前块的运动信息(S920)。例如，当跳过模式或合并模式应用于当前块时，解码设备200可以构建下文描述的合并候选列表并且从合并候选列表中包括的合并候选当中选择一个。可以基于合并索引执行对合并候选的选择。可以从所选合并候选的运动信息中导出当前块的运动信息。可以将所选合并候选的运动信息用作当前块的运动信息。

作为示例，当(A)MVP模式应用于当前块时，解码设备200可以构建(A)MVP候选列表并且使用从(A)MVP候选列表中包括的MVP候选当中选择的MVP候选的运动矢量作为当前块的MVP。可以基于上述选择信息(MVP标志或MVP索引)执行对MVP的选择。在这种情况下，解码设备200可以基于MVD的信息导出当前块的MVD并且基于当前块的MVD和MVP导出当前块的运动矢量。此外，解码设备200可以基于参考图片索引信息导出当前块的参考图片索引。可以将在当前块的参考图片列表中的由参考图片索引指示的图片导出作为被参考以进行当前块的帧间预测的参考图片。

同时，如下所述，可以在不配置候选列表的情况下导出当前块的运动信息，在此情况下可以根据在下述预测模式下发起的程序来导出当前块的运动信息。在这种情况下，可以省略上述候选列表配置。

解码设备200可以基于当前块的运动信息生成当前块的预测样本(S930)。在这种情况下，解码设备200可以基于当前块的参考图片索引导出参考图片，并且使用参考图片上的由当前块的运动矢量指示的参考块的样本来导出当前块的预测样本。在这种情况下，如下文所述，可以进一步根据情况对当前块的预测样本中的全部或一些执行预测样本滤波。

例如，解码设备200的帧间预测单元260可以包括预测模式确定单元261、运动信息导出单元262和预测样本导出单元263。预测模式确定单元181可以基于所接收到的预测模式信息确定当前块的预测模式，运动信息导出单元182可以基于所接收到的运动信息的信息导出当前块的运动信息(运动矢量和/或参考图片索引)，并且预测样本导出单元183可以导出当前块的预测样本。

解码设备200基于所接收到的残差信息生成当前块的残差样本(S940)。解码设备200可以基于预测样本和残差样本生成当前块的重建样本，并且基于此，生成重建图片(S950)。此后，可以进一步如上所述对重建图片执行环路内滤波。

如上所述，帧间预测程序可以包括以下步骤：确定帧间预测模式；根据所确定的预测模式来导出运动信息；以及基于所导出的运动信息执行预测(生成预测样本)。

各种帧间预测模式可以用于预测图片中的当前块。例如，可以使用合并模式、跳过模式、MVP模式和仿射模式(affine mode)。可以将解码器侧运动矢量细化(DMVR)模式和自适应运动矢量分辨率(AMVR)模式进一步用作附加模式。仿射模式也可以被称为仿射运动预测模式。MVP模式也可以被称为高级运动矢量预测(AMVP)模式。

可以将指示当前块的帧间预测模式的预测模式信息从编码设备用信号通知给解码设备200。预测模式信息可以被包括在比特流中并且由解码设备200接收。预测模式信息可以包括指示多种候选模式中的一种的索引信息。或者可以经由标志信息的分层信令(hierarchical signaling)来指示帧间预测模式。在这种情况下，预测模式信息可以包括一个或更多个标志。例如，编码设备100可以用信号通知跳过标志以指示是否应用跳过模式，并且当不应用跳过模式时，用信号通知合并标志以指示是否应用合并模式的，并且当不应用合并模式时，指示应用MVP模式或进一步用信号通知用于进行另外的辨别的标志。可以将仿射模式作为独立模式或作为依赖于合并模式或MVP模式的模式来用信号通知。例如，可以如下文所述地将仿射模式配置为合并候选列表或MVP候选列表中的一个候选。

编码设备100或解码设备200可以使用当前块的运动信息来执行帧间预测。编码设备100可以经由运动估计程序来导出当前块的最佳运动信息。例如，编码设备100可以使用当前块的原始图片中的原始块来基于每分数像素(per-fractional pixel)在参考图片中的预定搜索范围内搜索具有高相关性的类似的参考块，并且基于此导出运动信息。可以基于基于相位的样本值之间的差导出块的相似度(similarity)。例如，可以基于当前块(或当前块的模板)与参考块(或参考块的模板)之间的绝对差之和(SAD)计算块相似度。在这种情况下，可以基于在搜索区域中具有最小SAD的参考块导出运动信息。可以通过各种方法来基于帧间预测模式将所导出的运动信息用信号通知给解码设备。

当应用合并模式时，当前预测块的运动信息不直接发送，而是相反地使用其邻近预测块的运动信息来导出。因此，编码设备100可以通过发送指示已使用了合并模式的标志信息和指示已使用了哪些邻近预测块的合并索引来指示当前预测块的运动信息。

编码设备100需要搜索用于导出当前预测块的运动信息的合并候选块以便于实现合并模式。例如，可以使用最多五个合并候选块，但是本公开的实施方式不限于此。可以在切片报头中发送合并候选块的最大数量，但是本公开的实施方式不限于此。在发现合并候选块之后，编码设备100可以生成合并候选列表，并且在它们当中，选择具有最小成本的合并候选块作为最终合并候选块。

在本文中描述了构成合并候选列表的合并候选块的各种实施方式。

合并候选列表可以使用例如五个合并候选块。例如，可以利用四个空间合并候选和一个时间合并候选。

在下面描述用于针对上述帧间预测配置参考图片列表的方法。

在视频编码系统中存在高级语法(HLS)以控制公共信息的整体共享。HLS旨在管理帧以减少比特计数，从而使得能够实现对存储器的高效使用。HLS使用参考图片管理系统，该参考图片管理系统调用被表示为参考图片标记的过程。此过程根据针对对当前帧进行解码的可用性来标记每个帧。设计并实现HLS目的旨在具有简单且高效的手段来识别对当前图片进行解码所必需的图片。

实施方式1

在此实施方式中，引入了直接用信号通知并导出的参考图片列表(RPL)管理系统。使用了两个列表(例如，参考图片列表0和参考图片列表1)。用于导出两个参考图片列表的信息作为切片报头、序列参数集(SPS)和图片参数集(PPS)中的语法元素而用信号通知。两个列表在所有类型的切片上生成。然而，虽然I切片不使用来自列表的各项信息，但是P切片使用来自仅列表0的信息，并且B切片使用来自两个列表的信息。使用图片顺序计数(POC)编号来标识图片。可以将每个图片分类为长期参考图片(LTRP)或短期参考图片(STRP)。被分类为LTRP或STRP的图片代表它们是活动图片并且能够在解码时使用，并且非活动图片是在解码过程期间不使用的图片。

图11是示出了根据本公开的实施方式的构建参考图片列表的示例的流程图。图11的操作可以由解码设备200执行。

图11示出了参考图片列表配置过程的前部。首先，在步骤S1105中，解码设备200解析列表中的条目总数。然后，针对每个条目，经由参考图片标记过程将图片标记为LTRP或STRP(S1120)。在本公开中，标记图片是指添加或更新与图片有关的信息(参数)。具体地，解码设备200初始化条目索引(i)(S1110)，并且当条目索引(i)等于或小于条目总数时(S1115)，执行参考图片标记(S1120)。当参考图片标记完成时，解码设备更新条目索引(i)(S1125)。根据本公开的实施方式，提出了一种全新架构来增强参考图片管理系统。

图12和图13是示出了根据本公开的实施方式的标记参考图片的示例的流程图。

[表1]

表1示出了配置参考图片列表的语法的示例。这里，本实施方式提供了能够管理参考图片的结构。ref_pic_list_struct函数接收以rp11_same_as_rp10_flag指示的listIdx作为第一输入。换句话说，当标志(rp11_same_as_rp10_flag)为真时，这表示列表是相同的，并且一个列表(L0或L1)可以从另一列表(L1或L0)推断(inferred)。ref_pic_list_struct函数的第二输入rplsIdx表示在SPS中指定的编码视频序列中使用的参考图片列表的数量。num_ref_entries表示ref_pic_list_struct(listIdx，rpIsIdx)中的条目数。当LRTP帧被用于每个条目时，从列表中解析标志以读取该帧被视为LTRP还是STRP。当条目是STRP条目并且是语法结构ref_pic_list_struct(listIdx，rpIsIdx)中的第一STRP条目时，这表示当前图片的POC与由第i个条目引用的图片的POC之间的绝对差，或者，如果第i个条目是STRP但不是第一条目，这指示由第i个条目引用的图片的POC与由前一个STRP指示的图片的POC之间的绝对差。(如果条目是STRP，则它是ref_pic_list_struc(listIdx，rpIsIdx)语法结构中的第一STRP条目并且它指示当前图片和由第i个条目引用的图片的POC的绝对差，或者当第i个条目是STRP条目但不是第一条目时，那么它指示由第i个条目以及由前一个STRP引用的图片的POC之间的绝对差)。当第i个条目的abs_delta_poc大于0时，用信号通知标记STRP的代码信息的标志。然而，当st_ref_pic_flag为0时，第i个条目表示长期参考图片。通过POC最低有效位(LSB)来用信号通知LTRP。

可以将与表1有关的语法元素定义如下：

num_ref_entries[listIdx][rplsIdx]表示ref_pic_list_struct(listIdx，rplsIdx)语法结构中的条目数。num_ref_entries[listIdx][rplsIdx]可以具有从0到sps_max_dec_pic_buffering_minus1+14的值。

当rp11_same_as_rp10_flag为1时，语法结构num_ref_pic_lists_in_sps[1]和ref_pic_list_struct(1,rplsIdx)不存在，应用以下项。

-num_ref_pic_lists_in_sps[1]被推断为与num_ref_pic_lists_in_sps[0]具有相同的值。

-针对可以是从0到num_ref_pic_lists_in_sps[0]-1的值的rplsIdx，在ref_pic_list_struct(1,rplsIdx)中，每个语法元素的值被推断为与ref_pic_list_struct(0,rplsIdx)中的语法元素的值相同。

当long_term_ref_pics_flag为0时，这表示LTRP未被用于编码视频序列(CVS)中的任何编码图片的帧间预测。当long_term_ref_pics_flag为1时，这表示LTRP被用于CVS中的一个或更多个编码图片的帧间预测。

当st_ref_pic_flag[listIdx][rplsIdx][i]为1时，语法结构ref_pic_list_struct(listIdx,rplsIdx)中的第i个条目是STRP条目。当st_ref_pic_flag[listIdx][rplsIdx][i]为0时，语法结构ref_pic_list_struct(listIdx,rplsIdx)中的第i个条目是LTRP条目。除非存在，否则st_ref_pic_flag[listIdx][rplsIdx][i]的值被推断为1。

当第i个条目是语法结构ref_pic_list_struct(listIdx,rplsIdx)中的第一STRP时，abs_delta_poc_st[listIdx][rplsIdx][i]表示由第i个条目引用的图片与当前图片之间的图片顺序计数值的绝对差，除非第i个条目是STRP但不是语法结构ref_pic_list_struct(listIdx,rplsIdx)中的第一条目，则表示由语法结构ref_pic_list_struct(listIdx,rplsIdx)中的前一个STRP和第i个条目引用的图片之间的图片顺序计数值的绝对差。

abs_delta_poc_st[listIdx][rplsIdx][i]具有从0到2¹⁵-1的值。

当strp_entry_sign_flag[listIdx][rplsIdx][i]为1时，这表示语法结构ref_pic_list_struct(listIdx,rplsIdx)中的第i个条目具有等于或大于0的值。当strp_entry_sign_flag[listIdx][rplsIdx][i]为0时，这表示语法结构ref_pic_list_struct(listIdx,rplsIdx)中的第i个条目具有小于0的值。除非存在，否则strp_entry_sign_flag[i][j]的值被推断为1。

poc_lsb_lt[listIdx][rplsIdx][i]表示由ref_pic_list_struct(listIdx,rplsIdx)中的第i个条目引用的图片的图片顺序计数模(modulo)MaxPicOrderCntLsb。poc_lsb_lt[listIdx][rplsIdx][i]的长度是log2_max_pic_order_cnt_lsb_minus4+4个比特。

可以如在下表2中一样概括语法元素的以上描述：

[表2]

参照图12，解码设备200通过long_term_ref_pics_flag来识别在参考图片列表条目中是否使用了LTRP(S1205)，并且当使用了LTRP时(当long_term_ref_pics_flag为1时)，解析st_ref_pic_flag(S1210)并且识别st_ref_pic_flag是否为真(S1215)。当st_ref_pic_flag为真(1)时(即，当当前条目是STRP条目时)，解码设备200解析abs_delta_poc_st。换句话说，当当前条目与STRP条目相对应时，解码设备200获得与当前条目有关的图片与前一个图片之间的POC差。

当在步骤S1205中long_term_ref_pics_flag为假时，解码设备直接解析abs_delta_poc_st。此后，解码设备200识别abs_delta_poc_st是否大于0(S1225)，并且当abs_delta_poc_st大于0时，解析strp_entry_sign_flag(S1230)。

当在步骤S1215中st_ref_pic_flag为假(0)时，解码设备200解析poc_lsb_lt(S1235)。换句话说，当当前条目与LTRP条目相对应时，解码设备200获得与当前条目有关的图片的POC模值。图片的POC模值用于导出图片的POC值并且可以与POC最高有效位(MSB)组合以由此导出图片的POC值。

可以在如图13中所示的两个框中表示配置参考图片列表的上述过程。每个框的操作可以由相同或不同的硬件来实现。解码设备200可以获得指示是否使用了长期参考图片的标志(long_term_ref_pic_flag)以及条目数(num_ref_entries)(1310)，并且确定每个条目是LTRP条目还是STRP条目(1320)。

实施方式2

在此实施方式中，提出了限制以上结合表1描述的num_ref_entries参数。通常，num_ref_entries[listIdx][rpIsIdx]表示ref_pic_list_struct(listIdx,rpIsIdx)中的条目数。识别到num_ref_entries可以具有从0到sps_max_dec_pic_buffering_minus1+14的值。为了使用更少的帧，可以限制num_ref_entries的范围。当要求比由sps_max_dec_pic_buffering_minus1指示的值多14个帧时出现最坏情况。这意味着需要解码图片缓冲器以具有足够的存储器来存储如此多的帧。代替这种操作，可以考虑层的temporalId(时间ID)而采纳对分层结构组(hierarchical groups of structures)(GOP)施加限制。

可以如表3中所示的那样定义附加语法。sps_max_dec_pic_buffering_minus1加1作为图片存储缓冲器的单位，表示CVS中的一个解码图片缓冲器的最大所需大小。sps_max_dec_pic_buffering_minus1可以具有从0到MaxDpbSize-1的值，并且可以另外定义MaxDpbSize。

[表3]

换句话说，参考图片列表中的条目数的最大值可以为解码图片缓冲器的最大所需大小加14。此外，根据本实施方式(实施方式2)，参考图片列表中的条目数的最大值可以为解码图片缓冲器的最大所需大小。

实施方式3

在本实施方式中，提出了从ref_pic_list_struct(listIdx,rpIsIdx)中移除语法元素long_term_ref_pics_flag的方法。当语法元素long_term_ref_pics_flag为0时，这表示LTRP不再被用于CVS中的任何编码图片的帧间预测。当long_term_ref_pics_flag为1时，这表示LTRP被用于CVS中的一个或更多个编码滤波器的帧间预测。通过移除语法元素long_term_ref_pics_flag，可以推断在CVS中默认使用了LTRP。这是有用的，因为LTRP通常是DPB中的高可靠图片。

实施方式4

图14是示出了根据本公开的实施方式的标记参考图片的另一示例的流程图。

提供了ref_pic_list_struct(listIdx,rpIsIdx)的另一实施方式。特别地，可以考虑分开地用信号通知LTRP和STRP的情况来配置ref_pic_list_struct(listIdx，rpIsIdx)。这可以如下表4所示来表示。这里，根据本公开的实施方式，提供了限制指示所使用的STRP总数的num_strp_entries[listIdx][rpIsIdx]和指示LTRP总数的num_ltrp_entries[listIdx][rpIsIdx]的方法。

图14示出了所提出的分开地用信号通知LTRP计数和STRP计数的结构的概要。这里，首先根据long_term_ref_pics_flag使用LTRP来解析STRP和LTRP计数。此后，针对每个条目，解析指示图片是否为LTRP的lt_ref_pic_flag。当lt_ref_pic_flag为真时，LTRP计数增加。否则，STRP计数增加。当lt_ref_pic_flag为假时，通过解析delta_poc_st及其代码信息(当delta_poc_st大于0时)来识别STRP。否则，由LSB POC识别LTRP。

下表4示出了根据实施方式的用于配置参考图片列表的语法的示例。

[表4]

num_strp_entries[listIdx][rplsIdx]表示ref_pic_list_struct(listIdx,rplsIdx)中的STRP条目数。

num_ltrp_entries[listIdx][rplsIdx]表示ref_pic_list_struct(listIdx,rplsIdx)中的LTRP条目数。

当lt_ref_pic_flag[listIdx][rplsIdx]不存在时，lt_ref_pic_flag[listIdx][rplsIdx]值被推断如下。

当num_ltrp_entries[listIdx][rplsIdx]为0时，值(lt_ref_pic_flag[listIdx][rplsIdx])被推断为0。否则，其在numLtrps(LTRP的数量)等于num_ltrp_entries[listIdx][rplsIdx]时被推断为0，并且在numStrps(STRP的数量)等于num_strp_entries[listIdx][rplsIdx]时被推断为0。

[表5]

参照图14，解码设备200开始构建参考列表(S1405)并且解析STRP条目数(num_strp_entries)(S1410)。解码设备识别是否使用了LTRP(S1415)，并且在使用了LTRP时，解析LTRP的数量(num_ltrp_entries)(S1420)。解码设备200将变量i、numLtrps和numStrps初始化为0(S1425)，确定变量i是否等于或小于条目数(num_ref_entires)(S1430)，并且在i等于或小于条目数(num_ref_entires)时执行参考图片标记操作(S1435)并更新i(S1440)。

图15是示出了根据本公开的实施方式的处理视频信号的示例的流程图。图15的操作可以由解码设备200执行。

在步骤S1510中，解码设备200构建视频信号中的当前图片的参考图片列表。解码设备200在参考图片列表的第一条目与STRP条目相对应时获得与第一条目有关的图片与在先图片(prior picture)之间的POC差(例如，abs_delta_poc_st)，并且在参考图片列表的第二条目与LTRP条目相对应时，获得与第二条目有关的图片的POC模值(例如，poc_lsb_lt)。

根据实施方式，在配置参考图片列表的过程中，解码设备200可以获得参考图片列表中的条目数(num_ref_entries)，并且按LTRP或STRP对参考图片列表中的各个条目执行和条目数一样多的次数的参考图片标记。

根据实施方式，最大条目数可以是解码图片缓冲器的最大所需大小加14(例如，sps_max_dec_pic_buffering_minus1+14)或解码图片缓冲器的最大所需大小(例如，sps_max_dec_pic_buffering_minus1)。

根据实施方式，在执行参考图片标记的过程中，解码设备200可以获得如表4中所示的STRP条目数(例如，num_strp_entries)和LTRP条目数(例如，num_ltrp_entries)，执行和STRP条目数一样多的次数的STRP标记并且执行和LTRP条目一样多的次数的LTRP标记。

根据实施方式，在配置参考图片列表的过程中，解码设备200可以获得第一标志并且基于第一标志确定参考图片列表中的条目是STRP条目还是LTRP条目。例如，解码设备200可以使用指示与当前条目有关的图片是否与STRP相对应的标志(例如，st_ref_pic_flag)来确定当前条目是STRP条目还是LTRP条目。

根据实施方式，POC差表示在先图片的POC减去与第一条目有关的图片的POC的绝对值。当绝对值(绝对POC差)(例如，abs_delta_poc_st)大于0时，解码设备200可以获得指示POC差的符号的第二标志(例如，strp_entry_sign_flag)。

在步骤S1520中，解码设备200使用参考图片列表来对当前图片执行预测。例如，解码设备200可以使用由第一参考图片列表(L0)或第二参考图片列表(L1)中包括的参考图片中的运动矢量指示的样本值来生成预测样本。

本公开的实施方式提供了用于对构建参考图片列表所必需的信息进行编码的方法和装置。编码设备100可以构建参考图片列表并且使用参考图片列表中的参考图片来执行预测。

此外，针对参考图片列表中的每个条目，编码设备100可以按照条目对用于配置参考图片列表的信息进行编码。例如，用于配置参考图片列表的信息包括与STRP相对应的图片与在先图片之间的POC差(例如，abs_delta_poc_st)并且包括与LTRP相对应的图片的POC模值(例如，poc_lsb_lt)。

编码设备100可以在用于配置参考图片列表的信息中包括用于指示参考图片列表中的条目的图片是STRP还是LTRP的第一标志(例如，st_ref_pic_flag)。另外，当POC差(即，abs_delta_poc_st)大于0时，可以包括第二标志(例如，strp_entry_sign_flag)以指示POC差的符号。用于配置参考图片列表的信息可以被包括在SPS、PPS或切片报头中并用信号通知。

应用本公开的实施方式的处理方法可以以在计算机上执行的程序的形式制造并且可以被存储在计算机可读记录介质中。具有根据本公开的数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括可以存储计算机可读数据的所有种类的存储装置和分布式存储装置。计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)驱动器、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。计算机可读记录介质可以包括以载波的形式实现的介质(例如，通过因特网的发送)。通过编码方法生成的比特流可以被存储在计算机可读记录介质中或者经由有线/无线通信网络发送。

根据本公开的一个实施方式，可以通过可以在计算机上执行的程序代码将本公开的实施方式实现为计算机程序。可以将计算机代码存储在计算机可读载体上。

应用本公开的实施方式的解码设备和编码设备可以包括数字装置。数字装置包含能够执行例如数据、内容或服务的发送、接收、处理和输出中的至少一种的所有种类或类型的数字装置。由数字装置处理数据、内容或服务包括对数据、内容或服务进行编码和/或解码。这样的数字装置可以经由有线/无线网络与其它数字装置或外部服务器配对或连接，从而发送或接收数据，或者在必要时转换数据。

数字装置可以包括例如网络TV、混合广播宽带TV、智能TV、网际协议电视(IPTV)、个人计算机或其它固定装置(standing device)或诸如个人数字助理(PDA)、智能电话、平板PC或膝上型计算机的移动或手持装置。

如本文所使用的，“有线/无线网络”统称为支持用于在数字装置之间或在数字装置与外部服务器之间进行数据通信和/或相互连接的各种通信标准或协议的通信网络。这种有线/无线网络可以包括当前支持或将来要支持的通信网络以及针对这种通信网络的通信协议，并且可以由例如针对有线连接的通信标准和针对无线连接的通信标准形成，针对有线连接的通信标准包括USB(通用串行总线)、CVBS(复合视频消隐同步)、分量、S-视频(模拟)、DVI(数字视频接口)、HDMI(高清晰度多媒体接口)、RGB或D-SUB，并且针对无线连接的通信标准包括蓝牙、RFID(射频识别)、IrDA(红外数据协会)、UWB(超宽带)、ZigBee、DLNA(数字生活网络联盟)、WLAN(无线LAN)(Wi-Fi)、Wibro(无线宽带)、Wimax(全球微波接入互操作性)、HSDPA(高速下行链路分组接入)、LTE(长期演进)或Wi-Fi Direct。

上述实施方式涉及本公开的组件和特征的预定组合。除非另外明确地提及，否则每个组件或特征应该被认为是可选的。每个组件或特征可以被以不与其它组件或特征组合的方式实践。此外，可以将一些组件和/或特征组合在一起以配置本公开的实施方式。结合本公开的实施方式描述的操作的顺序可以变化。实施方式中的一些组件或特征可以被包括在另一实施方式中或者可以用另一实施方式的对应组件或特征替换。显然，除非另外明确地述及，否则权利要求可以被组合以构成实施方式，或者可以在提交之后通过修正案在新的权利要求中添加这种组合。

当以固件或硬件实现时，可以将本公开的实施方式实现为执行上述功能或操作的模块、程序或功能。软件代码可以被存储在存储器中并由处理器驱动。存储器可以被设置在处理器内部或外部以通过各种已知方式与处理器交换数据。

对于本领域普通技术人员而言显而易见的是，在不脱离本公开的必要特征的情况下，可以以其它特定形式实现本公开。因此，以上描述不应该被解释为在所有方面为限制性的，而应被解释为是示例性的。本公开的范围应该通过对所附权利要求的合理解释来确定，并且本公开的所有等同物属于本公开的范围。

工业适用性

已经出于例示目的提供了本公开的上述优选的实施方式，并且本领域普通技术人员将容易理解，在不脱离如所附权利要求中所限定的本公开的技术精神和范围的情况下，可以对其做出各种改变或变化，或者可以添加或用其它实施方式替换。

Claims

1.一种用于由装置使用帧间预测来对视频信号进行解码的方法，该方法包括以下步骤：

构建所述视频信号中的当前图片的参考图片列表；以及

基于所述参考图片列表来对所述当前图片执行预测，

其中，构建所述参考图片列表的步骤包括：

获得所述参考图片列表的条目数；以及

通过与所述条目数一样多的次数，按照短期参考图片STRP或长期参考图片LTRP对所述参考图片列表中的各个条目执行参考图片标记，

其中，执行所述参考图片标记的步骤包括：

基于所述参考图片列表的第一条目与所述STRP相对应，获得与所述第一条目有关的参考图片与另一图片之间的图片顺序计数POC差；以及

基于所述参考图片列表的第二条目与所述LTRP相对应，获得与所述第二条目有关的图片的POC模值，

其中，所述条目数的最大值为解码图片缓冲器的最大所需大小加14。

2.根据权利要求1所述的方法，

其中，执行所述参考图片标记的步骤包括：

获得STRP条目数和LTRP条目数；以及

通过与所述STRP条目数一样多的次数来执行STRP标记，并且通过与所述LTRP条目数一样多的次数来执行LTRP标记。

3.根据权利要求1所述的方法，

其中，构建所述参考图片列表的步骤包括：

获得指示所述参考图片列表的条目是否对应于STRP条目的第一标志；以及

基于所述第一标志确定所述参考图片列表的条目是对应于STRP条目还是对应于LTRP条目。

4.根据权利要求1所述的方法，

其中，所述POC差是所述另一图片的POC减去与所述第一条目有关的所述参考图片的POC的绝对值。

5.根据权利要求4所述的方法，

其中，构建所述参考图片列表的步骤包括：

基于所述绝对值大于0，获得指示所述POC差的符号的第二标志。

6.根据权利要求1所述的方法，

其中，基于所述第一条目是所述参考图片标记中的第一STRP，所述另一图片是所述当前图片，或者基于所述第一条目不是所述参考图片标记中的所述第一STRP，所述另一图片是所述参考图片列表中的先前STRP。

7.一种用于由装置使用帧间预测来对视频信号进行编码的方法，该方法包括以下步骤：

构建所述视频信号中的当前图片的参考图片列表；以及

对用于构建所述参考图片列表的编码信息进行编码，

其中，所述用于构建所述参考图片列表的编码信息包括在所述参考图片列表中与第一条目有关的参考图片与另一图片之间的图片顺序计数POC差以及与所述参考图片列表中的第二条目有关的图片的POC模值，

其中，所述用于构建所述参考图片列表的编码信息还包括所述参考图片列表的条目数，并且

8.根据权利要求7所述的方法，

其中，所述用于构建所述参考图片列表的编码信息还包括第一标志，该第一标志指示所述参考图片列表的条目是否与短期参考图片STRP条目相对应。

9.根据权利要求7所述的方法，

其中，所述用于构建所述参考图片列表的编码信息还包括第二标志，该第二标志针对所述POC差大于0的条目指示所述POC差的符号。

10.根据权利要求7所述的方法，

其中，所述用于构建所述参考图片列表的编码信息被包括在与所述视频信号有关的比特流中的序列参数集SPS、图片参数集PPS或切片报头中。

11.根据权利要求7所述的方法，

其中，基于所述第一条目是所述编码信息中的第一STRP，所述另一图片是所述当前图片，或者基于所述第一条目不是所述编码信息中的所述第一STRP，所述另一图片是所述参考图片列表中的先前STRP。

12.一种用于对视频信号进行解码的设备，该设备包括：

存储器，所述存储器用于存储所述视频信号；和

处理器，所述处理器联接到所述存储器，

其中，所述处理器被配置为：

构建所述视频信号中的当前图片的参考图片列表；并且

基于所述参考图片列表来对所述当前图片执行预测，

其中，为了构建所述参考图片列表，所述处理器被配置为：

获得所述参考图片列表的条目数；以及

其中，为了执行所述参考图片标记，所述处理器被配置为：

基于所述参考图片列表的第二条目与所述LTRP相对应，获得与所述第二条目有关的参考图片的POC模值，

13.根据权利要求12所述的设备，

14. 一种用于存储一个或更多个指令的非暂时性计算机可读介质，所述一个或更多个指令能够由一个或更多个处理器执行以控制视频信号处理装置进行以下操作：

构建所述视频信号中的当前图片的参考图片列表；并且

基于所述参考图片列表来对所述当前图片执行预测，

其中，为了构建所述参考图片列表，能够由所述一个或更多个处理器执行的所述一个或更多个指令控制所述视频信号处理装置进行以下操作：

获得所述参考图片列表的条目数；以及

其中，为了执行所述参考图片标记，能够由所述一个或更多个处理器执行的所述一个或更多个指令控制所述视频信号处理装置进行以下操作：

基于所述参考图片列表的第一条目与所述STRP相对应，获得与所述第一条目有关的图片与另一图片之间的图片顺序计数POC差；以及

15.根据权利要求14所述的非暂时性计算机可读介质，

其中，基于所述第一条目是所述参考图片标记中的第一STRP，所述另一图片是当前图片，或者基于所述第一条目不是所述参考图片标记中的第一STRP，所述另一图片是所述参考图片列表中的先前STRP。