CN113330747A

CN113330747A - 利用适应于加权预测的双向光流进行视频编码和解码的方法和装置

Info

Publication number: CN113330747A
Application number: CN202080009032.1A
Authority: CN
Inventors: F·加尔平; P·博尔德斯; E·弗兰科伊斯
Original assignee: InterDigital VC Holdings Inc
Current assignee: InterDigital VC Holdings Inc
Priority date: 2019-01-14
Filing date: 2020-01-10
Publication date: 2021-08-31
Also published as: WO2020150080A1; MX2021008468A; JP2022517911A; JP7548908B2; US20220109871A1; EP3912356A1

Abstract

描述了不同的实现，尤其呈现了用于视频编码和解码的实现。根据一种实现，在用于编码或解码图像的部分的方法中，至少所述双向光流的方程针对所述图像的所述部分的加权预测中的不相等权重而被修改。根据非限制性示例，修改所述双向光流方程包括对在所述加权预测中使用的所述不相等权重进行比特深度移位、量化在所述加权预测中使用的所述不相等权重或者从在所述加权预测中使用的所述不相等权重导出修改的权重以应用于所述图像的所述部分的预测。

Description

利用适应于加权预测的双向光流进行视频编码和解码的方法和装置

技术领域

本发明的至少一个实施例一般涉及例如用于编码或解码图像的部分的方法或装置，并且更具体地，涉及包括在用于加权预测的帧间预测中修改双向光流的方法或装置。

背景技术

一个或多个实现的技术领域一般涉及视频压缩。与诸如HEVC(HEVC指的是高效视频译码，也称为H.265，以及在“ITU的ITU-T H.265电信标准化部门(10/2014)，系列H：视听和多媒体系统、视听服务的基础设施-移动视频的译码、高效视频译码、建议ITU-T H.265”中描述的MPEG-H部分2)的现有视频压缩系统相比，或者与诸如VVC(通用视频译码，由JVET(联合视频专家组)开发的新标准)的正在开发中的视频压缩系统相比，至少一些实施例涉及提高压缩效率。

为了实现高压缩效率，图像和视频译码方案通常采用图像的分割、包括运动矢量预测的预测、以及利用视频内容中的空间和时间冗余的变换。通常，帧内或帧间预测用于利用帧内或帧间相关性，然后将原始图像与预测图像之间的差异(通常表示为预测误差或预测残差)变换为频域系数，对系数进行量化和熵译码。为了重构视频，通过与熵解码、逆量化、逆变换和预测相对应的逆过程来对压缩数据进行解码。

图1示出了诸如VVC的编解码器中的帧间预测过程的示例性流程图。例如，由JVET(联合视频探索团队)组开发的联合探索模型(JEM)和VVC参考软件描述了在图1的帧间预测过程流水线的每个阶段相关联的一些工具。在VVC编解码器中，已经提出了几种HEVC双向预测的扩展。至少一些实施例进一步涉及帧间预测，其中相对于双向预测有2个特定工具：

-广义双向预测(GBI)或具有CU层级权重(BCW)的双向预测，其中在所述2个预测的所述混合期间的所述加权使用不相等权重。

-BIO：双向光流(又称BDOF)。

与例如HEVC或VVC等现有视频压缩系统相比，需要改进帧间译码块中的双向预测语法和过程。

发明内容

本发明的目的是克服现有技术的至少一个缺点。

为此目的，根据至少一个实施例的一般方面，呈现一种用于编码图像的部分的方法，其包括使用双向光流的逐样本细化，其中至少所述双向光流的方程针对所述图像的所述部分的加权预测中的不相等权重而被修改。

根据至少一个实施例的另一个一般方面，呈现了一种用于解码图像的部分的方法，其包括使用双向光流的逐样本细化，其中至少所述双向光流的方程针对所述图像的所述部分的加权预测中的不相等权重而被修改。

根据至少一个实施例的另一个一般方面，呈现了一种用于视频编码的装置，其包括用于实现编码方法的实施例中的任一者的构件。

根据至少一个实施例的另一个一般方面，呈现了一种用于视频解码的装置，其包括用于实施所述解码方法的实施例中的任一者的构件。

根据至少一个实施例的另一个一般方面，提供了一种用于视频编码的设备，其包括一个或一个以上处理器和至少一个存储器。所述一个或多个处理器被配置为实现编码方法的实施例中的任一者。

根据至少一个实施例的另一个一般方面，提供了一种用于视频解码的设备，其包括一个或一个以上处理器和至少一个存储器。所述一个或多个处理器被配置为实现所述解码方法的实施例中的任一者。

根据至少一个实施例的另一个一般方面，加权预测是广义双向预测、具有译码单元层级权重的双向预测、具有图像层级权重的加权预测、基于图像距离的加权双向预测中的一者。

根据至少一个实施例的另一个一般方面，修改至少一个双向光流方程包括对在加权预测中使用的不相等权重进行比特深度移位。

根据至少一个实施例的另一个一般方面，修改至少一个双向光流方程包括量化在加权预测中使用的不相等权重。

根据至少一个实施例的另一个一般方面，修改至少一个双向光流方程包括从在加权预测中使用的不相等权重导出修改的权重以应用于图像的部分的预测。

根据至少一个实施例的另一个一般方面，呈现了一种非暂时性计算机可读介质，其包含根据前述说明中的任意项的方法或装置生成的数据内容。

根据至少一个实施例的另一个一般方面，呈现了一种信号或比特流，其包括根据前述描述中的任意项的方法或装置生成的视频数据。

本发明实施例中的一者或多者还提供一种计算机可读存储介质，其上存储有用于根据上述方法中的任意项执行双向光流、编码或解码视频数据的指令。本实施例还提供了一种计算机可读存储介质，其上存储有根据上述方法生成的比特流。本实施例还提供了一种用于传送根据上述方法生成的比特流的方法和装置。本发明实施例还提供一种计算机程序产品，其包括用于执行所描述的方法中的任意项的指令。

附图说明

图1示出了编码器架构中的帧间预测过程的示例性流程图。

图2示出了HEVC中的双向预测过程的示例性实施例。

图3示出了根据特定实施例的在BDOF中使用的示例性扩展CU区域。

图4示出了根据特定实施例的预测模式兼容性树的确定的示范性流程图。

图5示出了根据特定实施例的光流轨迹的示例。

图6示出了其中可被实现的实施例的各种方面的视频编码器的实施例的框图。

图7示出了其中可被实现的实施例的各种方面的视频解码器的实施例的框图。

图8示出了可以其中可被实现的实施例的各个方面的示例装置的框图。

图9示出了根据特定实施例的用于加权预测的帧间预测中的双向光流过程的示例性流程图。

具体实施方式

应当理解，附图和描述已经被简化以示出与清楚理解本原理相关的元件，同时为了清楚起见，去除了在典型的编码和/或解码设备中发现的许多其它元件。应当理解，尽管术语第一和第二在本文中可以用于描述各种元件，但是这些元件不应当受这些术语限制。这些术语仅用于将一个元件与另一个元件区分。

关于图像的编码/解码描述了各种实施例。它们可以被应用于编码/解码图像的部分，诸如切片或图块、图块群组或整个图像序列。

上文描述了各种方法，并且每个方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的正确操作需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或使用。

至少一些实施例涉及在帧间预测方法中并且更具体地在双向光流(BIO)中引入加权。

下面，公开了关于广义双向预测(GBI或BCW)和双向光流(BIO或BDOF)的一些限制，公开了改进的BIO过程的一般实施例，公开了合并GBI加权的改进的BIO过程的若干实施例，公开了GBI和非对称双向预测的统一加权的若干实施例，并且公开了附加信息和一般实施例。

广义双向预测(GBI)

在HEVC中，以比输入或内部比特深度高的精度来进行用于双向预测的2个单向预测信号的平均。图2示出HEVC中的双向预测过程的示例性实施例。双向预测公式在以下方程1中示出，其中，偏移和移位是用于将最终预测值(predictor)归一化到输入比特深度的参数。

P_bidir＝(P_L0+P_L1+offset)＞＞shift 方程1

并且P_L0与P_L1是在双向预测模式中利用列表L0和列表L1的参考样本的运动补偿(MC)过程构建的预测样本。另外，为了增加基于样本的计算精度，样本值被存储为增加的比特深度精度。

通常，预测样本P_L0与P_L1通过内部偏移(OFFSETINTERNAL)来修改并使用内部比特深度(BITDEPTHINTERNAL)来表达。偏移(offset)被推导为：

OFFSETINTERNAL＝＝(1＜＜(BITDEPTHINTERNAL-1))

通常BITDEPTHINTERNAL＝14.。

这意味着对于以比特深度(bitdepth)比特表示的最终预测P′_L0，我们具有以下关系：

P′_L0＝(P_L0+OFFSETINTERNAL)＞＞(BITDEPTHINTERNAL-bitdepth)

它给出最终值：

shift＝(BITDEPTHINTERNAL+1-bitdepth)

以及

offset＝(1＜＜(shift-1))+OFFSETINTERNAL

由于在中间阶段中没有舍入，HEVC内插滤波器允许某些实施优化。

在VVC中，多个权重用于对2个单向预测(GBI)求平均以获得双向预测。通常，所使用的权重是{-1/4，5/4}、{3/8，5/8}或{1/2，1/2}(其中{1/2，1/2}是HEVC中使用的权重)，且双向预测公式如方程2中所示被修改。对于整个块只使用一个权重。

P_bidir＝((1-w₁)*P_L0+w₁*P_L1+offset)＞＞shift 方程2

于是，新的值是：

shift＝BITDEPTHINTERNAL-bitdepth+GbiBd

以及

offset＝(1＜＜(shift-1))+OFFSETINTERNAL＜＜GbiBd

其中GbiBd是GBI的权重的比特深度，通常如表1中的示例所示GbiBd＝3。注意Gbi权重的和(w0+w1)是1。

GBI权重值	Gbi分子	GBi索引的二值化
			-1/4	-1	0000
3/8	3	001
			1/2	1	1
5/8	5	01
			5/4	5	0001

表1：GBI权重的实例。

双向光流

VVC(测试模型VTM-3)的最新发展包括双向光流(BDOF)工具。BDOF(先前称为BIO)是较简单的版本，与BIO的先前版本相比，其需要少得多的计算，尤其是在乘法的数目和乘数的大小方面。

BDOF用于细化4×4子块层级的CU的双向预测信号。如果满足以下条件，则BDOF被应用于CU：

1)CU的高度不是4，CU的尺寸不是4×8，

2)所述CU不是使用仿射模式或ATMVP合并模式译码；

3)使用“真”双向预测模式来译码CU，即，两个参考图片中的一者按显示次序在当前图片之前，且另一者按显示次序在当前图片之后。

BDOF仅应用于亮度分量。

如其名称所表明的，BDOF模式是基于光流概念的，其假设物体的运动是平滑的并且其亮度沿着所考虑的时间间隔是恒定的。对于每个4×4子块，通过最小化L0和L1预测采样之间的差来计算运动细化(v_x，v_y)。然后，使用运动细化来调整4×4子块中的双向预测的样本值。在BDOF过程中应用以下步骤。

首先，通过直接计算两个相邻样本之间的差来计算两个预测信号的水平和垂直梯度，

和

k＝0、1，即，

其中I^(k)(i，j)是列表k中预测信号的坐标(i，j)处的样本值，k＝0、1。

然后，梯度S₁、S₂、S₃、S₅和S₆的自相关和互相关被计算为

其中：

其中Ω是围绕4×4子块的6×6窗口。

然后使用互相关和自相关项，使用下式来导出运动细化(v_x，v_y)：

其中

th′_BIO＝2^13-BD.并且

是下取整函数。

基于运动细化和梯度，针对4×4子块中的每个样本计算以下调整：

最后，通过如下调整双向预测样本来计算CU的BDOF样本：

pred_BDOF(x，y)＝(I⁽⁰⁾(x，y)+I⁽¹⁾(x，y)+b(x，y)+o_offset)＞＞shift 方程3-6

在上述中，n_a、n_b和

的值分别等于3、6和12。选择这些值，使得BDOF过程中的乘数不超过15比特，且BDOF过程中的中间参数的最大比特宽度保持在32比特内。

为了导出梯度值，需要产生当前CU边界外部的列表k(k＝0、1)中的一些预测样本I^(k)(i，j)。如图3所示，VTM-3.0中的BDOF使用CU边界周围的一个扩展的行/列。为了控制产生边界外预测样本的计算复杂性，双线性滤波器用于产生扩展区域中(白色位置)的预测样本，且正常8抽头运动补偿内插滤波器用于产生CU内的预测样本(灰色位置)。这些扩展的样本值仅用于梯度计算。对于BDOF过程中的剩余步骤，如果需要CU边界外部的任何样本和梯度值，那么从其最近的相邻者填充(即，重复)所述样本和梯度值。图3示出了在BDOF中使用的示例性扩展CU区域。

双向光流(BIO)包括在针对双向预测的逐块运动补偿之上执行的逐样本运动细化。样本层级运动细化不使用信令。在双向预测的情况下，BIO的目标是假设两个参考图片之间的线性位移并且基于光流的埃尔米特(Hermite)插值来细化每个样本的运动。

BDOF和GBI的一些限制

在VVC(测试模型VTM-3)的最新开发中，三种模式GBI、BDOF和非对称双向预测当前是排他的，并且不总是在所有可能的译码模式中可用。图4示出了根据VVC的最新开发确定预测模式兼容性树的示例性流程图。在图4中，虚线示出了模式关闭时的情况，实线示出了模式激活时的情况。有利地，预测模式兼容性树使得译码不太复杂(减少了探索和减轻解码流水线的模式选择组合)。在VVC的最新版本中，BDOF和GBI是排他的，并且BDOF仅针对对称双向预测而被激活(即，当参考图片处于当前帧的过去和未来)。

在先前的现有技术方法(VVC的先前测试模型版本)中，测试模型软件包括根据参考图片和当前图片的POC来对梯度图像进行加权，以处理当前POC没有居中于POC0与POC1之间的情况(如图5中所描绘的非对称双向预测)。然而，在BDOF过程中没有完全进行加权：仅空间梯度由时间距离加权(方程3-1)。

在先前的现有技术方法中，公开了一种用于非对称双向预测的符合适应加权的方法，尤其是在LDB(低延迟双向预测配置文件)中使用的方法。因此，期望实现非对称双向预测的权重的BDOF过程的适应。此外，先前现有技术方法的测试模型软件通过简单地考虑最终BDOF方程3-6中的GBI权重而包括可能的GBI和BDOF均匀化。还期望细化GBI和BDOF均匀化方法。

用于使BDOF过程适应于加权预测的方法的至少一个实施例

为了克服上述限制，公开了至少一个实施例：

-在BDOF过程中结合GBI加权，考虑比特深度约束。

-统一GBI和非对称双向预测约束的加权

因此，用于使BDOF适应于GBI加权的方法的至少一个实施例

-由于所公开的偏移/移位而改进了BIO+GBI加权性能

-包括在BIO过程中的加权预测而不损失非加权预测的准确性

-包括在BIO过程中加权预测(而不是预测样本加权)，以保持最大准确度

-允许在BIO过程期间近似(通过以下实施例中所述的量化)加权以保持存储比特深度为低。

图9示出了根据特定实施例的用于加权预测的帧间预测中的双向光流过程的示例性流程图。有利地，双向光流过程被应用于编码方法、解码方法、编码器或解码器的任何帧间预测。如前所述，双向光流过程包括帧间预测的逐样本细化，其中使用校正项b来调整双向预测的样本值。根据本原理，双向光流适应于加权预测，并且针对图像的部分的加权预测中的不相等权重，至少修改双向光流的方程。根据非限制性实例，加权预测是广义双向预测、具有译码单元层级权重的双向预测、具有图像层级权重的加权预测、基于图像距离的加权双向预测中的一者。如后面详细描述的，根据不同的特性，修改包括在加权预测中使用的比特深度移位权重的双向光流方程、量化在加权预测中使用的权重或者从在加权预测中使用的权重导出修改的权重以应用于图像的部分的预测。

如图9所示并且用BDOF方程4-x和5-x解释的，双向光流包括访问图像的部分的第一预测I⁽⁰⁾和第二预测I⁽¹⁾的初步步骤S110，访问加权预测的权重并且使用第一预测I⁽⁰⁾、第二预测I⁽¹⁾和权重ω₀和ω₁作为输入来应用修改的双向光流以获得细化的预测pred_BDOF(x，y)的另一初步步骤S120。

用于使BDOF过程适应于GBi加权的方法的至少一个第一实施例

根据第一实施例的特定变型，简化了GBI的加权。在第一实施例的这个变型中，我们考虑来自图像的任意加权的图像上的加权，通常GBI权重应用于图像上。

根据第一实施例的特定变型，仅修改最终方程3-6，而不是将权重应用于整个BIO过程的输入预测。

pred_BDOF(x，y)＝(2(ω₀I⁽⁰⁾(x，y)+ω₁I⁽¹⁾(x，y))/(ω₀+w1)+b(x，y)+o_offset)＞＞shift

其中ω₀和ω₀是GBI权重，通常具有3比特权重。

有利地，为了提高精度，方程被重写其中ω₀和ω₀为GBI分子(numerator)(参见表1)：

pred_BDOF(x，y)＝((ω₀I⁽⁰⁾(x，y)+ω₁I⁽¹⁾(x，y))+(b(x，y)＜＜shift2)+o_offset)＞＞shift其中新值是：

shift＝BITDEPTHINTERNAL-bitdepth+GbiBd

shift2＝GbiBd

o_offset＝((1＜＜(shift-1))+OFFSETINTERNAL＜＜GbiBd)+(1＜＜(shift2-1))

注意，新偏移现在对用于舍入的校正因子进行积分，以考虑BIO校正项最终移位。

有利地，为了避免在修改的方程3-6中移位shift2

pred_BDOF(x，y)＝((ω₀I⁽⁰⁾(x，y)+ω₁I⁽¹⁾(x，y))+(b(x，y)＜＜shift2)+o_offset)＞＞shift

通过改变b校正因子的计算，可以进一步简化该过程。实际上，b因子被移位shift2(通常shifi2＝3)。

从方程3-5：

除以2并去除舍入，得到：

当v_x和v_y因子可以进一步移位(shift2-1)(因为去除3-5中的除法已经去除了1比特)。然后进一步适应3-4中的移位操作：

具有

并且th′_BIO可以与原始阈值相比相应地进行适应。

该实施例有利地避免了方程3-5中的除法(或移位)，并且增加了因子v_x和v_y的精度。总之，与全GBI和BIO组合相比，复杂性降低，与仅BIO最后步骤的初生GBI和BIO组合相比，性能得到改善。

用于使BIO过程适应于非对称双向预测的方法的至少一个第二实施例

在该至少一个第二实施例中，我们考虑图像上的加权通常来自图像之间的(不对称的)时间距离。

在原始BIO方程中，考虑到每个预测图像上的权重导致方程(3-x)的以下变化，其他方程保持与DCC 2016中的由A.Alshin与E.Alshina在“用于未来编解码器的双向光流”中公开的方程相同。

空间梯度：

BIO校正：

根据埃尔米特(Hermite)插值的最后加权

在至少一个第二实施例的变型中，保持恒定的比特深度以用于BIO加权。保持内部存储的相同比特深度(对应于方程4-1中的梯度)，BIO过程被适应。我们示出了一个非限制性示例的过程，其中对1比特进行加权(权重可以取两个值：1或2)。

在该示例中，我们假设权重可以仅取值1或2(可选地具有符号)。我们定义M＝(1＜＜n)＝2。

空间梯度：

方程如下被改变：

m的值按照以下方式被计算：

p＝min(|ω₀|，|ω₁|)

其中clip函数clip(x，a，b)将x值剪裁到a和b之间，a/b代表整数除法。

(a)m₀＝m₁＝m＝0，if|ω₀′|＝＝1＆＆|ω₁′|＝＝1

(b)

否则

在第一种情况(a)中，BIO过程与常规过程相比没有改变。

在第二种情况下，对空间梯度进行加权，使得具有最小权重的空间梯度将是原始空间梯度的一半，而具有最大权重的空间梯度将不变。

例如，对于n＝1，(M＝2)，ω₀＝2 ω₁＝6：

ω′₀＝1

ω′₁＝2

m₀＝1，m₁＝0，m＝1

用于权重计算的变型

可以量化最大和最小权重之间的比例因子。例如，利用最大权重ω_c和比例因子的2的量化，我们获得：

例如，对于n＝1，(M＝2)，ω₀＝2 ω₁＝4：在没有比例因子量化的情况下，结果是：

ω′₀＝1

ω′₁＝2

m₀＝1，m₁＝0，m＝1

在比例因子为2的情况下，结果是：

ω′₀＝1

ω′₁＝1

m₀＝0，m₁＝0，m＝0

Bio校正

bio校正项被如下修改：

由于权重在n＝1比特上被译码，

最多为4，并且可以使用移位操作来完成。

项(ω₀′+ω₁′)²可以是：

-4，当权重相等(等于1)时，则使用比特移位完成除法。

-或9(当权重等于1和另一个权重等于2时)。在这种情况下，除法近似为除以8(使用比特移位)并将最大权重平方近似为3(而不是4)。

示例：ω′₀＝1 ω′₁＝2

最后加权：

在最后加权中，权重被改变以使用比特移位操作而不是除法。在权重相等的情况下，过程不变。我们描述了一种情况(另一种是对称的)的过程。

示例：ω′₀＝1 ω′₁＝2

pred_BDOF(x，y)＝((24I⁽⁰⁾(x，y)+8I⁽¹⁾(x，y))/32+b(x，y)+o_offset)＞＞shift

附加实施例和信息

本申请描述了多个方向，包括工具、特征、实施例、模型、方法等。这些方面中的许多方面被描述为具有特异性，并且至少为了示出个体特性，通常以可能听起来受限的方式来描述。然而，这是为了描述清楚的目的，并且不限制那些方面的应用或范围。实际上，所有不同的方面可以组合和互换以提供另外的方面。此外，这些方面也可以与在较早的文档中描述的方面组合和互换。

本申请中描述和预期的方面可以以许多不同的形式实现。以下图6、7和8提供了一些实施例，但是可以设想其他实施例，并且对图6、7和8的讨论不限制实现的广度。至少一个方面一般涉及视频编码和解码，并且至少一个其它方面一般涉及传送所生成或编码的比特流。这些和其它方面可以实现为方法、装置、其上存储有用于根据所描述的任何方法来编码或解码视频数据的指令的计算机可读存储介质、和/或其上存储有根据所描述的任何方法生成的比特流的计算机可读存储介质。

在本申请中，术语“重建”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常，但不是必须的，术语“重构”在编码器侧使用，而“解码”在解码器侧使用。

本文描述了各种方法，并且每种方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的正确操作需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或使用。

本申请中描述的各种方法和其它方面可用于修改模块，例如图6和图7所示的视频编码器100和解码器200的运动补偿(170)和运动估计模块(175、275)，此外，本发明的方面不限于VVC或HEVC，并且可应用于例如其它标准和建议，无论是预先存在的还是将来开发的，以及任何此类标准和建议(包括VVC和HEVC)的扩展。除非另外指出或在技术上排除，本申请中描述的方面可以单独或组合使用。

在本申请中使用各种数值。具体值是出于示例目的，并且所描述的方面不限于这些具体值。

图6示出了编码器100。可以设想该编码器100的变型，但是为了清楚起见，下面描述编码器100，而不描述所有预期的变型。

在被编码之前，视频序列可以经历预编码处理(101)，例如，对输入颜色图片应用颜色变换(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)，或者执行输入图片分量的重新映射，以便获得对压缩更有弹性的信号分布(例如，使用颜色分量之一的直方图均衡)。元数据可以与预处理相关联，并且被附加到比特流。

在编码器100中，如下所述，由编码器元件对图片进行编码。以例如CU为单位分割(102)并处理要编码的图片。使用例如帧内或帧间模式来编码每个单元。当以帧内模式对单元进行编码时，其执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。编码器决定(105)使用帧内模式或帧间模式中的哪一者来对单元进行编码，并且通过例如预测模式标志来指示帧内/帧间决定。例如，通过从原始图像块中减去(110)预测块来计算预测残差。

然后，对预测残差进行变换(125)和量化(130)。对量化的变换系数以及运动矢量和其它语法元素进行熵译码(145)以输出比特流。编码器可以跳过变换，并直接对未变换的残差信号应用量化。编码器可以绕过变换和量化，即，直接对残差进行译码而不应用变换或量化过程。

编码器对编码的块进行解码，以提供用于进一步预测的参考。对量化的变换系数进行去量化(140)和逆变换(150)以对预测残差进行解码。组合(155)解码的预测残差和预测块，重构图像块。环路滤波器(165)被应用于重构的图像，以执行例如解块/SAO(采样自适应偏移)滤波，从而减少编码伪像。将滤波图像存储在参考图片缓冲器(180)中。

图7说明视频解码器200的框图。在解码器200中，如下所述，由解码器元件解码比特流。视频解码器200通常执行与图6中所描述的编码回合互逆的解码回合。编码器100通常还执行视频解码作为编码视频数据的部分。

特别地，解码器的输入包括视频比特流，其可以由视频编码器100生成。比特流首先被熵解码(230)以获得变换系数、运动矢量和其它译码信息。图片分割信息指示图片如何被分割。解码器因此可以根据解码的图片分割信息来划分(235)图片。变换系数被去量化(240)和逆变换(250)以解码预测残差。将解码的预测残差与预测块进行组合(255)，重构图像块。预测块可以从帧内预测(260)或运动补偿预测(即，帧间预测)(275)获得(270)。环路滤波器(265)被应用于重建的图像。将滤波图像存储在参考图片缓冲器(280)中。

解码的图片可以进一步经历后解码处理(285)，例如，逆颜色变换(例如，从YCbCr4:2:0到RGB 4:4:4的转换)或执行在预编码处理(101)中执行的重新映射过程的逆向的逆重新映射。后解码处理可以使用在预编码处理中导出并且在比特流中用信号通知的元数据。

图7示出了其中实现了各个方面和实施例的系统的示例的框图。系统1000可以被实现为包括以下描述的各种组件的设备，并且被配置为执行本文中描述的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器和服务器。系统1000的元件可以单独地或组合地实现在单个集成电路(IC)、多个IC和/或分立组件中。例如，在至少一个实施例中，系统1000的处理和编码器/解码器元件分布在多个IC和/或分立组件上。在各种实施例中，系统1000经由例如通信总线或通过专用输入和/或输出端口通信地耦合到一个或多个其他系统或其他电子设备。在各种实施例中，系统1000被配置为实现本文中描述的一个或多个方面。

系统1000包括至少一个处理器1010，其被配置为执行加载在其中的指令，以用于实现例如本文中描述的各个方面。处理器1010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其它电路。系统1000包括至少一个存储器1020(例如，易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040，其可以包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可以包括内部存储设备、附接的存储设备(包括可拆卸的和不可拆卸的存储设备)和/或网络可访问的存储设备。

系统1000包括编码器/解码器模块1030，其被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块1030可以包括其自己的处理器和存储器。编码器/解码器模块1030表示可包括在设备中以执行编码和/或解码功能的模块。如已知的，设备可以包括编码和解码模块中的一个或两个。另外，编码器/解码器模块1030可实施为系统1000的单独元件或可并入处理器1010内作为如所属领域的技术人员已知的硬件与软件的组合。

要加载到处理器1010或编码器/解码器1030上以执行本文档中描述的各个方面的程序代码可以存储在存储设备1040中，并且随后加载到存储器1020上以供处理器1010执行。根据各种实施例，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一个或多个可以在执行本文中描述的过程期间存储各种项中的一个或多个。这些存储的项可以包括但不限于输入视频、解码视频或解码视频的部分、比特流、矩阵、变量以及来自方程、公式、运算和运算逻辑的处理的中间或最终结果。

在一些实施例中，处理器1010和/或编码器/解码器模块1030内的存储器用于存储指令，并且提供用于在编码或解码期间需要的处理的工作存储器。然而，在其它实施例中，处理设备外部的存储器(例如，处理设备可为处理器1010或编码器/解码器模块1030)用于这些功能中的一者或一者以上。外部存储器可以是存储器1020和/或存储设备1040，例如，动态易失性存储器和/或非易失性闪存。在几个实施例中，外部非易失性闪存用于存储例如电视的操作系统。在至少一个实施例中，诸如RAM的快速外部动态易失性存储器被用作视频译码和解码操作的工作存储器，诸如用于MPEG-2(MPEG是指移动图片专家组，MPEG-2也被称为ISO/IEC 13818，并且13818-1也被称为H.222，并且13818-2也被称为H.262)、HEVC(HEVC是指高效视频译码，也被称为H.265和MPEG-H部分2)、或VVC(通用视频译码，由JVET(联合视频专家团队)开发的新标准)的工作存储器。

可以通过如框1130中所示的各种输入设备来提供对系统1000的元件的输入。这样的输入设备包括但不限于(i)接收例如由广播者通过空中传输的射频(RF)信号的RF部分，(ii)组件(COMP)输入端子(或一组COMP输入端子)，(iii)通用串行总线(USB)输入端子，和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图10中未示出的其它示例包括合成视频。

在各种实施例中，框1130的输入设备具有本领域已知的相关联的相应输入处理元件。例如，RF部分可以与适合于各项的元件相关联(i)选择期望频率(也称为选择信号，或将信号频带限制到频带)，(ii)下变频选择的信号，(iii)再次频带限制到较窄频带，以选择(例如)在某些实施例中可以称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，和(vi)解复用以选择期望的数据分组流。各种实施例的RF部分包括一个或多个元件以执行这些功能，例如，频率选择器、信号选择器、限带器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可以包括执行各种这些功能的调谐器，这些功能包括例如将接收信号下变频到较低频率(例如，中频或近基带频率)或基带。在一个机顶盒实施例中，RF部分及其相关的输入处理元件接收通过有线(例如，电缆)介质发送的RF信号，并通过滤波、下变频和再次滤波到期望的频带来执行频率选择。各种实施例重新安排上述(和其它)元件的顺序，移除这些元件中的一些，和/或添加执行类似或不同功能的其它元件。添加元件可以包括在现有元件之间插入元件，例如插入放大器和模数转换器。在各种实施例中，RF部分包括天线。

另外，USB和/或HDMI终端可以包括用于通过USB和/或HDMI连接将系统1000连接到其它电子设备的相应接口处理器。应当理解，输入处理的各个方面，例如里德-所罗门(Reed-Solomon)纠错，可以根据需要在例如单独的输入处理IC或处理器1010内实现。类似地，USB或HDMI接口处理的各方面可以根据需要在单独的接口IC内或在处理器1010内实现。解调、纠错和解复用的流被提供给各种处理元件(包括例如处理器1010和编码器/解码器1030)，其与存储器和存储元件结合操作以根据需要处理数据流以便在输出设备上呈现。

系统1000的各种元件可以设置在集成壳体内，各种元件可以使用合适的连接装置1140(例如本领域已知的内部总线(包括IC间(I2C)总线、布线和印刷电路板))互连并在其间传输数据。

系统1000包括通信接口1050，其使得能够经由通信信道1060与其他设备通信。通信接口1050可以包括但不限于被配置为通过通信信道1060传送和接收数据的收发器。通信接口1050可以包括但不限于调制解调器或网卡，并且通信信道1060可以例如在有线和/或无线介质内实现。

在各种实施例中，使用无线网络(例如Wi-Fi网络，例如IEEE 802.11(IEEE是指电气和电子工程师协会))，将数据流式传输或以其他方式提供给系统1000。这些实施例的Wi-Fi信号通过适应于Wi-Fi通信的通信信道1060和通信接口1050来接收。这些实施例的通信信道1060通常连接到接入点或路由器，所述接入点或路由器提供对包括因特网的外部网络的接入以允许流式传输应用和其它过顶通信。其它实施例使用通过输入块1130的HDMI连接传递数据的机顶盒向系统1000提供流式传输的数据。还有一些实施例使用输入块1130的RF连接向系统1000提供流式传输的数据。如上所述，各种实施例以非流式传输的方式提供数据。另外，各种实施例使用除Wi-Fi之外的无线网络，例如蜂窝网络或蓝牙网络。

系统1000可以向各种输出设备(包括显示器1100、扬声器1110和其他外围设备1120)提供输出信号。各种实施例的显示器1100包含以下各项中的一者或多者：例如触摸屏显示器、有机发光二极管(OLED)显示器、弯曲显示器和/或可折叠显示器。显示器1100可以用于电视、平板电脑、膝上型计算机、蜂窝电话(移动电话)或其他设备。显示器1100还可与其它组件集成(例如，如在智能电话中)，或单独(例如，用于膝上型计算机的外部监视器)。在各实施例的各示例中，其它外围设备1120包括以下各项中的一个或多个：独立数字视频盘(或数字多功能盘)(对于两项可称为DVR)、盘播放器、立体声系统和/或照明系统。各种实施例使用一个或多个外围设备1120，其基于系统1000的输出提供功能。例如，盘播放器执行播放系统1000的输出的功能。

在各种实施例中，使用诸如AV.链路、消费电子控制(CEC)、或在有或没有用户干预的情况下实现设备到设备控制的其他通信协议的信令在系统1000和显示器1100、扬声器1110或其它外围设备1120之间传送控制信号。。输出设备可以经由通过相应接口1070、1080和1090的专用连接通信地耦合到系统1000。或者，输出设备可以使用通信信道1060经由通信接口1050连接到系统1000。显示器1100和扬声器1110可以与系统1000的其它组件一起集成在电子设备(例如电视机)中的单个单元中。在各种实施例中，显示接口1070包括显示驱动器，例如定时控制器芯片。

例如，如果输入1130的RF部分是单独机顶盒的部分，则显示器1100和扬声器1110可以备选地与其它组件中的一个或多个分离。在显示器1100和扬声器1110是外部组件的各种实施例中，输出信号可以经由专用输出连接来提供，所述专用输出连接例如包括HDMI端口、USB端口或COMP输出。

这些实施例可以由处理器1010或硬件和软件的组合实现的计算机软件来实现。作为非限制性示例，实施例可以由一个或多个集成电路实现。存储器1020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，作为非限制性示例，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。处理器1010可以是适合于技术环境的任何类型，并且可以包含作为非限制性示例的微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一个或多个。

各种实现方式涉及解码。如本申请中所使用的，“解码”可以包括例如对接收到的编码序列执行的全部或部分过程，以便产生适合于显示的最终输出。在各种实施例中，此类过程包括通常由解码器执行的过程中的一个或多个，例如熵解码、逆量化、逆变换和差分解码。在各种实施例中，这样的过程还或者可替换地包括由本申请中描述的各种实现的解码器执行的过程，例如，确定包括BIO过程和非对称双向预测中的GBI加权的帧间预测。

作为进一步的示例，在一个实施例中，“解码”仅指熵解码，在另一实施例中，“解码”仅指差分解码，并且在另一实施例中，“解码”指熵解码和差分解码的组合。短语“解码过程”是否旨在具体地指代操作的子集或一般地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且相信是本领域技术人员所充分理解的。

各种实现涉及编码。以与以上关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可以包括例如对输入视频序列执行的以便产生编码比特流的过程的全部或部分。在各种实施例中，此类过程包括通常由编码器执行的一个或多个过程，例如，分割、差分编码、变换、量化和熵编码。在各种实施例中，这样的过程还或者可替换地包括由本申请中描述的各种实现的编码器执行的过程，例如，确定包括BIO过程和非对称双向预测中的GBI加权的帧间预测。

作为进一步的示例，在一个实施例中，“编码”仅指熵编码，在另一实施例中，“编码”仅指差分编码，而在另一实施例中，“编码”指差分编码和熵编码的组合。短语“编码过程”是否旨在具体地指代操作的子集或一般地指代更广泛的编码过程将基于具体描述的上下文而变得清楚，并且相信是本领域技术人员所充分理解的。

注意，这里使用的语法元素是描述性术语。因此，它们不排除使用其它语法元素名称。

当附图被呈现为流程图时，应当理解，它还提供了对应装置的框图。类似地，当附图被呈现为框图时，应当理解，它还提供了对应的方法/过程的流程图。

本文描述的实现方式和方面可以在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单一形式的实现的上下文中讨论(例如，仅作为方法讨论)，所讨论的特征的实现也可以以其他形式(例如，装置或程序)来实现。例如，可以以适当的硬件、软件和固件来实现装置。所述方法可以在例如处理器中实现，所述处理器通常指处理设备，其包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)和便于终端用户之间的信息通信的其他设备。

对“一个实施例”或“实施例”或“一个实现”或“实现”以及其它变化形式的提及意味着结合实施例描述的特定特征、结构、特性等包含于至少一个实施例中。因此，在本申请中的各个地方出现的短语“在一个实施例中”或“实施例”或“在一个实现中”或“在实现中”以及任何其他变型的出现不一定都指同一实施例。

另外，本申请可以涉及“确定”各种信息。确定信息可以包括以下各项中的一个或多个：例如估计信息、计算信息、预测信息或从存储器检索信息。

此外，本申请可以涉及“访问”各种信息。访问信息可以包括以下各项中的一个或多个例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息。

另外，本申请可以指“接收”各种信息。如同“访问”一样，接收旨在是广义的术语。接收信息可以包括例如访问信息或(例如从存储器)检索信息中的一个或多个。此外，在诸如存储信息、处理信息、传送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，通常以一种方式或另一种方式涉及“接收”。

应当理解，例如在“A/B”、“A和/或B”以及“A和B中的至少一个”的情况下，使用以下“/”、“和/或”以及“…中的至少一个”中的任何一个旨在涵盖仅对第一列出的选项(A)的选择、或仅对第二列出的选项(B)的选择、或对两个选项(A和B)的选择。作为进一步的例子，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这样的措词旨在包括仅选择第一个列出的选项(A)，或者仅选择第二个列出的选项(B)，或者仅选择第三个列出的选项(C)，或者仅选择第一个和第二个列出的选项(A和B)，或者仅选择第一个和第三个列出的选项(A和C)，或者仅选择第二个和第三个列出的选项(B和C)，或者选择所有三个选项(A和B和C)。如本领域和相关领域的普通技术人员所清楚的，这可以扩展到所列的多个项。

此外，如本文所使用的，词语“信号”尤其是指向对应的解码器指示某事。例如，在某些实施例中，编码器用信号通知用于实现帧间预测过程中的加权的多个参数中的特定一个，例如在移位中考虑的比特深度。这样，在一个实施例中，在编码器侧和解码器侧使用相同的参数。因此，例如，编码器可以向解码器传送送(显式信令)特定参数，使得解码器可以使用相同的特定参数。相反，如果解码器已经具有特定参数以及其它参数，则可以使用信令而不进行传送(隐式信令)，以简单地允许解码器知道并选择特定参数。通过避免任何实际功能的传输，在各种实施例中实现了比特节省。应当理解，可以以各种方式来实现信令。例如，在各种实施例中，一个或多个语法元素、标志等被用于将信息用信号通知给对应的解码器。虽然前述内容涉及词语“用信号通知”的动词形式，但是词语“信号”在本文中也可以用作名词。

如对于本领域普通技术人员将显而易见的，实现可以产生被格式化以携带例如可以被存储或传送的信息的各种信号。该信息可以包括例如用于执行方法的指令，或者由所描述的实现之一产生的数据。例如，信号可以被格式化以携带所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码并且利用编码的数据流对载波进行调制。信号携带的信息可以是例如模拟或数字信息。如已知的，信号可以通过各种不同的有线或无线链路来传输。该信号可以存储在处理器可读介质上。

我们描述了多个实施例。这些实施例的特征可以在跨越各种权利要求类别和类型上单独提供或以任何组合提供。此外，实施例可以包括跨越各种权利要求类别和类型的单独或任意组合的以下特征、设备或方面中的一个或多个：

·修改帧间预测过程以便能够在解码器和/或编码器中应用加权参数。

·在帧间预测过程中修改所述双向光流，以适应于在所述解码器和/或编码器中应用的广义双向预测加权。

·使得能够在解码器和/或编码器中在修改的双向光流中进行比特深度移位。

·使得能够近似/量化解码器和/或编码器在修改的双向光流中的加权。

·在解码器和/或编码器中在修改的双向光流中使用预测加权代替预测样本加权。

·在应用于所述解码器和/或编码器中的帧间预测过程中，修改和/或统一针对GBI和非对称双向预测两者的所述加权。

·在所述信令中插入语法元素，所述语法元素使得所述解码器能够识别要使用的所述修改的帧间预测方法中的所述加权。

·基于这些语法元素选择所述修改的帧间预测方法以所述解码器处应用。

·一种包括所描述的语法元素中的一个或多个或其变型的比特流或信号。

·一种包括根据所描述的任何实施例生成的语法传达信息的比特流或信号。

·在所述信令中插入语法元素，所述语法元素使所述解码器能够以对应于编码器所使用的方式修改所述帧间预测方法。

·创建和/或传送和/或接收和/或解码包括一个或多个所描述的语法元素或其变型的比特流或信号。

·根据所述的任何实施例创建和/或传送和/或接收和/或解码。

·根据所描述的任何实施例的方法、过程、装置、存储指令的介质、存储数据的介质或信号。

·一种执行根据所描述的实施例中的任意者的帧间预测方法的适应的TV、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·一种TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其执行根据所描述的实施例中的任意者的帧间预测方法的适应，并且显示(例如，使用监视器、屏幕或其他类型的显示器)所得到的图像。

·一种TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其选择(例如，使用调谐器)信道以接收包括编码图像的信号，并且执行根据所描述的实施例中的任意者的帧间预测方法的适应。

·一种TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其通过空中接收(例如，使用天线)包括编码图像的信号，并且执行根据所描述的实施例中的任意者的帧间预测方法的适应。

Claims

1.一种用于编码图像的部分的方法，包括：

使用双向光流执行逐样本细化(S130)；

其中，至少所述双向光流的方程针对所述图像的所述部分的加权预测中的不相等权重而被修改。

2.一种用于解码图像的部分的方法，包括：

使用双向光流执行逐样本细化(S130)；

3.一种用于编码图像的部分的装置，包括：

一个或多个处理器，其中所述一个或多个处理器被配置成使用双向光流执行逐样本细化；

4.一种用于解码图像的部分的装置，包括：

5.根据权利要求1或2所述的方法或根据权利要求3或4所述的装置，其中加权预测是广义双向预测、具有译码单元层级权重的双向预测、具有图像层级权重的加权预测、基于图像距离的加权双向预测中的一者。

6.根据权利要求1、2和5中任一项所述的方法，或根据权利要求3-5中任一项所述的装置，其中修改所述至少一个双向光流方程包括：对在所述加权预测中使用的所述不相等权重进行比特深度移位。

7.根据权利要求1、2和5-6中任一项所述的方法，或根据权利要求3-6中任一项所述的装置，其中修改所述至少一个双向光流方程包括：量化在所述加权预测中使用的所述不相等权重。

8.根据权利要求1、2和5-7中任一项所述的方法，或根据权利要求3-7中任一项所述的装置，其中修改所述至少一个双向光流方程包括：从在加权预测中使用的所述不相等权重导出修改的权重以应用于所述图像的所述部分的预测。

9.一种计算机程序产品，包括计算指令，所述计算指令用于在由一个或多个处理器实施时执行根据权利要求1、2和5-8中任一项所述的方法。

10.一种非暂时性计算机可读介质，其上存储有指令，所述指令用于在由一个或多个处理器实施时执行根据权利要求1、2和5-8中任一项所述的方法。

11.一种包括图像的编码部分的信号，其通过使用双向光流执行逐样本细化而被形成；

12.一种非暂时性计算机可读介质，包含根据权利要求3-8中任一项所述的装置或者通过权利要求1、2和4-8中任一项所述的方法生成的数据内容，用于使用处理器进行回放。