CN110662076A

CN110662076A - 子块的边界增强

Info

Publication number: CN110662076A
Application number: CN201910584475.2A
Authority: CN
Inventors: 张凯; 张莉; 刘鸿彬; 王悦
Original assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Current assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Priority date: 2018-06-29
Filing date: 2019-07-01
Publication date: 2020-01-07
Anticipated expiration: 2039-07-01
Also published as: CN110662076B; TW202002638A; TWI722465B; WO2020003260A1

Abstract

描述了基于子块的预测的边界增强的设备、系统和方法。分割块会导致相邻子块之间的不连续性，这可能会在残差信号中引入一些不需要的高频能量，其可能会降低后续变换编码的性能。本公开技术的实现可以降低不连续性的影响。在一个典型的方面，一种视频编码方法，包括：将视频块分割成多个子块；基于视频块中多个样本的基于子块的预测形成第一预测候选；基于子块边界区域中多个样本的帧间预测形成第二预测候选；将最终预测候选形成为第一预测候选和第二预测候选的函数；以及使用最终预测候选处理视频块。

Description

子块的边界增强

相关申请的交叉引用

根据适用的《专利法》和/或《巴黎公约》的规定，本申请及时要求于2018年6月29日提交的国际专利申请号PCT/CN2018/093633的优先权和利益。根据美国法律，将国际专利申请号PCT/CN2018/093633的全部公开以引用方式并入本文，作为本申请公开的一部分。

技术领域

一般来说，本申请文件针对图像和视频编码技术。

背景技术

数字视频在互联网和其它数字通信网络上使用的带宽最大。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。

运动补偿是一种视频处理中的技术，给出先前的和/或将来的帧，通过考虑相机和/或视频中的对象的运动来预测视频中的帧。运动补偿可以用于视频数据的编码和解码以实现视频压缩。

发明内容

描述了与图像和视频编码的基于子块的预测的边界增强相关的设备、系统和方法。

在一个典型的方面，本公开的技术可以被用来提供视频编码的方法。该方法包括：将视频块分割成多个子块；基于视频块中多个样本的基于子块的预测形成第一预测候选；基于子块边界区域中多个样本的帧间预测形成第二预测候选；将最终预测候选形成为第一预测候选和第二预测候选的函数；以及使用最终预测候选处理视频块。

在另一个典型的方面，上述方法可以以处理器可执行代码的形式实施，并且存储在计算机可读程序介质中。

在又一典型的方面，公开了一种设备，其被配置为或可操作以执行上述方法。所述设备可以包括被编程以实现该方法的处理器。

在又一典型的方面，一种视频解码装置，其可以实现本文中所述的方法。

在附图、说明书和权利要求书中更详细地描述了本公开技术的上述和其它方面和特征。

附图说明

图1示出了基于子块的预测的示例。

图2示出了一个简化的仿射运动模型的示例。

图3示出了每个子块的仿射运动矢量场(MVF)的示例。

图4示出了AF_INTER仿射运动模式的运动矢量预测(MVP)的示例。

图5A和5B示出了AF_MERGE仿射运动模式的示例候选。

图6示出了使用编码单元(CU)的可选时域运动矢量预测(ATMVP)算法的运动预测的示例。

图7示出了空时运动矢量预测(STMVP)算法使用的具有子块和相邻块的编码单元(CU)的示例。

图8示出了双向光流(BIO)算法使用的光流轨迹的示例。

图9A和9B示出了使用无块扩展的双向光流(BIO)算法的示例快照。

图10示出了帧速率上转换(FRUC)算法中的双边匹配的示例。

图11示出了FRUC算法中的模板匹配的示例。

图12示出了FRUC算法中的单边运动估计的示例。

图13A和图13B示出了可能被滤波的子块边界的示例。

图14A和图14B示出了要被过滤的预测样本的示例。

图15A、图15B、图15C和图15D示出了根据所公开的技术的仿射预测的边界增强的示例。

图16示出了根据所公开的技术的视频编码的示例方法的流程图。

图17是说明可用于实现本公开技术的各个部分的计算机系统或其它控制设备的结构的示例的框图。

图18示出了可用于实现本公开技术的各个部分的移动设备的示例实施例的框图。

图19是用于视频处理的示例方法的流程图。

具体实施方式

由于对高分辨率视频的需求日益增加，视频编码方法和技术在现代技术中无处不在。视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件，并且不断地被改进以提供更高的编码效率。视频编解码器将未压缩的视频转换为压缩格式，或反之亦然。视频质量、用于表示视频的数据量(由比特率决定)、编码和解码算法的复杂度、对数据丢失和错误的敏感度、易于编辑、随机访问和端到端延迟(延迟)之间存在复杂的关系。压缩格式通常符合标准视频压缩规范，例如，高效视频编码(HEVC)标准(也称为H.265或MPEG-H第2部分)、待最终确定的多功能视频编码标准或其它当前和/或未来的视频编码标准。

基于子块的预测首先被高效视频编码(HEVC)标准引入视频编码标准。使用基于子块的预测，将一个块(如编码单元(CU)或预测单元(PU))划分为几个不重叠的子块。可以为不同的子块分配不同的运动信息，例如参考索引或运动矢量(MV)，并为每个子块分别执行运动补偿(MC)。图1示出了基于子块的预测的示例。

公开技术的实施例可应用于现有视频编码标准(例如，HEVC、H.265)和未来标准，以提高运行时间性能。在本文中，使用章节标题以提高描述的可读性，并且不会以任何方式将讨论或实施例(和/或实现)仅限于各自的章节。

此外，虽然某些实施例是参照多功能视频编码或其它特定视频编解码器来描述的，但所公开的技术也适用于其它视频编码技术。此外，虽然一些实施例详细描述了视频编码步骤，但应当理解的是，相应的解码步骤(撤销编码)将由解码器实现。此外，术语“视频处理”包括视频编码或压缩、视频解码或解压缩、以及视频转码，其中视频像素从一种压缩格式表示为另一种压缩格式或以不同的压缩比特率表示。

1.联合探索模型(JEM)的示例

在一些实施例中，使用名为联合探索模型(JEM)的参考软件来探索未来的视频编码技术。在JEM中，基于子块的预测被用于多种编码工具中，如仿射预测、可选时域运动矢量预测(ATMVP)、空时运动矢量预测(STMVP)、双向光流(BIO)、帧速率上转换(FRUC)、局部自适应运动矢量分辨率(LAMVR)、重叠块运动补偿(OBMC)、局部照明补偿(LIC)和解码器侧运动矢量细化(DMVR)。

1.1仿射预测的示例

在HEVC中，仅平移运动模型应用于运动补偿预测(MCP)。然而，相机和对象可能具有多种运动，例如放大/缩小、旋转、透视运动和/或其它不规则运动。另一方面，JEM应用了简化的仿射变换运动补偿预测。图2示出了由两个控制点运动矢量V₀和V₁描述的块200的仿射运动场的示例。块200的运动矢量场(MVF)可以由以下等式描述：

如图2所示，(v_0x,v_0y)是左上角控制点的运动矢量，并且(v_1x,v_1y)是右上角控制点的运动矢量。为了简化运动补偿预测，可以应用基于子块的仿射变换预测。子块大小M×N推导如下：

这里，MvPre是运动矢量分数精度(例如，JEM中的1/16)。(v_2x,v_2y)是左下控制点的运动矢量，其根据等式(1)计算。如果需要，M和N可以被向下调节使其分别作为w和h的除数。

图3示出了块300的每个子块的仿射MVF的示例。为了推导出每个M×N子块的运动矢量，可以根据等式(1)计算每个子块的中心样本的运动矢量，并且四舍五入到运动矢量分数精度(例如，JEM中的1/16)。然后可以应用运动补偿插值滤波器，利用推导出的运动矢量生成各子块的预测。在MCP之后，对每个子块的高精度运动矢量进行取整，并将其保存为与正常运动矢量相同的精度。

在JEM中，有两个仿射运动模式：AF_INTER模式和AF_MERGE模式。对于宽度和高度都大于8的CU，可以应用AF_INTER模式。在位流中，CU级别的仿射标志被发信令(signal)，以指示是否使用AF_INTER模式。在AF_INTER模式中，使用相邻的块构造具有运动矢量对{(v₀,v₁)|v₀＝{v_A,v_B,v_c},v₁＝{v_D,v_E}}的候选列表。

图4示出了在AF_INTER模式中块400的运动矢量预测(MVP)的示例。如图4所示，v0从子块A、B或C的运动矢量中选择。可以根据参考列表对相邻块的运动矢量进行缩放。也可以根据相邻块参考的图片顺序计数(POC)、当前CU参考的POC和当前CU的POC之间的关系对运动矢量进行缩放。从相邻的子块D和E中选择v₁的方法类似。如果候选列表的数目小于2，则该列表由复制每个AMVP候选组成的运动矢量对来填充。当候选列表大于2时，可以首先根据相邻的运动矢量对候选进行排序(例如，基于一对候选中两个运动矢量的相似性)。在一些实现中，保留前两个候选。在一些实施例中，使用速率失真(RD)成本检查来确定选择哪个运动矢量对候选作为当前CU的控制点运动矢量预测(CPMVP)。可以在位流中发信令指示CPMVP在候选列表中的位置的索引。在确定了当前仿射CU的CPMVP后，应用仿射运动估计，并且找到控制点运动矢量(CPMV)。然后，在比特流中对CPMV和CPMVP的差异发信令。

当在AF_MERGE模式下应用CU时，它从有效的相邻重构块中获取用仿射模式编码的第一个块。图5A示出了当前CU 500的候选块的选择顺序的示例。如图5A所示，选择顺序可以是从当前CU 500的左(501)、上(502)、右上(503)、左下(504)到左上(505)。图5B示出了在AF_MERGE模式中当前CU 500的候选块的另一个示例。如果相邻的左下块501以仿射模式编码，如图5B所示，则导出包含子块501的CU左上角、右上角和左下角的运动矢量v2、v3和v4。当前CU 500左上角的运动矢量v0是基于v2、v3和v4计算的。可以相应地计算当前CU右上方的运动矢量v1。

根据等式(1)中的仿射运动模型计算当前CU的CPMV v0和v1后，可以生成当前CU的MVF。为了识别当前CU是否使用AF_MERGE模式编码，当至少有一个相邻的块以仿射模式编码时，可以在比特流中对仿射标志发信令。

在JEM中，仅当当前块的宽度和高度都大于8时可以使用非Merge仿射模式；仅当当前块的区域(即宽度x高度)不小于64时可以使用仿射模式。

1.2可选时域运动矢量预测(ATMVP)的示例

在ATMVP方法中，通过从小于当前CU的块中提取多组运动信息(包括运动矢量和参考指数)，修改时间运动矢量预测(TMVP)方法。

图6示出了CU 600的ATMVP运动预测过程的示例。ATMVP方法分两步预测CU 600内子CU 601的运动矢量。第一步是用时间矢量识别参考图片650中的相应块651。参考图片650也称为运动源图片。第二步是将当前的CU 600划分成子CU 601，并从每个子CU对应的块中获取每个子CU的运动矢量和参考指数。

在第一步中，参考图片650和对应的块由当前CU 600的空间相邻块的运动信息确定。为了避免相邻块的重复扫描处理，使用当前CU 600的Merge候选列表中的第一Merge候选。第一可用的运动矢量及其相关联的参考索引被设置为时间矢量和运动源图片的索引。这样，与TMVP相比，可以更准确地识别对应的块，其中对应的块(有时称为并置块)始终位于相对于当前CU的右下角或中心位置。

在第二步中，通过将时间矢量添加到当前CU的坐标中，通过运动源图片650中的时间矢量识别子CU 651的对应块。对于每个子CU，使用其对应块的运动信息(例如，覆盖中心样本的最小运动网格)来导出子CU的运动信息。在识别出对应的N×N块的运动信息后，用与HEVC的TMVP同样方式，将其转换为当前子CU的运动矢量和参考指数，其中应用运动缩放和其它程序。例如，解码器检查是否满足低延迟条件(例如，当前图片的所有参考图片的POC都小于当前图片的POC)，并且可能使用运动矢量MVx(例如，与参考图片列表X对应的运动矢量)来预测每个子CU的运动矢量MVy(例如，X等于0或1并且Y等于1-X)。

1.3空时运动矢量预测(STMVP)的示例

在STMVP方法中，子CU的运动矢量按照光栅扫描顺序递归导出。图7示出具有四个子块的一个CU和相邻块的示例。考虑8×8的CU 700，其包括四个4×4子CU A(701)、B(702)、C(703)和D(704)。当前帧中相邻的4×4块标记为a(711)、b(712)、c(713)和d(714)。

子CU A的运动推导由识别其两个空间邻居开始。第一邻居是子CU A701上方的N×N块(块c 713)。如果该块c(713)不可用或内部编码，则检查子CU A(701)上方的其它N×N块(从左到右，从块c 713处开始)。第二个邻居是子CU A 701左侧的一个块(块b 712)。如果块b(712)不可用或是内部编码，则检查子CU A 701左侧的其它块(从上到下，从块b 712处开始)。每个列表从相邻块获得的运动信息被缩放到给定列表的第一参考帧。接下来，按照HEVC中规定的与TMVP相同的程序，推导出子块A 701的时间运动矢量预测(TMVP)。提取块D704处的并置块的运动信息并进行相应的缩放。最后，在检索和缩放运动信息后，对每个参考列表分别平均所有可用的运动向量。将平均运动矢量指定为当前子CU的运动矢量。

1.4双向光流(BIO)的示例

双向光流(BIO)法是在分块运动补偿之上对双向预测进行的样本方向运动细化。在一些实现中，样本级的运动细化不使用信令。

设I^(k)为块运动补偿后到参考k(k＝0，1)的亮度值，并且

分别为I^(k)梯度的水平分量和垂直分量。假设光流是有效的，则运动矢量场(v_x,v_y)由下式给出：

将此光流等式与每个样品运动轨迹的埃尔米特插值相结合，得到唯一的三阶多项式，该多项式在末端同时匹配函数值I^(k)和其导数

该多项式在t＝0时的值是BIO预测：

图8示出了双向光流(BIO)方法中的示例光流轨迹。这里，τ₀和τ₁表示到参考帧的距离。基于Ref0和Ref1的POC计算距离τ₀和τ₁：τ₀＝POC(current)-POC(Ref₀),τ₁＝POC(Ref₁)-POC(current)。如果两个预测都来自同一个时间方向(都来自过去或都来自未来)，则符号是不同的(例如，τ₀·τ₁<0)。在这种情况下，如果预测不是来自同一时间点(例如,τ₀≠τ₁)，则应用BIO。两个参考区域都具有非零运动(例如,MVx₀,MVy₀,MVx₁,MVy₁≠0)，并且块运动矢量与时间距离成比例(例如，MVx₀/MVx₁＝MVy₀/MVy₁＝-τ₀/τ₁)。

通过最小化A点和B点之间的值的差Δ来确定运动矢量场(v_x,v_y)。图9A-9B示出了运动轨迹与参考帧平面相交的示例。对Δ，模型仅使用局部泰勒展开的第一个线性项：

上述等式中的所有值取决于样本位置，表示为(i′,j′)。假设在局部周围区域的运动是一致的，那么Δ可以在以当前预测点(i，j)为中心的(2 M+1)x(2 M+1)方形窗口Ω内最小化，其中M等于2：

对于这个优化问题，JEM使用简化方法，首先在垂直方向上最小化，然后在水平方向最小化。结果如下：

其中，

为了避免被零除或很小的值除，可在式(7)和式(8)中引入正则化参数r和m，其中

r＝500·4^d-8 等式(10)

m＝700·4^d-8 等式(11)

这里，d是视频样本的位深度。

为了使BIO的内存访问与常规双向预测运动补偿相同，计算当前块内位置的所有预测和梯度值I^(k),

图9A示出了块900外部的访问位置示例。如图9A所示，在等式(9)中，以预测区块边界上当前预测点为中心的(2M+1)x(2M+1)的方形窗口Ω需要访问区块外的位置。在JEM中，块外的值I^(k),

设置为等于块内最近的可用值。例如，这可以实现为填充区域901，如图9B所示。

使用BIO，可以对每个样本的运动场进行细化。为了降低计算复杂度，在JEM中采用了基于块设计的BIO。运动细化可以基于4x4块计算。在基于块的BIO中，可以对4x4块中所有样本的等式(9)中的s_n值进行聚合，然后将s_n的聚合值用于4x4块的推导的BIO运动矢量偏移。更具体地说，下面的等式可以用于基于块的BIO推导：

这里，b_k表示属于预测块的第k个4x4块的样本组。等式(7)和等式(8)中的s_n替换为((s_n,bk)>>4)以推导相关联的运动矢量偏移。

在某些情况下，由于噪声或不规则运动，BIO的MV团(regiment)可能不可靠。因此，在BIO中，MV团的大小被固定到一个阈值。该阈值是基于当前图片的参考图片是否全部来自一个方向确定的。例如，如果当前图片的所有参考图片都来自一个方向，则该阈值的值被设置为12×2^14-d，否则其被设置为12×2^13-d。

可以使用与HEVC运动补偿处理一致的操作(例如，2D可分离有限脉冲响应(FIR))通过运动补偿插值同时计算BIO的梯度。在一些实施例中，2D可分离FIR的输入是与运动补偿处理相同的参考帧，以及根据块运动矢量的分数部分的分数位置(fracX，fracY)。对于水平梯度

首先使用BIOfilterS对信号进行垂直内插，该BIOfilterS对应于具有去缩放标度位移d-8的分数位置fracY。然后在水平方向上应用梯度滤波器BIOfilterG，该BIOfilterG对应于具有去缩放标度位移18-d的分数位置fracX。对于垂直梯度

使用BIOfilterG垂直地应用梯度滤波器，该BIOfilterG对应于具有去缩放标度位移d-8的分数位置fracY。然后，然后在水平方向上使用BIOfilterS执行信号替换，该BIOfilterS对应于具有去缩放标度位移18-d的分数位置fracX。用于梯度计算BIOfilterG和信号替换BIOfilterS的插值滤波器的长度可以更短(例如，6-tap)，以保持合理的复杂度。表2示出了可用在BIO中块运动矢量的不同分数位置的梯度计算的示例滤波器。表3示出了可用在BIO中预测信号生成的插值示例滤波器。

表2 BIO中用于梯度计算的示例滤波器

分数像素位置	梯度的插值滤波器(BIOfilterG)
		0	{8,-39,-3,46,-17,5}
1/16	{8,-32,-13,50,-18,5}
		1/8	{7,-27,-20,54,-19,5}
3/16	{6,-21,-29,57,-18,5}
		1/4	{4,-17,-36,60,-15,4}
5/16	{3,-9,-44,61,-15,4}
		3/8	{1,-4,-48,61,-13,3}
7/16	{0,1,-54,60,-9,2}
		1/2	{-1,4,-57,57,-4,1}

表3 BIO中用于预测信号生成的示例插值滤波器

分数像素位置	用于预测信号的插值滤波器(BIOfilterS)
		0	{0,0,64,0,0,0}
1/16	{1,-3,64,4,-2,0}
		1/8	{1,-6,62,9,-3,1}
3/16	{2,-8,60,14,-5,1}
		1/4	{2,-9,57,19,-7,2}
5/16	{3,-10,53,24,-8,2}
		3/8	{3,-11,50,29,-9,2}
7/16	{3,-11,44,35,-10,3}
		1/2	{3,-10,35,44,-11,3}

在JEM中，当两个预测来自不同的参考图片时，BIO可应用于所有的双向预测块。当为CU启用局部照明补偿(LIC)时，可以禁用BIO。

在一些实施例中，在正常MC处理之后将OBMC应用于块。为了降低计算复杂度，在OBMC处理期间可能不应用BIO。这意味着在OBMC处理期间，当使用自己的MV时，将BIO应用于块的MC处理，而当使用相邻块的MV时，BIO不应用于块的MC处理。

1.5帧速率上转换(FRUC)的示例

对于CU，当其Merge标志为真时，可以对FRUC标志发信令。当FRUC标志为假时，可以对Merge索引发信令并且使用常规Merge模式。当FRUC标志为真时，可以对另一个FRUC模式标志发信令来指示将使用哪种方法(例如，双边匹配或模板匹配)来导出该块的运动信息。

在编码器端，基于对正常Merge候选所做的RD成本选择决定是否对CU使用FRUCMerge模式。例如，通过使用RD成本选择来检查CU的多个匹配模式(例如，双边匹配和模板匹配)。导致最低成本的模式进一步与其它CU模式相比较。如果FRUC匹配模式是最有效的模式，那么对于CU，FRUC标志设置为真，并且使用相关的匹配模式。

通常，FRUC Merge模式中的运动推导处理有两个步骤：首先执行CU级运动搜索，然后执行子CU级运动细化。在CU级，基于双边匹配或模板匹配，导出整个CU的初始运动矢量。首先，生成MV候选列表，并且选择导致最低匹配成本的候选作为进一步CU级细化的起点。然后在起始点附近执行基于双边匹配或模板匹配的局部搜索。将最小匹配成本的MV结果作为整个CU的MV值。随后，以导出的CU运动矢量为起点，进一步在子CU级细化运动信息。

例如，对于W×H CU运动信息推导执行以下推导过程。在第一阶段，推导出了整个W×H CU的MV。在第二阶段，该CU进一步被分成M×M子CU。M的值按照(16)计算，D是预先定义的划分深度，在JEM中默认设置为3。然后导出每个子CU的MV值。

图10示出在帧速率上转换(FRUC)法中使用的双边匹配的示例。通过在两张不同的参考图片(1010，1011)中沿当前CU(1000)的运动轨迹找到两个块之间最接近的匹配，使用双边匹配来获得当前CU的运动信息。在连续运动轨迹假设下，指向两个参考块的运动矢量MV0(1001)和MV1(1002)与当前图片和两个参考图片之间的时间距离(例如，TD0(1003)和TD1(1004))成正比。在一些实施例中，当当前图片1000暂时位于两个参考图片(1010，1011)之间并且当前图片到两个参考图片的时间距离相同时，双边匹配成为基于镜像的双向MV。

图11示出在帧速率上转换FRUC方法中使用的模板匹配的示例。模板匹配可以用于通过找到当前图片中的模板(例如，当前CU的顶部和/或左侧相邻块)与参考图片1110中的块(例如，与模板大小相同)之间的最接近匹配来获取当前CU 1100的运动信息。除了上述的FRUC Merge模式外，模板匹配也可以应用于AMVP模式。在JEM和HEVC中，AMVP都具有两个候选。通过模板匹配方法，可以导出新的候选。如果通过模板匹配新导出的候选与第一个现有的AMVP候选不同，则将其插入AMVP候选列表的最开始处，并且然后将列表大小设置为2(例如，通过删除第二个现有AMVP候选)。当应用于AMVP模式时，仅应用CU级搜索。

CU级设置的MV候选可以包括以下：(1)原始AMVP候选，如果当前CU处于AMVP模式，(2)所有Merge候选，(3)插值MV场(稍后描述)中的数个MV，以及顶部和左侧相邻运动矢量。

当使用双边匹配时，Merge候选的每个有效MV可以用作输入，以生成假设为双边匹配的MV对。例如，Merge候选在参考列表A处的一个有效MV为(MVa，ref_a)。然后在另一个参考列表B中找到其配对的双向MV的参考图片ref_b，使得ref_a和ref_b在时间上位于当前图片的不同侧。如果参考列表B中的参考ref_b不可用，则将参考ref_b确定为与参考ref_a不同的参考，并且其到当前图片的时间距离是列表B中的最小距离。确定参考ref_b后，通过基于当前图片和参考ref_a、参考ref_b之间的时间距离缩放MVa导出MVb。

在一些实现中，还可以将来自插值MV场中的四个MV添加到CU级候选列表中。更具体地，添加当前CU的位置(0，0)，(W/2，0)，(0，H/2)和(W/2，H/2)处插值的MV。当在AMVP模式下应用FRUC时，原始的AMVP候选也添加到CU级的MV候选集。在一些实现中，在CU级，可以将AMVP CU的15个MV和Merge CU的13个MV添加到候选列表中。

在子CU级设置的MV候选包括从CU级搜索确定的MV，(2)顶部、左侧、左上方和右上方相邻的MV，(3)参考图片中并置的MV的缩放版本，(4)一个或多个ATMVP候选(例如，最多四个)和(5)一个或多个STMVP候选(例如，最多四个)。来自参考图片的缩放MV如下导出。两个列表中的参考图片都被遍历。参考图片中子CU的并置位置处的MV被缩放为起始CU级MV的参考。ATMVP和STMVP候选可以是前四个。在子CU级，一个或多个MV(例如，最多17个)被添加到候选列表中。

插值MV场的生成。在对帧进行编码之前，基于单向ME生成整个图片的内插运动场。然后，该运动场可以随后用作CU级或子CU级的MV候选。

在一些实施例中，两个参考列表中每个参考图片的运动场在4×4的块级别上被遍历。图12示出了在FRUC方法中的单边运动估计(ME)1200的示例。对于每个4×4块，如果与块相关联的运动通过当前图片中的4×4块，并且该块没有被分配任何内插运动，则根据时间距离TD0和TD1将参考块的运动缩放到当前图片(与HEVC中TMVP的MV缩放相同方式)，并且在当前帧中将该缩放运动指定给该块。如果没有缩放的MV指定给4×4块，则在插值运动场中将块的运动标记为不可用。

插值和匹配成本。当运动矢量指向分数采样位置时，需要运动补偿插值。为了降低复杂度，对双边匹配和模板匹配都使用双线性插值而不是常规的8抽头HEVC插值。

匹配成本的计算在不同的步骤处有点不同。当从CU级的候选集中选择候选时，匹配成本可以是双边匹配或模板匹配的绝对和差(SAD)。在确定起始MV后，双边匹配在子CU级搜索的匹配成本C如下计算：

这里，w是权重系数。在一些实施例中，w可以被经验地设置为4。MV和MV^s分别指示当前MV和起始MV。仍然可以将SAD用作模式匹配在子CU级搜索的匹配成本。

在FRUC模式下，MV通过仅使用亮度(亮度)样本导出。导出的运动将用于亮度(亮度)和色度(色度)，用于MC帧间预测。确定MV后，对亮度使用8抽头(8-taps)插值滤波器并且对色度使用4抽头(4-taps)插值滤波器执行最终MC。

MV细化是基于模式的MV搜索，以双边匹配成本或模板匹配成本为标准。在JEM中，支持两种搜索模式—无限制中心偏置菱形搜索(UCBDS)和自适应交叉搜索，分别在CU级别和子CU级别进行MV细化。对于CU级和子CU级的MV细化，都在四分之一亮度样本MV精度下直接搜索MV，接着是八分之一亮度样本MV细化。将CU和子CU步骤的MV细化的搜索范围设置为8个亮度样本。

在双边匹配Merge模式下，应用双向预测，因为CU的运动信息是基于在两个不同的参考图片中沿着当前CU运动轨迹的两个块之间的最近匹配得出的。在模板匹配Merge模式下，编码器可以从列表0的单向预测、列表1的单向预测或者双向预测中为CU做出选择。该选择可以基于如下的模板匹配成本：

如果costBi<＝factor*min(cost0,cost1)

则使用双向预测；

否则，如果cost0<＝cost1

则使用列表0中的单向预测；

否则，

使用列表1中的单向预测；

这里，cost0是列表0模板匹配的SAD，cost1是列表2模板匹配的SAD，并且costBi是双向模板匹配的SAD。例如，当factor的值等于1.25时，意味着选择过程朝双向预测偏移。帧间预测方向选择可应用于CU级模板匹配处理。

1.6为色度分量中的MC导出的MV的示例

在一个示例中，HEVC标准定义了如何从亮度分量中的MC使用的MV(称为mv)导出色度分量中的MC使用的MV(称为mvC)。一般来说，mvC是以mv乘以一个系数来计算的，这取决于颜色格式，如4:2:0或4:2:2。

2.基于子块的实现的现有的方法的示例

在一些现有的实现中，使用了基于子块的预测，因为它通常比整块预测更准确，因为它可以用自己的MV将块划分成更多的部分。

然而，这种划分可能会导致沿其边界的两个相邻子块之间的不连续性。这种不连续性可能会在残差信号中引入一些不需要的高频能量，其可以降低后续变换编码的性能。

3.视频编码中基于子块的预测的示例方法

下面为各种实现描述的示例说明了为基于子块的预测使用边界增强，以提高视频编码效率，并增强现有和未来的视频编码标准。在不应解释为限制性的以下示例中，用于分量的当前块的宽度和高度分别记为W和H，分配给分量的子块的宽度和高度分别记为w和h。

例1.通过基于子块的预测(称为第一预测)预测沿着子块边界的样本；也通过另一个帧间预测(称为第二预测)对其进行预测。第一预测和第二预测被共同使用以推导沿着边界的样本的最终预测。不沿边界的样本的最终预测可能不会改变，例如，等于第一预测。

(a)在一个示例中，边界仅包括内部边界，例如，子块之间的边界，如图13A中的示例所示。阴影区域覆盖沿着边界的样本。

(b)在一个示例中，边界包括内部边界和外部边界，例如子块和其它已经编码或解码的块之间的边界，如图13B中的示例所示。阴影区域覆盖沿着边界的样本。

例2.在一个示例中，要增强的沿着边界的样本的范围可以是预定义的或适应性的。例如，沿垂直边界可以有N列样本、沿水平边界可以有M行样本要被增强。图14A和14B显示了M＝N＝2的预测样本的示例。

(a)在一个示例中，M和/或N取决于子块的宽度和高度。例如，如果子块的形状为4×4，则M＝N＝2；如果子块的形状为8×8，则M＝N＝4。

(b)在一个示例中，M和/或N取决于颜色分量。例如，对于亮度分量，M＝N＝2；对于色度分量，M＝N＝1。

(c)在一个示例中，M和/或N取决于边界的位置。例如，如果边界在子块和编码/解码的相邻块之间，则M＝N＝2；如果边界在两个子块之间，则M＝N＝1。

(d)在一个示例中，M和/或N可能取决于子块的位置。或者，它可能取决于有多少相邻块被编码/解码和/或有多少相邻块的预测块可用。

(e)在一个示例中，M和/或N由编码器向解码器发信令。例如，M和N可以在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、条带报头、编码树单元(CTU)或编码单元(CU)中发信令。

例3.在一个示例中，第一预测可以通过基于子块的预测的常规方法得到，而第二预测是用生成第一预测的相同模型但使用不同的位置生成的。例如，第一预测和第二预测都是由等式(1)生成的，但具有不同的(x，y)。

(a)在一个示例中，如图15A所示，第一预测是用JEM中的仿射预测方法生成的，其中每个子块的MV是通过在子块的中心设置等式(1)中的(x，y)获得的。也就是说，假设子块的左上角点在(i×w，j×h)，那么该子块(第(i，j)个子块)的MV由等式(1)计算得出，其中(x,y)＝(i×w+w/2,j×h+h/2)。然后第二预测可以生成为：

(i)在如图15B所示的垂直边界。第二预测由MC使用覆盖垂直边界的辅助子块生成。辅助子块的尺寸(记为w’×h’)可以与原子块尺寸相同(例如，w’＝w且h’＝h)，或者两个尺寸也可以不同。在图15B的示例中(其中w’＝w且h’＝h)，辅助子块的左上角(在辅助子块的第i行和第j列处)为(i×w+w/2，j×h)，并且该辅助子块的MV由等式(1)计算，其中(x,y)＝(i×w+w,j×h+h/2)。

(ii)在如图15C所示的水平边界。第二预测由MC使用覆盖水平边界的辅助子块生成。辅助子块的尺寸(记为w’×h’)可以与原始子块的尺寸相同(即w’＝w且h’＝h)，或者两个尺寸也可以不同。在图15C的示例中(其中w’＝w且h’＝h)，辅助子块的左上角为(i×w，j×h+h/2)，并且该辅助子块的MV由等式(1)计算得出，其中(x,y)＝(i×w+w/2,j×h+h)。

(iii)在如图15D所示的垂直边界和水平边界的交叉点。第二预测由MC使用覆盖垂直和水平边界的辅助子块生成。辅助子块的尺寸(记为w’×h’)可以与原始子块的尺寸相同(即w’＝w且h’＝h)，或者两种尺寸也可以不同。在图15D的示例中其中w’＝w且h’＝h)，辅助子块的左上角为(i×w+w/2，j×h+h/2)，并且该辅助子块的MV由式(1)计算得出，其中(x,y)＝(i×w+w,j×h+h)。

(iv)对于外部边界，用于生成第二预测的运动信息可以与内部边界相同的方式导出(可以在较小的块尺寸上导出)，如图15A至图15D所示。或者，为最近的内部水平/垂直边界导出的第二运动信息可用于水平/垂直外部边界。

(b)在一个示例中，如何生成第二预测取决于子块的宽度和/或高度、和/或块形状、和/或块尺寸和/或编码模式信息。

(c)在一个示例中，如何生成第二预测取决于颜色分量。

(d)在一个示例中，如何生成第二预测取决于边界的位置。

(e)在一个示例中，第一预测和第二预测来自同一参考图片。或者，第二预测和第一预测来自不同的参考图片。

例4.在一个示例中，沿着边界的样本的最终预测计算为第一预测信号和第二预测信号的函数。

(a)在一个示例中，函数被定义为线性或非线性加权和。

(i)在一个示例中，Pf＝(w1×P1+w2×P2+off)/(w1+w2)，其中Pf是最终预测；P1和P2分别是第一和第二预测；w1和w2是两个加权值；off是取整偏移量，例如off＝(w1+w2)/2。

(ii)在一个示例中，Pf＝(w1×P1+w2×P2+off)>>B，其中Pf是最终预测；P1和P2分别是第一和第二预测；w1和w2是两个加权值，并且w1+w2＝2^B；off是取整偏移量，例如off＝(w1+w2)/2。加权值(w1，w2)的一些示例：(1，1)，(1，3)，(3，1)，(1，7)，(7，1)，(3，5)，(5，3)等。

(b)在一个示例中，函数被定义为指数函数。

(c)加权值或其它函数参数可能取决于以下一个或一些条件：

(i)W和H；

(ii)w和h；

(iii)w’和h’；

(iv)沿边界的样本的位置；

(v)边界的位置；

(vi)颜色分量；

(vii)编码信息，包括MV、QP、帧间预测模式、帧间预测方向、Merge模式或AMVP模式等；

(viii)到边界的距离；和/或

(ix)边界连续性，例如梯度值

例5.在一个示例中，除了第二预测外，可能还有为边界增强生成的第三、第四或第k个预测。

(a)在一个示例中，两个或多个边界增强操作可以级联进行。先前增强操作的最终预测输出作为第一预测输入到下面的增强操作中。

(i)在一个示例中，首先增强垂直边界，如图15B所示，最终预测Pf0作为输出。然后增强水平边界，如图15C所示，其中Pf0作为第一预测，并且最终预测Pf1作为输出。Pf1被视为导出残差的真正最终预测。

(ii)在一个示例中，首先增强水平边界，如图15C所示，最终预测Pf0作为输出。然后，以Pf0作为第一预测、最终预测Pf1作为输出增强垂直边界，如图15B所示。Pf1被视为导出残差的真正最终预测。

(iii)可选地，另外，不同子块的垂直(或水平)边界增强顺序可定义为光栅扫描顺序、水波形状或其它。

(b)在一个示例中，两个或多个边界增强操作可以以独立方式进行。第一预测记为P(0)，第二到第K预测记为P(1)～P(K-1)。P(0)～P(K-1)被共同使用以导出沿着边界的样本的最终预测。

(i)在一个示例中，

其中w(r)是加权值，off是取整偏移量，例如，

(ii)在一个示例中，

其中w(r)是加权值，

并且off是取整偏移量，例如，

例6.在一个示例中，编码器向解码器对是否应用边界增强方法以及如何生成第二预测发信令。例如，可以在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、条带报头、编码树单元(CTU)、编码树块(CTB)、编码单元(CU)或预测单元(PU)、覆盖多个CTU/CTB/CU/PU的区域中对所述选择发信令。

例7.在一个示例中，公开技术的实施例可以与交织预测方法一起实施。例如，在特定的划分模式下，对每个基于子块的预测执行边界增强。此外，不同的划分模式的边界可能不同。

例8.提出的方法可应用于某些颜色分量。

(a)在一个示例中，只有亮度块可以启用提出的方法。

(b)提出的方法可应用于某些块尺寸/形状和/或某些子块尺寸。

(c)提出的方法可应用于某些编码工具，诸如ATMVP和/或仿射。

上述示例可并入下述方法的上下文中，例如方法1600，其可在视频解码器和/或视频编码器上实施。

图16示出了视频编码的示例方法的流程图。方法1600包括在步骤1610中，将视频块分割成多个子块。

方法1600包括在步骤1620中，基于视频块中多个样本的基于子块的预测形成第一候选预测。

方法1600包括在步骤1630中，基于子块边界区域中多个样本的帧间预测形成第二预测候选。在一些实施例中，第一和第二预测候选使用相同的预测模型，其中第一预测候选基于多个样本的第一子集，第二预测候选基于多个样本的与第一子集不同的第二子集。

在一些实施例中，子块边界区域是视频数据块的内部边界，并且其中子块边界区域包括来自多个子块的相邻子块的预测样本，如图13A的上下文中所述。在其它实施例中，子块边界区域是视频数据块的外部边界，并且其中边界样本包括来自相邻视频数据块的重建样本，如图13B的上下文中所述。

在一些实施例中，如例2的上下文所述，子块边界区域中的多个样本包括沿垂直边界的N列样本和沿水平边界的M行样本。例如，M或N可以基于多个子块的子块的维度(dimension)。例如，M或N可以基于多个子块的子块的分量类型(例如，亮度分量或色度分量)。例如，M或N可以基于子块边界区域相对于视频块的位置。例如，M或N可以基于多个子块的子块的位置。在一些实施例中，在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、条带报头、编码树单元(CTU)或编码单元(CU)中对M或N发信令。

在一些实施例中，如例3上下文中所述，第二预测候选可以基于多个子块的子块的维度或视频块的维度，或多个子块的子块的色度分量。

在一些实施例中，基于子块的预测与帧间预测相同。在其它实施例中，第一和第二预测候选基于相同的参考图片。在又一其它实施例中，第一预测候选基于第一参考图片，并且其中第二预测候选基于与第一参考图片不同的第二参考图片。

方法1600包括在步骤1640中将最终预测候选形成为子块边界区域中多个样本的第一预测候选和第二预测候选的函数。在一些实施例中，如例4上下文中所述，最终预测候选(Pf)可以是第一预测候选(P1)和第二预测候选(P2)的加权和。在一个示例中，Pf＝(w1×P1+w2×P2+offset)/(w1+w2)，在另一个示例中，Pf＝(w1×P1+w2×P2+offset)>>B，其中w1和w2是加权值，其中offset＝(w1+w2)/2是取整偏移量，并且其中w1+w2＝2^B。在一些实施例中，最终预测候选与不在子块边界区域中的多个样本的第一预测候选相同。

在一些实施例中，权重值基于多个子块的子块的维度、视频块的维度、子块的色度分量、视频块的一个或多个属性或子块边界区域的位置。例如，一个或多个属性包括运动矢量、量化参数(QP)、帧间预测模式、帧间预测方向、Merge模式或高级运动矢量预测(AMVP)模式。

方法1600包括在步骤1650中，使用最终预测候选处理视频块。

如例5上下文中所述，方法1600可进一步包括基于一个或多个附加预测候选进一步形成最终预测候选，一个或多个附加预测候选的每个预测候选基于子块边界区域中多个样本的预测。在一些实施例中，分量预测候选的类型可以在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、条带报头、编码树单元(CTU)或编码单元(CU)中发信令。

4.公开技术的示例实现

图17是图示可以用于实现本公开技术的各个部分的计算机系统或其它控制设备1700的结构的示例的示意图，包括(但不限于)方法1600。在图17中，计算机系统1700包括通过互连1725连接的一个或多个处理器1705和存储器1710。互连1725可以表示由适当的桥、适配器或控制器连接的任何一条或多条单独的物理总线、点对点连接或两者。因此，互连1725可以包括例如系统总线、外围组件互连(PCI)总线、超传输或工业标准体系结构(ISA)总线、小型计算机系统接口(SCSI)总线、通用串行总线(USB)、IIC(I2C)总线或电气与电子工程师协会(IEEE)标准674总线(有时被称为“火线”)。

处理器1705可以包括中央处理器(CPU)，来控制例如主机的整体操作。在一些实施例中，处理器1705通过执行存储在存储器1710中的软件或固件来实现这一点。处理器1705可以是或可以包括一个或多个可编程通用或专用微处理器、数字信号处理器(DSP)、可编程控制器、专用集成电路(ASIC)、可编程逻辑器件(PLD)等，或这些器件的组合。

存储器1710可以是或包括计算机系统的主存储器。存储器1710表示任何适当形式的随机存取存储器(RAM)、只读存储器(ROM)、闪存等，或这些设备的组合。在使用中，存储器1710除其它外可包含一组机器指令，当处理器1705执行该指令时，使处理器1705执行操作以实现本公开技术的实施例。

通过互连1725连接到处理器1705的还有(可选的)网络适配器1715。网络适配器1715为计算机系统1700提供与远程设备(诸如存储客户机和/或其它存储服务器)通信的能力，并且可以是例如以太网适配器或光纤通道适配器。

图18示出了可以用于实施本公开技术的各个部分的移动设备1800的示例实施例的框图，包括(但不限于)方法1600。移动设备1800可以是笔记本电脑、智能手机、平板电脑、摄像机或其它能够处理视频的设备。移动设备1800包括处理器或控制器1801来处理数据，以及与处理器1801通信的存储器1802来存储和/或缓冲数据。例如，处理器1801可以包括中央处理器(CPU)或微控制器单元(MCU)。在一些实现中，处理器1801可以包括现场可编程门阵列(FPGA)。在一些实现中，移动设备1800包括或与图形处理单元(GPU)、视频处理单元(VPU)和/或无线通信单元通信，以实现智能手机设备的各种视觉和/或通信数据处理功能。例如，存储器1802可以包括并存储处理器可执行代码，当处理器1801执行该代码时，将移动设备1800配置为执行各种操作，例如接收信息、命令和/或数据、处理信息和数据，以及将处理过的信息/数据发送或提供给另一个数据设备，诸如执行器或外部显示器。为了支持移动设备1800的各种功能，存储器1802可以存储信息和数据，诸如指令、软件、值、图像以及处理器1801处理或引用的其它数据。例如，可以使用各种类型的随机存取存储器(RAM)设备、只读存储器(ROM)设备、闪存设备和其它合适的存储介质来实现存储器1802的存储功能。在一些实现中，移动设备1800包括输入/输出(I/O)单元1803，来将处理器1801和/或内存1802与其它模块、单元或设备进行接口。例如，I/O单元1803可以与处理器1801和内存1802进行接口，以利用与典型数据通信标准兼容的各种无线接口，例如，在云中的一台或多台计算机和用户设备之间。在一些实现中，移动设备1800可以通过I/O单元1803使用有线连接与其它设备进行接口。移动设备1800还可以与其它外部接口(例如数据存储器)和/或可视或音频显示设备1804连接，以检索和传输可由处理器处理、由存储器存储或由显示设备1804或外部设备的输出单元上显示的数据和信息。例如，显示设备1804可以根据所公开的技术显示包括基于该块是否是使用运动补偿算法编码的而应用帧内块复制的块(CU、PU或TU)的视频帧。。

在一些实施例中，可以实现如本文所述的基于子块的预测的方法的视频解码器装置可用于视频解码。该方法的各种特征可以类似于上述方法1600。

在一些实施例中，可以使用实现在如图17和图18所述的硬件平台上的解码装置来实现视频解码方法。

在本文档中公开的各种实施例和技术可以在以下示例的列表中描述。

1.一种视频处理方法(例如，图19中描述的方法1900)，包括：将视频块分割(1902)成多个子块；将最终预测候选形成(1904)为第一预测候选和第二预测候选的函数，所述第一预测候选对应于子块边界区域中的多个样本的基于子块的预测，并且所述第二预测候选对应于所述子块边界区域中的所述多个样本的帧间预测；以及使用所述最终预测候选处理(1906)所述视频块。例如，处理可以包括在视频编码器生成视频块的编码表示，其中使用视频块的预测编码来编码视频块。例如，处理可以包括在视频解码器最终预测候选执行运动补偿以生成视频块。

2.根据示例1所述的方法，其中所述子块边界区域包括所述视频块的内部边界。

3.根据示例1所述的方法，其中所述子块边界区域是所述视频的外部边界。

4.根据示例1所述的方法，其中所述子块边界区域中的所述多个样本包括沿垂直边界的N列样本和沿水平边界的M行样本。

5.根据示例4所述的方法，其中M或N基于所述多个子块的维度。

6.根据示例4所述的方法，其中M或N基于所述多个子块的子块的颜色分量的类型。

7.根据示例4所述的方法，其中M或N基于所述子块边界区域相对于所述视频块的位置。

8.根据示例4所述的方法，其中M或N基于所述多个子块的子块的位置。

9.根据示例4所述的方法，其中M或N在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、条带(slice)报头、编码树单元(CTU)或编码单元(CU)中被发信令。

10.根据示例1所述的方法，其中所述第一预测候选和所述第二预测候选使用相同的预测模型，其中所述第一预测候选基于所述多个样本的第一子集，并且其中所述第二预测候选基于所述多个样本的与所述第一子集不同的第二子集。

11.根据示例1或10所述的方法，其中所述第二预测候选基于所述多个子块的子块的维度或所述视频块的维度。

12.根据示例1或10所述的方法，其中所述第二预测候选基于所述多个子块的子块的颜色分量。

13.根据示例1所述的方法，其中所述基于子块的预测与所述帧间预测相同。

14.根据示例1所述的方法，其中所述第一预测候选和所述第二预测候选基于相同的参考图片。

15.根据示例1所述的方法，其中所述第一预测候选基于第一参考图片，并且其中所述第二预测候选基于不同于所述第一参考图片的第二参考图片。

16.根据示例1所述的方法，其中所述最终预测候选(Pf)是所述第一预测候选(P1)和所述第二预测候选(P2)的加权和。

17.根据示例16所述的方法，其中Pf＝(w1×P1+w2×P2+offset)/(w1+w2)，其中w1和w2是权重值，并且其中offset＝(w1+w2)/2是取整偏移量。

18.根据示例17所述的方法，其中所述权重值基于所述多个子块的子块的维度、所述视频块的维度、所述子块的色度分量、所述视频块的一个或多个属性、或所述子块边界区域的位置。

19.根据示例18所述的方法，其中所述一个或多个属性包括运动矢量、量化参数(QP)、帧间预测模式、帧间预测方向、Merge模式或先进的运动矢量预测(AMVP)模式。

20.根据示例16所述的方法，其中Pf＝(w1×P1+w2×P2+offset)>>B,其中w1和w2是权重值,其中offset＝(w1+w2)/2是取整偏移量,并且其中w1+w2＝2^B。

21.根据示例1所述的方法，还包括：

基于所述子块边界区域中的所述多个样本的预测，形成一个或多个附加预测候选，其中所述最终预测候选还基于所述一个或多个附加预测候选。

22.根据示例1所述的方法，在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、条带(slice)报头、编码树单元(CTU)或编码单元(CU)中对所述第二预测候选的类型发信令。

23.根据示例1所述的方法，其中子块的色度分量包括所述子块边界区域中的所述多个样本。

24.根据示例1所述的方法，其中所述第一预测候选和所述第二预测候选的预测模式是仿射预测。

25.根据示例1所述的方法，其中所述第一预测候选和所述第二预测候选的预测模式是可选时域运动矢量预测(ATMVP)。

26.根据示例1所述的方法,其中所述第一预测候选和所述第二预测候选的预测模式是空时运动矢量预测(STMVP)。

27.根据示例1所述的方法,其中所述第一预测候选和所述第二预测候选的预测模式是双向光流(BIO)。

28.根据示例1所述的方法,其中所述第一预测候选和所述第二预测候选的预测模式是帧速率上转换(FRUC)。

29.根据示例1所述的方法,其中所述第一预测候选和所述第二预测候选的预测模式是局部自适应运动矢量分辨率(LAMVR)。

30.根据示例1所述的方法,其中所述第一预测候选和所述第二预测候选的预测模式是时域运动矢量预测(TMVP)。

31.根据示例1所述的方法,其中所述第一预测候选和所述第二预测候选的预测模式是重叠块运动补偿(OBMC)。

32.根据示例1所述的方法,其中所述第一预测候选和所述第二预测候选的预测模式是解码器侧运动矢量细化(DMVR)。

33.一种视频编码装置，包括处理器，其被配置为实现示例1至32中任一项所述的方法。

34.一种视频解码装置，包括处理器，其被配置为实现示例1至32中任一项所述的方法。

35.一种存储在非易失性计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于实现示例1至32中任一项所述的方法的程序代码。

从上述来看，应当理解的是，为了便于说明，本发明公开的技术的具体实施例已经在本文中进行了描述，但是可以在不偏离本发明范围的情况下进行各种修改。因此，除了的之外，本发明公开的技术不限于权利要求的限定。

本发明文件中描述的主题的实现和功能操作可以在各种系统、数字电子电路、或计算机软件、固件或硬件中实现，包括本说明书中所公开的结构及其结构等效体，或其中一个或多个的组合。本说明书中描述的主题的实现可以实现为一个或多个计算机程序产品，即一个或多个编码在有形的和非易失的计算机可读介质上的计算机程序指令的模块，以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中一个或多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多处理器或计算机组。除硬件外，该装置还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件的代码、协议栈、数据库管理系统、操作系统或其中一个或多个的组合。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或其它适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其它程序或数据的文件的部分中(例如，存储在标记语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。

本说明书中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行，并且装置也可以实现为特殊用途的逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。

本说明书和附图仅意在被视为示例性的，其中示例性是指示例。如本文所用，除非上下文另有明确说明，否则单数形式“一”、“一个”和“这个”也应包括复数形式。此外，“或”的使用旨在包括“和/或”，除非上下文另有明确说明。

虽然本专利文件包含许多细节，但不应将其解释为对任何发明或权利要求范围的限制，而应解释为对特定发明的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从组合中删除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。

同样，尽管图纸中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。仅描述了一些实现和示例，其它实现、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims

1.一种视频处理方法，包括：

将视频块分割成多个子块；

将最终预测候选形成为第一预测候选和第二预测候选的函数，所述第一预测候选对应于子块边界区域中的多个样本的基于子块的预测，并且所述第二预测候选对应于所述子块边界区域中的所述多个样本的帧间预测；以及

使用所述最终预测候选处理所述视频块。

2.根据权利要求1所述的方法，其中所述子块边界区域包括所述视频块的内部边界。

3.根据权利要求1所述的方法，其中所述子块边界区域是所述视频的外部边界。

4.根据权利要求1所述的方法，其中所述子块边界区域中的所述多个样本包括沿垂直边界的N列样本和沿水平边界的M行样本。

5.根据权利要求4所述的方法，其中M或N基于所述多个子块的维度。

6.根据权利要求4所述的方法，其中M或N基于所述多个子块的子块的颜色分量的类型。

7.根据权利要求4所述的方法，其中M或N基于所述子块边界区域相对于所述视频块的位置。

8.根据权利要求4所述的方法，其中M或N基于所述多个子块的子块的位置。

9.根据权利要求4所述的方法，其中M或N在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、条带(slice)报头、编码树单元(CTU)或编码单元(CU)中被发信令。

10.根据权利要求1所述的方法，其中所述第一预测候选和所述第二预测候选使用相同的预测模型，其中所述第一预测候选基于所述多个样本的第一子集，并且其中所述第二预测候选基于所述多个样本的与所述第一子集不同的第二子集。

11.根据权利要求1或10所述的方法，其中所述第二预测候选基于所述多个子块的子块的维度或所述视频块的维度。

12.根据权利要求1或10所述的方法，其中所述第二预测候选基于所述多个子块的子块的颜色分量。

13.根据权利要求1所述的方法，其中所述基于子块的预测与所述帧间预测相同。

14.根据权利要求1所述的方法，其中所述第一预测候选和所述第二预测候选基于相同的参考图片。

15.根据权利要求1所述的方法，其中所述第一预测候选基于第一参考图片，并且其中所述第二预测候选基于不同于所述第一参考图片的第二参考图片。

16.根据权利要求1所述的方法，其中所述最终预测候选(Pf)是所述第一预测候选(P1)和所述第二预测候选(P2)的加权和。

17.根据权利要求16所述的方法，其中Pf＝(w1×P1+w2×P2+offset)/(w1+w2)，其中w1和w2是权重值，并且其中offset＝(w1+w2)/2是取整偏移量。

18.根据权利要求17所述的方法，其中所述权重值基于所述多个子块的子块的维度、所述视频块的维度、所述子块的色度分量、所述视频块的一个或多个属性、或所述子块边界区域的位置。

19.根据权利要求18所述的方法，其中所述一个或多个属性包括运动矢量、量化参数(QP)、帧间预测模式、帧间预测方向、Merge模式或先进的运动矢量预测(AMVP)模式。

20.根据权利要求16所述的方法，其中Pf＝(w1×P1+w2×P2+offset)>>B,其中w1和w2是权重值,其中offset＝(w1+w2)/2是取整偏移量,并且其中w1+w2＝2^B。

21.根据权利要求1所述的方法，还包括：

22.根据权利要求1所述的方法，在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、条带(slice)报头、编码树单元(CTU)或编码单元(CU)中对所述第二预测候选的类型发信令。

23.根据权利要求1所述的方法，其中子块的色度分量包括所述子块边界区域中的所述多个样本。

24.根据权利要求1所述的方法，其中所述第一预测候选和所述第二预测候选的预测模式是仿射预测。

25.根据权利要求1所述的方法，其中所述第一预测候选和所述第二预测候选的预测模式是可选时域运动矢量预测(ATMVP)。

26.根据权利要求1所述的方法,其中所述第一预测候选和所述第二预测候选的预测模式是空时运动矢量预测(STMVP)。

27.根据权利要求1所述的方法,其中所述第一预测候选和所述第二预测候选的预测模式是双向光流(BIO)。

28.根据权利要求1所述的方法,其中所述第一预测候选和所述第二预测候选的预测模式是帧速率上转换(FRUC)。

29.根据权利要求1所述的方法,其中所述第一预测候选和所述第二预测候选的预测模式是局部自适应运动矢量分辨率(LAMVR)。

30.根据权利要求1所述的方法,其中所述第一预测候选和所述第二预测候选的预测模式是时域运动矢量预测(TMVP)。

31.根据权利要求1所述的方法,其中所述第一预测候选和所述第二预测候选的预测模式是重叠块运动补偿(OBMC)。

32.根据权利要求1所述的方法,其中所述第一预测候选和所述第二预测候选的预测模式是解码器侧运动矢量细化(DMVR)。

33.一种视频编码装置，包括处理器，其被配置为实现权利要求1至32中任一项所述的方法。

34.一种视频解码装置，包括处理器，其被配置为实现权利要求1至32中任一项所述的方法。

35.一种存储在非易失性计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于实现权利要求1至32中任一项所述的方法的程序代码。