CN110557643A

CN110557643A - 交织预测的概念

Info

Publication number: CN110557643A
Application number: CN201910468364.5A
Authority: CN
Inventors: 张凯; 张莉; 刘鸿彬; 王悦
Original assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Current assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Priority date: 2018-05-31
Filing date: 2019-05-31
Publication date: 2019-12-10
Anticipated expiration: 2039-05-31
Also published as: US20240107053A1; WO2019229683A1; US20210092431A1; TWI750475B; TW202005389A; CN115334318A; TW202005384A; TWI729402B; US11871022B2; CN110557640B; WO2019229705A1; CN110557643B; CN110557640A

Abstract

描述了交织预测的概念，视频编码中与基于子块的运动预测相关的方法、系统和设备。在一个典型方面，视频处理方法包括：根据第一模式将视频块分割成第一组子块，根据第二模式将视频块分割成第二组子块，其中第二组中至少一个子块具有与第一组中的子块不同的尺寸；并且确定预测块，该预测块对应于从第一组子块预测生成的第一中间预测块和从第二组子块预测生成的第二中间预测块的组合。

Description

交织预测的概念

相关申请的交叉引用

本申请要求于2018年5月31日提交的国际专利申请PCT/CN2018/089242的优先权，以引用方式将其全文并入本文。

技术领域

本申请文件涉及视频编码技术、设备和系统。

背景技术

运动补偿(MC)是一种视频处理中的技术，给出先前的和/或将来的帧，通过考虑相机和/或视频中的对象的运动来预测视频中的帧。运动补偿可以用于视频数据的编码以实现视频压缩。

发明内容

本文件公开了与视频运动补偿中基于子块的运动预测相关的方法、系统和设备。

在一个典型的方面，公开了一种视频处理方法。该方法包括：根据第一模式将视频块分割成第一组子块，并且根据第二模式将视频块分割成第二组子块。第二组中的至少有一个子块具有与第一组中的一个子块不同的尺寸。该方法还包括确定预测块，该预测块是从第一组子块生成的第一中间预测块和从第二组子块生成的第二中间预测块的组合。

在另一个典型的方面，公开了一种视频处理方法。该方法包括：基于视频块的尺寸或与视频块相关联的编码算法的类型将视频块划分成多个子块。多个子块中的一个子块具有与多个子块中其他子块不同的尺寸。该方法还包括通过将编码算法应用到多个子块生成运动矢量预测，并且使用运动矢量预测执行视频块的进一步处理。

在另一个典型的方面，公开了一种装置，其包括：处理器，该处理器被配置为实现本文中所述的方法。

在又一个典型的方面，本文所述的各种技术可以实现为一种计算机程序产品，其存储在非暂时性计算机可读介质上，该计算机程序产品包括用于实现本文所述方法的程序代码。

在又一个典型的方面，一种视频解码装置，其可以实现本文所述的方法。

在下面的附件、附图、以及说明书中阐述一个或多个实施例的细节。其他特征将从说明书和附图以及权利要求书中显而易见。

附图说明

图1是示出基于子块的预测的示例的示意图。

图2示出了由两个控制点运动矢量描述的块的仿射运动场的示例。

图3示出了块的每个子块的仿射运动矢量场的示例。

图4示出了在AF_INTER模式中块400的运动矢量预测的示例。

图5A示出了当前编码单元(CU)的候选块的选择顺序的示例。

图5B示出了在AF_MERGE模式中当前CU的候选块的另一个示例。

图6示出了CU的可选时域运动矢量预测(ATMVP)运动预测处理的示例。

图7示出了具有四个子块的一个CU和相邻块的示例。

图8示出了双向光流(BIO)方法中的示例光流轨迹。

图9A示出了块外部的访问位置的示例。

图9B示出了填充区域可用于避免额外的存储器访问和计算。

图10示出了在帧速率上转换(FRUC)方法中使用的双向匹配的示例。

图11示出了在FRUC方法中使用的模板匹配的示例。

图12示出了FRUC方法中的单向运动估计(ME)的示例。

图13示出了根据所公开的技术的具有两个划分模式的交织预测的示例。

图14A示出了根据所公开的技术其中将块划分为4×4个子块的示例划分模式。

图14B示出了根据所公开的技术其中将块划分为8×8个子块的示例划分模式。

图14C示出了根据所公开的技术其中将块划分为4×8个子块的示例划分模式。

图14D示出了根据所公开的技术其中将块划分为8×4个子块的示例划分模式。

图14E示出了根据所公开的技术其中将块划分为不一致的子块的示例划分模式。

图14F示出了根据所公开的技术其中将块划分为不一致的子块的另一个示例划分模式。

图14G示出了根据所公开的技术其中将块划分为不一致的子块的又一个示例划分模式。

图15A是视频处理的方法的示例流程图。

图15B是视频处理的方法的另一个示例流程图。

图16是图示可以用于实现本公开技术的各个部分的计算机系统或其他控制设备的架构的示例的示意图。

图17示出可以用于实现本公开技术的各个部分的移动设备的示例实施例的框图。

图18A、图18B和图18C示出了部分交织预测技术的示例实施例。

图19是可以实施所公开技术的示例视频处理系统的框图。

具体实施方式

全局运动补偿是运动补偿技术的变体之一，并且可以用来预测相机的运动。然而，在帧内的移动对象并没有通过全局运动补偿的各种实现充分地表示出来。局部运动估计，诸如块运动补偿可以用于解释帧内的移动对象，其中帧被划分成像素块以用于执行运动预测。

基于块运动补偿开发出的基于子块的预测通过高效视频编码(HEVC)附录I(3D-HEVC)首次引入视频编码标准。

图1是示出了基于预测的子块的示例的示意图。使用基于子块的预测，将块100诸如编码单元(CU)或预测单元(PU)划分为几个不重叠的子块101。不同的子块可以被分配不同的运动信息，诸如参考索引或运动矢量(MV)。然后对每个子块分别执行运动补偿。

为了探索HEVC之外的未来视频编码技术，视频编码专家组(VCEG)和运动图像专家组(MPEG)于2015年联合成立了联合视频探索小组(JVET)。JVET采用了许多方法，并且将其添加到了名为联合探索模型(JEM)的参考软件中。在JEM中，基于子块的预测在多种编码技术中被采用，诸如仿射预测、可选时域运动矢量预测(ATMVP)、空时运动矢量预测(STMVP)、双向光流(BIO)，以及帧速率上转换(FRUC)，其详细讨论如下。

仿射预测

在HEVC中，仅平移运动模型应用于运动补偿预测(MCP)。然而，相机和对象可能具有多种运动，例如放大/缩小、旋转、透视运动和/或其他不规则运动。另一方面，JEM应用了简化的仿射变换运动补偿预测。

图2示出了由两个控制点运动矢量V₀和V₁描述的块200的仿射运动场的示例。块200的运动矢量场(MVF)可以由以下等式描述：

如图2所示，(v_0x,v_0y)是左上角控制点的运动矢量，并且(v_1x,v_1y)是右上角控制点的运动矢量。为了简化运动补偿预测，可以应用基于子块的仿射变换预测。子块大小M×N推导如下：

这里，MvPre是运动矢量分数精度(例如，JEM中的1/16)。(v_2x,v_2y)是左下控制点的运动矢量，其根据等式(1)计算。如果需要，M和N可以被向下调节使其分别作为w和h的除数。

图3示出了块300的每个子块的仿射MVF的示例。为了推导出每个M×N子块的运动矢量，可以根据等式(1)计算每个子块的中心样本的运动矢量，并且四舍五入到运动矢量分数精度(例如，JEM中的1/16)。然后可以应用运动补偿插值滤波器，利用推导出的运动矢量生成各子块的预测。在MCP之后，对每个子块的高精度运动矢量进行取整，并将其保存为与正常运动矢量相同的精度。

在JEM中，有两个仿射运动模式：AF_INTER模式和AF_MERGE模式。对于宽度和高度都大于8的CU，可以应用AF_INTER模式。在位流中，CU级别的仿射标志被发信令(signal)，以指示是否使用AF_INTER模式。在AF_INTER模式中，使用相邻的块构造具有运动矢量对{(v₀,v₁)|v₀＝{vA,vB,vc},v1＝{vD,vE}的候选列表。

图4示出了在AF_INTER模式中块400的运动矢量预测(MVP)的示例。如图4所示，v0从子块A、B或C的运动矢量中选择。可以根据参考列表对相邻块的运动矢量进行缩放。也可以根据相邻块参考的图片顺序计数(POC)、当前CU参考的POC和当前CU的POC之间的关系对运动矢量进行缩放。从相邻的子块D和E中选择v₁的方法类似。如果候选列表的数目小于2，则该列表由复制每个AMVP候选组成的运动矢量对来填充。当候选列表大于2时，可以首先根据相邻的运动矢量对候选进行排序(例如，基于一对候选中两个运动矢量的相似性)。在一些实现中，保留前两个候选。在一些实施例中，使用速率失真(RD)成本检查来确定选择哪个运动矢量对候选作为当前CU的控制点运动矢量预测(CPMVP)。可以在位流中发信令指示CPMVP在候选列表中的位置的索引。在确定了当前仿射CU的CPMVP后，应用仿射运动估计，并且找到控制点运动矢量(CPMV)。然后，在比特流中对CPMV和CPMVP的差异发信令。

当在AF_MERGE模式下应用CU时，它从有效的相邻重构块中获取用仿射模式编码的第一个块。图5A示出了当前CU 500的候选块的选择顺序的示例。如图5A所示，选择顺序可以是从当前CU 500的左(501)、上(502)、右上(503)、左下(504)到左上(505)。图5B示出了在AF_MERGE模式中当前CU 500的候选块的另一个示例。如果相邻的左下块501以仿射模式编码，如图5B所示，则导出包含子块501的CU左上角、右上角和左下角的运动矢量v2、v3和v4。当前CU 500左上角的运动矢量v0是基于v2、v3和v4计算的。可以相应地计算当前CU右上方的运动矢量v1。

根据等式(1)中的仿射运动模型计算当前CU的CPMV v0和v1后，可以生成当前CU的MVF。为了识别当前CU是否使用AF_MERGE模式编码，当至少有一个相邻的块以仿射模式编码时，可以在比特流中发信令仿射标志。

可选时域运动矢量预测(ATMVP)

在ATMVP方法中，通过从小于当前CU的块中提取多组运动信息(包括运动矢量和参考指数)，修改时间运动矢量预测(TMVP)方法。

图6示出了CU 600的ATMVP运动预测过程的示例。ATMVP方法分两步预测CU 600内子CU 601的运动矢量。第一步是用时间矢量识别参考图片650中的相应块651。参考图片650也称为运动源图片。第二步是将当前的CU 600划分成子CU 601，并从每个子CU对应的块中获取每个子CU的运动矢量和参考指数。

在第一步中，参考图片650和对应的块由当前CU 600的空间相邻块的运动信息确定。为了避免相邻块的重复扫描处理，使用当前CU 600的MERGE候选列表中的第一MERGE候选。第一可用的运动矢量及其相关联的参考索引被设置为时间矢量和运动源图片的索引。这样，与TMVP相比，可以更准确地识别对应的块，其中对应的块(有时称为并置块)始终位于相对于当前CU的右下角或中心位置。

在第二步中，通过将时间矢量添加到当前CU的坐标中，通过运动源图片650中的时间矢量识别子CU 651的对应块。对于每个子CU，使用其对应块的运动信息(例如，覆盖中心样本的最小运动网格)来导出子CU的运动信息。在识别出对应的N×N块的运动信息后，用与HEVC的TMVP同样方式，将其转换为当前子CU的运动矢量和参考指数，其中应用运动缩放和其他程序。例如，解码器检查是否满足低延迟条件(例如，当前图片的所有参考图片的POC都小于当前图片的POC)，并且可能使用运动矢量MVx(例如，与参考图片列表X对应的运动矢量)来预测每个子CU的运动矢量MVy(例如，X等于0或1并且Y等于1-X)。

空时运动矢量预测(STMVP)

在STMVP方法中，子CU的运动矢量按照光栅扫描顺序递归导出。图7示出具有四个子块的一个CU和相邻块的示例。考虑8×8的CU 700，其包括四个4×4子CU A(701)、B(702)、C(703)和D(704)。当前帧中相邻的4×4块标记为a(711)、b(712)、c(713)和d(714)。

子CU A的运动推导由识别其两个空间邻居开始。第一邻居是子CU A 701上方的N×N块(块c 713)。如果该块c(713)不可用或内部编码，则检查子CU A(701)上方的其他N×N块(从左到右，从块c 713处开始)。第二个邻居是子CU A 701左侧的一个块(块b 712)。如果块b(712)不可用或是内部编码，则检查子CU A 701左侧的其他块(从上到下，从块b 712处开始)。每个列表从相邻块获得的运动信息被缩放到给定列表的第一参考帧。接下来，按照HEVC中规定的与TMVP相同的程序，推导出子块A701的时间运动矢量预测(TMVP)。提取块D704处的并置块的运动信息并进行相应的缩放。最后，在检索和缩放运动信息后，对每个参考列表分别平均所有可用的运动向量。将平均运动矢量指定为当前子CU的运动矢量。

双向光流(BIO)

双向光流(BIO)法是在分块运动补偿之上对双向预测进行的样本方向运动细化。在一些实现中，样本级的运动细化不使用信令。

设I^(k)为块运动补偿后到参考k(k＝0，1)的亮度值，并且分别为I^(k)梯度的水平分量和垂直分量。假设光流是有效的，则运动矢量场(v_x,v_y)由下式给出：

将此光流等式与每个样品运动轨迹的埃尔米特插值相结合，得到唯一的三阶多项式，该多项式在末端同时匹配函数值I^(k)和其导数该多项式在t＝0时的值是BIO预测：

图8示出了双向光流(BIO)方法中的示例光流轨迹。这里，τ₀和τ₁表示到参考帧的距离。基于Ref0和Ref1的POC计算距离τ₀和τ₁：τ₀＝POC(current)-POC(Ref₀),τ₁＝POC(Ref₁)-POC(current)。如果两个预测都来自同一个时间方向(都来自过去或都来自未来)，则符号是不同的(例如，τ₀·τ₁<0)。在这种情况下，如果预测不是来自同一时间点(例如,τ₀≠τ₁)，则应用BIO。两个参考区域都具有非零运动(例如,MVx₀,MVy₀,MVx₁,MVy₁≠0)，并且块运动矢量与时间距离成比例(例如，MVx₀/MVx₁＝MVy₀/MVy₁＝-τ₀/τ₁)。

通过最小化A点和B点之间的值的差Δ来确定运动矢量场(v_x,v_y)。图9A-9B示出了运动轨迹与参考帧平面相交的示例。对Δ，模型仅使用局部泰勒展开的第一个线性项：

上述等式中的所有值取决于样本位置，表示为(i′,j′)。假设在局部周围区域的运动是一致的，那么Δ可以在以当前预测点(i，j)为中心的(2M+1)x(2M+1)方形窗口Ω内最小化，其中M等于2：

对于这个优化问题，JEM使用简化方法，首先在垂直方向上最小化，然后在水平方向最小化。结果如下：

其中，

为了避免被零除或很小的值除，可在式(7)和式(8)中引入正则化参数r和m。

r＝500·4^d-8 等式(10)

m＝700·4^d-8 等式(11)

这里，d是视频样本的位深度。

为了使BIO的内存访问与常规双向预测运动补偿相同，计算当前块内位置的所有预测和梯度值I^(k),图9A示出了块900外部的访问位置示例。如图9A所示，在等式(9)中，以预测区块边界上当前预测点为中心的(2M+1)x(2M+1)的方形窗口Ω需要访问区块外的位置。在JEM中，块外的值I^(k),设置为等于块内最近的可用值。例如，这可以实现为填充区域901，如图9B所示。

使用BIO，可以对每个样本的运动场进行细化。为了降低计算复杂度，在JEM中采用了基于块设计的BIO。运动细化可以基于4x4块计算。在基于块的BIO中，可以对4x4块中所有样本的等式(9)中的s_n值进行聚合，然后将s_n的聚合值用于4x4块的推导的BIO运动矢量偏移。更具体地说，下面的等式可以用于基于块的BIO推导：

这里，b_k表示属于预测块的第k个4x4块的样本组。等式(7)和等式(8)中的s_n替换为((s_n,bk)>>4)以推导相关联的运动矢量偏移。

在某些情况下，由于噪声或不规则运动，BIO的MV团(regiment)可能不可靠。因此，在BIO中，MV团的大小被固定到一个阈值。该阈值是基于当前图片的参考图片是否全部来自一个方向确定的。例如，如果当前图片的所有参考图片都来自一个方向，则该阈值的值被设置为12×2^14-d，否则其被设置为12×2^13-d。

可以使用与HEVC运动补偿处理一致的操作(例如，2D可分离有限脉冲响应(FIR))通过运动补偿插值同时计算BIO的梯度。在一些实施例中，2D可分离FIR的输入是与运动补偿处理相同的参考帧，以及根据块运动矢量的分数部分的分数位置(fracX，fracY)。对于水平梯度首先使用BIOfilterS对信号进行垂直内插，该BIOfilterS对应于具有去缩放标度位移d-8的分数位置fracY。然后在水平方向上应用梯度滤波器BIOfilterG，该BIOfilterG对应于具有去缩放标度位移18-d的分数位置fracX。对于垂直梯度使用BIOfilterG垂直地应用梯度滤波器，该BIOfilterG对应于具有去缩放标度位移d-8的分数位置fracY。然后，然后在水平方向上使用BIOfilterS执行信号替换，该BIOfilterS对应于具有去缩放标度位移18-d的分数位置fracX。用于梯度计算BIOfilterG和信号替换BIOfilterS的插值滤波器的长度可以更短(例如，6-tap)，以保持合理的复杂度。表1示出了可用在BIO中块运动矢量的不同分数位置的梯度计算的示例滤波器。表2示出了可用在BIO中预测信号生成的插值示例滤波器。

表1 BIO中用于梯度计算的示例滤波器

分数像素位置	梯度的插值滤波器(BIOfilterG)
		0	{8,-39,-3,46,-17,5}
1/16	{8,-32,-13,50,-18,5}
		1/8	{7,-27,-20,54,-19,5}
3/16	{6,-21,-29,57,-18,5}
		1/4	{4,-17,-36,60,-15,4}
5/16	{3,-9,-44,61,-15,4}
		3/8	{1,-4,-48,61,-13,3}
7/16	{0,1,-54,60,-9,2}
		1/2	{-1,4,-57,57,-4,1}

表2 BIO中用于预测信号生成的示例插值滤波器

分数像素位置	用于预测信号的插值滤波器(BIOfilterS)
		0	{0,0,64,0,0,0}
1/16	{1,-3,64,4,-2,0}
		1/8	{1,-6,62,9,-3,1}
3/16	{2,-8,60,14,-5,1}
		1/4	{2,-9,57,19,-7,2}
5/16	{3,-10,53,24,-8,2}
		3/8	{3,-11,50,29,-9,2}
7/16	{3,-11,44,35,-10,3}
		1/2	{3,-10,35,44,-11,3}

在JEM中，当两个预测来自不同的参考图片时，BIO可应用于所有的双向预测块。当为CU启用局部照明补偿(LIC)时，可以禁用BIO。

在一些实施例中，在正常MC处理之后将OBMC应用于块。为了降低计算复杂度，在OBMC处理期间可能不应用BIO。这意味着在OBMC处理期间，当使用自己的MV时，将BIO应用于块的MC处理，而当使用相邻块的MV时，BIO不应用于块的MC处理。

帧速率上转换(FRUC)

对于CU，当其MERGE标志为真时，可以对FRUC标志发信令。当FRUC标志为假时，可以对MERGE索引发信令并且使用常规MERGE模式。当FRUC标志为真时，可以对另一个FRUC模式标志发信令来指示将使用哪种方法(例如，双向匹配或模板匹配)来导出该块的运动信息。

在编码器端，基于对正常MERGE候选所做的RD成本选择决定是否对CU使用FRUCMERGE模式。例如，通过使用RD成本选择来检查CU的多个匹配模式(例如，双向匹配和模板匹配)。导致最低成本的模式进一步与其它CU模式相比较。如果FRUC匹配模式是最有效的模式，那么对于CU，FRUC标志设置为真，并且使用相关的匹配模式。

通常，FRUC MERGE模式中的运动推导处理有两个步骤：首先执行CU级运动搜索，然后执行子CU级运动细化。在CU级，基于双向匹配或模板匹配，导出整个CU的初始运动矢量。首先，生成MV候选列表，并且选择导致最低匹配成本的候选作为进一步CU级细化的起点。然后在起始点附近执行基于双向匹配或模板匹配的局部搜索。将最小匹配成本的MV结果作为整个CU的MV值。随后，以导出的CU运动矢量为起点，进一步在子CU级细化运动信息。

例如，对于W×H CU运动信息推导执行以下推导过程。在第一阶段，推导出了整个W×H CU的MV。在第二阶段，该CU进一步被分成M×M子CU。M的值按照(16)计算，D是预先定义的划分深度，在JEM中默认设置为3。然后导出每个子CU的MV值。

图10示出在帧速率上转换(FRUC)法中使用的双向匹配的示例。通过在两张不同的参考图片(1010，1011)中沿当前CU(1000)的运动轨迹找到两个块之间最接近的匹配，使用双向匹配来获得当前CU的运动信息。在连续运动轨迹假设下，指向两个参考块的运动矢量MV0(1001)和MV1(1002)与当前图片和两个参考图片之间的时间距离(例如，TD0(1003)和TD1(1004))成正比。在一些实施例中，当当前图片1000暂时位于两个参考图片(1010，1011)之间并且当前图片到两个参考图片的时间距离相同时，双向匹配成为基于镜像的双向MV。

图11示出在FRUC方法中使用的模板匹配的示例。模板匹配可以用于通过找到当前图片中的模板(例如，当前CU的顶部和/或左侧相邻块)与参考图片1110中的块(例如，与模板大小相同)之间的最接近匹配来获取当前CU 1100的运动信息。除了上述的FRUC MERGE模式外，模板匹配也可以应用于AMVP模式。在JEM和HEVC中，AMVP都具有两个候选。通过模板匹配方法，可以导出新的候选。如果通过模板匹配新导出的候选与第一个现有的AMVP候选不同，则将其插入AMVP候选列表的最开始处，并且然后将列表大小设置为2(例如，通过删除第二个现有AMVP候选)。当应用于AMVP模式时，仅应用CU级搜索。

CU级设置的MV候选可以包括以下：(1)原始AMVP候选，如果当前CU处于AMVP模式，(2)所有MERGE候选，(3)插值MV场(稍后描述)中的数个MV，以及顶部和左侧相邻运动矢量。

当使用双向匹配时，MERGE候选的每个有效MV可以用作输入，以生成假设为双向匹配的MV对。例如，MERGE候选在参考列表A处的一个有效MV为(MVa，ref_a)。然后在另一个参考列表B中找到其配对的双向MV的参考图片ref_b，使得ref_a和ref_b在时间上位于当前图片的不同侧。如果参考列表B中的参考ref_b不可用，则将参考ref_b确定为与参考ref_a不同的参考，并且其到当前图片的时间距离是列表B中的最小距离。确定参考ref_b后，通过基于当前图片和参考ref_a、参考ref_b之间的时间距离缩放MVa导出MVb。

在一些实现中，还可以将来自插值MV场中的四个MV添加到CU级候选列表中。更具体地，添加当前CU的位置(0，0)，(W/2，0)，(0，H/2)和(W/2，H/2)处插值的MV。当在AMVP模式下应用FRUC时，原始的AMVP候选也添加到CU级的MV候选集。在一些实现中，在CU级，可以将AMVP CU的15个MV和MERGE CU的13个MV添加到候选列表中。

在子CU级设置的MV候选包括从CU级搜索确定的MV，(2)顶部、左侧、左上方和右上方相邻的MV，(3)参考图片中并置的MV的缩放版本，(4)一个或多个ATMVP候选(例如，最多四个)和(5)一个或多个STMVP候选(例如，最多四个)。来自参考图片的缩放MV如下导出。两个列表中的参考图片都被遍历。参考图片中子CU的并置位置处的MV被缩放为起始CU级MV的参考。ATMVP和STMVP候选可以是前四个。在子CU级，一个或多个MV(例如，最多17个)被添加到候选列表中。

插值MV场的生成

在对帧进行编码之前，基于单向ME生成整个图片的内插运动场。然后，该运动场可以随后用作CU级或子CU级的MV候选。

在一些实施例中，两个参考列表中每个参考图片的运动场在4×4的块级别上被遍历。图12示出了在FRUC方法中的单向运动估计(ME)1200的示例。对于每个4×4块，如果与块相关联的运动通过当前图片中的4×4块，并且该块没有被分配任何内插运动，则根据时间距离TD0和TD1将参考块的运动缩放到当前图片(与HEVC中TMVP的MV缩放相同方式)，并且在当前帧中将该缩放运动指定给该块。如果没有缩放的MV指定给4×4块，则在插值运动场中将块的运动标记为不可用。

插值和匹配成本

当运动矢量指向分数采样位置时，需要运动补偿插值。为了降低复杂度，对双向匹配和模板匹配都使用双线性插值而不是常规的8抽头HEVC插值。

匹配成本的计算在不同的步骤处有点不同。当从CU级的候选集中选择候选时，匹配成本可以是双向匹配或模板匹配的绝对和差(SAD)。在确定起始MV后，双向匹配在子CU级搜索的匹配成本C如下计算：

这里，w是权重系数。在一些实施例中，w可以被经验地设置为4。MV和MV^s分别指示当前MV和起始MV。仍然可以将SAD用作模式匹配在子CU级搜索的匹配成本。

在FRUC模式下，MV通过仅使用亮度(luma)样本导出。导出的运动将用于亮度(luma)和色度(chroma)，用于MC帧间预测。确定MV后，对亮度使用8抽头(8-taps)插值滤波器并且对色度使用4抽头(4-taps)插值滤波器执行最终MC。

MV细化是基于模式的MV搜索，以双向匹配成本或模板匹配成本为标准。在JEM中，支持两种搜索模式—无限制中心偏置菱形搜索(UCBDS)和自适应交叉搜索，分别在CU级别和子CU级别进行MV细化。对于CU级和子CU级的MV细化，都在四分之一亮度样本MV精度下直接搜索MV，接着是八分之一亮度样本MV细化。将CU和子CU步骤的MV细化的搜索范围设置为8个亮度样本。

在双向匹配MERGE模式下，应用双向预测，因为CU的运动信息是基于在两个不同的参考图片中沿着当前CU运动轨迹的两个块之间的最近匹配得出的。在模板匹配MERGE模式下，编码器可以从列表0的单向预测、列表1的单向预测或者双向预测中为CU做出选择。该选择可以基于如下的模板匹配成本：

如果costBi<＝factor*min(cost0,cost1)

则使用双向预测；

否则，如果cost0<＝cost1

则使用列表0中的单向预测；

否则，

使用列表1中的单向预测；

这里，cost0是列表0模板匹配的SAD，cost1是列表2模板匹配的SAD，并且costBi是双向模板匹配的SAD。例如，当factor的值等于1.25时，意味着选择过程朝双向预测偏移。帧间预测方向选择可应用于CU级模板匹配处理。

以上讨论的基于子块的预测技术可用于在子块大小较小时获得每个子块更精确的运动信息。然而，较小的子块在运动补偿中施加了更高的带宽要求。另一方面，对于较小的子块，推导的运动信息可能不准确，尤其是当块中存在一些噪声时。因此，在一个块内具有固定的子块大小可能是次优的。

本文描述了可以在各种实施例中使用的技术，以使用非均匀和/或可变子块大小来解决固定子块大小引入的带宽和精度问题。这些技术(也被称为交织预测)使用不同的划分块的方法，以便在不增加带宽消耗的情况下更可靠地获取运动信息。

使用交织预测技术，将块划分为具有一个或多个划分模式的子块。划分模式表示将块划分为子块的方法，包括子块的大小和子块的位置。对于每个划分模式，可以通过基于划分模式推导出每个子块的运动信息来生成相应的预测块。因此，在一些实施例中，即使对于一个预测方向，也可以通过多个划分模式生成多个预测块。在一些实施例中，对于每个预测方向，可能只应用一个划分模式。

图13示出根据所公开的技术的具有两个划分模式的交织预测的示例。当前块1300可以划分成多个模式。例如，如图13所示，当前块被划分成模式0(1301)和模式1(1302)。生成两个预测块P₀(1303)和P₁(1304)。通过计算P₀(1303)和P₁(1304)的加权和，可以生成当前块1300的最终预测块P(1305)。

一般来说，给定X个划分模式，当前块的X个预测块(表示为P₀，P₁,，…,P_X-1)可以以X个划分模式由基于子块的预测生成。当前块的最终预测(表示为P)可生成为：

这里，(x,y)是块中像素的坐标，并且w_i(x,y)是P_i的权重系数。通过示例而不是限制，权重可以表示为：

N是非负值。可选地，等式(8)中的位移操作也可以表示为：

权重之和是2的幂，通过执行移位操作而不是浮点除法，可以更有效地计算加权和P。

划分模式可以具有不同的子块形状、尺寸或位置。在一些实施例中，划分模式可以包括不规则的子块大小。图14A-图14G显示了16×16块的几个划分模式的示例。在图14A中，根据所公开的技术将块划分为4×4个子块。这种模式也用于JEM。图14B示出根据所公开的技术将块划分为8×8个子块的划分模式的示例。图14C示出根据所公开的技术将块划分为4×8个子块的划分模式的示例。图14D示出根据所公开的技术将块划分为8×4个子块的划分模式的示例。在图14E中，根据所公开的技术将块的一部分划分为4x4子块。块边界上的像素被划分成更小的子块，其大小如2×4,4×2或2×2。一些子块可以合并以形成更大的子块。图14F示出了相邻子块(如4x4子块和2x4子块)的示例，这些子块合并后形成尺寸为6×4、4×6或6×6的较大子块。在图14G中，块的一部分被划分为8×8子块。而块边界处的像素被划分为较小的子块如8×4、4×8或4×4。

基于子块的预测中，子块的形状和大小可以基于编码块的形状和/或大小和/或编码块信息来确定。编码块信息可以包括块和/或子块上使用的一种编码算法，诸如运动补偿预测是否是(1)仿射预测方法，(2)可选时域运动矢量预测方法，(3)空时运动矢量预测方法，(4)双向光流方法，或(5)帧速率上转换方法。例如，在一些实施例中，当当前块的大小为M×N时，子块的大小为4×N(或8×N等)，即子块与当前块具有相同的高度。在一些实施例中，当当前块的大小为M×N时，子块的大小为M×4(或M×8等)，即子块与当前块具有相同的宽度。在一些实施例中，当当前块的大小为M×N(其中M>N)时，子块的大小为A×B，其中A>B(例如，8×4)。或者，子块的大小为B×A(例如，4×8)。

在一些实施例中，当前块的大小为M×N。当M×N<＝T(或min(M，N)<＝T，或max(M，N)<＝T等)时，子块的大小为A×B；当M×N>T(或min(M，N)>T，或max(M，N)>T等)时，子块的大小为C×D，其中A<＝C，B<＝D。例如，如果M×N<＝256，子块的大小可以是4×4。在一些实现中，子块的大小为8×8。

应当注意的是，本文公开的交织预测技术可以应用于基于子块预测的一种、部分或全部编码技术。例如，交织预测技术可以应用于仿射预测，而其他基于子块预测的编码技术(例如，ATMVP、STMVP、FRUC或BIO)不使用交织预测。作为另一个示例，所有仿射、ATMVP和STMVP应用本文公开的交织预测技术。

图15A是根据所公开的技术提高视频系统中运动预测的方法1500的示例流程图。方法1500包括在1502从视频帧中选择一组像素以形成块。方法1500包括在1504根据第一模式将块分割成第一组子块。方法1500包括在1506基于第一组子块生成第一中间预测块。方法1500包括在1508根据第二模式将块划分成第二组子块。第二组中至少一个子块具有与第一组中的一个子块的尺寸不同的尺寸。方法1500包括在1510基于第二组子块生成第二中间预测块。方法1500还包括在1512基于第一中间预测块和第二中间预测块确定预测块。

在一些实施例中，可以在不明确地生成中间预测块的情况下实现方法1500。例如，可以对预测块的生成执行以下操作：根据第一模式将视频块分割成第一组子块，根据第二模式将视频块分割成第二组子块，其中第二组中至少有一个子块与第一组中的子块具有不同的大小；以及确定预测块，该预测块是从第一组子块预测地生成的第一中间预测块和从第二组子块预测地生成的第二中间预测块的组合。

在一些实施例中，使用(1)仿射预测方法、(2)可选时域运动矢量预测法、(3)空时运动矢量预测法、(4)双向光流法、或(5)帧速率上转换法中的至少一种生成第一中间预测块或第二中间预测块。本文公开了这些视频编码方法的一些示例实施例。

在一些实施例中，第一组或第二组中的子块具有矩形形状。例如，矩形形状可以指宽度和高度不相等的非方形形状。在一些实施例中，第一组子块中的子块具有不均匀的形状。在一些实施例中，第二组子块中的子块具有不均匀的形状。例如，不均匀的形状可能包括在第一组(或第二组)中具有不同大小的子块。

在一些实施例中，所述方法包括基于视频块的大小确定第一模式或第二模式。例如，高矩形块可以拆分为多个水平子块。在某些情况下，矩形块可以拆分为多个方形子块。在一些实施例中，所述方法包括基于来自与该视频块在时间上或空间上相邻的第二个块的信息确定第一模式或第二模式。例如，在某些情况下，用于视频块的第一或第二模式可能与至少一个时间或空间邻居的模式完全相同。

在一些实施例中，对于在第一方向中的块的运动补偿，执行将块分割成第一组子块。在一些实施例中，对于在第二方向中的块的运动补偿，执行将块分割成第二组子块。例如，第一方向和/或第二方向可以是预测编码的反向(“B预测”)或预测编码的正向(“P预测”)。

在一些实施例中，对于在第一方向中的块的运动补偿，执行将块分割成第一组子块，并将块分割成第二组子块。在一些实施例中，该方法还包括：通过根据第三模式将块划分为第三组子块，在第二方向上对块进行运动补偿；基于第三组子块生成第三中间预测块；根据第四模式将块划分为第四组子块，其中第四组中的至少一个子块与第三组中的子块大小不同；基于第四组子块生成第四中间预测块；基于第三中间预测块和第四中间预测块确定第二预测块；以及基于预测块和第二预测块确定第三预测块。

在一些实施例中，该方法包括在基于块的运动补偿视频系统中向编码设备发送用于对块进行分割的第一模式和第二模式的信息。在一些实施例中，传输第一模式和第二模式的信息在以下之一执行：(1)序列级、(2)图片级、(3)视图级、(4)切片级、(5)编码树单元、(6)最大编码单元级、(7)编码单元级、(8)预测单元级、(10)树单元级、或(11)区域级。

在一些实施例中，确定预测结果包括：将第一组权重应用于第一中间预测块以获得第一加权预测块；将第二组权重应用于第二中间预测块以获得第二加权预测块；以及计算第一加权预测块和第二加权预测块的加权和以得到预测块。

在一些实施例中，第一组权重或第二组权重包括固定权重值。在一些实施例中，第一组权重或第二组权重是基于来自与该块在时间上或空间上相邻的另一块的信息确定的。在一些实施例中，使用用于生成第一预测块或第二预测块的编码算法确定第一组权重或第二组权重。在一些实现中，第一组权重中的至少一个值与第一组权重中的另一个值不同。在一些实现中，第二组权重中的至少一个值与第二组权重中的另一个值不同。在一些实现中，权重之和等于二的幂。

在一些实施例中，该方法包括将权重传输到基于块的运动补偿视频系统中的编码设备。在一些实施例中，传输权重在以下之一执行：(1)序列级、(2)图片级、(3)视图级、(4)切片级、(5)编码树单元、(6)最大编码单元级、(7)编码单元级、(8)预测单元级、(10)树单元级、或(11)区域级。

图15B是根据所公开的技术提高视频系统中基于块的运动补偿的方法1550的示例流程图。方法1550包括在1552处从视频帧中选择一组像素以形成块。方法1550包括在1554处基于块的大小或者与该块空间或时间相邻的另一个块的信息将块划分为多个子块。多个子块中的至少一个子块的大小与其他子块不同。方法1550还包括在1556处通过对多个子块应用编码算法生成运动矢量预测。在一些实施例中，编码算法包括(1)仿射预测方法、(2)可选时域运动矢量预测方法、(3)空时运动矢量预测方法、(4)双向光流法、或(5)帧速率上转换法中的至少一种。

可替代方法包括基于视频块的大小或与视频块相关联的编码算法类型将视频块划分为多个子块，其中多个子块的一个子块的大小与多个子块的其他子块的大小不同，通过将编码算法应用到多个子块生成运动矢量预测，并且使用运动矢量预测执行视频块的进一步处理。

在方法1500和1550中，可以实施部分交织。使用该方案，将预测样本的第一个子集中的样本计算为第一中间预测块的加权组合，并且预测样本的第二个子集中的样本是从基于子块的预测中复制出来，其中第一个子集和第二个子集基于分割模式。第一个子集和第二个子集可以一起构成整个预测块，例如，当前正在处理的块。如图18A到18C所示，在各种示例中，排除在交织之外的第二个子集可以由(a)角子块或(b)子块的最上面和最下面一行或(c)子块的最左边或最右边的列组成。当前正在处理的块的大小可以作为决定是否从交织预测中排除某些子块的条件。例如，在随后描述了一些条件。

如本文进一步所述，编码处理可以避免检查从父块拆分的块的仿射模式，其中父块本身使用不同于仿射模式的模式编码。

图16是图示可以用于实现本公开技术的各个部分的计算机系统或其他控制设备1600的结构的示例的示意图。在图16中，计算机系统1600包括通过互连1625连接的一个或多个处理器1605和存储器1610。互连1625可以表示由适当的桥、适配器或控制器连接的任何一条或多条单独的物理总线、点对点连接或两者。因此，互连1625可以包括例如系统总线、外围组件互连(PCI)总线、超传输或工业标准体系结构(ISA)总线、小型计算机系统接口(SCSI)总线、通用串行总线(USB)、IIC(I2C)总线或电气与电子工程师协会(IEEE)标准674总线(有时被称为“火线”)。

处理器1605可以包括中央处理器(CPU)，来控制例如主机的整体操作。在一些实施例中，处理器1605通过执行存储在存储器1610中的软件或固件来实现这一点。处理器1605可以是或可以包括一个或多个可编程通用或专用微处理器、数字信号处理器(DSP)、可编程控制器、专用集成电路(ASIC)、可编程逻辑器件(PLD)等，或这些器件的组合。

存储器1610可以是或包括计算机系统的主存储器。存储器1610表示任何适当形式的随机存取存储器(RAM)、只读存储器(ROM)、闪存等，或这些设备的组合。在使用中，存储器1610除其他外可包含一组机器指令，当处理器1605执行该指令时，使处理器1605执行操作以实现本公开技术的实施例。

通过互连1625连接到处理器1605的还有(可选的)网络适配器1615。网络适配器1615为计算机系统1600提供与远程设备(诸如存储客户机和/或其他存储服务器)通信的能力，并且可以是例如以太网适配器或光纤通道适配器。

图17示出了可以用于实施本公开技术的各个部分的移动设备1700的示例实施例的框图。移动设备1700可以是笔记本电脑、智能手机、平板电脑、摄像机或其他能够处理视频的设备。移动设备1700包括处理器或控制器1701来处理数据，以及与处理器1701通信的存储器1702来存储和/或缓冲数据。例如，处理器1701可以包括中央处理器(CPU)或微控制器单元(MCU)。在一些实现中，处理器1701可以包括现场可编程门阵列(FPGA)。在一些实现中，移动设备1700包括或与图形处理单元(GPU)、视频处理单元(VPU)和/或无线通信单元通信，以实现智能手机设备的各种视觉和/或通信数据处理功能。例如，存储器1702可以包括并存储处理器可执行代码，当处理器1701执行该代码时，将移动设备1700配置为执行各种操作，例如接收信息、命令和/或数据、处理信息和数据，以及将处理过的信息/数据发送或提供给另一个数据设备，诸如执行器或外部显示器。为了支持移动设备1700的各种功能，存储器1702可以存储信息和数据，诸如指令、软件、值、图像以及处理器1701处理或引用的其他数据。例如，可以使用各种类型的随机存取存储器(RAM)设备、只读存储器(ROM)设备、闪存设备和其他合适的存储介质来实现存储器1702的存储功能。在一些实现中，移动设备1700包括输入/输出(I/O)单元1703，来将处理器1701和/或内存1702与其他模块、单元或设备进行接口。例如，I/O单元1703可以与处理器1701和内存1702进行接口，以利用与典型数据通信标准兼容的各种无线接口，例如，在云中的一台或多台计算机和用户设备之间。在一些实现中，移动设备1700可以通过I/O单元1703使用有线连接与其他设备进行接口。I/O单元1703可以包括无线传感器，诸如用于检测远程控制信号的红外探测器，或其他合适的无线人机界面技术。移动设备1700还可以与其他外部接口(例如数据存储器)和/或可视或音频显示设备1704连接，以检索和传输可由处理器处理、由存储器存储或由显示设备1704或外部设备的输出单元上显示的数据和信息。例如，显示设备1704可以根据所公开的技术显示基于MVP修改的视频帧(例如，包括如图13所示的预测块1305的视频帧)。

在一些实施例中，视频解码器装置可以实施视频解码方法，其中使用本文所述的改进的基于块的运动预测进行视频解码。该方法可以包括使用来自视频帧的一组像素形成视频块。块可以根据第一模式分割成第一组子块。第一中间预测块可以对应于第一组子块。块可以包括根据第二模式的第二组子块。第二组中至少有一个子块的大小与第一组中的一个子块的大小不同。该方法还可以基于第一中间预测块和从第二组子块生成的第二中间预测块来确定预测块。该方法的其他特征可能与上述方法1500相似。

在一些实施例中，视频解码的解码器端的方法可以通过使用视频帧的块，利用基于块的运动预测来提高预测的视频质量，其中块对应一组像素块。基于块的大小或来自与该块在空间或时间上相邻的另一块的信息，可以将块划分为多个子块，其中多个子块的至少一个子块的大小与其他子块的大小不同。解码器可以使用通过对多个子块应用编码算法生成的运动矢量预测。该方法的其他特征参考图15B和相应的说明做出了描述。

在一些实施例中，可以使用实现在如图16和图17所述的硬件平台上的解码装置来实现视频解码方法。

部分交织

在一些实施例中，部分交织预测可实现如下。

在一些实施例中，交织预测应用于当前块的一部分。某些位置的预测样本计算作两个或多个基于子块预测的加权和。其他位置的预测样本不用于加权和。例如，这些预测样本是从具有特定划分模式的基于子块的预测中复制的。

在一些实施例中，通过基于子块的预测P1和P2预测当前块，P1和P2分别具有划分模式D0和划分模式D2。最终预测值按P＝w0×P0+w1×P1计算。在某些位置，w0≠0且w1≠0。但在其他一些位置，w0＝1且w1＝0，也就是说，这些位置不应用交织预测。

在一些实施例中，交织预测不适用于图18A所示的四角子块。

在一些实施例中，交织预测不适用于图18B所示的子块最左列和子块最右列。

在一些实施例中，交织预测不适用于图18C所示的子块最上行和子块最下行。

包含在编码器实施例中的技术示例

在一些实施例中，交织预测不应用于运动估计(ME)处理。

例如，6参数仿射预测的ME处理中不应用交织预测。

例如，如果当前块的大小满足以下某些条件，则ME处理中不应用交织预测。这里，假定当前块的宽度和高度分别为W和H，并且T、T1和T2为整数值：

W>＝T1且H>＝T2；

W<＝T1且H<＝T2；

W>＝T1或H>＝T2；

W<＝T1或H<＝T2；

W+H>＝T

W+H<＝T

W×H>＝T

W×H<＝T

例如，如果当前块与父块分离，并且父块在编码器处不选择仿射模式，则在ME过程中省略交织预测。

或者，如果当前块与父块分离，并且父块在编码器处不选择仿射模式，则编码器处不检查仿射模式。

表A说明了对随机访问(RA)配置使用常规2x2仿射预测的示例性能结果。

表A 2x2仿射预测的示例测试结果

表B说明了根据本技术的实施例，将交织预测应用于单向预测得到的示例性能结果。表C说明了根据本技术的实施例，将交织预测应用于双向预测得到的示例性能结果。

表B单向预测中交织预测的示例测试结果

	Y	U	V	EncT	DecT
						类别A1	-0.05％	-0.14％	-0.02％	101％	100％
类别A2	-0.55％	-0.17％	-0.11％	102％	101％
						类别B	-0.33％	-0.17％	-0.20％	101％	101％
类别C	-0.15％	-0.16％	-0.04％	100％	100％
						类别D	-0.21％	-0.09％	-0.02％	106％	106％
类别F	-0.39％	-0.40％	-0.39％	102％	102％
						总体	-0.27％	-0.16％	-0.11％	101％	101％

表C双向预测中交织预测的示例测试结果

	Y	U	V	EncT	DecT
						类别A1	-0.09％	-0.18％	-0.12％	103％	102％
类别A2	-0.74％	-0.40％	-0.28％	104％	104％
						类别B	-0.37％	-0.39％	-0.35％	103％	102％
类别C	-0.22％	-0.19％	-0.13％	102％	102％
						类别D	-0.42％	-0.28％	-0.32％	103％	102％
类别F	-0.60％	-0.64％	-0.62％	102％	102％
						总体	-0.38％	-0.30％	-0.23％	103％	102％

如表B和表C所示，与传统的基于2x2仿射预测的编码相比，交织预测以更低的复杂度实现了主要的编码增益。特别地，与2x 2仿射方法(0.47％)相比，应用于双向预测的交织预测获得0.38％的编码增益。与2x 2仿射方法中的136％和114％相比，2x 2仿射方法的编码时间和解码时间分别为103％和102％。

图19是示出其中可以实施本文公开的各种技术的示例视频处理系统1900的框图。各种实现可能包括系统1900的部分或全部组件。系统1900可包括用于接收视频内容的输入1902。视频内容可以以原始或未压缩格式接收(例如，8位或10位多分量像素值)，或者可以以压缩或编码格式接收。输入1902可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括有线接口(诸如以太网、无源光网络(PON)等)以及无线接口(诸如Wi-Fi或蜂窝接口)。外围总线接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。

系统1900可以包括编码组件1904，其可以实现本文中所述的各种编码方法。编码组件1904可以降低视频从输入1902到编码组件1904输出的平均比特率。因此，该编码技术有时被称为视频压缩或视频转码技术。编码组件1904的输出可以通过连接的通信(如由组件1906表示)进行存储或传输。组件1906可以使用在输入1902处接收到的视频的存储或通信比特流表示来生成发送到显示接口1908的可显示视频。从比特流表示生成用户可观看视频的过程有时被称为视频解压。

本文所述技术可以实施在各种电子设备中，例如移动电话、笔记本电脑、智能手机或其他能够执行数字数据处理和/或视频显示的设备。

在一个示例方面，视频处理方法包括根据第一模式将视频块分割成第一组子块，并根据第二模式将视频块分割成第二组子块。第二组中的至少一个子块与第一组中的子块具有不同的尺寸。该方法还包括确定预测块，该预测块是从第一组子块生成的第一中间预测块和从第二组子块生成的第二中间预测块的组合。

在一些实施例中，使用(1)仿射预测方法、(2)可选时域运动矢量预测方法、(3)空时运动矢量预测方法、(4)双向光流方法或(5)帧速率上转换方法中的至少一种生成第一中间预测块或第二中间预测块。

在一些实施例中，第一组或第二组中的子块具有矩形形状。在一些实施例中，第一组子块中的子块具有不均匀的形状。在一些实施例中，第二组子块中的子块具有不均匀的形状。

在一些实施例中，该方法包括基于视频块的尺寸确定第一模式或第二模式。在一些实施例中，为了基于第一参考图片列表中的参考图片对视频块进行运动补偿，将视频块分割成第一组子块。在一些实施例中，为了基于与第一参考图片列表不同的第二参考图片列表中的参考图片对视频块进行运动补偿，将块分割成第二组子块。在一些实施例中，为了从与第一参考图片列表相同的第二参考图片列表中的参考图片对视频块进行运动补偿，将视频块分割成第二组子块。在一些实施例中，从第二参考图片列表中的参考图片对视频块进行运动补偿，方法通过根据第三模式将视频块分割成第三组子块，基于第三组子块生成第三中间预测块，根据第四模式将视频块分割成第四组子块，其中第四组中的至少一个子块与第三组中的子块具有不同的尺寸，基于第四组子块生成第四中间预测块，基于第三中间预测块和第四中间预测块确定第二预测块，并且根据预测块和第二预测块确定第三预测块。

在一些实施例中，预测块被确定为使用第一组权重加权的第一中间预测块和使用第二组权重加权的第二中间预测块的加权组合。在一些实施例中，第一组权重或第二组权重包括固定的权重值。在一些实施例中，第一组权重中的至少一个值不同于第一组权重中的另一个值。在一些实施例中，第二组权重中的至少一个值不同于第二组权重中的另一个值。

在另一个示例方面，视频处理方法包括根据视频块的尺寸或与视频块关联的编码算法类型将视频块划分为多个子块。多个子块的一个子块的具有与多个子块的其他子块的尺寸不同的尺寸。该方法还包括通过将编码算法应用于多个子块生成运动矢量预测，并使用运动矢量预测对视频块进行进一步的处理。

在一些实施例中，编码算法包括(1)仿射预测方法、(2)可选时域运动矢量预测方法、(3)空时运动矢量预测方法、(4)双向光流方法或(5)帧速率上转换法中的至少一种。在一些实施例中，视频块的尺寸为M×N，其中M＞N，视频块的特定子块具有A×B的大小，其中A＞B，其中M、N、A和B是整数。在一些实施例中，块的尺寸为M×N，其中M<＝N，视频块的特定子块具有尺寸A×B，其中A<＝B。在一些实施例中，该方法包括对第一组子块中的每个子块进行预测，以确定第一中间预测块。在一些实施例中，该方法包括对第二组子块中的每个子块进行预测，以确定第二中间预测块。

从上述来看，应当理解的是，为了便于说明，本发明公开的技术的具体实施例已经在本文中进行了描述，但是可以在不偏离本发明范围的情况下进行各种修改。因此，除了的之外，本发明公开的技术不限于权利要求的限定。

本文中公开的和其他描述的实施例、模块和功能操作可以在数字电子电路、或计算机软件、固件或硬件中实现，包括本文中所公开的结构及其结构等效体，或其中一个或多个的组合。公开的实施例和其他实施例可以实现为一个或多个计算机程序产品，即一个或多个编码在计算机可读介质上的计算机程序指令的模块，以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中一个或多个的组合。术语“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多处理器或计算机组。除硬件外，该装置还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件的代码、协议栈、数据库管理系统、操作系统或其中一个或多个的组合。传播信号是人为产生的信号，例如机器产生的电信号、光学信号或电磁信号，生成这些信号以对信息进行编码，以便传输到适当的接收装置。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标记语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。

本文中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行，并且装置也可以实现为特殊用途的逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光磁盘；以及CDROM和DVD-ROM光盘。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。

虽然本专利文件包含许多细节，但不应将其解释为对任何发明或权利要求范围的限制，而应解释为对特定发明的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从组合中删除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。

同样，尽管图纸中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。仅描述了一些实现和示例，其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims

1.一种视频处理方法，包括：

根据第一模式将视频块分割成第一组子块；

根据第二模式将视频块分割成第二组子块，其中所述第二组中的至少一个子块具有与所述第一组中的子块不同的尺寸；以及

确定预测块，所述预测块是从所述第一组子块生成的第一中间预测块和从所述第二组子块生成的第二中间预测块的组合。

2.根据权利要求1所述的方法，其中使用(1)仿射预测方法、(2)可选时域运动矢量预测方法、(3)空时运动矢量预测方法、(4)双向光流方法或(5)帧速率上转换方法中的至少一种，生成所述第一中间预测块或所述第二中间预测块。

3.根据权利要求1或2所述的方法，其中所述第一组或所述第二组中的子块具有矩形形状。

4.根据权利要求1至3中任一项所述的方法，其中所述第一组子块中的子块具有不均匀形状。

5.根据权利要求1至3中任一项所述的方法，其中所述第二组子块中的子块具有不均匀形状。

6.根据权利要求1至5中任一项所述的方法，包括：

基于所述视频块的尺寸确定所述第一模式或所述第二模式。

7.根据权利要求1至6中任一项所述的方法，其中为了基于第一参考图片列表中的参考图片对所述视频块进行运动补偿，执行将所述视频块分割成所述第一组子块。

8.根据权利要求7所述的方法，其中为了基于与所述第一参考图片列表不同的第二参考图片列表中的参考图片对所述视频块进行运动补偿，执行将所述块分割成所述第二组子块。

9.根据权利要求1至7中任一项所述的方法，其中为了从与所述第一参考图片列表相同的第二参考图片列表中的参考图片对所述视频块进行运动补偿，执行将所述视频块分割成所述第二组子块。

10.根据权利要求9所述的方法，其中从所述第二参考图片列表中的参考图片对所述视频块进行运动补偿通过如下执行：

根据第三模式将所述视频块分割成第三组子块；

基于所述第三组子块生成第三中间预测块；

根据第四模式将所述视频块分割成第四组子块，其中所述第四组中的至少一个子块具有与所述第三组中的子块不同的尺寸；

基于所述第四组子块生成第四中间预测块；

基于所述第三中间预测块和所述第四中间预测块确定第二预测块；以及

基于所述预测块和所述第二预测块确定第三预测块。

11.根据权利要求1至10中任一项所述的方法，其中所述预测块被确定为使用第一组权重加权的所述第一中间预测块和使用第二组权重加权的所述第二中间预测块的加权组合。

12.根据权利要求11所述的方法，其中所述第一组权重或所述第二组权重包括固定权重值。

13.根据权利要求12所述的方法，其中所述第一组权重中的至少一个值不同于所述第一组权重中的另一个值。

14.根据权利要求12至13中任一项所述的方法，其中所述第二组权重中的至少一个值不同于所述第二组权重中的另一个值。

15.一种视频处理方法，包括：

基于视频块的尺寸或与所述视频块关联的编码算法类型将所述视频块划分为多个子块，其中所述多个子块的一个子块具有与所述多个子块的其他子块不同的尺寸；

通过将所述编码算法应用于所述多个子块生成运动矢量预测；以及

使用所述运动矢量预测对所述视频块进行进一步的处理。

16.根据权利要求15所述的方法，其中所述编码算法包括(1)仿射预测方法、(2)可选时域运动矢量预测方法、(3)空时运动矢量预测方法、(4)双向光流方法或(5)帧速率上转换方法中的至少一种。

17.根据权利要求1至16中任一项所述的方法，其中所述视频块的尺寸为M×N，其中M＞N，所述视频块的特定子块具有A×B的大小，其中A＞B，并且其中M、N、A和B是整数。

18.根据权利要求1至16中任一项所述的方法，其中所述块的尺寸为M×N，其中M<＝N，所述视频块的特定子块具有A×B的大小，其中A<＝B。

19.根据权利要求1至18中任一项所述的方法，包括：

对所述第一组子块中的每个子块执行预测，以确定所述第一中间预测块。

20.根据权利要求1至18中任一项所述的方法，包括：

对所述第二组子块中的每个子块执行预测，以确定所述第二中间预测块。

21.一种视频处理装置，其包括处理器，被配置为实现权利要求1至20中任一项所述的方法。

22.一种计算机可读介质，其存储程序代码来实现如权利要求1至20中任一项所述的方法。