CN108347616B - 一种基于可选时域运动矢量预测的深度预测方法及装置 - Google Patents

Abstract

本发明公开了一种基于可选时域运动矢量预测的深度预测方法及装置，该方法通过对当前编码单元CU进行预划分，获取ATMVP机制得到的当前编码单元CU在帧间的subCU的预测MV，并依据预划分的形状对其进行处理，得到预划分对应的各子CU的预测MV，然后判断其相似性，来决策是否进入预划分的划分模式，以此来跳过一些不必要的深度模式，从而减少编码时间，提高编码效率。整个装置结构简单，利用JEM现有信息提前对深度划分进行预测，跳过不必要的后续划分，从而减少了编码时间；且本方案简单易行，有利于新一代视频编码标准的产业化推广。

Description

一种基于可选时域运动矢量预测的深度预测方法及装置

技术领域

本发明涉及视频编解码领域，尤其涉及一种基于可选时域运动矢量预测的深度预测方法及装置。

背景技术

2013年，ITU-T的VCEG(视频编码专家组)和ISO/IEC的MPEG(动态图像专家组)联合推出了HEVC(高效视频编码)视频压缩方案。自2016年始，VCEG和MPEG开始研究新一代视频编码器，并成立了一个专家小组——JVET(联合视频研究小组)，旨在探讨新一代视频编码标准的研发和制定。新一代的视频编码标准依旧采用混合编码框架，包括变换、量化、熵编码、帧内预测、帧间预测以及环路滤波等模块，但是，为了提高视频压缩率，该标准采用QTBT(Quadtree plus binary tree，四叉树加二叉树)的划分结构，取代了HEVC的四叉树划分，划分结构如附图1所示。在QTBT结构下，去掉了多种划分类型如CU(编码单元)、PU(预测单元)和TU(变换单元)分离观念，支持更弹性的CU划分类型来更好的匹配视频数据的局部特征。在QTBT结构中，当前编码单元CU可为正方形或者长方形。一个CTU(128x128)首先以四叉树结构分成四个子CU(64x64)，然后，此四叉树的每个叶子节点以二叉树(水平划分或垂直划分)或四叉树结构进一步划分，但每个二叉树节点只可能继续水平或垂直划分，不再进行四叉树划分。编码器用MinQTSize、MinBTSize来对四叉树划分和二叉树划分的最小节点进行限制。此外，JEM在各个模块中引入了一系列相当耗时的新型编码工具，大大增加了编码器的计算复杂度，不利于新一代视频编码标准的产业化推广。因此，在保证视频主观质量下降可忽略不计的情况下优化编码器并减少编码时间是视频编解码领域亟待研究和解决的问题之一。

可选时域运动矢量预测(ATMVP，Alternative Temporal Motion VectorPrediction)是一种亚CU级别的运动矢量预测机制。它在时域运动矢量预测(TMVP)的基础上进行了改进，通过小于当前CU的块获取多组运动信息。ATMVP运动预测过程如附图2所示。ATMVP机制分为两步：首先使用时域矢量确定参考图片中的对应块，参考图像被称为运动源图像；然后将当前CU划分为NxN(N默认为4)的subCU，每个子CU获得对应参考块中子CU的运动矢量和参考索引。第一步中，参考图像和对应块由当前CU的空域邻近块的运动信息决定。为了避免重复扫描邻近块，使用当前CU的Merge候选列表的第一候选，第一个可用的运动矢量及其对应的参考索引被设置为时域矢量。第二步中，subCU在运动源图像中对应块的位置通过当前CU的坐标加时域矢量确定。每个subCU的运动信息使用其对应块的运动信息(覆盖中心采样的最小运动网格)推导得到。对应NxN块的运动信息确定后，会通过和HEVC中TMVP相同的方法转换为当前子CU的运动矢量和参考索引。

目前主要的视频编码标准帧间预测部分都采用了基于块的运动补偿技术。其主要原理是为当前图像的每个像素块在之前已编码图像中寻找一个最佳匹配块，该过程称为运动估计。其中用于预测的图像称为参考图像，参考块到当前像素块的位移称为运动矢量，当前块与参考块的差值称为预测残差。由于视频图像序列的连续性，通常运动矢量在空间和时间上也存在一定的相关性，同理，利用空间或时间上相邻的运动矢量对当前块运动矢量进行预测，仅对预测残差进行编码，也能大幅节省运动矢量的编码比特数。这种预测运动矢量的技术称为Merge。在编码过程中，Merge模式会为当前PU建立一个MV候选列表，列表中存在5个候选MV(及其对应的参考图像)。通过遍历这5个候选MV，并进行率失真代价的计算，最终选取率失真代价最小的一个作为该Merge模式的最优MV。而在新一代视频编码标准中，Merge模式新增了两种候选，ATMVP运动预测模式便是其中之一。

在编码过程中，编码器会对所有深度的所有模式进行递归遍历，并进行率失真代价计算，最终选择率失真代价最小的划分深度和模式并保存。这个过程耗时是非常巨大的。因此如果能通过相关信息提前预测出当前CU是否应继续往下划分，从而做到提前终止划分，便可以缩小CU深度的遍历范围，提高编码器速度。

发明内容

本发明提供了一种基于可选时域运动矢量预测的深度预测方法及装置，其目的在于，克服原始的JEM编码器会遍历所有深度划分模式，这一过程耗费的编码时间过长且编码效率过低的缺陷的问题。

一种基于可选时域运动矢量预测的深度预测方法，包括以下步骤：

步骤1：对属于B帧的当前编码单元CU进行ATMVP运动预测，获取每个subCU在帧间前向参考帧ref0和后向参考帧ref1的MV⁰、MV¹；

步骤2：基于当前编码单元CU的形状类型，获取当前编码单元CU的预划分类型；

步骤3：按照步骤2获得的预划分类型，得到当前编码单元CU的预划分块，将各预划分块中包含的所有subCU的MV⁰、MV¹分别进行合并得到MV⁰合、MV¹合，若每个预划分块MV⁰合与MV¹合均具有相似性，则当前编码单元CU跳过获取预划分块的划分类型，否则，执行获取预划分块的划分类型。

当前编码单元CU的预划分类型是依据编码器决定的：

如果当前编码单元CU形状为正方形，则将当前编码单元CU四叉树划分，得到四个子块，或者将当前编码单元CU二叉树划分，进行水平划分，得到上下两个子块，或者进行垂直划分，得到左右两个子块；

如果当前编码单元CU形状为长方形，将当前编码单元CU二叉树划分，进行水平划分，得到上下两个子块，或者进行垂直划分，得到左右两个子块；

进一步地，每个预划分块MV⁰合与MV¹合均具有相似性判断的过程如下：

步骤3.1：获取每个预划分块MV⁰合与MV¹合；

每个预划分块MV⁰合与MV¹合分别为每个预划分块中所包含的subCU的MV⁰、MV¹的x、y分量的平均值形成的坐标(x⁰,y⁰)和(x¹,y¹)；

其中，j的取值为0或1，x_mvi、y_mvi分别表示第i个subCU的MV^j的x和y分量；

步骤3.2：分别计算各个预划分块MV⁰合和MV¹合的方差SAD⁰和SAD¹；

其中，j的取值为0或1，xⁱ、yⁱ分别表示第i个预划分块MV^j合的x和y分量；

步骤3.3：利用SAD⁰和SAD¹，判断每个预划分块MV⁰合和MV¹合是否具有相似性：

当SAD^j值小于阈值λ时，判定MV^j合具有相似性。

进一步地，所述阈值λ取值为以下方式时编码效果最佳：

比较当前编码单元CU的高度h和宽度w的大小，若h等于w，则a＝h；否则，将h和w中较小的值赋给a；

1)若a大于或等于32，λ取150；

2)若a小于32，λ取200。

进一步地，根据当前编码单元CU的形状在编码器中对应的划分方式，利用当前编码单元CU的高度h和宽度w以及当前编码单元CU的大小size，获取预划分类型：

A)若当前编码单元CU的高h等于宽w：

当前编码单元CU的size大于MinQTsize时，预划分类型为四叉树划分；

当前编码单元CU的size大于MinBTsize时，预划分类型为水平划分和垂直划分；

B)若当前编码单元CU的高h大于宽w，当前编码单元CU的size大于MinBTsize时,预划分类型为水平划分；

C)若当前编码单元CU的高h小于宽w，当前编码单元CU的size大于MinBTsize时,预划分类型为垂直划分；

其中，MinBTsize，MinQTsize分别是指允许的最小二叉树叶子节点大小和允许的最小四叉树叶子节点大小。

一种基于可选时域运动矢量预测的深度预测装置，包括：

帧间参考帧运动矢量获取模块：对属于B帧的当前编码单元CU进行ATMVP运动预测，获取每个subCU在帧间前向参考帧ref0和后向参考帧ref1的MV⁰、MV¹；

CU预划分类型模块：基于当前编码单元CU的形状类型，获取当前编码单元CU的预划分类型；

预划分块运动矢量获取模块：利用CU预划分类型模块获得的预划分类型，得到当前编码单元CU的预划分块，将各预划分块中包含的所有subCU的MV⁰、MV¹分别进行合并得到MV⁰合、MV¹合；

预划分块运动矢量相似性判断模块：若每个预划分块MV⁰合与MV¹合均具有相似性，则当前编码单元CU跳过获取预划分块的划分类型，否则，执行获取预划分块的划分类型。

进一步地，所述将各预划分块中包含的所有subCU的MV⁰、MV¹分别进行合并得到MV⁰合、MV¹合是指将每个预划分块MV⁰合与MV¹合分别为每个预划分块中所包含的subCU的MV⁰、MV¹的x、y分量的平均值形成的坐标(x⁰,y⁰)和(x¹,y¹)；

其中，j的取值为0或1，x_mvi、y_mvi分别表示第i个subCU的MV^j的x和y分量。

进一步地，所述预划分块运动矢量相似性判断模块中对每个预划分块MV⁰合与MV¹合的相似性判断是先通过计算各个预划分块MV⁰合和MV¹合的方差SAD⁰和SAD¹；然后判断SAD^j值是否小于设定的阈值λ，若小于，则MV^j合具有相似性，否则，MV^j合不具有相似性；

其中，j的取值为0或1，xⁱ、yⁱ分别表示第i个预划分块MV^j合的x和y分量。

有益效果

本发明提供了一种基于可选时域运动矢量预测的深度预测方法及装置，该方法通过对当前编码单元CU进行预划分，获取ATMVP机制得到的当前编码单元CU在帧间的subCU的预测MV，并依据预划分的形状对其进行处理，得到预划分对应的各子CU的预测MV，然后判断其相似性，来决策是否进入预划分的划分模式，以此来跳过一些不必要的深度模式，从而减少编码时间，提高编码效率。整个装置结构简单，利用JEM现有信息提前对深度划分进行预测，跳过不必要的后续划分，从而减少了编码时间；且本方案简单易行，有利于新一代视频编码标准的产业化推广。

附图说明

图1为四叉二叉树(QTBT)划分结构图，(a)为使用QTBT结构的CTU划分方式示例，(b)为(a)的树形示意图；

图2为CU的ATMVP运动预测示意图，(a)为ATMVP运动预测中CU和对应subCU及其运动矢量的位置关系图，(b)为(a)的示意图；

图3为本发明的整体流程图。

具体实施方式

下面将结合附图和实施例对本申请做进一步的说明。

如图3所示，一种基于可选时域运动矢量预测的深度预测方法，包括以下步骤：

步骤1：对属于B帧的当前编码单元CU进行ATMVP运动预测，获取每个subCU在帧间前向参考帧ref0和后向参考帧ref1的MV⁰、MV¹；

步骤2：基于当前编码单元CU的形状类型，获取当前编码单元CU的预划分类型；

步骤3：按照步骤2获得的预划分类型，得到当前编码单元CU的预划分块，将各预划分块中包含的所有subCU的MV⁰、MV¹分别进行合并得到MV⁰合、MV¹合，若每个预划分块MV⁰合与MV¹合均具有相似性，则当前编码单元CU跳过获取预划分块的划分类型，否则，执行获取预划分块的划分类型。

当前编码单元CU的预划分类型是依据编码器决定的：

如果当前编码单元CU形状为正方形，则将当前编码单元CU四叉树划分，得到四个子块，或者将当前编码单元CU二叉树划分，进行水平划分，得到上下两个子块，或者进行垂直划分，得到左右两个子块；

如果当前编码单元CU形状为长方形，将当前编码单元CU二叉树划分，进行水平划分，得到上下两个子块，或者进行垂直划分，得到左右两个子块；

进一步地，每个预划分块MV⁰合与MV¹合均具有相似性判断的过程如下：

步骤3.1：获取每个预划分块MV⁰合与MV¹合；

每个预划分块MV⁰合与MV¹合分别为每个预划分块中所包含的subCU的MV⁰、MV¹的x、y分量的平均值形成的坐标(x⁰,y⁰)和(x¹,y¹)；

其中，j的取值为0或1，x_mvi、y_mvi分别表示第i个subCU的MV^j的x和y分量；

步骤3.2：分别计算各个预划分块MV⁰合和MV¹合的方差SAD⁰和SAD¹；

其中，j的取值为0或1，xⁱ、yⁱ分别表示第i个预划分块MV^j合的x和y分量；

步骤3.3：利用SAD⁰和SAD¹，判断每个预划分块MV⁰合和MV¹合是否具有相似性：

当SAD^j值小于阈值λ时，判定MV^j合具有相似性。

进一步地，所述阈值λ取值为以下方式时编码效果最佳：

比较当前编码单元CU的高度h和宽度w的大小，若h等于w，则a＝h；否则，将h和w中较小的值赋给a；

1)若a大于或等于32，λ取150；

2)若a小于32，λ取200。

进一步地，根据当前编码单元CU的形状在编码器中对应的划分方式，利用当前编码单元CU的高度h和宽度w以及当前编码单元CU的大小size，获取预划分类型：

A)若当前编码单元CU的高h等于宽w：

当前编码单元CU的size大于MinQTsize时，预划分类型为四叉树划分；

当前编码单元CU的size大于MinBTsize时，预划分类型为水平划分和垂直划分；

B)若当前编码单元CU的高h大于宽w，当前编码单元CU的size大于MinBTsize时,预划分类型为水平划分；

C)若当前编码单元CU的高h小于宽w，当前编码单元CU的size大于MinBTsize时,预划分类型为垂直划分；

其中，MinBTsize，MinQTsize分别是指允许的最小二叉树叶子节点大小和允许的最小四叉树叶子节点大小。

一种基于可选时域运动矢量预测的深度预测装置，包括：

帧间参考帧运动矢量获取模块：对属于B帧的当前编码单元CU进行ATMVP运动预测，获取每个subCU在帧间前向参考帧ref0和后向参考帧ref1的MV⁰、MV¹；

CU预划分类型模块：基于当前编码单元CU的形状类型，获取当前编码单元CU的预划分类型；

预划分块运动矢量获取模块：利用CU预划分类型模块获得的预划分类型，得到当前编码单元CU的预划分块，将各预划分块中包含的所有subCU的MV⁰、MV¹分别进行合并得到MV⁰合、MV¹合；

预划分块运动矢量相似性判断模块：若每个预划分块MV⁰合与MV¹合均具有相似性，则当前编码单元CU跳过获取预划分块的划分类型，否则，执行获取预划分块的划分类型。

进一步地，所述将各预划分块中包含的所有subCU的MV⁰、MV¹分别进行合并得到MV⁰合、MV¹合是指将每个预划分块MV⁰合与MV¹合分别为每个预划分块中所包含的subCU的MV⁰、MV¹的x、y分量的平均值形成的坐标(x⁰,y⁰)和(x¹,y¹)；

其中，j的取值为0或1，x_mvi、y_mvi分别表示第i个subCU的MV^j的x和y分量。

进一步地，所述预划分块运动矢量相似性判断模块中对每个预划分块MV⁰合与MV¹合的相似性判断是先通过计算各个预划分块MV⁰合和MV¹合的方差SAD⁰和SAD¹；然后判断SAD^j值是否小于设定的阈值λ，若小于，则MV^j合具有相似性，否则，MV^j合不具有相似性；

其中，j的取值为0或1，xⁱ、yⁱ分别表示第i个预划分块MV^j合的x和y分量。

为了验证上述算法的正确性以及有效性，本发明基于参考软件JEM7.0在VisualStudio 2015软件上实现该算法。所有实验的具体编码参数的配置选用JEM标准配置文件：encoder_lowdelay_jvet10.cfg以及对应测试序列的标准配置文件。

本实例中采用BDBR(Bjotegaard Delta Bit rate)以及ΔT两个指标来进行评估。其中，BDBR是用来评估算法对视频质量的影响，BDBR越大说明算法对视频质量的影响越大，即算法的性能越差。ΔT则是反映当前算法对编码器效率的提升，其计算公式如下所示：

其中，T_org代表使用不加任何快速算法的原始编码器编码所使用的时间，Tnew代表加快速算法后编码所需时间，ΔT则代表加快速算法后编码器在效率上提升的百分比。

通过实验仿真，本发明的实验结果如表1所示。

表1实验结果

根据实验仿真结果表1可知：编码时间降低了11.09％，而BDBR上升仅为0.69。由此实验结果可以看出，本发明在保证视频主观质量的前提下，提高了编码效率，达到了本发明的目的。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (3)

1.一种基于可选时域运动矢量预测的深度预测方法，其特征在于，包括以下步骤：

步骤1：对属于B帧的当前编码单元CU进行可选时域运动矢量预测ATMVP运动预测，获取每个subCU在帧间前向参考帧ref0和后向参考帧ref1的MV⁰、MV¹；

步骤2：基于当前编码单元CU的形状类型，获取当前编码单元CU的预划分类型；

根据当前编码单元CU的形状在编码器中对应的划分方式，利用当前编码单元CU的高度h和宽度w以及当前编码单元CU的大小size，获取预划分类型：

A)若当前编码单元CU的高h等于宽w：

当前编码单元CU的size大于MinQTsize时，预划分类型为四叉树划分；

当前编码单元CU的size大于MinBTsize时，预划分类型为水平划分和垂直划分；

B)若当前编码单元CU的高h大于宽w，当前编码单元CU的size大于MinBTsize时,预划分类型为水平划分；

C)若当前编码单元CU的高h小于宽w，当前编码单元CU的size大于MinBTsize时,预划分类型为垂直划分；

其中，MinBTsize，MinQTsize分别是指允许的最小二叉树叶子节点大小和允许的最小四叉树叶子节点大小；

步骤3：按照步骤2获得的预划分类型，得到当前编码单元CU的预划分块，将各预划分块中包含的所有subCU的MV⁰、MV¹分别进行合并得到MV⁰合、MV¹合，若每个预划分块MV⁰合与MV¹合均具有相似性，则当前编码单元CU跳过获取预划分块的划分类型，否则，执行获取预划分块的划分类型；

每个预划分块MV⁰合与MV¹合均具有相似性判断的过程如下：

步骤3.1：获取每个预划分块MV⁰合与MV¹合；

每个预划分块MV⁰合与MV¹合分别为每个预划分块中所包含的subCU的MV⁰、MV¹的x、y分量的平均值形成的坐标(x⁰,y⁰)和(x¹,y¹)；

其中，j的取值为0或1，x_mvi、y_mvi分别表示第i个subCU的MV^j的x和y分量；

步骤3.2：分别计算各个预划分块MV⁰合和MV¹合的方差SAD⁰和SAD¹；

其中，j的取值为0或1，xⁱ、yⁱ分别表示第i个预划分块MV^j合的x和y分量；

步骤3.3：利用SAD⁰和SAD¹，判断每个预划分块MV⁰合和MV¹合是否具有相似性：

当SAD^j值小于阈值λ时，判定MV^j合具有相似性。

2.根据权利要求1所述的方法，其特征在于，所述阈值λ取值为以下方式时编码效果最佳：

比较当前编码单元CU的高度h和宽度w的大小，若h等于w，则a＝h；否则，将h和w中较小的值赋给a；

1)若a大于或等于32，λ取150；

2)若a小于32，λ取200。

3.一种基于可选时域运动矢量预测的深度预测装置，其特征在于，包括：

帧间参考帧运动矢量获取模块：对属于B帧的当前编码单元CU进行可选时域运动矢量预测ATMVP运动预测，获取每个subCU在帧间前向参考帧ref0和后向参考帧ref1的MV⁰、MV¹；

CU预划分类型模块：基于当前编码单元CU的形状类型，获取当前编码单元CU的预划分类型；

根据当前编码单元CU的形状在编码器中对应的划分方式，利用当前编码单元CU的高度h和宽度w以及当前编码单元CU的大小size，获取预划分类型：

A)若当前编码单元CU的高h等于宽w：

当前编码单元CU的size大于MinQTsize时，预划分类型为四叉树划分；

当前编码单元CU的size大于MinBTsize时，预划分类型为水平划分和垂直划分；

B)若当前编码单元CU的高h大于宽w，当前编码单元CU的size大于MinBTsize时,预划分类型为水平划分；

C)若当前编码单元CU的高h小于宽w，当前编码单元CU的size大于MinBTsize时,预划分类型为垂直划分；

其中，MinBTsize，MinQTsize分别是指允许的最小二叉树叶子节点大小和允许的最小四叉树叶子节点大小；

预划分块运动矢量获取模块：利用CU预划分类型模块获得的预划分类型，得到当前编码单元CU的预划分块，将各预划分块中包含的所有subCU的MV⁰、MV¹分别进行合并得到MV⁰合、MV¹合；

预划分块运动矢量相似性判断模块：若每个预划分块MV⁰合与MV¹合均具有相似性，则当前编码单元CU跳过获取预划分块的划分类型，否则，执行获取预划分块的划分类型；

每个预划分块MV⁰合与MV¹合均具有相似性判断的过程如下：

步骤3.1：获取每个预划分块MV⁰合与MV¹合；

每个预划分块MV⁰合与MV¹合分别为每个预划分块中所包含的subCU的MV⁰、MV¹的x、y分量的平均值形成的坐标(x⁰,y⁰)和(x¹,y¹)；

其中，j的取值为0或1，x_mvi、y_mvi分别表示第i个subCU的MV^j的x和y分量；

步骤3.2：分别计算各个预划分块MV⁰合和MV¹合的方差SAD⁰和SAD¹；

其中，j的取值为0或1，xⁱ、yⁱ分别表示第i个预划分块MV^j合的x和y分量；

步骤3.3：利用SAD⁰和SAD¹，判断每个预划分块MV⁰合和MV¹合是否具有相似性：

当SAD^j值小于阈值λ时，判定MV^j合具有相似性。

Images