CN111901590A

CN111901590A - 一种用于帧间预测的细化运动矢量存储方法及装置

Info

Publication number: CN111901590A
Application number: CN202010604086.4A
Authority: CN
Inventors: 罗法蕾; 雷萌; 王苫社; 马思伟; 高文
Original assignee: Peking University
Current assignee: Peking University
Priority date: 2020-06-29
Filing date: 2020-06-29
Publication date: 2020-11-06
Anticipated expiration: 2040-06-29
Also published as: CN111901590B

Abstract

本发明公开了一种用于帧间预测的细化运动矢量存储方法，方法包括：获取当前编码块的运动矢量预测值，并基于所述运动矢量预测值搜索当前编码块的实际运动矢量；依据所述实际运动矢量获取当前编码块的细化运动矢量；若当前编码块位于所属编码树单元的预设边界，则存储所述细化运动矢量；若当前编码块不位于所属编码树单元的预设边界，则存储所述实际运动矢量。由于只存储位于编码树单元的预设边界的编码块的细化运动矢量，可以保证提升运动矢量预测准确性的前提下，不降低各个编码块运动矢量存储的等待时间，以在保证编解码复杂度不发生变化的条件下有效提升编解码效率。

Description

一种用于帧间预测的细化运动矢量存储方法及装置

技术领域

本发明涉及数字信号处理技术领域，具体涉及一种用于帧间预测的细化运动矢量存储方法及装置。

背景技术

在目前的视频编码技术中，主要通过去除空间冗余、时间冗余与编码冗余来实现压缩，编码器将多种算法有效的结合起来达到较高的压缩性能，主要相关技术包括预测编码、变换编码、量化和熵编码。预测编码的原理主要是利用视频信号在空域和时域上的相关性进行运动搜索得到运动矢量(MV)，并通过运动矢量进行运动补偿获取最终的预测块。由于运动搜索复杂度很高，因此提升预测编码的性能一直备受研究者们的关注。

发明内容

本发明的目的是针对上述现有技术的不足提出的一种用于帧间预测的细化运动矢量存储方法及装置，该目的是通过以下技术方案实现的。

本发明的第一方面提出了一种用于帧间预测的细化运动矢量存储方法，所述方法包括：

获取当前编码块的运动矢量预测值，并基于所述运动矢量预测值搜索当前编码块的实际运动矢量；

依据所述实际运动矢量获取当前编码块的细化运动矢量；

若当前编码块位于所属编码树单元的预设边界，则存储所述细化运动矢量；

若当前编码块不位于所属编码树单元的预设边界，则存储所述实际运动矢量。

本发明的第二方面提出了一种用于帧间预测的细化运动矢量存储装置，所述装置包括：

第一获取模块，用于获取当前编码块的运动矢量预测值；

搜索模块，用于基于所述运动矢量预测值搜索当前编码块的实际运动矢量；

第二获取模块，用于依据所述实际运动矢量获取当前编码块的细化运动矢量；

第一存储模块，用于在当前编码块位于所属编码树单元的预设边界时，存储所述细化运动矢量；

第二存储模块，用于在当前编码块不位于所属编码树单元的预设边界时，存储所述实际运动矢量。

基于上述第一方面所述的细化运动矢量存储方法，由于只存储位于编码树单元的预设边界的编码块的细化运动矢量，可以保证提升运动矢量预测准确性的前提下，不降低各个编码块运动矢量存储的等待时间，以在保证编解码复杂度不发生变化的条件下有效提升编解码效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明根据一示例性实施例示出的一种用于帧间预测的细化运动矢量存储方法的实施例流程图；

图2为本发明示出的一种编码块的空域运动矢量导出位置示意图；

图3为本发明示出的一种编码块的时域运动矢量导出位置示意图；

图4为本发明示出的一种DMVR原理解析示意图；

图5为本发明示出的一种BIO原理解析示意图；

图6为本发明示出的一种细化运动矢量存储示意图；

图7为本发明示出的一种时域存储示意图；

图8为本发明根据一示例性实施例示出的一种电子设备的硬件结构图；

图9为本发明根据一示例性实施例示出的一种用于帧间预测的细化运动矢量存储装置的实施例流程图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在AVS3/VVC中，考虑到运动搜索的MV不够准确，在进行运动补偿时，通常会在原有MV基础上使用运动矢量细化技术(例如DMVR(decoder-side motion vector refinement，解码端运动矢量修正)、BIO(Bi-directional Optical flow，双向光流)、FRUC(帧速率上转换framerateup-conversion)等)进一步获取细化后的运动矢量，并利用细化后的运动矢量进行运动补偿操作。

使用细化后的运动矢量进行运动补偿可以大幅提升帧间编码的性能，但是目前的细化后的运动矢量仅在运动补偿时使用，并不会进行存储，存储下来的还是运动搜索获得的原有整像素运动矢量或分像素运动矢量，用于后续空域、时域预测的候选和滤波操作。

基于此，为了进一步提升后续运动矢量预测的性能，在使用细化后的运动矢量进行运动补偿的同时，用细化后的运动矢量替换原有运动矢量的存储，作为后续空域、时域运动矢量预测和滤波使用，提升帧间预测中运动矢量预测的性能，以带来编码增益。

下面以具体实施例详细介绍本申请提出的用于帧间预测的细化运动矢量存储的技术方案。

图1为本发明根据一示例性实施例示出的一种用于帧间预测的细化运动矢量存储方法的实施例流程图，该用于帧间预测的细化运动矢量存储方法可以应用于电子设备，如图1所示，该方法包括如下步骤：

步骤101：获取当前编码块的运动矢量预测值，并基于运动矢量预测值搜索当前编码块的实际运动矢量。

在一实施例中，帧间预测中关键步骤之一就是运动矢量搜索，搜索出运动矢量后才能进行相应的运动补偿操作，而搜索运动矢量之前需要先获取运动矢量的预测值(即MVP)，运动矢量预测值的获取包括空域导出和时域导出两种方式。

其中，对于空域导出方式，可以导出当前编码块上侧和左侧相邻块的空域运动矢量，对于时域导出方式，可以从当前编码块的参考帧中导出与当前编码块具有相同坐标位置的编码块的时域运动矢量，最后将导出的空域运动矢量和时域运动矢量作为当前编码块的运动矢量预测值。

示例性的，对于空域导出，参见图2所示，导出当前编码块E的上侧4个相邻块D、B、G、C的空域运动矢量，导出左侧2个相邻块A、F的空域运动矢量。对于时域导出，参见图3所示，右侧图像帧中的当前编码块E，在左侧的参考帧中导出具有相同坐标位置的编码块的时域运动矢量。

需要说明的是，由于运动矢量存储涉及空域存储和时域存储，因此导出的时域运动矢量指的是在时域存储空间中存储的运动矢量，导出的空域运动矢量指的是在空域存储空间中存储的运动矢量。

本领域技术人员可以理解的是，基于运动矢量预测值搜索当前编码块的实际运动矢量的过程可以采用相关运动估计技术实现，本申请对此不进行限定，搜索得到的实际运动矢量是分像素或整像素精度的最优MV。

步骤102：依据实际运动矢量获取当前编码块的细化运动矢量。

在一实施例中，可以通过判断当前编码块是否为SKIP/MERGE模式且属于帧间预测，若是，则通过DMVR(decoder-side motion vector refinement，解码端运动矢量修正)技术，依据实际运动矢量搜索当前编码块的最佳偏移，并利用最佳偏移和实际运动矢量确定细化运动矢量，若当前编码块为非SKIP/MERGE模式但属于帧间预测，则通过BIO(Bi-directional Optical flow，双向光流)技术，依据实际运动矢量搜索当前编码块的最佳偏移，并利用最佳偏移和实际运动矢量确定细化运动矢量。

其中，DMVR技术用于帧间预测SKIP/MERGE模式的编码块，BIO技术用于帧间预测的编码块，在本申请实施例中优先使用DMVR技术，在当前编码块不满足DMVR技术使用条件情况下，再判断当前编码块满不满足BIO技术使用条件。

若使用DMVR技术，若当前编码块为8*8，则以8*8的子块为单位进行DMVR，若当前编码块为大于8*8的块，则以16*16的子块为单位进行DMVR，参见图4所示，以一个子块为例，在前向参考帧周围两圈像素点范围内移动，每移动一个像素得到一个新的子块，在后向参考帧中偏移对称的像素同样可以得到一个子块，计算两个子块之间的像素差的平方和，直至移动完所有的像素点后，比较得到子块间像素差的平方和最小的移动位置，相应的偏移为最佳偏移，如图中的MV_diff，可以定义为(Vx_DMVR，Vy_DMVR)。

假设实际运动矢量为(Vx，Vy)，当前编码块相对前向参考帧的细化运动矢量为(Vx+Vx_DMVR，Vy+Vy_DMVR)，相对后向参考帧的细化运动矢量为(Vx-Vx_DMVR，Vy-Vy_DMVR)。

若使用BIO技术，参见图5所示，以4*4的子块为单位用光流计算运动偏移，如图中的(v_xτ₀,v_yτ₀)，可以定义为(Vx_BIO，Vy_BIO)。

为了将BIO技术得到的运动偏移值限定在一定范围，需要先将Vx_BIO和Vy_BIO进行向右移位处理，经实验测定，移位数可以设置在7～9位范围内，以右移8位为例，移位公式如下：

Vx_BIO’＝(Vx_BIO>>8)

Vy_BIO’＝(Vy_BIO>>8)

假设实际运动矢量为(Vx，Vy)，那么当前编码块相对前向参考帧的细化运动矢量为(Vx+Vx_BIO’，Vy+Vy_BIO’)，相对后向参考帧的细化运动矢量为(Vx-Vx_BIO’，Vy-Vy_BIO’)。

步骤103：若当前编码块位于所属编码树单元的预设边界，则存储细化运动矢量。

在本实施例中，帧间预测以编码块(即CU)为单位进行，编码块大小可在4～128之间，一个编码树单元(即CTU)的大小为128*128，一个编码树单元中包含多个编码块，并且每个编码树单元中划分编码块方式为自适应调节的，为了提升运动矢量预测准确性，并且不降低各个编码块运动矢量存储的等待时间，由于运动矢量预测值的获取是导出编码块左侧和上侧的相邻块的运动矢量，因此可以只存储位于编码树单元的右边界和/或下边界的编码块的细化运动矢量。

也就是说，参见图6所示的细化运动矢量存储示意图，阴影区域为各个CTU的右边界和下边界，存储的是细化运动矢量，若当前编码块与邻近的用来导出运动矢量的相邻块位于同一个编码树单元内，则导出的是实际运动矢量作为运动矢量预测值，若邻近的用来导出运动矢量的相邻块位于编码树单元的右边界或下边界，则导出的是细化运动矢量作为运动矢量预测值。

针对存储细化运动矢量的过程，对于空域存储，可以根据空域存储单位大小、当前编码块大小确定空域存储空间中的存储范围，在该存储范围内存储细化运动矢量；对于时域存储，根据时域存储单位大小、当前编码块大小和坐标位置确定时域存储空间中的存储范围，在该存储范围内存储细化运动矢量。

以AVS3为例，空域存储为4*4，即每个4*4的存储范围内存储同样的运动矢量，时域存储为16*16，即每个16*16存储范围内存储同样的运动矢量。

对于空域存储，如果细化运动矢量由DMVR技术获得，当前编码块为8*8，则当前编码块只有一个细化运动矢量，因此对应空域存储空间中的4个4*4的存储范围存储同样的细化运动矢量，当前编码块大于8*8，则当前编码块中的每16*16子块对应有一个细化运动矢量，因此对应空域存储空间中的16个4*4的存储范围存储同样的细化运动矢量；如果细化运动矢量由BIO技术获得，由于以4*4子块为单位进行偏移计算，因此当前编码块中的每4*4子块对应有一个细化运动矢量，进而对应空域存储空间中的每个4*4的存储范围存储一个细化运动矢量。

对于时域存储，如果细化运动矢量由DMVR技术获得，如果当前编码块只有1个细化运动矢量，则对应时域存储空间中的1个16*16的存储范围存储该细化运动矢量，如果当前编码块有多个细化运动矢量，则当前编码块中的每一16*16子块对应有一个细化运动矢量，因此对应时域存储空间中的每一16*16的存储范围存储一个细化运动矢量；如果细化运动矢量由BIO技术获得，细化运动矢量以16*16为单位存储，如果当前编码块小于等于16*16，其中的每一4*4子块对应有1个细化运动矢量，根据当前编码块坐标位置获取在对应图像帧中对应的16*16大小块，然后以获取的16*16大小块中(8,8)位置对应的4*4子块为目标，将该4*4子块的细化运动矢量存储到对应时域存储空间中的1个16*16的存储范围内，参见图7所示，如果当前编码块大于16*16，获取当前编码块中每一16*16子块E对应的16个细化运动矢量，并以每一16*16子块中(8,8)位置对应的4*4子块为目标，将该4*4子块的细化运动矢量存储到对应时域存储空间中的1个16*16的存储范围内。

由上述描述可知，本申请在存储细化运动矢量时，仍然以AVS3标准定义的原有运动矢量的存储规则进行存储，并未改变原有的硬件资源条件需求，从而在保证编解码复杂度不发生变化的条件下可有效提升运动矢量预测的准确性。

步骤104：若当前编码块不位于所属编码树单元的预设边界，则存储实际运动矢量。

本领域技术人员可以理解的是，实际运动矢量的存储按照AVS3标准定义存储规则进行存储即可，也即上述步骤103所描述的细化运动矢量的存储规则。

如表1所示，为在AVS3的部分测试序列中的测试结果，测试配置为Random Access，测试时间为2s，测试QP为27，32，38，46。评价的标准为Bjontegaard提出的BD-rate计算方法。可以看出，本发明可以在复杂度几乎不发生变化的情况下有效提升编码性能。

表1

至此，完成上述图1所示流程，通过图1所示的细化运动矢量存储流程，可以在有限的硬件资源下，提升帧间预测运动矢量的准确度，并在保证编解码复杂度不发生变化的条件下有效提升编解码效率。

图8为本发明根据一示例性实施例示出的一种电子设备的硬件结构图，该电子设备包括：通信接口701、处理器702、机器可读存储介质703和总线704；其中，通信接口701、处理器702和机器可读存储介质703通过总线704完成相互间的通信。处理器702通过读取并执行机器可读存储介质703中与用于帧间预测的细化运动矢量存储方法的控制逻辑对应的机器可执行指令，可执行上文描述的用于帧间预测的细化运动矢量存储方法，该方法的具体内容参见上述实施例，此处不再累述。

本发明中提到的机器可读存储介质703可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：易失存储器、非易失性存储器或者类似的存储介质。具体地，机器可读存储介质703可以是RAM(Random Access Memory，随机存取存储器)、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、DVD等)，或者类似的存储介质，或者它们的组合。

与前述用于帧间预测的细化运动矢量存储方法的实施例相对应，本发明还提供了用于帧间预测的细化运动矢量存储装置的实施例。

图9为本发明根据一示例性实施例示出的一种用于帧间预测的细化运动矢量存储装置的实施例流程图，如图9所示，该存储装置包括：

第一获取模块810，用于获取当前编码块的运动矢量预测值；

搜索模块820，用于基于运动矢量预测值搜索当前编码块的实际运动矢量；

第二获取模块830，用于依据实际运动矢量获取当前编码块的细化运动矢量；

第一存储模块840，用于在当前编码块位于所属编码树单元的预设边界时，存储细化运动矢量；

第二存储模块850，用于在当前编码块不位于所属编码树单元的预设边界时，存储实际运动矢量。

在一可选实现方式中，第一获取模块810，具体用于导出当前编码块上侧和左侧相邻块的空域运动矢量，从当前编码块的参考帧中导出与当前编码块具有相同坐标位置的编码块的时域运动矢量；将导出的空域运动矢量和时域运动矢量作为当前编码块的运动矢量预测值。

在一可选实现方式中，预设边界为编码树单元的右边界和/或下边界。

在一可选实现方式中，第二获取模块830，具体用于判断当前编码块是否为SKIP/MERGE模式且属于帧间预测；若是，则通过解码端运动矢量修正技术，依据实际运动矢量搜索当前编码块的最佳偏移，并利用最佳偏移和实际运动矢量确定细化运动矢量；若当前编码块为非SKIP/MERGE模式但属于帧间预测，则通过双向光流技术，依据实际运动矢量搜索当前编码块的最佳偏移，并利用最佳偏移和实际运动矢量确定细化运动矢量。

在一可选实现方式中，第一存储模块840，具体用于根据空域存储单位大小、当前编码块大小确定空域存储空间中的存储范围，在该存储范围内存储细化运动矢量；根据时域存储单位大小、当前编码块大小和坐标位置确定时域存储空间中的存储范围，在该存储范围内存储细化运动矢量。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种用于帧间预测的细化运动矢量存储方法，其特征在于，所述方法包括：

依据所述实际运动矢量获取当前编码块的细化运动矢量；

2.根据权利要求1所述的方法，其特征在于，获取当前编码块的运动矢量预测值，包括：

导出当前编码块上侧和左侧相邻块的空域运动矢量，从当前编码块的参考帧中导出与当前编码块具有相同坐标位置的编码块的时域运动矢量；

将导出的空域运动矢量和时域运动矢量作为当前编码块的运动矢量预测值。

3.根据权利要求1所述的方法，其特征在于，所述预设边界为编码树单元的右边界和/或下边界。

4.根据权利要求1所述的方法，其特征在于，依据所述实际运动矢量获取当前编码块的细化运动矢量，包括：

判断当前编码块是否为SKIP/MERGE模式且属于帧间预测；

若是，则通过解码端运动矢量修正技术，依据所述实际运动矢量搜索当前编码块的最佳偏移，并利用所述最佳偏移和实际运动矢量确定细化运动矢量；

若当前编码块为非SKIP/MERGE模式但属于帧间预测，则通过双向光流技术，依据所述实际运动矢量搜索当前编码块的最佳偏移，并利用所述最佳偏移和实际运动矢量确定细化运动矢量。

5.根据权利要求1所述的方法，其特征在于，存储所述细化运动矢量，包括：

根据空域存储单位大小、当前编码块大小确定空域存储空间中的存储范围，在该存储范围内存储细化运动矢量；

根据时域存储单位大小、当前编码块大小和坐标位置确定时域存储空间中的存储范围，在该存储范围内存储细化运动矢量。

6.一种用于帧间预测的细化运动矢量存储装置，其特征在于，所述装置包括：

第一获取模块，用于获取当前编码块的运动矢量预测值；

7.根据权利要求6所述的装置，其特征在于，所述第一获取模块，具体用于导出当前编码块上侧和左侧相邻块的空域运动矢量，从当前编码块的参考帧中导出与当前编码块具有相同坐标位置的编码块的时域运动矢量；将导出的空域运动矢量和时域运动矢量作为当前编码块的运动矢量预测值。

8.根据权利要求6所述的装置，其特征在于，所述预设边界为编码树单元的右边界和/或下边界。

9.根据权利要求6所述的装置，其特征在于，所述第二获取模块，具体用于判断当前编码块是否为SKIP/MERGE模式且属于帧间预测；若是，则通过解码端运动矢量修正技术，依据所述实际运动矢量搜索当前编码块的最佳偏移，并利用所述最佳偏移和实际运动矢量确定细化运动矢量；若当前编码块为非SKIP/MERGE模式但属于帧间预测，则通过双向光流技术，依据所述实际运动矢量搜索当前编码块的最佳偏移，并利用所述最佳偏移和实际运动矢量确定细化运动矢量。

10.根据权利要求6所述的装置，其特征在于，所述第一存储模块，具体用于根据空域存储单位大小、当前编码块大小确定空域存储空间中的存储范围，在该存储范围内存储细化运动矢量；根据时域存储单位大小、当前编码块大小和坐标位置确定时域存储空间中的存储范围，在该存储范围内存储细化运动矢量。