CN113259685A

CN113259685A - 一种分像素运动估计方法及装置

Info

Publication number: CN113259685A
Application number: CN202110631274.0A
Authority: CN
Inventors: 向国庆; 曾毓宁; 张广耀; 束文韬; 宋磊
Original assignee: Hangzhou Boya Hongtu Video Technology Co ltd
Current assignee: Hangzhou Boya Hongtu Video Technology Co ltd
Priority date: 2021-06-07
Filing date: 2021-06-07
Publication date: 2021-08-13
Anticipated expiration: 2041-06-07
Also published as: CN113259685B

Abstract

本发明公开了一种分像素运动估计方法及装置，方法包括：对当前LCU块采用BT模式和QT模式进行第一CU划分，以及对当前LCU块采用EQT模式进行第二CU划分；针对每个第一CU，对第一CU进行分像素运动估计，以得到第一CU的分像素运动矢量；针对每个第二CU，利用与第二CU尺寸相同且具有重叠面积的第一CU的分像素运动矢量确定第二CU的分像素运动矢量。本发明通过采用由BT模式和QT模式划分出来的CU的分像素运动矢量确定由EQT模式划分出来的CU的分像素运动矢量，以减少进行分像素运动估计过程的CU个数，减少资源消耗，加快编码速度。

Description

一种分像素运动估计方法及装置

技术领域

本发明涉及视频编码技术领域，具体涉及一种分像素运动估计方法及装置。

背景技术

在AVS3视频编码标准中，对于LCU（largest coding unit,最大编码单元）的尺寸从64x64扩展到了128x128，并且在BT（binary tree，二叉树）和QT（quad-tree，四叉树）的编码单元（CU，coding unit）划分模式之外，又引入了EQT（extended quad-tree，增强型四叉树）划分模式，这使得CU划分的复杂度急剧增加。

由于CU划分复杂度的增加，并且CU的分像素运动估计（FME，fractional motionestimation）过程繁琐，导致分像素运动估计不仅会消耗过多的资源，而且运行速度也很慢，造成硬件化实现困难。

发明内容

本发明的目的是针对上述现有技术的不足提出的一种分像素运动估计方法及装置，该目的是通过以下技术方案实现的。

本发明的第一方面提出了一种分像素运动估计方法，所述方法包括：

对当前LCU块采用BT模式和QT模式进行第一CU划分，以及对当前LCU块采用EQT模式进行第二CU划分；

针对每个第一CU，对所述第一CU进行分像素运动估计，以得到所述第一CU的分像素运动矢量；

针对每个第二CU，利用与所述第二CU尺寸相同且具有重叠面积的第一CU的分像素运动矢量确定所述第二CU的分像素运动矢量。

本发明的第二方面提出了一种分像素运动估计装置，所述装置包括：

CU划分模块，用于对当前LCU块采用BT模式和QT模式进行第一CU划分，以及对当前LCU块采用EQT模式进行第二CU划分；

第一估计模块，用于针对每个第一CU，对所述第一CU进行分像素运动估计，以得到所述第一CU的分像素运动矢量；

第二估计模块，用于针对每个第二CU，利用与所述第二CU尺寸相同且具有重叠面积的第一CU的分像素运动矢量确定所述第二CU的分像素运动矢量。

基于上述第一方面和第二方面所述的分像素运动估计方法及装置，本发明具有如下有益效果：

在对CU编码前，需要获得所有划分模式下CU的分像素运动矢量，而在现有技术中每个CU的分像素运动估计都要经过分像素插值和搜索的过程，并且分像素插值和搜索过程消耗资源比较多且耗时长，本发明为了减少进行分像素运动估计过程的CU个数，减少资源消耗，加快编码速度，通过采用由BT模式和QT模式划分出来的CU的分像素运动矢量确定由EQT模式划分出来的CU的分像素运动矢量。

由于BT模式和QT模式划分出来的CU与EQT模式划分出来的CU存在尺寸相同并且重叠的情况，因此由BT模式和QT模式划分出来的CU的分像素运动矢量确定的EQT模式划分出来的CU的分像素运动矢量也具有一定的准确性。

进一步地，由于最终编码采用的CU大多是BT模式和QT模式划分出来的CU，即BT模式和QT模式划分出来的CU相对EQT模式划分出来的CU更重要，因此本发明对BT模式和QT模式划分出来的CU进行分像素运动估计，对EQT模式划分出来的CU不进去分像素运动估计，而是由BT模式和QT模式划分出来的CU的分像素运动矢量确定EQT模式划分出来的CU的分像素运动矢量，这样在减少资源消耗的同时，也保证了编码性能。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明根据一示例性实施例示出的一种分像素运动估计方法的实施例流程图；

图2为本发明根据一示例性实施例示出的一种插值后的相似块；

图3为现有技术中在插值后的相似块中定位出的待搜索块的示意图；

图4为本发明根据图3示出的四个待搜索块之间互相重叠的示意图；

图5为本发明示出的一种四个待搜索块之间互不重叠的示意图；

图6为本发明根据一示例性实施例示出的一种EQT模式划分的CU的分像素运动矢量替代示意图；

图7为本发明根据一示例性实施例示出的一种电子设备的硬件结构图；

图8为本发明根据一示例性实施例示出的一种分像素运动估计装置的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

图1为本发明根据一示例性实施例示出的一种分像素运动估计方法的实施例流程图，包括如下步骤：

步骤101：对当前LCU块采用BT模式和QT模式进行第一CU划分，以及对当前LCU块采用EQT模式进行第二CU划分。

其中，BT模式和QT模式为BT模式与QT模式的结合。

本领域技术人员可以理解的是，对BT模式和QT模式和EQT模式的具体CU划分过程，可以采用相关技术实现，本发明对此不进行具体限定。

需要说明的是，对于采用BT模式和QT模式划分出的第一CU，与采用EQT模式划分出的第二CU会存在重叠的情况，并且也会存在第一CU与第二CU尺寸相同的情况。

以BT模式和QT模式为例，假设某LCU块大小为64x64，并且CU最小尺寸为4x8和8x4，对该LCU块进行BT模式和QT模式划分，得到各尺寸CU个数，如下述表1所示。

表1

步骤102：针对每个第一CU，对所述第一CU进行分像素运动估计，以得到所述第一CU的分像素运动矢量。

在一可选的实施例中，首先获取第一CU的整像素运动矢量，并在参考帧中定位所述整像素运动矢量所指向的整像素点，以及在参考帧中以所述整像素点作为起始点定位出与所述第一CU尺寸一致的相似块，而后对所述相似块进行分像素插值，并按照预设规则，从插值后的相似块中定位出包含所述整像素点的待搜索块，最后在待搜索块中搜索与所述第一CU相似的最优分像素点，并将所述最优分像素点相对所述第一CU的矢量作为所述第一CU的分像素运动矢量。

其中，以整像素点作为起始点定位与第一CU尺寸一致的相似块具体为从起始点开始分别向右和向下定位一个与第一CU尺寸一致的相似块。所述整像素点位于待搜索块的非边缘位置。

在具体实施时，针对分像素插值的过程，可以对相似块进行4倍分像素插值。

举例来说，如图2所示，深颜色方格A00、A10、A01、A11代表整像素点，白色方格均代表分像素点，由图2可以看出，第一CU的尺寸为2x2，A00为整像素运动矢量所指向的整像素点，由A00、A10、A01、A11组成的块为与第一CU尺寸一致的2x2的相似块，经过4倍分像素插值后，得到11x11的插值后的相似块。

由此可见，假设插值前块大小为axb，采用4倍分像素插值后，得到的插值后的块大小为（a*4+3）x（b*4+3）。也就是说，对于以整像素点为界的边缘需要继续往外扩3个分像素点（如图2中的4个箭头所指）。

本领域技术人员可以理解的是，对于第一CU的整像素运动矢量的估计过程，可以采用相关技术实现，本发明对此不进行限定。

在现有技术中，如图3所示，在插值后的相似块中定位待搜索块时，需要搜索整像素运动矢量所指向的整像素点A00周围分像素点，如图3中虚线框圈出来的49个像素点。

发明人发现，如图4所示，整像素运动矢量所指向的整像素点为A00时，定位出的49个像素点的待搜索块为1；整像素运动矢量所指向的整像素点为A10时，定位出的49个像素点的待搜索块为2；整像素运动矢量所指向的整像素点为A01时，定位出的49个像素点的待搜索块为4；整像素运动矢量所指向的整像素点为A11时，定位出的49个像素点的待搜索块为3。这四个待搜索块之间互相均有重叠的像素点，这样就会造成一个像素点的多次搜索，从而带来很大的资源和时间消耗。

在本发明实施例中，为了减少资源消耗和时间消耗，从插值后的相似块中定位出包含整像素点的待搜索块的预设规则可以是：定位出的待搜索块与定位出相邻整像素点的待搜索块之间不重叠。也就是说，通过减少待搜索块的像素点来减少搜索次数来减少资源消耗和时间消耗。

举例来说，在上述图3或图4基础上，将49个像素点搜索减少为16个像素点的搜索，具体定位规则是整像素点左边和上边一个分像素点距离和整像素点右边和下边两个分像素点距离内的16个像素点作为待搜索块。如图5所示，整像素运动矢量所指向的整像素点为A00时，定位出的16个像素点的待搜索块为5；整像素运动矢量所指向的整像素点为A10时，定位出的16个像素点的待搜索块为6；整像素运动矢量所指向的整像素点为A01时，定位出的16个像素点的待搜索块为8；整像素运动矢量所指向的整像素点为A11时，定位出的16个像素点的待搜索块为7，这四个待搜索块之间互不重叠，这样可以有效减少像素点搜索次数，从而减少的资源消耗和时间消耗。

需要说明的是，上述图5所示的待搜索块定位方式仅为一种示例性说明，本发明还可以有其他减少搜索点的待搜索块定位方式，只要保证定位出的待搜索块与定位出相邻整像素点的待搜索块之间不重叠即可。

步骤103：针对每个第二CU，利用与所述第二CU尺寸相同且具有重叠面积的第一CU的分像素运动矢量确定所述第二CU的分像素运动矢量。

其中，为了克服因为进行分像素运动估计的CU块数量过多而导致资源消耗大和运行速度慢的缺点，本发明采用不同CU划分方式之间的CU块分像素运动矢量替代，以减少进行分像素运动估计的CU块个数。

在一些实施例中，对于与第二CU尺寸相同且具有重叠面积的第一CU有一个时，可以直接将该第一CU的分像素运动矢量确定为第二CU的分像素运动矢量。

对于与第二CU尺寸相同且具有重叠面积的第一CU有多个时，可以从与第二CU尺寸相同且具有重叠面积的多个第一CU中任选一个第一CU，并将所选的第一CU的分像素运动矢量确定为第二CU的分像素运动矢量。

举例来说，如图6所示，一个LCU块，采用BT模式和QT模式划分得到的第一CU包括：CU0、CU1、CU2、CU3，尺寸均为32x32，假设CU4为采用EQT模式划分得到的其中一个第二CU，并且尺寸为32x32。由图6可以看出，与CU4尺寸相同且具有重叠面积的第一CU有两个：CU0和CU2，从而可以从CU0和CU2中任选一个的分像素运动矢量作为CU4的分像素运动矢量。

当与第二CU尺寸相同且具有重叠面积的第一CU有多个时，下面给出另外几种不同的替代规则：

在一个例子中，可以从与第二CU尺寸相同且具有重叠面积的多个第一CU中，选择一个重叠面积最大的第一CU，并将所选的第一CU的分像素运动矢量确定为第二CU的分像素运动矢量。

在另一个例子中，还可以计算与第二CU尺寸相同且具有重叠面积的多个第一CU的分像素运动矢量的平均分像素运动矢量，并将所述平均分像素运动矢量确定为所述第二CU的分像素运动矢量。

需要说明的是，在执行步骤103之后，可以将第一CU的分像素运动矢量和第二CU的分像素运动矢量输入MD（模式决策）模块，以由MD模块决策最终的CU。

至此，完成上述图1所示流程，本发明为了减少进行分像素运动估计过程的CU个数，减少资源消耗，加快编码速度，通过采用由BT模式和QT模式划分出来的CU的分像素运动矢量确定由EQT模式划分出来的CU的分像素运动矢量。

图7为本发明根据一示例性实施例示出的一种电子设备的硬件结构图，该电子设备包括：通信接口401、处理器402、机器可读存储介质403和总线404；其中，通信接口401、处理器402和机器可读存储介质403通过总线404完成相互间的通信。处理器402通过读取并执行机器可读存储介质403中与分像素运动估计方法的控制逻辑对应的机器可执行指令，可执行上文描述的分像素运动估计方法，该方法的具体内容参见上述实施例，此处不再累述。

本发明中提到的机器可读存储介质403可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：易失存储器、非易失性存储器或者类似的存储介质。具体地，机器可读存储介质403可以是RAM（Random Access Memory，随机存取存储器）、闪存、存储驱动器（如硬盘驱动器）、任何类型的存储盘（如光盘、DVD等），或者类似的存储介质，或者它们的组合。

与前述分像素运动估计方法的实施例相对应，本发明还提供了分像素运动估计装置的实施例。

图8为本发明根据一示例性实施例示出的一种分像素运动估计装置的结构示意图，所述分像素运动估计装置包括：

CU划分模块810，用于对当前LCU块采用BT模式和QT模式进行第一CU划分，以及对当前LCU块采用EQT模式进行第二CU划分；

第一估计模块820，用于针对每个第一CU，对所述第一CU进行分像素运动估计，以得到所述第一CU的分像素运动矢量；

第二估计模块830，用于针对每个第二CU，利用与所述第二CU尺寸相同且具有重叠面积的第一CU的分像素运动矢量确定所述第二CU的分像素运动矢量。

在一可选的实现方式中，所述第一估计模块820，具体用于获取所述第一CU的整像素运动矢量；在参考帧中定位所述整像素运动矢量所指向的整像素点，并在参考帧中以所述整像素作为起始点定位出与所述第一CU尺寸一致的相似块；对所述相似块进行分像素插值，并按照预设规则，从插值后的相似块中定位出包含所述整像素点的待搜索块；所述整像素点位于所述待搜索块的非边缘位置；在所述待搜索块中搜索与所述第一CU相似的最优分像素点；将所述最优分像素点相对所述第一CU的矢量作为所述第一CU的分像素运动矢量。

在一可选的实现方式中，所述第二估计模块830，具体用于当与所述第二CU尺寸相同且具有重叠面积的第一CU有一个时，将该第一CU的分像素运动矢量确定为所述第二CU的分像素运动矢量；当与所述第二CU尺寸相同且具有重叠面积的第一CU有多个时，从与所述第二CU尺寸相同且具有重叠面积的多个第一CU中任选一个第一CU，并将所选的第一CU的分像素运动矢量确定为所述第二CU的分像素运动矢量。

在一可选的实现方式中，所述第二估计模块830，具体用于当与所述第二CU尺寸相同且具有重叠面积的第一CU有多个时，从与所述第二CU尺寸相同且具有重叠面积的多个第一CU中，选择一个重叠面积最大的第一CU，并将所选的第一CU的分像素运动矢量确定为所述第二CU的分像素运动矢量。

在一可选的实现方式中，所述第二估计模块830，具体用于当与所述第二CU尺寸相同且具有重叠面积的第一CU有多个时，计算与所述第二CU尺寸相同且具有重叠面积的多个第一CU的分像素运动矢量的平均分像素运动矢量，并将所述平均分像素运动矢量确定为所述第二CU的分像素运动矢量。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种分像素运动估计方法，其特征在于，所述方法包括：

对当前LCU块采用二叉树BT模式和四叉树QT模式进行第一编码单元CU划分，以及对当前LCU块采用增强型四叉树EQT模式进行第二CU划分；

2.根据权利要求1所述的方法，其特征在于，所述对所述第一CU进行分像素运动估计，以得到所述第一CU的分像素运动矢量，包括：

获取所述第一CU的整像素运动矢量；

在参考帧中定位所述整像素运动矢量所指向的整像素点，并在参考帧中以所述整像素点作为起始点定位出与所述第一CU尺寸一致的相似块；

对所述相似块进行分像素插值，并按照预设规则，从插值后的相似块中定位出包含所述整像素点的待搜索块；所述整像素点位于所述待搜索块的非边缘位置；

在所述待搜索块中搜索与所述第一CU相似的最优分像素点；

将所述最优分像素点相对所述第一CU的矢量作为所述第一CU的分像素运动矢量。

3.根据权利要求1所述的方法，其特征在于，所述利用与所述第二CU尺寸相同且具有重叠面积的第一CU的分像素运动矢量确定所述第二CU的分像素运动矢量，包括：

当与所述第二CU尺寸相同且具有重叠面积的第一CU有一个时，将该第一CU的分像素运动矢量确定为所述第二CU的分像素运动矢量；

当与所述第二CU尺寸相同且具有重叠面积的第一CU有多个时，从与所述第二CU尺寸相同且具有重叠面积的多个第一CU中任选一个第一CU，并将所选的第一CU的分像素运动矢量确定为所述第二CU的分像素运动矢量。

4.根据权利要求1所述的方法，其特征在于，所述利用与所述第二CU尺寸相同且具有重叠面积的第一CU的分像素运动矢量确定所述第二CU的分像素运动矢量，包括：

当与所述第二CU尺寸相同且具有重叠面积的第一CU有多个时，从与所述第二CU尺寸相同且具有重叠面积的多个第一CU中，选择一个重叠面积最大的第一CU，并将所选的第一CU的分像素运动矢量确定为所述第二CU的分像素运动矢量。

5.根据权利要求1所述的方法，其特征在于，所述利用与所述第二CU尺寸相同且具有重叠面积的第一CU的分像素运动矢量确定所述第二CU的分像素运动矢量，包括：

当与所述第二CU尺寸相同且具有重叠面积的第一CU有多个时，计算与所述第二CU尺寸相同且具有重叠面积的多个第一CU的分像素运动矢量的平均分像素运动矢量，并将所述平均分像素运动矢量确定为所述第二CU的分像素运动矢量。

6.一种分像素运动估计装置，其特征在于，所述装置包括：

CU划分模块，用于对当前LCU块采用二叉树BT模式和四叉树QT模式进行第一编码单元CU划分，以及对当前LCU块采用增强型四叉树EQT模式进行第二CU划分；

7.根据权利要求6所述的装置，其特征在于，所述第一估计模块，具体用于获取所述第一CU的整像素运动矢量；在参考帧中定位所述整像素运动矢量所指向的整像素点，并在参考帧中以所述整像素作为起始点定位出与所述第一CU尺寸一致的相似块；对所述相似块进行分像素插值，并按照预设规则，从插值后的相似块中定位出包含所述整像素点的待搜索块；所述整像素点位于所述待搜索块的非边缘位置；在所述待搜索块中搜索与所述第一CU相似的最优分像素点；将所述最优分像素点相对所述第一CU的矢量作为所述第一CU的分像素运动矢量。

8.根据权利要求6所述的装置，其特征在于，所述第二估计模块，具体用于当与所述第二CU尺寸相同且具有重叠面积的第一CU有一个时，将该第一CU的分像素运动矢量确定为所述第二CU的分像素运动矢量；当与所述第二CU尺寸相同且具有重叠面积的第一CU有多个时，从与所述第二CU尺寸相同且具有重叠面积的多个第一CU中任选一个第一CU，并将所选的第一CU的分像素运动矢量确定为所述第二CU的分像素运动矢量。

9.根据权利要求6所述的装置，其特征在于，所述第二估计模块，具体用于当与所述第二CU尺寸相同且具有重叠面积的第一CU有多个时，从与所述第二CU尺寸相同且具有重叠面积的多个第一CU中，选择一个重叠面积最大的第一CU，并将所选的第一CU的分像素运动矢量确定为所述第二CU的分像素运动矢量。

10.根据权利要求6所述的装置，其特征在于，所述第二估计模块，具体用于当与所述第二CU尺寸相同且具有重叠面积的第一CU有多个时，计算与所述第二CU尺寸相同且具有重叠面积的多个第一CU的分像素运动矢量的平均分像素运动矢量，并将所述平均分像素运动矢量确定为所述第二CU的分像素运动矢量。