CN105338354A - 一种运动向量估计方法和装置 - Google Patents

Abstract

本发明提供了一种运动向量估计方法，包括：计算当前视频编码块的复杂度；确定当前视频编码块的第一参考图像，以及当前视频编码块对应的、与第一参考图像匹配的第一最优预测运动向量；计算当前视频编码块与第一参考图像块的匹配残差的第一阿达玛成本；判断复杂度以及第一阿达玛成本是否满足第一设定条件；以及判断当前视频编码块的第一最优运动向量与第一最优预测运行向量的运动向量差分是否为零；若判断结果均为是，则分别将与各参考图像匹配的最优预测运动向量确定为当前视频编码块针对各参考图像的最佳运动向量；其中，各参考图像为当前视频编码对应的参考图像。通过本发明，能够降低运动向量估计的复杂度。

Description

一种运动向量估计方法和装置

技术领域

本发明涉及视频图像处理的技术领域，特别是涉及一种运动向量估计方法和装置。

背景技术

随着高分辨率拍摄设备的普及化，互联网视频量急速增长。为了高效地存储和传输高清视频，业界势必采用具有更高压缩编码效率的新一代视频编码标准。例如，新一代视频编码标准H.265/HEVC(HighEfficiencyVideoCoding，高效视频编码标准)，与上一代视频编码标准H.264/AVC(AdvancedVideoCoding，高阶视讯编码)相比，新一代视频编码标准有更多的编码模式可以选择，与此同时也给编码器带来了更高难度的挑战。

编码模式包括帧间编码，在帧间编码中由于当前视频图像和邻近视频图像中的景物存在着一定的相关性，因此可以将当前视频图像分成若干块，并设法搜索出每个视频图像块在邻近视频图像中的位置，并得出两者之间的空间位置的相对偏移量，得到的相对偏移量就是通常所指的运动向量，任意一帧视频图像选择运动向量的过程则被称为运动向量估计。运动向量和经过运动匹配后得到的预测误差，共同发送到编码器，在编码器按照运动向量指明的位置，从已经解码的邻近的参考视频图像中找到相应的视频图像块，和当前视频图像块相减得到预测误差，然后对预测误差执行变换和量化，然后将量化系数编入码流。当进行解码时，反量化反变换得到重构的残差视频图像块，和预测视频图像块相加后就可以得到重构的当前视频图像块。

现有的运动向量估计方法，当对某一视频图像块进行运动向量估计时，需要将当前视频编码块与为其分配的前向参考列中的各参考图像进行运动估计，以确定出当前视频编码块针对向前参考列中的各参考图像的最佳运动向量，同时，还需要将当前视频编码块与为其分配的后向参考列中的各参考图像块进行运动估计，以确定出当前视频编码块针对向后参考列中的各参考图像的最佳运动向量。然后确定出的全部最佳运动向量中，选择一个最优的运动向量，作为当前视频编码块的最终运动向量。

可见，现有的对视频编码块进行运动向量估计过程，需要将当前视频编码块与前、后参考列中的各个参考图像进行运动估计，本领域技术人员能够明了，对参考图像进行运动估计的计算的复杂度高、且计算量大。由于计算次数多，因此，还会影响对视频编码块的编码速度、增加视频编码器的处理负荷。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的运动向量估计方法和装置。

依据本发明的一个方面，提供了一种运动向量估计方法，包括：计算当前视频编码块的复杂度；确定所述当前视频编码块的第一参考图像，以及所述当前视频编码块对应的、与所述第一参考图像匹配的第一最优预测运动向量；计算所述当前视频编码块与所述第一参考图像块的匹配残差的第一阿达玛成本；判断所述复杂度以及所述第一阿达玛成本是否满足第一设定条件；以及判断所述当前视频编码块的第一最优运动向量与所述第一最优预测运行向量的运动向量差分是否为零；若判断结果均为是，则分别将与各参考图像匹配的最优预测运动向量确定为所述当前视频编码块针对所述各参考图像的最佳运动向量；其中，所述各参考图像为所述当前视频编码对应的参考图像。

优选地，所述方法还包括：若不满足第一设定条件和/或运动向量差分不为零，则按照设定规则分别对所述当前视频编码块对应的前向参考列以及后向参考列中的参考图像进行运动估计，以确定所述当前视频编码块的最佳运动向量。

优选地，按照设定规则对所述当前编码块对应的前向参考列中的参考图像运动估计进行排除的步骤包括：选择所述前向参考列中的第一个参考图像，确定所述第一个参考图像对应的预测运动向量，并对所述第一个参考图像执行运动估计，得到第二最优运动向量和所述第二最优运动向量指向的最佳运动补偿块；将所述第一个参考图像对应的预测运动向量中最接近所述第二最优运动向量的运动向量作为与所述第一个参考图像匹配的最优预测运动向量；计算所述当前视频编码块与所述第一个参考图像的匹配残差的第二阿达玛成本；判断所述当前视频编码块的复杂度以及所述第二阿达玛成本是否满足第二设定条件；以及判断所述当前视频编码块的第二最优运动向量与所述第一个参考图像匹配的最优预测运行向量的运动向量差分是否为零；若判断结果均为是，则分别将与所述前向参考列中的各参考图像匹配的最优预测运动向量确定为所述当前视频编码块针对所述前向序列中、各参考图像的最佳运动向量。

优选地，所述计算当前视频编码块的复杂度的步骤包括：分别计算所述当前视频编码块中相邻的两像素点对应像素值的梯度绝对值；将计算得到的各梯度绝对值求和，以得到所述当前视频编码块的复杂度。

优选地，所述计算所述当前视频编码块与所述第一参考图像的匹配残差的第一阿达玛成本的步骤包括：将所述当前视频编码块与所述第一参考图像中的各像素点进行匹配，以获得匹配后的图像块；将匹配后的图像块划分成多块子图像块；分别对各所述子图像块进行阿达玛变换得到相应地系数；将得到的全部系数的绝对值进行求和，得到所述第一阿达玛成本。

优选地，所述第一设定条件通过以下公式表示：grad×A+HADx＜M×N×thx；其中，所述grad为复杂度，所述HADx为第一阿达玛成本，所述M为当前视频编码块的横坐标像素值，所述N为当前视频编码块的纵坐标像素值，所述thx为当前视频编码块所处的图像层对应的固定阈值，A为第一系数。

优选地，所述第二设定条件通过以下公式表示：grad×B+HADy＜M×N×thy；其中，所述grad为复杂度，所述HADy为第二阿达玛成本，所述M为当前视频编码块的横坐标像素值，所述N为当前视频编码块的纵坐标像素值，所述thy为当前视频编码块所处的图像层对应的固定阈值，B为第二系数。

依据本发明的一个方面，还提供了一种运动向量估计装置，包括：复杂度计算模块，用于计算当前视频编码块的复杂度；确定模块，用于确定所述当前视频编码块的第一参考图像，以及所述当前视频编码块对应的、与所述第一参考图像匹配的第一最优预测运动向量；第一计算模块，用于计算所述当前视频编码块与所述第一参考图像的匹配残差的第一阿达玛成本；第一判断模块，用于判断所述复杂度以及所述第一阿达玛成本是否满足第一设定条件；以及判断所述当前视频编码块的第一最优运动向量与所述第一最优预测运行向量的运动向量差分是否为零；第一最佳运动向量确定模块，用于若所述第一判断模块的判断结果均为是，则分别将与各参考图像匹配的最优预测运动向量确定为所述当前视频编码块针对所述各参考图像的最佳运动向量；其中，所述各参考图像为所述当前视频编码对应的参考图像。

优选地，所述装置还包括：第二最佳运动向量确定模块，用于若不满足第一设定条件和/或运动向量差分不为零时，则按照设定规则分别对所述当前视频编码块对应的前向参考列以及后向参考列中的参考图像块进行运动估计，以确定所述当前视频编码块的最佳运动向量。

优选地，所述第二最佳运动向量确定模块包括：选择子模块，用于选择所述前向参考列中的第一个参考图像，确定所述第一个参考图像对应的预测运动向量，并对所述第一个参考图像执行运动向量估计，得到第二最优运动向量和所述第二最优运动向量指向的最佳运动补偿块；将所述第一个参考图像对应的预测运动向量中最接近所述第二最优运动向量的运动向量作为与所述第一个参考图像匹配的最优预测运动向量；确定子模块，用于计算所述当前视频编码块与所述第一个参考图像的匹配残差的第二阿达玛成本；判断子模块，用于判断所述当前编码块的复杂度以及所述第二阿达玛成本是否满足第二设定条件；以及判断所述当前视频编码块的第二最优运动向量与所述第一个参考图像匹配的最优预测运行向量的运动向量差分是否为零；最佳运动向量确定子模块，用于若所述判断子模块的判断结果均为是，则分别将与所述前向参考列中的各参考图像匹配的最优预测运动向量确定为所述当前视频编码块针对所述前向序列中、各参考图像的最佳运动向量。

优选地，所述复杂度计算模块包括：梯度绝对值计算子模块，用于分别计算所述当前视频编码块中相邻的两像素点对应像素值的梯度绝对值；梯度绝对值求和子模块，用于将计算得到的各梯度绝对值求和，以得到所述当前视频编码块的复杂度。

优选地，所述第一计算模块包括：匹配子模块，用于将所述当前视频编码块与所述第一参考图像中的各像素点进行匹配，以获得匹配后的图像块；划分子模块，用于将匹配后的图像块划分成多块子图像块；变换子模块，用于分别对各所述子图像块进行阿达玛变换得到相应地系数；求和子模块，用于将得到的全部系数的绝对值进行求和，得到所述第一阿达玛成本。

与现有技术相比，本发明包括以下优点：

本发明提供的运动向量估计方案，在对当前视频编码块进行运动向量估计时，从为其分配的参考图像中选择一个参考图像作为第一参考图像，并确定出第一最优预测运动向量。然后，计算当前视频编码块的复杂度，以及当前视频编码块与第一参考图像的匹配残差的阿达玛成本，判断复杂度以及阿达玛成本是否满足第一设定条件，并且判断当前编码块的第一最优运动向量是否与第一最优预测运动向量的运动向量差分为零，若是，分别将与各参考图像匹配的最优预测运动向量确定为当前视频编码块针对各参考图像的最佳运动向量，则无需再将对各参考图像进行运动估计。由于无需对各参考图像进行复杂度高、计算量大的运动估计，因此，能够大大的缩减运算的次数以及复杂度。可见，本发明实施例提供的运动向量估计方案，能够降低运动向量估计的复杂度，提高视频编码块的编码速度、减少视频编码器的处理负荷。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是一种HEVC的层次B编码的示意图；

图2是根据本发明实施例一的一种运动向量估计方法的步骤流程图；

图3是根据本发明实施例二的一种运动向量估计方法的步骤流程图；

图4是根据本发明实施例三的一种运动向量估计装置的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为了获得较高的压缩编码效率，HEVC可以采用层次B编码。参照图1所示的一种HEVC的层次B编码的示意图，在层次B编码中，HEVC主框架最多允许8层次。参照图1，时间轴以下数字是图像的显示时间，图像上的标记的数字是编码的顺序。

编码器以8个图像为一组进行编码，编码顺序和显示顺序(简称POC)并不相同。层次B编码根据预测距离进行分层，以分层进行编码。例如，首先编码POC＝0的图像，然后编码POC＝8的图像，预测距离是8，是图像层次中的第一层；然后编码POC＝4的图像，其中POC＝4从POC＝8和POC＝0预测，预测距离是4，是图像层次中的第二层；然后POC＝2从POC＝0及POC＝4预测，POC＝6从POC＝4及POC＝8预测，预测距离都是2，所以都是图像层次中的第三层；以此类推，POC＝1、3、5、7的图像预测距离都是1，所以都是图像层次中的第四层。

综上可知，图1的层次B编码中，第一组编码顺序依次是POC＝0、POC＝8、POC＝4、POC＝2、POC＝1、POC＝3、POC＝6、POC＝5、POC＝7的图像。这组编码完成后编码下一组8个图像，编码顺序依次是POC＝16、POC＝12、POC＝10、POC＝9、POC＝11、POC＝14、POC＝13、POC＝15，这组完成后再编码下一组8个图像。

对于每幅视频图像，编码器可以将其分割成CTU(CodingTreeUnit，编码树单元)，然后逐CTU进行编码。CTU大小由编码器决定，为了获得最高编码效率，一般设定CTU最大尺寸为64×64，其中，64×64即为长为64像素宽为63像素的视频图像块。编码器可以采用四叉树的形式将每一个CTU进一步划分为CU即视频编码块(CodingUnit，编码单元)。具体地，CU可以有64×64、32×32、16×16、8×8共4种大小，然后对CU选择帧内或帧间模式进行编码。

CU有两种编码模式，具体包括帧间编码模式、帧内编码模式其中，帧内编码模式中包含35种不同的预测模式，帧间编码模式则有7种分割块预测方式。编码器从所有这些可能的组合中选择率失真最优的一种模式对块进行编码，以获得最佳的压缩编码效率。

本发明中着重考虑采用帧间编码模式对视频编码块进行编码。对于帧间编码的视频编码块，一般有2个参考列，前向参考列(List0)和后向参考列(List1)，每个参考列可以有一个或多个参考视频图像，当有多个参考视频图像(即为当前视频编码块分配的待预测的图像)时，参考视频图像分别采用refidx0、refidx1标识。视频编码块有3种帧间预测方法，具体包括前向预测、后向预测和双向预测。

前向预测中，当前视频编码块从List0中选择一个视频图像记为refidxx(一般来说，编码器对每个视频图像进行运动向量估计，并选择匹配成本最小的视频图像)。然后选择一个运动向量(mv0)指向一个视频块作为当前视频编码块的预测视频图像块。

后向预测中，当前块从List1中选择一个视频图像记为refidxy，然后选择一个运动向量(mv1)指向一个视频图像块作为当前视频编码块的预测视频图像块。

双向预测中，编码器对List0和List1中所有视频图像进行运动估计，并从中选择最优的前向预测和后向预测，再对每个前向参考视频图像和后向参考视频图像的结合做双向运动向量估计，得到最佳的双向预测。具体地，当前块从List0中选择一个视频图像记为refidxx，然后选择一个运动向量(mv0)指向一个视频图像块blk0，再从List1中选择一个视频图像refidxy，然后选择一个运动向量(mv1)指向一个视频图像块blk1，blk0和blk1的加权平均作为当前视频编码块的预测视频图像块，该预测视频图像块对应的运动向量即运动向量估计所得到的当前编码块的最终运动向量。

最后编码器从三种预测方法中选择一种预测方法。

为了节省码率，码流中的运动向量通常采用差分编码。在HEVC中，对于任意一个List中的任意一个图像生成MVP(MotionVectorPredictor，预测运动向量)，编码器从相邻已编码块中选择2个MVP作为当前块MV(MotionVector，运动向量)预测的候选。假设当前视频编码块的左相邻视频图像块是(1，0)，上相邻视频图像块是(2，0)，那么编码器生成2个MVP则分别为(1，0)和(2，0)。最终的MVP从这2个MVP中选择。当前视频编码块的MV与MVP相减得到MVD(MotionVectorDifference，运动向量差分)，即MV-MVP＝MVD。最终的MVP的选择原则为：选择计算得到的MVD小的MVP。

从帧间编码的流程可以得知，运动向量估计即得到当前视频编码块的最终的运动向量的过程非常重要，只有确定了当前视频编码块的最终运动向量，才能够进一步地确定出写入码流中的信息，最终才能够完成当前视频图像块的编码。

下面以具体实例对视频编码块的运动向量估计方法进行说明。

实施例一

参照图2，示出了本发明实施例一的一种运动向量估计方法的步骤流程图。

本实施例的运动向量估计方法包括以下步骤：

步骤S102：计算当前视频编码块的复杂度。

需要说明的是，当前视频编码块的复杂度的计算可以参照任意相关技术实现，本实施例对此不作具体限制。

步骤S104：确定当前视频编码块的第一参考图像，以及当前视频编码块对应的、与第一参考图像匹配的第一最优预测运动向量。

其中，第一参考图像块可以是当前视频编码块对应的前向参考列中的某一参考图像，也可以是当前视频编码块对应的前向参考列中的某一参考图像。第一参考图像的选择，在具体实现过程中，可以由本领域技术人员根据实际需求进行设置，本实施例对此不作具体限制。

步骤S106：计算当前视频编码块与第一参考图像的匹配残差的第一阿达玛成本。

匹配残差的第一阿达玛成本可以参照相关技术进行计算，本实施例对此不作具体限制。

步骤S108：判断复杂度以及第一阿达玛成本是否满足第一设定条件；以及判断当前视频编码块的第一最优运动向量与第一最优预测运行向量的运动向量差分是否为零；若判断结果均为是，则执行步骤S104，若至少有一个判断结果为否，则执行设定操作。

其中，第一设定条件可以设定为：复杂度×设定系数+第一阿达玛成本的和，小于适当视频编码块的面积与当前视频编码块所处的图像层对应的固定阈值的乘积。

而当前视频编码块的第一最优运动向量与第一最优预测运动向量的运动向量差分即MVD为当前运动向量与第一最优预测运动向量的差值。

其中，设定操作可以为执行现有的运动向量估计方法，也可以设置为按照设定规则对当前视频编码块对应的前向参考列、以及后向参考列中的参考图像进行筛选。

步骤S110：若判断结果均为是，则分别将与各参考图像匹配的最优预测运动向量确定为当前视频编码块针对各参考图像的最佳运动向量。

当同时满足第一设定条件、以及MVD等于零的条件时，无需再对参考图像的其他的参考索引进行运动估计过程，也即，针对各参考图像无需再进行计算复杂度高、计算量大的运动估计，而是直接将其匹配的针对当前视频编码块的最优预测运动向量确定为相最佳运动向量。

例如：当前视频编码块的参考图像为A、B、C和D，参考图像A对应的预测向量为1、2，且1为最优预测运动向量；参考图像B对应的预测向量为3、4，且4为最优预测运动向量；参考图像C对应的预测向量为5、6，且5为最优预测运动向量；参考图像DA对应的预测向量为7、8，且7为最优预测运动向量。假设参考图像为A为第一参考图像，且A满足步骤S108中的条件，那么，在确定各参考图像的最佳运动向量时，则无需再对A、B、C和D进行复杂的运动估计，而是直接将1作为参考图像A针对当前视频编码块的最佳运动向量，直接将4作为参考图像B针对当前视频编码块的最佳运动向量，直接将5作为参考图像C针对当前视频编码块的最佳运动向量，直接将7作为参考图像D针对当前视频编码块的最佳运动向量。

在确定完各参考图像对应的最佳运动向量后，可以参见相关技术对这些最佳运动向量进行选择，确定当前视频编码块的最终运动向量。

在确定当前视频编码块的最终运动向量后，编码器将MVP选择信息和MVD写入码流中。这样解码器就能够根据解码出来的MVP选择信息以及从码流中解码出的MVD确定将当前视频编码块与实际的预测视频图像块进行关联。

需要说明的是，本发明实施例中仅是对一个视频编码块的运动向量估计的处理，在具体实现过程中，各视频编码块的运动向量估计的处理过程相同，因此，参照本发明实施例中的相应处理方法即可，在此不再赘述。

通过本发明实施例提供的运动向量估计方法，在对当前视频编码块进行运动向量估计时，从为其分配的参考图像中选择一个参考图像作为第一参考图像，并确定出第一最优预测运动向量。然后，计算当前视频编码块的复杂度，以及当前视频编码块与第一参考图像的匹配残差的阿达玛成本，判断复杂度以及阿达玛成本是否满足第一设定条件，并且判断当前视频编码块的第一最优运动向量是否与第一最优预测运动向量的运动向量差分为零，若是，则确定第一预测运动向量即为当前编码块的最佳运动向量，并且，分别将与各参考图像匹配的最优预测运动向量确定为当前视频编码块针对各参考图像的最佳运动向量，则无需再将对各参考图像进行运动估计。由于无需对各参考图像进行复杂度高、计算量大的运动估计，因此，能够大大的缩减运算的次数以及复杂度。因此，本发明实施例提供的运动向量估计方法，能够降低运动向量估计的复杂度，提高视频编码块的编码速度、减少视频编码器的处理负荷。

实施例二

参照图3，示出了本发明实施例二的一种运动向量估计方法的步骤流程图。

需要说明的是，本发明实施例中是以对一个大小为M×N像素的视频编码块的运动向量估计为例进行的说明，在具体实现过程中，待处理的视频中的各视频编码块的运动向量的估计均可参照该方案进行处理。本发明实施例的运动向量估计方法具体包括以下步骤：

步骤S202：视频编码器计算当前视频编码块的复杂度。

一种优选的计算当前视频编码块的复杂度方式为：分别计算当前视频编码块中相邻的两像素点对应像素值的梯度绝对值，将计算得到的各梯度绝对值求和，以得到当前视频编码块的复杂度。

具体可以通过下述公式计算当前视频编码块的复杂度：

$grad=\underset{i,j\∈\mathrm{\Ω}}{\Σ}abs(I_{i,j}-I_{i,+1,j})+abs(I_{i,j}-I_{i,j+1});$

其中，grad为复杂度，I_i,j表示坐标为(i，j)处像素度，abs是绝对值操作，Ω是M×N像素大小的视频编码块中所有容许的坐标值的集。

步骤S204：视频编码器确定当前视频编码块的第一参考图像，以及当前视频编码块对应的、与第一参考图像匹配的第一最优预测运动向量。

针对于当前视频编码块，为其对应的每个参考图像都设置有两个预测运动向量，这两个预测的运动向量中，存在一个最优的预测运动向量。本步骤中，主要是确定这两个预测运动向量，然后，从这两个预测运动向量中选择一个最优的。

对于选择最优的预测运动向量的方式，可以采用相关技术实现。例如：将当前视频编码块的MV(即运动向量)与MVP(预测运动向量)相减得到MVD，即MV-MVP＝MVD。分别计算两个MVP对应的MVD，将小的MVD对应的MVP确定为最优预测运动向量，即第一最优预测运动向量。需要说明的是，当前视频编码块的MV即第一最优运动向量是通过对当前视频编码块与第一参考图像块进行运动估计得到的。

步骤S206：视频编码器计算当前视频编码块与第一参考图像块的匹配残差的第一阿达玛成本。

一种优选的计算当前视频编码块与第一参考图像块的匹配残差的第一阿达玛成本的方式如下：

S1：将当前视频编码块与第一参考图像中的各像素点进行匹配，以获得匹配后的图像块。

其中，进行匹配时将当前视频编码块中的各像素点对应的像素值，与第一参考图像中的各像素点对应的像素值作差，这个，各像素点即可对应新的像素值，生成匹配后的图像块。

S2：将匹配后的图像块划分成多块子图像块。

对于子图像块的划分，可以依据匹配后的图像块的大小来确定。例如：可以划分成4×4像素大小的块，也可以划分成8×8像素大小的块。

S3：分别对各子图像块进行阿达玛变换得到相应地系数。

具体地，对子图像块进行阿达玛变换得到系数时，如果子图像块是4×4像素大小的块，则进行4×4阿达玛变换；如果子图像块是8×8像素大小的块则进行8×8阿达玛变换。

具体变换方式，可以参见相关技术，本实施例中对此不作具体限制。

S4：将得到的全部系数的绝对值进行求和，得到第一阿达玛成本。

步骤S208：视频编码器判断复杂度以及第一阿达玛成本是否满足第一设定条件，以及判断当前视频编码块的第一最优运动向量与第一最优预测运行向量的运动向量差分是否为零；当判断结果均为是时，则执行步骤S210，当判断结果为至少某一个结果为否时，则执行步骤S212。

其中，第一设定条件通过以下公式表示：

grad×A+HADx＜M×N×thx；

其中，grad为复杂度，HADx为第一阿达玛成本，M为当前视频编码块的横坐标像素值，所述N为当前视频编码块的纵坐标像素值，thx为当前视频编码块所处的图像层对应的固定阈值，A为第一系数。

优选地，A可以是任意适当的值，优选地，将A设定成11。

需要说明的是，计算当前视频编码块的第一最优运动向量与第一最优预测运行向量的运动向量差分的过程即ME(Motionestimation，运动估计)计算。

步骤S210：若判断结果均为是，视频编码器则分别将与各参考图像匹配的最优预测运动向量确定为当前视频编码块针对各参考图像的最佳运动向量。

判断结果均为是指示：复杂度以及第一阿达玛成本满足第一设定条件，并且，当前视频编码块的运动向量与第一最优预测运行向量的运动向量差分为零。

无需再对参考图像的其他的参考索引进行运动估计过程，也即，针对各参考图像无需再进行计算复杂度高、计算量大的运动估计，而是直接将其匹配的针对当前视频编码块的最优预测运动向量确定为相最佳运动向量。然后，再从确定的多个最佳运动向量中确定出当前视频编码块的最终运动向量。

步骤S212：若不满足第一设定条件和/或运动向量差分不为零，视频编码器按照设定规则对当前编码块对应的前向参考列中的参考图像块进行运动估计。

下述步骤中，由于选择的第一参考图像不能满足条件，则需要再进行进一步地筛选。那么，此时则需要分别对当前编码块对应的前向参考列中的参考图像块继续排除，确定前向参考列中的最优预测向量。对当前编码块对应的后向参考列中的参考图像块继续排除，确定后向参考列中的最优预测向量，然后，依据这两个最优预测向量进行相关处理，得到当前视频图像块的最终运动向量。

本步骤中，对从前向参考列中的参考图像进行运动估计确定前向参考列中的最优预测向量的具体过程进行了说明。

一种优选的按照设定规则对当前编码块对应的前向参考列中的参考图像块进行运动估计的方式为：

S1：选择前向参考列中的第一个参考图像，将第一个块参考图像作为当前视频编码块的参考图像。

需要说明的是，在具体实现过程中，也可以选择第二个、或者其他参考图像作为参考图像块。

S2：确定第一个参考图像对应的预测运动向量，并对第一个参考图像执行运动估计，得到第二最优运动向量和第二最优运动向量指向的最佳运动补偿块。

S3：将第一个参考图像对应的预测运动向量中最接近第二最优运动向量的运动向量作为与第一个参考图像匹配的最优预测运动向量。

S3：计算当前视频编码块与第一个参考图像的匹配残差的第二阿达玛成本。

相应地，对于第二阿达玛成本的计算，与步骤S206中第一阿达玛成本的计算原理相同，具体计算方式参见步骤S206中的相关说明即可，本实施例中对此不再赘述。

S4：判断当前视频编码块的复杂度以及第二阿达玛成本是否满足第二设定条件；以及判断当前视频编码块的第二最优运动向量与第一个参考图像匹配的最优预测运行向量的运动向量差分是否为零。

优选地，第二设定条件可以通过以下公式表示：

grad×B+HADy＜M×N×thy；

其中，grad为复杂度，HADy为第二阿达玛成本，M为当前视频编码块的横坐标像素值，所述N为当前视频编码块的纵坐标像素值，thy为当前视频编码块所处的图像层对应的固定阈值，B为第二系数。

B的具体值可以由本领域技术人员根据实际需求进行设置，优选地，将该值设置为5。

S5：若判断结果均为是，则分别将与前向参考列中的各参考图像匹配的最优预测运动向量确定为当前视频编码块针对前向序列中、各参考图像的最佳运动向量。

在步骤S212中，在确定前向参考列中的各参考图像针对当前视频编码块的最佳运动向量时，仅对一个参考图像进行了运动估计，相较于现有的运动向量估计方式需要对前向参考列中的每个参考图像块进行估计，大大缩减了计算的次数以及复杂度。

步骤S214：若不满足第一设定条件和/或运动差分不为零，视频编码器按照设定规则对当前编码块对应的前向参考列中的参考图像块进行运动估计。

具体地，对后向参考列中的参考图像块进行运动估计的方法，与步骤S212中对前向参考列中的参考图像块进行运动估计的方法原理相同，在具体实现过程中，参照步骤S212中的相关说明即可，本实施例中对此不再赘述。

需要说明的是，步骤S212以及步骤S214在具体实现过程中，并无先后顺序之分，二者还可以并行执行。

在具体编码过程中，视频编码系统对当前视频编码块对应的每个参考图像都会产生2个预测运动向量，然后对于每个参考图像，系统也会算出一个最佳运动向量，系统从这些最佳中再继续选出当前视频编码块最终的运动向量。针对每个参考图像确定最佳运动向量的计算过程就是运动估计，运动估计过程非常复杂，现有的技术中因需要针对每个参考图像进行运动估计，因此，计算量庞大、且计算复杂度高。本发明实施中提供的方法，就是要旁路这个过程。下面以以具体实例对本发明的确定各参考图像的最佳运动向量的方法进行说明：例如：当前视频编码块是blk，它有2个前向参考图像reff0，reff1，2个后向参考图像refb0，refb1。对与当前视频编码块，系统对每个参考图像产生2个预测，如对于reff0是mv-rf0-1和mv-rf0-0；对于reff1是mv-rf1-1和mv-rf1-0；对于refb0是mv-rb0-1和mv-rb0-0；对于refb1是mv-rb1-1和mv-rb1-0。然后系统对reff0执行运动估计，得到最佳运动向量mvbest-rf0，它可能和mv-rf0-1或mv-rf0-0相同，即mvd＝0。对于其他参考图像系统也是执行一样的过程。本算法在于旁路运动估计过程本身，如对于reff0运动估计结束后满足第一设定条件，那么对于所有剩余的参考图像，reff1和2个后向参考图像refb0，refb1不再执行运动估计，而只从它的2个相应的预测中选出一个匹配误差更小的作为最佳运动向量。如果对refb0运动估计结束后，如果满足第二设定条件，那么refb1不再执行运动估计，而从mv-rb1-1和mv-rb1-0中选出一个作为最佳运动向量。

本发明实施例中，对于一个视频编码块，当参考索引0即第一参考图像的运动估计结束后，如果满足设定条件(即既满足第一设定条件又满足运动向量差分为零)，那么不再对其他参考索引(即其他参考图像块)执行实际的运动估计过程，而只把参考索引0对应的最优预测向量作为最佳运动向量。

通过本发明实施例提供的运动向量估计方法，在对当前视频编码块进行运动向量估计时，从为其分配的参考图像中选择一个参考图像作为第一参考图像，并确定出第一最优预测运动向量。然后，计算当前视频编码块的复杂度，以及当前视频编码块与第一参考图像块的匹配残差的阿达玛成本，判断复杂度以及阿达玛成本是否满足第一设定条件，并且判断当前编码块的第一最优运动向量是否与第一最优预测运动向量的运动向量差分为零，若是，则确定第一预测运动向量即为当前编码块的最佳运动向量，则无需再将当前视频编码块与其他待参考图像块进行计算。可见，本发明实施提供的运动向量估计方法，仅需将当前视频编码块与一个参考图像块进行运动估计即可，相较于现有的运动向量估计方法，需要对每个参考图像进行运动估计，大大的缩减了运算的次数以及复杂度。因此，本发明实施例提供的运动向量估计方法，能够降低运动向量估计的复杂度，提高视频编码块的编码速度、减少视频编码器的处理负荷。

实施例三

参照图4，示出了本发明实施例三的一种运动向量估计装置。

本发明实施例的运动向量估计装置可以应用于视频编码器中，该装置包括：复杂度计算模块402，用于计算当前视频编码块的复杂度；确定模块404，用于确定所述当前视频编码块的第一参考图像，以及所述当前视频编码块对应的、与所述第一参考图像匹配的第一最优预测运动向量；第一计算模块406，用于计算所述当前视频编码块与所述第一参考图像的匹配残差的第一阿达玛成本；第一判断模块408，用于判断所述复杂度以及所述第一阿达玛成本是否满足第一设定条件；以及判断所述当前视频编码块的第一最优运动向量与所述第一最优预测运行向量的运动向量差分是否为零；第一最佳运动向量确定模块410，用于若所述第一判断模块的判断结果均为是，则分别将与各参考图像匹配的最优预测运动向量确定为所述当前视频编码块针对所述各参考图像的最佳运动向量；其中，所述各参考图像为所述当前视频编码对应的参考图像。

优选地，所述装置还包括：第二最佳运动向量确定模块412，用于若不满足第一设定条件和/或运动向量差分不为零时，则按照设定规则分别对所述当前视频编码块对应的前向参考列以及后向参考列中的参考图像块进行运动估计，以确定所述当前视频编码块的最佳运动向量。

优选地，所述第二最佳运动向量确定模块412包括：选择子模块4122，用于选择所述前向参考列中的第一个参考图像，确定所述第一个参考图像对应的预测运动向量，并对所述第一个参考图像执行运动向量估计，得到第二最优运动向量和所述最佳运动向量指向的最佳运动补偿块；将所述第一个参考图像对应的预测运动向量中最接近所述第二最优运动向量的运动向量作为与所述第一个参考图像匹配的最优预测运动向量；确定子模块4124，用于计算所述当前视频编码块与所述第一个参考图像的匹配残差的第二阿达玛成本；判断子模块4126，用于判断所述当前编码块的复杂度以及所述第二阿达玛成本是否满足第二设定条件；以及判断所述当前视频编码块的第二最优运动向量与所述第一个参考图像匹配的最优预测运行向量的运动向量差分是否为零；最佳运动向量确定子模块4128，用于若所述判断子模块的判断结果均为是，则分别将与所述前向参考列中的各参考图像匹配的最优预测运动向量确定为所述当前视频编码块针对所述前向序列中、各参考图像的最佳运动向量。

优选地，所述复杂度计算模块402包括：梯度绝对值计算子模块4022，用于分别计算所述当前视频编码块中相邻的两像素点对应像素值的梯度绝对值；梯度绝对值求和子模块4024，用于将计算得到的各梯度绝对值求和，以得到所述当前视频编码块的复杂度。

优选地，所述第一计算模块406包括：匹配子模块4062，用于将所述当前视频编码块与所述第一参考图像中的各像素点进行匹配，以获得匹配后的图像块；划分子模块6064，用于将匹配后的图像块划分成多块子图像块；变换子模块4066，用于分别对各所述子图像块进行阿达玛变换得到相应地系数；求和子模块4068，用于将得到的全部系数的绝对值进行求和，得到所述第一阿达玛成本。

优选地，所述第一设定条件通过以下公式表示：grad×A+HADx＜M×N×thx；其中，所述grad为复杂度，所述HADx为第一阿达玛成本，所述M为当前视频编码块的横坐标像素值，所述N为当前视频编码块的纵坐标像素值，所述thx为当前视频编码块所处的图像层对应的固定阈值，A为第一系数。

优选地，所述第二设定条件通过以下公式表示：grad×B+HADy＜M×N×thy；其中，所述grad为复杂度，所述HADy为第二阿达玛成本，所述M为当前视频编码块的横坐标像素值，所述N为当前视频编码块的纵坐标像素值，所述thy为当前视频编码块所处的图像层对应的固定阈值，B为第二系数。

本实施例的运动向量估计装置用于实现前述实施例一、二中相应的运动向量估计方法，并具有与方法实施例相应的有益效果，在此不再赘述。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在此提供的运动向量估计方案不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的子像素运动向量方案中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (12)

1.一种运动向量估计方法，其特征在于，包括：

计算当前视频编码块的复杂度；

确定所述当前视频编码块的第一参考图像，以及所述当前视频编码块对应的、与所述第一参考图像匹配的第一最优预测运动向量；

计算所述当前视频编码块与所述第一参考图像块的匹配残差的第一阿达玛成本；

判断所述复杂度以及所述第一阿达玛成本是否满足第一设定条件；以及判断所述当前视频编码块的第一最优运动向量与所述第一最优预测运行向量的运动向量差分是否为零；

若判断结果均为是，则分别将与各参考图像匹配的最优预测运动向量确定为所述当前视频编码块针对所述各参考图像的最佳运动向量；其中，所述各参考图像为所述当前视频编码对应的参考图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若不满足第一设定条件和/或运动向量差分不为零，则按照设定规则分别对所述当前视频编码块对应的前向参考列以及后向参考列中的参考图像进行运动估计，以确定所述当前视频编码块的最佳运动向量。

3.根据权利要求2所述的方法，其特征在于，按照设定规则对所述当前编码块对应的前向参考列中的参考图像运动估计进行排除的步骤包括：

选择所述前向参考列中的第一个参考图像，确定所述第一个参考图像对应的预测运动向量，并对所述第一个参考图像执行运动估计，得到第二最优运动向量和所述第二最优运动向量指向的最佳运动补偿块；将所述第一个参考图像对应的预测运动向量中最接近所述第二最优运动向量的运动向量作为与所述第一个参考图像匹配的最优预测运动向量；

计算所述当前视频编码块与所述第一个参考图像的匹配残差的第二阿达玛成本；

判断所述当前视频编码块的复杂度以及所述第二阿达玛成本是否满足第二设定条件；以及判断所述当前视频编码块的第二最优运动向量与所述第一个参考图像匹配的最优预测运行向量的运动向量差分是否为零；

若判断结果均为是，则分别将与所述前向参考列中的各参考图像匹配的最优预测运动向量确定为所述当前视频编码块针对所述前向序列中、各参考图像的最佳运动向量。

4.根据权利要求1所述的方法，其特征在于，所述计算当前视频编码块的复杂度的步骤包括：

分别计算所述当前视频编码块中相邻的两像素点对应像素值的梯度绝对值；

将计算得到的各梯度绝对值求和，以得到所述当前视频编码块的复杂度。

5.根据权利要求1或2所述的方法，其特征在于，所述计算所述当前视频编码块与所述第一参考图像的匹配残差的第一阿达玛成本的步骤包括：

将所述当前视频编码块与所述第一参考图像中的各像素点进行匹配，以获得匹配后的图像块；将匹配后的图像块划分成多块子图像块；

分别对各所述子图像块进行阿达玛变换得到相应地系数；

将得到的全部系数的绝对值进行求和，得到所述第一阿达玛成本。

6.根据权利要求5所述的方法，其特征在于，所述第一设定条件通过以下公式表示：

grad×A+HADx＜M×N×thx；

其中，所述grad为复杂度，所述HADx为第一阿达玛成本，所述M为当前视频编码块的横坐标像素值，所述N为当前视频编码块的纵坐标像素值，所述thx为当前视频编码块所处的图像层对应的固定阈值，A为第一系数。

7.根据要求3所述的方法，其特征在于，所述第二设定条件通过以下公式表示：

grad×B+HADy＜M×N×thy；

其中，所述grad为复杂度，所述HADy为第二阿达玛成本，所述M为当前视频编码块的横坐标像素值，所述N为当前视频编码块的纵坐标像素值，所述thy为当前视频编码块所处的图像层对应的固定阈值，B为第二系数。

8.一种运动向量估计装置，其特征在于，包括：

复杂度计算模块，用于计算当前视频编码块的复杂度；

确定模块，用于确定所述当前视频编码块的第一参考图像，以及所述当前视频编码块对应的、与所述第一参考图像匹配的第一最优预测运动向量；

第一计算模块，用于计算所述当前视频编码块与所述第一参考图像的匹配残差的第一阿达玛成本；

第一判断模块，用于判断所述复杂度以及所述第一阿达玛成本是否满足第一设定条件；以及判断所述当前视频编码块的第一最优运动向量与所述第一最优预测运行向量的运动向量差分是否为零；

第一最佳运动向量确定模块，用于若所述第一判断模块的判断结果均为是，则分别将与各参考图像匹配的最优预测运动向量确定为所述当前视频编码块针对所述各参考图像的最佳运动向量；其中，所述各参考图像为所述当前视频编码对应的参考图像。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

第二最佳运动向量确定模块，用于若不满足第一设定条件和/或运动向量差分不为零时，则按照设定规则分别对所述当前视频编码块对应的前向参考列以及后向参考列中的参考图像块进行运动估计，以确定所述当前视频编码块的最佳运动向量。

10.根据权利要求9所述的装置，其特征在于，所述第二最佳运动向量确定模块包括：

选择子模块，用于选择所述前向参考列中的第一个参考图像，确定所述第一个参考图像对应的预测运动向量，并对所述第一个参考图像执行运动向量估计，得到第二最优运动向量和所述第二最优运动向量指向的最佳运动补偿块；将所述第一个参考图像对应的预测运动向量中最接近所述第二最优运动向量的运动向量作为与所述第一个参考图像匹配的最优预测运动向量；

确定子模块，用于计算所述当前视频编码块与所述第一个参考图像的匹配残差的第二阿达玛成本；

判断子模块，用于判断所述当前编码块的复杂度以及所述第二阿达玛成本是否满足第二设定条件；以及判断所述当前视频编码块的第二最优运动向量与所述第一个参考图像匹配的最优预测运行向量的运动向量差分是否为零；

最佳运动向量确定子模块，用于若所述判断子模块的判断结果均为是，则分别将与所述前向参考列中的各参考图像匹配的最优预测运动向量确定为所述当前视频编码块针对所述前向序列中、各参考图像的最佳运动向量。

11.根据权利要求10所述的装置，其特征在于，所述复杂度计算模块包括：

梯度绝对值计算子模块，用于分别计算所述当前视频编码块中相邻的两像素点对应像素值的梯度绝对值；

梯度绝对值求和子模块，用于将计算得到的各梯度绝对值求和，以得到所述当前视频编码块的复杂度。

12.根据权利要求8或9所述的装置，其特征在于，所述第一计算模块包括：

匹配子模块，用于将所述当前视频编码块与所述第一参考图像中的各像素点进行匹配，以获得匹配后的图像块；

划分子模块，用于将匹配后的图像块划分成多块子图像块；

变换子模块，用于分别对各所述子图像块进行阿达玛变换得到相应地系数；

求和子模块，用于将得到的全部系数的绝对值进行求和，得到所述第一阿达玛成本。