CN113365081B - 视频编码中运动估计优化方法与装置 - Google Patents

Abstract

本申请涉及一种视频编码中运动估计优化方法、装置、计算机设备和存储介质，其中，方法包括：获取当前宏块对应的预测运动矢量集，根据该预测运动矢量集进行复合式模板搜索，经过多轮搜索查找到初始最佳MBD点，比较初始最佳MBD点对应的运动矢量与上一帧的运动矢量均值，基于比较结果选择性进行多层次运动搜索，得到最佳MBD点，以该最佳MBD点进行视频编码中运动补偿。整个过程中，将经过复合式模板搜索得到的初始最佳MBD点与上一帧的运动矢量均值进行比较，基于比较结果选择性进行多层次运动搜索，减少搜索点数，提高搜索效率并且兼顾编码质量，从而可以高效实现视频编码中运动估计。

Description

视频编码中运动估计优化方法与装置

技术领域

本申请涉及图像处理技术领域，特别是涉及一种视频编码中运动估计优化方法、装置、计算机设备和存储介质。

背景技术

在视频或图像处理的技术领域，运动估计是视频编码技术最为关键的部分，其算法的优劣直接影响编码速度、质量和码率。但其运算复杂度也是整个系统中最高的，其编码时间占整个编码过程的60％～80％。因此提高运动估计算法的效率就显得尤为重要。

传统技术中有采用穷尽搜索法的，穷尽搜索法具体是通过对搜索窗内的每一点都用匹配准则进行计算，可以找到全局最优代价点，但该法计算量大，占据大量编码时间，不适合对实时性要求较高的视频传输单元。

另外，为了兼顾编码效率跟编码质量，现有技术中许多快速搜索算法被提出，如三步搜索法，二维对数搜索法，六边形搜索法，菱形搜索法等，这些方法只能得到次最佳的匹配结果，与穷尽搜索算法相比可以减小80％运算量，但是其同样存在运动估计优化效率低的缺陷。

发明内容

基于此，有必要针对上述技术问题，提供一种高效的视频编码中运动估计优化方法、装置、计算机设备和存储介质。

一种视频编码中运动估计优化方法，方法包括：

获取当前宏块对应的预测运动矢量集；

根据预测运动矢量集进行复合式模板搜索，得到初始最佳MBD(最小误差点)点；

比较初始最佳MBD点对应的运动矢量与上一帧的运动矢量均值，得到比较结果；

根据比较结果进行多层次运动搜索，得到最佳MBD点；

根据最佳MBD点进行视频编码中运动补偿。

在其中一个实施例中，获取当前宏块对应的预测运动矢量集包括：

确定当前宏块对应宏块相邻的已知宏块，已知宏块为运动矢量已知的宏块；

获取已知宏块的运动矢量均值以及当前宏块的原点；

组合已知宏块的运动矢量、运动矢量均值以及当前宏块的原点，构成预测运动矢量集。

在其中一个实施例中，根据预测运动矢量集进行复合式模板搜索，得到初始最佳MBD点包括：

对预测运动矢量集各个点进行率失真代价计算，查找率失真代价计算结果最小对应的点作为初始预测起始点；

以初始预测起始点作为起点依次进行多种类型的复合式模板搜索，得到初始最佳MBD点。

在其中一个实施例中，以初始预测起始点作为起点依次进行多种类型的复合式模板搜索，得到初始最佳MBD点包括：

以初始预测起始点作为起点，在预设搜索方式集合中不重复逐一选取当前搜索方式进行搜索，预设搜索方式集合依次包括小菱形搜索、中菱形搜索以及十字对称与正八边形搜索；

对搜索到的点进行率失真代价计算，查找率失真代价计算结果最小对应的点，得到搜索目标点；

当搜索目标点不符合预设宏块设置阈值要求时，将搜索目标点更新为初始预测起点；

返回以初始预测起始点作为起点，在预设搜索方式集合中不重复逐一选取当前搜索方式进行搜索的步骤，直至完成十字对称与正八边形搜索；

根据十字对称与正八边形搜索对应的搜索目标点，依次进行非对称十字搜索以及螺旋逐步搜索；

获取螺旋逐步搜索对应的搜索目标点，得到初始最佳MBD点。

在其中一个实施例中，上述视频编码中运动估计优化方法还包括：

当搜索目标点符合预设宏块设置阈值要求时，将符合预设宏块设置阈值要求的搜索目标点作为最佳MBD点。

在其中一个实施例中，根据比较结果进行多层次运动搜索，得到最佳MBD点包括：

若初始最佳MBD点对应的运动矢量大于上一帧的运动矢量均值，则根据初始最佳MBD点进行第一层次大六边形搜索，以更新初始最佳MBD点；

根据最新的初始最佳MBD点，依次进行六边形搜索以及小菱形搜索，得到最佳MBD点，其中，第一层次的层次数大于第二层次的层次数。

在其中一个实施例中，上述视频编码中运动估计优化方法还包括：

若初始最佳MBD点对应的运动矢量不大于上一帧的运动矢量均值，则判断初始最佳MBD点对应的运动矢量是否等于最佳预测起始点经过小菱形搜索得出的最优代价点的运动矢量；

若不等于，则根据初始最佳MBD点进行第二层次大六边形搜索，以更新初始最佳MBD点；

若等于，则进入根据最新的初始最佳MBD点，依次进行六边形搜索以及小菱形搜索，得到最佳MBD点的步骤，其中，第一层次的层次数大于第二层次的层次数。

一种视频编码中运动估计优化装置，装置包括：

预测模块，用于获取当前宏块对应的预测运动矢量集；

初始搜索模块，用于根据预测运动矢量集进行复合式模板搜索，得到初始最佳MBD点；

比较模块，用于比较初始最佳MBD点对应的运动矢量与上一帧的运动矢量均值，得到比较结果；

目标搜索模块，用于根据比较结果进行多层次运动搜索，得到最佳MBD点；

运动补偿模块，用于根据最佳MBD点进行视频编码中运动补偿。

一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：

获取当前宏块对应的预测运动矢量集；

根据预测运动矢量集进行复合式模板搜索，得到初始最佳MBD点；

比较初始最佳MBD点对应的运动矢量与上一帧的运动矢量均值，得到比较结果；

根据比较结果进行多层次运动搜索，得到最佳MBD点；

根据最佳MBD点进行视频编码中运动补偿。

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取当前宏块对应的预测运动矢量集；

根据预测运动矢量集进行复合式模板搜索，得到初始最佳MBD点；

比较初始最佳MBD点对应的运动矢量与上一帧的运动矢量均值，得到比较结果；

根据比较结果进行多层次运动搜索，得到最佳MBD点；

根据最佳MBD点进行视频编码中运动补偿。

上述视频编码中运动估计优化方法、装置、计算机设备和存储介质，获取当前宏块对应的预测运动矢量集，根据该预测运动矢量集进行复合式模板搜索，经过多轮搜索查找到初始最佳MBD点，比较初始最佳MBD点对应的运动矢量与上一帧的运动矢量均值，基于比较结果选择性进行多层次运动搜索，得到最佳MBD点，以该最佳MBD点进行视频编码中运动补偿。整个过程中，将经过复合式模板搜索得到的初始最佳MBD点与上一帧的运动矢量均值进行比较，基于比较结果选择性进行多层次运动搜索，减少搜索点数，提高搜索效率并且兼顾编码质量，从而可以高效实现视频编码中运动估计。

附图说明

图1为一个实施例中视频编码中运动估计优化方法的应用环境图；

图2为一个实施例中视频编码中运动估计优化方法的流程示意图；

图3为常规复合式模板搜索示意图；

图4为小菱形搜索示意图；

图5为另一个实施例中视频编码中运动估计优化方法的流程示意图；

图6为一个实施例中S240的子流程示意图；

图7为一个实施例中S400的子流程示意图；

图8为一个应用实例中视频编码中运动估计优化方法的流程示意图

图9为一个实施例中视频编码中运动估计优化装置的结构框图；

图10为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的视频编码中运动估计优化方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102将视频上传至服务器102，服务器102进行视频编码，获取当前宏块对应的预测运动矢量集，根据该预测运动矢量集进行复合式模板搜索，经过多轮搜索查找到初始最佳MBD点，比较初始最佳MBD点对应的运动矢量与上一帧的运动矢量均值，基于比较结果选择性进行多层次运动搜索，得到最佳MBD点，以该最佳MBD点进行视频编码中运动补偿。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。非必要的，本申请视频编码中运动估计优化方法还可以直接应用于终端，由终端直接对视频进行视频编码，在这个过程中应用本申请视频编码中运动估计优化方法得到准确的运动估计结果，提高编码效率并且兼顾编码质量。

在一个实施例中，如图2所示，提供了一种视频编码中运动估计优化方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：

S100：获取当前宏块对应的预测运动矢量集。

根据预测起始搜索点，形成多维度预测运动矢量集，在预测运动矢量集中主要包括中值预测、上层块预测、前帧对应块预测、相邻当前宏块预测以及(0，0)预测。具体来说，对当前宏块对应的宏块(块)进行运动预测，以当前宏块周围运动量已知的宏块来预测当前宏块的运动矢量，形成预测运动矢量集，在该预测运动矢量集中主要包括当前宏块的前一宏块(左边宏块)运动矢量、上层宏块运动矢量、右上角宏块运动矢量、上述这三个运动矢量的均值以及当前宏块原点。

S200：根据预测运动矢量集进行复合式模板搜索，得到初始最佳MBD点。

以预测运动矢量集中的运动矢量作为搜索起始点开始进行复合式模板搜索，搜索寻找初始最佳MBD点。具体来说，复合式模板搜索包括常规的复合式模板搜索主要包括小菱形搜索、中菱型搜索、十字对称搜索与正八边形搜索、非对称十字型搜索、5X5(或3X3)螺旋逐步搜索。其具体对应的搜索点图形具体可以参见图3。在实际应用中，对当前块进行运动矢量预测，在起始由预测运动矢量构成的起始搜索点集合中根据率失真代价寻找到最优预测起始点，再以最优预测起始点依次进行小菱形搜索、中菱型搜索、十字对称搜索与正八边形搜索、非对称十字型搜索、5X5(或3X3)螺旋逐步搜索，在每次搜索过程中都对搜索到的点采用率失真代价计算寻找到搜索目标点，将最佳搜索目标点更新为下一轮搜索的起始点(中心)，以此循环搜索直至完成复合式模板搜索所有搜索方式的搜索得到最终的初始最佳MBD点。

具体来说，从预测起始搜索点合集中，通过代价计算找到最佳预测起始点。基于Lagrangian的率失真优化技术实现对视频编码的控制，在{mode(模式)，MV(运动矢量)，REF(参考帧)，Direction(方向)}的组合中做出最佳选择。率失真优化的关键就是不断计算每种组合的Lagrangian编码代价，然后选出编码代价最小的一种组合。Lagrangian编码代价定义如下：J(M，λ)＝SAD+λ×R(MV-PMV)，其中，J(M，λ)为Lagrangian编码代价；SAD为差值块的系数的绝对值之和(差值块由当前块和候选块对应像素值的差值构成，)；λ为Lagrangian常数；MV为当前块的运动矢量；PMV为预测运动矢量。其中，MBD点的计算，以J(M，λ)集合中的最小值为最佳MBD点。例如以图4中的小菱形搜索为例，J(M，λ)，设4中0-4号点的数值为别为：11，12，13，14，15；代编码的原始点的值为10；为了方便理解，统一设0-4号点R(MV-PMV)的值为1；则0号点代价值为：J0(M，λ)＝|11-10|+1＝2；同理1-4号点的代价值分别是：3，4，5，6。则0号点是代价值最佳的MBD点。

S300：比较初始最佳MBD点对应的运动矢量与上一帧的运动矢量均值，得到比较结果。

上一帧的运动矢量均值先提前计算得到，将S200得到的初始最佳MBD点与上一帧的运动矢量均值进行比较，得到比较结果。其中，比较结果包括初始最佳MBD点对应的运动矢量大于上一帧的运动矢量均值；初始最佳MBD点对应的运动矢量小于上一帧的运动矢量均值。非必要的，由于在整个图像中，人眼通常对运动剧烈的对象或者纹理丰富的区域具有较高的视觉感知的特性，因此，这里上一帧的运动矢量均值具体可以是亚分割块的运动矢量均值，这样得到的运动矢量均值更准确。

S400：根据比较结果进行多层次运动搜索，得到最佳MBD点。

基于不同的比较结果选择性进行多层次运动搜索，以避免过多的多层次搜索处理，提高搜索效率，从而高效得到最佳MBD点。

S500：根据最佳MBD点进行视频编码中运动补偿。

在高效确定最佳MBD点之后，以该点进行视频编码中运动补偿，有效地降低视频编码中运动补偿环节的运算复杂度，减少视频编码的时间，又能够保持视频编码的质量。

上述视频编码中运动估计优化方法，获取当前宏块对应的预测运动矢量集，根据该预测运动矢量集进行复合式模板搜索，经过多轮搜索查找到初始最佳MBD点，比较初始最佳MBD点对应的运动矢量与上一帧的运动矢量均值，基于比较结果选择性进行多层次运动搜索，得到最佳MBD点，以该最佳MBD点进行视频编码中运动补偿。整个过程中，将经过复合式模板搜索得到的初始最佳MBD点与上一帧的运动矢量均值进行比较，基于比较结果选择性进行多层次运动搜索，减少搜索点数，提高搜索效率，从而可以高效实现视频编码中运动估计。

如图5所示，在其中一个实施例中，S100包括：

S120：确定当前宏块对应宏块相邻的已知宏块，已知宏块为运动矢量已知的宏块；

S140：获取已知宏块的运动矢量均值以及当前宏块的原点；

S160：组合已知宏块的运动矢量、运动矢量均值以及当前宏块的原点，构成预测运动矢量集。

一般来说编码是自上而下、从左到右的，因此，对于当前宏块对应宏块来说，按照这个顺序之前的宏块的运动矢量是已知的，为了更加准确预测当前宏块的运动矢量，选择其相邻的已知宏块，更进一步来说，可以选择当前宏块的左侧宏块、上层宏块以及右上角三个宏块，获取这些已知宏块的运动矢量，并且计算对应的运动矢量均值，以左侧宏块运动矢量(mva)、上层宏块运动矢量(mvb)、右上角运动矢量(mvc)、运动矢量均值((mva+mvb+mvc)/3)以及才当前宏块的原点(mvo＝0)构建完成预测运动矢量集{mva，mvb，mvc，mvp，mvo}。

如图5所示，在其中一个实施例中，S200包括：

S220：对预测运动矢量集各个点进行率失真代价计算，查找率失真代价计算结果最小对应的点作为初始预测起始点；

S240：以初始预测起始点作为起点依次进行多种类型的复合式模板搜索，得到初始最佳MBD点。

针对预设运动矢量集合中的点首先进行率失真代价计算，查找其中率失真代价计算结果最小对应的点，以该点作为初始预测起始点。在后续复合模板搜索的过程中以初始预测起始点作为起点开始进行搜索，在进行复合式模板搜索的过程中，每完成一次搜索可以得到多个对应的搜索点，对这些搜索点分别进行率失真代价计算，查找其中率失真代价计算结果最小对应的点，得到本轮搜索对应的搜索目标点，以该搜索目标点重新作为下一次搜索的起点(中心)，开始进行新的搜索，直至整个复合式模板搜索结束，得到初始最佳MBD点。

如图6所示，在其中一个实施例中，S240包括：

S241：以初始预测起始点作为起点，在预设搜索方式集合中不重复逐一选取当前搜索方式进行搜索，预设搜索方式集合依次包括小菱形搜索、中菱形搜索以及十字对称与正八边形搜索；

S242：对搜索到的点进行率失真代价计算，查找率失真代价计算结果最小对应的点，得到搜索目标点；

S243：当搜索目标点不符合预设宏块设置阈值要求时，将搜索目标点更新为初始预测起点；

S244：返回S241，直至完成十字对称与正八边形搜索；

S245：根据十字对称与正八边形搜索对应的搜索目标点，依次进行非对称十字搜索以及螺旋逐步搜索；

S246：获取螺旋逐步搜索对应的搜索目标点，得到初始最佳MBD点。

在本实施例中，以初始预测起点作为起点在预设搜索方式集合中依次不重复选择搜索方式，即首先以初始预测起点MBD1作为起点，进行小菱形搜索，针对小菱形搜索到的搜索点进行率失真代价计算，查找率失真代价计算结果最小对应的点，得到搜索目标点MBD2，判断MBD2是否满足预设宏块设置阈值要求，若不满足，则将MBD2点作为下一轮搜索的起点(中心)；继续进行中菱形搜索，针对中菱形搜索到的搜索点进行率失真代价计算，查找率失真代价计算结果最小对应的点，得到搜索目标点MBD3，判断MBD3是否满足预设宏块设置阈值要求，若不满足，则将MBD3点作为下一轮搜索的起点(中心)；继续进行十字对称与正八边形搜索，针对十字对称与正八边形搜索到的搜索点进行率失真代价计算，查找率失真代价计算结果最小对应的点，得到搜索目标点MBD4，继续以MBD4作为起点进行非对称十字搜索，针对非对称十字搜索到的搜索点进行率失真代价计算，查找率失真代价计算结果最小对应的点，得到搜索目标点MBD5，继续以MBD5作为起点进行螺旋逐步搜索，针对螺旋逐步搜索到的搜索点进行率失真代价计算，查找率失真代价计算结果最小对应的点，得到搜索目标点MBD6，即得到初始最佳MBD。在上述实施例中，预设宏块设置阈值要求是预先设定的针对宏块阈值要求，其一般实时基于现有视频编码行业规范、标准等数据来预先设定的，例如针对，16x16宏块设置的阈值分别是threadhold1＝2000，threshold2＝500。螺旋逐步搜索过程中可以选择3x3螺旋逐步搜索或者选择5x5螺旋逐步搜索。

在其中一个实施例中，上述视频编码中运动估计优化方法还包括：当搜索目标点符合预设宏块设置阈值要求时，将符合预设宏块设置阈值要求的搜索目标点作为最佳MBD点。

当搜索目标点符合预设宏块设置阈值要求时，表明已经查找到最佳MBD点，则将符合预设宏块设置阈值要求的搜索目标点作为最佳MBD点。一般来说，若当前宏块属于运动不剧烈对应的宏块，例如属于背景部分相对静止的宏块，其在上述搜索过程中可能得到的搜索目标点即符合预设宏块设置阈值要求，即可以直接以该搜索目标点作为最佳MBD。

在上述实施例中，依次采用上述顺序进行搜索，其搜索过程中遵循由中心点分级向外扩展搜索，最大限度避免了搜索点的重复搜索保证了图像质量跟提高了鲁棒性。

如图7所示，在其中一个实施例中，S400包括：

S420：若初始最佳MBD点对应的运动矢量大于上一帧的运动矢量均值，则根据初始最佳MBD点进行第一层次大六边形搜索，以更新初始最佳MBD点；

S440：根据最新的初始最佳MBD点，依次进行六边形搜索以及小菱形搜索，得到最佳MBD点。

若初始最佳MBD点对应的运动矢量大于上一帧的运动矢量均值，则表明当前宏块属于快速运动状态，需要采用更大层次数的大六边形搜索。进一步的，若初始最佳MBD点对应的运动矢量不大于上一帧的运动矢量均值，则判断初始最佳MBD点对应的运动矢量是否等于最佳预测起始点经过小菱形搜索得出的最优代价点的运动矢量；若不等于，则根据初始最佳MBD点进行第二层次大六边形搜索，以更新初始最佳MBD点；若等于，则进入根据最新的初始最佳MBD点，依次进行六边形搜索以及小菱形搜索，得到最佳MBD点的步骤，其中，第一层次的层次数大于第二层次的层次数。

若初始最佳MBD点对应的运动矢量不大于上一帧的运动矢量均值，则表明当前宏块运动状态不剧烈(可能为中等或缓慢，需要进一步判断)，则需要进一步判断初始最佳MBD点对应的运动矢量是否等于预测运动矢量集对应的运动矢量均值，若不等于，则可以采用相对较小层次数的大六边形搜索；在完成上述多层次六边形搜索之后更新初始最佳MBD点，再依次进行六边形搜索以及小菱形搜索，得到最佳MBD点。非必要的，第一层次可以选择4次、第二层次可以选择2次；或，第一层次选择6次、第二层次选择4次等。进一步的，若初始最佳MBD点对应的运动矢量等于最佳预测起始点经过小菱形搜索得出的最优代价点的运动矢量则表明当前宏块运动状态缓慢，可以直接跳过多层次大六边形搜索，直接进入到六边形搜索以及小菱形搜索，得到最佳MBD点。

在实际应用中，进行运动矢量预测，在预测起始搜索点合集中，根据率失真代价找到最佳预测起始点(最佳MBD点1)，并且对最佳预测起始点进行小菱形搜索得到最佳MBD点(最佳MBD点2)，设其运动矢量的水平分量为MX,垂直分量为MY，假设得到初始最佳点对应的运动矢量为(BMX，BMY)；上一帧的运动矢量均值为(Vtx，Vty)；若BMX<Vtx与BMY<Vty，并且BMX＝MX，BMY＝MY，表明当前编码块运动状态缓慢，则跳过多层次大六边形搜索模板，直接进入六边形搜索跟小菱形搜索进行匹配定位；否则表明当前编码块运动状态中等，则动态设置多层次大六边形搜索层次为2层，即只搜索内两层得到最佳MBD后继而以此MBD为中心继续小菱形搜索进行最终定位。如果MX>＝Vtx或MY>＝Vty，表明当前编码块属于快速运动状态，则执行正常的搜索流程并且设定大六边形模板的层数为四层，得到最佳MBD后继而以此MBD为中心继续六边形搜索，小菱形搜索进行最终匹配定位。

为了详细说明本申请视频编码中运动估计优化方法的技术方案及其效果，下面将采用具体应用实例并结合图8展开说明。如图8所示，整个方案具体包括如下步骤：

步骤S1：进行运动矢量预测，在预测起始搜索点合集中，根据率失真代价找到最佳预测起始点(最佳MBD点1)，最佳预测起始点是在{mode(模式)，MV(运动矢量)，REF(参考帧)，Direction(方向)}的组合中做出最佳选择。在这个组合中的参量即为进行率失真代价计算的关联参量；

步骤S2：进行小菱形搜索，计算出最佳MBD点2(最佳预测起始点MBD点1经过小菱形搜索得出的最优代价点的运动矢量)，设其运动矢量的水平分量为MX，垂直分量为MY；

步骤S3：判断MBD点2是否符合预设的要求；

步骤S31：若符合，则进入步骤S16，确定MBD点2为最终的MBD点；

步骤S32：若不符合，则进一步搜索；

步骤S4：进行中菱形搜索，计算出最佳MBD点3；

步骤S5：判断MBD点3是否符合预设的要求；

步骤S51：若符合，则进入步骤S16，确定MBD点3为最终的MBD点；

步骤S52：若不符合，则进一步搜索；

步骤S6：进行十字对称与正八边形搜索，计算出最佳MBD点4

步骤S7：判断MBD点4是否符合预设的要求；

步骤S71：若符合，则进入步骤S16，确定MBD点4为最终的MBD点；

步骤S72：若不符合，则进一步搜索；

步骤S8：进行非对称十字搜索，计算出最佳MBD点5；

步骤S9：进行3X3螺旋逐步搜索，计算出最佳MBD点6；

步骤S10：判断MBD点6与上一帧运动矢量均值对比；

步骤S10-1：若MBD点6大于矢量均值，则进一步搜索,进入步骤S12；

步骤S10-2：若MBD点6不大于矢量均值，则进一步判断，进入步骤S11；

步骤S11:判断MBD点6是否等于MBD点2；

步骤S11-1：若否，则进一步搜索，进入步骤S13；

步骤S11-2：若是，则进一步搜索，进入步骤S14；

步骤S12：进行四层次大六边形菱形搜索，计算出最佳MBD点7；

步骤S13：进行两层次大六边形搜索，计算出最佳MBD点7’；

步骤S14：进行六边形搜索，计算出最佳MBD点8；

步骤S15：进行小菱形搜索，计算并确定最佳MBD点9为最终MBD点，进入步骤S16；

步骤16：确定最终的最佳MBD点。

应该理解的是，虽然上述各流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述各流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图9所示，提供了一种视频编码中运动估计优化装置，包括：

预测模块100，用于获取当前宏块对应的预测运动矢量集；

初始搜索模块200，用于根据预测运动矢量集进行复合式模板搜索，得到初始最佳MBD点；

比较模块300，用于比较初始最佳MBD点对应的运动矢量与上一帧的运动矢量均值，得到比较结果；

目标搜索模块400，用于根据比较结果进行多层次运动搜索，得到最佳MBD点；

运动补偿模块500，用于根据最佳MBD点进行视频编码中运动补偿。

上述视频编码中运动估计优化装置，获取当前宏块对应的预测运动矢量集，根据该预测运动矢量集进行复合式模板搜索，经过多轮搜索查找到初始最佳MBD点，比较初始最佳MBD点对应的运动矢量与上一帧的运动矢量均值，基于比较结果选择性进行多层次运动搜索，得到最佳MBD点，以该最佳MBD点进行视频编码中运动补偿。整个过程中，将经过复合式模板搜索得到的初始最佳MBD点与上一帧的运动矢量均值进行比较，基于比较结果选择性进行多层次运动搜索，减少搜索点数，提高搜索效率，从而可以高效实现视频编码中运动估计。

在其中一个实施例中，预测模块100还用于确定当前宏块对应宏块相邻的已知宏块，已知宏块为运动矢量已知的宏块；获取已知宏块的运动矢量均值以及当前宏块的原点；组合已知宏块的运动矢量、运动矢量均值以及当前宏块的原点，构成预测运动矢量集。

在其中一个实施例中，初始搜索模块200还用于对预测运动矢量集各个点进行率失真代价计算，查找率失真代价计算结果最小对应的点作为初始预测起始点；以初始预测起始点作为起点依次进行多种类型的复合式模板搜索，得到初始最佳MBD点。

在其中一个实施例中，初始搜索模块200还用于以初始预测起始点作为起点，在预设搜索方式集合中不重复逐一选取当前搜索方式进行搜索，预设搜索方式集合依次包括小菱形搜索、中菱形搜索以及十字对称与正八边形搜索；对搜索到的点进行率失真代价计算，查找率失真代价计算结果最小对应的点，得到搜索目标点；当搜索目标点不符合预设宏块设置阈值要求时，将搜索目标点更新为初始预测起点；返回以初始预测起始点作为起点，在预设搜索方式集合中不重复逐一选取当前搜索方式进行搜索的处理，直至完成十字对称与正八边形搜索；根据十字对称与正八边形搜索对应的搜索目标点，依次进行非对称十字搜索以及螺旋逐步搜索；获取螺旋逐步搜索对应的搜索目标点，得到初始最佳MBD点。

在其中一个实施例中，目标搜索模块400还用于当搜索目标点符合预设宏块设置阈值要求时，将符合预设宏块设置阈值要求的搜索目标点作为最佳MBD点。

在其中一个实施例中，目标搜索模块400还用于若初始最佳MBD点对应的运动矢量大于上一帧的运动矢量均值，则根据初始最佳MBD点进行第一层次大六边形搜索，以更新初始最佳MBD点；根据最新的初始最佳MBD点，依次进行六边形搜索以及小菱形搜索，得到最佳MBD点。

在其中一个实施例中，目标搜索模块400还用于若初始最佳MBD点对应的运动矢量不大于上一帧的运动矢量均值，则判断初始最佳MBD点对应的运动矢量是否等于最佳预测起始点经过小菱形搜索得出的最优代价点的运动矢量；若不等于，则根据初始最佳MBD点进行第二层次大六边形搜索，以更新初始最佳MBD点；若等于，则进入根据最新的初始最佳MBD点，依次进行六边形搜索以及小菱形搜索，得到最佳MBD点的步骤，其中，第一层次的层次数大于第二层次的层次数。

关于视频编码中运动估计优化装置的具体实施例可以参见上文中对于视频编码中运动估计优化方法的实施例，在此不再赘述。上述视频编码中运动估计优化装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储预设阈值等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频编码中运动估计优化方法。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取当前宏块对应的预测运动矢量集；

根据预测运动矢量集进行复合式模板搜索，得到初始最佳MBD点；

比较初始最佳MBD点对应的运动矢量与上一帧的运动矢量均值，得到比较结果；

根据比较结果进行多层次运动搜索，得到最佳MBD点；

根据最佳MBD点进行视频编码中运动补偿。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

确定当前宏块对应宏块相邻的已知宏块，已知宏块为运动矢量已知的宏块；获取已知宏块的运动矢量均值以及当前宏块的原点；组合已知宏块的运动矢量、运动矢量均值以及当前宏块的原点，构成预测运动矢量集。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

对预测运动矢量集各个点进行率失真代价计算，查找率失真代价计算结果最小对应的点作为初始预测起始点；以初始预测起始点作为起点依次进行多种类型的复合式模板搜索，得到初始最佳MBD点。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

以初始预测起始点作为起点，在预设搜索方式集合中不重复逐一选取当前搜索方式进行搜索，预设搜索方式集合依次包括小菱形搜索、中菱形搜索以及十字对称与正八边形搜索；对搜索到的点进行率失真代价计算，查找率失真代价计算结果最小对应的点，得到搜索目标点；当搜索目标点不符合预设宏块设置阈值要求时，将搜索目标点更新为初始预测起点；返回以初始预测起始点作为起点，在预设搜索方式集合中不重复逐一选取当前搜索方式进行搜索的步骤，直至完成十字对称与正八边形搜索；根据十字对称与正八边形搜索对应的搜索目标点，依次进行非对称十字搜索以及螺旋逐步搜索；获取螺旋逐步搜索对应的搜索目标点，得到初始最佳MBD点。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

当搜索目标点符合预设宏块设置阈值要求时，将符合预设宏块设置阈值要求的搜索目标点作为最佳MBD点。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

若初始最佳MBD点对应的运动矢量大于上一帧的运动矢量均值，则根据初始最佳MBD点进行第一层次大六边形搜索，以更新初始最佳MBD点；根据最新的初始最佳MBD点，依次进行六边形搜索以及小菱形搜索，得到最佳MBD点。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

若初始最佳MBD点对应的运动矢量不大于上一帧的运动矢量均值，则判断初始最佳MBD点对应的运动矢量是否等于最佳预测起始点经过小菱形搜索得出的最优代价点的运动矢量；若不等于，则根据初始最佳MBD点进行第二层次大六边形搜索，以更新初始最佳MBD点；若等于，则进入根据最新的初始最佳MBD点，依次进行六边形搜索以及小菱形搜索，得到最佳MBD点的步骤，其中，第一层次的层次数大于第二层次的层次数。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取当前宏块对应的预测运动矢量集；

根据预测运动矢量集进行复合式模板搜索，得到初始最佳MBD点；

比较初始最佳MBD点对应的运动矢量与上一帧的运动矢量均值，得到比较结果；

根据比较结果进行多层次运动搜索，得到最佳MBD点；

根据最佳MBD点进行视频编码中运动补偿。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

确定当前宏块对应宏块相邻的已知宏块，已知宏块为运动矢量已知的宏块；获取已知宏块的运动矢量均值以及当前宏块的原点；组合已知宏块的运动矢量、运动矢量均值以及当前宏块的原点，构成预测运动矢量集。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对预测运动矢量集各个点进行率失真代价计算，查找率失真代价计算结果最小对应的点作为初始预测起始点；以初始预测起始点作为起点依次进行多种类型的复合式模板搜索，得到初始最佳MBD点。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

以初始预测起始点作为起点，在预设搜索方式集合中不重复逐一选取当前搜索方式进行搜索，预设搜索方式集合依次包括小菱形搜索、中菱形搜索以及十字对称与正八边形搜索；对搜索到的点进行率失真代价计算，查找率失真代价计算结果最小对应的点，得到搜索目标点；当搜索目标点不符合预设宏块设置阈值要求时，将搜索目标点更新为初始预测起点；返回以初始预测起始点作为起点，在预设搜索方式集合中不重复逐一选取当前搜索方式进行搜索的步骤，直至完成十字对称与正八边形搜索；根据十字对称与正八边形搜索对应的搜索目标点，依次进行非对称十字搜索以及螺旋逐步搜索；获取螺旋逐步搜索对应的搜索目标点，得到初始最佳MBD点。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

当搜索目标点符合预设宏块设置阈值要求时，将符合预设宏块设置阈值要求的搜索目标点作为最佳MBD点。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

若初始最佳MBD点对应的运动矢量大于上一帧的运动矢量均值，则根据初始最佳MBD点进行第一层次大六边形搜索，以更新初始最佳MBD点；根据最新的初始最佳MBD点，依次进行六边形搜索以及小菱形搜索，得到最佳MBD点。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

若初始最佳MBD点对应的运动矢量不大于上一帧的运动矢量均值，则判断初始最佳MBD点对应的运动矢量是否等于最佳预测起始点经过小菱形搜索得出的最优代价点的运动矢量；若不等于，则根据初始最佳MBD点进行第二层次大六边形搜索，以更新初始最佳MBD点；若等于，则进入根据最新的初始最佳MBD点，依次进行六边形搜索以及小菱形搜索，得到最佳MBD点的步骤，其中，第一层次的层次数大于第二层次的层次数。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频编码中运动估计优化方法，其特征在于，所述方法包括：

获取当前宏块对应的预测运动矢量集；

根据所述预测运动矢量集进行复合式模板搜索，得到初始最佳MBD点；

比较所述初始最佳MBD点对应的运动矢量与上一帧的运动矢量均值，得到比较结果，比较结果包括初始最佳MBD点对应的运动矢量大于上一帧的运动矢量均值；初始最佳MBD点对应的运动矢量小于上一帧的运动矢量均值；

根据所述比较结果进行多层次运动搜索，得到最佳MBD点；

根据所述最佳MBD点进行视频编码中运动补偿；

所述根据所述比较结果进行多层次运动搜索，得到最佳MBD点包括：若所述初始最佳MBD点对应的运动矢量大于所述上一帧的运动矢量均值，则根据所述初始最佳MBD点进行第一层次大六边形搜索，以更新所述初始最佳MBD点；根据最新的所述初始最佳MBD点，依次进行六边形搜索以及小菱形搜索，得到最佳MBD点；若所述初始最佳MBD点对应的运动矢量小于所述上一帧的运动矢量均值，则判断所述初始最佳MBD点对应的运动矢量是否等于最佳预测起始点经过小菱形搜索得出的最优代价点的运动矢量；若不等于，则根据所述初始最佳MBD点进行第二层次大六边形搜索，以更新所述初始最佳MBD点；若等于，则进入根据最新的所述初始最佳MBD点，依次进行六边形搜索以及小菱形搜索，得到最佳MBD点的步骤，其中，第一层次的层次数大于第二层次的层次数。

2.根据权利要求1所述的方法，其特征在于，所述获取当前宏块对应的预测运动矢量集包括：

确定当前宏块对应宏块相邻的已知宏块，所述已知宏块为运动矢量已知的宏块；

获取所述已知宏块的运动矢量均值以及当前宏块的原点；

组合所述已知宏块的运动矢量、所述运动矢量均值以及所述当前宏块的原点，构成预测运动矢量集。

3.根据权利要求1所述的方法，其特征在于，所述根据所述预测运动矢量集进行复合式模板搜索，得到初始最佳MBD点包括：

对所述预测运动矢量集各个点进行率失真代价计算，查找率失真代价计算结果最小对应的点作为初始预测起始点；

以所述初始预测起始点作为起点依次进行多种类型的复合式模板搜索，得到初始最佳MBD点。

4.根据权利要求3所述的方法，其特征在于，所述以所述初始预测起始点作为起点依次进行多种类型的复合式模板搜索，得到初始最佳MBD点包括：

以所述初始预测起始点作为起点，在预设搜索方式集合中不重复逐一选取当前搜索方式进行搜索，所述预设搜索方式集合依次包括小菱形搜索、中菱形搜索以及十字对称与正八边形搜索；

对搜索到的点进行率失真代价计算，查找率失真代价计算结果最小对应的点，得到搜索目标点；

当搜索目标点不符合预设宏块设置阈值要求时，将所述搜索目标点更新为所述初始预测起点；

返回所述以所述初始预测起始点作为起点，在预设搜索方式集合中不重复逐一选取当前搜索方式进行搜索的步骤，直至完成十字对称与正八边形搜索；

根据十字对称与正八边形搜索对应的搜索目标点，依次进行非对称十字搜索以及螺旋逐步搜索；

获取螺旋逐步搜索对应的搜索目标点，得到初始最佳MBD点。

5.根据权利要求4所述的方法，其特征在于，还包括：

当搜索目标点符合预设宏块设置阈值要求时，将符合预设宏块设置阈值要求的搜索目标点作为最佳MBD点。

6.一种视频编码中运动估计优化装置，其特征在于，所述装置包括：

预测模块，用于获取当前宏块对应的预测运动矢量集；

初始搜索模块，用于根据所述预测运动矢量集进行复合式模板搜索，得到初始最佳MBD点；

比较模块，用于比较所述初始最佳MBD点对应的运动矢量与上一帧的运动矢量均值，得到比较结果，比较结果包括初始最佳MBD点对应的运动矢量大于上一帧的运动矢量均值；初始最佳MBD点对应的运动矢量小于上一帧的运动矢量均值；

目标搜索模块，用于根据所述比较结果进行多层次运动搜索，得到最佳MBD点；

运动补偿模块，用于根据所述最佳MBD点进行视频编码中运动补偿；

所述目标搜索模块还用于若所述初始最佳MBD点对应的运动矢量大于所述上一帧的运动矢量均值，则根据所述初始最佳MBD点进行第一层次大六边形搜索，以更新所述初始最佳MBD点；根据最新的所述初始最佳MBD点，依次进行六边形搜索以及小菱形搜索，得到最佳MBD点；若所述初始最佳MBD点对应的运动矢量小于所述上一帧的运动矢量均值，则判断所述初始最佳MBD点对应的运动矢量是否等于最佳预测起始点经过小菱形搜索得出的最优代价点的运动矢量；若不等于，则根据所述初始最佳MBD点进行第二层次大六边形搜索，以更新所述初始最佳MBD点；若等于，则进入根据最新的所述初始最佳MBD点，依次进行六边形搜索以及小菱形搜索，得到最佳MBD点的步骤，其中，第一层次的层次数大于第二层次的层次数。

7.根据权利要求6所述的装置，其特征在于，所述预测模块还用于确定当前宏块对应宏块相邻的已知宏块，已知宏块为运动矢量已知的宏块；获取已知宏块的运动矢量均值以及当前宏块的原点；组合已知宏块的运动矢量、运动矢量均值以及当前宏块的原点，构成预测运动矢量集。

8.根据权利要求6所述的装置，其特征在于，所述初始搜索模块还用于对预测运动矢量集各个点进行率失真代价计算，查找率失真代价计算结果最小对应的点作为初始预测起始点；以初始预测起始点作为起点依次进行多种类型的复合式模板搜索，得到初始最佳MBD点。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

Images