CN1965583A - 搜索全局运动矢量的方法 - Google Patents

Abstract

本发明涉及搜索与视频序列的图像相关的全局运动矢量的方法，所述方法包括下列步骤：计算(PROJ)图像(f)沿预定轴的投影；基于与至少一个在前投影的图像相关的至少一个在前全局运动矢量，确定(PRED)与当前投影的图像(F(k))相关的当前全局运动矢量公式(I)的预测(v_pred (k))；基于预测的当前全局运动矢量，确定(SS)运动矢量搜索组；计算(CAL)候选运动矢量(v_i (k))沿预定轴移位的在前投影图像(F(k－1))与下一投影的图像(F(k+r))之间的失真值，所述计算步骤对于运动矢量搜索组中的不同候选运动矢量进行迭代，当前全局运动矢量是最小化该失真值的候选运动矢量。

Description

搜索全局运动矢量的方法

技术领域

本发明涉及用于搜索与视频序列的图像(picture)相关的全局运动矢量的方法和设备。

本发明可以用于例如移动设备诸如照相机、移动电话或个人数字助理PDA中。

背景技术

用于运动估算的常规方法是根据失真测量在当前块和若干候选决组之间执行块匹配，并且随后选择引起最小失真的候选块。由于其水平和垂直分量可以是整数或非整数取样的平移运动而选择候选块。运动矢量MV限定参考图像中的候选块相比于在参考图像中具有与当前图像中的当前块相同的位置的块的相对位置。块匹配处理包括计算包含在当前图像中的当前块与包含在参考图像中的候选块之间的失真值的步骤。这个计算步骤例如是基于这两个块之间的绝对误差差值SAD之和的计算。通常，必须在其中查找候选块的搜索区域具有预定大小，一般具有给定数量的行，并且所述搜索区域内的每个候选块都必须被测试。

在所谓的全局运动估算的情况中，利用投影图像F来确定全局运动矢量，其中投影图像F对应于输入图像f沿水平(或垂直)方向的水平(或垂直)之和，如等式(1)中所示：

$F(i,k)=\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}f(i,j,k)---\left(1\right)$

其中i表示图像的行，j表示图像的列，N表示图像的列数，而k表示时间。

当前图像F(k)的当前全局垂直运动矢量v_i ^g(k)等于候选垂直全局运动矢量v_i，其中对于该候选垂直全局运动矢量v_i，在候选运动矢量v_i在沿垂直轴的第一方向上移位的在前投影的图像F(k-1)与候选运动矢量v_i在沿着与第一方向相反的第二方向移位的下一个投影的图像(F(k+1))之间的绝对差值SAD之和是最小的，如等式(2)所示：

$v_i^g\left(k\right)\arg \underset{v_i{\∈s}_i^g}{\min }\underset{j=0}{\overset{M-1}{\mathrm{\Σ}}}|F(i-v_i,k-1)-F(i+v_i,k+1)|---\left(2\right)$

其中M是图像的行数，而S_i ^g是垂直搜索组。

根据等式(2)，必须测试搜索组S_i ^g内的每个候选运动矢量v_i，以确定绝对差值SAD之和的最小值。该方法有时被称为全搜索方法。但是，这样的全搜索方法的计算是特别昂贵的，尤其是在高清晰图像的情况下。

发明内容

本发明的目的是提供一种搜索全局运动矢量的方法，该方法的计算强度低于现有技术的方法。

为此，根据本发明的搜索方法的特征在于，它包括下列步骤：

-计算图像沿预定轴的投影；

-基于与至少一个在前投影的图像相关的至少一个在前全局运动矢量，确定与当前投影的图像相关的当前全局运动矢量的预测；

-基于预测的当前全局运动矢量，确定运动矢量搜索组；

-计算候选运动矢量沿预定轴移位的在前投影图像与下一个投影图像之间的失真值，所述计算步骤对于运动矢量搜索组中的不同候选运动矢量进行迭代(重复)当前全局运动矢量为最小化该失真值的候选矢量。

结果，搜索组仅包括在全局运动矢量的预测周围的有限数量的候选运动矢量，而该搜索组比现有技术中的要宽得多，因为其被包括在下阈值v_min和上阈值v_max之间。因此，本发明允许降低搜索方法的计算成本。

根据本发明的一个实施例，预测的当前全局运动矢量是与在前投影图像相关的在前全局运动矢量。

根据本发明的更完善的实施例，预测的当前全局运动矢量是与在前投影图像组相关的在前全局运动矢量组的外插(extrapolation)。

根据本发明的一个实施例，搜索组包括范围[v_pred-n，v_pred+n]，其中v_pred是预测的全局运动矢量的值，而n是正值。有利地，搜索组还包括运动矢量候选者v_pred+2q.n，其中q是不同于0到所述运动矢量候选者位于下阈值v_min和上阈值v_max之间的范围的整数。

本发明还涉及用于实施根据本发明的搜索方法的设备。

本发明涉及移动设备，其包括用于显示一系列图像的屏幕、这样的用于确定与当前图像相关的当前全局运动矢量的设备和用于根据当前全局运动矢量来补偿移动设备的运动的装置。

本发明涉及用于编码图像的视频编码器，所述编码器包括：用于提供编码图像的编码单元；用于根据编码图像提供解码图像的解码单元；用于交付(deliver)运动补偿图像的预测单元；用于将运动补偿图像加到解码图像上的加法器，所述加法器的输出被提供给预测单元的输入；用于从输入图像中减去运动补偿图像的减法器；和用于向预测单元提供全局运动矢量的设备。

本发明最后涉及包括用于实施所述方法的程序指令的计算机程序产品。

本发明的这些和其他方面从下面描述的实施例中将是明白的，并将参照下面描述的实施例进行阐述。

附图说明

现在，将参照附图通过示例的方式更详细地描述本发明，其中：

图1是根据本发明的搜索全局运动矢量的方法的方框图；

图2是根据本发明的减少的运动矢量搜索组的示意图；和

图3是实施根据本发明的搜索方法的编码设备的方框图。

具体实施方式

当前，被引入高端产品中的特征趋于转移到低端产品，并且甚至转移到移动产品。但是，这种转移通常需要更经济实施这些特征或某些修改，以适合市场。帧(速)率转换、交错(隔行)-逐级(逐行)转换和稳定拍摄(steady shot)是可以被引入到低端和/或移动产品中的特征的示例。

本发明旨在减少根据投影的图像获得图像序列内的全局运动矢量所需要的计算能力。在全局运动估算的上下文中，SAD操作的数量等于候选运动矢量的数量，如前所讨论的。候选运动矢量的数量与搜索组和全局运动矢量所需的分辨率成比例。在进行全局运动矢量的预测时，实现候选运动矢量数量的显著减少。因此，实施所述预测的搜索方法有助于更一致的运动估算。

根据本发明的搜索全局运动矢量的方法首先包括步骤PROJ，即计算输入图像f(i，j)沿水平或垂直轴的投影F(i)，如以前等式(1)中所述。

该方法还包括步骤PRED，即确定与当前投影的图像F(k)相关的当前全局运动矢量v_i ^g(k)的预测v_pred(k)。该当前全局运动矢量的预测例如分别基于与至少一个在前投影图像相关的至少一个在前全局运动矢量。

根据本发明的实施例，当前全局运动矢量的预测等于与在前投影图像F(k-1)相关的在前全局运动矢量v_i ^g(k-1)。

根据本发明的更完善的实施例，当前全局运动矢量的预测等于与一组在前投影图像{F(k-m)，...，F(k-1)}相关的一组在前全局运动矢量{v_i ^g(k-m)，...，v_i ^g(k-1)}的外插，其中m是绝对大于1的整数。该外插例如基于Lagrange(拉格朗日)线性外插(法)。由于这个外插技术的使用而实现更高的鲁棒性(强度)。

根据本发明的方法包括基于当前全局运动矢量的预测来确定运动矢量搜索组的步骤SS。对在预测的全局运动矢量周围的本地搜索组，执行全局运动矢量的搜索。

根据本发明的一个实施例，搜索组包括初始搜索范围[v_pred-n，v_pred+n]，其中v_pred是运动矢量的预测值，而n是整数。在这种情况下，搜索组包括2n+1个值，用于全像素分辨率。全局运动矢量的精确度主要取决于这个初始搜索组的大小，即，取决于n的值。

对于本领域技术人员而言，显然，n不一定是整数。例如，如果需要更准确的全局运动估算，则可以使用内插技术在子像素基础上移位投影图像。这导致非整数全局运动矢量。

对本领域技术人员而言，搜索组中的候选运动矢量不一定是等距的，这也将显然的。例如，候选运动矢量之间的距离可以基于二次函数或对数函数。这导致全局运动矢量的更为精细的调谐。

选择在初始搜索组外部的几个候选运动矢量增强该方法的鲁棒性。为此，搜索组还包括附加的候选运动矢量。这对于搜索方法将集中到实际的全局运动矢量的方式有影响。图2中给出了一组测试矢量的示例。整个组的候选运动矢量描述在下面的公式中：

{v_k∈v_pred-n，v_pred+n，v_pred+p·d_v，p∈N}

∪

{v_k ∈[v_min，v_max]，v_pred+2q.n，q∈N，q≠0}

其中d_v是运动矢量单元，其可以为非整数。

对本领域技术人员而言，将明白，搜索组的附加候选运动矢量不必是等距的。它们也可以基于二次函数或对数函数来确定，如前所述。

如下计算对于搜索方法的最大效率的最优候选运动矢量组。

可能的候选运动矢量的总数为： $p_{\max }=\frac{v_{\max }-v_{\min }}{d_v}$ 。

初始搜索组中的候选运动矢量的数量为： $s=\frac{2n}{d_v}$ 。

该方法的效率如下： $\mathrm{\η}=\frac{p_{\max }}{\frac{p_{\max }}{s}+s-1}$ 。

如下推导出最优搜索组： $\frac{d(\frac{p_{\max }}{s}+s-1)}{\mathrm{ds}}=0\⇒s_{\mathrm{opt}}=\±\sqrt{p_{\max }},$ 并且最大效率

则为： $\⇒\mathrm{\η}=\frac{p_{\max }}{2\sqrt{p_{\max }}-1}\≈\frac{\sqrt{p_{\max }}}{2}$ 。

该搜索方法最后包括步骤CAL，即计算候选运动矢量v_i(k)沿水平或垂直轴移位的在前投影图像F(k-1)与下一个投影图像F(k+r)之间的失真值，其中r是整数，正的或零。

例如，在帧速率上变换2的情况中，其中帧必须在新的时刻被内插(在这种情况中，恰好在中间)，计算在候选运动矢量v_i在沿水平或垂直轴的第一方向上移位的在前投影图像F(k-1)和候选运动矢量v_i在与第一方向相反的第二方向移位的下一个投影图像F(k+1)之间的失真值，如前面的等式(2)中所述。

对于本领域技术人员而言，将明白，该移位并不一定是对称的。例如，在帧速率上变换3的情况中，必须分别地在原始帧时间的1/3和2/3上内插图像。

作为另一个示例，在前投影图像F(k-1)还可以相对于当前投影图像F(k)(即，非移位的投影图像)被移位。这个方法是可以例如用于图像稳定化的低成本解决方案。

计算步骤对于运动矢量搜索组中的不同候选运动矢量进行重复。当前全局运动矢量最后是最小化该失真值的候选运动矢量。

全局运动估算是对于整个图像的运动的度量，即较大或多个物体的平均或支配运动具有或多或少的相同运动。它在物体或照相机的摇摄(即，平移)的检测中找到其应用。它可以对于照相机系统用作稳定拍摄，其中补偿意外的照相机运动。对于显示系统而言，它可以是摇镜头-变焦距模式的一部分，作为用于去交错处理或帧速率上变换的运动估算的改进。

这样的所述运动估算能够足以结合序列中图像的适当分段来补偿视频序列的运动。图3示出了视频编码器的示例。这种视频编码器包括：第一(程序)块T/Q，其包括与量化块Q串联的直接频率变换决，其中量化块Q适于从输入分段的图像f中产生量化的分段图像；和熵编码块EC，适于从量化的分段图像中产生编码的分段图像BS。视频编码器还包括解码单元，该解码单元包括串联的逆量化决IQ和逆频率变换块IT，用于提供解码的分段图像。该编码器包括预测单元，其包括与运动补偿单元MC串联的图像存储器MEM，用于产生运动补偿的分段图像。它包括用于将解码的分段图像加到运动补偿的分段图像上的加法器和用于从输入的分段图像f中减去运动补偿的分段图像的减法器，这个减法器的结果被传送给块T/Q。视频编码器最后包括根据本发明的全局运动估算设备，用于向预测单元提供全局运动矢量。

上面仅通过示例描述了本发明的几个实施例，并且对于本领域技术人员来说，将明白在不背离由所附权利要求限定的本发明的范围的情况下，可以对所描述的实施例进行修改和改变。此外，在权利要求书中，括号之间的任何参考符号不应被认为是限制权利要求。术语“包括”并不排除除了权利要求中所列出之外的其他元素或步骤的存在。术语“一或一个”并不排除多个。本发明可以利用包括几个不同元素的硬件和利用合适编程的计算机来实现。在列举若干装置的设备权利要求中，可以利用同一个硬件项来实施这些装置中的若干装置。唯一事实是：在互不相同的独立权利要求中叙述的措施并不表示不能有益使用这些措施的组合。

Claims (9)

1.一种搜索与视频序列中的图像相关的全局运动矢量的方法，所述方法包括下列步骤：

-计算(PROJ)图像(f)沿预定轴的投影；

-基于与至少一个在前投影的图像相关的至少一个在前全局运动矢量，确定(PRED)与当前投影的图像(F(k))相关的当前全局运动矢量(v_i ^g(k))的预测(V_pred(k))；

-基于预测的当前全局运动矢量，确定(SS)运动矢量搜索组；

-计算(CAL)候选运动矢量(v_i(k))沿预定轴移位的在前投影图像(F(k-1))与下一个投影的图像(F(k+r))之间的失真值，所述计算步骤对于运动矢量搜索组中的不同候选运动矢量进行迭代，当前全局运动矢量是最小化谊失真值的候选运动矢量。

2、如权利要求1所述的方法，其中预测的当前全局运动矢量是与在前投影的图像(F(k-1))相关的在前全局运动矢量(v_i ^g(k-1))。

3、如权利要求1所述的方法，其中预测的当前全局运动矢量是与在前投影的图像组相关的在前全局运动矢量组的外插。

4、如权利要求1所述的方法，其中搜索组包括范围[V_pred-n，V_pred+n]，其中V_pred是预测的全局运动矢量的值，并且n是正值。

5、如权利要求4所述的方法，其中搜索组还包括运动矢量候选者V_pred+2q.n，其中q是不同于从0到其中所述运动矢量候选者位于下阈值和上阈值之间的范围的整数。

6、一种用于搜索与视频序列中的图像相关的全局运动矢量的设备，所述设备包括：

-用于计算图像沿预定轴的投影的装置；

-用于基于与至少一个在前投影的图像相关的至少一个在前全局运动矢量来预测与当前投影的图像相关的当前全局运动矢量的装置；

-用于基于预测的当前全局运动矢量来确定运动矢量搜索组的装置；

-用于计算候选运动矢量沿预定轴移位的在前投影的图像与下一个投影的图像之间的失真值的装置，所述计算步骤对于运动矢量搜索组中的不同候选运动矢量进行迭代，当前全局运动矢量是最小化该失真值的候选运动矢量。

7、一种移动设备，其包括：用于显示一系列图像的屏幕；如权利要求6所述的用于确定与当前图像相关的当前全局运动矢量的设备；和用于基于当前全局运动矢量来补偿移动设备的运动的装置。

8、一种用于编码图像(f)的视频编码器，所述编码器包括：

-编码单元(T/Q，EC)，用于提供编码的图像(BS)，

-解码单元(IQ/IT)，用于根据编码的图像来提供解码的图像，

-预测单元(MEM，MC)，用于交付运动补偿的图像，

-加法器，用于将运动补偿的图像加到解码的图像上，所述加法器的输出被提供给预测单元的输入，

-减法器，用于从输入图像中减去运动补偿的图像，和

-如权利要求6所述的设备，用于向预测单元提供全局运动矢量。

9、一种计算机程序产品，包括程序指令，用于在所述程序由处理器执行时实施如权利要求1所述的方法。

Images