CN1164121C - 综合运动估值的方法 - Google Patents

Abstract

本发明说明在一个图像帧序列的输入帧F(n)与一个大静止图像M(n-1)之间的一种综合运动估值方法，该大静止图像M(n-1)是由该视频序列中先前各图像帧F(1)、F(2)、……F(n-1)构成的。本运动估值方法应用了一个基于一种二维透视变换的运动模型，该模型中包含8个运动参数。本发明中，该8个运动参数是输入帧之4个顶点的座标。按照本发明的运动估值方法容许原来矩形图像的4个边角作任何的位移，通过使一个价值函数最优化以适应下一个图像。这样一个发明对于涉及MPEG-4、尤其是MPEG-7标准中的诸如子画面产生或马赛克之类的应用场合，是很有用的。

Description

综合运动估值的方法

技术领域

本发明涉及在一个图像帧序列的输入帧F(n)与一个大静止图像M(n-1)之间进行运动估值的方法及其相应的装置，所述大静止图像是由所述序列中先前各帧F(1)......F(n-1)构成的，所述运动估值方法应用了一个基于一种二维透视变换的运动模型，该运动模型中包含8个运动参数，本方法还包括一个价值函数的优化步骤。

这样一个发明对于涉及MPEG-4、尤其是MPEG-7标准中的诸如子画面产生和马赛克之类的应用场合，是很有用的。

背景技术

从专利申请WO98/59497中已知一个上述种类的方法。该专利申请中说明了一种在视频编码上应用的方法，用于从一个视频序列之帧内的视频对象中产生一个子画面。该方法可对当前帧内一个视频对象与先前诸帧的视频对象中构成的一个子图像两者间的综合运动进行估值。具体地，综合运动估值方法中计算一个二维变换的运动系数，该变换可使该视频对象中的诸像素与该子画面中相应的诸像素之间的亮度误差最小化。它将Levenberg-Marquardt方法应用于使运算步骤最小化中，该方法的要点是使与亮度误差相关联的一个解析函数最小化，并能够选择出最有代表性的各个点而将其它的点拒斥为筛离点(outlier)。

尽管如此，前面说明的综合运动估值方法有若干缺点。主要缺点在于，它对筛离点十分敏感，诸筛离点是这样的各个像素，它们并不依从综合运动，而对应于有其独特运动的一些对象。这意味着，该综合运动估值方法对于某些特别的视频序列往往会失效。又有另一个缺点，它对于一定类型的视频序列不能够做到高效与快速地收敛。

发明内容

所以，本发明的一个目的是提出另一种综合运动估值方法，它对于筛离点很不敏感，并且还能够高效与快速地收敛。

由此，按照本发明的方法其特征在于，8个运动参数是输入帧之4个顶点的座标，它使所述4个顶点接连地在两个方向上移动，以寻找出对应于一个最优化价值函数的诸运动参数估值。

该运动估值方法基于一种几何计算法，它通过使一个数值函数最优化而接连和迭代地处理这8个运动参数；与之不同，背景技术中的计算法基于Levenberg-Marquardt算法，它通过使一个解析函数最小化而处理那8个运动参数。结果，已经证明，基于4个顶点位移的运动估值方法比之背景技术中应用的方法，对于筛离点更不敏感。

按照本发明的方法其特征还在于，该运动估值方法中包括一个第一种迭代方法，它在每次迭代中包含有最优化步骤来确定8个运动参数的一种估值，后随一个计算步骤，它通过计及最后的变形来计算4个顶点之每一个在两个方向上的移动，所述迭代方法一直进行至达到一个规定的准则。

该迭代方法基于Powell算法，它改善了所述方法的收敛。

按照本发明的方法其特征最后在于，最优化步骤中包括一个第二种迭代方法，它在每次迭代中对价值函数的诸数值实施一项抛物内插运算，以便接连地估值各个运动参数。

抛物内插运算的应用可使该运动估值方法的收敛更快，尤其是在大运动的场合下。

结果，本运动估值方法可以有利地包括在产生诸如子画面或马赛克之类大静止图像的方法中，并能在一个产生这样一种大静止图像的装置中实施。

参考下面说明的实施例，将使本发明的这些和其它的特性十分显然并易于理解。

附图说明

现在，参照附图，通过示例来说明本发明。附图中：

图1示出用于第一种迭代之最优化步骤的一个几何表示；

图2是一个流程图，示明了在对两个最初的图像实施运动参数的自动初始化中采用的程序；

图3是一个流程图，示明了用以使运动参数优化的迭代程序；

图4示出对于迭代(l+1)时最优化步骤的一个几何表示；

图5示出一个大静止图像产生装置的概略图。

具体实施方式

本发明提出了在一个图像帧序列的输入帧F(n)与一个大静止图像M(n-1)之间一种新的综合运动估值方法，该大静止图像是由视频序列中先前各帧F(1)、F(2)、......、F(n-1)构成的。

本运动估值方法的原理示于图1中。所述运动估值方法中应用了一个基于一种二维透视变换的运动模型，它也称为透视模型，以便用来表征两个图像帧之间的运动。该透视模型中包含8个运动参数，它们被优先地选择是因为比之诸如摄像机运动的平移、变焦或旋转等参数，它们能使摄像机运动有更多的可能性。在下面两种场合下，应用透视模型是有效的。

-所有视图共用同一个光学中心。当摄像机固定于一个旋转三角架上时，情况大体是这样：该转轴可以或是通过或是十分靠近摄像机的光学中心。如果拍摄的对象离摄像机非常远，则这种假设往往是正确的。

-拍摄的景像对应于一个平坦表面。

一个透视投影可将一个矩形变换成四边形。四边形中4个顶点的二维座标完全规定了该透视投影的8个运动参数a₀-a₇。因此，在本发明中，这8个运动参数是4个顶点的二维座标，它们在程序开始时为A(0)(a₀(0)，a₁(0))、B(0)(a₂(0)，a₃(0))、C(0)(a₄(0)，a₅(0))和D(0)(a₆(0)，a₇(0))。

按照本发明之运动估值方法能使原来矩形图像中四个边角的任何位移通过最优化一个价值函数来适应下一个图像。根据初始的运动参数集合，从这4个顶点的初始位置出发，本方法通过稍许位移这4个顶点来尝试使价值函数最优化。将每个顶点围绕其初始位置作小量的位移，以便寻找出价值函数的一个局部最优化。例如，点A(0)沿方向d₁(0)移动(在本特定的情况下为沿水平方向移动)，以寻找出价值函数的一个优化值。然后，使得到的点再沿方向d₂(0)移动(在本特定的情况下为沿垂直方向移动)，直至寻找到另一个优化值而给出一个新顶点A(1)(a₀(1)，a₁(1))。然后，对其它顶点接连地实施这种运算，并得到一个新的四边形图像。

优选实施例中，价值函数与位移帧差值(DFD)相关联。DFD的度量是对属于区域S的诸像素进行计算的，区域S中如下地重叠有输入帧F(n)和当前的大静止图像M(n-1)：

$\mathrm{DFD}=\underset{s}{\mathrm{\Σ}}{r_p}^2$

式中，r_p是如下地定义的一个像素p之原值与预测值间的差值：

r_p＝L(x，y)-L(x′，y′)式中，-L(x，y)是与输入帧F(n)之像素p(x，y)对应的视频信号亮度值，

-L(x′，y′)是与大静止图像M(n-1)之像素p′(x′，y′)对应的视频信号亮度值。

(x′，y′)是从大静止图像中要提取出的像素p′的浮点值。与该像素对应的亮度值是根据该图像中4个最接近整数的座标(它们是(x₀，y₀)、(x₁，y₁)、(x₂，y₂)和(x₃，y₃))之各别亮度值L0、L1、L2和L3，应用如下一种双线性内插进行计算的：

L(x′y′)＝L0+(x′-x₀)(L1-L0)+(y′-y₀)(L2-L0)+(x′-x₀)(y′-y₀)(L3-L2-L1+L0)

在此情况下，价值函数的优化是使位移帧差值最小化。这里，DFD是针对视频信号的亮度值进行计算的，但也可以针对视频信号的色度值进行计算。

另一个实施例中，价值函数是与位移帧相关性(DFC)关联的。DFC的度量是对属于区域S的诸像素进行计算的，区域S中如下地重叠有输入帧F(n)和当前的大静止图像M(n-1)：

$\mathrm{DFC}=\frac{\underset{S}{\mathrm{\Σ}}L(x,y)L(x^{\′},y^{\′})}{\sqrt{\underset{S}{\mathrm{\Σ}}L{(x,y)}^2\underset{S}{\mathrm{\Σ}}L{(x^{\′},y^{\′})}^2}}.$

在此情况下，价值函数的优化是使位移帧相关性最大化。这里，DFD是针对视频信号的亮度值进行计算的，但也可以针对视频信号的色度值进行计算。

按照本发明的运动估值方法包含两个主要步骤：

-第一步的实施是对两个最初的帧自动实施诸运动参数的初始化。

-在第二步期间，通过使DFD所关联的一个价值函数最小化，每个运动参数都独立地优化。优选实施例中，此价值函数cost()是如下地规定的一个加权均方差：

$\cos t\left(r_p\right)=\underset{p}{\mathrm{\Σ}}\frac{1}{2}{w}_p{r_p}^2$

式中，w_p是一个加权系数，定义于下面：

$w_p=\frac{1}{r_p}\frac{d}{d{r}_p}\mathrm{\ρ}\left(r_p\right)$

式中，ρ是一个对称的正定函数，在r_p＝0上有唯一的最大值。

选择ρ函数是为了减小筛离点的影响。优选实施例中，ρ函数是如下地定义的一个Lorentz函数：

$\mathrm{\ρ}(r_p,\mathrm{\σ})=\log [1+\frac{1}{2}{\left(\frac{r_p}{\mathrm{\σ}}\right)}^2]$

式中，σ是一个比例因子。

其他的P函数诸如下面那样定义的German和McClure函数之类，也能适用于本发明：

$\mathrm{\ρ}(r_p,\mathrm{\σ})=\frac{{r_p}^2}{\mathrm{\σ}+{r_p}^2}.$

在第二实施例中，价值函数是另外一个加权均方差，它如下地考虑到像素P之梯度(grad_p)方面的一种信息：

$\cos t\left(r_p\right)=\frac{\underset{p/(\mathrm{gra}{d}_p\≥T)}{\mathrm{\Σ}}{w}_p{r_p}^2}{\underset{p/(\mathrm{gra}{d}_p\≥T)}{\mathrm{\Σ}}{w}_p}$

式中，T是接近0的一个阈值，又式中，加权系数w_p如下地定义：

$w_p=\frac{2}{2+\frac{{r_p}^2}{1+\mathrm{gra}{d_p}^2{\mathrm{\σ}}^2}}$

此第二实施例中，为了有助于小误差下的小位移而不是大误差的大位移，通过在每个像素位置上将均方差的加权系数w_p除以全部加权值之和而使它规一化。并且，梯度信息的引入可以做到：

-对于其梯度高于阈值T的各个区域给以更加的重要性，这些区域将更为适合用于匹配目的，

-对于其梯度低于阈值T的各个区域予以舍弃，因此能增加价值函数估值的速度。

图2是一个流程图，示明了应用来对两个最初的帧实施运动参数自动初始化的方法。

优选实施例中，应用了只需要两个运动参数的平移变换，以便得到视频序列之两个最初的帧之间位移的一个一次近似，而在那里未应用到预测。

该自动初始化步骤中包含有：

-像素位置的一个初始化子步骤(INI)xx_min，它对应于水平方向上价值函数的最小值：xx_min＝0；

像素位置之数值j的一个计算子步骤(CALC)，当对输入帧在水平方向上施加平移时，该数值对应于价值函数的最小值cost()，平移矢量的幅度i包容在-5和+5个像素之间：

j＝Argmin[cost(xx_min+i)]

-5≤i≤5

式中，Argmin是使价值函数最小值对应的横座标还原的函数，这里就给出了在所考虑的方向上该两个帧之间的位移；

-就j的值测试(c_j)；

-如果测试结果不满足条件(j不等于0)，则对xx_min执行一个再计算(INC)的子步骤：xx_min＝xx_min+j；

-如果测试结果满足条件(j等于0)，则程序结束(RES)，给出水平方向上最后的平移xx_min。

在垂直方向上施加同样的算法，以便寻找出要实施的平移yy_min。

图3是一个流程图，示明了用于使诸运动参数优化的迭代处理。该方法基于powell收敛方法。

对于与4个顶点的座标相对应的8个运动参数集合，将它们初始化到由综合运动预测而在a_k(0)(0≤k≤7)中给定的各个值上。

运动参数优化的步骤中包含有：

-对于k和计数器值1的初始化(INIkl)子步骤：k＝l＝0；

-就k的值测试(C_k)；

-如果k的值确实低于8(y)，则执行对运动参数a_k(l+1)之值予以计算(PI)的子步骤，该a_k(l+1)对应于价值函数cost()的一个最小值：

a_k(l+1)＝Argmin[cost(a_k(l)+i)]

后随以一个使k的值增加1(INCK)的子步骤；

-在相反的场合(n)下，对于各不同的k值就a_k(l+1)与a_k(l)之间差值的绝对值中的最大值M作出第二次测试(Ca)：

$M=\underset{k}{\max }\left(\right|a_k(l+1)-a_k\left(l\right)\left|\right),$

-如果M的值低于一个阈值(y)，则该程序结束(RES_a)，给出a_k(l+1)的值；

-在相反的场合(n)下，作出对最小化的诸新方向进行计算(DIR)的子步骤，后随以一个增加1(INC1)的子步骤和一个k值再初始化(INIK)的子步骤。

对数值a_k(l+1)进行计算(PI)的子步骤应用抛物内插来执行。第一次抛物内插的执行针对着与三个相邻像素相对应的价值函数的数值。然后，新的抛物内插的执行针对着这样三个像素，它们最接近先前找到的抛物波的最小值。当抛物波的最小值包含在三个试探的像素所确定的窗口内时，程序便结束。这样一种计算方法增进了最优化步骤的收敛。当抛物内插运算不可能时(也就是，当抛物波有一个最大值而不是最小值时)，a_k(l+1)之数值的计算就应用一种梯度递降来进行，该梯度递降中逐步比较相邻像素的价值函数数值，直至达到所述价值函数的最小值。

当l＝0时，如图1中所示明，使价值函数最小化中8个运动参数依从的方向对于横座标是水平方向运动，对于纵座标是垂直方向运动。当l≥1时，如图4中所示明，对于最优化所依从的方向是给定最后的变形所考察的方向。最优化方向确定为从顶点A(l-1)到顶点A(l)的方向d₁(l)以及其垂线方向d₂(l)，并对于另外的顶点有类同的情况。

本运动估值方法也能够应用在产生诸如一个子画面或一个马赛克之类一个大静止图像M(n)时的一种方法及其相应的装置中。这样一种方法表明于图5中。

三个主要步骤可以构组一个大静止图像M(n)生成。首先，必须执行按照本发明的综合运动估值步骤(ME)，以便将输入帧F(n)与已经由先前各帧F(1)、F(2)、.......F(n-1)组成的大静止图像帧融合一起。所述综合运动估值步骤(ME)可给出各个运动参数a_k。然后，应用诸运动参数来对当前帧进行补偿，这第二步也称为挠曲(WAR)。最后，挠曲的当前帧F(n)与大静止图像M(n-1)相混和(BLE)，以形成一个新的增大的大静止图像M(n)，它给出了该景像的一个全貌视图，并存储入一个存储器(MEM)中，以便与下一个输入帧F(n+1)相融合，如此等等。

Claims (9)

1.一种在一个图像帧序列的输入帧F(n)与一个大静止图像M(n-1)之间进行运动估值的方法，所述大静止图像由所述序列中先前各帧F(1)…F(n-1)构成，所述运动估值方法应用了一个基于一种二维透视变换的运动模型，该运动模型中包含8个运动参数，并包括一个价值函数的优化步骤，所述8个运动参数是输入帧的4个顶点的座标，使所述诸顶点在两个方向上接连地移动，以寻找出与该价值函数的一种优化相对应的一个运动参数估值，其特征在于，所述价值函数，对于一组像素，是由一个像素p的原来值与预测值之间的差值r_p的平方与涉及差值r_p的一个加权系数W_p的乘积之和得出的。

2.如权利要求1的运动估值方法，其特征在于，所述价值函数定义为

$\underset{p}{\mathrm{\Σ}}\frac{1}{2}{w}_p{r_p}^2.$

3.如权利要求2的运动估值方法，其特征在于，所述加权系数w_p是差值r_p之倒数和ρ(r_p)之导数的函数，式中，ρ是一个对称的正定函数，在r_p＝0时有唯一的最大值。

4.如权利要求1的运动估值方法，其特征在于，所述价值函数定义为

$\cos t\left(r_p\right)=\frac{\underset{p/({\mathrm{grad}}_p\≥T)}{\mathrm{\Σ}}{w}_p{r_p}^2}{\underset{p/({\mathrm{grad}}_p\≥T)}{\mathrm{\Σ}}{w}_p}$

式中，T是一个阈值。

5.如权利要求4的运动估值方法，其特征在于，所述加权系数w_p定义为

$w_p=\frac{2}{2+\frac{{r_p}^2}{1+{{\mathrm{grad}}_p}^2{\mathrm{\σ}}^2}}$

式中，grad_p是一个像素p的梯度，σ是一个比例因子。

6.如权利要求1的运动估值方法，其特征在于，该运动估值方法包括一个步骤，即应用一种二维平移变换对两个最初的图像帧进行所述运动参数的自动初始化。

7.如权利要求1的运动估值方法，其特征在于，该运动估值方法包括一个第一种迭代方法，在每次迭代中，包含用所述最优化步骤来确定8个运动参数的估值，后随一个计算步骤，即通过计及最后的变形来计算4个顶点中每一个在两个方向上的移动，所述迭代方法一直进行至达到一个规定的准则。

8.如权利要求7的运动估值方法，其特征在于，所述最优化步骤中包括一个第二种迭代方法，在每次迭代中，对所述价值函数的诸数值进行抛物内插运算，以便接连地估值各个运动参数。

9.一种产生大静止图像M(n)的方法，包括以下步骤：

在一个图像帧序列的输入帧F(n)与一个大静止图像M(n-1)之间进行运动估值，所述大静止图像由所述序列中先前各帧F(1)…F(n-1)构成，所述运动估值应用了一个基于一种二维透视变换的运动模型，该运动模型中包含8个运动参数，并包括一个价值函数的优化步骤，所述8个运动参数是输入帧的4个顶点的座标，使所述诸顶点在两个方向上接连地移动，以寻找出与该价值函数的一种优化相对应的一个运动参数估值，所述价值函数，对于一组像素，是由一个像素p的原来值与预测值之间的差值r_p的平方与涉及差值r_p的一个加权系数W_p的乘积之和得出的；

应用已估值的诸运动参数对输入帧F(n)进行补偿；

使已补偿的输入帧F(n)与大静止图像M(n-1)相混合，以形成大静止图像M(n)。

Images