CN1468004A - 基于时空梯度范围和分层结构的全局运动估计方法 - Google Patents

Abstract

一种基于光流方程的时空梯度范围分析和分层结构的全局运动估计方法，其处理步骤包括：先对输入的两帧图像进行高斯低通滤波和下采样处理，然后做STGS预分析得到重要的全局运动信息，特别是关于无效区的信息；接着把这些信息运用到参数估计模块中，并且利用最小化中的迭代方法寻找最佳的估计参数；最后把这些结果用于后续的视频压缩、运动的分割和视频信息分类处理。本发明可应用于视频编码压缩、视频对象分割、视频信息分类检索以及镶嵌等方面，特别是在MPEG－4中的精灵的产生和视频对象的分割尤其重要。本发明对全局运动估计准确、快速。

Description

基于时空梯度范围和分层结构的全局运动估计方法

技术领域

本发明涉及一种在两种运动模型下进行全局运动估计的方法，具体地说，是一种适用于视频编码标准MPEG-4/7的基于Special Temporal GradientScale(光流方程的时空梯度范围)分析和分层结构的全局运动估计方法。

背景技术

在一般情况下，在任何一种运动模型下进行全局运动估计都是利用估计的误差ε(x，y)作最小化处理，从而得到估计的运动参数。如果对误差进行简单的平方求和，然后求最小乘方意义下的各个参数，最后得到的估计效果太差，而且往往陷入局部最小值的陷阱中，导致估计失败。因此，一般是产生一个加权函数ω(ε)来纠正或改进参数估计，这个函数的设计反映了不同的估计思想，最常见是Geman-Mclure，Andrew’s sine和Turkey’s biweight等加权函数，但是这些函数不是抗错性不好就是没有全局唯一的最小值，更糟糕的是这些函数是高阶、非线性的，计算量很大，因此，找一个合适的加权函数对于估计过程尤为重要。

另外，从运动信息的挖掘和利用角度看，以前的一系列的估计方法都是没有预先对图像进行全局运动信息分析的，这样得到的估计过程收敛很慢。目前比较好的做法是采用STGS分析技术。但是在STGS分析的方式和STGS信息的利用方式上仍值得深入研究。

在运动模型的使用上，一般采用单一的运动模型。由于平移模型对于镜头的旋转或焦距的调节无法作出正确的描述，而仿射模型对于大的平移运动估计的误差却很大，更高阶的模型则计算复杂度太大。因而，运动模型的使用对运动估计的效果有重要的影响。

发明内容

本发明的目的在于克服已有技术的缺陷，提供一种基于光流方程的时空梯度范围分析和分层结构()的全局运动估计方法。

本发明的技术方案如下：

根据本发明的一种基于STGS(光流方程的时空梯度范围)分析和分层结构的全局运动估计方法，其处理步骤包括：第一步，先对输入的两帧图象进行高斯低通滤波和下采样处理，然后做STGS预分析得到重要的全局运动信息，特别是关于outliers(无效区)的信息；第二步，接着把这些信息运用到参数估计模块中，并且利用最小化中的迭代方法寻找最佳的估计参数；第三步，最后把这些结果用于后续的视频压缩、运动的分割和视频信息分类处理。

进一步，所说的对输入的两帧下采样图像进行STGS分析的步骤是指对输入的连续两帧下采样图像I₀(ax，ay，t-1)和I₁(ax，ay，t)进行STGS预分析，其中a为下采样因子；所说的对输入的连续两帧下采样图像进行STGS预分析的步骤包括利用水平和垂直两个空间上的STGS分析图像，通过对其滤波后并对该两幅STGS图像进行加权，得到一个综合的STGS图像，以其作为outliers mask(无效区掩膜)；利用所说的outliers mask作为估计平移参数作为的重要信息并利用所说的outliers mask来设计ω₀(ε)，然后再根据误差大小来设计ω(ε)；

所说的参数估计系采用两层的参数估计结构，先是做平移模型的参数估计，把估计得到的平移参数用于第二层的仿射模型的参数估计，并且通过基于I₀帧图像的卷绕得到预测图像；接着进行仿射模型的参数估计，利用平移模型估计的结果用于改善仿射模型的参数估计；最后仿射模型的参数在已有的预测图像基础上进行基于I₀帧的图像卷绕得到最终的预测图像。本发明具有如下的优点：

1.有效地挖掘和利用运动信息：

利用光流方程式推导出的STGS图像预分析方法，对于确定全局运动中的outliers非常有效，而且可以提供比较准确的初始搜索方向，计算代价较低。本发明利用STGS得到的运动信息确定了outliers的范围，排除它对全局运动估计的影响，在最小化过程中找到最佳的搜索方向。

特别是本发明方法先对输入的连续两帧图像进行下采样，而后才做STGS分析。这种方法可以减少噪声对STGS分析的影响，忽略那些可以不考虑的小outliers，更利于真正的大outliers的检测而且计算量更小；接下来是对两幅滤波后的STGS图像进行加权，得到一个加权的STGS分析图像，这样更充分地利用了全局运动信息。

2.本发明方法使用由STGS图像得到的关于outliers的信息来选取初始加权函数，这样的估计具有更快的收敛速度。

3.本发明同时采用两种运动模型，进行分层结构的参数估计，即两层结构：第一层是采用平移模型，第二层采用仿射模型，这样的结构可以弥补单一模型的不足，提高估计准确度，从而产生好的预测图像。

附图说明

图1是本发明的全局运动估计方法处理框图；

图2是本发明提到的STGS分析流程图；

图3是本发明分层结构的参数估计模块图。

具体实施方式

本发明提到的全局运动估计方法的主要处理步骤是：先对输入的连续两帧图像进行下采样，然后做STGS预分析得到重要的全局运动信息，特别是关于outliers的信息；接着是把这些信息运用到参数估计模块中，并且利用最小化中的迭代方法寻找最佳的估计参数；最终把这些结果用于后续的视频压缩、运动的分割和视频信息分类等处理。

根据图1可以看出总的模块组成结构：当前帧(I₁)输入当前帧存储器10，前一帧I₀存储在前一帧存储器12，这两帧I₀、I₁输入到STGS图像预分析模块11和分层结构的参数估计模块13，其中STGS图像预分析得到的数据也要输入分层结构的参数估计模块13中，最后进入后续处理14。下面将详细描述这一系列处理过程。

图2描述了STGS图像预分析这一过程。首先，在运动估计之前，对输入的连续两帧下采样图像I₀(ax，ay，t-1)和I₁(ax，ay，t)经由图像高斯低通滤波处理模块110滤波后进入下采样图像STGS分析模块111进行STGS预分析，其中a为下采样因子。在本实施例中以2∶1(即a＝2)的下采样比率为例，即I₀(2x，2y，t-1)和I₁(2x，2y，t)进行STGS预分析，令x＝2x，y＝2y： $G_h(x,y)=\frac{I_t(x,y)}{I_h(x,y)}$ $G_v(x,y)=\frac{I_t(x,y)}{I_v(x,y)}$ 其中G_h(x，y)和G_v(x，y)分别是水平和垂直方向的STGS分析图像；I_t(x，y)是I₀和I₁之间的时间梯度图像；I_h(x，y)和I_v(x，y)分别是当前I₁水平和垂直空间的梯度图像，它们分别被送入水平方向STGS图像三灰度级处理模块112和垂直方向STGS图像三灰度级处理模块113。其次，对利用G_h(x，y)和G_v(x，y)值的符号对其进行灰度值处理，得到灰度级的SG_h(x，y)和SG_v(x，y)。具体的方法可以是：在水平方向上，如果G_h(x，y)大于0则相应像素的灰度值为255，如果小于0则为0，如果I_t(x，y)或I_h(x，y)等于0则为128；对于G_v(x，y)做相同的处理。

然后，把这两个方向上的STGS图像送入滤波和加权模块114并对灰度级的SG_h(x，y)和SG_v(x，y)做中值滤波(或形态滤波)处理进行加权，得到综合的STGS图像，最后对综合的STGS图像送入上采样处理模块115进行上采样得到outliers mask(无效区掩膜)，这样完成了对outliers(无效区)的信息提取的过程，并最后，把得到的outliers mask送入STGS预分析信息(outliers mask)模块116。

从图1可见，参数估计过程是在分层结构的参数估计模块13中实现的。如图3所示，先是将两帧图像I₀帧和I₁帧输入二参数平移模型估计模块132做平移模型的参数估计，把估计得到的平移参数分别送入图像卷绕模块133和六参数仿射模型估计模块134用于第二层的仿射模型的参数估计，并且在图像卷绕模块133中进行基于I₀帧图像卷绕得到预测图像；接着进行仿射模型的参数估计，利用平移模型估计的结果可以改善仿射模型的参数估计；最后利用仿射模型的参数在已有的预测图像基础上做基于I₀帧的图像卷绕模块135上进行图像卷绕得到最终的预测图像。

上述的第一层是用二参数的平移运动模型：

其中a0和b0是平移分量，作为下面的仿射模型估计的平移参量的初始值。利用outliers mask信息来估计平移参数，这样的计算效率提高了。在左上角顶点为原点(0，0)的情况下，mask＝0的区域，a0是正值而b0为负；mask＝255的区域，a0是负值而b0是正值；mask＝128则均为0。这样根据outliersmask的值就可确定该区域的运动方向，从而提高估计的速度。

第二层是基于仿射运动的运动估计模型，即仿射变换： $\left[\begin{array}{c}x1\\ y1\end{array}\right]=\left[\begin{array}{cc}a1& a2\\ b1& b2\end{array}\right]\left[\begin{array}{c}x0\\ y0\end{array}\right]+\left[\begin{array}{c}a0\\ b0\end{array}\right]$ 这样要估计的参数矢量就是 $\stackrel{\→}{a}=(A,D),$ 令 $A=\left[\begin{array}{cc}a1& a2\\ b1& b2\end{array}\right]$ 和平移参数 $D=\left[\begin{array}{c}a0\\ b0\end{array}\right],$ x是像素的坐标对，整个变换函数可以写成：

             F(x，a)＝Ax+D于是，预测图像I₀和I₁图像间的残差 $\mathrm{\ϵ}\left(x\right)=I_1\left(x\right)-I_0\left(F(x,\stackrel{\→}{a})\right),$ 根据经典的robust M-estimator(鲁棒性M-估计)有最小化过程中的目标函数： $\min \underset{x\∈\mathrm{\Ω}}{\mathrm{\Σ}}{\mathrm{\ω}}^2\left(\mathrm{\ϵ}\right){{\mathrm{\ϵ}}_x}^2$ 其中x是坐标对(x，y)，Ω是估计的图像区域，一般是整幅图像。在本实施例中先利用前面产生的outliers mask来设计ω₀(ε)，然后再根据误差大小来设计ω(ε)，从而有效的消除outliers对参数估计的影响，提高准确度和效率，即：

(1)初始时刻，利用outliers mask来设计ω₀(ε)的方法可以是：

(2)由于考虑了图像STGS预分析得到的outliers mask信息，因此在迭代过程中的ω(ε)设计可以简化如下：

其中，c是一个可调的正参数；而μ是图像区域的误差的方差。

根据本发明的估计方法，在对目标函数进行最小化过程中，仍然可以采用常用的线性迭代方法，诸如高斯-牛顿、SOR、Levenberg-Marquardt等算法。

Claims (6)

1.一种基于光流方程的时空梯度范围分析和分层结构的全局运动估计方法，其处理步骤包括：先对输入的两帧图像进行高斯低通滤波和下采样处理，然后做STGS预分析得到重要的全局运动信息，特别是关于无效区的信息；接着把这些信息运用到参数估计模块中，并且利用最小化中的迭代方法寻找最佳的估计参数；最后把这些结果用于后续的视频压缩、运动的分割和视频信息分类处理。

2.根据权利要求1所述的基于光流方程的时空梯度范围分析和分层结构的全局运动估计方法，其特征在于，所说的对输入的两帧下采样图像进行STGS分析的步骤是指对输入的连续两帧下采样图像I₀(ax，ay，t-1)和I₁(ax，ay，t)进行STGS预分析，其中a为下采样因子。

3.根据权利要求2所述的基于光流方程的时空梯度范围分析和分层结构的全局运动估计方法，其特征在于，所说的对输入的连续两帧下采样图像进行STGS预分析的步骤包括利用水平和垂直两个空间上的STGS分析图像，通过对其滤波后的该两幅STGS图像进行加权，得到一个综合的STGS图像，以其作为无效区掩膜。

4.根据权利要求3所述的基于光流方程的时空梯度范围分析和分层结构的全局运动估计方法，其特征在于，利用所说的综合的STGS图像的无效区掩膜作为估计平移参数的重要信息。

5.根据权利要求3所述的基于光流方程的时空梯度范围分析和分层结构的全局运动估计方法，其特征在于，利用所说的无效区掩膜来设计ω₀(ε)，然后再根据误差大小来设计ω(ε)。

6.根据权利要求1或2所述的基于光流方程的时空梯度范围分析和分层结构的全局运动估计方法，其特征在于，所说的参数估计系采用两层的参数估计结构，先是做平移模型的参数估计，把估计得到的平移参数用于第二层的仿射模型的参数估计，并且通过基于I₀帧图像的卷绕得到预测图像；接着进行仿射模型的参数估计，利用平移模型估计的结果来改善仿射模型的参数估计；最后仿射模型的参数在已有的预测图像基础上进行基于I₀帧的图像卷绕得到最终的预测图像。

Images