CN1917642A - 迭代计算全局运动参数集的方法和设备 - Google Patents

Abstract

公开了一种迭代计算全局运动参数集的方法和设备。全局运动估计技术在高级视频编码中发挥重要的作用。全局运动估计对于提高编码效率十分有用。但是，由于使用多参数模型和迭代处理，全局运动估计复杂度较高。本发明基于4参数线性全局运动估计模型。在迭代过程中，从帧的特定块运动矢量计算全局运动参数集。在每一次迭代循环，根据给定规则集处理对称运动矢量块中的运动矢量异常值，从而在迭代过程期间保持对称结构。

Description

迭代计算全局运动参数集的方法和设备

技术领域

本发明涉及一种针对图像或图像序列，从指定给每幅图像所划分的块的运动矢量，迭代计算全局运动参数集的方法和设备，其中不是图像的所有块运动矢量都用于全局运动参数计算。

背景技术

全局运动估计(GME)技术在高级视频编码中发挥重要的作用，例如在MPEG-4 Visual视频编码标准中的‘sprite’视频编码技术中，以及在H.263+视频编码标准的附录P中的‘参考图像重采样’技术中。全局运动估计对于提高编码效率(特别对于低比特率编码)、优化的比特分配、通过检查不同运动属性来获取如前景内容和背景内容的低级内容分析信息中的粗视频分割都十分有用，并且对于一些如空中侦察的特殊场景的编码十分有用。

图1示出了执行全局运动估计的总体流程图。在输入参考帧和当前帧之后，选择要使用的全局运动模型。然后，使用迭代处理(例如Gauss-Newton、Gauss-Raphson、Marquardt-Levenberg和迭代最小平方法)来估计候选全局运动参数。每次迭代循环之后、开始下一次迭代循环之前，识别并去除一些块运动矢量异常值(outlier)，直到接收到最优参数，即，足够精确的运动参数。

但是，由于使用多参数模型(4参数、6参数或甚至8参数模型)和迭代处理，GME复杂度较高。已经提出一些快速GME算法来解决这个问题：

[1]Tuan-Kiang Chiew，James T.H.Chung-How，et al.，“RapidBlock-Based Global Motion Estimation and its Applications”，ICCE，June2002；

[2]Gagan B.Rath，Anamitra Makur，“Iterative Least Squares andCompression Based Estimations for a Four-Parameter Linear Global MotionModel and Global Motion Compensation”，IEEE Transactions on Circuitsand Systems for Video Technology，volume 9，number 7，October 1999，pages 1075-1099；

[3]G.Sorwar，M.M.Murshed and L.S.Dooley，“Fast Global MotionEstimation using Iterative Least-Square Estimation Technique”，2003 JointConference of the Fourth International Conference on Information，Communications and Signal Processing and Fourth Pacific-Rim Conferenceon Multimedia，ICICS-PCM，Singapore，15-18 December 2003；

[4]Sanjeev Kumar，Mainak Biswas and Truong Q Nguyen，“GLOBALMOTION ESTIMATION IN FREQUENCY AND SPATIAL DOMAIN”，ICASSP，May 2004.

以下描述中提到另外三份文献：

[5]Yuwen He，Bo Feng，Shiqiang Yang，et al.，“Fast Global MotionEstimation for Global Motion Compensation Coding”，ISCSA，May 2001；

[6]Yeping Su，Ming-Ting Sun，Vincent Hsu，“Global MotionEstimation From Coarsely Sampled Motion Vector Field And theApplications”，ISCSA，May 2003；

[7]Joerg Heuer，Andre Kaup，“Global Motion Estimation in ImageSequences Using Robust Motion Vector Field Segmentation”，ACMinternational conference on Multimedia，Nov.1999.

在现有技术中，可以将全局运动估计方法粗略归纳为两类：空域GME和频域GME。

发明内容

本发明涉及空域中的全局运动估计处理。

在设计GME处理中，计算复杂度和运动估计精确度是两个主要考虑之处。使用高精度模型(即，有更多运动参数的模型)将增强GME性能，但是由此导致的处理复杂度也将相应增加。

已知GME算法努力在复杂度和精确度之间实现非最优权衡。

一些方法(参见[1][2][3][5][6])使用简单模型，或使用子采样和层次结构，来降低复杂度。因此，通常使用SSD(平方差和)或SAD(绝对差和)作为误差度量。典型地通过例如Gauss-Newton、Gauss-Raphson、Marquardt-Levenberg和迭代最小平方法的梯度下降迭代方法来实现SSD最小化。由于独立运动物体的干扰和错误匹配运动，如果不消除与真实全局运动估计不匹配的块运动矢量异常值，则估计精确度很低。因此这些算法使用不同策略，在迭代期间去除异常值，以改善精度。

但是，需要精度不降低的低复杂度的GME处理。根据文献[2]和[3]中描述的算法，以及一些附加假设和精细的对称结构，描述一种创新的迭代最小平方运动估计，其以降低的复杂度计算全局运动参数，但保持运动参数精确度或精度。

本发明要解决的问题是使用低复杂度处理来提供精确的全局运动参数。权利要求1中公开的方法解决了该问题。权利要求9中公开了对应的存储介质。权利要求2中公开了使用该方法的设备。

本发明采用快速全局运动参数估计处理，其中迭代最小平方估计(ILSE)是基于4参数线性全局运动估计模型的。

基本上，对于帧中的每个块或宏块，预先计算运动矢量。从该帧涉及的所有块或宏块运动矢量，逐图像地计算单个全局运动参数集，或单个全局运动矢量。

在迭代循环的第一步，根据物体的运动大多集中在图像中心和一些运动物体将从外部移入图像的假设，以及根据预分析(例如，局部运动矢量信息，例如针对只具有微弱纹理信息，且不位于图像内容中的边缘处的块的不可靠零运动矢量)，去除异常值点(即，异常值块或宏块运动矢量)。此外，为了在迭代过程期间保持对称结构，建立细化用的多个规则，由此推导出可以保持最小平方估计结果的简化表达，以减少计算负荷。在每个迭代循环，从剩余运动矢量值和剩余已纠正的运动矢量值，计算更新的候选全局运动估计参数。继续迭代，直到达到需要或足够的精确度，或直到达到给定的循环次数。如以下详细所述，使用本发明，在第一次迭代中减少大约68％的计算负荷，在随后的迭代中，在参数a₁和a₃的计算期间，消除50％的加法运算，并且在参数a₂和a₄的计算期间，消除100％的乘法运算和75％的加法运算。

本发明可以用于视频编码和分割中的优化处理。

原理上，本发明方法适合针对图像或图像序列，从指定给每幅图像所划分的块或宏块的运动矢量，迭代地计算全局运动参数集，其中，不是图像的所有块或宏块运动矢量，而是只有位于所述图像边界附近的环中且不是边界上的块或宏块的运动矢量，才用于所述全局运动参数计算，其中针对每次迭代循环，执行以下步骤：

-针对所述块或宏块的环中与预定数量的块或宏块相关的每个对称块组，检查运动矢量的数量，其中当与从最新的候选全局运动参数集计算的、对应块或宏块位置的对应运动矢量相比较时，所述运动矢量的运动量值，或所述运动矢量的运动分量值是异常值；

-根据给定的规则集，针对当前和进一步要执行的迭代循环，决定是要纠正和保留对应的对称块组的一个或多个原始运动矢量值，还是不再使用对应的对称块组的运动矢量值；

-从结果运动矢量值计算更新的候选全局运动参数集；

-检查是否达到需要的或足够的所述集的精确度，或是否达到给定的迭代次数，如果是，输出对应的全局运动参数集，如果不是，继续下一次迭代循环。

在原理上，本发明的设备适合针对图像或图像序列，从指定给每幅图像所划分的块或宏块的运动矢量，迭代地计算全局运动参数集，其中，不是图像的所有块或宏块运动矢量，而是只有位于所述图像边界附近的环中且不是边界上的块或宏块的运动矢量，才用于所述全局运动参数计算，所述设备包括：

-装置，适用于在每次迭代循环，针对所述块或宏块的环中与预定数量的块或宏块相关的每个对称块组，检查运动矢量的数量，其中当与从最新的候选全局运动参数集计算的、对应块或宏块位置的对应运动矢量相比较时，所述运动矢量的运动量值，或所述运动矢量的运动分量值是异常值；

-装置，适用于根据给定的规则集，针对当前和进一步要执行的迭代循环，决定是要纠正和保留对应对称块组的一个或多个原始运动矢量值，还是不再使用对应的对称块组的运动矢量值；

-装置，适用于从结果运动矢量值计算更新的候选全局运动参数集；

-装置，适用于检查是否达到需要的或足够的所述集的精确度，或是否达到给定的迭代次数，如果是，输出对应的全局运动参数集，如果不是，继续下一次迭代循环。

各项从属权利要求中公开了本发明的其它有利的实施例。

附图说明

参考附图描述本发明的范例实施例，其在以下附图中示出：

图1全局运动估计流程图；

图2全局运动估计的运动矢量采样选择；

图3四个对称点之一是异常值；

图4四个对称点中两个是异常值；

图5四个对称点中三个是异常值；

图6本发明的全局运动估计器。

具体实施方式

全局运动模型

全局运动模型有例如2参数平移模型、4参数旋转-缩放-平移(RST)模型、6参数仿射模型和8参数射影模型。通常，模型使用参数越多，就能够越精确地描述全局运动，但同时复杂度也将显著提高。

尽管如此，因为通常摄像机旋转的发生频率比变焦和全景少得多，所以出版物[2]提出针对全局运动的通用4-参数模型。该模型不仅包括由摄像机运动引起的运动，还包括由全局物体引起的运动，即，物体占据。

可以将变焦(zooming)和摇镜头(panning)模型分成下列两个模型。设视频帧中有N个块用于计算GME参数，并假设块的运动矢量是该块中心像素的运动矢量。设(mv_x(k)，mv_y(k)是块k(k＝0，1，...，N-1)的局部运动矢量，相对于帧的中心，块k的中心像素坐标是(x(k)，y(k))。在这点上，摄像机运动模型可以表示如下。摇镜头在变焦之后：

$\left[\begin{array}{c}{\mathrm{mv}}_x\left(k\right)\\ {\mathrm{mv}}_y\left(k\right)\end{array}\right]=\left[\begin{array}{c}{z}_{x}x\left(k\right)\\ z_{y}y\left(k\right)\end{array}\right]+\left[\begin{array}{c}{p}_x\\ p_y\end{array}\right]---\left(1\right)$

其中k是一帧内部的连续块数，mv_x是第k块的运动矢量的水平方向x-分量值，mv_y是第k块的运动矢量的垂直方向y分量值，z_x是第k块的变焦因子的水平方向分量，z_y是第k块的变焦因子的垂直方向分量，p_z是摇镜头因子的水平方向分量，p_y是摇镜头因子的垂直方向分量。

变焦在摇镜头之后：

$\left[\begin{array}{c}{\mathrm{mv}}_x\left(k\right)\\ {\mathrm{mv}}_y\left(k\right)\end{array}\right]=\left[\begin{array}{c}{z}_x(x\left(k\right)+p_x)\\ z_y(y\left(k\right)+p_y)\end{array}\right]+\left[\begin{array}{c}{p}_x\\ p_y\end{array}\right]$

$=\left[\begin{array}{c}{z}_{x}x\left(k\right)\\ z_{y}y\left(k\right)\end{array}\right]+\left[\begin{array}{c}(1+z_x)p_x\\ (1+z_y)p_y\end{array}\right]---\left(2\right)$

可由根据本发明使用的单个模型概括这两个模型：

$\left[\begin{array}{c}{\mathrm{mv}}_x\left(k\right)\\ {\mathrm{mv}}_y\left(k\right)\end{array}\right]=\left[\begin{array}{c}{a}_{1}x\left(k\right)\\ a_{3}y\left(k\right)\end{array}\right]+\left[\begin{array}{c}{a}_2\\ a_4\end{array}\right]---\left(3\right)$

其中

a₁＝z_x和a₂＝f₁(p_x，z_x)

a₃＝z_y和a₄＝f₂(p_y，z_y)

a₁，a₂，a₃和a₄是全局运动参数。

该处理与图1中的步骤12相对应。

迭代最小平方估计(ILSE)处理

考虑[1]中采用的迭代最小平方估计处理，通过采用以下标准获得全局运动参数a₁，a₂，a₃和a₄的最优值：

$\underset{a_1,a_2}{\min }\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{({\mathrm{mv}}_x\left(k\right)-a_{1}x\left(k\right)-a_2)}^2---\left(4\right)$

$\underset{a_3,a_4}{\min }\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{({\mathrm{mv}}_y\left(k\right)-a_{3}y\left(k\right)-a_4)}^2---\left(5\right)$

其中N是计算中涉及的块的总数，即，每帧中、块的运动矢量用于计算该帧的全局运动的块的数量。

表达式(4)和(5)用于分别计算全局运动参数的x和y值。将表达式(4)和(5)对参数a₁，a₂，a₃和a₄求微分，并设微分值为0(从而找到最小值)，获得下列方程：

$a_1=\frac{N\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{mv}}_x\left(k\right)x\left(k\right)-\left(\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{mv}}_x\left(k\right)\right)\left(\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}x\left(k\right)\right)}{N\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{x}^2\left(k\right)-{\left(\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}x\left(k\right)\right)}^2}---\left(6\right)$

$a_2=\frac{\left(\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{mv}}_x\left(k\right)\right)\left(\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{x}^2\left(k\right)\right)-\left(\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{mv}}_x\left(k\right)\right)\left(\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}x\left(k\right)\right)}{N\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{x}^2\left(k\right)-{\left(\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}x\left(k\right)\right)}^2}---\left(7\right)$

$a_3=\frac{N\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{mv}}_y\left(k\right)y\left(k\right)-\left(\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{mv}}_y\left(k\right)\right)\left(\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}y\left(k\right)\right)}{N\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{y}^2\left(k\right)-{\left(\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}y\left(k\right)\right)}^2}---\left(8\right)$

$a_4=\frac{\left(\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{mv}}_y\left(k\right)\right)\left(\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{y}^2\left(k\right)\right)-\left(\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{mv}}_y\left(k\right)\right)\left(\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}y\left(k\right)\right)}{N\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{y}^2\left(k\right)-{\left(\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}y\left(k\right)\right)}^2}---\left(9\right)$

迭代执行以上过程，来消除局部运动存在的影响，并且每次迭代消去与当前全局运动域不匹配的块运动矢量(和运动矢量异常值)。根据本发明，使用特殊的异常值消去处理，从而在这些迭代期间保持对称结构。

优化的ILSE处理-采样选择

[2]和[7]中提出的算法使用帧的所有像素块(即，所有块运动矢量)进行GME，这增加了计算复杂度，并由于图像中运动物体的干扰影响，降低了预测精确度。

根据本发明的全局运动估计基于以下假设：在大多数带有全局运动的视频序列中，运动物体只遮蔽了少量块，并且这些物体大多位于帧中部或在帧中部周围，但极少靠近帧的边界。因此，不必使用所有块的运动矢量，只要少量块，特别是位于帧边界附近(如图2所示)的块的运动矢量就足以计算全局运动参数。

[3]中公开的算法提出一种采样方法，使用帧边界附近的网格块来减少计算负荷，并且该算法想要保持全局运动参数的精确度。

图2示出带有像素块或宏块网格的帧或图像FR，其中局部运动矢量属于每个块。但是，在帧的由最外部像素块网格G1(由包括白色圆的块表示)代表的图像区域，由于运动物体进入、运动物体消失或其它边界伪象，测量的运动矢量通常不与真实的运动矢量匹配。因此，根据本发明，对于全局运动参数的计算，不考虑位于帧边界的块或宏块的运动矢量，而只将由例如像素块网格G2(次外部网格环，由包括阴影圆的块表示)和G3(第三最外部网格环，由包括黑色圆的块表示)用于GME，即，将先前计算(例如，使用熟知的块匹配技术)的、网格G2和G3的每个块的局部运动矢量用于计算该帧的全局运动参数，即，在图1的步骤13，只使用位于区域G2和G3内的参考块的局部运动矢量。

作为可选方法，例如，不考虑G2区域的运动矢量，而是/或者考虑位于比G3区域更靠内部的一个或多个块环或宏块环的运动矢量。

优化的ILSE处理-对称采样

在以下描述中，使用对称块组的概念来在计算中保持对称结构。设对称块组是四个块，包括区域G2或G3中的任何块(‘采样’)和其对应的三个对称块：一个关于x轴对称，另一个关于y轴对称(x/y轴相交于帧中心)，以及第三个关于帧中心对称，如图2中的三个示例块组所示：

一个块组由‘+’标记，另一个由‘×’标记，以及第三个由‘◇’标记。

在上述迭代ILSE处理的第一步，由于所测量运动矢量的对称结构，所以可以用方程(10)到(13)分别有利地简化上述方程(6)到(9)：

$a_1=\frac{\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{mv}}_x\left(k\right)x\left(k\right)}{\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{x}^2\left(k\right)}---\left(10\right)$

$a_2=\frac{\left(\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{mv}}_x\left(k\right)\right)}{N}---\left(11\right)$

$a_3=\frac{\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{mv}}_y\left(k\right)y\left(k\right)}{\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{y}^2\left(k\right)}---\left(12\right)$

$a_4=\frac{\left(\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{mv}}_y\left(k\right)\right)}{N}---\left(13\right)$

因为最初考虑了所有具有运动矢量异常值的块或宏块，所以候选全局估计参数集将受到局部运动矢量的影响。每次迭代之后，使用所计算的候选全局估计参数来消除这种局部运动的影响。这通过采用以下解释的规则来执行。

通常，在第一次迭代之后，由于去除异常值后的不对称采样结构，所以简化方程(10)到(13)不再有效。但是，根据本发明，采样以下改善规则来保持对称结构，从而仍然可以使用简化方程(10)到(13)，减少计算负荷。在每次迭代步骤之后，将有用的块运动矢量重新组织成这部分如上所述的对称块组。通过应用发明规则，在已去除异常值之后，可以为下一次迭代保持可用点的对称结构。

用于保持对称结构的规则

最初，在迭代循环之前，可以从位于区域G2和G3的块的所有运动矢量，计算候选全局运动参数。采用以下规则，为下一次迭代保持可用点的对称结构。

图3到5代表相对于图2中完整网格的部分网格。

A)在下述情况下：如图3中阴影圆所示，四个对称点之一是异常值，即，相对于所计算的块位置的最新候选全局运动，该块位置的运动矢量具有运动量异常值，或具有至少x或y运动分量异常值：

为当前和下一次迭代步骤保留这个异常值位置，但是用由最新全局运动参数计算的该块位置的运动矢量替代这个异常值位置的当前运动矢量。

B)如图4中阴影圆所示，在四个对称点中的两个是异常值的情况下：

将在去除块组的所有四个运动量值或运动分量值之后，剩余的有用块的运动量值或运动分量值与预定阈值T_valid相比较，如果该阈值高于剩余有用块的运动量值或运动分量值，则认为这个当前块组的所有四个运动量值或运动分量值代表异常值，并为下一次迭代循环消去对应块的运动矢量或运动分量值，

否则，为下一次迭代循环保留这两个异常值位置，但是用从最新候选全局运动参数集中计算的该块或宏块位置的运动矢量，替代这两个异常值位置的当前运动矢量。

C)如图5中阴影圆所示，在四个对称点中的三个是异常值的情况下：

认为这四个点全部代表异常值，并从当前和随后的迭代全局运动估计处理中消去对应块的运动矢量。

在每个全局运动估计处理迭代步骤中，按照规则A)到C)检查网格区域G2和G3的所有当前剩余块组的块/宏块运动矢量。作为可选方法，块组可以包含除‘4’之外的其它数量的对称块，例如，8或12。在这种情况下，对应地采用上述规则。

优化的ILSE处理-不可靠零运动矢量的消除

因为通常将SSD(差平方和)和SAD(绝对差和)用作搜索运动矢量时的误差矩阵(即，用于运动矢量误差计算)，所以得到的运动矢量不代表真实的摄像机运动，特别是在背景中存在大块光滑图像内容区域的情况下。因此，在带有摄像机运动的视频序列中，不可靠零运动矢量(0，0)不代表真实的场景运动。此外，从方程(10)到(13)可看出，不可靠零运动矢量将对计算带来干扰。因此，通过进一步应用以下规则，减小或甚至消除不可靠零运动矢量的影响：

D)将块的不可靠零运动矢量认为是异常值；

E)在每一帧累积具有候选零运动的块的数量N_zero。如果N_zero大于预定阈值T_still，则认为场景是不带摄像机运动的静止场景，不需要该帧的进一步全局运动矢量估计，即，认为该帧中的场景没有全局运动。

上述优化的ILSE处理与图1中的步骤13到15相对应。

性能分析-第一次迭代的计算负荷减小

如图2所示，因为只使用G2和G3区域的块，而不是帧的所有块，所以运算次数将变少很多。在以像素计算，帧的大小是[宽，高]＝[352，288]，选择宏块作为处理单元，并且块的大小是[N，N]＝[16，16]的情况下，每一帧的总块数是(宽*高)/(N*N)＝396。因为根据本发明，只使用G2和G3网格块，所以每一帧所用的总块数减少为(352/16-3)*2+(288/16-3)*2+(352/16-5)*2+(288/16-5)*2＝128。因此，在迭代运算的第一步，相比于[2]中描述的处理，计算复杂度减少了大约68％。

性能分析-后续迭代中的计算负荷减小

如上所述，在第一次迭代之后，由于不对称采样(即，运动矢量位置)结构，简化方程(10)到(13)通常不再有效，但是由于规则A)到C)的应用，所以保持了对称结构，并可以将这些简化方程用于减少计算负荷，而不会损失精确度。

在下表中，n和 n分别是用于带有保持对称结构的改善的迭代的块运动矢量的数量，以及用于不带该改善的迭代的块运动矢量的数量。

在大多数帧中，因为异常值的选择，所以n和 n之间有微小差异，但是这种差异不应该较大地影响粗略的复杂度比较。从下表可以得出结论：在计算参数a₁和a₃期间，消除了大约50％的加法运算，在计算参数a₂和a₄期间，消除了大约75％的加法运算和100％的乘法运算。

表：计算负荷减少比较

	计算a1，a3		计算a2，a4
					现有技术	本发明	现有技术	本发明
	加法	4n	2 n	4n					n
乘法					4n	4 n	4n	0

对于图6中的全局运动估计器，在级61计算和/或存储，或收集块运动矢量。在全局运动估计的每个迭代循环中，级60针对块环(例如，区域G2和G3)中的每个对称块组，检查运动矢量的数量，其中当与从最新的候选全局运动参数集计算的、对应块位置的对应运动矢量相比较时，所述运动矢量的运动量值，或所述运动矢量的运动分量值是异常值。级65根据给定的规则集，针对当前和进一步要执行的迭代循环，决定是要纠正和保留对应对称块组的一个或多个原始运动矢量值，还是不再使用对称块组的运动矢量值。级63从结果运动矢量值计算更新的候选全局运动参数集。级64检查是否达到需要的或足够的所述集的精确度，或是否达到给定的迭代次数，如果是，输出对应的全局运动参数集，如果不是，继续下一次迭代循环，进行级60的处理。

可以在例如光存储介质的存储介质上包含、存储或记录使用上述全局运动参数而编码的数字视频信号。重新播放时，将从存储介质得到的全局运动参数用在对应的视频信号解码器中，以解码被编码的视频信号。

Claims (9)

1.一种针对图像(FR)或图像序列，从指定给每幅图像所划分的块或宏块的运动矢量(mv)，迭代地计算全局运动参数集(a₁，a₂，a₃，a₄)的方法，其中，不是图像的所有块或宏块运动矢量，而是只有位于所述图像(FR)边界附近的环(G2，G3)中且不是边界上的块或宏块的运动矢量，才用于所述全局运动参数计算，所述方法的特征在于，针对每次迭代循环，执行以下步骤：

-针对所述块或宏块的环中与预定数量的块或宏块相关的每个对称块组，检查(15)运动矢量的数量，其中当与从最新的候选全局运动参数集计算的、对应块位置的对应运动矢量相比时，所述运动矢量的运动量值，或所述运动矢量的运动分量值是异常值；

-根据给定的规则集，针对当前和进一步要执行的迭代循环，决定(15)是要纠正和保留对应的对称块组的一个或多个原始运动矢量值，还是不再使用对应的对称块组的运动矢量值；

-从结果运动矢量值计算(13)更新的候选全局运动参数集(a₁，a₂，a₃，a₄)；

-检查(14)是否达到需要的或足够的所述集的精确度，或是否达到给定的迭代次数，如果是，输出(16)对应的全局运动参数集，如果不是，继续下一次迭代循环。

2.一种针对图像(FR)或图像序列，从指定给每幅图像所划分的块或宏块的运动矢量(mv)，迭代地计算全局运动参数集(a₁，a₂，a₃，a₄)的设备，其中，不是图像的所有块或宏块运动矢量，而是只有位于所述图像(FR)边界附近的环(G2，G3)中且不是边界上的块或宏块的运动矢量，才用于所述全局运动参数计算，所述设备包括：

-装置(60)，适用于在每次迭代循环，针对所述块或宏块的环中与预定数量的块或宏块相关的每个对称块组，检查运动矢量的数量，其中当与从最新的候选全局运动参数集计算的、对应块位置的对应运动矢量相比时，所述运动矢量的运动量值，或所述运动矢量的运动分量值是异常值；

-装置(65)，适用于根据给定的规则集，针对当前和进一步要执行的迭代循环，决定是要纠正和保留对应的对称块组的一个或多个原始运动矢量值，还是不再使用对应的对称块组的运动矢量值；

-装置(63)，适用于从结果运动矢量值计算更新的候选全局运动参数集(a₁，a₂，a₃，a₄)；

-装置(64)，适用于检查是否达到需要的或足够的所述集的精确度，或是否达到给定的迭代次数，如果是，输出对应的全局运动参数集，如果不是，继续下一次迭代循环。

3.根据权利要求1所述的方法，或根据权利要求2所述的设备，其中所述对称块组的每一个包括四个运动矢量值。

4.根据权利要求3所述的方法或设备，其中所述规则集如下：

-在相对于所计算的对应块或宏块位置的最新候选全局运动，对称块组中的四个运动量值或运动分量值之一是异常值的情况下，为当前和下一次迭代步骤保留这个异常值位置，但是用由最新候选全局运动参数集计算的对应块或宏块位置的运动矢量替代这个异常值位置的原始或当前运动矢量。

-在相对于所计算的对应块或宏块位置的最新候选全局运动，当前对称块组中的四个运动量值或运动分量值之中的两个是异常值的情况下，将在去除块组的所有四个运动量值或运动分量值之后，剩余的有用块的运动量值或运动分量值与预定阈值(T_valid)相比较，如果这个阈值高于所述剩余有用块的运动量值或运动分量值，则认为这个所述当前块组的所述四个运动量值或运动分量值全部代表异常值，并为下一次迭代循环消去对应块的运动矢量或运动分量值，

否则，为下一次迭代循环保留这两个异常值位置，但是用从最新候选全局运动参数集中计算的这两个块或宏块位置的运动矢量，替代这两个异常值位置的当前运动矢量。

-在相对于所计算的对应块或宏块位置的最新候选全局运动，当前对称块组中的四个运动量值或运动分量值之中的三个是异常值的情况下，从当前和进一步的迭代循环的处理中，消去对称块组中异常值块或宏块的所有运动矢量的运动量值或运动分量值。

5.根据权利要求4所述的方法或设备，其中认为块或宏块的不可靠零运动矢量是异常值。

6.根据权利要求1和3到5之一所述的方法，或根据权利要求2到5之一所述的设备，其中在每一帧累加具有零运动的块或宏块的数量N_zero，如果N_zero大于预定阈值(T_still)，认为帧中的场景没有全局运动。

7.根据权利要求1和3到6之一所述的方法，或根据权利要求2到6之一所述的设备，其中所述全局运动参数集包括指定给以下全局运动模型的值a₁，a₂，a₃和a₄：

$\left[\begin{array}{c}{\mathrm{mv}}_x\left(k\right)\\ {\mathrm{mv}}_y\left(k\right)\end{array}\right]=\left[\begin{array}{c}{a}_{1}x\left(k\right)\\ a_{3}y\left(k\right)\end{array}\right]+\left[\begin{array}{c}{a}_2\\ a_4\end{array}\right],$ 其中

a₁＝z_x和a₂＝f₁(p_x，z_x)

a₃＝z_y和a₄＝f₂(p_y，z_y)

mv_x(k)和mv_y(k)是块或宏块k的运动矢量的水平方向分量和垂直方向分量，k＝0，1，...，N-1，相对于帧的中心，块k的中心像素坐标是x(k)，y(k)，N是每一帧中，其运动矢量用于计算所述帧的全局运动的块或宏块的数量，k是一帧内部的连续块或宏块数，z_x是第k个宏块的变焦因子的水平方向分量，z_y是第k个宏块的变焦因子的垂直方向分量，p_x是摇镜头因子的水平方向分量，p_y是摇镜头因子的垂直方向分量。

8.根据权利要求7所述的方法或设备，其中所述全局运动模型参数值a₁，a₂，a₃和a₄的计算如下：

$a_1=\frac{\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{mv}}_x\left(k\right)x\left(k\right)}{\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{x}^2\left(k\right)}$

$a_2=\frac{\left(\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{mv}}_x\left(k\right)\right)}{N}$

$a_3=\frac{\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{mv}}_y\left(k\right)y\left(k\right)}{\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{y}^2\left(k\right)}$

$a_4=\frac{\left(\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{mv}}_y\left(k\right)\right)}{N}.$

9.存储介质，例如在光盘上，包含、存储或记录使用根据权利要求1和3到8所述的方法计算的、至少一个全局运动参数集(a₁，a₂，a₃，a₄)编码的数字视频信号，所述编码的数字视频信号包括所述的至少一个全局运动参数集。

Images