CN1153470C - 静态图象产生方法和装置 - Google Patents

Abstract

本发明涉及从一个包括连续的视频对象的视频序列产生诸如子图象或者马赛克图象的一个较大的静态图象M(n)的方法和装置。这一方法包括步骤：相对于先前产生的静态图象M(n-1)，计算关于该序列的当前视频对象VO(n)的运动参数的第一步骤；根据所述计算的运动参数，卷曲这一视频对象的第二步骤；将卷曲的视频对象WVO(n)与先前产生的静态图象M(n-1)混合的第三步骤。根据本发明，还包括一个另外的步骤，该步骤用于对该当前视频对象的每一图形元素计算一个加权系数W_WF(n)[x，y]，该系数与在该卷曲的视频对象和该静态图形M(n-1)之间的误差相关，并且该混合公式现在考虑所述加权系数。

Description

静态图象产生方法和装置

发明领域

本发明涉及从包括连续的视频对象VO的一个视频序列产生诸如子图象(sprite)或者马赛克图象(mosaic)的一个大的静态图象M(n)的方法，所述方法包括下列步骤：

(A)相对于先前产生的静态图象M(n-1)，计算关于该序列的当前视频对象VO(n)的运动参数；

(B)在所述计算的运动参数的基础上，卷曲所述当前视频对象VO(n)；

(C)将所得到的卷曲的视频对象WVO(n)与所述先前产生的静态图象M(n-1)混合；

以及本发明涉及一个相应的装置。这一发明可以用于相关的MPEG-4和MPEG-7标准。

本发明的背景技术

考虑到能在各种特征类型(诸如文本，颜色，纹理，运动和语义内容等)的基础上进行快速和有效的数据检索，MPEG-7在近数年中一直在致力于将描述多媒体内容的一般方式进行标准化。在这一MPEG-7上下文中，马赛克可以担当一个有用的角色。正如例如在文章“视频序列的有效表示以及它们的应用”(″Efficientrepresentations of video sequences and their applications″)(作者M.Irani等人，发表于Signal Processing：Image Communication，vol.8，1996，pp.327-351)中所解释的，对于一个场景的一个全景视图，是从该场景序列的所有帧中构造一个马赛克图象的。有可能例如从这一全景视图中抽取出该序列的主要特征，比如色度或亮度图，目标的形状，整体运动参数等等。

作为应用于该MPEG-4标准的上下文中，一个马赛克图象的定义可以相比于一个子图象的定义。正如例如在文献WO98/59497中所描述的一个子图象的情况(该情况也可以适用于一个马赛克图象)，一个子图象或者马赛克图象的产生涉及三个主要步骤(在下面的描述中，将用普通词汇“静态图象”来代替子图象或者马赛克图象)。首先是一个运动计算步骤，用于获得允许将一个当前视频帧F(n)与已由先前视频帧F(1)，F(2)，...，F(n-1)构成的静态图象M(n-1)进行正确合并的运动参数。然后可以计算其逆参数，从而可以补偿在其方向中的当前视频帧；这一第二步也称作卷曲(warping)。该所卷曲的当前视频帧F(n)最后与M(n-1)混合，以形成一个新的增长的静态图象M(n)，用其与下一进来的视频帧F(n+1)合并，如此等等。

本发明概述

本发明的一个目的是提供一种对于分离物(outlier)有着较强健壮性的静态图象产生方法。

为此，本发明涉及在本说明书中的开始段落所介绍的方法，并且其特征还在于：

(1)所述方法在所述卷曲和混合步骤之间还包括一个另外的步骤，该步骤用于对该当前视频对象VO(n)的每一图形元素计算一个加权系数wWVO(n)[x，y]，该系数与在该卷曲的视频对象WVO(n)和该静态图形M(n-1)之间在每一图形元素[x，y]的误差相关。

(2)对于每一象素[x，y]，用于确定该新近产生的静态图象的该混合步骤根据下列混合公式考虑所述加权系数：

$M\left(n\right)[x,y]=\frac{\left(w\left(M(n-1)\right)\right[x,y].M(n-1)[x,y\left]\right)+\left(\mathrm{wWVO}\left(n\right)\right[x,y].\mathrm{WVO}\left(n\right)[x,y\left]\right)}{\mathrm{wM}(n-1)+\mathrm{wWVO}\left(n\right)}$

其中各项的定义如下：

(a)n＞0；

(b)对于任一(x，y)，wM(0)＝0；

(c)对于任一(x，y)， $\mathrm{wWVO}\left(n\right)[x,y]=\frac{1}{r(x,y)}\frac{d}{\mathrm{dr}}\mathrm{\ρ}\left(r(x,y)\right)$

(d)wM(n)＝wM(n-1)+wWVO(n)

本发明的另一个目的是提供一个用于执行所述方法的静态图象产生装置。

为此，本发明涉及从一个包括连续的视频对象VO中产生诸如子图象或马赛克图象的大的静态图象M(n)的装置，所述装置包括：

(A)一个运动计算电路，用于计算关于在该序列的该当前视频对象VO(n)和先前产生的静态图象M(n-1)之间的相对运动的一个运动信息；

(B)一个卷曲电路，用于在所述当前视频对象和所述运动信息的基础上定义一个卷曲的视频对象WVO(n)；

(C)一个用于更新该静态图象的混合电路，用将所得到的卷曲的视频对象与所述先前产生的静态图象M(n-1)相混合所产生的新的静态图象M(n)代替所述先前产生的静态图象M(n-1)；

其特征在于：

(1)所述设备还包括一个基于象素的加权电路，该电路接收该当前的视频对象VO(n)和该相关的运动信息，用于对该当前视频对象的每一图形元素计算一个加权系数wWVO(n)[x，y]，该系数与在该卷曲的视频对象WVO(n)和该先前产生的静态图形M(n-1)之间在每一图形元素[x，y]的误差相关；

(2)对于每一象素[x，y]，用于确定该新近产生的静态图象M(n)的该混合电路中使用的混合公式根据下列混合公式考虑所述所计算的加权系数：

$M\left(n\right)[x,y]$ $=\frac{\left(w\left(M(n-1)\right)\right[x,y].M(n-1)[x,y\left]\right)+\left(\mathrm{wWVO}\left(n\right)\right[x,y].\mathrm{WVO}\left(n\right)[x,y\left]\right)}{\mathrm{wM}(n-1)+\mathrm{wWVO}\left(n\right)}$

其中各项的定义如下：

(a)n＞0；

(b)对于任一(x，y)，wM(0)＝0；

(c)对于任一(x，y)， $\mathrm{wWVO}\left(n\right)[x,y]=\frac{1}{r(x,y)}\frac{d}{\mathrm{dr}}\mathrm{\ρ}\left(r(x,y)\right);$

(d)wM(n)＝wM(n-1)+wWVO(n)

所公开的方法和装置的主要原则是它有可能在该加权静态图象中累积置信度(confidence)，以便不考虑具有低的加权的图象元素(即分离物)，这是通过对于该加权静态图象中每一图象元素将该同一图象元素的加权进行相加而进行的。

附图的简要描述

下面将参照附图更详细地解释本发明的特点和优点，其中：

图1显示了一个静态图象产生装置的已知方案；

图2显示了用于实现根据本发明的方法的一个静态图象产生装置的一个实施例。

本发明的描述

在图1中示出了在先前引用的文献WO98/59497中描述的实现这一方法的装置(例如用于一个马赛克图象)。一个运动计算级11接收连续的视频对象，在本例子中是连续的视频帧F(1)，F(2)，F(3)，...，F(i)，...，F(n-1)，F(n)，以及确定该运动参数，允许将进来的视频帧F(n)与该先前产生的存储在一个存储器12中的马赛克图象M(n-1)相合并，该马赛克图象M(n-1)已经包括了先前的视频帧F(1)至F(n-1)。在计算完这些参数之后，在卷曲电路13中计算其逆参数，该卷曲电路13将该视频对象转换为该马赛克图象M(n-1)的坐标系统。一个混合电路14最后产生刷新该旧的M(n-1)的新的马赛克图象M(n)

在图2中示出了实现(也用于一个马赛克图象的)的根据本发明的方法的装置。一个运动计算级21接收连续的视频对象，在本例子中是连续的视频帧F(1)，F(2)，F(3)，...，F(i)，...，F(n-1)，F(n)，该运动计算级执行必要的整体运动计算步骤，用以寻找该运动参数而允许将进来的视频帧F(n)与该先前产生的存储在一个存储器22中的马赛克图象M(n-1)相合并，该马赛克图象M(n-1)已经包括该先前视频帧F(1)至F(n-1)。然后一个马赛克图象增长级23用于建立该新的马赛克图象M(n)以刷新旧的M(n-1)。

在文献EP 0771115(PHF96534)中描述了在该级21中进行的所述运动参数计算的例子。值(Dx，Dy)指示从一个视频帧至下一个视频帧的一个运动矢量的分量，其中Dx和Dy是x和y的函数，其系数是所请求的运动参数，该(Dx，Dy)可以写成L(x，y，t)＝L(x-Dx，y-Dy，t-1)，其中t＝时间，L＝在一个给定点的亮度。定义该函数的系数的数量取决于所考虑的运动模型的类型。可以使用不同的运动模型，该运动实际上由给定数量的点的位移所表示。该MPEG-4标准允许使用例如下列模型：

-平移：该模型需要两个参数，平行于该图象平面的相对目标/相机运动和具有一个固定深度的目标的每一点(这是在公知的块匹配方法中使用的标准模型)。

-缩放，旋转，平移：需要四个参数，目标仅以其轴垂直于该图象平面的任意平移和旋转进行运动；

-仿射变换：需要六个参数；

-透视运动：需要八个参数。

该透视模型以某一四边形变换一个矩形：这一形状的四个顶点的2D位置完整地定义该透视投影的八个参数。最好选择这一模型，因为它比其他模型允许更多的相机运动可能性。然后在该运动计算级21中执行的该运动计算方法例如可以是Levenberg-Marquardt运动估算器(motion estimator)，这取决于为了直接将在图象对之间的亮度的不一致减至最小的一个传统的基于倾斜度的方案(在应用该透视变换之后，通过重复修改该模型的八个参数)。由该Levenberg-Marquardt运动估算器使用的代价函数最好是一个由M估算值(estimator)加权的平均方差(Lorentz函数)，如在申请号为PCT/IB98/00424(PHF97550)的国际专利申请中所描述的。

一旦进行所述运动计算，一个马赛克增长级23允许卷曲该当前视频帧F(n)以及与该马赛克图象混合。该增长级23包括下列电路：一个卷曲电路231，一个基于象素的加权电路，和一个混合电路234。

根据本发明，该基于象素的加权电路对于每一图象元素(象素)利用表达式(1)计算一个加权系数wWVO(n)：

$\mathrm{wWVO}\left(n\right)[x,y]=\frac{1}{r(x,y)}\frac{d}{\mathrm{dr}}\mathrm{\ρ}\left(r(x,y)\right)---\left(1\right)$

其中p是用于该运动计算级21中的洛伦兹函数M估算值，r(x，y)是该卷曲的当前图象和该马赛克图象之间在该象素(x，y)处的误差。在一个误差图定义电路232中进行该整个误差图的构造，以及在一个系数计算电路233中进行该加权系数的计算。然后由该混合电路234使用该基于象素的加权电路(232，233)计算的整个加权系数集合。在所述电路中，使用一个考虑该加权系数wWVO(n)[x，y]的加权平均公式计算该新的马赛克图象M(n)(该图象从该混合步骤产生)的该亮度和色度值。对于每一象素[x，y]，实际是混合公式(2)

$M\left(n\right)[x,y]=\frac{\left(w\left(M(n-1)\right)\right[x,y].M(n-1)[x,y\left]\right)+\left(\mathrm{wWVO}\left(n\right)\right[x,y].\mathrm{WVO}\left(n\right)[x,y\left]\right)}{\mathrm{wM}(n-1)+\mathrm{wWVO}\left(n\right)}---\left(2\right)$

其中各项的定义如下：

(a)n＞0；

(b)对于任一(x，y)，wM(0)＝0；

(c)对于任一(x，y)， $\mathrm{wWVO}\left(n\right)[x,y]=\frac{1}{r(x,y)}\frac{d}{\mathrm{dr}}\mathrm{\ρ}\left(r(x,y)\right);$

(d)wM(n)＝wM(n-1)+wWVO(n)

如上所述的本发明显然不限于前面的实施例，可以在此基础之上进行各种替代或改进

必须指出的是，本发明不依赖于该视频序列的类型。在所描述的例子中，该视频序列包括矩形形状的连续的视频帧F(1)，F(2)，...，F(n-1)，F(n)，但是很显然它可以包括任意类型的视频对象，例如任意形状类型的视频对象(VO)，诸如根据面向对象的分段方案与该MPEG-4标准有关的形状。术语“视频对象”因此可选择为表示诸如根据这里所描述的方法和设备所处理的任一类型的视频信息，并且这种视频对象用符号VO(1)，VO(2)，...，VO(n-1)，V(n)表示。

Claims (4)

1、一种用于从包括连续的视频对象VO的一个视频序列产生一个静态图象M(n)的方法，所述方法包括下列步骤：

(A)相对于先前产生的静态图象M(n-1)，计算关于该序列的当前视频对象VO(n)的相对运动有关的运动参数，所述运动参数是一个运动矢量的分量(Dx，Dy)，所述分量Dx和Dy为函数，其系数取决于下列模型中所希望的模型类型：平移、缩放、旋转、仿射转换和透视；

(B)根据所述计算的运动参数来卷曲所述当前视频对象VO(n)，所述卷曲步骤对应于所述对象根据所述运动参数的变形；

(C)将所得到的卷曲的视频对象WVO(n)与所述先前产生的静态图象M(n-1)混合；

其特征在于：

(1)所述方法在所述卷曲和混合步骤之间还包括一个另外的步骤，该步骤用于对该当前视频对象VO(n)的每一图形元素计算一个加权系数wWVO(n)[x，y]，该系数与在该卷曲的视频对象WVO(n)和该静态图形M(n-1)之间在每一图形元素[x，y]的误差相关；

(2)对于每一象素[x，y]，用于确定该新近产生的静态图象M(n)的该混合步骤根据下列混合公式利用所述加权系数来确定所述静态图象M(n)：

$M\left(n\right)[x,y]$ $=\frac{\left(w\left(M(n-1)\right)\right[x,y].M(n-1)[x,y\left]\right)+\left(\mathrm{wWVO}\left(n\right)\right[x,y].\mathrm{WVO}\left(n\right)[x,y\left]\right)}{\mathrm{wM}(n-1)+\mathrm{wMVO}\left(n\right)}$

其中各项的定义如下：

(a)n＞0；

(b)对于任一(x，y)，wM(0)＝0；

(c)对于任一(x，y)， $\mathrm{wWVO}\left(n\right)[x,y]=\frac{1}{r(x,y)}\frac{d}{\mathrm{dr}}\mathrm{\ρ}\left(r(x,y)\right);$

(d)wM(n)＝wM(n-1)+wWVO(n)

其中，r(x，y)是在卷曲的当前图象和在象素(x，y)处的静态图象之间的误差，而洛伦兹估算子p被用于运动参数估计步骤中。

2.根据权利要求1的方法，其特征在于，所述静态图象是子图象或马赛克图象。

3、一个从包括连续的视频对象VO的视频序列产生一个静态图象M(n)的设备，所述设备包括：

(A)一个运动计算电路，用于计算关于在该序列的该当前视频对象VO(n)和先前产生的静态图象M(n-1)之间的相对运动的运动参数，所述运动参数是一个运动矢量的分量(Dx，Dy)，所述分量Dx和Dy为函数，其系数取决于下列模型中所希望的模型类型：平移、缩放、旋转、仿射转换和透视；

(B)一个卷曲电路，用于根据在所述当前视频对象和所述运动信息来由当前视频对象VO(n)限定一个卷曲的视频对象WVO(n)；

(C)一个用于更新该静态图象的混合电路，用于将所得到的卷曲的视频对象WVO(n)与所述先前产生的静态图象M(n-1)相混合所产生的新的静态图象M(n)代替所述先前产生的静态图象M(n-1)；

其特征在于：

(1)所述设备还包括一个基于象素的加权电路，该电路接收该当前的视频对象VO(n)和该相关的运动信息，该电路用于对该当前视频对象的每一图形元素计算一个加权系数wWVO(n)，该系数与在该卷曲的视频对象WVO(n)和该先前产生的静态图形M(n-1)之间在每一图形元素[x，y]的误差相关；

(2)对于每一象素[x，y]，用于确定该新近产生的静态图象M(n)的该混合电路中使用的混合公式利用所述计算的加权系数来确定所述静态图象M(n)：

$M\left(n\right)[x,y]=\frac{\left(w\left(M(n-1)\right)\right[x,y].M(n-1)[x,y\left]\right)+\left(\mathrm{wWVO}\left(n\right)\right[x,y].\mathrm{WVO}\left(n\right)[x,y\left]\right)}{\mathrm{wM}(n-1)+\mathrm{wWVO}\left(n\right)}$

其中各项的定义如下：

(a)n＞0；

(b)对于任一(x，y)，wM(0)＝0；

(c)对于任一(x，y)， $\mathrm{wWVO}\left(n\right)[x,y]=\frac{1}{r(x,y)}\frac{d}{\mathrm{dr}}\mathrm{\ρ}\left(r(x,y)\right);$

(d)wM(n)＝wM(n-1)+wWVO(n)

其中，r(x，y)是在卷曲的当前图象和在象素(x，y)处的静态图象之间的误差，而洛伦兹估算子p被用于运动参数估计步骤中。

4.根据权利要求3的设备，其特征在于，所述静态图象是子图象或马赛克图象。

Images