CN1231067C - 静态图象产生方法和装置 - Google Patents

Abstract

本发明涉及从一个视频序列产生诸如子图象或者马赛克图象的一个较大的静态图象M(n)的方法。这一方法包括步骤：相对于先前产生的静态图象，考虑第一增长步骤，计算关于该序列的视频对象的运动参数；根据所述参数，卷曲每一视频对象；将卷曲的视频对象与先前产生的静态图象混合。所述方法还包括(n-1)次另外的增长步骤，这次这些步骤应用于以相反顺序考虑的同一视频序列。每一另外的增长步骤自身包括一个卷曲子步骤和一个混合子步骤，所述卷曲子步骤基于以所述相反的顺序考虑的每一连续的视频目标和对应的已经计算的运动参数，在所述混合步骤期间考虑所计算的基于象素或者基于区域的加权系数。

Description

静态图象产生方法和装置

技术领域

本发明涉及一种用于从包括连续的视频对象VO的一个视频序列产生一个静态图象M(n)的方法，考虑所述静态图象的第一增长步骤，所述方法包括下列子步骤：

(A)相对于先前产生的静态图象M(n-1)，计算关于该序列的当前视频对象VO(n)的相对运动有关的运动参数，所述运动参数是一个运动矢量的分量(Dx，Dy)，所述分量Dx和Dy为函数，其系数取决于为了合并所述当前视频对象与先前产生的静态图象M(n-1)而希望采用的模型类型；

(B)根据所述计算的运动参数来卷曲所述当前视频对象VO(n)，所述卷曲子步骤对应于所述当前视频对象根据所述运动参数的变形；

(C)将所得到的卷曲的视频对象WVO(n)与所述先前产生的静态图象混合；

以及本发明涉及一个相应的装置。这一发明可以用于相关的MPEG-4和MPEG-7标准。

背景技术

在MPEG-7的帧中将要进行标准化的描述子(descriptor)以及描述模式(description scheme)(该MPEG-7在近数年中一直在致力于将描述多媒体内容的一般方式进行标准化)在各种特征类型(诸如文本，颜色，纹理，运动和语义内容等)的基础上将允许快速和有效的数据检索。在这一MPEG-7上下文中，正如所将要说明的，马赛克图象可以担当一个有用的角色。

视频序列、视频照(video shot)和关键帧遵循一种层次结构：一个视频照是显示一个单一背景的一个特殊的序列，而关键帧在这一照的一个图象中的一个可视表示。通过从该整个序列的一个先前照部分提取关键帧可以获得一个视频序列的一个可视表示。然后该过程选择每个视频照的一个图象作为关键帧，从而它只表示可能不是一个最可靠的表示的该视频照的一部分。然而，在想要在背景信息的一个单一全景视图中显示该整个视频照时，一个马赛克图象似乎是比一个关键帧更好的选择。正如例如在文章“视频序列的有效表示以及它们的应用”(″Efficient representations of video sequences and theirapplications″)(作者M.Irani等人，发表于Signal Processing：Image Communication，vol.8，1996，pp.327-351)中所解释的，对于一个场景的一个全景视图，马赛克图象是从该场景序列的所有帧中构造一种大的静态图象。有可能例如从这一全景视图抽取出该序列的主要特征，比如色度或亮度图，目标的形状，整体运动参数等等(所有这些特征构成MPEG-7的相关的标准描述子，以及用于MPEG-7兼容的搜索引擎)。

作为应用于该MPEG-4标准的上下文，一个马赛克图象的定义可以相比于一个子图象的定义。一个子图象是由通过一个完整序列可以看见的一个对象中的象素组成的一个较大的静态图象。这一静态图象形成一个全景视图，由于前景目标或者相机运动的影响，其某些部分在一些图象帧中可能是不可见。如果可以收集遍及整个序列的所有相关的象素，就可获得一个完全的全景视图(称作背景子图象)，该视图可以有效地进行传输(或存储)，以及以后用来重建部分视频帧。

正如例如在文献WO98/59497中所描述的一个子图象的情况(但是这一描述也可以适用于一个马赛克图象)，一个子图象或者马赛克图象的产生涉及三个主要步骤(在下面的描述中，将用普通词汇“静态图象”来代替子图象或者马赛克图象)。首先是一个运动计算步骤，用于获得允许将一个当前视频帧F(n)与已由先前视频帧F(1)，F(2)，…，F(n-1)构成的静态图象M(n-1)进行正确合并的运动参数。然后可以计算其逆参数，从而在这些逆参数的方向中可以补偿当前视频帧；这一第二步也称作卷曲(warping)。该所卷曲的当前视频帧F(n)最后与M(n-1)混合，以形成一个新的增长的静态图象M(n)，用其与下一进来的视频帧F(n+1)合并，如此等等。

然而观察所得到的静态图象可以看到所述静态图象的某些部分是不干净的。例如，一个运动目标的某些部分没有完全地去除。

发明内容

因此本发明的一个目的是提供一种没有这种后生物(artifact)的静态图象产生方法。

为此，本发明涉及在本说明书中的开始段落所介绍的方法，并且其特征还在于：

(1)所述方法还包括(n-1)次另外的增长步骤，这些步骤应用于以相反顺序考虑的同一视频序列，每一另外的增长步骤自身包括由一个卷曲子步骤和一个混合子步骤构成的另外的子步骤，所述卷曲子步骤基于以所述相反的顺序考虑的每一连续的视频目标和对应的计算的运动参数，所述混合步骤在所考虑的卷曲的视频对象和在该先前增长步骤的末尾所产生的静态图象之间。

本发明的另一个目的是提供一个用于执行所述方法的静态图象产生装置。

为此，本发明涉及一个从包括连续的视频对象VO的视频序列产生一个静态图象M(n)的装置，为了执行在一个第一增长级中的所述静态图象的增长步骤的子步骤，所述装置包括：

(A)一个运动计算电路，用于计算关于在该序列的该当前视频对象VO(n)和先前产生的静态图象M(n-1)之间的相对运动的一个运动参数，所述运动参数是一个运动矢量的分量(Dx，Dy)，所述分量Dx和Dy为函数，其系数取决于为了合并所述当前视频对象与先前产生的静态图象M(n-1)而希望采用的模型类型；

(B)一个第一卷曲电路，用于根据所述当前视频对象和所述计算的运动参数来限定一个卷曲的视频对象WVO(n)，该卷曲的视频对象对应于所述当前的视频对象根据所述运动参数的变形；

(C)一个第一混合电路，用于将所得到的卷曲的视频对象WVO(n)与所述先前产生的静态图象相混合，所述先前产生的静态图象因此由该新的静态图象来代替；

其特征在于：

该设备还包括至少一个第二增长级，该级包括一个第二卷曲电路，一个第二混合电路以及一个存储器，该第二混合电路用于将所获得的卷曲的视频对象与该先前产生的静态图象相混合，该存储器用于存储所述产生的静态图象，所述存储器和所述第二卷曲和混和电路被组织成在该第一混合电路(n-1)另外的增长步骤的输出处处理所得到的更新的静态的图象，该另外的增长步骤一方面考虑以相反的顺序的同一视频序列，另一方面考虑对应于所述逆序列的每一涉及的视频目标的计算的运动信息，以及在所述第一增长级或其他增长级的任一个中的卷曲和混合电路之间所提供的用于计算每一图形元素的加权系数的装置，该加权系数与该卷曲的视频对象和该所产生的静态图象之间的误差相关，在该混合子步骤期间，在所述用于计算的装置之后的该混合电路根据对于每一象素[x，y]的下列混合公式利用所述加权系数来确定所述静态图象M(n)：

$M\left(n\right)[x,y]=\frac{\left(W_{\left(M(n-1)\right)}\right[x,y],M(n-1)[x,y\left]\right)+\left(W_{\mathrm{WVO}\left(n\right)}\right[x,y],\mathrm{WVO}\left(n\right)[x,y\left]\right)}{W_{M(n-1)}+W_{\mathrm{WVO}\left(n\right)}}$

其中各项的定义如下：

(a)n＞0；

(b)对于任一(x，y)，W_M(0)＝0；

(c)对于任一(x，y)， $W_{\mathrm{WVO}\left(n\right)}[x,y]=\frac{1}{r(x,y)}\frac{d}{\mathrm{dr}}\mathrm{\ρ}\left(r(x,y)\right);$

(d)W_M(n)＝W_M(n-1)+W_WVO(n)

其中，r(x，y)是在卷曲的当前图象和静态图象之间在象素(x，y)处的的误差，而洛伦兹估算子ρ被用于运动参数估计子步骤中。

附图说明

下面将参照附图更详细地解释本发明的特点和优点，其中：

图1显示了一个静态图象产生装置的已知方案；

图2显示了用于实现根据本发明的方法的一个静态图象产生装置的一个实施例。

具体实施方式

在图1中示出了在先前引用的文献WO98/59497中描述的实现这一方法的装置(例如用于一个马赛克图象)。一个运动计算级11接收连续的视频对象，在本例子中是连续的视频帧F(1)，F(2)，F(3)，…，F(i)，…，F(n-1)，F(n)，以及确定该运动参数，允许将进来的视频帧F(n)与该先前产生的存储在一个存储器12中的马赛克图象M(n-1)相合并。在计算完这些参数之后，这些参数用于卷曲电路13，该卷曲电路13将该视频目标转换到该马赛克M(n-1)的坐标系统。一个混合电路14最后产生刷新该旧的M(n-1)的新的马赛克M(n)。

根据本发明的原则是，一旦建立了诸如M(n)的第一个马赛克图象，就多次应用该增长步骤。这次这些进一步的增长以最后一帧开始，以第一帧结束，允许给予该新的先前视频帧较少的关注，以及得到一个较干净的静态图象。在这些进一步的增长步骤中，该先前产生的马赛克图象现在作为一个参考图象，以建立一个误差图，该误差图将用于下面的混合步骤。

在图2中示出了实现所述方法的一个装置，该装置包括下列单元。一个第一增长级200允许根据图1的方案产生第一马赛克图形M₁(n)。为此，所述马赛克图象产生级200包括一个运动计算电路，一个存储器，一个卷曲电路和一个混合电路，它们与相应的单元11至14相同，并且以同样的方式工作，因此未予示出。同时，连续的输入视频帧F(1)，F(2)，F(3)…，F(i)，…，F(n)存储在缓冲器201中。将从该最后视频帧的开始处读出的该缓冲器201的输出向一个第二增长级300发送。所述级300本身包括串行的一个(第二)卷曲电路331，一个基于象素的加权电路和一个(第二)混合电路334，该卷曲电路331一方面接收所述缓冲器201的所述输出，并且另一方面接收先前在该第一增长级200中确定的对应的运动参数(现在以相反的顺序考虑这些视频帧中的每一个)。

根据本发明，在电路332中通过比较该第二卷曲电路331的输出和该第一增长级200的输出M₁(n)构建一个误差图。该基于象素的加权电路包括所述电路332和一个系数计算电路333，对于每一图象元素(象素)该加权电路利用下列表达式(1)计算加权系数W_WVO(n)：

$W_{\mathrm{WVO}\left(n\right)}[x,y]=\frac{1}{r(x,y)}\frac{d}{\mathrm{dr}}\mathrm{\ρ}\left(r(x,y)\right)---\left(1\right)$

其中 n是作为已知的洛伦兹函数M估算值的一个对称的正定函数(symmetrical，positive-definite function)，r(x，y)是该卷曲的当前图象和该马赛克图象之间在该象素(x，y)处的误差。然后由该混合电路334使用该基于象素的加权电路(332，333)计算的整个加权系数集合。在所述电路中，然后使用一个考虑该加权系数W_WVO(n)[x，y]的加权平均公式计算一个新的马赛克图象M₂(n)(该图象从该混合步骤产生)的亮度和色度值。对于每一象素[x，y]，实际是混合公式(2)

$M_2\left(n\right)[x,y]=\frac{W_{M_2(n-1)[x,y]\·M_2(n-1)[x,y]}+W_{\mathrm{WVO}\left(n\right)[x,y]\·\mathrm{WVO}\left(n\right)[x,y]}}{W_{M_2(n-1)}+W_{\mathrm{WVO}\left(n\right)}}---\left(2\right)$

其中各项的定义如下：

(a)n＞0；

(b)对于任一(x，y)，W_M2(0)＝0；

(c)对于任一(x，y)， $W_{\mathrm{WVO}\left(n\right)}[x,y]=\frac{1}{r(x,y)}\frac{d}{\mathrm{dr}}\mathrm{\ρ}\left(r(x,y)\right);$

(d)W_M2(n)＝W_M2(n-1)+W_WVO(n)

将在该第二增长级300的输出端所产生的马赛克图象M₂(n)存储在一个(第二)存储器202以刷新先前产生的马赛克图象M₂(n-1)。

然后对于从该缓冲器201读出的每一连续的视频帧重复该增长过程(直到该第一个F(1))。对应于这些视频帧的每一个的运动参数可以在级200中获得(它们已经在所述级中实现的该第一增长步骤中定义)，该新近产生的马赛克图形M₂(n)存储在存储器202中，以用于每一后面的混合步骤(该混合电路334接收所述存储器202的输出)。

本发明显然不限于前面的实施例。在该混合电路中实现的混合步骤之前可以跟一个预处理子步骤，诸如在1998年8月5日提交的申请号为98401997.6(PHF98584)的欧洲专利中所描述的。该文献尤其描述了包括在该弯曲和混合步骤之间的一个另外的加权子步骤的一个马赛克图象产生方法。对于所考虑的视频对象(诸如一个视频帧)的每一象素(图象元素)，计算与该卷曲的视频对象和该先前产生的马赛克图象之间的误差有关的一个加权系数，然后该混合公式考虑每一所述的加权系数。基于例如一个形态分段(morphological segmentation)，它也可能在这一另外的加权子步骤和该混合步骤之间包括一个空间过滤子步骤，用于将所述基于象素的加权操作转换为一个基于区域的操作，从而允许检测和丢弃作为分离物考虑的区域。这些预处理子步骤也可以应用于在该马赛克图象产生级200的混合电路中执行的混合步骤之前。

必须指出的是，本发明不依赖于该视频序列的类型。在所描述的例子中，该视频序列包括矩形形状的连续的视频帧F(1)，F(2)，…，F(n-1)，F(n)，但是很显然它可以包括任意类型的视频对象，例如任意形状类型的视频对象(VO)，诸如根据面向对象的分段方案与该MPEG-4标准有关的形状。术语“视频对象”因此可选择为表示诸如根据这里所描述的方法和设备所处理的视频信息的任一类型，并且这种视频对象用符号VO(1)，VO(2)，…，VO(n-1)，V(n)表示。

Claims (6)

1、一种用于从包括连续的视频对象VO的一个视频序列产生一个静态图象M(n)的方法，考虑所述静态图象的第一增长步骤，所述方法包括下列子步骤：

(A)相对于先前产生的静态图象M(n-1)，计算与该序列的当前视频对象VO(n)的相对运动有关的运动参数，所述运动参数是一个运动矢量的分量(Dx，Dy)，其中Dx和Dy为函数，其系数取决于为了合并所述当前视频对象与先前产生的所述静态图象M(n-1)而希望采用的模型类型；

(B)根据所述计算的运动参数来卷曲所述当前视频对象VO(n)，所述卷曲子步骤对应于所述当前视频对象根据所述运动参数的变形；

(C)将所得到的卷曲的视频对象WVO(n)与所述先前产生的静态图象混合；

其特征在于：所述方法还包括(n-1)次另外的增长步骤，这些步骤应用于以相反顺序的同一视频序列，每一另外的增长步骤自身包括由一个卷曲子步骤和一个混合子步骤构成的另外的子步骤，所述卷曲子步骤基于以所述相反的顺序考虑的每一连续的视频对象和对应的计算的运动参数，所述混合子步骤在被考虑的卷曲的视频对象和在该先前增长步骤的末尾所产生的静态图象之间被提供。

2.根据权利要求1的方法，其特征在于，所述静止图象是子图象或马赛克图象。

3.根据权利要求2的方法，其特征在于，该方法在第一增长步骤或所述另外的增长步骤的任一个的该卷曲和混合子步骤之间还包括一个另外的子步骤，该步骤用于对于该当前视频对象VO(n)的每个图象元素来计算一个加权系数W_WVO(n)[x，y]，该加权系数W_WVO(n)[x，y]与在该卷曲的视频对象WVO(n)和该产生的静态图象之间在每一个图象元素[x，y]处的误差有关，然后，该用于确定该新近产生的静态图象的混合子步骤根据对于每一象素[x，y]的下列混合公式利用所述加权系数来确定所述静态图象M(n)：

$M\left(n\right)[x,y]=\frac{\left(W_{\left(M(n-1)\right)}\right[x,y].M(n-1)[x,y\left]\right)+\left(W_{\mathrm{WvO}\left(n\right)}\right[x,y].\mathrm{WVO}\left(n\right)[x,y\left]\right)}{W_{M(n-1)}+W_{\mathrm{wvO}\left(n\right)}}$

其中各项的定义如下：

(a)n＞0；

(b)对于任一(x，y)，W_M(0)＝0；

(c)对于任一(x，y)， $W_{\mathrm{Wvo}\left(n\right)}[x,y]=\frac{1}{r(x,y)}\frac{d}{\mathrm{dr}}\mathrm{\ρ}\left(r(x,y)\right);$

(d)W_M(n)＝W_M(n-1)+W_WVO(n)

其中，r(x，y)是在卷曲的当前图象和静态图象之间在象素(x，y)处的误差，而洛伦兹估算子ρ被用于运动参数估计步骤中。

4、根据权利要求2的方法，其特征在于在第一增长步骤或所述另外的增长步骤的任一个的该卷曲和混合子步骤之间还包括一个另外的子步骤，该子步骤本身包括：

第一基于象素的误差图定义操作，对于当前视频对象VO(n)的每一图象元素(x，y)，该操作用于构造该卷曲的视频对象WVO(n)和该静态图象之间在所述图象元素(x，y)的误差r(x，y)的图；

第二空间过滤操作，用于将所述基于象素的误差图变换为一个基于区域的误差图；

第三加权操作，其对于每一象素用于计算一个加权系数W_WVO(n)[x，y]，该加权系数与所述误差r(x，y)有关，并且同时用于选择属于前景对象的区域和在该混合子步骤之前作为分离物丢弃所述属于前景对象的区域；然后，用于确定该新近产生的静态图象的该混合子步骤根据对于每一象素[x，y]的下列混合公式利用所述加权系数来确定所述静态图象M(n)：

$M\left(n\right)[x,y]=\frac{\left(W_{\left(M(n-1)\right)}\right[x,y].M(n-1)[x,y\left]\right)+\left(W_{\mathrm{WvO}\left(n\right)}\right[x,y].\mathrm{WVO}\left(n\right)[x,y\left]\right)}{W_{M(n-1)}+W_{\mathrm{wvO}\left(n\right)}}$

其中各项的定义如下：

(a)n＞0；

(b)对于任一(x，y)，W_M(0)＝0；

(c)对于任一(x，y)， $W_{\mathrm{Wvo}\left(n\right)}[x,y]=\frac{1}{r(x,y)}\frac{d}{\mathrm{dr}}\mathrm{\ρ}\left(r(x,y)\right);$

(d)W_M(n)＝W_M(n-1)+W_WVO(n)

其中，r(x，y)是在卷曲的当前图象和静态图象之间在象素(x，y)处的误差，而洛伦兹估算子ρ被用于运动参数估计步骤中。

5、一个从包括连续的视频对象VO的视频序列产生一个静态图象M(n)的装置，为了执行在一个第一增长级中的所述静态图象的增长步骤的子步骤，所述装置包括：

(A)一个运动计算电路，用于相对于先前产生的静态图象M(n-1)来计算与该序列的该当前视频对象VO(n)的相对运动有关的运动参数，所述运动参数是一个运动矢量的分量(Dx，Dy)，其中Dx和Dy为函数，其系数取决于为了合并所述当前视频对象与先前产生的静态图象M(n-1)而希望采用的模型类型；

(B)一个第一卷曲电路，用于根据所述当前视频对象和所述计算的运动参数来限定一个卷曲的视频对象WVO(n)，该卷曲的视频对象对应于所述当前的视频对象根据所述运动参数的变形；

(C)一个第一混合电路，用于将所得到的卷曲的视频对象WVO(n)与所述先前产生的静态图象相混合，所述先前产生的静态图象因此由该新的静态图象来代替；

其特征在于：

该装置还包括至少一个第二增长级，该级包括一个第二卷曲电路，一个第二混合电路以及一个存储器，该第二混合电路用于将所获得的卷曲的视频对象与该先前产生的静态图象相混合，该存储器用于存储所述产生的静态图象，所述存储器和所述第二卷曲和混和电路被组织成对于在该第一混合电路输出处获得的更新的静态的图象执行(n-1)次另外的增长步骤，该另外的增长步骤一方面考虑以相反的顺序的同一视频序列，另一方面考虑对应于所述逆序列的每一涉及的视频对象的计算的运动信息，以及在所述第一增长级或通过执行所述另外的增长步骤而形成的另外的增长级的任一个中的卷曲和混合电路之间所提供的用于计算每一图形元素的加权系数的装置，该加权系数与该卷曲的视频对象和该所产生的静态图象之间的误差相关，在该混合子步骤期间，在所述用于计算的装置之后的该混合电路根据对于每一象素[x，y]的下列混合公式利用所述加权系数来确定所述静态图象M(n)：

$M\left(n\right)[x,y]=\frac{\left(W_{\left(M(n-1)\right)}\right[x,y].M(n-1)[x,y\left]\right)+\left(W_{\mathrm{WvO}\left(n\right)}\right[x,y].\mathrm{WVO}\left(n\right)[x,y\left]\right)}{W_{M(n-1)}+W_{\mathrm{wvO}\left(n\right)}}$

其中各项的定义如下：

(a)n＞0；

(b)对于任一(x，y)，W_M(0)＝0；

(c)对于任一(x，y)， $W_{\mathrm{WVO}\left(n\right)}[x,y]=\frac{1}{r(x,y)}\frac{d}{\mathrm{dr}}\mathrm{\ρ}\left(r(x,y)\right);$

(d)W_M(n)＝W_M(n-1)+W_WVO(n)

其中，r(x，y)是在卷曲的当前图象和静态图象之间在象素(x，y)处的误差，而洛伦兹估算子ρ被用于运动参数估计子步骤中。

6.根据权利要求5的装置，其特征在于所述静止图象是子图象或马赛克图象。

Images