CN1287750A - 静态图象产生方法和装置 - Google Patents
静态图象产生方法和装置 Download PDFInfo
- Publication number
- CN1287750A CN1287750A CN99801759A CN99801759A CN1287750A CN 1287750 A CN1287750 A CN 1287750A CN 99801759 A CN99801759 A CN 99801759A CN 99801759 A CN99801759 A CN 99801759A CN 1287750 A CN1287750 A CN 1287750A
- Authority
- CN
- China
- Prior art keywords
- video
- still image
- image
- object video
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000003068 static effect Effects 0.000 title claims abstract description 11
- 230000002596 correlated effect Effects 0.000 claims abstract description 6
- 239000000203 mixture Substances 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000009472 formulation Methods 0.000 claims description 7
- 238000002156 mixing Methods 0.000 abstract 2
- 230000006870 function Effects 0.000 description 4
- 241000898323 Microtus irani Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/16—Spatio-temporal transformations, e.g. video cubism
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及从一个包括连续的视频对象的视频序列产生诸如子图象或者马赛克图象的一个较大的静态图象M(n)的方法和装置。这一方法包括步骤:相对于先前产生的静态图象M(n-1),计算关于该序列的当前视频对象VO(n)的运动参数的第一步骤;根据所述计算的运动参数,卷曲这一视频对象的第二步骤;将卷曲的视频对象WVO(n)与先前产生的静态图象M(n-1)混合的第三步骤.根据本发明,还包括一个另外的步骤,该步骤用于对该当前视频对象的每一图形元素计算一个加权系数WWF(n)[x,y],该系数与在该卷曲的视频对象和该静态图形M(n-1)之间的误差相关,并且该混合公式现在考虑所述加权系数。
Description
发明领域
本发明涉及从包括连续的视频对象VO的一个视频序列产生诸如子图象(sprite)或者马赛克图象(mosaic)的一个大的静态图象M(n)的方法,所述方法包括下列步骤:
(A)相对于先前产生的静态图象M(n-1),计算关于该序列的当前视频对象VO(n)的运动参数;
(B)在所述计算的运动参数的基础上,卷曲所述当前视频对象VO(n);
(C)将所得到的卷曲的视频对象WVO(n)与所述先前产生的静态图象M(n-1)混合;
以及本发明涉及一个相应的装置。这一发明可以用于相关的MPEG-4和MPEG-7标准。
本发明的背景技术
考虑到能在各种特征类型(诸如文本,颜色,纹理,运动和语义内容等)的基础上进行快速和有效的数据检索,MPEG-7在近数年中一直在致力于将描述多媒体内容的一般方式进行标准化。在这一MPEG-7上下文中,马赛克可以担当一个有用的角色。正如例如在文章“视频序列的有效表示以及它们的应用”(″Efficient representations ofvideo sequences and their applications″)(作者M.Irani等人,发表于Signal Processing:Image Communication,vol.8,1996,pp.327-351)中所解释的,对于一个场景的一个全景视图,是从该场景序列的所有帧中构造一个马赛克图象的。有可能例如从这一全景视图中抽取出该序列的主要特征,比如色度或亮度图,目标的形状,整体运动参数等等。
作为应用于该MPEG-4标准的上下文中,一个马赛克图象的定义可以相比于一个子图象的定义。正如例如在文献WO98/59497中所描述的一个子图象的情况(该情况也可以适用于一个马赛克图象),一个子图象或者马赛克图象的产生涉及三个主要步骤(在下面的描述中,将用普通词汇“静态图象”来代替子图象或者马赛克图象)。首先是一个运动计算步骤,用于获得允许将一个当前视频帧F(n)与已由先前视频帧F(1),F(2),…,F(n-1)构成的静态图象M(n-1)进行正确合并的运动参数。然后可以计算其逆参数,从而可以补偿在其方向中的当前视频帧;这一第二步也称作卷曲(warping)。该所卷曲的当前视频帧F(n)最后与M(n-1)混合,以形成一个新的增长的静态图象M(n),用其与下一进来的视频帧F(n+1)合并,如此等等。
本发明概述
本发明的一个目的是提供一种对于分离物(outlier)有着较强健壮性的静态图象产生方法。
为此,本发明涉及在本说明书中的开始段落所介绍的方法,并且其特征还在于:
(1)所述方法在所述卷曲和混合步骤之间还包括一个另外的步骤,该步骤用于对该当前视频对象VO(n)的每一图形元素计算一个加权系数WWF(n)[x,y],该系数与在该卷曲的视频对象WVO(n)和该静态图形M(n-1)之间在每一图形元素[x,y]的误差相关。
(2)对于每一象素[x,y],用于确定该新近产生的静态图象的该混合步骤根据下列混合公式考虑所述加权系数:其中各项的定义如下:(a)n>0;(b)对于任一(x,y),WM(0)=0;(c)对于任一(x,y),
(d)WM(n)=WM(n-1)+WWF(n)
本发明的另一个目的是提供一个用于执行所述方法的静态图象产生装置。
为此,本发明涉及从一个包括连续的视频对象VO中产生诸如子图象或马赛克图象的大的静态图象M(n)的装置,所述装置包括:
(A)一个运动计算电路,用于计算关于在该序列的该当前视频对象VO(n)和先前产生的静态图象M(n-1)之间的相对运动的一个运动信息;
(B)一个卷曲电路,用于在所述当前视频对象和所述运动信息的基础上定义一个卷曲的视频对象WVO(n);
(C)一个用于更新该静态图象的混合电路,用将所得到的卷曲的视频对象与所述先前产生的静态图象M(n-1)相混合所产生的新的静态图象M(n)代替所述先前产生的静态图象M(n-1);其特征在于:
(1)所述设备还包括一个基于象素的加权电路,该电路接收该当前的视频对象VO(n)和该相关的运动信息,用于对该当前视频对象的每一图形元素计算一个加权系数,该系数与在该卷曲的视频对象WVO(n)和该先前产生的静态图形M(n-1)之间在每一图形元素[x,y]的误差相关;
(2)对于每一象素[x,y],用于确定该新近产生的静态图象M(n)的该混合电路中使用的混合公式根据下列混合公式考虑所述所计算的加权系数:其中各项的定义如下:(a)n>0;(b)对于任一(x,y),WM(0)=0;(c)对于任一(x,y),
(d)WM(n)=WM(n-1)+WWF(n)
所公开的方法和装置的主要原则是它有可能在该加权静态图象中累积置信度(confidence),以便不考虑具有低的加权的图象元素(即分离物),这是通过对于该加权静态图象中每一图象元素将该同一图象元素的加权进行相加而进行的。
附图的简要描述
下面将参照附图更详细地解释本发明的特点和优点,其中:
图1显示了一个静态图象产生装置的已知方案;
图2显示了用于实现根据本发明的方法的一个静态图象产生装置的一个实施例。
本发明的描述
在图1中示出了在先前引用的文献WO98/59497中描述的实现这一方法的装置(例如用于一个马赛克图象)。一个运动计算级11接收连续的视频对象,在本例子中是连续的视频帧F(1),F(2),F(3),…,F(i),…,F(n-1),F(n),以及确定该运动参数,允许将进来的视频帧F(n)与该先前产生的存储在一个存储器12中的马赛克图象M(n-1)相合并,该马赛克图象M(n-1)已经包括了先前的视频帧F(1)至F(n-1)。在计算完这些参数之后,在卷曲电路13中计算其逆参数,该卷曲电路13将该视频对象转换为该马赛克图象M(n-1)的坐标系统。一个混合电路14最后产生刷新该旧的M(n-1)的新的马赛克图象M(n)
在图2中示出了实现(也用于一个马赛克图象的)根据本发明的方法的装置。一个运动计算级21接收连续的视频对象,在本例子中是连续的视频帧F(1),F(2),F(3),…,F(i),…,F(n-1),F(n),该运动计算级执行必要的整体运动计算步骤,用以寻找该运动参数而允许将进来的视频帧F(n)与该先前产生的存储在一个存储器22中的马赛克图象M(n-1)相合并,该马赛克图象M(n-1)已经包括该先前视频帧F(1)至F(n-1)。然后一个马赛克图象增长级23用于建立该新的马赛克图象M(n)以刷新旧的M(n-1)。
在文献EP 0771115(PHF96534)中描述了在该级21中进行的所述运动参数计算的例子。值(Dx,Dy)指示从一个视频帧至下一个视频帧的一个运动矢量的分量,其中Dx和Dy是x和y的函数,其系数是所请求的运动参数,该(Dx,Dy)可以写成L(x,y,t)=L(x-Dx,y-Dy,t-1),其中t=时间,L=在一个给定点的亮度。定义该函数的系数的数量取决于所考虑的运动模型的类型。可以使用不同的运动模型,该运动实际上由给定数量的点的位移所表示。该MPEG-4标准允许使用例如下列模型:
-平移:该模型需要两个参数,平行于该图象平面的相对目标/相机运动和具有一个固定深度的目标的每一点(这是在公知的块匹配方法中使用的标准模型)。
-缩放,旋转,平移:需要四个参数,目标仅以其轴垂直于该图象平面的任意平移和旋转进行运动;
-仿射变换:需要六个参数;
-透视运动:需要八个参数。
该透视模型以某一四边形变换一个矩形:这一形状的四个顶点的2D位置完整地定义该透视投影的八个参数。最好选择这一模型,因为它比其他模型允许更多的相机运动可能性。然后在该运动计算级21中执行的该运动计算方法例如可以是Levenberg-Marquardt运动估算器(motion estimator),这取决于为了直接将在图象对之间的亮度的不一致减至最小的一个传统的基于倾斜度的方案(在应用该透视变换之后,通过重复修改该模型的八个参数)。由该Levenberg-Marquardt运动估算器使用的代价函数最好是一个由M估算值(estimator)加权的平均方差(Lorentz函数),如在申请号为PCT/IB98/00424(PHF97550)的国际专利申请中所描述的。
一旦进行所述运动计算,一个马赛克增长级23允许卷曲该当前视频帧F(n)以及与该马赛克图象混合。该增长级23包括下列电路:一个卷曲电路231,一个基于象素的加权电路,和一个混合电路234。
根据本发明,该基于象素的加权电路对于每一图象元素(象素)利用表达式(1)计算一个加权系数WWF(n): 其中ρ是用于该运动计算级21中的洛伦兹函数M估算值,r(x,y)是该卷曲的当前图象和该马赛克图象之间在该象素(x,y)处的误差。在一个误差图定义电路232中进行该整个误差图的构造,以及在一个系数计算电路233中进行该加权系数的计算。然后由该混合电路234使用该基于象素的加权电路(232,233)计算的整个加权系数集合。在所述电路中,使用一个考虑该加权系数WWF(n)[x,y]的加权平均公式计算该新的马赛克图象M(n)(该图象从该混合步骤产生)的该亮度和色度值。对于每一象素[x,y],实际是混合公式(2)其中各项的定义如下:(a)n>0;(b)对于任一(x,y),WM(0)=0;(c)对于任一(x,y),
(d)Wm(n)=WM(n-1)+WWF(n)
如上所述的本发明显然不限于前面的实施例,可以在此基础之上进行各种替代或改进
必须指出的是,本发明不依赖于该视频序列的类型。在所描述的例子中,该视频序列包括矩形形状的连续的视频帧F(1),F(2),…,F(n-1),F(n),但是很显然它可以包括任意类型的视频对象,例如任意形状类型的视频对象(VO),诸如根据面向对象的分段方案与该MPEG-4标准有关的形状。术语“视频对象”因此可选择为表示诸如根据这里所描述的方法和设备所处理的任一类型的视频信息,并且这种视频对象用符号VO(1),VO(2),…,VO(n-1),V(n)表示。
Claims (2)
1、一种从包括连续的视频对象VO的一个视频序列产生诸如子图象或者马赛克图象的一个大的静态图象M(n)的方法,所述方法包括下列步骤:
(A)相对于先前产生的静态图象M(n-1),计算关于该序列的当前视频对象VO(n)的运动参数;
(B)在所述计算的运动参数的基础上,卷曲所述当前视频对象VO(n);
(C)将所得到的卷曲的视频对象WVO(n)与所述先前产生的静态图象M(n-1)混合;
其特征在于:
(1)所述方法在所述卷曲和混合步骤之间还包括一个另外的步骤,该步骤用于对该当前视频对象VO(n)的每一图形元素计算一个加权系数WWF(n)[x,y],该系数与在该卷曲的视频对象WVO(n)和该静态图形M(n-1)之间在每一图形元素[x,y]的误差相关;
(2)对于每一象素[x,y],用于确定该新近产生的静态图象M(n)的该混合步骤根据下列混合公式考虑所述加权系数:其中各项的定义如下:(a)n>0;(b)对于任一(x,y),WM(0)=0;(c)对于任一(x,y),
(d)WM(n)=WM(n-1)+WWF(n)
2、一个从包括连续的视频对象VO的视频序列产生诸如子图象或马赛克图象的大的静态图象M(n)的装置,所述装置包括:
(A)一个运动计算电路,用于计算关于在该序列的该当前视频对象VO(n)和先前产生的静态图象M(n-1)之间的相对运动的一个运动信息;
(B)一个卷曲电路,用于在所述当前视频对象和所述运动信息的基础上定义一个卷曲的视频对象WVO(n);
(C)一个用于更新该静态图象的混合电路,用于将所得到的卷曲的视频对象与所述先前产生的静态图象M(n-1)相混合所产生的新的静态图象M(n)代替所述先前产生的静态图象M(n-1);
其特征在于:
(1)所述设备还包括一个基于象素的加权电路,该电路接收该当前的视频对象VO(n)和该相关的运动信息,该电路用于对该当前视频对象的每一图形元素计算一个加权系数,该系数与在该卷曲的视频对象WVO(n)和该先前产生的静态图形M(n-1)之间在每一图形元素[x,y]的误差相关;
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP98401997.6 | 1998-08-05 | ||
EP98401997 | 1998-08-05 | ||
EP99401466 | 1999-06-15 | ||
EP99401466.0 | 1999-06-15 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1287750A true CN1287750A (zh) | 2001-03-14 |
CN1153470C CN1153470C (zh) | 2004-06-09 |
Family
ID=26151681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB998017590A Expired - Fee Related CN1153470C (zh) | 1998-08-05 | 1999-07-29 | 静态图象产生方法和装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US6496606B1 (zh) |
EP (1) | EP1042918A1 (zh) |
JP (1) | JP2002522982A (zh) |
KR (1) | KR20010024416A (zh) |
CN (1) | CN1153470C (zh) |
WO (1) | WO2000008858A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6593936B1 (en) | 1999-02-01 | 2003-07-15 | At&T Corp. | Synthetic audiovisual description scheme, method and system for MPEG-7 |
ES2276696T3 (es) * | 1999-09-21 | 2007-07-01 | Koninklijke Philips Electronics N.V. | Metodo de estimacion de movimiento global. |
US8113839B2 (en) * | 2000-07-21 | 2012-02-14 | Sony Corporation | Information processing apparatus, information processing method, information processing system, and storage medium |
US7006706B2 (en) * | 2002-04-12 | 2006-02-28 | Hewlett-Packard Development Company, L.P. | Imaging apparatuses, mosaic image compositing methods, video stitching methods and edgemap generation methods |
FR2843252A1 (fr) * | 2002-07-30 | 2004-02-06 | Thomson Licensing Sa | Procede de compression de donnees numeriques d'une sequence video comportant des plans alternes |
US7813589B2 (en) * | 2004-04-01 | 2010-10-12 | Hewlett-Packard Development Company, L.P. | System and method for blending images into a single image |
KR100869497B1 (ko) * | 2005-07-01 | 2008-11-21 | 주식회사 메디슨 | 계층적 움직임 추정방법 및 이를 적용한 초음파 영상장치 |
US20070058717A1 (en) * | 2005-09-09 | 2007-03-15 | Objectvideo, Inc. | Enhanced processing for scanning video |
KR100921495B1 (ko) * | 2009-03-24 | 2009-10-13 | 삼성탈레스 주식회사 | 파티클 필터링을 이용한 가우시안 혼합 모델링 업데이트 방법 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69435143D1 (de) * | 1993-07-12 | 2008-11-06 | Sony Corp | Verabeitung von digitalen Videodaten |
US5649032A (en) * | 1994-11-14 | 1997-07-15 | David Sarnoff Research Center, Inc. | System for automatically aligning images to form a mosaic image |
US6037988A (en) * | 1996-03-22 | 2000-03-14 | Microsoft Corp | Method for generating sprites for object-based coding sytems using masks and rounding average |
US5943445A (en) * | 1996-12-19 | 1999-08-24 | Digital Equipment Corporation | Dynamic sprites for encoding video data |
-
1999
- 1999-07-29 EP EP99939426A patent/EP1042918A1/en not_active Withdrawn
- 1999-07-29 WO PCT/EP1999/005511 patent/WO2000008858A1/en active IP Right Grant
- 1999-07-29 CN CNB998017590A patent/CN1153470C/zh not_active Expired - Fee Related
- 1999-07-29 JP JP2000564383A patent/JP2002522982A/ja not_active Abandoned
- 1999-07-29 KR KR1020007003658A patent/KR20010024416A/ko active IP Right Grant
- 1999-08-04 US US09/366,696 patent/US6496606B1/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002522982A (ja) | 2002-07-23 |
US6496606B1 (en) | 2002-12-17 |
EP1042918A1 (en) | 2000-10-11 |
CN1153470C (zh) | 2004-06-09 |
KR20010024416A (ko) | 2001-03-26 |
WO2000008858A1 (en) | 2000-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7181081B2 (en) | Image sequence enhancement system and method | |
US7577314B2 (en) | Method and apparatus for generating a panorama background from a set of images | |
US7024020B2 (en) | Apparatus and method for generating object-labeled image in video sequence | |
US20070030396A1 (en) | Method and apparatus for generating a panorama from a sequence of video frames | |
Manning et al. | Interpolating view and scene motion by dynamic view morphing | |
Wallach et al. | Accelerated MPEG compression of dynamic polygonal scenes | |
CN1150769C (zh) | 静态图象产生方法和装置 | |
Kovacevic et al. | Deinterlacing by successive approximation | |
CN1153470C (zh) | 静态图象产生方法和装置 | |
AP504A (en) | Computer compression of video images. | |
CN1231067C (zh) | 静态图象产生方法和装置 | |
US6553069B1 (en) | Digital image segmenting method and device | |
Farin et al. | Enabling arbitrary rotational camera motion using multisprites with minimum coding cost | |
US6885706B2 (en) | Method for promoting temporal resolution of sequential images | |
Park et al. | Resolution enhancement of facial image based on top-down learning | |
WO1999017256A3 (de) | Verfahren zur bestimmung von blockvektoren für die bewegungsschätzung | |
Park et al. | Resolution enhancement of facial image using an error back-projection of example-based learning | |
JP3814499B2 (ja) | 画像処理装置及びその方法、プログラム | |
CN1169371C (zh) | 用于为形状自适应变换填充视频信号的方法和装置 | |
Toklu | Object-based digital videoprocessing using two-dimensional meshes | |
Miyamori et al. | Processible video codec on camera operations | |
JPH04109376A (ja) | 動領域検出方法及びその装置 | |
Hansson | Nonlinear interpolation from video images to high quality printers | |
Park et al. | Blending video with synthetic images created from matched viewing environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C19 | Lapse of patent right due to non-payment of the annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |