CN1846445B - 基于遮蔽检测对像素的时间插值 - Google Patents

基于遮蔽检测对像素的时间插值 Download PDF

Info

Publication number
CN1846445B
CN1846445B CN2004800251644A CN200480025164A CN1846445B CN 1846445 B CN1846445 B CN 1846445B CN 2004800251644 A CN2004800251644 A CN 2004800251644A CN 200480025164 A CN200480025164 A CN 200480025164A CN 1846445 B CN1846445 B CN 1846445B
Authority
CN
China
Prior art keywords
motion vector
pixel
msub
image
mover
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2004800251644A
Other languages
English (en)
Other versions
CN1846445A (zh
Inventor
R·B·维特布鲁德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dynamic Data Technology LLC
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=34259238&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN1846445(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1846445A publication Critical patent/CN1846445A/zh
Application granted granted Critical
Publication of CN1846445B publication Critical patent/CN1846445B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/553Motion estimation dealing with occlusions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Abstract

公开了一种用来确定时间上位于第一和第二图像中间的特定图像的特定像素的值的方法。该方法包括:根据对应于第一图像的第一运动矢量场
Figure 200480025164.4_AB_0
的第一和第二
Figure 200480025164.4_AB_2
运动矢量来计算第一运动矢量差;根据对应于第二图像的第二运动矢量场
Figure 200480025164.4_AB_3
的第三和第四运动矢量来计算第二运动矢量差;如果第一运动矢量差小于第二运动矢量差,则根据第一图像的第一像素的第一值来确立特定像素值,而如果第二运动矢量差小于第一运动矢量差,则根据第二图像的第二像素的第二值来确立特定像素值。

Description

基于遮蔽检测对像素的时间插值
技术领域
本发明涉及一种用来确定应该根据图像序列中的哪个图像来确立时间上位于第一和第二图像中间的特定图像的特定像素的值的方法。
本发明还涉及一种用来确定应该根据图像序列中的哪个图像来确立时间上位于第一和第二图像中间的特定图像的特定像素的值的图像处理设备。
背景技术
遮蔽区域意味着与正在拍摄的场景的一部分相一致的区域,它在一列连续图像的一个图像中是可以见到的,但它在下一个或前一个图像中是不能见到的。这是因为比背景对象更接近照相机的场景中的前景对象可能覆盖部分背景对象。例如在前景对象移动的情况下,背景对象的一部分被遮蔽,同时背景对象的其他部分被暴露。
遮蔽区域可能在时间插值中导致伪象。例如,在上变换的情况下,遮蔽区域能导致所谓的晕圈(holo)。在上变换的情况下,估计移动矢量以致通过时间插值来计算上变换的输出图像。例如,见“Robustmotion-compensated video upconversion”,由O.Ojo和G.de Haan在消费电子中的IEEE学报第43卷第4章,第1045-1056页,1997年11月发表。对于时间插值,也就是,两个原始输入图像中间的新图像的计算,要从连续图像中获取多个像素,这些像素优选地与一个且相同的对象相关。在遮蔽区域的例子中不能直接这样做,因为在两个连续的图像中找不到相关的像素。其他插值策略也是需要的,典型地,基于仅仅的上一个或下一个原始图像的像素值的插值。因而,为遮蔽区域来估计运动矢量很重要,这一点是将是清楚的。
发明内容
本发明的目的是提供一种在开始段落中所描述的那种相对健壮的方法。
本发明的这一目的通过下面的方法来实现,该方法包括:
-估计对应于第一图像的第一运动矢量场、针对特定像素的特定运动矢量、以及对应于第二图像的第二运动矢量场;
-根据特定像素的特定空间位置和特定运动矢量,从第一运动矢量场中选择第一运动矢量;
-根据特定像素的特定空间位置和第一运动矢量,从第一运动矢量场中选择第二运动矢量;
-根据第一和第二运动矢量来计算第一运动矢量差;
-根据特定像素的特定空间位置和特定运动矢量,从第二运动矢量场中选择第三运动矢量;
-根据特定像素的特定空间位置和第三运动矢量,从第二运动矢量场中选择第四运动矢量;
-根据第三和第四运动矢量来计算第二运动矢量差;
其中,
-如果第一运动矢量差小于第二运动矢量差,则根据第一图像的第一像素的第一值来确立特定像素值,而如果第二运动矢量差小于第一运动矢量差,则根据第二图像的第二像素的第二值来确立特定像素值。
本发明公开了:可以通过比较第一运动矢量场的两个适当选择的运动矢量之间的第一差和第二运动矢量场的两个适当选择的运动矢量之间的第二差来确定两个独立图像中的哪一个应该被选择来为了确定特定像素的值而获取一个或多个像素值。典型地,两个运动矢量场之一的两个所选的运动矢量相互之间基本上是相等的。这意味着:这两个运动矢量都与背景或相同的前景对象相关的概率相对是高的。在那种情况下,使用这两个运动矢量之一能够获取适合于中间图像的像素的概率相对也是高的。在遮蔽的情况下,典型地,这两个运动矢量都与背景相关。
一个值代表任何类型的人类可视信息,像亮度或颜色。
本发明方法的实施例包括:如果第一运动矢量差和第二运动矢量差都小于预定阈值,那么根据第一像素的第一值和第二像素的第二值来确定特定像素值。在本发明的这一实施例中,不是从两个图像中任一图像中选择像素值,相反,可选择地来根据两个图像的像素值来确定特定像素值。这依赖于测试以验证两个运动矢量差是否都小于预定阈值。优选地,这个测试通过将两个运动矢量中最大的与预定阈值相比较来实现,这个测试是隐含的遮蔽检测。如果运动矢量差中只有一个小于预定阈值,那么假设特定像素位置位于遮蔽区域中。遮蔽类型,也就是,覆盖或暴露,依赖于两个中的哪一个小于预定阈值。然而,如果两个运动矢量都小于预定阈值,那么假设特定空间位置不在遮蔽区域中。在后一种情况下,特定像素值是基于两个输入图像的像素值的。
本发明方法的实施例包括:通过第一像素的第一值和在第一像素的空间邻域中的另一像素的另一值的插值来确定特定像素值。换言之,在本发明的这一实施例中,通过多个像素值的插值来实现子像素的准确性。
本发明的另一个目的是提供一种在开始段落中所描述的那种相对健壮的图像处理设备。
本发明的这一目的通过下面的图像处理设备来实现,它包括:
-运动估计装置,用来估计对应于第一图像的第一运动矢量场、以及对应于第二图像的第二运动矢量场;
-运动估计器,用来估计针对特定像素的特定运动矢量;
-第一计算装置,用来根据特定像素的特定空间位置和特定运动矢量,从第一运动矢量场中选择第一运动矢量,根据特定像素的特定空间位置和第一运动矢量,从第一运动矢量场中选择第二运动矢量,并根据第一和第二运动矢量来计算第一运动矢量差;
-第二计算装置,用来根据特定像素的特定空间位置和特定运动矢量,从第二运动矢量场中选择第三运动矢量,根据特定像素的特定空间位置和第三运动矢量,从第二运动矢量场中选择第四运动矢量,并根据第三和第四运动矢量来计算第二运动矢量差;以及
-确立装置,如果第一运动矢量差小于第二运动矢量差,则根据第一图像的第一像素的第一值来确立特定像素值,而如果第二运动矢量差小于第一运动矢量差,则根据第二图像的第二像素的第二值来确立特定像素值。
优选地,该图像处理设备进一步包括显示设备,用来显示输出图像。该图像处理设备可以是例如TV,置顶盒,VCR(录像机)播放器,卫星调谐器,DVD(数字化视频光盘)播放器或记录器。
附图说明
根据本发明,像素值确定单元的、图像处理设备的、方法的,计算机程序产品的这些和其他方面将参照附图并结合后面描述的实现方式和实施例来阐述和变得清楚,其中:
图1示意性描述了场景中的前景对象的移动和背景对象的移动;
图2示意性描述了为图1中所示的图像所估计的运动矢量场;
图3示意性描述了根据本发明的用于两个都位于遮蔽区域中的示例像素的方法;
图4示意性描述了根据本发明的用于一个不位于遮蔽区域中的示例像素的方法;
图5示意性描述了根据本发明的提供了三个运动矢量场的像素值确定单元的实施例;
图6示意性描述了根据本发明的图像处理设备的实施例。
在整个附图中,相同的附图标记标示类似的部分。
具体实施方式
图1示意性描述了场景中的前景对象118的移动和背景的移动。在图1中,绘制了在两个时间位置n-1和n处的两个原始图像100和104。这些图像中的对象118是以向上的方向移动,
Figure DEST_PATH_G200480025164401D00042
由通过实黑线106和108连接的灰色矩形来标示。长窄点黑线110和112指示了背景的移动
Figure DEST_PATH_G200480025164401D00043
它是向下的。阴影区域114和116指示了遮蔽区域。在时间位置n+α(其中-1≤α≤0)处产生的新图像102由虚线120来指示。
图2示意性描述了为图1中所示的图像所估计的运动矢量场,也就是估计的运动矢量场由箭头来指示。第一运动矢量场为两个原始图像中的第一个100而估计,而第二运动矢量场为两个原始图像中的第二个104而估计。这两运动矢量场通过三帧运动估计器采计算。第一运动矢量场由
Figure DEST_PATH_G200480025164401D00051
来标示。第一运动矢量场被估计在亮度帧之间。第二运动矢量场由
Figure DEST_PATH_G200480025164401D00054
来标示。这个第二运动矢量场估计在亮度帧
Figure DEST_PATH_G200480025164401D00055
Figure DEST_PATH_G200480025164401D00056
之间。此外,已经为第一和第二运动矢量场中间的时间位置n+α计算了初始运动矢量场。这个初始运动矢量场
Figure DEST_PATH_G200480025164401D00057
估计在亮度帧
Figure DEST_PATH_G200480025164401D00058
Figure DEST_PATH_G200480025164401D00059
之间。注意到,三帧运动估计器的运动矢量场
Figure DEST_PATH_G200480025164401D000510
Figure DEST_PATH_G200480025164401D000511
基本上与前景对象118匹配,而两帧运动估计器的运动矢量场
Figure DEST_PATH_G200480025164401D000512
表示了延伸到背景中的前景矢量。
根据本发明的方法,时间上位于第一和第二输入图像中间的图像由三个运动矢量场
Figure DEST_PATH_G200480025164401D000513
Figure DEST_PATH_G200480025164401D000514
来计算。那意味着:背景矢量被确定在遮蔽区域中,并且被用于从两个输入图像中的一个图像获取像素。
图3示意性描述了根据本发明的用于两个分别位于空间位置
Figure S04825164420060314D000061
Figure S04825164420060314D000062
处的示例像素的方法。首先考虑在位置
Figure S04825164420060314D000063
处的像素周围的情形。来自运动矢量场的运动矢量用来分别从第一运动矢量场
Figure S04825164420060314D000066
和第二运动矢量场获取运动矢量
Figure S04825164420060314D000068
Figure S04825164420060314D000069
D → p ( x → 1 ) = D → 3 ( x → 1 - ( α + 1 ) D → c ( x → 1 ) , n - 1 ) - - - ( 1 )
D → n ( x → 1 ) = D → 3 ( x → 1 - α D → c ( x → 1 ) , n ) - - - ( 2 )
这个选择过程分别由粗黑箭头300和302来指示。两个运动矢量
Figure S04825164420060314D0000612
是背景矢量。使用
Figure S04825164420060314D0000615
获取矢量
Figure S04825164420060314D0000616
使用矢量
Figure S04825164420060314D0000617
Figure S04825164420060314D0000618
获取矢量
Figure S04825164420060314D0000619
D → pp ( x → 1 ) = D → 3 ( x → 1 - ( α + 1 ) D → p ( x → 1 ) , n - 1 ) - - - ( 3 )
D → nn ( x → 1 ) = D → 3 ( x → 1 - α D → n ( x → 1 ) , n ) - - - ( 4 )
这个获取由粗黑点箭头301和303来指示。可以看出:
Figure S04825164420060314D0000622
也是背景矢量,但是
Figure S04825164420060314D0000623
是前景矢量。这意味着
Figure S04825164420060314D0000624
Figure S04825164420060314D0000625
相互之间基本上是相等的,也就是,第一运动矢量差小于预定阈值T0。然而,在
Figure S04825164420060314D0000626
之间的差却相当大,也就是,第二运动矢量差大于预定阈值T0。因此,在中间图像102的空间位置
Figure S04825164420060314D0000628
处的像素值将基于在时间位置n处的第二图像104的像素值,因为第二运动矢量差小于第一运动矢量差。
一个类似过程可以用来为在位置
Figure S04825164420060314D0000629
处的其他像素建立适当的运动矢量。来自运动矢量场
Figure S04825164420060314D0000630
的运动矢量
Figure S04825164420060314D0000631
用来分别从第一运动矢量场
Figure S04825164420060314D0000632
和第二运动矢量场
Figure S04825164420060314D0000633
获得运动矢量
Figure S04825164420060314D0000634
D → p ( x → 2 ) = D → 3 ( x → 2 - ( α + 1 ) D → c ( x → 2 ) , n - 1 ) - - - ( 5 )
D → n ( x → 2 ) = D → 3 ( x → 2 - α D → c ( x → 2 ) , n ) - - - ( 6 )
这个选择过程分别由粗黑箭头304和306来指示。用获取的运动矢量分别是背景矢量和前景矢量。使用
Figure S04825164420060314D0000641
获取矢量
Figure S04825164420060314D0000642
使用矢量
Figure S04825164420060314D0000643
获取矢量
Figure S04825164420060314D0000645
D → pp ( x → 2 ) = D → 3 ( x → 2 - ( α + 1 ) D → p ( x → 2 ) , n - 1 ) - - - ( 7 )
D → nn ( x → 2 ) = D → 3 ( x → 2 - α D → n ( x → 2 ) , n ) - - - ( 8 )
这个获取由粗黑箭头304和307来指示。也能看到
Figure S04825164420060314D0000648
Figure S04825164420060314D0000649
都是背景矢量。这意味着
Figure S04825164420060314D0000650
Figure S04825164420060314D0000651
相互之间基本上是相等的,也就是,第二运动矢量差小于预定阈值T0。然而,在
Figure S04825164420060314D0000653
之间的差是相当大的,也就是,第一运动矢量差大于预定阈值T0。因此,在中间图像102的空间位置
Figure S04825164420060314D000071
处的像素值将基于在时间位置n-1处的第一图像100的像素值,因为第一运动矢量差小于第二运动矢量差。
总体而言,如果:
| | D → P - D → PP | | > T 0 | | D → n - D → nn | | > T 0       (9)
则检测到了遮蔽。
在遮蔽被检测出的情况下,分类成覆盖和暴露。
如果:
| | D → P - D → PP | | > T 0 | | D → n - D → nn | | ≤ T 0      (10)
则像素在暴露区域中。
并且,如果:
| | D → P - D → PP | | ≤ T 0 | | D → n - D → nn | | > T 0     (11)
则像素在覆盖区域中。
因此,空间位置
Figure S04825164420060314D000078
处的像素位于暴露区域中,而在空间位置处的像素位于覆盖区域中。
图4示意性示出了根据本发明的用于一个不位于遮蔽区域中的示例像素
Figure S04825164420060314D0000710
的方法。来自运动矢量场
Figure S04825164420060314D0000711
的运动矢量
Figure S04825164420060314D0000712
用来分别从第一运动矢量场和第二运动矢量场
Figure S04825164420060314D0000714
获取运动矢量
Figure S04825164420060314D0000715
Figure S04825164420060314D0000716
D → p ( x → 3 ) = D → 3 ( x → 3 - ( α + 1 ) D → c ( x → 3 ) , n - 1 ) - - - ( 12 )
D → n ( x → 3 ) = D → 3 ( x → 3 - α D → c ( x → 3 ) , n ) - - - ( 13 )
这个选择过程分别由粗黑箭头400和402来指示。两个运动矢量
Figure S04825164420060314D0000720
是前景矢量。使用
Figure S04825164420060314D0000721
Figure S04825164420060314D0000722
获取矢量
Figure S04825164420060314D0000723
使用矢量
Figure S04825164420060314D0000724
Figure S04825164420060314D0000725
获取矢量
D → pp ( x → 3 ) = D → 3 ( x → 3 - ( α + 1 ) D → p ( x → 3 ) , n - 1 ) - - - ( 14 )
D → nn ( x → 3 ) = D → 3 ( x → 3 - α D → n ( x → 3 ) , n ) - - - ( 15 )
这个获取也分别由粗黑箭头400和402来表示。可以看出
Figure S04825164420060314D0000729
也是前景矢量。这意味着
Figure S04825164420060314D0000731
相互之间基本上是相等的,也就是,第一运动矢量差小于预定阈值T0。另外,
Figure S04825164420060314D0000734
相互之间基本上是相等的,也就是,第二运动矢量差低于预定阈值T0。因此,在中间图像102的空间位置
Figure S04825164420060314D0000735
处的像素值将基于在时间位置n-1处的第一图像100的第一像素的第一值和基于在时间位置n处的第二图像104的第二像素的第二值。
图5示意性示出了根据本发明的像素值确定单元500的实施例,它用来计算时间上位于第一图像和第二图像中间的图像,中间图像位于时间位置n+α处。像素值确定单元500被提供有三个运动矢量场。这些提供的运动矢量场中的第一个和第二个
Figure DEST_PATH_G200480025164401D00062
通过三帧运动估计器512来计算。三帧运动估计器512的例子在US6,011,596中公开。第三个提供的运动矢量场
Figure DEST_PATH_G200480025164401D00063
通过两帧运动估计器514来计算。这个两帧运动估计器514例如和在下面的文献中所说明的一样,“True-Motion Estimation with 3-D Recursive Search BlockMatching”,作者G.de Haan等人,在视频技术的电路和系统IEEE学报第3卷第5章,第368-379页,1993年10月发表。
运动估计器512和514和像素值确定单元500被提供了代表第一和第二图像和其他输入图像的输入视频信号。像素值确定单元500在输出连接器518提供输出视频信号,它代表第一和第二图像及中间图像。像素值确定单元500包括控制接口520,用来接收代表预定阈值T0的控制信号。
根据本发明的像素值确定单元500包括:
-运动矢量比较单元502;
-确定单元504;和
-和像素值计算单元506。
运动矢量比较单元502被安排来从三个运动矢量场
Figure DEST_PATH_G200480025164401D00064
Figure DEST_PATH_G200480025164401D00065
Figure DEST_PATH_G200480025164401D00066
获取相应的运动矢量。运动矢量比较单元502包括:
-第一计算单元508,用来根据对应于第一图像的第一运动矢量场的第一和第二
Figure DEST_PATH_G200480025164401D00069
运动矢量采计算第一运动矢量差,第一运动矢量
Figure DEST_PATH_G200480025164401D000610
是根据特定像素的特定空间位置
Figure DEST_PATH_G200480025164401D000611
和为特定像素而估计的特定运动矢量
Figure DEST_PATH_G200480025164401D000612
从第一运动矢量场中选择的;
-第二计算单元510,用来根据对应于第二图像的第二运动矢量场的第三
Figure DEST_PATH_G200480025164401D000615
和第四
Figure DEST_PATH_G200480025164401D000616
运动矢量来计算第二运动矢量差,第三运动矢量
Figure DEST_PATH_G200480025164401D000617
是根据特定像素的特定空间位置
Figure DEST_PATH_G200480025164401D000618
和为特定像素而估计的特定运动矢量
Figure DEST_PATH_G200480025164401D000619
从第二运动矢量场
Figure DEST_PATH_G200480025164401D000620
中选择的。
确定单元504被安排用来确定特定像素位于其中的区域的类型。因此,确定单元504被安排用来检查两个运动矢量差是否都小于预定阈值T0。然后,按照公式9-11所规定的,来估计区域类型。确定单元504更进一步被安排用来为了计算中间图像的特定像素的像素值而检查应该使用哪个运动矢量或可选地使用哪些运动矢量来从第一和第二图像获取像素值。通常,如果第一运动矢量差小于第二运动矢量差,那么特定像素的值基于第一图像的第一像素的第一值,而如果第二运动矢量差小于第一运动矢量差,那么特定像素的值基于第二图像的第二像素的第二值。如果第一运动矢量差和第二运动矢量差都小于预定阈值T0,那么特定像素的值基于第一像素的第一值和第二像素的第二值。
像素值计算单元506被安排用来确定特定像素的实际值。它可以是第一或第二图像的像素值的直接复制。优选地,该值基于多个像素值的插值,在运动矢量是子像素准确之时特别如此。
根据本发明的像素值确定单元500的运作结合图3和4来描述。
运动矢量比较单元502,确定单元504,像素值计算单元506,三帧运动估计器512和两帧运动估计器514都可以使用一个处理器来实现。通常,这些功能在软件程序产品的控制下实行,在执行期间,通常软件程序产品被装载到存储器,像RAM,并从其被执行。程序可以从背景存储器,像ROM,硬盘,或磁和/或光存储器被装载,或可以经由网络,像因特网被装载。可选择地,专用集成电路提供了所公开的功能。
不同时间位置n-1,n+α和n处的运动矢量的计算优选地与中间图像的像素值的计算同步执行。那意味着:特定运动矢量场(例如时间位置n-1处的)不需要与一起来代表相应原始输入视频图像的所有像素运动的运动矢量组相对应。换句话说,运动矢量场可以与一起来代表。相应原始输入视频图像的部分像素(例如仅仅10%)的运动的运动矢量组相对应。
图6示意性描述了根据本发明的图像处理设备600的实施例,包括:
-接收装置602,用来接收与一个视频图像序列相对应的信号;
-三帧运动估计器512,用来为视频图像中的第一个来估计第一运动矢量场和为视频图像中的第二个来估计第二运动矢量场;
-两帧运动估计器514,用来为时间上位于视频图像的第一个和视频图像的第二个中间的输出图像来估计第三运动矢量场;
-像素值确定单元500,和结合附图5所描述的一样;和
-显示设备606,用来显示像素值确定单元500的输出图像。
该信号可以是经由天线或电缆接收的广播信号,但也可以是来自存储设备像VCR(录像机)或数字化视频光盘(DVD)的信号。该信号在输入连接器608处被提供。图像处理设备600可以是例如TV。可选的,图像处理设备600不包括可选的显示设备,但却向包括显示设备606的设备提供输出图像。于是,图像处理设备600可以是例如置顶盒,卫星调谐器,VCR播放器,DVD播放器或记录器。可选的,图像处理器600包括存储装置,像硬盘或用来在可移动的媒介,例如光盘上存储的装置。图像处理设备600也可以是被电影制片厂或广播商使用的系统。
应当理解:上面提及的实施例用来说明本发明而不是用来限制本发明,本领域技术人员在不偏离所附权利要求的保护范围的情况下也能够设计出可替换的实施例。在权利要求中,用括号括起来的任何附图标记都不应该被解释为对权利要求的限制。术语“包括”不排除没有列在权利要求中的单元或步骤的存在。在单元之前的术语“一个”不排除多个这样的单元的存在。本发明能够通过包括多个分立单元的硬件和通过合适的编程的计算机来实现。在列举了多个装置的单元权利要求中,这些装置中的几个能够用一个相同的硬件项来具体化。术语第一,第二和第三及其他的使用不表明任何排序。这些词语应该被解释为列举。

Claims (7)

1.一种用来确定应该根据图像序列中的哪个图像来确立时间上位于第一和第二图像中间的特定图像的特定像素的值的方法,第一和第二图像包括在所述图像序列中,该方法包括:
-估计对应于第一图像的第一运动矢量场
Figure FA20168264200480025164401C00011
针对特定像素的特定运动矢量以及对应于第二图像的第二运动矢量场
Figure FA20168264200480025164401C00013
-根据特定像素的特定空间位置
Figure FA20168264200480025164401C00014
和特定运动矢量
Figure FA20168264200480025164401C00015
从第一运动矢量场
Figure FA20168264200480025164401C00016
中选择第一运动矢量
Figure FA20168264200480025164401C00017
-根据特定像素的特定空间位置
Figure FA20168264200480025164401C00018
和第一运动矢量
Figure FA20168264200480025164401C00019
从第一运动矢量场
Figure FA20168264200480025164401C000110
中选择第二运动矢量
Figure FA20168264200480025164401C000111
-根据第一和第二
Figure FA20168264200480025164401C000113
运动矢量来计算第一运动矢量差;
-根据特定像素的特定空间位置和特定运动矢量
Figure FA20168264200480025164401C000115
从第二运动矢量场
Figure FA20168264200480025164401C000116
中选择第三运动矢量
Figure FA20168264200480025164401C000117
-根据特定像素的特定空间位置
Figure FA20168264200480025164401C000118
和第三运动矢量
Figure FA20168264200480025164401C000119
从第二运动矢量场
Figure FA20168264200480025164401C000120
中选择第四运动矢量
-根据第三
Figure FA20168264200480025164401C000122
和第四运动矢量来计算第二运动矢量差;
其中,
-如果第一运动矢量差小于第二运动矢量差,则根据第一图像的第一像素的第一值来确立特定像素值,而如果第二运动矢量差小于第一运动矢量差,则根据第二图像的第二像素的第二值来确立特定像素值。
2.如权利要求1所述的方法,包括:
当根据第一像素的第一值来确立特定像素值时,通过第一像素的第一值和在第一像素的空间邻域中的另一像素的另一值的插值来确立特定像素值。
3.一种用来确定应该根据图像序列中的哪个图像来确立时间上位于第一和第二图像中间的特定图像的特定像素的值的方法,第一和第二图像包括在所述图像序列中,该方法包括:
-估计对应于第一图像的第一运动矢量场
Figure FA20168264200480025164401C00021
针对特定像素的特定运动矢量
Figure FA20168264200480025164401C00022
以及对应于第二图像的第二运动矢量场
Figure FA20168264200480025164401C00023
-根据特定像素的特定空间位置
Figure FA20168264200480025164401C00024
和特定运动矢量从第一运动矢量场
Figure FA20168264200480025164401C00026
中选择第一运动矢量
Figure FA20168264200480025164401C00027
-根据特定像素的特定空间位置和第一运动矢量
Figure FA20168264200480025164401C00029
从第一运动矢量场中选择第二运动矢量
Figure FA20168264200480025164401C000211
-根据第一
Figure FA20168264200480025164401C000212
和第二
Figure FA20168264200480025164401C000213
运动矢量来计算第一运动矢量差;
-根据特定像素的特定空间位置和特定运动矢量从第二运动矢量场
Figure FA20168264200480025164401C000216
中选择第三运动矢量
Figure FA20168264200480025164401C000217
-根据特定像素的特定空间位置
Figure FA20168264200480025164401C000218
和第三运动矢量
Figure FA20168264200480025164401C000219
从第二运动矢量场中选择第四运动矢量
Figure FA20168264200480025164401C000221
-根据第三
Figure FA20168264200480025164401C000222
和第四
Figure FA20168264200480025164401C000223
运动矢量来计算第二运动矢量差;
其中,
-如果第一运动矢量差和第二运动矢量差小于预定阈值,那么根据第一图像的第一像素的第一值和第二图像的第二像素的第二值来确立特定像素值;否则,如果第一运动矢量差小于第二运动矢量差,则根据第一像素的第一值来确立特定像素值,而如果第二运动矢量差小于第一运动矢量差,则根据第二像素的第二值来确立特定像素值。
4.一种图像处理设备(600),用来确定应该根据图像序列中的哪个图像来确立时间上位于第一和第二图像中间的特定图像的特定像素的值,第一和第二图像包括在所述图像序列中,该图像处理设备包括:
-三帧运动估计器(512),用来估计对应于第一图像的第一运动矢量场
Figure FA20168264200480025164401C000224
以及对应于第二图像的第二运动矢量场
Figure FA20168264200480025164401C000225
-两帧运动估计器(514),用来估计针对特定像素的特定运动矢量;
-第一计算单元(508),用来根据特定像素的特定空间位置
Figure FA20168264200480025164401C00031
和特定运动矢量
Figure FA20168264200480025164401C00032
从第一运动矢量场中选择第一运动矢量
Figure FA20168264200480025164401C00034
根据特定像素的特定空间位置
Figure FA20168264200480025164401C00035
和第一运动矢量
Figure FA20168264200480025164401C00036
从第一运动矢量场中选择第二运动矢量
Figure FA20168264200480025164401C00038
并根据第一
Figure FA20168264200480025164401C00039
和第二运动矢量来计算第一运动矢量差;
-第二计算单元(510),用来根据特定像素的特定空间位置
Figure FA20168264200480025164401C000311
和特定运动矢量
Figure FA20168264200480025164401C000312
从第二运动矢量场
Figure FA20168264200480025164401C000313
中选择第三运动矢量
Figure FA20168264200480025164401C000314
根据特定像素的特定空间位置
Figure FA20168264200480025164401C000315
和第三运动矢量
Figure FA20168264200480025164401C000316
从第二运动矢量场
Figure FA20168264200480025164401C000317
中选择第四运动矢量并根据第三和第四运动矢量来计算第二运动矢量差;以及
-确定单元(504),如果第一运动矢量差小于第二运动矢量差,则根据第一图像的第一像素的第一值来确立特定像素值,而如果第二运动矢量差小于第一运动矢量差,则根据第二图像的第二像素的第二值来确立特定像素值。
5.如权利要求4所述的图像处理设备(600),进一步包括接收装置(602),用来接收对应于所述图像序列的信号。
6.如权利要求5所述的图像处理设备(600),进一步包括显示设备(606),用来显示输出图像。
7.如权利要求6所述的图像处理设备(600)是TV。
CN2004800251644A 2003-09-02 2004-08-23 基于遮蔽检测对像素的时间插值 Expired - Fee Related CN1846445B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP03103269 2003-09-02
EP03103269.1 2003-09-02
PCT/IB2004/051530 WO2005022922A1 (en) 2003-09-02 2004-08-23 Temporal interpolation of a pixel on basis of occlusion detection

Publications (2)

Publication Number Publication Date
CN1846445A CN1846445A (zh) 2006-10-11
CN1846445B true CN1846445B (zh) 2010-09-29

Family

ID=34259238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2004800251644A Expired - Fee Related CN1846445B (zh) 2003-09-02 2004-08-23 基于遮蔽检测对像素的时间插值

Country Status (6)

Country Link
US (1) US7536031B2 (zh)
EP (1) EP1665808B1 (zh)
JP (1) JP2007504700A (zh)
KR (1) KR101135454B1 (zh)
CN (1) CN1846445B (zh)
WO (1) WO2005022922A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7931699B2 (en) * 2002-12-27 2011-04-26 Hbi Branded Apparel Enterprises, Llc Compositions for spray dyeing cellulosic fabrics
US7931700B2 (en) * 2002-12-27 2011-04-26 Hbi Branded Apparel Enterprises, Llc Composition for dyeing of cellulosic fabric
WO2006137020A2 (en) * 2005-06-22 2006-12-28 Koninklijke Philips Electronics N.V. Video signal compression
EP1958451B1 (en) * 2005-11-30 2014-03-19 Entropic Communications, Inc. Motion vector field correction
CN101496063A (zh) * 2006-04-19 2009-07-29 Nxp股份有限公司 用于创建内插图像的方法和系统
US8086036B2 (en) 2007-03-26 2011-12-27 International Business Machines Corporation Approach for resolving occlusions, splits and merges in video images
JP5023780B2 (ja) * 2007-04-13 2012-09-12 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US7990476B2 (en) * 2007-09-19 2011-08-02 Samsung Electronics Co., Ltd. System and method for detecting visual occlusion based on motion vector density
JP4670918B2 (ja) * 2008-08-26 2011-04-13 ソニー株式会社 フレーム補間装置及びフレーム補間方法
CN101778292B (zh) * 2009-01-08 2013-07-17 晨星软件研发(深圳)有限公司 影像处理方法及其装置
TWI490819B (zh) * 2009-01-09 2015-07-01 Mstar Semiconductor Inc 影像處理方法及其裝置
KR101319780B1 (ko) * 2009-01-23 2013-10-17 닛본 덴끼 가부시끼가이샤 이미지 시그니처 추출 장치
US9699475B2 (en) 2009-02-12 2017-07-04 Qualcomm Incorporated Video sequence analysis for robust motion estimation
WO2010091937A1 (en) * 2009-02-12 2010-08-19 Zoran (France) Temporal video interpolation method with 2-frame occlusion handling
EP2224738A1 (en) 2009-02-27 2010-09-01 Nxp B.V. Identifying occlusions
EP2224740A1 (en) 2009-02-27 2010-09-01 Nxp B.V. Detecting occlusion
EP2227012A1 (en) * 2009-03-05 2010-09-08 Sony Corporation Method and system for providing reliable motion vectors
EP2420973B1 (en) * 2009-04-14 2019-11-13 Nec Corporation Image identifier extraction device
US8254439B2 (en) * 2009-05-08 2012-08-28 Mediatek Inc. Apparatus and methods for motion vector correction
JP5287509B2 (ja) * 2009-05-28 2013-09-11 富士通株式会社 フレーム補間装置、フレーム補間方法、及び、フレーム補間プログラム
US8200021B2 (en) * 2009-06-16 2012-06-12 Nec Corporation Image signature matching device
US8487981B2 (en) * 2009-09-04 2013-07-16 Broadcom Corporation Method and system for processing 2D/3D video
JP4692913B2 (ja) * 2009-10-08 2011-06-01 日本ビクター株式会社 フレームレート変換装置及び方法
US9013584B2 (en) * 2010-03-01 2015-04-21 Stmicroelectronics, Inc. Border handling for motion compensated temporal interpolator using camera model
US9659353B2 (en) 2010-03-01 2017-05-23 Stmicroelectronics, Inc. Object speed weighted motion compensated interpolation
JP4991890B2 (ja) * 2010-03-01 2012-08-01 株式会社東芝 補間フレーム生成装置及び方法
EP2383992B1 (en) * 2010-04-30 2017-11-29 Vestel Elektronik Sanayi ve Ticaret A.S. Method and apparatus for the detection and classification of occlusion regions
JP4735779B2 (ja) * 2011-01-12 2011-07-27 日本ビクター株式会社 補間画素データ生成装置及び方法
CN102263956B (zh) * 2011-07-21 2013-03-20 福建星网视易信息系统有限公司 基于运动矢量的移动侦测方法
GB201113527D0 (en) * 2011-08-04 2011-09-21 Imagination Tech Ltd External vectors in a motion estimation system
US9148622B2 (en) 2011-12-29 2015-09-29 Hong Kong Applied Science and Technology Research Institute Company, Limited Halo reduction in frame-rate-conversion using hybrid bi-directional motion vectors for occlusion/disocclusion detection
KR101908388B1 (ko) 2012-07-19 2018-10-17 삼성전자 주식회사 폐색 영역 복원 장치, 폐색 영역을 복원하는 비디오 디코딩 장치 및 폐색 영역 복원 방법
KR101975206B1 (ko) * 2012-11-23 2019-05-07 삼성전자주식회사 시간상 연속하는 물체의 움직임들에 대응하는 이미지 데이터들을 프로세싱하는 방법 및 장치
US11069074B2 (en) * 2018-04-23 2021-07-20 Cognex Corporation Systems and methods for improved 3-D data reconstruction from stereo-temporal image sequences
US11388432B2 (en) * 2018-12-10 2022-07-12 Qualcomm Incorporated Motion estimation through input perturbation
WO2023174546A1 (en) * 2022-03-17 2023-09-21 Dream Chip Technologies Gmbh Method and image processor unit for processing image data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1154049A (zh) * 1995-12-29 1997-07-09 大宇电子株式会社 校正基于块的编码器传送的图象信号中的信道误差的方法
WO2000011863A1 (en) * 1998-08-21 2000-03-02 Koninklijke Philips Electronics N.V. Problem area location in an image signal
WO2002056589A1 (en) * 2001-01-16 2002-07-18 Koninklijke Philips Electronics N.V. Reducing halo-like effects in motion-compensated interpolation
WO2003041416A1 (en) * 2001-11-07 2003-05-15 Koninklijke Philips Electronics N.V. Occlusion detector for and method of detecting occlusion areas

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2256341B (en) * 1991-05-24 1995-02-15 British Broadcasting Corp Video image processing
JP2919211B2 (ja) * 1992-12-25 1999-07-12 日本電気株式会社 動画像のフレーム内挿方式及び符号化復号化方式
JP3679426B2 (ja) * 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
GB2279531B (en) * 1993-06-24 1997-07-16 Sony Uk Ltd Motion compensated image interpolation
JPH07336650A (ja) * 1994-06-06 1995-12-22 Nippon Hoso Kyokai <Nhk> フィールド内挿方法
JPH09214899A (ja) * 1996-01-31 1997-08-15 Nippon Hoso Kyokai <Nhk> 画像予測処理方法および装置
US6594313B1 (en) * 1998-12-23 2003-07-15 Intel Corporation Increased video playback framerate in low bit-rate video applications
US6487304B1 (en) * 1999-06-16 2002-11-26 Microsoft Corporation Multi-view approach to motion and stereo
US6442203B1 (en) * 1999-11-05 2002-08-27 Demografx System and method for motion compensation and frame rate conversion
EP1511311B1 (en) * 2003-08-26 2007-04-04 STMicroelectronics S.r.l. Method and system for de-interlacing digital images, and computer program product therefor
KR100840133B1 (ko) * 2000-05-18 2008-06-23 코닌클리케 필립스 일렉트로닉스 엔.브이. Mc 업 컨버젼에서 헤일로를 감소시키는 움직임 추정기
US6810081B2 (en) * 2000-12-15 2004-10-26 Koninklijke Philips Electronics N.V. Method for improving accuracy of block based motion compensation
WO2003067523A2 (en) * 2002-02-05 2003-08-14 Koninklijke Philips Electronics N.V. Estimating a motion vector of a group of pixels by taking account of occlusion

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1154049A (zh) * 1995-12-29 1997-07-09 大宇电子株式会社 校正基于块的编码器传送的图象信号中的信道误差的方法
WO2000011863A1 (en) * 1998-08-21 2000-03-02 Koninklijke Philips Electronics N.V. Problem area location in an image signal
WO2002056589A1 (en) * 2001-01-16 2002-07-18 Koninklijke Philips Electronics N.V. Reducing halo-like effects in motion-compensated interpolation
WO2003041416A1 (en) * 2001-11-07 2003-05-15 Koninklijke Philips Electronics N.V. Occlusion detector for and method of detecting occlusion areas

Also Published As

Publication number Publication date
CN1846445A (zh) 2006-10-11
US20070002058A1 (en) 2007-01-04
EP1665808A1 (en) 2006-06-07
US7536031B2 (en) 2009-05-19
KR20060121856A (ko) 2006-11-29
WO2005022922A1 (en) 2005-03-10
EP1665808B1 (en) 2016-05-25
KR101135454B1 (ko) 2012-04-13
JP2007504700A (ja) 2007-03-01

Similar Documents

Publication Publication Date Title
CN1846445B (zh) 基于遮蔽检测对像素的时间插值
US7519230B2 (en) Background motion vector detection
US7949205B2 (en) Image processing unit with fall-back
US20070092111A1 (en) Motion vector field re-timing
US20050226462A1 (en) Unit for and method of estimating a motion vector
KR20040050906A (ko) 모션 추정을 위한 장치 및 방법
EP1958451B1 (en) Motion vector field correction
KR100976718B1 (ko) 필드 레이트 업변환을 위한 방법 및 장치
US20050163355A1 (en) Method and unit for estimating a motion vector of a group of pixels
US8102915B2 (en) Motion vector fields refinement to track small fast moving objects
EP1654703B1 (en) Graphics overlay detection
US7974342B2 (en) Motion-compensated image signal interpolation using a weighted median filter

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20090116

Address after: Holland Ian Deho Finn

Applicant after: Koninkl Philips Electronics NV

Address before: Holland Ian Deho Finn

Applicant before: Koninklijke Philips Electronics N.V.

ASS Succession or assignment of patent right

Owner name: NXP CO., LTD.

Free format text: FORMER OWNER: KONINKLIJKE PHILIPS ELECTRONICS N.V.

Effective date: 20090116

C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: TRIDENT MICROSYSTEMS (FAR EAST) LTD.

Free format text: FORMER OWNER: KONINKL PHILIPS ELECTRONICS NV

Effective date: 20100825

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: EINDHOVEN ETHERLANDS TO: GRAND CAYMAN ISLAND, CAYMAN ISLANDS

TA01 Transfer of patent application right

Effective date of registration: 20100825

Address after: Grand Cayman, Cayman Islands

Applicant after: Trident Microsystems (Far East) Ltd.

Address before: Holland Ian Deho Finn

Applicant before: Koninkl Philips Electronics NV

ASS Succession or assignment of patent right

Owner name: ENTROPY COMMUNICATION CO., LTD.

Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD.

Effective date: 20130218

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130218

Address after: American California

Patentee after: Entropic Communications, Inc.

Address before: Grand Cayman, Cayman Islands

Patentee before: Trident Microsystems (Far East) Ltd.

TR01 Transfer of patent right

Effective date of registration: 20180703

Address after: American Minnesota

Patentee after: Dynamic data technology limited liability company

Address before: American California

Patentee before: Entropic Communications, Inc.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100929

Termination date: 20190823

CF01 Termination of patent right due to non-payment of annual fee