CN1957614A - 在隔行扫描的视频图像中的运动估计 - Google Patents

在隔行扫描的视频图像中的运动估计 Download PDF

Info

Publication number
CN1957614A
CN1957614A CNA200580016829XA CN200580016829A CN1957614A CN 1957614 A CN1957614 A CN 1957614A CN A200580016829X A CNA200580016829X A CN A200580016829XA CN 200580016829 A CN200580016829 A CN 200580016829A CN 1957614 A CN1957614 A CN 1957614A
Authority
CN
China
Prior art keywords
pixel
group
motion vector
sampling
calculate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200580016829XA
Other languages
English (en)
Other versions
CN1957614B (zh
Inventor
G·德哈恩
C·丘户
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Entropic Communications LLC
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1957614A publication Critical patent/CN1957614A/zh
Application granted granted Critical
Publication of CN1957614B publication Critical patent/CN1957614B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Abstract

本发明涉及一种方法、设备和计算机程序产品,用于从隔行扫描的视频信号中计算运动矢量,其利用了插值使用第一运动矢量从第一组像素和第二组像素中得到的第一像素采样,以及插值使用第二运动矢量从第一组像素和第三组像素中得到的第二像素采样。为了改善运动估计和去隔行扫描,本发明提供了下述:插值第一组像素的像素以计算第三像素采样作为第一组像素内至少两个像素的平均值,计算第一像素采样与第三像素采样之间的第一关系,计算第二像素采样与第三像素采样之间的第二关系,并且通过使用一组运动矢量使第一和第二关系最小来从该组运动矢量中选择输出运动矢量。

Description

在隔行扫描的视频图像中的运动估计
本发明涉及一种方法、设备和计算机程序产品,用于从隔行扫描的(interlaced)视频信号中计算运动矢量,包括使用第一运动矢量从第一组像素和第二组像素中计算第一像素采样,以及使用第二运动矢量从第一组像素和第三组像素中计算第二像素采样。
去隔行扫描是高端视频显示系统主要的分辨率的确定因素,对于其重要的是显现了非线性缩放技术只能添加更精细的细节。随着新技术的出现,例如LCD和PDP,在图像分辨率上的限制不再是显示设备本身,而是信源或者传输系统。同时,这些显示器需要逐行扫描的视频输入。因此,对于在这种显示设备中优良的图像质量而言,高质量的去隔行扫描是重要的先决条件。
去隔行扫描的第一步可从P.Delonge等人的“ImprovedInterpolation,Motion Estimation and Compensation for InterlacedPictures”,IEEE Tr.on Im.Proc.,Vol.3,no.5,Sep.1994,pp 482-491中获知。
该方法也被称为通用采样定理(GST)去隔行扫描方法。该方法在图1A中进行了描述。图1A描述了在n-1-n的连续时间内在垂直线上偶数垂直位置y+4-y-4上像素2的场。
对于去隔行扫描,需要两组独立的像素采样。第一组独立像素采样通过把像素2从前一场n-1在运动矢量4上朝着当前时刻(temporalinstance)n移动以成为运动补偿像素采样6来建立。第二组像素8位于图像的当前时刻n的奇数垂直线y+3-y-3上。除非运动矢量6是所谓的“临界速度”,即在两个连续的像素场之间导致奇整数像素移位的速度,否则,像素采样6和像素8被预定为独立的。通过对来自当前场的像素采样6和像素8进行加权,输出像素采样10成为采样的加权和(GST滤波器)。当前图像可以使用来自奇数行的像素8与插值的输出像素采样10一起进行显示,从而增大显示的分辨率。
运动矢量可以从视频信号内像素的运动分量中得到。运动矢量表示视频图像内像素的运动方向。输入像素的当前场可以是一组像素,其在时间上在视频信号内进行显示或接收。输入像素的加权和可以根据插值参数通过对输入像素的亮度或色度值进行加权来获得。
在数学上,输出像素采样10可以被描述如下。使用 表示n号图像中在位置 的像素的亮度值,以及使用Fi表示在缺少行(例如奇数行)上插值的像素的亮度值,GST去隔行扫描方法的输出为:
F i n , n - 1 ( x → , n ) = Σ k F ( x → - ( 2 k + 1 ) u → y , n ) h 1 ( k , δ y ) +
Σ m F ( x → - e → ( x → , n ) - 2 m u → y , n - 1 ) h 2 ( m , δ y )
其中h1和h2定义GST滤波器的系数。第一项表示当前场n,以及第二项表示前一场n-1。运动矢量
Figure A20058001682900055
被定义为:
e → ( x → , n ) = d x ( x → , n ) 2 Round ( d y ( x → , n ) 2 )
其中Round()四舍五入到最近的整数值,以及垂直运动部分(fraction)δy由下式定义:
δ y ( x → , n ) = | d y ( x → , n ) - 2 Round ( d y ( x → , n ) 2 ) |
GST滤波器由线性GST滤波器h1和h2组成,它取决于垂直运动部分
Figure A20058001682900058
和子像素插值器类型。
尽管对于视频应用而言,由h1和h2组成的取决于垂直和水平运动部分
Figure A200580016829000510
的不可分离的GST滤波器是更充分的,但是可以只使用垂直分量
Delonge提出只使用垂直插值器,并且因此只在y方向上使用插值法。如果逐行扫描图像Fp是可用的,那么用于偶数行的Fe可以从z域中的奇数行Fo的亮度值中被确定为:
Fe(z,n)=(Fp(z,n-1)H(z))e
Fo(z,n-1)Ho(z)+Fe(z,n-1)He(z)
其中是Fe偶数图像,以及Fo是奇数图像。于是Fo可以被重写为:
F o ( z , n - 1 ) = F o ( z , n ) - F e ( z , n - 1 ) H o ( z ) H e ( z )
它导致:
Fe(z,n)=H1(z)Fo(z,n)+H2(z)Fe(z,n-1).
线性插值器可以被写为:
H 1 ( z ) = H o ( z ) H e ( z )
H 2 ( z ) = H e ( z ) ( H o ( z ) ) 2 H e ( z )
当使用sinc波形插值器来获得滤波器系数时,线性插值器H1(z)和H2(z)在k域中可以被写为:
h 1 ( k ) = ( - 1 ) k sin c ( π ( k - 1 2 ) ) sin ( πδ y ) cos ( πδ y )
h 2 ( k ) = ( - 1 ) k sin c ( π ( k + δ y ) ) cos ( πδ y ) .
P.Delonge等人还提出一种如图2所示的插值法。该插值法基于这样的假设,即两个连续场之间的运动是一致的。该方法使用来自前二采样n-2的像素2a和来自前一采样n-1的像素2b,这些像素在公共运动矢量4上被移动。运动补偿像素值6a、6b可以用于估计像素采样值10。然而,在当前场和n-2场之间的相关性较小,因为在采样之间的时间距离较大。
为了提供改善的插值法,例如在错误的运动矢量的情况下,提出使用中值滤波器。该中值滤波器允许消除由GST隔行扫描方法产生的输出信号中的轮廓。
然而,当使用中值滤波器时,GST插值器的性能在具有正确的运动矢量区域中下降。为了减少该下降,提出有选择地应用保护(E.B.Bellers和G.de Haan的“De-interlacing:a key technology for scanrate conversion”,Elsevier Science book series“Advances in ImageCommunications”,vol.9,2000)。具有接近临界速度的区域进行中值滤波,而其他区域进行GST插值。GST去隔行扫描器在具有接近临界速度的运动矢量的区域中产生伪像。因此,对于接近临界速度,所提出的中值保护器被如下应用:
其中FGST表示GST去隔行扫描器的输出。
该方法的缺点是对于当前的GST去隔行扫描器而言,只有一部分可用的信息被用于插值缺少的像素。由于在视频信号中时空信息是可用的,所以使用来自视频信号的不同时刻和不同部分的信息来插值缺少的像素采样应该是可能的。
因此,本发明的一个目的是提供一种更鲁棒的去隔行扫描,本发明的另一个目的是使用在视频信号内所提供的更多可用信息来插值。本发明的又一个目的是提供更好的去隔行扫描结果。本发明的又一个目的是从隔行扫描的视频信号中提供改善的运动矢量来增强图像处理。
为了克服这些缺点,实施例提供了一种用于从隔行扫描的视频信号中提供运动矢量的方法,该方法包括:使用第一运动矢量从第一组像素和第二组像素中计算第一像素采样,使用第二运动矢量从第一组像素和第三组像素中计算第二像素采样,从第一组像素中计算第三像素采样,计算第二像素采样与第三像素采样之间的第一关系,计算第一和/或第二像素采样与第三像素采样之间的第二关系,以及通过使用一组运动矢量使第一和第二关系最小来从该组运动矢量中选择输出运动矢量。
计算像素采样可以通过插值各自的像素来完成。
根据实施例,所计算的运动矢量可以用于去隔行扫描或者减小运动补偿噪声,或者任何其他的图像增强。
第三像素采样可以通过插值第一组像素的像素而被计算为来自第一组像素内的至少两个像素的平均值。
实施例包括在插值期间的当前场。根据实施例,正确运动矢量的选择还可以依赖于当前隔行扫描场的像素。实施例允许将来自前一与下一场的运动补偿像素采样进行比较以便获得正确的运动矢量,而且允许将这些像素采样与来自当前场的像素采样进行比较。
示例性地,这可通过计算当前场中的线(line)平均值并且计算该线平均值与第一和第二像素采样之间的关系而是有可能的。通过最小化在第一像素采样、第二像素采样和第三像素采样之间的关系,该运动估计标准因此可以选择正确的运动矢量。
根据实施例,通过将使用先前和后续场的两个GST预测的运动估计与场内最小化标准进行结合从而产生更鲁棒的估计量,可以说明运动估计对于矢量不准确性的脆弱性。
根据实施例,提供了下述:计算第一像素采样与第二像素采样之间的第三关系,并且通过使用一组运动矢量使第一、第二与第三关系最小来从该组运动矢量中选择输出运动矢量。就这一点而言,可以说明在当前、前一与下一场之间的关系。
实施例提供了计算第三关系以作为第一组像素内至少两个垂直相邻像素的平均值。由此,可以说明由具有偶数个垂直像素移位的运动矢量引起的误差。
根据实施例,提供了通过使用一组运动矢量使关系的和最小来从该组运动矢量中选择输出运动矢量。使该和最小可以是一种产生运动矢量的良好估计的误差标准。该和也可以是加权和,其中关系可以用值来加权。
实施例还提供从随后时刻的视频例子中得到第一组像素、第二组像素和第三组像素。这允许隔行扫描视频图像。
如果第二组像素在时间上先于第一组像素和/或第三组像素在时间上紧随第一组像素之后,那么实施例可以说明像素在至少三个时间连续场上的运动。
一种可能的误差标准可以是,第一、第二和/或第三关系是像素采样值之间的绝对差。另一种可能的误差标准可以是,第一、第二和/或第三关系是像素采样值之间的平方差。
根据实施例,提供像素采样是可能的,只要第一像素采样被插值为来自第一组像素和第二组像素的像素的加权和,其中至少一些像素的加权取决于运动矢量的值。根据实施例,第二像素采样被插值为来自第一组像素和第三组像素的像素的加权和,其中至少一些像素的加权取决于运动矢量的值。
根据实施例,垂直部分可以说明第一和/或第二关系的加权值。
本发明的另一方面是一种从隔行扫描的视频信号中提供运动矢量的插值设备,该插值设备包括:第一计算装置,用于使用第一运动矢量从第一组像素和第二组像素中计算第一像素采样;第二计算装置,用于使用第二运动矢量从第一组像素和第三组像素中计算第二像素采样;第三计算装置,用于从第一组像素中计算第三像素采样;第一计算装置,用于计算第二像素采样与第三像素采样之间的第一关系;第二计算装置,用于计算第一和/或第二像素采样与第三像素采样之间的第二关系;选择装置,用于通过使用一组运动矢量使第一和第二关系最小来从该组运动矢量中选择输出运动矢量。
本发明的另一方面是一种包括这样的插值设备的显示设备。
本发明的另一方面是一种用于从隔行扫描的视频信号中提供运动矢量的计算机程序和计算机程序产品,包括可操作用来使处理器执行下述的指令:使用第一运动矢量从第一组像素和第二组像素中计算第一像素采样,使用第二运动矢量从第一组像素和第三组像素中计算第二像素采样,从第一组像素中计算第三像素采样,计算第二像素采样与第三像素采样的第一关系,计算第一和/或第二像素采样与第三像素采样之间的第二关系,以及通过使用一组运动矢量使第一和第二关系最小来从该组运动矢量中选择输出运动矢量。
根据后面的附图,本发明的这些和其他方面将是显而易见的,并将参考所述附图对其进行阐明。在附图中:
图1A示意了使用先前场的GST插值;
图1B示意了使用四个连续场的GST插值;
图2示意了使用前二和前一场的GST插值;
图3示意了每个图像使用偶数个像素的移位的运动矢量的运动估计;
图4是具有常规误差标准的运动估计;
图5是基于当前场的附加标准的改善的运动估计;以及
图6是运动估计器的框图。
运动估计方法依赖于位于与当前场相等距离的采样,它提供了改善的结果,所述采样可以是在前一和下一时刻。该运动估计标准可以基于这样的事实,即像素的亮度或色度值不仅可以基于对前一场n-1的估计,而且可以基于当前场n中的现有像素和来自下一场n+1的移动的采样。
GST滤波器的输出可以被写为:
F i n , n + 1 = Σ k F ( x → - ( 2 k + 1 ) u → y , n ) h 1 ( k , δ y ) +
Σ m F ( x → - e → ( x → , n ) - 2 m u → y , n + 1 ) h 2 ( m , δ y )
假设两个场上的运动矢量是线性的,那么具有相应的垂直和水平运动部分
Figure A20058001682900104
的运动矢量可以通过使用下述优化标准来计算:
所有的(x,y)属于一个像素块,例如8×8的块。
对于具有偶数个像素移位的运动矢量,在两个场之间,也就是 δ y ( x → , n ) = 0 , 从前一或者下一场的运动估计的输出减小到
F n , n - 1 ( x , y , n ) = F ( x → + v P → , n - 1 )
以及
F n , n + 1 ( x , y , n ) = F ( x → + v N → , n + 1 )
就这一点而言,只考虑从前一场n-1和下一场n+1移动的像素,从而导致两个场运动估计器。如上所指出,最小化因此可以仅仅可以考虑邻近的像素,而不涉及来自当前场n的像素,如图3中所述。
图3描述了从当前和下一帧中只使用估计的像素值的当前运动估计的脆弱性。该最小化标准可以考虑从前一帧n-1移动的像素2a和从下一帧n+1移动的像素2b。使用运动矢量4,可以计算像素值6的估计。如果运动矢量4对应于每个图像上的偶数个像素移位,那么最小化标准
Figure A20058001682900111
对于细的运动目标来说会导致局部最小值,这并不对应于实际的运动矢量。
这种局部最小值可以在图4中看到。图4示出了三个时刻n-1、n、n+1的图像10a、10b、10c。在每个图像有偶数个像素移位的情况下,会发生所比较的像素12的插值可能产生图像14,其并不对应于实际的图像。该估计标准仅仅考虑前一和后一图像或者前一和前二图像,正如P.Delonge所提出的,这因此可以产生没有插值的不对应于实际图像的图像。
P.Delonge的提议提供了一种解决方案,它克服了在运动估计中偶数矢量的问题。在P.Delogne等人的“Improved Interpolation,MotionEstimation and Compensation for Interlaced Pictures”,IEEE Tr.On Im.Proc.,Vol.3,no.5,Sep.1994,pp 482-491中描述的解决方案在图1B中进行了描述,并且基于对四个连续场n-3到n的运动估计和补偿。因此,当三场的解决方案只沿着偶数运动矢量4b比较来自n和n-2的采样时,四场的解决方案通过使用运动矢量4c将其与n-3场进行比较而必然还涉及中间n-1场。
该解决方案的主要缺点是这样的事实,即它扩展了在两个连续帧上运动的一致性的要求,该连续帧意味着在三个连续场上。这是对于具有相当不一致运动的序列的实际情况强烈的限制。
第二缺点在于硬件实施,因为该方法需要额外的场存储器(n-3场)。另外,需要更大的高速缓存,这是由于下述事实,即将采样从n-3场移动到n场的运动矢量4c三倍于在两个连续场上移动采样的运动矢量。
从图5中可以看到根据实施例的插值,其中相同的数字是指相同的元件。可以看到,对于帧n,相同的图像10被插值。然而,根据该实施例,不仅来自先前图像10a和随后图像10c的像素12被用于对图像14进行插值,而且当前图像10b也被使用。
为了防止由不一致的运动矢量估计引起的中断的影响,来自当前场16的像素也被考虑。来自下一或前一场的每个GST预测可以另外与当前场的线平均值LA的结果进行比较。运动估计标准可以是:
| N v → N = - v → P ( x , y , n ) - P v → P ( x , y , n ) | +
| N v → N = - v → P ( x , y , n ) - LA ( x , y , n ) | +
Figure A20058001682900123
其中N是来自下一图像10c的估计像素值12,P是来自前一图像10a的估计像素值12,以及LA(x,y,n)是使用简单线平均值(LA)在当前图像10a中位置(x,y)上场内插值的像素16。所得到的图像14在图5中被示出。
在最小化中的附加项包括当前场中线平均值LA,它允许增大防止运动矢量的误差的鲁棒性。在根据图5的例子中,它们允许防止从轮辐(spoke)的两侧匹配块与块。对于不正确的运动矢量,线平均值的项LA确保该决还匹配到轮辐上。
线平均值的项还可以具有加权因子,其取决于垂直部分的值。该因子必须确保这些项对于接近偶数值的运动矢量有选择地具有更大的贡献。因此,最小化标准可以被写为:
| N v → N = - v → P ( x , y , n ) | +
( 1 - δ y ) ( | N v → N = - v → P ( x , y , n ) - LA ( x , y , n ) | + | LA ( x , y , n ) - P v → P ( x , y , n ) | )
图6示出了执行去隔行扫描方法的框图。所描述的是输入信号40、第一场存储器20、第二场存储器22、第一GST插值器24、第二GST插值器26、场内插值器28、第一局部误差计算器30、第二局部误差计算器32、第三局部误差计算器34、选择装置36、以及输出信号38。
至少输入信号40的一段可以被理解为第二组像素。至少场存储器20的输出的一段可以被理解为第一组像素,以及至少场存储器22的输出的一段可以被理解为第三组像素。一组像素可以是一个像素块,例如8×8的块。
当新图像被馈给场存储器20时,前一图像可以已经在场存储器20的输出上。在场存储器20上输出的图像之前的图像可以是在场存储器22上的输出。在这种情况下,三个连续的时刻可以用于计算GST滤波插值的输出信号。
输入信号40被馈给场存储器20。在场存储器20中计算运动矢量。该运动矢量取决于在输入信号的一组像素内的像素运动。该运动矢量被馈给GST插值器24。输入信号40也被馈给GST插值器24。
第一场存储器20的输出被馈给第二场存储器22。在第二场存储器中计算第二运动矢量。用于该运动矢量的时刻在时间上在第一场存储器22的该时刻之后。因此,由场存储器22计算的运动矢量表示在一个图像内的一组像素内的运动,该图像是在场存储器20中所使用的图像之后。运动矢量被馈给GST插值器26。场存储器20的输出也被馈给GST插值器26。
场存储器20的输出表示当前场。该输出可以被馈给场内插值器28。在场内插值器28中,可以计算垂直相邻像素的线平均值。
GST插值器24基于其输入信号计算GST滤波插值的像素值,该输入信号是输入信号40、来自场存储器20的运动矢量和场存储器20的输出。因此,插值使用两个时刻的该图像,第一个直接来自输入信号40,以及第二个在输入信号40之前一定的时间,特别是一个图像的时间。另外,使用了运动矢量。
GST插值器26基于其输入信号计算GST滤波插值的像素值,该输入信号是场存储器20的输出和场存储器22的输出。另外,GST滤波器26使用在场存储器22内计算的运动矢量。GST滤波插值的输出在时间上先于GST滤波器24的输出。另外,使用了运动矢量。
在线平均装置28中,在垂直线上两个相邻像素值的平均值可以被平均。这些像素值可以邻近待插值的像素值。
GST滤波器24的输出可以被写为:
F i 1 ( x → , n ) = Σ k F ( x → - ( 2 k + 1 ) u → y , n ) h 1 ( k , δ y ) +
Σ m F ( x → - e → ( x → , n ) - 2 m u → y , n - 1 ) h 2 ( m , δ y ) ·
GST滤波器26的输出可以被写为:
F i 2 ( x → , n ) = Σ k F ( x → - ( 2 k + 1 ) u → y , n ) h 1 ( k , δ y ) +
Σ m F ( x → + e → ( x → , n ) - 2 m u → y , n + 1 ) h 2 ( - m , - δ y ) .
GST插值器24、26的输出之间的绝对差在第一误差计算器30中进行计算。
GST插值器24和线平均计算器28的输出之间的绝对差在第二误差计算器32中进行计算。
GST插值器26和线平均计算器28的输出之间的绝对差在第三误差计算器34中进行计算。
第一、第二和第三误差计算器30、32、34的输出被馈给选择装置36。在选择装置内,具有最小误差值的运动矢量根据下面的公式进行选择:
| N v → N = - v → P ( x , y , n ) - P v → P ( x , y , n ) | +
| N v → N = - v → P ( x , y , n ) - LA ( x , y , n ) | +
Figure A20058001682900143
该组运动矢量可以被反馈给GST插值器24、26,以允许计算用于不同运动矢量的不同局部误差。对于这些不同的运动矢量,该最小化标准可以用来选择产生最佳结果例如最小误差的运动矢量。
这样,可以选择产生最小误差的运动矢量来计算插值的图像。所得到的运动矢量作为输出信号38被输出。
利用本发明的方法、计算机程序和显示设备,可以增强图像质量。

Claims (16)

1、用于从隔行扫描的视频信号中计算运动矢量的方法,特别是用于去隔行扫描,包括:
-使用第一运动矢量从第一组像素和第二组像素中计算第一像素采样,
-使用第二运动矢量从第一组像素和第三组像素中计算第二像素采样,
-从第一组像素中计算第三像素采样,
-计算第一像素采样与第二像素采样之间的第一关系,
-计算第一和/或第二像素采样与第三像素采样之间的第二关系,
-通过使用一组运动矢量使第一和第二关系最小来从该组运动矢量中选择输出运动矢量。
2、权利要求1所述的方法,包括:计算第一像素采样与第二像素采样之间的第三关系,并且通过使用一组运动矢量使第一、第二和第三关系最小来从该组运动矢量中选择输出运动矢量。
3、权利要求1所述的方法,包括计算第三像素采样以作为在第一组像素内至少两个垂直相邻像素的平均值。
4、权利要求2所述的方法,包括通过使用一组运动矢量使所述关系的加权和最小来从该组运动矢量中选择输出运动矢量。
5、权利要求1所述的方法,其中第一组像素、第二组像素和第三组像素源自连续时刻的视频序列。
6、权利要求1所述的方法,其中第二组像素在时间上先于第一组像素和/或其中第三组像素在时间上紧随第一组像素之后。
7、权利要求1所述的方法,其中第一、第二和/或第三关系是像素采样值之间的绝对差。
8、权利要求1所述的方法,其中第一、第二和/或第三关系是像素采样值之间的平方差。
9、权利要求1所述的方法,其中第一像素采样被插值为来自第一组像素和第二组像素的像素的加权和,其中至少一些像素的加权取决于运动矢量的值。
10、权利要求1所述的方法,其中第二像素采样被插值为来自第一组像素和第三组像素的像素的加权和,其中至少一些像素的加权取决于运动矢量的值。
11、权利要求9所述的方法,其中第一和/或第二运动矢量从第一组像素与第二组像素之间或者第一组像素与第三组像素之间的像素的运动中计算。
12、权利要求1所述的方法,其中第一和第二关系利用取决于垂直部分的值的因子进行加权。
13、插值设备,用于从隔行扫描的视频信号中计算运动矢量,特别是用于去隔行扫描,包括:
-第一计算装置,用于使用第一运动矢量从第一组像素和第二组像素中计算第一像素采样;
-第二计算装置,用于使用第二运动矢量从第一组像素和第三组像素中计算第二像素采样;
-第三计算装置,用于从第一组像素中计算第三像素采样;
-第一计算装置,用于计算第一像素采样与第二像素采样之间的第一关系;
-第二计算装置,用于计算第一和/或第二像素采样与第三像素采样之间的第二关系;
-选择装置,用于通过使用一组运动矢量使第一和第二关系最小来从该组运动矢量中选择输出运动矢量。
14、包括权利要求13所述的插值设备的显示设备。
15、计算机程序,用于从隔行扫描的视频信号中计算运动矢量,特别是用于去隔行扫描,包括可操作用来使处理器执行下述的指令:
-使用第一运动矢量从第一组像素和第二组像素中计算第一像素采样,
-使用第二运动矢量从第一组像素和第三组像素中计算第二像素采样,
-从第一组像素中计算第三像素采样,
-计算第一像素采样与第二像素采样的第一关系,
-计算第一和/或第二像素采样与第三像素采样之间的第二关系,
-通过使用一组运动矢量使第一和第二关系最小来从该组运动矢量中选择输出运动矢量。
16、计算机程序产品,包括在其上存储的权利要求14所述的计算机程序。
CN200580016829XA 2004-05-25 2005-05-17 在隔行扫描的视频图像中的运动估计 Expired - Fee Related CN1957614B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP04102292.2 2004-05-25
EP04102292 2004-05-25
PCT/IB2005/051595 WO2005117446A1 (en) 2004-05-25 2005-05-17 Motion estimation in interlaced video images

Publications (2)

Publication Number Publication Date
CN1957614A true CN1957614A (zh) 2007-05-02
CN1957614B CN1957614B (zh) 2010-04-14

Family

ID=34967058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200580016829XA Expired - Fee Related CN1957614B (zh) 2004-05-25 2005-05-17 在隔行扫描的视频图像中的运动估计

Country Status (6)

Country Link
US (1) US20070242750A1 (zh)
EP (1) EP1754376A1 (zh)
JP (1) JP5464803B2 (zh)
KR (1) KR100968642B1 (zh)
CN (1) CN1957614B (zh)
WO (1) WO2005117446A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104918054A (zh) * 2013-10-03 2015-09-16 晶晨半导体(上海)有限公司 运动补偿去隔行及降噪

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602004004672T2 (de) * 2003-09-04 2007-11-15 Koninklijke Philips Electronics N.V. Robuste entschachtelung von videosignalen
JP4730183B2 (ja) * 2006-04-17 2011-07-20 株式会社日立製作所 映像表示装置
TWI466093B (zh) * 2007-06-26 2014-12-21 Apple Inc 用於視訊播放的管理技術
WO2009034488A2 (en) * 2007-09-10 2009-03-19 Nxp B.V. Method an apparatus for line based vertical motion estimation and compensation
KR101500324B1 (ko) * 2008-08-05 2015-03-10 삼성디스플레이 주식회사 표시 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0671334B2 (ja) * 1986-03-07 1994-09-07 国際電信電話株式会社 動画像の動き量推定値の精度判定方法
US5151784A (en) * 1991-04-30 1992-09-29 At&T Bell Laboratories Multiple frame motion estimation
US5412435A (en) * 1992-07-03 1995-05-02 Kokusai Denshin Denwa Kabushiki Kaisha Interlaced video signal motion compensation prediction system
JP2832927B2 (ja) * 1994-10-31 1998-12-09 日本ビクター株式会社 走査線補間装置及び走査線補間用動きベクトル検出装置
JP3355054B2 (ja) * 1995-03-10 2002-12-09 日本放送協会 動きベクトル検出方法および動きベクトル検出装置
WO1997016923A1 (en) 1995-11-01 1997-05-09 Philips Electronics N.V. Video signal scan conversion
GB9824061D0 (en) * 1998-11-03 1998-12-30 Snell & Wilcox Ltd Film sequence detection (nt4)
US6192080B1 (en) * 1998-12-04 2001-02-20 Mitsubishi Electric Research Laboratories, Inc. Motion compensated digital video signal processing
JP2000261768A (ja) * 1999-03-09 2000-09-22 Hitachi Ltd 画像信号の動き補償走査変換回路
KR100327395B1 (ko) * 1999-09-03 2002-03-13 구자홍 움직임 보상을 기반으로 하는 격행주사 영상의 디인터레이싱 방법
US6473460B1 (en) * 2000-03-31 2002-10-29 Matsushita Electric Industrial Co., Ltd. Method and apparatus for calculating motion vectors
JP4197434B2 (ja) * 2001-02-21 2008-12-17 エヌエックスピー ビー ヴィ 動き推定の容易化
US7471725B2 (en) * 2003-03-26 2008-12-30 Lsi Corporation Segmented motion estimation with no search for small block sizes
JP4244685B2 (ja) * 2003-04-15 2009-03-25 日本ビクター株式会社 動画像時間軸補間方法及び動画像時間軸補間装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104918054A (zh) * 2013-10-03 2015-09-16 晶晨半导体(上海)有限公司 运动补偿去隔行及降噪
CN104918054B (zh) * 2013-10-03 2018-05-01 晶晨半导体(上海)股份有限公司 运动补偿去隔行及降噪

Also Published As

Publication number Publication date
EP1754376A1 (en) 2007-02-21
JP5464803B2 (ja) 2014-04-09
US20070242750A1 (en) 2007-10-18
KR100968642B1 (ko) 2010-07-06
KR20070043703A (ko) 2007-04-25
JP2008500758A (ja) 2008-01-10
CN1957614B (zh) 2010-04-14
WO2005117446A1 (en) 2005-12-08

Similar Documents

Publication Publication Date Title
CN1237796C (zh) 用于运动补偿内插的像素数据选择设备及其方法
CN1265633C (zh) 去隔行装置和方法
CN1214631C (zh) 运动及边缘自适应去隔行扫描
CN1270526C (zh) 使用自适应运动补偿转换帧/半帧速率的装置和方法
CN1694495A (zh) 采用自适应时间预测的运动向量估计
CN1694499A (zh) 使用自适应空间更新矢量的运动估算
CN1957614A (zh) 在隔行扫描的视频图像中的运动估计
CN1694500A (zh) 视频序列中的文字收报机处理
CN1678023A (zh) 使用行和列向量的运动向量估计
CN1441594A (zh) 用于变换扫描格式的装置和方法
CN1846445A (zh) 基于遮蔽检测对像素的时间插值
CN1992789A (zh) 运动估计器和运动估计方法
CN1423902A (zh) 用于改进基于块的运动补偿的精度的方法
CN1311409C (zh) 用于分割的系统和方法
CN1225918C (zh) 图像信号处理装置以及方法
CN1285211C (zh) 用于加强重现图像质量的设备和方法
CN1620109A (zh) 具有噪音降低/消除装置的解隔行设备
CN1237782C (zh) 去隔行扫描装置和方法
CN1914913A (zh) 具有电影模式适应性的运动补偿去交错
CN1270527C (zh) 扫描变换装置
CN1615652A (zh) 用于估计当前运动矢量的单元和方法
CN1698373A (zh) 运动补偿设备和方法
CN1819620A (zh) 在对视频序列编码之前进行预处理的设备和方法
CN1607827A (zh) 处理运动信息的方法和设备
CN101040530A (zh) 具有视频模式检测的运动估计

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20090116

Address after: Holland Ian Deho Finn

Applicant after: Koninkl Philips Electronics NV

Address before: Holland Ian Deho Finn

Applicant before: Koninklijke Philips Electronics N.V.

ASS Succession or assignment of patent right

Owner name: NXP CO., LTD.

Free format text: FORMER OWNER: KONINKLIJKE PHILIPS ELECTRONICS N.V.

Effective date: 20090116

C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: TRIGEMINAL MICROSYSTEMS(FAR EAST) CO., LTD.

Free format text: FORMER OWNER: KONINKL PHILIPS ELECTRONICS NV

Effective date: 20100925

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20100925

Address after: Grand Cayman, Cayman Islands

Patentee after: Trident Microsystems (Far East) Ltd.

Address before: Holland Ian Deho Finn

Patentee before: Koninkl Philips Electronics NV

ASS Succession or assignment of patent right

Owner name: ENTROPY COMMUNICATION CO., LTD.

Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD.

Effective date: 20130218

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130218

Address after: American California

Patentee after: Entropic Communications, Inc.

Address before: Grand Cayman, Cayman Islands

Patentee before: Trident Microsystems (Far East) Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100414

Termination date: 20170517

CF01 Termination of patent right due to non-payment of annual fee