CN100348035C - 计算运动矢量的方法与设备 - Google Patents
计算运动矢量的方法与设备 Download PDFInfo
- Publication number
- CN100348035C CN100348035C CNB011100133A CN01110013A CN100348035C CN 100348035 C CN100348035 C CN 100348035C CN B011100133 A CNB011100133 A CN B011100133A CN 01110013 A CN01110013 A CN 01110013A CN 100348035 C CN100348035 C CN 100348035C
- Authority
- CN
- China
- Prior art keywords
- pixel
- picture field
- piece
- picture
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
用于寻求第一与第二图像间的运动矢量的运动估测系统从第一图像中选择第一和第二重叠像元块。然后该运动估测系统通过估测第一与第二图像间的运动来分别为这些重叠块确定运动矢量。这些运动矢量被分别指定给分别位于第一和第二重叠像元块内的第一和第二非重叠像元子块。该运动估测系统应用于视频非隔行化系统中时具有优越性,这些子块被用来确定插值样本应是同时利用第一和第二图像场中的样本来产生还是仅利用第一图像场的样本来产生。
Description
技术领域
本发明涉及一种计算运动矢量,特别是计算适用于视频信号非隔行化系统的运动矢量的方法与设备。
背景技术
遵从例如先进电视系统委员会(ATSC)标准的数字电视(DTV)信号可以有许多种格式。典型地,这些格式由两个参量表征,即一个图像中的水平行数目以及每个图像帧是由两个各自含有这个帧的一些交替的行的图像场组成的〔隔行的〕还是由一个包含了这个帧的所有行的图像场组成的(逐行的)。ATSC标准所规定的电视信号格式按分辨率自高到低排列的表示符号为:1080I、720P、480P和480I。在这些符号中,数字代表每个图像的水平行数目,字母代表该图像是隔行的〔I〕还是逐行的(P)。
按照(美国)国家电视标准委员会(NTSC)所建立标准工作的电视接收机用两个隔行场来显示有效视频信息的480个行,所以其分辨率格式为480I。现有的大多数美国节目都遵从NTSC标准。
ATSC电视接收机可能支持许多种不同类型的监视器。例如,一个ATSC接收机可以连接到一个能显示接收到的任何类型信号的多同步监视器上。由于这种类型的多同步监视器能以期望的分辨率显示每种可能的ATSC信号,所以它通常被称作本地模式监视器。或者,也可以购买到能与一个标准NTSC监视器相连接的ATSC接收机。一种这样的接收机是Panasonic(松下)公司所制造的TU-DST51型数字电视解码器机顶盒。该接收机把各种类型的ATSC信号都转换成可以由NTSC监视器显示的480I输出信号。该Panasonic接收机还能支持其他类型的监视器,自动地把接收到的输入信号转换成指定的监视器所支持的格式。
众所周知,隔行视频信号存在着因两个隔行视频场发生于两个不同时间而造成的缺陷。其中一个缺陷是垂直点爬行。这一缺陷出现在图像中的垂直边缘处,典型地出现在不同颜色的图像部分之间的边缘处。如垂直点爬行这一名称所示,这一缺陷表现为在图像帧中有一排点逐渐从底部移向顶部。如果显示装置能支持逐行视频信号,则可以通过在显示之前把隔行视频信号转换成逐行视频信号来消除或者至少减轻隔行扫描的这些缺陷。
有许多把隔行视频信号转换成逐行视频信号的方法。在K.Sugiyama等人的论文“A Method of De-interlacing with MotionCompensated Interpolation(一种利用运动补偿插值的非隔行化方法)“(IEEE Transactions on Consumer Electronics,Vol.45,No.3,1999pp.611-616)中说明了其中的一些方法。典型地,把隔行视频信号转换成逐行视频信号(即非隔行化)是通过在视频信号每个图像场的各已有行之间插入一些插值图像行来实现的。
在运动补偿非隔行化系统中,在噪声性能与小物体跟踪之间存在一个折衷问题。典型地,采用较大像元块(简称“块”)尺寸的运动补偿系统具有较好的噪声性能,也就是说,这种系统不会趋向于用跟踪噪声去替代跟踪其中的图像内容。然而,这种系统也趋向于不能很好地跟踪小物体。于是,如果在一个图像序列的两个相继图像之间只有小物体的运动,则采用大块尺寸的非隔行化系统将难以把运动后的物体与当前帧中的同一物体匹配起来。另一方面,如果像上面所引的论文那样减小块尺寸,则虽然改善了对小物体的识别,但却降低了噪声性能。
发明内容
本发明体现为一个用于寻找第一与第二图像之间的运动矢量的运动估测系统。该运动估测系统从第一图像中选择一些第一和第二重叠像元块。然后该系统通过估测第一与第二图像之间的运动来确定各个重叠块的运动矢量。其后分别把这些运动矢量指定给分别位于第一和第二重叠像元块内的第一和第二非重叠子像元块。
本发明提供一种将隔行视频信号转换成逐行视频信号的方法,该转换是通过在隔行视频信号的每对样本行之间增加相应的插值像元样本行而实现的,该隔行视频信号含有第一和第二图像场且每个场包含L个像元样本行,该逐行视频信号含有相应的第一和第二图像帧且每个帧具有至少2L一1个像元样本行,其中L是一个大于1的整数,该方法包括以下步骤:
计算该第一与第二图像场之间的运动矢量,该第一和第二图像场之每一个具有连续若干个像元样本行,该计算步骤包括以下子步骤:
在第一图像场中选择一个具有预定位置的N×M像元的第一块,其中N和M都是大于2的整数;
在第二图像场中识别出N×M像元的第一匹配块,该第一匹配块具有一个相对于第一图像场中的第一块的位置在一个预定移位范围之内移位了的位置,并且按一个预定准则匹配于第一块;
计算第一运动矢量,它等于第二图像场中第一匹配块的像元位置相对于第一图像场中第一块的位置的移位量;
从第一图像场中选择N×M像元的第二块,该第二块与第一块在至少O个像元位置重叠,O是小于N×M的整数;
在第二图像场中识别出N×M像元的第二匹配块,该第二匹配块具有一个相对于第一图像场中的第二块的位置在预定移位范围之内移位了的位置,并且按预定准则匹配于第二块;
计算一个第二运动矢量,它等于第二图像场中第二匹配块的像元位置相对于第一图像场中第二块的位置的移位量;以及
该转换方法还包括以下步骤:
将第一和第二运动矢量指定给第一图像场中相应的第一和第二块中相应的n×m像元的第一和第二非重叠子块,其中n和m都是大于1的整数,并且n小于N,m小于M;
把由第一运动矢量确定的第一非重叠子块与匹配该第一非重叠子块的来自第二图像场中的对应第一匹配子块的对应像元之间的差别度量值与一个预定阈值相比较,以确定该第一运动矢量是否代表第一与第二图像场之间的真实运动;
如果第一运动矢量代表真实运动,使用第一和第二图像场中的像元样本产生插值像元样本,即,利用第一非重叠子块和第一匹配子块中的像元样本、而不包括任何其它像元来插值该第一非重叠子块所覆盖的区域中的插值像元样本;及
如果第一运动矢量不代表真实运动,使用第一图像场中的像元样本产生插值像元样本,即,利用第一非重叠子块中的像元样本、而不包括任何其它像元来插值该第一非重叠子块所覆盖的区域中的插值像元样本。
本发明还提供一种隔行扫描至逐行扫描转换器,它通过在隔行视频信号的每对像元样本行之间增加相应的插值像元样本行,将隔行视频信号转换成逐行视频信号,其中该隔行视频信号含有第一和第二图像场且每个场具有L个像元样本行,该逐行视频信号具有对应的第一和第二图像帧,每个图像帧具有至少2L-1个像元样本行,其中L是一个大于1的整数,该转换器包括:
用于计算第一图像场与第二图像场之间的运动矢量的设备,其中第一和第二图像场之每一个具有若干个连续的像元样本行,该设备包括:
第一图像场存储器,响应于控制器,用于提供具有第一图像场中预定重叠位置的N×M像元的第一和第二块,该第二块在至少O个像元位置中重叠该第一块,其中N和M都是大于2的整数,O是小于N×M的整数;
运动估测处理器,其识别在由第二图像场存储器提供的第二图像场中相应的N×M像元的第一和第二匹配块,其中该第一和第二匹配块具有相应的位置,所述相应的位置是从第一图像场中相应的第一和第二块的位置在一个预定移位范围之内移位了的位置,并且按一个预定准则匹配于相应的第一和第二块;以及该运动估测处理器计算第一和第二运动矢量,作为该第一和第二匹配块的像元位置相对于第一图像场中的第一和第二块的位置的相应移位量;
其中该控制器分别把第一和第二运动矢量指定给第一图像场中相应的第一和第二块中相应的n×m像元的第一和第二非重叠子块,其中n和m都是大于1的整数,并且n小于N,m小于M;
该转换器还包括:
比较器,把由第一运动矢量确定的第一非重叠子块与第二图像场中匹配第一非重叠子块的对应第一匹配子块的对应像元之间的差别度量值与一个预定阈值相比较,以确定该第一运动矢量是否代表第一与第二图像场之间的真实运动;
第一插值器,使用第一和第二图像场中的像元样本产生插值像元样本,其中如果该第一运动矢量代表真实运动,则利用第一非重叠子块和第匹配子块中的像元样本、而不包括任何其它像元来插值该第一非重叠子块所覆盖的区域中的插值像元样本;及
第二插值器,使用第一图像场中的像元样本产生插值像元样本,其中如果该第一运动矢量不代表真实运动,则利用第一非重叠子块中的像元样本、而不包括任何其它像元来插值该第一非重叠子块所覆盖的区域中的插值像元样本。
附图说明
图1A是根据本发明的运动适应隔行扫描至逐行扫描转换系统的方框图。
图1B是一个适用于图1A所示转换系统的隔行至逐行转换器的方框图。
图2A是帮助说明图1A中运动估测处理器在计算运动矢量时所使用的块选择方案的图像图。
图2B示出了图2A所示图像图的一部分。
图3A是帮助说明图1A中运动估测处理器所采用的运动矢量计算步骤的图像图。
图3B示出了图3A所示图像图的一部分。
图4A是帮助说明图1A中运动估测处理器所采用的运动矢量计算处理的图像图。
图4B示出了图4A所示图像图的一部分。
图5是说明为图2A至4B所示图像中任一图像边缘附近的块计算运动矢量的一种示例性处理方法的图像图。
图6是帮助说明本发明处理的流程图。
具体实施方式
图1是根据本发明的一个示例性隔行至逐行扫描转换系统的方框图。在图1A中,隔行视频信号被接收到一个当前场存储器110中。每接收到一个新的场,存储器110原先存储的内容就被转换到一个前面场存储器112中。一个运动估测处理器114被连接得能同时从当前场存储器110和前面场存储器112接收视频信号。如后面将说明的,运动估测处理器114将基于8×8像元的块来产生当前场的运动矢量。不过这些运动矢量将被指定给4×4像元的块。这些运动矢量被一个隔行至逐行转换器116用来产生隔行视频信号每对样本之间的垂直(方向)插值样本。当前场存储器110、前面场存储器112、运动估测处理器114和隔行至逐行转换器116都受一个控制器118的控制。
虽然本发明是借助一个通过考察前面场的样本来产生当前场的插值样本的示例性实施例来说明的,但应该理解,本发明也可以由通过考察后面场的样本或同时考察一个后面场和一个前面场的样本来产生当前场的插值样本的方式来实现。
隔行至逐行转换器116示于图1B。该转换器包含一个场内插值器124和一个场间插值器126。场内插值器124通过沿垂直方向平均当前隔行场的相邻行的对应样本来产生各行之间的行间(插值)样本。场间插值器126通过对当前场的样本行和前面场的样本行(由运动矢量指明)进行滤波来产生经过了图像运动补偿的插值样本。当运动估测电路114所产生的运动矢量真实地反映了当前场与前面场之间的运动时,采用插值器126所产生的插值行将优于采用场内插值器124所产生的插值行,因为前者所得到的图像将具有较大的垂直分辨率。然而,如果运动估测处理器所产生的运动矢量没有反映场间的真实运动,则场间插值器126所产生的插值样本可能含有会使图像质量下降的运动失真。这时有可能希望采用场内插值器124所产生的插值行。
在本发明的示例性实施例中,图1A中的运动估测处理器114向一个比较器120提供一个差值。这个差值是当前场与前面场中对应块之间的差别的一个度量。比较器120把该差值与一个由一个数字值源122(例如一个寄存器)所提供的阈值相比较。比较器120的输出信号被提供给一个选接器128的控制输入端,该选接器128的两个信号输入端则被连接得能分别接收插值器124所提供的场内插值样本和场间插值器126所提供的相应样本。如果运动估测处理器114所提供的差值大于阈值,则比较器将使选接器128把场内插值样本作为插值输出信号132向后提供。另一方面,如果处理器114可提供的差值小于阈值122,则比较器将使选接器128把差值器126可产生的场间差值样本作为差值输出信号132向后提供。而当前场的隔行信号则作为隔行样本130提供。信号线130和132提供的样本的结合即形成了逐行视频图像。
图2A是一个说明运动估测处理器114用来计算运动矢量的一些重叠大块的图像图。图2A示出了一个图像210和为该图像定义的三组重叠大块。这三组重叠大块分别用实线、虚线和点线表示。第一组块212由实线代表。这些块在水平和垂直两个方向上都相对于图像210的边缘偏移了例如2个像元。其中每一个典型的块218(由点划线圈出)的每条边都包含了8个像元,使每个大块总共包含8×8=64个像元。由虚线代表的第二组块214也由一些8×8像元的块组成。不过第二组块在水平方向上相对于图像210的左边缘偏移了6个像元,在垂直方向上相对于图像210的上边缘偏移了2个像元。由点线代表的第三组块216也是由一些8×8像元块组成,不过在水平方向上偏离图像210的左边缘2个像元,在垂直方向上偏离图像210的上边缘6个像元。
图2B详细示出图2A图像中一个包含8×8像元块218的部分。如图2B所示,像元块218偏离图像210的左边缘2个像元的间隔228。这个块218还偏离图像210的上边缘2个像元的间隔224。
本发明的该示例性实施例利用普通的运动估测技术基于8×8像元块218来确定运动矢量212。不过,该运动矢量将仅被指定给一个中央的4×4像元子块220。如图2B所示,该中央子块偏离块218上边缘2个像元的间隔226,偏离块218左边缘2个像元的间隔230。
图2B代表了图1A中处理器114所执行的运动估测处理的第一个步骤。在该步骤中,运动估测处理器114首先确定块218,然后通过把块218与前面场112中一些在某个像元位置范围内移位了的对应8×8像元块(例如在水平和垂直方向上都移动了正负1至6个像元位置的8×8像元块)相比较,计算出一个运动矢量。这个运动知量反映了前面图像中搜索范围内能最佳地满足一个匹配准则的块相对于当前图像210中的块218的移位量。匹配算法例如可以是计算两个块中64对相应像元之间的平均绝对差。不过,计算出了运动矢量之后只把它指定给中央4×4像元子块220。
图3A和3B示出处理器114所执行的运动估测处理的第二个步骤。在该步骤中,利用第二个8×8像元块310来产生一个运动矢量。这个像元块属于经过了水平移位的那个像元块组214。如图3A和3B所示,像元块310与像元块218在水平方向上有4个像元的重叠。与像元块218的情况类似,运动估测处理器114基于整个8×8像元块310来产生一个运动矢量314,但仅把该运动矢量指定给中央4×4像元子块312。该子块在两个方向上都偏离像元块310的边缘2个像元位置。这样,子块312与子块220是紧接着的。
对于当前图像场210的整个宽度,重复图2A、2B和3A、3B所示的步骤。图4A和4B说明运动估测处理器114在采用图2和3所示的步骤处理完了图像210宽度方向上的最后一个块之后所执行的步骤。在图4A和4B所示的步骤中,运动估测处理器114选取一个样本块410,这个块相对于样本块218,在垂直方向下移了4个像元位置,从而与块218的下部4个样本行发生重叠。处理器114基于整个8×8像元块410计算出一个运动矢量414,但仅把它指定给像元块410的中央4×4像元块412。这个子块412紧接在子块220的下面。
运动估测处理器接着再取一个8×8像元块(未示出),该像元块相对于块218在水平和垂直两个方向上都移动了4个像元位置,因此与块218的右下角的四分之一重叠,并被用来产生一个运动矢量,以指定给一个紧接在4×4像元子块312下侧和4×4像元子块412右侧的4×4像元子块。这一处理沿着图像210的宽度方向不断进行。在处理完这第二排像元块中的最后一个像元块之后,再利用属于像元块组212(图2A,3A,4A中以实线表示的那个组)的下一排像元块来继续进行运动估测处理。
图2A至4B所示处理得到的结果将是一组各自具有一个相应运动矢量的4×4像元块。不过由于这些运动矢量是从较大的8×8像元块计算出来的,所以具有优越的噪声性能。当运动估测处理器114把这些4×4像元块应用于隔行至逐行转换器114时,它还提供了关于当前场中的4×4像元块与前面场中的匹配4×4像元块之间的差别的一个度量,这个差别度量例如可以是两个块中相应位置处的像元值的平均绝对差(MAD)或平均方差(MSE)。
由于运动估测器114基于8×8的像元值块来跟踪图像的运动,所以它趋向于跟踪图像的内容而不是噪声。从而,与采用较小块尺寸的转换器相比,估测器114具有优越的噪声性能。而且,由于应用于隔行至逐行转换器116的匹配块之间的差别度量是基于较小的4×4像元子块的。所以与采用较大块尺寸的转换器相比,转换器116能更好地拒绝图像中小物体的错误匹配。这样,隔行至逐行转换器116既具有良好的噪声性能,又能实现良好的小物体跟踪。
在运动估测处理结尾处,也就是当处理完了图像中的最后一个8×8像元块之后,除了图像周边的一组(圈)4×4像元子块之外,其余所有的图像像元块都具有了运动矢量。对于周边子块的运动矢量的计算可以有许多种方法。图5示出了一个例子。在该图中,4×4像元子块510尚未通过上述处理获得一个运动矢量。在本发明的示例性实施例中,把对子块412计算得到的运动矢量414复制为4×4像元子块510的运动矢量512。类似地,把子块220的运动矢量222复制为子块514的运动矢量516;运动矢量222还被复制为子块518的运动矢量520,而子块312的运动矢量314则被复制为子块522的运动矢量524。子块526不具有一个与其某一侧边相邻接且其运动矢量是直接计算得到的子块。但在本发明的该示例性实施例中,把运动矢量222复制成子块526的运动矢量528。
由于子块510、514、518、522和526都住在图像210的边缘处,所以与位于更接近图像中央的那些子块相比是比较不重要的。这是因为在典型情况下观众的注意力集中于图像的中央而不是其边缘。所以对于这些边缘子块运动矢量的计算没有对靠近图像中央部分的子块那样重要。在本发明的另一个实施例中,可以把这些边缘子块的运动矢量设定为零。或者,也可以利用几个相邻子块的运动矢量来计算,例如,子块512的运动矢量可以计算成为三个子块运动矢量的平均,这三个子块是220、412和412紧下方的那个4×4像元子块(未示出),它们的运动矢量是222、414和上述未示出子块的运动矢量(未示出)。
虽然图2A至5所示的本发明示例性实施例对图像边缘处子块的运动矢量是利用非本发明方法产生的,但可以期望能免除这种步骤。例如,如果隔行图像大于等价的逐行图像,则可以把块组212布置得对齐于图像的上边缘和左边缘,把块组214布置得对齐于图像的上边缘和右边缘,把块组216布置得对齐于图像的下边缘和左边缘。在这样的布局下,在图像的周边将确定出一个例子如2个像元宽的边缘区。如果在逐行图像中可以略去这个边缘区,就不再需要执行图5所示特殊的运动矢量求取步骤。
参考图1A和1B所说明的本发明实施例期望利用专用硬件电路来实现本发明。然而也能期望,本发明可以借助适用于通用或专用计算机的软件来实现。该软件可以驻留在例如磁盘、光盘、射频载波或声频载波等计算处机可读载体上。
图6是说明本发明的一种示例性软件实现的流程图,该软件实现能分别对两个重叠的块确定两个运动矢量。这些运动矢量确定了第一个图像中的重叠块与第二个图像中的相应重叠块之间的运动。在步骤610中,从第一个图像中选择一个第一像元块。在步骤612中,在第二个图像中的一个预定范围内进行搜索,找出最佳匹配块。在步骤614中,把匹配块相对于第一块的移位设定为该第一块的运动矢量。
接着,在步骤616、618和620中对第二重叠块重复上述处理,以确定出一个第二运动矢量。在该处理的最后一个步骤,即步骤622中,分别把第一和第二运动矢量指定给从第一和第二重叠块中央部分取出的第一和第二非重叠块。
虽然已借助一个示例性实施例说明了本发明,但应该指出,也能够在所附权利要求书的范畴内实施前述的本发明。例如,虽然在本发明的示例性实施例中大的像元块是8×8像元块,小的像元块是4×4像元块,但也可以采用其他的块尺寸。此外,也可以采用其他的重叠量。例如,大块可以是8×10像元块,小块可以是4×6像元块。还有,虽然本发明是借助一个非隔行化系统来说明的,但它也可以应用于例如图像压缩系统和机器视觉系统等利用了运动矢量的其他系统。
Claims (10)
1、一种将隔行视频信号转换成逐行视频信号的方法,该转换是通过在隔行视频信号的每对样本行之间增加相应的插值像元样本行而实现的,该隔行视频信号含有第一和第二图像场且每个场包含L个像元样本行,该逐行视频信号含有相应的第一和第二图像帧且每个帧具有至少2L-1个像元样本行,其中L是一个大于1的整数,该方法包括以下步骤:
计算该第一与第二图像场之间的运动矢量,该第一和第二图像场之每一个具有连续若干个像元样本行,该计算步骤包括以下子步骤:
在第一图像场中选择一个具有预定位置的N×M像元的第一块,其中N和M都是大于2的整数;
在第二图像场中识别出N×M像元的第一匹配块,该第一匹配块具有一个相对于第一图像场中的第一块的位置在一个预定移位范围之内移位了的位置,并且按一个预定准则匹配于第一块;
计算第一运动矢量,它等于第二图像场中第一匹配块的像元位置相对于第一图像场中第一块的位置的移位量;
从第一图像场中选择N×M像元的第二块,该第二块与第一块在至少O个像元位置重叠,O是小于N×M的整数;
在第二图像场中识别出N×M像元的第二匹配块,该第二匹配块具有一个相对于第一图像场中的第二块的位置在预定移位范围之内移位了的位置,并且按预定准则匹配于第二块;
计算一个第二运动矢量,它等于第二图像场中第二匹配块的像元位置相对于第一图像场中第二块的位置的移位量;以及
该转换方法还包括以下步骤:
将第一和第二运动矢量指定给第一图像场中相应的第一和第二块中相应的n×m像元的第一和第二非重叠子块,其中n和m都是大于1的整数,并且n小于N,m小于M;
把由第一运动矢量确定的第一非重叠子块与匹配该第一非重叠子块的来自第二图像场中的对应第一匹配子块的对应像元之间的差别度量值与一个预定阈值相比较,以确定该第一运动矢量是否代表第一与第二图像场之间的真实运动;
如果第一运动矢量代表真实运动,使用第一和第二图像场中的像元样本产生插值像元样本,即,利用第一非重叠子块和第一匹配子块中的像元样本、而不包括任何其它像元来插值该第一非重叠子块所覆盖的区域中的插值像元样本;及
如果第一运动矢量不代表真实运动,使用第一图像场中的像元样本产生插值像元样本,即,利用第一非重叠子块中的像元样本、而不包括任何其它像元来插值该第一非重叠子块所覆盖的区域中的插值像元样本。
2、根据权利要求1的方法,其中M和N均等于8,m和n均等于4。
3、根据权利要求1的方法,其中第一图像场中的第二块相对于第一图像场中的第一块在水平方向上有移位。
4、根据权利要求3的方法,它还包括以下步骤:
从第一图像场中选择N×M像元的第三块,该第三块相对于第一块在垂直方向上有移位,并且至少与第一块有O个像元位置的重叠;
在第二图像场中识别出N×M像元的第三匹配块,该第三匹配块具有一个相对于第一图像场中的第三块的位置在预定移位范围之内移位了的位置,并且按预定准则匹配于第三块;
计算一个第三运动矢量,它等于第二图像场中的第三匹配块的像元位置相对于第一图像中第三块的移位量;以及
把第三运动矢量指定给第一图像场中第三块中未与第一和第二非重叠子块重叠的n×m像元的第三子块。
5、根据权利要求1的方法,其中第一图像场中的第二块相对于第一图像场中的第一块在垂直方向上有移位。
6、一种隔行扫描至逐行扫描转换器,它通过在隔行视频信号的每对像元样本行之间增加相应的插值像元样本行,将隔行视频信号转换成逐行视频信号,其中该隔行视频信号含有第一和第二图像场且每个场具有L个像元样本行,该逐行视频信号具有对应的第一和第二图像帧,每个图像帧具有至少2L-1个像元样本行,其中L是一个大于1的整数,该转换器包括:
用于计算第一图像场与第二图像场之间的运动矢量的设备,其中第一和第二图像场之每一个具有若干个连续的像元样本行,该设备包括:
第一图像场存储器,响应于控制器,用于提供具有第一图像场中预定重叠位置的N×M像元的第一和第二块,该第二块在至少O个像元位置中重叠该第一块,其中N和M都是大于2的整数,O是小于N×M的整数;
运动估测处理器,其识别在由第二图像场存储器提供的第二图像场中相应的N×M像元的第一和第二匹配块,其中该第一和第二匹配块具有相应的位置,所述相应的位置是从第一图像场中相应的第一和第二块的位置在一个预定移位范围之内移位了的位置,并且按一个预定准则匹配于相应的第一和第二块;以及该运动估测处理器计算第一和第二运动矢量,作为该第一和第二匹配块的像元位置相对于第一图像场中的第一和第二块的位置的相应移位量;
其中该控制器分别把第一和第二运动矢量指定给第一图像场中相应的第一和第二块中相应的n×m像元的第一和第二非重叠子块,其中n和m都是大于1的整数,并且n小于N,m小于M;
该转换器还包括:
比较器,把由第一运动矢量确定的第一非重叠子块与第二图像场中匹配第一非重叠子块的对应第一匹配子块的对应像元之间的差别度量值与一个预定阈值相比较,以确定该第一运动矢量是否代表第一与第二图像场之间的真实运动;
第一插值器,使用第一和第二图像场中的像元样本产生插值像元样本,其中如果该第一运动矢量代表真实运动,则利用第一非重叠子块和第一匹配子块中的像元样本、而不包括任何其它像元来插值该第一非重叠子块所覆盖的区域中的插值像元样本;及
第二插值器,使用第一图像场中的像元样本产生插值像元样本,其中如果该第一运动矢量不代表真实运动,则利用第一非重叠子块中的像元样本、而不包括任何其它像元来插值该第一非重叠子块所覆盖的区域中的插值像元样本。
7、根据权利要求6的隔行扫描至逐行扫描转换器,其中N和M均等于8,n和m均等于4。
8、根据权利要求6的隔行扫描至逐行扫描转换器,其中该控制器选择第一图像场中的第二块,作为从第一图像场中的第一块水平移位的块。
9、根据权利要求8的隔行扫描至逐行扫描转换器,其中:
该控制器从第一图像场存储器中选择N×M像元的第三块,其中该第三块相对于第一块在垂直方向上有移位,并且与第一块重叠;
该运动估测处理器在第二图像场中识别出N×M像元的第三匹配块,其中该第三匹配块具有一个相对于第一图像场中第三块的位置在预定移位范围之内移位了的位置,并且按预定准则匹配于第三块;以及该运动估测处理器计算一个第三运动矢量,作为第二图像场中的第三匹配块的像元位置相对于第一图像场中的第三块的位置的移位量;以及
该控制器将第三运动矢量指定给第一图像场中第三块中未与第一和第二非重叠子块重叠的n×m像元的第三子块。
10、根据权利要求6的隔行扫描至逐行扫描转换器,其中第一图像场中的第二块从第一图像场中的第一块垂直移位。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/540,934 US6473460B1 (en) | 2000-03-31 | 2000-03-31 | Method and apparatus for calculating motion vectors |
US09/540,934 | 2000-03-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1319995A CN1319995A (zh) | 2001-10-31 |
CN100348035C true CN100348035C (zh) | 2007-11-07 |
Family
ID=24157514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB011100133A Expired - Fee Related CN100348035C (zh) | 2000-03-31 | 2001-03-22 | 计算运动矢量的方法与设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6473460B1 (zh) |
EP (1) | EP1143712A3 (zh) |
JP (1) | JP2001285810A (zh) |
CN (1) | CN100348035C (zh) |
Families Citing this family (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6014182A (en) * | 1997-10-10 | 2000-01-11 | Faroudja Laboratories, Inc. | Film source video detection |
US6680752B1 (en) * | 2000-03-31 | 2004-01-20 | Ati International Srl | Method and apparatus for deinterlacing video |
US6661464B1 (en) * | 2000-11-21 | 2003-12-09 | Dell Products L.P. | Dynamic video de-interlacing |
US6633612B2 (en) * | 2000-12-13 | 2003-10-14 | Genesis Microchip Inc. | Method and apparatus for detecting motion between odd and even video fields |
US6930689B1 (en) * | 2000-12-26 | 2005-08-16 | Texas Instruments Incorporated | Hardware extensions for image and video processing |
US6859235B2 (en) * | 2001-05-14 | 2005-02-22 | Webtv Networks Inc. | Adaptively deinterlacing video on a per pixel basis |
US6999514B2 (en) * | 2001-10-26 | 2006-02-14 | Selliah Rathnam | Motion compensation with subblock scanning |
US20030122961A1 (en) * | 2001-12-28 | 2003-07-03 | Motorola, Inc. | Method for de-interlacing video information |
WO2004102963A1 (ja) * | 2003-05-16 | 2004-11-25 | Sony Corporation | 動き補正装置及び方法 |
DE10327576A1 (de) * | 2003-06-18 | 2005-01-13 | Micronas Gmbh | Verfahren und Vorrichtung zur bewegungsvektorgestützten Bildpunktinterpolation |
US7453940B2 (en) * | 2003-07-15 | 2008-11-18 | Lsi Corporation | High quality, low memory bandwidth motion estimation processor |
US7567617B2 (en) * | 2003-09-07 | 2009-07-28 | Microsoft Corporation | Predicting motion vectors for fields of forward-predicted interlaced video frames |
KR20060109440A (ko) * | 2003-10-27 | 2006-10-20 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 전력 최적화 콜로케이팅된 움직임 추정 방법 |
KR100575578B1 (ko) * | 2003-11-13 | 2006-05-03 | 한국전자통신연구원 | 이동 단말 장치에서의 움직임 검출 방법 |
KR20050049680A (ko) | 2003-11-22 | 2005-05-27 | 삼성전자주식회사 | 노이즈 감쇠장치 및 디인터레이싱 장치 |
JP4375080B2 (ja) * | 2004-03-29 | 2009-12-02 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
DE102004017145B4 (de) * | 2004-04-07 | 2006-02-16 | Micronas Gmbh | Verfahren und Vorrichtung zur Ermittlung von Bewegungvektoren, die Bildbereichen eines Bildes zugeordnet sind |
KR101039451B1 (ko) * | 2004-04-30 | 2011-06-07 | 텔레전트 시스템즈, 인크. | 집적 아날로그 비디오 수신기 |
CN1957614B (zh) * | 2004-05-25 | 2010-04-14 | Nxp股份有限公司 | 在隔行扫描的视频图像中的运动估计 |
JP2006129069A (ja) * | 2004-10-28 | 2006-05-18 | Canon Inc | 撮像装置及び撮像方法 |
KR101042623B1 (ko) * | 2004-11-17 | 2011-06-20 | 삼성전자주식회사 | 필드 가변분할방식을 이용한 디인터레이싱방법 및 장치 |
US7551232B2 (en) * | 2005-11-14 | 2009-06-23 | Lsi Corporation | Noise adaptive 3D composite noise reduction |
US8018999B2 (en) * | 2005-12-05 | 2011-09-13 | Arcsoft, Inc. | Algorithm description on non-motion blur image generation project |
US20080018788A1 (en) * | 2006-07-20 | 2008-01-24 | Samsung Electronics Co., Ltd. | Methods and systems of deinterlacing using super resolution technology |
GB2443858A (en) * | 2006-11-14 | 2008-05-21 | Sony Uk Ltd | Alias avoiding image processing using directional pixel block correlation and predetermined pixel value criteria |
US8115863B2 (en) * | 2007-04-04 | 2012-02-14 | Freescale Semiconductor, Inc. | Video de-interlacer using pixel trajectory |
US8300987B2 (en) * | 2007-09-28 | 2012-10-30 | Ati Technologies Ulc | Apparatus and method for generating a detail-enhanced upscaled image |
US8964117B2 (en) | 2007-09-28 | 2015-02-24 | Ati Technologies Ulc | Single-pass motion adaptive deinterlacer and method therefore |
US8259228B2 (en) * | 2007-12-10 | 2012-09-04 | Ati Technologies Ulc | Method and apparatus for high quality video motion adaptive edge-directional deinterlacing |
US8396129B2 (en) * | 2007-12-28 | 2013-03-12 | Ati Technologies Ulc | Apparatus and method for single-pass, gradient-based motion compensated image rate conversion |
US8705615B1 (en) * | 2009-05-12 | 2014-04-22 | Accumulus Technologies Inc. | System for generating controllable difference measurements in a video processor |
US8675736B2 (en) * | 2009-05-14 | 2014-03-18 | Qualcomm Incorporated | Motion vector processing |
US8638863B1 (en) | 2010-05-18 | 2014-01-28 | Google Inc. | Apparatus and method for filtering video using extended edge-detection |
US9532059B2 (en) | 2010-10-05 | 2016-12-27 | Google Technology Holdings LLC | Method and apparatus for spatial scalability for video coding |
CN101969568B (zh) * | 2010-11-16 | 2012-05-02 | 上海大学 | 面向帧速率上变换的运动估计方法 |
US8767817B1 (en) | 2011-04-07 | 2014-07-01 | Google Inc. | Apparatus and method for coding using parameterized equation |
US8989256B2 (en) | 2011-05-25 | 2015-03-24 | Google Inc. | Method and apparatus for using segmentation-based coding of prediction information |
US9094689B2 (en) * | 2011-07-01 | 2015-07-28 | Google Technology Holdings LLC | Motion vector prediction design simplification |
BR112014010539A2 (pt) | 2011-11-04 | 2017-04-18 | Motorola Mobility Llc | escalonamento de vetor de movimento para rede de vetor de movimento não uniforme |
US9247257B1 (en) | 2011-11-30 | 2016-01-26 | Google Inc. | Segmentation based entropy encoding and decoding |
US9094681B1 (en) | 2012-02-28 | 2015-07-28 | Google Inc. | Adaptive segmentation |
US9185429B1 (en) | 2012-04-30 | 2015-11-10 | Google Inc. | Video encoding and decoding using un-equal error protection |
US9113164B1 (en) | 2012-05-15 | 2015-08-18 | Google Inc. | Constant bit rate control using implicit quantization values |
US9172970B1 (en) | 2012-05-29 | 2015-10-27 | Google Inc. | Inter frame candidate selection for a video encoder |
US11317101B2 (en) | 2012-06-12 | 2022-04-26 | Google Inc. | Inter frame candidate selection for a video encoder |
US9781447B1 (en) | 2012-06-21 | 2017-10-03 | Google Inc. | Correlation based inter-plane prediction encoding and decoding |
US9332276B1 (en) | 2012-08-09 | 2016-05-03 | Google Inc. | Variable-sized super block based direct prediction mode |
US9167268B1 (en) | 2012-08-09 | 2015-10-20 | Google Inc. | Second-order orthogonal spatial intra prediction |
US9510019B2 (en) | 2012-08-09 | 2016-11-29 | Google Inc. | Two-step quantization and coding method and apparatus |
US9344742B2 (en) | 2012-08-10 | 2016-05-17 | Google Inc. | Transform-domain intra prediction |
US9380298B1 (en) | 2012-08-10 | 2016-06-28 | Google Inc. | Object-based intra-prediction |
US9826229B2 (en) | 2012-09-29 | 2017-11-21 | Google Technology Holdings LLC | Scan pattern determination from base layer pixel information for scalable extension |
US9369732B2 (en) | 2012-10-08 | 2016-06-14 | Google Inc. | Lossless intra-prediction video coding |
US9485515B2 (en) | 2013-08-23 | 2016-11-01 | Google Inc. | Video coding using reference motion vectors |
US9503746B2 (en) | 2012-10-08 | 2016-11-22 | Google Inc. | Determine reference motion vectors |
US9407915B2 (en) | 2012-10-08 | 2016-08-02 | Google Inc. | Lossless video coding with sub-frame level optimal quantization values |
US9350988B1 (en) | 2012-11-20 | 2016-05-24 | Google Inc. | Prediction mode-based block ordering in video coding |
US9628790B1 (en) | 2013-01-03 | 2017-04-18 | Google Inc. | Adaptive composite intra prediction for image and video compression |
US9681128B1 (en) | 2013-01-31 | 2017-06-13 | Google Inc. | Adaptive pre-transform scanning patterns for video and image compression |
US9247251B1 (en) | 2013-07-26 | 2016-01-26 | Google Inc. | Right-edge extension for quad-tree intra-prediction |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1078340A (zh) * | 1992-02-26 | 1993-11-10 | 英国广播公司 | 视频图象处理 |
US5557684A (en) * | 1993-03-15 | 1996-09-17 | Massachusetts Institute Of Technology | System for encoding image data into multiple layers representing regions of coherent motion and associated motion parameters |
CN1134084A (zh) * | 1995-03-20 | 1996-10-23 | 大宇电子株式会社 | 用在图象编码系统中的改进的运动补偿装置 |
WO1999026417A2 (en) * | 1997-11-17 | 1999-05-27 | Koninklijke Philips Electronics N.V. | Motion-compensated predictive image encoding and decoding |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5353119A (en) * | 1990-11-15 | 1994-10-04 | Sony United Kingdom Limited | Format conversion of digital video signals, integration of digital video signals into photographic film material and the like, associated signal processing, and motion compensated interpolation of images |
US5410356A (en) * | 1991-04-19 | 1995-04-25 | Matsushita Electric Industrial Co., Ltd. | Scanning-line interpolation apparatus |
US5198901A (en) | 1991-09-23 | 1993-03-30 | Matsushita Electric Corporation Of America | Derivation and use of motion vectors in a differential pulse code modulation system |
DE4342305A1 (de) * | 1993-12-11 | 1995-06-29 | Thomson Brandt Gmbh | Verfahren zur hierarchischen Bewegungsschätzung in einem Fernsehsignal |
US5644361A (en) * | 1994-11-30 | 1997-07-01 | National Semiconductor Corporation | Subsampled frame storage technique for reduced memory size |
US5764805A (en) * | 1995-10-25 | 1998-06-09 | David Sarnoff Research Center, Inc. | Low bit rate video encoder using overlapping block motion compensation and zerotree wavelet coding |
US6359929B1 (en) * | 1997-07-04 | 2002-03-19 | Matsushita Electric Industrial Co., Ltd. | Image predictive decoding method, image predictive decoding apparatus, image predictive coding apparatus, and data storage medium |
US6335950B1 (en) * | 1997-10-14 | 2002-01-01 | Lsi Logic Corporation | Motion estimation engine |
US6195389B1 (en) * | 1998-04-16 | 2001-02-27 | Scientific-Atlanta, Inc. | Motion estimation system and methods |
-
2000
- 2000-03-31 US US09/540,934 patent/US6473460B1/en not_active Expired - Lifetime
-
2001
- 2001-02-15 EP EP01103501A patent/EP1143712A3/en not_active Withdrawn
- 2001-03-22 CN CNB011100133A patent/CN100348035C/zh not_active Expired - Fee Related
- 2001-03-28 JP JP2001094422A patent/JP2001285810A/ja not_active Withdrawn
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1078340A (zh) * | 1992-02-26 | 1993-11-10 | 英国广播公司 | 视频图象处理 |
US5940145A (en) * | 1992-02-26 | 1999-08-17 | British Broadcasting Corporation | Method and apparatus for motion compensated image processing using two separate motion measurement techniques |
US5557684A (en) * | 1993-03-15 | 1996-09-17 | Massachusetts Institute Of Technology | System for encoding image data into multiple layers representing regions of coherent motion and associated motion parameters |
CN1134084A (zh) * | 1995-03-20 | 1996-10-23 | 大宇电子株式会社 | 用在图象编码系统中的改进的运动补偿装置 |
WO1999026417A2 (en) * | 1997-11-17 | 1999-05-27 | Koninklijke Philips Electronics N.V. | Motion-compensated predictive image encoding and decoding |
Also Published As
Publication number | Publication date |
---|---|
EP1143712A2 (en) | 2001-10-10 |
US6473460B1 (en) | 2002-10-29 |
JP2001285810A (ja) | 2001-10-12 |
CN1319995A (zh) | 2001-10-31 |
EP1143712A3 (en) | 2002-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100348035C (zh) | 计算运动矢量的方法与设备 | |
CN1265633C (zh) | 去隔行装置和方法 | |
US7042512B2 (en) | Apparatus and method for adaptive motion compensated de-interlacing of video data | |
US6900846B2 (en) | Format converter using bi-directional motion vector and method thereof | |
CN1290057C (zh) | 改善的视频图像的空间分辨率 | |
CN1460368A (zh) | 视频图像分辨率的可伸缩提高 | |
CN1087892C (zh) | 采用定向边缘插入的对运动自适应的扫描速率转换 | |
US8749703B2 (en) | Method and system for selecting interpolation as a means of trading off judder against interpolation artifacts | |
KR100657261B1 (ko) | 적응적 움직임 보상 보간 방법 및 장치 | |
JPH0951509A (ja) | ビデオ変換方法 | |
JP2002503428A (ja) | エッジ相関を用いてインタレース動画をプログレッシブ動画に変換するシステム | |
CN1310513C (zh) | 图像处理装置和方法、视频显示装置及记录信息重现装置 | |
CN1806444A (zh) | 自适应加权运动估计方法和采用该方法的帧频转换设备 | |
CN1750657A (zh) | 基于混合块匹配的运动估计方法和用其转换帧速率的装置 | |
CN1706189A (zh) | 带有降质的图像处理单元 | |
CN1620109A (zh) | 具有噪音降低/消除装置的解隔行设备 | |
CN1258288C (zh) | 运动检测设备以及方法 | |
KR20070030223A (ko) | 픽셀 보간 | |
KR101140442B1 (ko) | 이미지 상태 정보의 정정 방법, 움직임 보상 이미지 처리방법, 및 이미지 상태 정보 정정기 | |
Biswas et al. | A novel motion estimation algorithm using phase plane correlation for frame rate conversion | |
Tai et al. | A motion and edge adaptive deinterlacing algorithm | |
CN1833440A (zh) | 内插图像的后处理 | |
KR100931110B1 (ko) | 퍼지 룰 기반 에지 복원 알고리즘을 이용하는 디인터레이싱장치 및 방법 | |
CN1199448C (zh) | 用于视频扫描速率转换的运动补偿上变频的方法和装置 | |
CN1212732C (zh) | 数字图像边沿插值的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20071107 |