CN1125030A - 用于运动补偿插值的方法与装置 - Google Patents

用于运动补偿插值的方法与装置 Download PDF

Info

Publication number
CN1125030A
CN1125030A CN94192328A CN94192328A CN1125030A CN 1125030 A CN1125030 A CN 1125030A CN 94192328 A CN94192328 A CN 94192328A CN 94192328 A CN94192328 A CN 94192328A CN 1125030 A CN1125030 A CN 1125030A
Authority
CN
China
Prior art keywords
interpolation
pixel
output
switch matrix
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN94192328A
Other languages
English (en)
Other versions
CN1052840C (zh
Inventor
埃里克·科利特
米歇尔·克德兰瓦特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technicolor SA
Technicolor USA Inc
Original Assignee
Thomson Consumer Electronics SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Consumer Electronics SA filed Critical Thomson Consumer Electronics SA
Publication of CN1125030A publication Critical patent/CN1125030A/zh
Application granted granted Critical
Publication of CN1052840C publication Critical patent/CN1052840C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/12Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H04N7/122Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal involving expansion and subsequent compression of a signal segment, e.g. a frame, a line
    • H04N7/125Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal involving expansion and subsequent compression of a signal segment, e.g. a frame, a line the signal segment being a picture element
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/015High-definition television systems
    • H04N7/0152High-definition television systems using spatial or temporal subsampling
    • H04N7/0155High-definition television systems using spatial or temporal subsampling using pixel blocks
    • H04N7/0157High-definition television systems using spatial or temporal subsampling using pixel blocks with motion estimation, e.g. involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

对于以亚象素精度的运动补偿的插值,丢失的象素需要在运动补偿之前被产生或插值出来。所需的象素值(P、Q、R、S)用行和象素延迟器(DHV)来储存。一开关矩阵响应于一运动矢量而选择这些在当前为处理所需的存储的象素。为避免亚象素MCI,插值(INT)在运动补偿之前进行。因此,运动补偿电路的输入数据率两倍于插值电路的。由此导致了高的硬件复杂度。本发明只使用了一简单的开关矩阵(SM),使得用于进行亚象素MCI的存储数据量减少。使用了一种特殊的延迟器(DH)的排列来存储为处理所需的象素值,以扩展延迟器阵列(DHV)。因为使用了更多数量的有关象素,所以得到了改进的亚象素MCI。这可能是由于这样的事实,也就是即使相邻的运动矢量不是与当前运动矢量精确地匹配,这种延迟器的扩展也没有明显地影响解码后的图象质量。本发明可用在每一个使用MCI的系统中,尤其是用在基于空间-时间二次采样和运动补偿的编码系统的解码器中。运动补偿和插值以输入数据流的时钟频率被同时得到。

Description

用于运动补偿插值 的方法与装置
本发明涉及一种用于运动补偿插值的方法与装置。
对于有亚象素精度的运动补偿插值(MCI),丢失的象素需要在运动补偿之前产生或插值。在巴塞罗那奥运会时,建成了汤姆逊(THOMSON)HDMAC接收器。这种接收器达到了对奥林匹克接收器项目(版本2.1,菲利普公司(Philips))设置的BRD(带宽恢复解码器)芯片组初步的HDMAC指标。
所要的象素值用行和象素延迟器来存储。用一个开关矩阵来选择当前处理所需的这种存储的象素。为避免亚象素MCI,要在运动补偿之前进行插值。因此,运动补偿电路的输入数据速率两倍于插值电路的速率,导致了高的硬件复杂性。
亚象素插值的意思是位于有效采样之间的象素的插值。
本发明的一个目的是公开一种具有亚象素精度的结合运动补偿与插值的方法,但只使用由开关矩阵存取的有限数目的象素。此目的采用权利要求1公开的方法来达到。
本发明的另一目的是公开一种实施上述方法的装置。此目的采用权利要求8中公开的装置来达到。
本发明只使用一简单开关矩阵,导致用于进行亚象素MCI的所存储数据量的减少。使用一种存储处理所需的象素值的延迟器的特殊排列,以扩展现有的延迟器阵列。由于使用了更多数量的有关象素,从而实现改进了的亚象素MCI。这可能是因为即使相邻的运动矢量不是与当前运动矢量精确地匹配,这种延迟的扩展也不明显地影响解码的图象质量。本发明可用在每一个利用MCI的系统中,尤其是用在基于空间-时间二次采样和运动补偿的编码系统的解码器中。运动补偿和插值二者以输入数据流的时钟频率来同时完成。因此,本发明中要处理的数据量和所导致的硬件复杂性要低于以上引用的现有技术。
开关矩阵连接到行与象素延迟器,在时刻t存储一帧(或场)的一个窗口,从行与象素延迟器通过依赖于运动矢量的随机存取来完成一个MCI,以在时刻(t+/-T)建成一帧(或场)。T为帧周期的倍数。在每一时钟周期,由开关矩阵提取出的象素的数目受硬件复杂的局限而受到限制。
本发明以两组相继的开关矩阵的输出是并列的或交叉的前提为基础。这样就可以存储几组相继的开关矩阵的输出,以便使用所有可用象素进行插值。这个假设已经通过研究在最关键的源材料上的行为被证实。
本发明可用在每一个使用运动补偿的系统中,尤其适合于基于空间-时间二次采样和诸如HDMAC的运动补偿的编码/解码系统。
在HDMAC中,此技术可直接在二次采样域上使用。对要插值的每个当前象素对(用80_1和80_2表示),从开关矩阵产生六个采样。实际上,只有4个采样贡献给这些象素之一的插值,而2*4采样的两个采样是公用的。因此,只需要6个开关矩阵输出。由于在开关矩阵的输出端处有独特的延迟器扩展,插值滤波器可使用一个10个象素的输入窗,用来计算一个输出象素值(80_1或80_2)。插值滤波器的垂直大小由开关矩阵所存取的不同行的数目来给出,例如为3。其水平大小不受开关矩阵限制,而只依赖于被存储的开关矩阵输出端组的数目。
在现有技术中,插值滤波器的象素间距比由开关矩阵各输出给出的象素间距更大。这样就需要在开关矩阵之前进行插值,以达到所需的精确度。但这种方式的硬件实现使得在开关矩阵输入处的采样速率大了一倍,还需要一个数据解复用来保持插值器的输入频率。
而插值与运动补偿的结合,使得对处理保持了低的输入频率,并使极为耗费硬件的行延迟器的所需要数目达到最佳。这个数目只由运动补偿在垂直方向的范围来决定。
更为有利的是,本发明还可应用于每一个使用运动补偿的插值以进行显示速率向上变换的系统。
用MPEG(运动图象专家组)编码的系统以半象素精度来进行用运动矢量的运动补偿。作为结果,需要在一正交网格(HDMAC中的quincunx网格)上进行亚象素运动补偿的插值。由于得到运动补偿的插值的方式是MPEG标准的一部分,在块的边界不允许任何近似,因为一块的编码的预测误差被加到了运动补偿上。
原则上,在本发明所述的运动补偿的插值的方法中,输出象素值是从位于一个窗内的输入象素值插值而得的,此窗与当前输出象素的空间与/或时间位置相关,其中,对该窗所需的象素值借助使用延迟装置和开关矩阵装置来提供,所述开关矩阵装置的各输出响应于运动矢量而在当前连接到这种所述延迟装置上,而该延迟装置在当前正提供所述输入象素值,并且,其中该开关矩阵装置的每一个输出都至少要再经过一个进一步的延迟单元,以及所述开关矩阵装置的输出和所述延迟单元的输出被用来形成一增大了的窗,以对所述输出象素值进行插值。
按照本发明的方法的其它有利的实施例源自于相应的从属权利要求。
原则上,本发明的装置适合于运动补偿的插值,其中,输出象素值是位于一个窗内的输入象素值插值而得到的,此窗与当前输出象素的空间与/或时间位置有关,该装置包括:
延迟装置,它提供对该窗口所需的象素值;
开关矩阵装置,其输出响应于运动矢量,在当前连接到这种所述延迟装置上,而该延迟装置在当前正提供所述输入象素值;
在每一个开关矩阵装置输出端至少还有一个延迟单元,开关矩阵装置的每一个输出都要经过这种延迟单元,其中所述开关矩阵装置的输出和所述延迟单元的输出被用来形成一个增大了的窗;
插值装置,跟随在该延迟单元之后,用于对所述输出象素值进行插值。
按照本发明的装置的其它有利的实施例源自于相应的从属权利要求。
以下参照附图,描述按照本发明的优选实施例,其中:
图1示出了本发明的MCI的方框图;
图2示出了MCI中使用的象素;
图3示出了经运动矢量移位过的象素在一quincunx采样网格中的可能位置;
图4更详细地给出了水平和垂直延迟器;
图5示出了插值窗口;
图6示出了使用本发明的延迟器排列的插值示意图;
图7示出了插值电路;
图8示出了插值窗口在采样网格中的位置;
图9示出了在开关矩阵输入端的窗;
图10为对场40_A的垂直位置限制表;
图11为对场40_C的垂直位置限制表;
图12为运动矢量移位过的象素在一正交采样网格中的可能的位置。
在HDMAC HDTV系统中,亮度和色度象素按块来处理。依据在块的图象内容内的运动大小,不同的处理模式被分配给各个块类型:
模式    运动速度
80mS    静止或接近静止
40mS    中速
20mS    快速
数据的压缩是通过空间与时间二次采样和运动补偿来进行的。对每一模式,分配一种特定的二次采样的图案(pattern)。在40mS模式中对每一第二场,使用运动补偿。由于从统计上看,40mS模式是在HDMAC编码算法中用得最多的,所以,在BRD(宽带恢复解码器)中进行适当的40mS模式的处理就很重要。不把兼容性改进电路考虑在内,40mS模式的处理在一个SSPC(二次采样图案转换)电路中开始,它将所有传输的图象信息(例如二次采样象素值)转换成40mS的二次采样图案。由于所占场存储器的数目的相对减少,从5个减到3个,在40mS与80mS模式之间的一些时间转换未被合适地处理。这对运动补偿的场影响很大,因为运动补偿是对称的并可以查到未以40mS模式传输的块。然后,通过在奇数场中使用插值,在偶数场中使用运动补偿,实现40mS处理本身。
本发明的一种有益的简化与40mS支路的输出图案有关。在现有BRD技术中,除了各模式支路之间的补偿延迟器,不进行处理的电路均大大增加了硬件成本。这尤其是对继40mS支路之后引入的补偿延迟器在进行80mS处理时是这样的。为了压缩这些补偿延迟器,40mS支路输出相应于80mS图案,并允许40mS的块被80mS插值器所处理。
按照本发明的另一简化与运动补偿处理有关。在现有BRD技术中,运动补偿是在对周围两个奇场插值后进行的。输出为全清晰度的场。而在本发明中,运动补偿在40mS quincunx网格上进行,并且输出为两个80mS模式的图案80_1和80_2。
现有技术的40mS支路包括6个电路:两个插值器和4个运动补偿延迟器。在本发明中,只有两个运动补偿的插值器。这些电路的硬件复杂性主要源自于所需的开关矩阵。此开关矩阵包括行延迟器和象素延迟器,用于进行对运动矢量移位后的象素的随机存取。
在现有技术的开关矩阵中,为存取4个象素,使用9个行延迟器;在本发明的开关矩阵中,为存取6个象素只需要7个行延迟器。
在图1中两个运动补偿的插值器11和12接收每两个相继帧的第一和第三场的40mS块40_A和40_C。在一组水平与垂直延迟器DHV后为开关矩阵SM。每个开关矩阵SM的6个输出象元值P、Q、R、S、T和U经过又一个水平延迟器DH的阵列。为得到对80mS输出网格的所有象素值,这些延迟器后跟着插值器INT。
对于插值,需要单运动矢量移位的输出象素的4个最邻近的象素P、Q、R和S。相应的两组4个象素至少有两个公用的象素,这是因为输出80_1和8 0_2的空间位置所致。这意味着使用相同的窗,存取6个象素P、Q、R、S、T和U,对于输出80_1和80 2的运动补偿是足够的。
40mS支路的计算的输出值80_1和80_2在一个多路复用器MUX中结合在一起,该多路复用器MUX在每一27MHz时钟周期将奇场的最终输出值80_1送至80mS模式图案,和将偶场的值80_2送至80mS模式图案中。
在图3中示出了在80mS网格中的运动矢量移位的象素的4个可能的行(30)与列(31)位置IP1、IP2、IP3和IP4,以表示这6个所需的插值输入P、Q、R、S、T和U。圆圈○标出了输出值80_1的空间位置,三角△标出了输出值80_2的空间位置。
如上文中所解释的,当运动矢量移位的象素不在quincunx网格上时,在quincunx网格上的运动补偿需要一个插值。在这种情况中,当只使用4个最邻近的象素P、Q、R和S时,难于得到正确插值的象素。这个问题的克服采取在水平延迟器DH中存储3个相继的开关矩阵输出。如图2a中所示,对具有10个不同空间位置Q-1、Q0、Q1、P-1、R-1/P0、R0/P1、R1、S-1、S0与S1的十二个象素,如果是用相同的矢量来存取它们,则它们对于在插值器INT中进行输出象素值80_1和80_2的插值而言是可用的。
如图2b中所示,在块边界20,当相邻块的运动矢量不相同时,会出现一些问题。在这种情况中,在插值器INT中使用的10个象素中的7个象素Q0、Q1、P0、R0、R1、S0和S1给出正确的输入值。为了避免在块边界的复杂控制,要作两个假定。这些假定已经在提供很忙的运动图象区域的图象序列上进行了仔细研究。这些研究证明这些假定是允许的。第一种假定是,使用在如图5中所示的插值窗中包含的10个象素中的7个象素(尤其是4个最邻近的象素)的插值将不会给出明显的误差,而是可能在一些特殊的图象内容中只给出模糊的象素。
第二个假定涉及在每一个由基于块的运动矢量的运动估计器而得到的运动矢量场中存在的连续性,这种连续性会使得对当前块外的3个象素的使用可以进行。当在一运动矢量块中出现不连续时,HDMAC编码器通常选择20mS模式。如果运动补偿未给出好的结果,则所述第一个假定将起作用,因为0矢量被用到了20mS各块上。
图4b更详细地示出了水平和垂直延迟器DHV组。输入值40_A和40-B分别经过一串7行延迟器LD,使得在输出端PV1到PV8可以使当前场的8行的象素并行。这些输出相应于垂直矢量位置VY=7、VY=5、VY=3、……VY=-7。输出Pv1到Pv8馈至具有输出40(Ph1到Ph9)的水平延迟部分HDS的输入41,输出40在图4a中更详细地示出,每一块T是一个象素的延迟。
如图4b中所示,4个水平延迟部分(HDS1、HDS2、HDS3、HDS4)表示一个随后的开关矩阵SM对每个当前象素位置将这些输出40连接至相应的6个开关矩阵输出,其分别代表象素P、Q、R、S、T和U。
图5示出了对当前象素I1的80_1插值窗51和对当前象素I2的80-2插值窗52。
在图6中,6个输入象素P、Q、R、S、T和U中的每一个经过一串二象素延迟器PD,其输入和输出分别以这种方式连接到插值器INT,以便使用插值窗51和52的各象素。
图7表示插值器INT的一个可能的硬件实现。自插值窗51得到的输入象素值Q-1、Q1、S-1、T0、Q0、S0、P0、R0、P-1和R1通过使用加法器“t”,乘法器“-2”、“4”、“7”、延迟器T和一除法器或移位器“÷16”而结合在一起。
值得注意,当前40mS支路的输出端的6个开关矩阵输出总是用在80_1窗口51中,因为即使在块的右边界,它们也是正确的:
当前组=(P0、Q0、R0、S0、T0、V0)但是为了简化硬件的缘故,在I1的插值中不使用T0,及在I2的插值中不使用P0。
图8精确地示出了在当前行为奇(图8a)或偶(图8b)情形的窗位置。PB为图象边界,81和83是80_1窗,而82和84为80_2窗。其中的标记有下述意义:
×传输的象素(40mS)
□窗的中心
○ 80_1采样
△80_2采样I1和I2可按下列公式计算: I 1 = [ - 2 ( Q - 1 + Q 1 + S - 1 + S 1 ) + 4 ( Q 0 + S 0 ) + 7 ( P 0 + R 0 ) + ( P - 1 + R 1 ) ] 16 I 2 = [ - 2 ( R - 1 + R 1 + U - 1 + U 1 ) + 4 ( R 0 + U 0 ) + 7 ( S 0 + T 0 ) + ( S - 1 + T 1 ) ] 16
奇数场处理:
在奇数场上不加运动补偿,但开关矩阵SM用一个0矢量工作,以允许在HDMAC BRD中经过一运动补偿插值器(MCI)进行处理。只有以40_A输入的MCI是活动的。图8a和图8b中的窗口的空间位置依赖于该场内的输出行奇偶性。
奇数行:
80_1=P0 80 _ 2 = I 1 + S 0 2
偶数行:
80_1=I1 80 _ 2 = I 2 + R 0 2
偶数场处理:
指向点(Impact Point)IP是指在作为开关矩阵SM的输出的一组6个象素(见图3)内的运动矢量所移位到的象素。实际上指向点标志着一对点80_1和80_2的位置。运动矢量(Vx、Vy)和当前行奇偶性决定指向点的位置。当前行奇偶性指一奇数场,因为对一个80mS输出图案,隔行扫描(interlace)不再存在。
奇数行:
从下式可知指向点IP: S = | Vx | + | Vy | 2
|Vx|表示Vx的绝对值,这些Vx和Vy为整数,S可为一整数,也可以不是:S为整数
Figure A9419232800151
S非整数,且Vy为负
Figure A9419232800152
S非整数,且Vy为正 I(S)表示S的整数部分偶数行:从下式可知指向点IP: S = | Vx | + | Vy | 2 S的计算与对奇数行的一样,但给IP的赋值不同:S整数
Figure A9419232800155
S为非整数,Vy为负
Figure A9419232800156
S为整数,Vy为正
Figure A9419232800157
要进行的插值依赖于指向点:
Figure A9419232800161
Figure A9419232800162
Figure A9419232800163
对一极端负的垂直矢量分量Vy=-6和Vy=-5,以及一极端正的垂直矢量分量Vy=+6和Vy=+5,象素U并不总是可用的。图10和图11给出了这些情况。因此,插值需要被简化:当缺U时,则 I 2 = ( 3 S 0 + 3 T 0 + 2 R 0 ) 8 当缺Q时,则 I 1 = ( 3 P 0 + 3 R 0 + 2 S 0 ) 8
开关矩阵SM的输出依赖于运动矢量(对奇数场为0矢量)和行的奇偶性(总是和奇数场有关)。图9示出了对一奇数行(图9a,PV=5)和一偶数行(图9b,PV=5)的可访问的象素。标记@代表一个80_1位置,而标记○代表80_2位置。为了减少行延迟器的所需数目,对极端大的垂直矢量分量,不是所有的对插值所需的象素在任何情况下都是可用的。
图10和图11按图9的计数和场40_A(t-20mS)给出了开关矩阵各输出的坐标。对于从图象左边到右边的水平位移,水平矢量分量为正。对于从图象底部到顶部的位移,垂直矢量分量为正。为得到对场40_C(t+20mS)的表,这些垂直分量的符号需要反号。
图10a对奇数行相应于Vy和Vx奇偶标志VXP给出了垂直位置PV。
图10b对奇数行相应于Vx和S奇偶标志SP给出了水平位置PH。
对奇数行S奇偶标志为: S = | Vx | + | Vy | 2
如S为偶数,则S奇偶标志为偶,
如S为非偶数,则S奇偶标志为奇。
图11a对偶数行相应于Vy和Vx奇偶标志VXP给出了垂直位置PV。
图11b对偶数行相应于Vx和S奇偶标志SP给出了水平位置PH。
对偶数行S奇偶标志为: S = | Vx | + | Vy | + 2 2
如S为偶数,则S奇偶标志为偶,
如S不为偶数,则S奇偶标志为奇。
在一正交采样网格系统中,例如MPEG,通过使用在可能的运动矢量指向点周围的4个象素P0、Q0、P1、Q1,运动补偿的插值是双线性的(即在两个空间方向上是线性的)。如图12中所示,该指向点可在采样网格内有4个不同的位置0。因此,开关矩阵必须访问四个象素P0、Q0、P1、Q1。
按照本发明,对每个运动补偿的块的每个输出象素位置,要访问的象素数目可以减少为2(P和Q)。由于有延迟器PD(与图6中所示的类似),对一正确插值所需的所有4个输入象素值都是可用的。
通过将运动补偿的处理对每个块行扩展一个象素,可以解决所述块边界问题。例如,如果要把一矢量用在一16×16块上,该开关矩阵SM就需要只在一个17×16块的每个象素位置上访问2个象素(P和Q)。这样在16×16块内到处用于运动补偿中的四个象素就用同一矢量来访问,并且即使在块边界,该运动补偿的块可被完美地重建。
本发明可在诸如电视机和数字录象机(VCR)中使用。
                    说    明
本国际申请按条约第二章进行过修改,国际初步审查报告中有关修改替换页的译文如下:
□原始提出的国际申请。
Figure A94192328.200271
说明书, 1-14        页,按原始提出的,
                      页,随要求书提出的,
                      页,随             的信件提出的,
Figure A94192328.200272
权利要求,             项,按原始提出的,
                       项,按条约第19条修改的,
                       项,随要求书提出的,
           1-9         项,随 03.05.95    的信件提出的,
附图, 1/8-8/8  ,页/图,按原始要求提出的,
                    页/图,随要求书提出的,
                    页/图,随             的信件提出的。
权利要求书
按照条约第19条的修改
1、一种用于对数字信号进行运动补偿插值的方法,其中,插值输出的象素值(80_1、80_2)是用属于所述视频信号的输入象素(51、52、81-84)的空间窗的象素值(P、Q、R、S)来插值的,所述窗的位置与要被插值的当前输出象素(80_1、80_2、I1、I2)的空间位置(IP1-IP4)有关,并且其中,对所述窗所需的象素值由分别延迟(DHV、LD、T)所述输入象素来获得,其中,对所述插值所需要的来自所述窗的这些象素值被提供(SM),其特征在于,
所述插值提供亚象素空间分辨率,
所述的提供的象素被进一步延时(PD),从而所述被提供的象素值和所述进一步延时的象素值构成一个用于对所述输出象素值(80_1、80_2)进行插值(INT)的扩大了的窗,该窗在一侧被水平扩展。
2、根据权利要求1中所述的方法,其特征在于所述输出象素(80_1、80_2)构成一个其输入象素为二次采样的象素的采样网格。
3、根据权利要求1或2中所述的方法,其特征在于两个或更多个所述输出象素值(80_1、80_2)被并行插值(INT),其中对这些输出象素(80_1;80_2)的每一个,需要一组不同的输入象素值(P、Q、R、S;S、R、T、U),并且其中所述输入象素值中的一些象素值(R、S)对不同组是公用的。
5、根据权利要求1至4中之一所述的方法,其特征在于所述运动补偿的插值被用于显示速率的向上变换。
6、根据权利要求1至5之一中所述的方法,其特征在于所述运动补偿的插值是在一HDMAC解码器中进行,其中该开关矩阵(SM)在奇数场中用一个零矢量(Vx=0、Vy=0)工作。
7、根据权利要求1至6之一中所述的方法,其特征在于在大的垂直矢量分量(Vy)情况下,所述运动补偿的插值被修改。
8、一种用于运动补偿插值的装置,其中,各输出象素值(80_1、80_2)从与当前输出象素(80_1、80_2、I1、I2)的空间与/或时间位置(IP1-IP4)相关的位于一窗(51、52、81-84)内的输入象素值(P、Q、R、S)来被插值(INT),这与根据权利要求1至7中之一所述的方法相关,并且包括:
延迟装置(DHV、LD、T),用来得到所述窗口所需要的象素值;
开关矩阵装置(SM),其输出响应于一运动矢量(Vx、Vy),在当前连接到这种所述延迟装置上,该延迟装置在当前传递所述输入象素值(P、Q、R、S);
对每一个开关矩阵装置(SM)的输出(P、Q、R、S、T、U)至少有一个延迟单元(PD),该开关矩阵装置的每一个输出都经其通过,其中该开关矩阵装置的所述各输出和所述延迟单元的各输出被用来构成一增大了的窗;
继所述延迟单元之后的插值装置,用于对所述各输出象素值(80_1、80_2)进行插值。
9、根据权利要求8中所述的装置,其特征在于该装置是一电视接收机的一部分,特别是一HDMAC或MPEG接收机的一部分,或者是一HDMAC或MPEG解码器或一数字录象机的一部分。

Claims (9)

1、一种用于运动补偿插值的方法,其中,插值输出的象素值(80_1、80_2)是用与当前输出象素(80_1、80_2、I1、I2)的空间与/或时间位置(IP1-IP4)相关的位于一窗口(51、52、81-84)内的输入象素值(P、Q、R、S)来插值(INT)的,并且其中使用延迟装置(DHV、LD、T)和开关矩阵装置(SM),使得对该窗口所需的象素值为可用的,该开关矩阵装置(SM)的各输出响应于一运动矢量(Vx、Vy),在当前连接到这种所述延迟装置上,该延迟装置在当前传送所述输入象素值(P、Q、R、S),其特征在于,所述开关矩阵装置(SM)的每一个输出要经过至少一个另外的延迟单元(PD),并且所述开关矩阵装置的各输出和该延迟单元的各输出被用来构成用于对所述输出象素值(80_1、80_2)进行插值的增大了的窗。
2、根据权利要求1中所述的方法,其特征在于所述输出象素(80_1、80_2)构成一采样网格,与之相比,所述输入象素为二次采样的象素。
3、根据权利要求1或2中所述的方法,其特征在于,两个或更多个所述输出象素值(80_1、80_2)被并行插值(INT);其中对这些输出象素(80_1;80_2)的每一个,需要一组不同的输入象素值(P、Q、R、S;S、R、T、U),但这些组的一部分包括公用的输入象素值(R、S)。
4、根据权利要求1至3中之一所述的方法,其特征在于,所述插值(INT)以一场(40_A、40_C)为基础来进行。
5、根据权利要求1至4之一中所述的方法,其特征在于所述运动补偿插值被用于显示速率向上变换。
6、根据权利要求1至5之一中所述的方法,其特征在于所述运动补偿播值在一HDMAC解码器中进行,其中所述开关矩阵(SM)在奇数场中用一零矢量(Vx=0、Vy=0)工作。
7、根据权利要求1至6之一中所述的方法,其特征在于在大的垂直矢量分量(Vy)情况下,所述运动补偿插值被修改。
8、一种实施根据权利要求1至7之一所述的方法,用于对一数字视频信号进行运动补偿插值的装置,其中,输出的象素值(80_1、80_2)自属于该数字视频信号的输入象素(51、52、81-84)的一空间窗的各象素值(P、Q、R、S)来被插值,所述窗的位置与要插值的当前输出象素(80_1、80_2、I1、I2)的空间装置(IP1-IP4)相关,并且
其中使用延迟装置(DHV、LD、T)来得到对所述窗需要的象素值,以及
其中开关矩阵装置(SM)在其输出端提供对所述插值需要的来自所述窗的这些象素值,其特征在于:
所述插值提供空间亚象素分辨率;
所述开关矩阵装置(SM)的每一个输出都至少再经过一个进一步的延迟单元(PD),从而所述开关矩阵装置的输出和所述进一步的象素延迟单元(PD)的输出构成一个用于对所述输出象素值(80_1、80_2)进行插值的扩大了的窗,该窗在一侧被水平扩展。
9、根据权利要求8所述的装置,其特征在于该装置是一电视接收器,尤其是一HDMAC或MPEG接收器的一部分,或是一HDMAC或MPEG解码器的一部分,或是一数字录象机的一部分。
CN94192328A 1993-06-01 1994-05-28 用于对数字视频信号进行插值的方法及装置 Expired - Fee Related CN1052840C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP93401393 1993-06-01
EP93401393.9 1993-06-01

Publications (2)

Publication Number Publication Date
CN1125030A true CN1125030A (zh) 1996-06-19
CN1052840C CN1052840C (zh) 2000-05-24

Family

ID=8214714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN94192328A Expired - Fee Related CN1052840C (zh) 1993-06-01 1994-05-28 用于对数字视频信号进行插值的方法及装置

Country Status (7)

Country Link
US (1) US5844616A (zh)
EP (1) EP0701760B1 (zh)
JP (1) JPH08510880A (zh)
KR (1) KR100318786B1 (zh)
CN (1) CN1052840C (zh)
DE (1) DE69405740T2 (zh)
WO (1) WO1994028677A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1319374C (zh) * 2003-05-26 2007-05-30 矽统科技股份有限公司 临界值可调的动态图像像素检测方法
CN1324899C (zh) * 2003-11-25 2007-07-04 瑞昱半导体股份有限公司 图像放大的方法
CN100386797C (zh) * 2005-11-03 2008-05-07 西安交通大学 一种利于实现数字视频图像缩放插值的行场信号产生方法
CN101232622B (zh) * 2001-09-17 2011-04-13 诺基亚有限公司 用于子像素值内插的方法
CN101543068B (zh) * 2007-03-23 2011-04-20 索尼株式会社 图像处理设备和图像处理方法、程序以及图像显示设备

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI97096C (fi) * 1994-09-13 1996-10-10 Nokia Mobile Phones Ltd Videonkompressiomenetelmä
KR0151210B1 (ko) * 1994-09-23 1998-10-15 구자홍 엠펙2를 수용하는 반화소 움직임 보상조절장치
US5973755A (en) 1997-04-04 1999-10-26 Microsoft Corporation Video encoder and decoder using bilinear motion compensation and lapped orthogonal transforms
US6229570B1 (en) * 1998-09-25 2001-05-08 Lucent Technologies Inc. Motion compensation image interpolation—frame rate conversion for HDTV
US6618439B1 (en) 1999-07-06 2003-09-09 Industrial Technology Research Institute Fast motion-compensated video frame interpolator
US6968008B1 (en) 1999-07-27 2005-11-22 Sharp Laboratories Of America, Inc. Methods for motion estimation with adaptive motion accuracy
US6625333B1 (en) * 1999-08-06 2003-09-23 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry Through Communications Research Centre Method for temporal interpolation of an image sequence using object-based image analysis
US7271840B2 (en) * 2001-10-31 2007-09-18 Intel Corporation Method for determining entropy of a pixel of a real time streaming digital video image signal, and applications thereof
US8284844B2 (en) 2002-04-01 2012-10-09 Broadcom Corporation Video decoding system supporting multiple standards
JP4310697B2 (ja) * 2004-04-20 2009-08-12 ソニー株式会社 信号処理装置および方法、記録媒体、並びにプログラム
WO2005109899A1 (en) * 2004-05-04 2005-11-17 Qualcomm Incorporated Method and apparatus for motion compensated frame rate up conversion
US8948262B2 (en) * 2004-07-01 2015-02-03 Qualcomm Incorporated Method and apparatus for using frame rate up conversion techniques in scalable video coding
EP2096873A3 (en) * 2004-07-20 2009-10-14 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate conversion (EA-FRUC) for video compression
US8553776B2 (en) * 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
JP4736456B2 (ja) * 2005-02-15 2011-07-27 株式会社日立製作所 走査線補間装置、映像表示装置、映像信号処理装置
CN100366050C (zh) * 2005-03-11 2008-01-30 华亚微电子(上海)有限公司 一种图像缩放方法及图像缩放器系统
JP2007122232A (ja) * 2005-10-26 2007-05-17 Casio Comput Co Ltd 画像処理装置及びプログラム
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US8634463B2 (en) * 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
US8750387B2 (en) * 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2140644B (en) * 1983-05-17 1986-09-17 Sony Corp Television standards converters
US4654876A (en) * 1984-12-19 1987-03-31 Itek Corporation Digital image motion correction method
FR2633136B1 (fr) * 1988-06-16 1991-10-11 France Etat Procede et installation de diffusion de programmes de television haute definition compatible
DE69006083T2 (de) * 1989-04-21 1994-05-26 Sony Corp Interpolation eines Videosignals.
FR2652973B1 (fr) * 1989-10-06 1993-12-24 Laboratoire Europ Recherc Electr Interpolateur pour televiseur et televiseur comportant un tel interpolateur.
FR2653629B1 (fr) * 1989-10-20 1995-07-07 Europ Rech Electr Lab Dispositif de compensation de mouvement et recepteur de television comportant un tel dispositif.
FR2654566A1 (fr) * 1989-11-14 1991-05-17 Philips Laboratoires Electroni Dispositif de decodage ameliore de signaux de television de type hd-mac.
JPH05500442A (ja) * 1990-02-09 1993-01-28 エヌ ベー フィリップス フルーイランペンファブリケン Hd―macテレビジョンデコーダ

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101232622B (zh) * 2001-09-17 2011-04-13 诺基亚有限公司 用于子像素值内插的方法
CN1319374C (zh) * 2003-05-26 2007-05-30 矽统科技股份有限公司 临界值可调的动态图像像素检测方法
CN1324899C (zh) * 2003-11-25 2007-07-04 瑞昱半导体股份有限公司 图像放大的方法
CN100386797C (zh) * 2005-11-03 2008-05-07 西安交通大学 一种利于实现数字视频图像缩放插值的行场信号产生方法
CN101543068B (zh) * 2007-03-23 2011-04-20 索尼株式会社 图像处理设备和图像处理方法、程序以及图像显示设备

Also Published As

Publication number Publication date
EP0701760A1 (en) 1996-03-20
WO1994028677A1 (en) 1994-12-08
KR960702712A (ko) 1996-04-27
DE69405740D1 (de) 1997-10-23
CN1052840C (zh) 2000-05-24
EP0701760B1 (en) 1997-09-17
DE69405740T2 (de) 1998-02-12
KR100318786B1 (ko) 2002-04-22
US5844616A (en) 1998-12-01
JPH08510880A (ja) 1996-11-12

Similar Documents

Publication Publication Date Title
CN1052840C (zh) 用于对数字视频信号进行插值的方法及装置
CN1027483C (zh) 传输系统
KR100203913B1 (ko) 모션 벡터 생성기
CN1086891C (zh) 帧像素数据发生系统
CN1666515A (zh) 高清晰度去隔行和倍帧电路及方法
CN1225889C (zh) 图像传感装置内用于图像数据本征处理的方法和电路
NO302990B1 (no) Fremgangsmåte og anordning for formidling av komprimerte digitale videosignaler ved bruk av flere prosessorer
AU7387300A (en) High resolution, high speed digital camera
CN1533675A (zh) 用于子像素运动估计的方法与仪器
CN1182335A (zh) 用于符合mpeg2的实时编码的有效灵活的运动估计结构
CN1327687A (zh) 对视频信号进行编码
CN1577471A (zh) 在液晶显示板中处理视频图像序列的方法
CN1571508A (zh) 一种实现多画面的方法
CN1064185A (zh) 变换图象信号的编码的编码电路和对该信号解码的解码电路
CN1684498A (zh) 具有集成动态格式变化滤波器的动态自适应解交错器
CN1201591C (zh) 用于运动向量域编码的方法和装置
CN1205598A (zh) 用于二进制形状编码的方法和装置
CN1197378C (zh) 发送适于运动图像专家组及其他数据格式的逐行视频序列
FI88844B (fi) Hoegupploesningstelevisionsbildsavkodningsanordning och transmissionssystem
CN1210429A (zh) 编码二进制形状信号的方法
CN1168310C (zh) 信号处理装置和方法
CN1189277A (zh) 产生高清晰度图象的方法
CN1145356C (zh) 一种数字化处理逐行扫描电视信号的自适应补偿算法
CN1122370C (zh) 编码运动向量的装置
CN1214597A (zh) 二进制形状编码中的模式编码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Assignee: Konka Group Co., Ltd.

Assignor: Thomson multimedia licensing company

Contract fulfillment period: The period of performance of the contract is 3 years

Contract record no.: Contract filing No. 024400030015

Denomination of invention: Method and apparatus for interpolation of digital video signals by an invention name

Granted publication date: 20000524

License type: Types of license are common

Record date: 20020524

LIC Patent licence contract for exploitation submitted for record

Free format text: LICENCE; TIME LIMIT OF IMPLEMENTING CONTACT: 3 YEARS

Name of requester: CANON GROUP CO., LTD.

Effective date: 20020524

C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20000524

Termination date: 20120528