CN1495603A - 用操作指令编码的计算机可读介质 - Google Patents

用操作指令编码的计算机可读介质 Download PDF

Info

Publication number
CN1495603A
CN1495603A CNA031587607A CN03158760A CN1495603A CN 1495603 A CN1495603 A CN 1495603A CN A031587607 A CNA031587607 A CN A031587607A CN 03158760 A CN03158760 A CN 03158760A CN 1495603 A CN1495603 A CN 1495603A
Authority
CN
China
Prior art keywords
motion
motion vector
translation
affine
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA031587607A
Other languages
English (en)
Inventor
刘国烈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020000058757A external-priority patent/KR100359115B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1495603A publication Critical patent/CN1495603A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

提供一种用操作指令编码的计算机可读介质,所述操作指令由计算机执行并且用于分别实现一种编码运动向量的方法、一种运动估算方法和一种解码运动向量的方法。所述编码运动向量的方法包括步骤执行仿射运动估算以获得仿射运动参数;转换仿射运动参数为预定数量的平移运动向量;以及编码所转换的当前块的平移运动向量与所转换的前面块的平移运动向量之间的差。该方法在允许低生成位的同时,维持仿射运动估算可使用的运动估算性能。

Description

用操作指令编码的计算机可读介质
本申请是申请日为2001年5月24日、申请号为01119507.X、发明名称为“运动向量编码方法”的发明专利申请的分案申请。
                         技术领域
本发明涉及运动向量编码方法和仿射(affine)运动估算方法以及用操作指令编码的计算机可读介质,其中该操作指令用于执行所述方法。具体地说,涉及能够产生低位速率位流的运动向量编码方法,和能够有效地执行对小数据块编码的仿射运动估算方法,以及记录有能够执行这些方法的操作指令的计算机可读介质。
                         背景技术
最近,国际电信同盟-接口组(ITU-T)为下一代可视电话完成了标准化H.26L协议的工作。自从为可视电话定义运动向量编码方法的、诸如H.261、H.263和H.263+这样的标准方案被采纳为ITU-T标准以来,已经开发出基于H.263++和运动图像专家组(MPEG)-4标准方案的技术。但是还存在着为超低速实时应用和短端到端延迟进一步改进编码效率的必要。即,很希望有一种估算方法和运动向量编码方法,这些方法为在与H.263+标准的编码方法同样的位速率下提供改进的帧速率,或者这些方法在维持和遵循H.263+编码方法编码的图像一样的图像质量的同时,明显降低位速率。
在一种常规的运动估算方法中,假设(i,j)是其宏块和子块的坐标,使用下列公式(1a)和(1b)执行仿射运动估算来表示图像中的像素运动:
                vX(i,j)=a0+a1 i+a2 j                  (1a)
                vY(i,j)=a3+a4 i+a5 j                  (1b)其中vX(i,j)和vY(i,j)是位于模块(i,j)的像素的X和Y轴方向的运动幅度分量。由运动幅度分量vX(i,j)和vY(i,j)组成的表达式[vX(i,j),vY(i,j)]T被称为位于坐标(i,j)的像素的运动向量。即,每个像素的运动向量由每个像素位置和六个参数[a0,a1,a2,...,a5]T确定。这些参数[a0,a1,a2,...,a5]T可以称为仿射运动参数。但是,根据使用仿射运动参数估算运动的方法,随着表示仿射运动参数的位数增加,运动估算的计算越来越复杂而且费时。此外,对于某些数据块,这种仿射运动估算可能不比常规平移(translational)运动估算更有效。
同时,诸如H.261、H.263、MPEG-1和MPEG-2这样的标准、基于按以下表达的平移运动模型表示像素的运动:
             vX(i,j)=t1                            (2a)
             vY(i,j)=t2                            (2b)
从公式(2a)和(2b)显然可以看出,将数据块中的全部像素的运动向量固定为一个向量。但在仿射运动的情况下,如公式(1a)和(1b)所表达的那样,运动向量对于每个像素位置是可变的。仿射运动估算能够表示复杂运动,包括任何或所有诸如旋转、放大、缩小和剪切这样的平移,从而达到更精确的运动估算。
为了使用仿射运动估算来估算图像的运动,公式(1a)和(1b)所表达的仿射运动参数必须以逐块方式获得。运动参数相应于最小化当前图像和前一运动补偿图像的像素值之间的差的位移,表达成下列公式(3)
arg min a k Σ ( i , j ) ∈ M k { I n ( i , j ) - I n - 1 ( i + v x ( i , j ) + v Y ( i , j ) ) } 2 - - - ( 3 ) 其中In(i,j)表示位置(i,j)的像素的亮度,Mk表示第k个数据块。[vX(i,j),vY(i,j)]T由公式(1a)和(1b)所表达。即,最小化当前模块和由运动参数进行运动补偿的前一数据块之间的亮度差的运动参数表达在公式(3)中,并且该运动参数被称为运动估算参数。
在根据常规技术的仿射运动估算方法中,运动参数使用下列公式(4)获得:
a k I + 1 = a k I + u k I - - - ( 4 )
其中 a k I = [ a 0 , a 1 , a 2 , . . . , a 5 ] T , I表示迭代系数。
当I等于0时,运动参数表达成
a k 0 = [ 0,0,0,0,0,0 ] T - - - ( 5 )
在这种情况下,该运动参数称为初始值。
u k I = { Σ ( i , j ) ∈ M k { h ij I ( h ij I ) T } } - 1 { Σ { d n I ( i , j ) T h ij I } } - - - ( 6 )
h k I = [ G X I ( i , j ) , i G X I ( i , j ) , j G X I ( i , j ) , G Y I ( i , j ) , i G Y I ( i , j ) , j G Y I ( i , j ) ] T - - - ( 7 )
d n I ( i , j ) = I n ( i , j ) - I n - 1 ( i , j ) ( i + a 0 I + a 1 I i + a 2 I i , j + a 3 I + a 4 I i + a 5 I j ) - - - ( 8 )
G X I ( i , j ) = { I n ( i + 1 , j ) - I n - 1 ( i , j ) ( i + a 0 I + a 1 I i + a 2 I j - 1 , j + a 3 I + a 4 I i + a s I j ) } / 2 - - - ( 9 a )
G Y I ( i , j ) = { I n ( i , j + 1 ) - I n - 1 ( i , j ) ( i + a 0 I + a 1 I + a 2 i j - 1 , j + a 3 I + a 4 I + a 5 I j - 1 ) } / 2 - - - ( 9 b )
在公式(4)至(9a)和(9b)中所示的估算仿射运动参数的方法称为差分运动估算法。该差分运动估算方法主要用于仿射运动估算。
在这种情况下,对于仿射运动估算,首先将迭代系数I设置为“0”,误差平方设置成尽可能地大。接下来,从公式(6)获得的值使用公式(6)至(9a)和(9b)更新,然后将更新的值代入公式(4)来获得ak I+1。然后,使用ak I+1和下列公式获得当前块和运动补偿过的前面的块之间的差:
SE ( I + 1 ) = Σ i , j ∈ M k { I n ( i , j ) - I n - 1 ( i + a 0 I + 1 + a 1 I + 1 i + a 2 I + 1 j , j + a 3 I + 1 + a 4 I + 1 i + a 5 I + 1 j ) } - - - ( 10 ) 如果SE(I+1)小于SE(I),则I按1递增并重复执行以上步骤。如果SE(I+1)大于SE(I),则此时的ak I确定为所估算的运动参数,并且终止运动估算过程的重复。
然而,仿射运动估算方法存在一个问题,即小尺寸块的运动估算性能明显退化。因此,虽然仿射运动估算方法展示了比平移运动估算法显著的图像预测,但是不能应用于诸如H.261、H.263、MPEG-1和MPEG-4这样的标准。
同时,仿射运动参数是十进制的实数。因此,为了在实际视频编码中使用这些参数,必须将它们转换或量化成定点数。
在平移运动模型所应用到的、诸如H.261、H.263、MPEG-1和MPEG-4这样的标准中,使用运动向量对将在每个块中进行编码的运动信息进行预测编码,籍此在编码运动信息期间降低位流中每单位时间所生成的位数。然而,如果使用仿射运动模型,由于公式(1a)和(1b)所示的六个运动参数中的每一个都不受相邻块的影响,因此很难象在平移运动模型中那样预测性地编码运动信息。即,在编码仿射运动模型的运动参数时可能需要极大的位数。因此,很希望有一种有效编码仿射运动参数的方法。
                         发明内容
为了解决上述问题,本发明的目的是提供一种编码运动向量的方法以及记录有能够执行这些方法的操作指令的计算机可读介质,该方法它在维持仿射运动估算可利用的运动估算性能的同时,降低所生成的位速率。
本发明的另一个目的是提供一种能够对小数据块有效地执行编码的估算运动的方法以及记录有能够执行这些方法的操作指令的计算机可读介质。
本发明的再一个目的是提供一种运动向量解码的方法以及记录有能够执行这些方法的操作指令的计算机可读介质,该方法用于解码通过运动向量编码方法编码的位流。
因此,为了达到上述目的,本发明提供一种编码运动向量的方法以及记录有能够执行这些方法的操作指令的计算机可读介质,所述方法包括步骤:(a)执行仿射运动估算以获得仿射运动参数,(b)转换仿射运动参数为预定数量的平移运动向量,以及(c)编码所转换的当前块的平移运动向量与前面块的平移运动向量之间的差。
该运动向量编码方法还在步骤(c)之前,包括将步骤(b)中的平移运动向量量化成具有预定精度的定点数的步骤。此外,该运动向量编码方法还在步骤(c)之前,包括为当前块的每个平移运动向量确定一预定像素范围并为该预定范围内的每个像素值获得精度的步骤,该精度为精度集∏中使
Figure A0315876000061
产生最小值的值,其中,QP是用在编码图像中的量化区间,λ为基于量化区间QP所确定的常数,MSE()表示在当前块的平移运动向量用精度表示时,当前块和前面所运动补偿过的块之间的差分信号的均方和,以及Bits()表示用于以精度编码当前块的平移运动向量的位数。
该方法还包括用相邻块的平移运动向量、使用
v ^ X , Ca = median { v X , Cb , v X , Uc , v X , Ud } ,
v ^ Y , Ca = median { v Y , Cb , v Y , Uc , v Y , Ud } ,
v ^ X , Cb = median { v X , Ca , v X , Ud , v X , Dc } ,
v ^ Y , Cb = median { v Y , Ca , v Y , Ud , v Y , Dc } ,
v ^ X , Cc = median { v X , Ld , v X , Ca , v X , Cb }
v ^ Y , Cc = median { v Y , Ld , v Y , Ca , v Y , Cb } 预测所转换的当前块的平移运动向量的步骤,其中“^”表示获得预测值的操作,median{}表示在平移运动向量中获得具有中间幅度的平移运动向量的操作。
步骤(c)包括步骤:(c-1)使用所转换的当前块的平移运动向量和相邻块的平移运动向量,计算当前块和相邻于当前块的块之间的平移运动向量的差;以及(c-2)对所获得的平移运动向量之间的差执行变长度编码。
步骤(a)包括通过使用将在当前帧中编码的块的像素值以及在前面的帧中的像素值,并使用vx(i,j)=a0+a1 i+a2 j和vY(i,j)=a3+a4 i+a5 j估算图像中的像素的运动,来获得六个仿射运动估算参数[a0,a1,a2,...,a5]T的步骤,其中(i,j)是其宏块和子块的坐标。
步骤(b)包括通过使用
[vX,A,vY,A]=[a0+a1α+a2α,a3+a4α+a5α],
[vX,B,vY,B]=[a0+3a1α+a2α,a3+3a4α+a5α]和
[vX,C,vY,C]=[a0+a1α+3a2α,a3+a4α+3a5α],
基于
v X ( i , j ) = 1 2 α ( 4 α - i - j ) v X , A + 1 2 α ( - 2 α + i ) v X , B + 1 2 α ( - 2 α + j ) v X , C ,
v Y ( i , j ) = 1 2 α ( 4 α - i - j ) v Y , A + 1 2 α ( - 2 α + i ) v Y , B + 1 2 α ( - 2 α + j ) v Y , C
获得子块A、B、C和D的中心点的运动向量,其中一个宏块由子块A、B、C和D组成,该宏块的大小为S×S,常数α为S/4+1/2。
该运动向量编码方法还在步骤(b)之后,包括步骤:(b’-1)将所转换的平移运动向量量化为具有预定精度的定点数,(b’-2)考虑到位速率和精度之间的失真,选择最优精度,平移运动向量由该精度表示,以及(b’-3)使用转换的相邻块的平移运动向量预测具有所选精度的平移运动向量。
该运动向量编码方法还在步骤(a)之前,包括:通过块匹配技术为当前块获得一个平移运动向量的步骤,并且步骤(a)包括步骤(a’):使用所获得的平移运动向量作为初始值执行仿射运动估算。
另外,该运动向量编码方法还在步骤(a)之前,包括:在估算过的位于上述当前块和位于其余部分的块的仿射运动参数之中,获得最小化当前块和前一运动补偿过的块之间的差信号的均方和的运动参数的步骤,并且步骤(a)包括步骤(a’):使用所获得的运动参数作为初始值执行仿射运动估算,以为预定像素范围获得仿射运动参数。
本发明还提供一种编码运动向量的方法,包括步骤:(a)执行仿射运动估算来获得仿射运动参数,(b)基于
v X ( i , j ) = 1 2 α ( 4 α - i - j ) v X , A + 1 2 α ( - 2 α + i ) v X , B + 1 2 α ( - 2 α + j ) v X , C
以及
v Y ( i , j ) = 1 2 α ( 4 α - i - j ) v Y , A + 1 2 α ( - 2 α + i ) v Y , B + 1 2 α ( - 2 α + j ) v Y , C
获得平移运动向量,其中块的大小为S×S,常数α为S/4+1/2,(c)编码在步骤(b)中获得的平移运动向量之间的差。
本发明还提供一种编码运动向量的方法,包括步骤:(a)为当前块的每个平移运动向量确定预定的像素范围;(b)为在预定的范围内的每个像素值确定当前块的平移运动向量,其中像素运动向量用精度表示,该精度为精度集∏中使
Figure A0315876000083
产生最小值者,其中,QP是用在编码图像中的量化区间,λ为基于量化区间QP所确定的常数,MSE()表示在当前块的平移运动向量用精度表示时,当前块和前面所运动补偿过的块之间的差分信号的均方和,以及Bits()表示用于以精度编码当前块的平移运动向量的位数;(c)编码当前块的平移运动向量和前面块的平移运动向量之间的差。
本发明还提供一种编码运动向量的方法,包括步骤:(a)为六个平移运动向量的分量{vX,A,vY,A,vX,B,vY,B,vX,C,vY,C}的每个确定预定的像素范围;(b)为在步骤(a)中为六个平移运动向量的分量{vX,A,vY,A,vX,B,vY,B,vX,C,vY,C}的每一个所确定的预定范围内的每个像素值,获得当前块的平移运动向量,其中像素运动向量用精度表示,该精度为精度集H中使
Figure A0315876000091
产生最小值者,其中,QP是用在编码图像中的量化区间,λ为基于量化区间QP所确定的常数,MSE()表示在当前块的平移运动向量用精度表示时,当前块和前面所运动补偿过的块之间的差分信号的均方和,以及Bits()表示用于以精度编码当前块的平移运动向量的位数;(c)编码在步骤(b)中获得的平移运动向量之间的差。
本发明还提供一种运动估算方法以及记录有能够执行这些方法的操作指令的计算机可读介质,所述方法包括步骤:(a)执行仿射运动估算来获得仿射运动参数,(b)将仿射运动参数转换为预定数量的平移运动向量。
本发明还提供一种解码运动向量的方法以及记录有能够执行这些方法的操作指令的计算机可读介质,所述方法包括步骤:(a)接收编码数据,(b)解码所收到的数据以获得平移运动向量,(c)将所获得的平移运动向量转换为仿射运动参数,以及(d)使用所获得的仿射运动参数执行运动补偿。
                            附图说明
通过借助附图详细描述本发明的优选实施例,本发明的上述目的和优点将会更容易理解,其中:
图1示出根据本发明的实施例的运动向量编码方法的主要步骤的流程图;
图2示出用于根据本发明的实施例的运动向量编码方法中的仿射运动向量的坐标系;
图3示出块的代码;以及
图4示出根据本发明的运动向量解码方法的主要步骤的流程图。
                         具体实施方式
参考图1,根据本发明的编码运动向量的方法,首先,当前图像帧中将要编码的块的像素值和前面的图像帧中的搜索区域的像素值用于执行仿射运动估算,因此获得当前块的仿射运动参数(步骤102)。该仿射运动估算可以使用六个参数进行描述,例如a0,a1,a2,a3,a4和a5。在该实施例中,使用三个平移运动向量描述仿射运动。然后,为了这个目的,将通过执行运动估算所获得的仿射运动参数转换为平移运动向量(步骤104)。在步骤104中,假设当前块的大小和常数α分别为S×S和S/4+1/2,基于下列公式(11a)和(11b)将仿射运动参数转换为平移运动向量:
v X ( i , j ) = 1 2 α ( 4 α - i - j ) v X , A + 1 2 α ( - 2 α + i ) v X , B + 1 2 α ( - 2 α + j ) v X , C - - - ( 11 a )
v Y ( i , j ) = 1 2 α ( 4 α - i , j ) v Y , A + 1 2 α ( - 2 α + i ) v Y , B + 1 2 α ( - 2 α + j ) v Y , C - - - ( 11 b )
由于仿射运动参数为具有小数点的实数,所以将它们转换或量化成定点数以便用于实际的运动向量编码。为了这个目的,将在步骤104中所转换的平移运动向量量化为具有预定精度的定点值(步骤106)。
假设当前块由四个子块A、B、C和D象图2那样组成,如果子块A、B、C和D的中心点的坐标值被代入公式(1a)和(1b)的坐标i和j,则子块A、B、C和D的中心点的运动向量可以按如下方式获得:
        [vX,A,vY,A]=[a0+a1α+a2α,a3+a4α+a5α]      (12a)
        [vX,B,vY,B]=[a0+3a1α+a2α,a3+3a4α+a5α]    (12b)
        [vX,C,vY,C]=[a0+a1α+3a2α,a3+a4α+3a5α]    (12c)然后,基于
Figure A0315876000103
选择优化精度(步骤108),其中和∏分别为选定的精度和精度集。此外,如果QP是用在编码图像中的量化区间,则设λ为0.85QP2。MSE()表示在当前块的平移运动向量用精度表示时,当前块和前面所运动补偿过的块之间的差分信号的均方和。Bits()表示用于以精度编码当前块的平移运动向量的位数。因此,优化精度即是在精度集∏中使公式(13)产生最小值的精度。用该优化精度表示当前块的平移运动向量。
然后,通过下列公式,使用相邻块的平移运动向量预测所转换的当前块的平移运动向量(步骤110):
v ^ X , Ca = median { v X , Cb , v X , Uc , v X , Ud } - - - ( 14 a )
v ^ Y , Ca = median { v Y , Cb , v Y , Uc , v Y , Ud } - - - ( 14 b )
v ^ X , Cb = median { v X , Ca , v X , Ud , v X , Dc } - - - ( 15 a )
v ^ X , Cb = median { v X , Ca , v X , Ud , v X , Dc } - - - ( 15 b )
v ^ X , Cc = median { v X , Ld , v X , Ca , v X , Cb } - - - ( 16 a )
v ^ Y , Cc = median { v Y , Ld , v Y , Ca , v Y , Cb } - - - ( 16 c ) 图3示出与之关联的块代码。在公式(16a)和(16b)中,:“^”表示获得预测值的操作,median{}表示在三个平移运动向量中获得具有中间幅度的平移运动向量的操作。由于使用公式(11a)和(11b)所表达的三个平移运动向量表示仿射运动参数,所以位于当前块的右下角的子块的平移运动向量例如子块“d”,既不可能被预测也不可能被编码。因此,位于全部块的右下角的子块都不可能被编码。但是,如公式(14a)至(16b)所表达的那样,子块Ud和Ld的平移运动向量用于预测所转换的当前块的平移运动向量。使用下列公式(17a)和(17b)计算子块“d”的平移运动向量
    vX,Ud=vX,Ub+vX,Uc-vX,Ua    (17a)
    vY,Ud=vY,Ub+vY,Uc-vY,Ua    (17b)
此外,如果公式(14a)至(16b)中的相邻块的平移运动向量的精度不同于当前块的平移运动向量的精度,则前者最好修改成与后者相同。
接着,使用所转换的当前块的平移运动向量和相邻块的平移运动向量计算平移运动向量之间的差(步骤112),在对计算出的平移运动向量差执行可变长编码(步骤114)。
表1
  测试图像序列   格式   平移运动向量   仿射运动向量
    工头     QCIF,10Hz     7.35     9.03
    容器     QCIF,10Hz     2.79     4.72
    新闻     QCIF,10Hz     4.14     6.30
    无声影片     QCIF,15Hz     4.43     7.16
    巴黎     CIF,15Hz     4.58     5.42
    汽车     CIF,30Hz     4.08     6.22
    Tempete     CIF,10Hz     5.25     9.62
表1包含以本发明的优选实施例的运动向量编码方法、使用测试图像评价平均运动向量熵的结果。表1明显示出,应用基于仿射运动估算的、根据本发明的运动向量编码方法时的测试图像序列的平均运动向量熵,大于应用基于平移运动估算的常规运动向量编码方法时的测试图像序列的平均运动向量熵。
表2
测试图像序列     格式   1616块匹配     88块匹配     本发明
    工头   QCIF,10Hz     29.34     31.58     32.37
    容器   QCIF,10Hz     38.31     39.01     39.93
    新闻   QCIF,10Hz     31.52     33.38     33.93
    无声影片   QCIF,15Hz     33.53     35.45     35.98
    巴黎   CIF,15Hz     31.04     32.49     32.52
    汽车   CIF,30Hz     26.85     28.14     28.62
    Tempete   QCIF,10Hz     28.48     29.59     29.69
此外,表2以分贝(dB)示出测量指示平均预测增益的峰值信噪比(PSNR)的结果。表2明显示出,在应用基于仿射运动估算的运动向量编码方法时所测量的测试图像序列的PSNR,大于应用基于平移运动估算的常规运动向量编码方法时所测量的测试图像序列的PSNR。
即,如果包括步骤102和104的方法作为用于计算平移运动向量的运动估算方法应用,则对其维数小于16乘16(16×16)象素块的小块执行高性能的运动估算,而且维持仿射运动估算可使用的、改进的运动估算性能。
此外,本发明的运动向量编码方法允许生成位的范围为从高端的9.62×3或28.86位到低端的4.72×3或14.16,因此,与在使用8位的每个仿射参数的定长编码(FLC)期间生成6×6或36位的常规方法比较,减少了位速率。
在参考图1描述的上述实施例中,以独立的方式执行:使用将在当前图像帧中编码的当前块的像素值和前面图像帧中的搜索区域的像素值、执行仿射运动估算以获得当前块的仿射运动参数的步骤102,将仿射运动参数转换为平移运动向量的步骤104和将所转换的平移运动向量量化为具有预定精度的定点数的步骤106。
然而,可以通过基于公式(11a)和(11b)执行仿射参数估算将上述的两个步骤102和104集中到一步中,从而降低整个过程的复杂性。
另外,可以通过为当前块的每个平移运动向量确定一预定像素范围,然后为该预定范围中的每个像素值确定平移运动向量将上述的三个步骤102、104和106集中到一步中,像素运动向量使用使公式(13)产生最小值的精度表示。例如,可以确定预定的子像素范围、然后为该预定范围中的每个子像素值确定平移运动向量的子像素运动向量,该子像素运动向量使用使公式(13)产生最小值的精度获得。此时,进一步降低了处理的复杂性。
此外,在参考图1描述的实施例中的步骤102中,考虑到每个平移运动向量分量可能具有的各种各样的可变因素,来获得这些分量。然而,可以为六个平移运动向量分量{vX,A,vY,A,vX,B,vY,B,vX,C,vY,C}的每个确定一预定的像素范围,并为该预定范围中的每个像素值确定平移运动向量的像素运动向量,该平移运动向量使用公式(13)给出最小值的精度获得。
此外,在步骤102中,如公式(5)所表达的那样,设置初始值为“0”。但是,最好使用一个平移运动向量作为初始值执行步骤102,其中的平移运动向量借助于对当前块的块匹配算法获得。此外,可以使用运动参数,该参数在估算过的位于当前块和位于其余部分的块的仿射运动参数之中、最小化当前块和前一运动补偿过的块之间的差信号的均方和。
此外,可以在步骤102中通过用块匹配算法为当前块获得一个平移运动向量,然后使用所获得的平移运动向量作为初始值来为预定像素范围获得仿射运动参数,来降低复杂性。
此外,还可以在步骤102中通过获得在估算过的位于当前块和位于其余部分的块的仿射运动参数之中、使当前块和前一运动补偿过的块之间的差信号的均方和最小化的运动参数,然后使用所获得的运动参数作为初始值来为预定像素范围获得仿射运动参数,来降低复杂性。
同时,可以通过根据本发明的运动向量解码方法解码使用根据本发明的运动向量编码方法编码的位流。图4示出根据本发明的实施例的运动向量解码方法的主要步骤的流程图。参考图4,在根据本发明的解码运动向量期间,接收按可变长度编码的数据(步骤402),然后将所收到的数据进行可变长度解码以获得平移运动向量(步骤404)。由该运动向量编码方法编码的位流包含相应块和它的各个相邻块的平移运动向量的中间值之间的差。因此,对所收到的数据执行可变长度解码获得相应块和其相邻各块的平移运动向量的中间值之间的差之后,使用该差值获得平移运动向量。
接着,将所获得的平移运动向量转换成仿射运动参数(步骤406)。步骤406是参考图1和2描述过的转换运动参数为运动向量的步骤的逆过程,因此详细解释从略。然后,使用步骤406中获得的仿射运动参数执行运动补偿,以恢复图像(步骤408)。
此外,根据本发明的运动向量编码方法、运动估算方法和运动向量解码可以写成在个人计算机或服务器计算机上执行的程序。构造该程序的程序代码和代码段可以由本行业中的计算机程序员轻松地推出。此外,该程序可以存储在计算机可读记录介质中。这种记录介质包括磁记录介质、光记录介质和无线电介质。
如上所述,根据本发明的运动向量编码方法在允许低生成位的同时,维持改进的运动估算性能,该性能通过使用仿射运动估算获得。此外,根据本发明的运动向量编码方法能够对其维数小于16×16像素块的小块执行高性能的运动估算。

Claims (4)

1.一种用操作指令编码的计算机可读介质,所述操作指令由计算机执行并且用于实现一种编码运动向量的方法,该方法包括步骤:
执行仿射运动估算以获得仿射运动参数;
转换仿射运动参数为预定数量的平移运动向量;以及
编码所转换的当前块的平移运动向量与前面块的平移运动向量之间的差。
2.一种用操作指令编码的计算机可读介质,所述操作指令由计算机执行并且用于实现一种运动估算方法,该方法包括步骤:
(a)执行仿射运动估算来获得仿射运动参数;
(b)将仿射运动参数转换为预定数量的平移运动向量。
3.如权利要求2所述的计算机可读介质,其中所述方法还包括步骤:将所述被转换的平移运动向量量化成具有预定精度的定点数。
4.一种用操作指令编码的计算机可读介质,所述操作指令由计算机执行并且用于实现一种解码运动向量的方法,该方法包括步骤:
接收编码数据;
解码所收到的数据以获得平移运动向量;
将所获得的平移运动向量转换为仿射运动参数;以及
使用所获得的仿射运动参数执行运动补偿。
CNA031587607A 2000-05-24 2001-05-24 用操作指令编码的计算机可读介质 Pending CN1495603A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US20678300P 2000-05-24 2000-05-24
US60/206,783 2000-05-24
KR58757/2000 2000-10-06
KR1020000058757A KR100359115B1 (ko) 2000-05-24 2000-10-06 영상 코딩 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB01119507XA Division CN1144469C (zh) 2000-05-24 2001-05-24 编码和解码图像中的像素的运动向量的方法

Publications (1)

Publication Number Publication Date
CN1495603A true CN1495603A (zh) 2004-05-12

Family

ID=26638442

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB01119507XA Expired - Fee Related CN1144469C (zh) 2000-05-24 2001-05-24 编码和解码图像中的像素的运动向量的方法
CNA031587607A Pending CN1495603A (zh) 2000-05-24 2001-05-24 用操作指令编码的计算机可读介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CNB01119507XA Expired - Fee Related CN1144469C (zh) 2000-05-24 2001-05-24 编码和解码图像中的像素的运动向量的方法

Country Status (3)

Country Link
EP (1) EP1158806A1 (zh)
JP (1) JP3681342B2 (zh)
CN (2) CN1144469C (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2833797B1 (fr) * 2001-12-19 2004-02-13 Thomson Licensing Sa Procede d'estimation du mouvement dominant dans une sequence d'images
US9185428B2 (en) 2011-11-04 2015-11-10 Google Technology Holdings LLC Motion vector scaling for non-uniform motion vector grid
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US9503746B2 (en) 2012-10-08 2016-11-22 Google Inc. Determine reference motion vectors
US9485515B2 (en) 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
CN104869399A (zh) * 2014-02-24 2015-08-26 联想(北京)有限公司 一种信息处理方法及电子设备
WO2016008157A1 (en) * 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
CN107809642B (zh) 2015-02-16 2020-06-16 华为技术有限公司 用于视频图像编码和解码的方法、编码设备和解码设备
MY190198A (en) 2015-03-10 2022-04-04 Huawei Tech Co Ltd Picture prediction method and related apparatus
CN109005407B (zh) 2015-05-15 2023-09-01 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
CN108965871B (zh) 2015-09-29 2023-11-10 华为技术有限公司 图像预测的方法及装置
CN109391814B (zh) 2017-08-11 2023-06-06 华为技术有限公司 视频图像编码和解码的方法、装置及设备
CN109729352B (zh) * 2017-10-27 2020-07-21 华为技术有限公司 确定仿射编码块的运动矢量的方法和装置
CN116915986A (zh) * 2017-12-12 2023-10-20 华为技术有限公司 视频数据的帧间预测方法和装置
US20190222834A1 (en) * 2018-01-18 2019-07-18 Mediatek Inc. Variable affine merge candidates for video coding
WO2020031059A1 (en) 2018-08-04 2020-02-13 Beijing Bytedance Network Technology Co., Ltd. Constraints for usage of updated motion information
US11477476B2 (en) * 2018-10-04 2022-10-18 Qualcomm Incorporated Affine restrictions for the worst-case bandwidth reduction in video coding
WO2020070612A1 (en) 2018-10-06 2020-04-09 Beijing Bytedance Network Technology Co., Ltd. Improvement for temporal gradient calculating in bio
WO2020084470A1 (en) * 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Storage of motion parameters with clipping for affine mode

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0541862A (ja) 1991-08-03 1993-02-19 Sony Corp 動きベクトルの可変長符号化方式
KR0148151B1 (ko) 1994-05-11 1998-09-15 김광호 개선된 차분동부호테이블을 이용한 차분동벡터값의 가변장부호화방법 및 그 장치
FR2725577B1 (fr) 1994-10-10 1996-11-29 Thomson Consumer Electronics Procede de codage ou de decodage de vecteurs mouvement et dispositif de codage ou de decodage mettant en oeuvre ledit procede
TW257924B (en) * 1995-03-18 1995-09-21 Daewoo Electronics Co Ltd Method and apparatus for encoding a video signal using feature point based motion estimation
EP1274252A3 (en) * 1995-08-29 2005-10-05 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
JPH09182082A (ja) * 1995-12-25 1997-07-11 Nippon Telegr & Teleph Corp <Ntt> 動画像の動き補償予測符号化方法とその装置
US5692063A (en) * 1996-01-19 1997-11-25 Microsoft Corporation Method and system for unrestricted motion estimation for video
JP3183155B2 (ja) * 1996-03-18 2001-07-03 株式会社日立製作所 画像復号化装置、及び、画像復号化方法
DE69838281T2 (de) 1997-06-25 2008-05-15 Nippon Telegraph And Telephone Corp. Bewegungsprädiktives bildkodierungsverfahren sowie speichermedium zur speicherung des entsprechenden programms

Also Published As

Publication number Publication date
JP2001339730A (ja) 2001-12-07
CN1144469C (zh) 2004-03-31
CN1325220A (zh) 2001-12-05
EP1158806A1 (en) 2001-11-28
JP3681342B2 (ja) 2005-08-10

Similar Documents

Publication Publication Date Title
CN1144469C (zh) 编码和解码图像中的像素的运动向量的方法
CN1280709C (zh) 退色补偿的参数化
CN1229999C (zh) 用于编码和解码运动矢量的方法和装置
CN1270543C (zh) 用于以固定的计算复杂度编码活动图象的方法
CN1713730A (zh) 估计图像噪声的方法和设备和消除噪声的方法和记录介质
CN1144472C (zh) 运动补偿编码器、解码器以及运动补偿编码和解码方法
CN1675848A (zh) 用于执行高质量快速预测运动搜索的方法和设备
CN1126065C (zh) 压缩和解压缩图象
CN101584215B (zh) 综合空时预测
CN1719901A (zh) 基于运动估计多分辨率方法及存储执行其程序的记录介质
CN1495674A (zh) 运动向量补偿的内插装置和方法
CN1262916C (zh) 退色估计/补偿
CN1926875A (zh) 运动补偿方法
CN1671209A (zh) 运动图像编码装置
CN1906624A (zh) 使用匹配追踪的数据压缩
CN1835594A (zh) 在计算机上执行运动矢量检测处理的检测方法以及装置
CN1925617A (zh) 提高的运动估计、视频编码方法及使用所述方法的设备
CN1917642A (zh) 迭代计算全局运动参数集的方法和设备
CN1956547A (zh) 运动矢量检测装置及运动矢量检测方法
CN1905680A (zh) 运动图像编码装置、方法及程序
CN1320830C (zh) 噪声估计方法和设备、以及利用其编码视频的方法和设备
CN1751522A (zh) 利用对选定宏块的跳过移动估计进行的视频编码
CN1823328A (zh) 利用快速搜索块匹配的运动估计
CN1813478A (zh) 用于手持设备的编码的方法
CN108632630A (zh) 一种结合位运算和概率预测的二值图像编码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication