CN1325220A - 运动向量编码方法 - Google Patents
运动向量编码方法 Download PDFInfo
- Publication number
- CN1325220A CN1325220A CN01119507A CN01119507A CN1325220A CN 1325220 A CN1325220 A CN 1325220A CN 01119507 A CN01119507 A CN 01119507A CN 01119507 A CN01119507 A CN 01119507A CN 1325220 A CN1325220 A CN 1325220A
- Authority
- CN
- China
- Prior art keywords
- motion vector
- translational motion
- current block
- median
- alpha
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
提供一种编码运动向量的方法。该方法包括步骤:(a)执行仿射运动估算以获得仿射运动参数,(b)转换仿射运动参数为预定数量的平移运动向量,以及(c)编码所转换的当前块的平移运动向量与所转换的前面块的平移运动向量之间的差。该方法在允许低生成位的同时,维持仿射运动估算可使用的运动估算性能。
Description
本发明涉及运动向量编码方法和仿射(affine)运动估算方法,具体地说,涉及能够产生低位速率位流的运动向量编码方法,和能够有效地执行对小数据块编码的仿射运动估算方法。
最近,国际电信同盟-接口组(ITU-T)为下一代可视电话完成了标准化H.26L协议的工作。自从为可视电话定义运动向量编码方法的、诸如H.261、H.263和H.263+这样的标准方案被采纳为ITU-T标准以来,已经开发出基于H.263++和运动图像专家组(MPEG)-4标准方案的技术。但是还存在着为超低速实时应用和短端到端延迟进一步改进编码效率的必要。即,很希望有一种估算方法和运动向量编码方法,这些方法为在与H.263+标准的编码方法同样的位速率下提供改进的帧速率,或者这些方法在维持和遵循H.263+编码方法编码的图像一样的图像质量的同时,明显降低位速率。
在一种常规的运动估算方法中,假设(i,j)是其宏块和子块的坐标,使用下列公式(1a)和(1b)执行仿射运动估算来表示图像中的像素运动:
VX(i,j)=α0+α1i+α2j (1a)
VY(i,j)=α3+α4i+α5j (1b)其中VX(i,j)和VY(i,j)是位于模块(i,j)的像素的X和Y轴方向的运动幅度分量。由运动幅度分量VX(i,j)和VY(i,j)组成的表达式[VX(i,j),VY(i,j)]T被称为位于坐标(i,j)的像素的运动向量。即,每个像素的运动向量由每个像素位置和六个参数[a0,a1,a2,…,a5]T确定。这些参数[a0,a1,a2,…,a5]T可以称为仿射运动参数。但是,根据使用仿射运动参数估算运动的方法,随着表示仿射运动参数的位数增加,运动估算的计算越来越复杂而且费时。此外,对于某些数据块,这种仿射运动估算可能不比常规平移(translational)运动估算更有效。
同时,诸如H.261、H.263、MPEG-1和MPEG-2这样的标准、基于按以下表达的平移运动模型表示像素的运动:
VX(i,j)=t1 (2a)
VY(i,j)=t2 (2b)
从公式(2a)和(2b)显然可以看出,将数据块中的全部像素的运动向量固定为一个向量。但在仿射运动的情况下,如公式(1a)和(1b)所表达的那样,运动向量对于每个像素位置是可变的。仿射运动估算能够表示复杂运动,包括任何或所有诸如旋转、放大、缩小和剪切这样的平移,从而达到更精确的运动估算。
为了使用仿射运动估算来估算图像的运动,公式(1a)和(1b)所表达的仿射运动参数必须以逐块方式获得。运动参数相应于最小化当前图像和前一运动补偿图像的像素值之间的差的位移,表达成下列公式(3) 其中In(i,j)表示位置(i,j)的像素的亮度,Mk表示第k个数据块。[VX(i,j),VY(i,j)]T由公式(1a)和(1b)所表达。即,最小化当前模块和由运动参数进行运动补偿的前一数据块之间的亮度差的运动参数表达在公式(3)中,并且该运动参数被称为运动估算参数。
在根据常规技术的仿射运动估算方法中,运动参数使用下列公式(4)获得:
αk I+1=αk I+uk I (4)其中αk I=[a0,a1,a2,…,a5]T,I表示迭代系数。当I等于0时,运动参数表达成
αk 0=[0,0,0,0,0,0]T (5)在这种情况下,该运动参数称为初始值。 hk I=[GX I(i,j),iGX I(i,j),jGX I(i,j),GY I(i,j),iGY I(i,j),jGY I(i,j)T (7)dn I(i,j)=In(i,j)-In-1(i,j)(i+α0 I+α1 Ii+α2 Ii,j+α3 I+α4 Ii+α5 Ij) (8)GX I(i,j)={In(i+1,j)-In-1(i,j)(i+α0 I+α1 Ii+α2 Ij-1,j+α3 I+α4 Ii+α5 Ij)}/2(9a)GY I(i,j)={In(i,j+1)-In-1(i,j)(i+α0 I+α1 I+α2 Ij-1,j+α3 I+α4 I+α5 Ij-1)}/2 (9b)
在公式(4)至(9a)和(9b)中所示的估算仿射运动参数的方法称为差分运动估算法。该差分运动估算方法主要用于仿射运动估算。
在这种情况下,对于仿射运动估算,首先将迭代系数I设置为“0”,误差平方设置成尽可能地大。接下来,从公式(6)获得的值使用公式(6)至(9a)和(9b)更新,然后将更新的值代入公式(4)来获得αk I+1。然后,使用αk I+1和下列公式获得当前块和运动补偿过的前面的块之间的差:
如果SE(I+1)小于SE(I),则I按1递增并重复执行以上步骤。如果SE(I+1)大于SE(I),则此时的αk I确定为所估算的运动参数,并且终止运动估算过程的重复。
然而,仿射运动估算方法存在一个问题,即小尺寸块的运动估算性能明显退化。因此,虽然仿射运动估算方法展示了比平移运动估算法显著的图像预测,但是不能应用于诸如H.261、H.263、MPEG-1和MPEG-4这样的标准。
同时,仿射运动参数是十进制的实数。因此,为了在实际视频编码中使用这些参数,必须将它们转换或量化成定点数。
在平移运动模型所应用到的、诸如H.261、H.263、MPEG-1和MPEG-4这样的标准中,使用运动向量对将在每个块中进行编码的运动信息进行预测编码,籍此在编码运动信息期间降低位流中每单位时间所生成的位数。然而,如果使用仿射运动模型,由于公式(1a)和(1b)所示的六个运动参数中的每一个都不受相邻块的影响,因此很难象在平移运动模型中那样预测性地编码运动信息。即,在编码仿射运动模型的运动参数时可能需要极大的位数。因此,很希望有一种有效编码仿射运动参数的方法。
为了解决上述问题,本发明的目的是提供一种编码运动向量的方法,它在维持仿射运动估算可利用的运动估算性能的同时,降低所生成的位速率。
本发明的另一个目的是提供一种能够对小数据块有效地执行编码的估算运动的方法。
本发明的再一个目的是提供一种运动向量解码的方法,用于解码通过运动向量编码方法编码的位流。
因此,为了达到上述目的,本发明提供一种编码运动向量的方法,它包括步骤:(a)执行仿射运动估算以获得仿射运动参数,(b)转换仿射运动参数为预定数量的平移运动向量,以及(c)编码所转换的当前块的平移运动向量与所转换的前面块的平移运动向量之间的差。
该运动向量编码方法还在步骤(c)之前,包括将步骤(b)中的平移运动向量量化成具有预定精度的定点数的步骤。此外,该运动向量编码方法还在步骤(c)之前,包括为当前块的每个平移运动向量确定一预定像素范围并为该预定范围内的每个像素值获得精度φ的步骤,该精度φ为精度集П中使 产生最小值的值,其中,QP是用在编码图像中的量化区间,λ为基于量化区间QP所确定的常数,MSE(φ)表示在当前块的半移运动向量用精度φ表示时,当前块和前面所运动补偿过的块之间的差分信号的均方和,以及Bits(φ)表示用于以精度φ编码当前块的平移运动向量的位数。该方法还包括用相邻块的平移运动向量、使用和 预测所转换的当前块的平移运动向量的步骤,其中“^”表示获得预测值的操作,median{}表示在平移运动向量中获得具有中间幅度的平移运动向量的操作。
步骤(c)包括步骤:(c-1)使用所转换的当前块的平移运动向量和相邻块的平移运动向量,计算当前块和相邻于当前块的块之间的平移运动向量的差;以及(c-2)对所获得的平移运动向量之间的差执行变长度编码。
步骤(a)包括通过使用将在当前帧中编码的块的像素值以及在前面的帧中的像素值,并使用VX(i,j)=α0+α1i+α2 i和VY(i,j)=α3+α4 i+α5j估算图像中的像素的运动,来获得六个仿射运动估算参数[α0,α1,α2,…,α5]T的步骤,其中(i,j)是其宏块和子块的坐标。
步骤(b)包括通过使用
[VX,A,VY,A]=[a0+a1α+a2α,a3+a4α+a5α],
[VX,B,VY,B]=[a0+3a1α+a2α,a3+3a4α+a5α]和
[VX,C,VY,C]=[a0+a1α+3a2α,a3+aXα+3a5α],基于 获得子块A、B、C和D的中心点的运动向量,其中一个宏块由子块A、B、C和D组成,该宏块的大小为S×S,常数α为S/4+1/2。
该运动向量编码方法还在步骤(b)之后,包括步骤:(b’-1)将所转换的平移运动向量量化为具有预定精度的定点数,(b’-2)考虑到位速率和精度之间的失真,选择最优精度,平移运动向量由该精度表示,以及(b’-3)使用转换的相邻块的平移运动向量预测具有所选精度的平移运动向量。
该运动向量编码方法还在步骤(a)之前,包括:通过块匹配技术为当前块获得一个平移运动向量的步骤,并且步骤(a)包括步骤(a’):使用所获得的平移运动向量作为初始值执行仿射运动估算。
另外,该运动向量编码方法还在步骤(a)之前,包括:在估算过的位于上述当前块和位于其余部分的块的仿射运动参数之中,获得最小化当前块和前一运动补偿过的块之间的差信号的均方和的运动参数的步骤,并且步骤(a)包括步骤(a’):使用所获得的运动参数作为初始值执行仿射运动估算,以为预定像素范围获得仿射运动参数。
本发明还提供编码运动向量的方法,包括步骤:(a)执行仿射运动估算来获得仿射运动参数,(b)基于 以及 获得平移运动向量,其中块的大小为S×S,常数α为S/4+1/2,(c)编码在步骤(b)中获得的平移运动向量之间的差。
本发明还提供编码运动向量的方法,包括步骤:(a)为当前块的每个平移运动向量确定预定的像素范围;(b)为在预定的范围内的每个像素值确定当前块的平移运动向量,其中像素运动向量用精度φ表示,该精度φ为精度集П中使
产生最小值者,其中,QP是用在编码图像中的量化区间,λ为基于量化区间QP所确定的常数,MSE(φ)表示在当前块的平移运动向量用精度φ表示时,当前块和前面所运动补偿过的块之间的差分信号的均方和,以及Bits(φ)表示用于以精度φ编码当前块的平移运动向量的位数;(c)编码当前块的平移运动向量和前面块的平移运动向量之间的差。
本发明还提供编码运动向量的方法,包括步骤:(a)为六个平移运动向量的分量{VX,A,VY,A,VX,B,VY,B,VX,C,VY,C)的每个确定预定的像素范围;(b)为在步骤(a)中为六个平移运动向量的分量{VX,A,VY,A,VX,B,VY,B,VX,C,VY,C)的每一个所确定的预定范围内的每个像素值,获得当前块的平移运动向量,其中像素运动向量用精度φ表示,该精度φ为精度集П中使
产生最小值者,其中,QP是用在编码图像中的量化区间,λ为基于量化区间QP所确定的常数,MSE(φ)表示在当前块的平移运动向量用精度φ表示时,当前块和前面所运动补偿过的块之间的差分信号的均方和,以及Bits(φ)表示用于以精度φ编码当前块的平移运动向量的位数;(c)编码在步骤(b)中获得的平移运动向量之间的差。
本发明还提供运动估算方法,包括步骤:(a)执行仿射运动估算来获得仿射运动参数,(b)将仿射运动参数转换为预定数量的平移运动向量。
本发明还提供解码运动向量的方法,包括步骤:(a)接收编码数据,(b)解码所收到的数据以获得平移运动向量,(c)将所获得的平移运动向量转换为仿射运动参数,以及(d)使用所获得的仿射运动参数执行运动补偿。
通过借助附图详细描述本发明的优选实施例,本发明的上述目的和优点将会更容易理解,其中:
图1示出根据本发明的实施例的运动向量编码方法的主要步骤的流程图;
图2示出用于根据本发明的实施例的运动向量编码方法中的仿射运动向量的坐标系;
图3示出块的代码;以及
图4示出根据本发明的运动向量解码方法的主要步骤的流程图。
参考图1,根据本发明的编码运动向量的方法,首先,当前图像帧中将要编码的块的像素值和前面的图像帧中的搜索区域的像素值用于执行仿射运动估算,因此获得当前块的仿射运动参数(步骤102)。该仿射运动估算可以使用六个参数进行描述,例如a0,a1,a2,a3,a4和a5。在该实施例中,使用三个平移运动向量描述仿射运动。然后,为了这个目的,将通过执行运动估算所获得的仿射运动参数转换为平移运动向量(步骤104)。在步骤104中,假设当前块的大小和常数α分别为S×S和S/4+1/2,基于下列公式(11a)和(11b)将仿射运动参数转换为平移运动向量:
由于仿射运动参数为具有小数点的实数,所以将它们转换或量化成定点数以便用于实际的运动向量编码。为了这个目的,将在步骤104中所转换的平移运动向量量化位具有预定精度的定点值(步骤106)。
假设当前块由四个子块A、B、C和D象图2那样组成,如果子块A、B、C和D的中心点的坐标值被代入公式(1a)和(1b)的坐标i和j,则子块A、B、C和D的中心点的运动向量可以按如下方式获得:[VX,A,VY,A]=[a0+a1α+a2α,a3+a4α+a5α] (12a)[VX,B,VY,B]=[a0+3a1α+a2α,a3+3a4α+a5α] (12b)[VX,C,VY,C]=[a0+a1α+3a2α,a3+a4α+3a5α] (12c)然后,基于 选择优化精度(步骤108),其中φ和Π分别为选定的精度和精度集。此外,如果QP是用在编码图像中的量化区间,则设λ为0.85QP2。MSE(φ)表示在当前块的平移运动向量用精度φ表示时,当前块和前面所运动补偿过的块之间的差分信号的均方和。Bits(φ)表示用于以精度φ编码当前块的平移运动向量的位数。因此,优化精度即是在精度集Π中使公式(13)产生最小值的精度φ。用该优化精度表示当前块的平移运动向量。
然后,通过下列公式,使用相邻块的平移运动向量预测所转换的当前块的平移运动向量(步骤110):
图3示出与之关联的块代码。在公式(16a)和(16b)中,“^”表示获得预测值的操作,median{}表示在三个平移运动向量中获得具有中间幅度的平移运动向量的操作。由于使用公式(11a)和(11b)所表达的三个平移运动向量表示仿射运动参数,所以位于当前块的右下角的子块的平移运动向量例如子块“d”,既不可能被预测也不可能被编码。因此,位于全部块的右下角的子块都不可能被编码。但是,如公式(14a)至(16b)所表达的那样,子块Ud和Ld的平移运动向量用于预测所转换的当前块的平移运动向量。使用下列公式(17a)和(17b)计算子块“d”的平移运动向量
VX,Ud=VX,Ub+VX,Uc-VX,Ua (17a)
VY,Ud=VY,Ub+VY,Uc-VY,Ua (17b)
此外,如果公式(14a)至(16b)中的相邻块的平移运动向量的精度不同于当前块的平移运动向量的精度,则前者最好修改成与后者相同。
接着,使用所转换的当前块的平移运动向量和相邻块的平移运动向量计算平移运动向量之间的差(步骤112),在对计算出的平移运动向量差执行可变长编码(步骤114)。
表1
测试图像序列 | 格式 | 平移运动向量 | 仿射运动向量 |
工头 | QCIF,10Hz | 7.35 | 9.03 |
容器 | QCIF,10Hz | 2.79 | 4.72 |
新闻 | QCIF,10Hz | 4.14 | 6.30 |
无声影片 | QCIF,15Hz | 4.43 | 7.16 |
巴黎 | CIF,15Hz | 4.58 | 5.42 |
汽车 | CIF,30Hz | 4.08 | 6.22 |
Tempete | CIF,10Hz | 5.25 | 9.62 |
表1包含以本发明的优选实施例的运动向量编码方法、使用测试图像评价平均运动向量熵的结果。表1明显示出,应用基于仿射运动估算的、根据本发明的运动向量编码方法时的测试图像序列的平均运动向量熵,大于应用基于平移运动估算的常规运动向量编码方法时的测试图像序列的平均运动向量熵。
表2
测试图像序列 | 格式 | 1616块匹配 | 88块匹配 | 本发明 |
工头 | QCIF,10Hz | 29.34 | 31.58 | 32.37 |
容器 | QCIF,10Hz | 38.31 | 39.01 | 39.93 |
新闻 | QCIF,10Hz | 31.52 | 33.38 | 33.93 |
无声影片 | QCIF,15Hz | 33.53 | 35.45 | 35.98 |
巴黎 | CIF,15Hz | 31.04 | 32.49 | 32.52 |
汽车 | CIF,30Hz | 26.85 | 28.14 | 28.62 |
Tempete | QCIF,10Hz | 28.48 | 29.59 | 29.69 |
此外,表2以分贝(dB)示出测量指示平均预测增益的峰值信噪比(PSNR)的结果。表2明显示出,在应用基于仿射运动估算的运动向量编码方法时所测量的测试图像序列的PSNR,大于应用基于平移运动估算的常规运动向量编码方法时所测量的测试图像序列的PSNR。
即,如果包括步骤102和104的方法作为用于计算平移运动向量的运动估算方法应用,则对其维数小于16乘16(16×16)象素块的小块执行高性能的运动估算,而且维持仿射运动估算可使用的、改进的运动估算性能。
此外,本发明的运动向量编码方法允许生成位的范围为从高端的9.62×3或28.86位到低端的4.72×3或14.16,因此,与在使用8位的每个仿射参数的定长编码(FLC)期间生成6×6或36位的常规方法比较,减少了位速率。
在参考图1描述的上述实施例中,以独立的方式执行:使用将在当前图像帧中编码的当前块的像素值和前面图像帧中的搜索区域的像素值、执行仿射运动估算以获得当前块的仿射运动参数的步骤102,将仿射运动参数转换为平移运动向量的步骤104和将所转换的平移运动向量量化为具有预定精度的定点数的步骤106。
然而,可以通过基于公式(11a)和(11b)执行仿射参数估算将上述的两个步骤102和104集中到一步中,从而降低整个过程的复杂性。
另外,可以通过为当前块的每个平移运动向量确定一预定像素范围,然后为该预定范围中的每个像素值确定平移运动向量将上述的三个步骤102、104和106集中到一步中,像素运动向量使用使公式(13)产生最小值的精度表示。例如,可以确定预定的子像素范围、然后为该预定范围中的每个子像素值确定平移运动向量的子像素运动向量,该子像素运动向量使用使公式(13)产生最小值的精度获得。此时,进一步降低了处理的复杂性。
此外,在参考图1描述的实施例中的步骤102中,考虑到每个平移运动向量分量可能具有的各种各样的可变因素,来获得这些分量。然而,可以为六个平移运动向量分量{VX,A,VY,A,VX,B,VY,B,VX,C,VY,C}的每个确定一预定的像素范围,并为该预定范围中的每个像素值确定平移运动向量的像素运动向量,该平移运动向量使用使公式(13)给出最小值的精度获得。
此外,在步骤102中,如公式(5)所表达的那样,设置初始值为“0”。但是,最好使用一个平移运动向量作为初始值执行步骤102,其中的平移运动向量借助于对当前块的块匹配算法获得。此外,可以使用运动参数,该参数在估算过的位于当前块和位于其余部分的块的仿射运动参数之中、最小化当前块和前一运动补偿过的块之间的差信号的均方和。
此外,可以在步骤102中通过用块匹配算法为当前块获得一个平移运动向量,然后使用所获得的平移运动向量作为初始值来为预定像素范围获得仿射运动参数,来降低复杂性。
此外,还可以在步骤102中通过获得在估算过的位于当前块和位于其余部分的块的仿射运动参数之中、使当前块和前一运动补偿过的块之间的差信号的均方和最小化的运动参数,然后使用所获得的运动参数作为初始值来为预定像素范围获得仿射运动参数,来降低复杂性。
同时,可以通过根据本发明的运动向量解码方法解码使用根据本发明的运动向量编码方法编码的位流。图4示出根据本发明的实施例的运动向量解码方法的主要步骤的流程图。参考图4,在根据本发明的解码运动向量期间,接收按可变长度编码的数据(步骤402),然后将所收到的数据进行可变长度解码以获得平移运动向量(步骤404)。由该运动向量编码方法编码的位流包含相应块和它的各个相邻块的平移运动向量的中间值之间的差。因此,对所收到的数据执行可变长度解码获得相应块和其相邻各块的平移运动向量的中间值之间的差之后,使用该差值获得平移运动向量。
接着,将所获得的平移运动向量转换成仿射运动参数(步骤406)。步骤406是参考图1和2描述过的转换运动参数为运动向量的步骤的逆过程,因此详细解释从略。然后,使用步骤406中获得的仿射运动参数执行运动补偿,以恢复图像(步骤408)。
此外,根据本发明的运动向量编码方法、运动估算方法和运动向量解码可以写成在个人计算机或服务器计算机上执行的程序。构造该程序的程序代码和代码段可以由本行业中的计算机程序员轻松地推出。此外,该程序可以存储在计算机可读记录介质中。这种记录介质包括磁记录介质、光记录介质和无线电介质。
如上所述,根据本发明的运动向量编码方法在允许低生成位的同时,维持改进的运动估算性能,该性能通过使用仿射运动估算获得。此外,根据本发明的运动向量编码方法能够对其维数小于16×16像素块的小块执行高性能的运动估算。
Claims (26)
1.一种编码运动向量的方法,包括步骤:
(a)执行仿射运动估算以获得仿射运动参数;
(b)转换仿射运动参数为预定数量的平移运动向量;以及
(c)编码所转换的当前块的平移运动向量与所转换的前面块的平移运动向量之间的差。
2.如权利要求l所述的方法,在步骤(c)之前还包括将步骤(b)中的平移运动向量量化成具有预定精度的定点数的步骤。
3.如权利要求2所述的方法,在步骤(c)之前,还包括为当前块的每个平移运动向量确定一预定像素范围并为该预定范围内的每个像素值获得精度φ的步骤,该精度φ为精度集П中使
产生最小值的值,其中,QP是用在编码图像中的量化区间,λ为基于量化区间QP所确定的常数,MSE(φ)表示在当前块的平移运动向量用精度φ表示时,当前块和前面所运动补偿过的块之间的差分信号的均方和,以及Bits(φ)表示用于以精度φ编码当前块的平移运动向量的位数。
4.如权利要求3所述的方法,还包括用相邻块的平移运动向量、使用 和 预测所转换的当前块的平移运动向量的步骤,其中“^”表示获得预测值的操作,median{}表示在平移运动向量中获得具有中间幅度的平移运动向量的操作。
5.如权利要求1所述的方法,其中步骤(c)包括步骤:
(c-1)使用所转换的当前块的平移运动向量和相邻块的平移运动向量,计算当前块和相邻于当前块的块之间的平移运动向量的差;以及
(c-2)对所获得的平移运动向量之间的差执行变长度编码。
6.如权利要求1所述的方法,其中步骤(a)包括通过使用将在当前帧中编码的块的像素值以及在前面的帧中的像素值,并使用VX(i,j)=α0+α1i+α2j和VY(i,j)=α3+α4i+α5j估算图像中的像素的运动,来获得六个仿射运动估算参数[a0,a1,a2,…,a5]T的步骤,其中(i,j)是其宏块和子块的坐标。
7.如权利要求1所述的方法,其中步骤(b)包括通过使用
[VX,A,VY,A]=[a0+a1α+a2α,a3+a4α+a5α],
[VX,B,VY,B]=[a0+3a1α+a2α,a3+3a4α+a5α]和
[VX,C,VY,C]=[a0+a1α+3a2α,a3+a4α+3a5α],基于 获得子块A、B、C和D的中心点的运动向量,其中一个宏块由子块A、B、C和D组成,该宏块的大小为S×S,常数α为S/4+1/2。
8.如权利要求1所述的方法,在步骤(b)之后还包括步骤:
(b’-1)将所转换的平移运动向量量化为具有预定精度的定点数;
(b’-2)考虑到位速率和精度之间的失真,选择最优精度,平移运动向量由该精度表示;以及
(b’-3)使用转换的相邻块的平移运动向量预测具有所选精度的平移运动向量。
9.如权利要求1所述的方法,在步骤(a)之前还包括通过块匹配技术为当前块获得一个平移运动向量的步骤,
其中步骤(a)还包括步骤(a’):使用所获得的平移运动向量作为初始值执行仿射运动估算。
10.如权利要求1所述的方法,在步骤(a)之前还包括步骤:在估算过的位于上述当前块和位于其余部分的块的仿射运动参数之中,获得最小化当前块和前一运动补偿过的块之间的差信号的均方和的运动参数,
其中步骤(a)包括步骤(a’):使用所获得的运动参数作为初始值执行仿射运动估算,以为预定像素范围获得仿射运动参数。
11.一种编码运动向量的方法,包括步骤:
(a)执行仿射运动估算来获得仿射运动参数;
(b)基于 以及 获得平移运动向量,其中块的大小为S×S,常数α为S/4+1/2;和
(c)编码在步骤(b)中获得的平移运动向量之间的差。
12.如权利要求11所述的方法,在步骤(c)之前还包括将步骤(b)中的平移运动向量量化成具有预定精度的定点数的步骤。
13.如权利要求11所述的方法,在步骤(c)之前,还包括为当前块的每个平移运动向量确定一预定像素范围并为该预定范围内的每个像素值获得精度φ的步骤,该精度φ为精度集П中使
产生最小值的值,其中,QP是用在编码图像中的量化区间,λ为基于量化区间QP所确定的常数,MSE(φ)表示在当前块的平移运动向量用精度φ表示时,当前块和前面所运动补偿过的块之间的差分信号的均方和,以及Bits(φ)表示用于以精度φ编码当前块的平移运动向量的位数。
14.如权利要求11所述的方法,还包括用相邻块的平移运动向量、使用 和 预测所转换的当前块的平移运动向量的步骤,其中“^”表示获得预测值的操作,median{}表示在平移运动向量中获得具有中间幅度的平移运动向量的操作。
15.如权利要求11所述的方法,其中步骤(c)包括步骤:
(c-1)使用所转换的当前块的平移运动向量和相邻块的平移运动向量,计算当前块和相邻于当前块的块之间的平移运动向量的差;以及
(c-2)对所获得的平移运动向量之间的差执行变长度编码。
16.一种编码运动向量的方法,包括步骤:
(a)为当前块的每个平移运动向量确定预定的像素范围;
(b)为在预定的范围内的每个像素值确定当前块的平移运动向量,其中像素运动向量用精度φ表示,该精度φ为精度集П中使 产生最小值者,其中,QP是用在编码图像中的量化区间,λ为基于量化区间QP所确定的常数,MSE(φ)表示在当前块的平移运动向量用精度φ表示时,当前块和前面所运动补偿过的块之间的差分信号的均方和,以及Bits(φ)表示用于以精度φ编码当前块的平移运动向量的位数;和
(c)编码当前块的平移运动向量和前面块的平移运动向量之间的差。
17.如权利要求16所述的方法,在步骤(c)之前还包括用相邻块的平移运动向量、使用 和 预测所转换的当前块的平移运动向量的步骤,其中“^”表示获得预测值的操作,median{}表示在平移运动向量中获得具有中间幅度的平移运动向量的操作。
18.如权利要求16所述的方法,其中步骤(c)包括步骤:
(c-1)使用所转换的当前块的平移运动向量和相邻块的平移运动向量,计算当前块和相邻于当前块的块之间的平移运动向量的差;以及
(c-2)对所获得的平移运动向量之间的差执行变长度编码。
19.一种编码运动向量的方法,包括步骤:
(a)为六个平移运动向量的分量{VX,A,VY,A,VX,B,VY,B,VX,C,VY,C)的每个确定预定的像素范围;
(b)为在步骤(a)中为六个平移运动向量的分量{VX,A,VY,A,VX,B,VY,B,VX,C,VY,C}的每一个所确定的预定范围内的每个像素值,获得当前块的平移运动向量,其中像素运动向量用精度φ表示,该精度φ为精度集П中使
产生最小值者,其中,QP是用在编码图像中的量化区间,λ为基于量化区间QP所确定的常数,MSE(φ)表示在当前块的平移运动向量用精度φ表示时,当前块和前面所运动补偿过的块之间的差分信号的均方和,以及Bits(φ)表示用于以精度φ编码当前块的平移运动向量的位数;和
(c)编码在步骤(b)中获得的平移运动向量之间的差。
20.如权利要求19所述的方法,在步骤(c)之前还包括用相邻块的平移运动向量、使用 和 预测所转换的当前块的平移运动向量的步骤,其中“^”表示获得预测值的操作,median{}表示在平移运动向量中获得具有中间幅度的平移运动向量的操作。
21.如权利要求19所述的方法,其中步骤(c)包括步骤:
(c-1)使用所转换的当前块的平移运动向量和相邻块的平移运动向量,计算当前块和相邻于当前块的块之间的平移运动向量的差;以及
(c-2)对所获得的平移运动向量之间的差执行变长度编码。
22.一种运动估算方法,包括步骤:
(a)执行仿射运动估算来获得仿射运动参数;
(b)将仿射运动参数转换为预定数量的平移运动向量。
23.如权利要求22所述的方法,在步骤(b)之后还包括将步骤(b)中的平移运动向量量化成具有预定精度的定点数的步骤。
24.如权利要求23所述的方法,在步骤(b)之后,还包括为当前块的每个平移运动向量确定一预定像素范围并为该预定范围内的每个像素值获得精度φ的步骤,该精度φ为精度集П中使
产生最小值的值,其中,QP是用在编码图像中的量化区间,λ为基于量化区间QP所确定的常数,MSE(φ)表示在当前块的平移运动向量用精度φ表示时,当前块和前面所运动补偿过的块之间的差分信号的均方和,以及Bits(φ)表示用于以精度φ编码当前块的平移运动向量的位数。
25.如权利要求24所述的方法,还包括用相邻块的平移运动向量、使用 和 预测所转换的当前块的平移运动向量的步骤,其中“^”表示获得预测值的操作,median{}表示在平移运动向量中获得具有中间幅度的平移运动向量的操作。
26.一种解码运动向量的方法,包括步骤:
(a)接收编码数据:
(b)解码所收到的数据以获得平移运动向量;
(c)将所获得的平移运动向量转换为仿射运动参数;以及
(d)使用所获得的仿射运动参数执行运动补偿。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US20678300P | 2000-05-24 | 2000-05-24 | |
US60/206,783 | 2000-05-24 | ||
KR1020000058757A KR100359115B1 (ko) | 2000-05-24 | 2000-10-06 | 영상 코딩 방법 |
KR58757/2000 | 2000-10-06 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA031587607A Division CN1495603A (zh) | 2000-05-24 | 2001-05-24 | 用操作指令编码的计算机可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1325220A true CN1325220A (zh) | 2001-12-05 |
CN1144469C CN1144469C (zh) | 2004-03-31 |
Family
ID=26638442
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA031587607A Pending CN1495603A (zh) | 2000-05-24 | 2001-05-24 | 用操作指令编码的计算机可读介质 |
CNB01119507XA Expired - Fee Related CN1144469C (zh) | 2000-05-24 | 2001-05-24 | 编码和解码图像中的像素的运动向量的方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA031587607A Pending CN1495603A (zh) | 2000-05-24 | 2001-05-24 | 用操作指令编码的计算机可读介质 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP1158806A1 (zh) |
JP (1) | JP3681342B2 (zh) |
CN (2) | CN1495603A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100411443C (zh) * | 2001-12-19 | 2008-08-13 | 汤姆森许可贸易公司 | 估计图像序列中的主要运动的方法 |
CN104661031A (zh) * | 2015-02-16 | 2015-05-27 | 华为技术有限公司 | 用于视频图像编码和解码的方法、编码设备和解码设备 |
CN104869399A (zh) * | 2014-02-24 | 2015-08-26 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
WO2016184261A1 (zh) * | 2015-05-15 | 2016-11-24 | 华为技术有限公司 | 视频图像编码和解码的方法、编码设备和解码设备 |
WO2019029590A1 (zh) * | 2017-08-11 | 2019-02-14 | 华为技术有限公司 | 视频图像编码和解码的方法、装置及设备 |
WO2019080892A1 (zh) * | 2017-10-27 | 2019-05-02 | 华为技术有限公司 | 确定仿射编码块的运动矢量的方法和装置 |
CN110809165A (zh) * | 2018-08-04 | 2020-02-18 | 北京字节跳动网络技术有限公司 | 仿射的运动矢量差精度 |
CN111480338A (zh) * | 2017-12-12 | 2020-07-31 | 华为技术有限公司 | 视频数据的帧间预测方法和装置 |
US11778170B2 (en) | 2018-10-06 | 2023-10-03 | Beijing Bytedance Network Technology Co., Ltd | Temporal gradient calculations in bio |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013067440A1 (en) | 2011-11-04 | 2013-05-10 | General Instrument Corporation | Motion vector scaling for non-uniform motion vector grid |
US11317101B2 (en) | 2012-06-12 | 2022-04-26 | Google Inc. | Inter frame candidate selection for a video encoder |
US9485515B2 (en) | 2013-08-23 | 2016-11-01 | Google Inc. | Video coding using reference motion vectors |
US9503746B2 (en) | 2012-10-08 | 2016-11-22 | Google Inc. | Determine reference motion vectors |
WO2016008157A1 (en) * | 2014-07-18 | 2016-01-21 | Mediatek Singapore Pte. Ltd. | Methods for motion compensation using high order motion model |
MX2017011558A (es) | 2015-03-10 | 2018-03-21 | Huawei Tech Co Ltd | Método de predicción de imagen y aparato relacionado. |
CN109274974B (zh) | 2015-09-29 | 2022-02-11 | 华为技术有限公司 | 图像预测的方法及装置 |
US20190222834A1 (en) * | 2018-01-18 | 2019-07-18 | Mediatek Inc. | Variable affine merge candidates for video coding |
US11477476B2 (en) * | 2018-10-04 | 2022-10-18 | Qualcomm Incorporated | Affine restrictions for the worst-case bandwidth reduction in video coding |
WO2020084472A1 (en) * | 2018-10-22 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Affine mode parameter inheritance or prediction |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0541862A (ja) | 1991-08-03 | 1993-02-19 | Sony Corp | 動きベクトルの可変長符号化方式 |
KR0148151B1 (ko) | 1994-05-11 | 1998-09-15 | 김광호 | 개선된 차분동부호테이블을 이용한 차분동벡터값의 가변장부호화방법 및 그 장치 |
FR2725577B1 (fr) | 1994-10-10 | 1996-11-29 | Thomson Consumer Electronics | Procede de codage ou de decodage de vecteurs mouvement et dispositif de codage ou de decodage mettant en oeuvre ledit procede |
KR0181034B1 (ko) * | 1995-03-18 | 1999-05-01 | 배순훈 | 특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치 |
EP0765087B1 (en) * | 1995-08-29 | 2003-11-12 | Sharp Kabushiki Kaisha | Video coding device |
JPH09182082A (ja) * | 1995-12-25 | 1997-07-11 | Nippon Telegr & Teleph Corp <Ntt> | 動画像の動き補償予測符号化方法とその装置 |
US5692063A (en) * | 1996-01-19 | 1997-11-25 | Microsoft Corporation | Method and system for unrestricted motion estimation for video |
JP3183155B2 (ja) * | 1996-03-18 | 2001-07-03 | 株式会社日立製作所 | 画像復号化装置、及び、画像復号化方法 |
DE69838281T2 (de) | 1997-06-25 | 2008-05-15 | Nippon Telegraph And Telephone Corp. | Bewegungsprädiktives bildkodierungsverfahren sowie speichermedium zur speicherung des entsprechenden programms |
-
2001
- 2001-05-22 JP JP2001153053A patent/JP3681342B2/ja not_active Expired - Fee Related
- 2001-05-24 CN CNA031587607A patent/CN1495603A/zh active Pending
- 2001-05-24 CN CNB01119507XA patent/CN1144469C/zh not_active Expired - Fee Related
- 2001-05-24 EP EP01304607A patent/EP1158806A1/en not_active Withdrawn
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100411443C (zh) * | 2001-12-19 | 2008-08-13 | 汤姆森许可贸易公司 | 估计图像序列中的主要运动的方法 |
CN104869399A (zh) * | 2014-02-24 | 2015-08-26 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN104661031A (zh) * | 2015-02-16 | 2015-05-27 | 华为技术有限公司 | 用于视频图像编码和解码的方法、编码设备和解码设备 |
US10349079B2 (en) | 2015-02-16 | 2019-07-09 | Huawei Technologies Co., Ltd. | Video image encoding method, video image decoding method, encoding device, and decoding device |
CN104661031B (zh) * | 2015-02-16 | 2017-12-22 | 华为技术有限公司 | 用于视频图像编码和解码的方法、编码设备和解码设备 |
US11949908B2 (en) | 2015-05-15 | 2024-04-02 | Huawei Technologies Co., Ltd. | Adaptive affine motion compensation unit determining in video picture coding method, video picture decoding method, coding device, and decoding device |
US11490115B2 (en) | 2015-05-15 | 2022-11-01 | Huawei Technologies Co., Ltd. | Adaptive affine motion compensation unit determining in video picture coding method, video picture decoding method, coding device, and decoding device |
WO2016184261A1 (zh) * | 2015-05-15 | 2016-11-24 | 华为技术有限公司 | 视频图像编码和解码的方法、编码设备和解码设备 |
US10390036B2 (en) | 2015-05-15 | 2019-08-20 | Huawei Technologies Co., Ltd. | Adaptive affine motion compensation unit determing in video picture coding method, video picture decoding method, coding device, and decoding device |
US10887618B2 (en) | 2015-05-15 | 2021-01-05 | Huawei Technologies Co., Ltd. | Adaptive affine motion compensation unit determining in video picture coding method, video picture decoding method, coding device, and decoding device |
CN109391814A (zh) * | 2017-08-11 | 2019-02-26 | 华为技术有限公司 | 视频图像编码和解码的方法、装置及设备 |
WO2019029590A1 (zh) * | 2017-08-11 | 2019-02-14 | 华为技术有限公司 | 视频图像编码和解码的方法、装置及设备 |
CN109391814B (zh) * | 2017-08-11 | 2023-06-06 | 华为技术有限公司 | 视频图像编码和解码的方法、装置及设备 |
CN111935482B (zh) * | 2017-08-11 | 2023-04-11 | 华为技术有限公司 | 视频图像编码和解码的方法、装置及设备 |
US11496732B2 (en) | 2017-08-11 | 2022-11-08 | Huawei Technologies Co., Ltd. | Video image encoding and decoding method, apparatus, and device |
CN111935482A (zh) * | 2017-08-11 | 2020-11-13 | 华为技术有限公司 | 视频图像编码和解码的方法、装置及设备 |
US11039127B2 (en) | 2017-08-11 | 2021-06-15 | Huawei Technologies Co., Ltd. | Video image encoding and decoding method, apparatus, and device |
WO2019080892A1 (zh) * | 2017-10-27 | 2019-05-02 | 华为技术有限公司 | 确定仿射编码块的运动矢量的方法和装置 |
US11310524B2 (en) | 2017-10-27 | 2022-04-19 | Huawei Technologies Co., Ltd. | Method and apparatus for determining motion vector of affine code block |
CN109729352B (zh) * | 2017-10-27 | 2020-07-21 | 华为技术有限公司 | 确定仿射编码块的运动矢量的方法和装置 |
CN109729352A (zh) * | 2017-10-27 | 2019-05-07 | 华为技术有限公司 | 确定仿射编码块的运动矢量的方法和装置 |
CN111480338B (zh) * | 2017-12-12 | 2022-10-11 | 华为技术有限公司 | 视频数据的帧间预测方法和装置 |
CN111480338A (zh) * | 2017-12-12 | 2020-07-31 | 华为技术有限公司 | 视频数据的帧间预测方法和装置 |
US11330288B2 (en) | 2018-08-04 | 2022-05-10 | Beijing Bytedance Network Technology Co., Ltd. | Constraints for usage of updated motion information |
CN110809165B (zh) * | 2018-08-04 | 2022-07-26 | 北京字节跳动网络技术有限公司 | 仿射的运动矢量差精度 |
US11451819B2 (en) | 2018-08-04 | 2022-09-20 | Beijing Bytedance Network Technology Co., Ltd. | Clipping of updated MV or derived MV |
US11470341B2 (en) | 2018-08-04 | 2022-10-11 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between different DMVD models |
US11109055B2 (en) | 2018-08-04 | 2021-08-31 | Beijing Bytedance Network Technology Co., Ltd. | MVD precision for affine |
CN110809165A (zh) * | 2018-08-04 | 2020-02-18 | 北京字节跳动网络技术有限公司 | 仿射的运动矢量差精度 |
US11778170B2 (en) | 2018-10-06 | 2023-10-03 | Beijing Bytedance Network Technology Co., Ltd | Temporal gradient calculations in bio |
Also Published As
Publication number | Publication date |
---|---|
EP1158806A1 (en) | 2001-11-28 |
CN1144469C (zh) | 2004-03-31 |
CN1495603A (zh) | 2004-05-12 |
JP3681342B2 (ja) | 2005-08-10 |
JP2001339730A (ja) | 2001-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1144469C (zh) | 编码和解码图像中的像素的运动向量的方法 | |
US6785333B2 (en) | Motion vector coding method | |
CN101610413B (zh) | 一种视频的编码/解码方法及装置 | |
CN101584215B (zh) | 综合空时预测 | |
CN1206993A (zh) | 运动补偿编码器、解码器以及运动补偿编码和解码方法 | |
JP2008035134A (ja) | 画像符号化装置 | |
CN1713730A (zh) | 估计图像噪声的方法和设备和消除噪声的方法和记录介质 | |
CN1135146A (zh) | 利用基于特征点的运动估算编码视频信号的装置 | |
CN1320830C (zh) | 噪声估计方法和设备、以及利用其编码视频的方法和设备 | |
CN1232125C (zh) | 通过参考离散余弦变换系数来估计运动的方法及其装置 | |
CN1627825A (zh) | 用于运动图像编码的运动估计方法 | |
CN1299511C (zh) | 具有选择性运动补偿的可缩放mpeg-2视频译码器 | |
JPH07226937A (ja) | 輝度信号適応動き評価方法 | |
CN1604650A (zh) | 用于分级运动估计的方法 | |
CN1941914A (zh) | 用于在变换域中预测dc系数的设备及其方法 | |
US6975681B2 (en) | Method and apparatus for coding moving pictures | |
CN1263309C (zh) | 用于视频编码的运动矢量预测方法 | |
US6141449A (en) | Coding mode determination system | |
CN1848960A (zh) | 使用非标准化矢量量化编码器的符合视频标准的残差编码 | |
US7885335B2 (en) | Variable shape motion estimation in video sequence | |
CN1787642A (zh) | 一种基于h.264的图像单元块的帧间快速搜索方法 | |
WO2004039082A1 (en) | Method and apparatus for motion estimation using adaptive search pattern for video sequence compression | |
CN1625266A (zh) | 计算绝对差值的设备、运动估计设备和运动图像编码设备 | |
CN1283107C (zh) | 快速运动预测方法及其装置 | |
JP2005516501A (ja) | Pbフレームモードでのビデオ画像の符号化 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C06 | Publication | ||
PB01 | Publication | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20040331 Termination date: 20140524 |