CN1216497C - 一种基于运动矢量合成的视频转码方法 - Google Patents

Abstract

本发明属于视频编解码技术领域，涉及一种基于运动矢量合成的视频转码方法。包括解码和编码两部分，其特征在于，由原来的运动矢量合成新的运动矢量时，对各个运动矢量的权重进行动态调整，通过误差绝对和的比较，找到估计最准确的运动矢量。本发明可在矢量合成的过程中，动态的调整相关宏块运动矢量在合成时的权重，使合成的矢量尽可能准确的反映目标宏块的运动，找到最佳匹配的宏块，减小运动补偿的误差，从而能够改善转码后图像的质量，并且节省比特率。

Description

一种基于运动矢量合成的视频转码方法

技术领域    本发明属于视频编解码技术领域，特别涉及视频转码方法。

背景技术    多媒体系统的发展对于图像和视频编码产生了重大的影响。计算机、手机和电视上面的视频数据的交互和集成是一个很新的问题。随着网络、设备类型以及视频内容表现格式的不断增加，不同系统和不同网络之间的互操作性正变得越来越重要。因此必须发展诸如网关、多点控制单元以及服务器等设备来在内容的制造和使用之间提供无缝的互操作性。视频内容的转码是实现这一目标的关键技术。一般而言视频转码定义为把一种形式编码的信号转换成另一种形式编码的信号。完成视频转码的设备则称为视频转码器。这个定义很宽泛，实际应用中，主要关注于通过转码来降低视频流的码率以适应有限的带宽。为了达到此目的，主要有三种途径：在编码时增大量化台阶、降低视频图像的分辨率、降低视频图像的帧率(即每秒钟显示图像的帧数)。一般的基于运动矢量合成的视频转码方法如图1所示，包括解码(虚线左侧)和编码(虚线右侧)两部分，具体步骤如下：

1.对输入的码流进行变长解码、反量化、离散余弦逆变换，得到输入图像的运动矢量、残差等信息；

2.由运动矢量信息加上前帧图像缓存，得到运动补偿，残差信息加上此运动补偿即可恢复出完整的图像信息；

3.由输入码流解码得到的运动矢量根据转码的情况进行运动矢量合成，得到新的运动矢量信息，再利用上一帧转码后输出图像的缓存，得到转码后的运动补偿；

4.本帧图像信息一方面保存起来，作为下一帧图像解码时的参考图像，另一方面进行转码处理，然后减去本帧图像转码后的运动补偿，得到转码后的残差信息，继而进行离散余弦变换、量化；

5.量化结果一方面进行反量化、离散余弦逆变换，加上运动补偿，得到完整的图像信息，作为下一帧图像转码时的参考图像；另一方面进行变长编码，得到输出比特流。

上面得到了转码后的视频误差信息，转码时还会把合成得到的运动矢量信息进行编码传送，这个步骤在图中省略了。末端解码器收到转码后的比特流，从中得到运动矢量和残差信息，即可恢复得到视频图像。

运动矢量合成技术：

视频转码的一个很重要的目的就是尽可能快的实现视频数据的转换。这样就要求研究如何降低视频转换过程中的运算量，运动矢量合成技术就是实现这一目标的关键技术。从图1中可以看到，在视频编码的过程中，为了降低视频序列中的信息冗余，节省带宽，常常用到运动估计。因为在视频序列中，相邻两帧图像的像素之间存在很大的相关性，例如两帧图像中，背景部分由于保持静止，常常完全一样，运动部分的图像在相邻帧之间也是基本不变的，只是发生了位置变化。因此，在编码过程中，常常将图像分割成若干个像素为n*n的图像块(即宏块，典型值为16*16)，然后在其前一帧图像(参考帧)中寻找与此宏块最匹配的图像块，得到一个运动矢量(即从编码宏块到参考帧中匹配宏块的矢量)，再将这两个宏块之间的误差信息进行编码。记录运动矢量和误差信息，即可根据参考帧恢复出被编码的图像。

运动矢量的估计是一个在视频编码的过程中运算量非常大的步骤。如图2所示，其中，(a)为当前帧，(b)为参考帧；给定一个参考帧以及当前帧中的一个M*N的宏块，运动矢量估计的目的就是在参考帧中找到一个与当前宏块最匹配的M*N的宏块，搜索的范围限制在参考帧中对应当前帧的位置附近的区域。绝对误差和(Sum of AbsoluteDifference)最小是最常用的匹配准则，其定义如下：

$\mathrm{SAD}(i,j)=\underset{k=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{l=0}{\overset{N-1}{\mathrm{\Σ}}}|P_C(x+k,y+l)-P_R(x+i+k,y+j+l)|$

这里P_C(x+k，y+l)是当前帧中宏块内的像素点，P_R(x+i+k，y+j+l)是参考帧中的像素点，(i，j)为运动矢量，-p≤i≤p并且-p≤j≤p，式中的p决定了搜索的范围。运动矢量估计是编码过程中运算复杂度最高的一步，这一步大概占了整个编码时间的60-70％。因此，在视频转码的过程中，一般都避免从新进行运动矢量的估计，而是利用输入比特流里面的运动矢量，按照一定的规则进行合成，得到合适的运动矢量。

图3显示了在降低帧率的转码过程中，运动矢量合成的情况。三帧相邻的图像，其序号依次为n-2，n-1，n，经过转码以后，帧率降低，第n-1帧被删除掉了，因此必须估计出由第n-2帧到第n帧的运动矢量。第n帧中的宏块MB₁对应于n-1帧中的宏块MB₁’，MB₁’则对应于n-2帧中的宏块MB₁”，如(a)所示；将输入码流解码后，直接能够得到运动矢量I₁ ⁽ⁿ⁾，为了得到运动矢量V₁ ⁽ⁿ⁾，还必须知道运动矢量V₁ ^(n-1)。但是对输入码流解码后得到的信息中并没有V₁ ^(n-1)，因此只能通过在第n-1帧中与MB₁’交叠的四个宏块对应的运动矢量I₁ ^(n-1)，I₂ ^(n-1)，I₃ ^(n-1)，I₄ ^(n-1)来进行估计，如(b)所示。这里常用的两种合成方法是：

(1)用与MB₁’重叠的面积最大的宏块的运动矢量(显然这里为I₂ ^(n-1))来近似MB₁’的运动矢量V₁ ^(n-1)；

(2)按照与MB₁’重叠的四个宏块对应的重叠面积作为权重，将它们对应的运动矢量I₁ ^(n-1)，I₂ ^(n-1)，I₃ ^(n-1)，I₄ ^(n-1)进行加权平均。假设四个宏块对应的重叠面积分别为B₁，B₂，B₃，B₄，则有计算V₁ ^(n-1)的公式如下所示：

$V_1^{(n-1)}=\frac{\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{B}_i*I_i^{(n-1)}}{\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{B}_i}$

得到V₁ ^(n-1)以后，很容易就可以由公式V₁ ⁽ⁿ⁾＝V₁ ^(n-1)+I₁ ⁽ⁿ⁾算出V₁ ⁽ⁿ⁾的值，这样避免了复杂的运动矢量估计，只需用简单的运算就可以由原来的运动矢量合成，得到新的运动矢量。但是上面的两种合成方法都有一个局限，就是对于某些情况效果比较好，但是对于另一些情况估计得到的运动矢量却不准确。如图4所示，宏块MB₁’与被删除的n-1帧中的四个宏块的重叠关系有不同的情况。图中(a)所示的情况：如果按照重叠面积最大的宏块来估计，即按照I₂来估计，则得到的结果不能很好的反映整个宏块MB₁’的运动矢量，用面积加权平均的方法显然要好一点。图中(b)所示的情况：如果按照重叠面积最大的宏块来估计，即按照I₂来估计，则得到的结果能很好的反映整个宏块MB₁’的运动矢量，如果用面积加权平均的方法，由公式 $V_i^{(n-1)}=\frac{\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{B}_i*I_i^{(n-1)}}{\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{B}_i},$ 引入了另三个宏块对应运动矢量I₁，I₃，I₄，的加权，这反而可能增加一些干扰，使得合成的向量不能正确反映宏块MB₁’的运动。图中(c)所示的情况：由图中所示，很难直观的判断到底是按照最大重叠面积宏块的运动矢量估计比较好，还是按照运动矢量的加权平均来进行估计比较好。实际情况比在这里讨论的还要复杂，运动矢量估计的准确性还要受到在重叠的四个宏块内部不同部分的运动矢量的一致性的影响，因为每个宏块的运动矢量不一定和它与MB₁’重叠部分的运动矢量一致，因此需要找到一种更通用的矢量合成方法，使得对于不同的情况都能得到尽可能准确的运动矢量。

发明内容    本发明的目的是为了克服现有在视频编码的方法中矢量合成的不足之处，提出一种新的基于运动矢量合成的视频转码方法，对已有视频转码方法中运动矢量合成进行了改进，可在矢量合成的过程中，动态的调整相关宏块运动矢量在合成时的权重，使合成的矢量尽可能准确的反映目标宏块的运动，找到最佳匹配的宏块，减小运动补偿的误差，从而能够改善转码后图像的质量，并且节省比特率。

本发明提出的一种基于运动矢量合成的视频转码方法，包括解码和编码两部分，其特征在于，由原来的运动矢量合成新的运动矢量时，对各个运动矢量的权重进行动态调整，通过误差绝对和的比较，找到估计最准确的运动矢量；

具体包括如下步骤：

1)对输入的码流进行解码，得到输入图像的图像格式、残差、运动矢量等信息；

2)从解码得到的信息中找到第n帧(即要删除的第n-1帧的下一帧)中目标宏块MB₁在要删除的第n-1帧(即参考帧)中对应的宏块MB₁’，以及第n-1帧中与该MB₁’宏块重叠的相关宏块；根据运动矢量合成方法来估计宏块MB₁’在第n-2帧中的运动矢量，并进一步得到MB₁相对于第n-2帧的运动矢量V₁ ⁽ⁿ⁾；采用所述的运动矢量合成方法得到V₁ ⁽ⁿ⁾的步骤如下：

(1)设定搜索步长L，L＞0，起始迭代次数k＝0；

(2)用重叠面积最大的宏块的运动矢量来估计第n帧中的宏块MB₁对应于n-1帧中的宏块MB₁’的运动矢量V₁ ^(n-1)，根据公式V₁ ⁽ⁿ⁾＝V₁ ^(n-1)+I₁ ⁽ⁿ⁾算出V₁ ⁽ⁿ⁾的值，并作为运动矢量的最佳估计值，其中I₁ ⁽ⁿ⁾为目标宏块MB₁的运动矢量；按此运动矢量找到n帧中的宏块MB₁在n-2帧中对应的宏块MB₁”，设：宏块MB₁和宏块MB₁”内所含的像素为M*N，计算这两个宏块的绝对误差和SAD，将此SAD值作为当前最小的SAD值；设：P_C(x+k，y+l)和P_R(x+i+k，y+j+l)为宏块MB₁和宏块MB₁”内对应的点，这里(i，j)为运动矢量，则有SAD的计算公式为：

$\mathrm{SAD}=\underset{k=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{l=0}{\overset{N-1}{\mathrm{\Σ}}}|P_C(x+k,y+l)-P_R(x+i+k,y+j+l)|$

(3)将重叠宏块的面积进行指数修正后，作为权重进行运动矢量合成；设：第n-1帧中与MB₁’交叠的四个宏块对应的运动矢量为I₁ ^(n-1)，I₂ ^(n-1)，I₃ ^(n-1)，I₄ ^(n-1)，他们对应的重叠面积分别为B₁，B₂，B₃，B₄，指数因子a＝2^k，运动矢量V₁ ^(n-1)的计算公式为： $V_1^{(n-1)}=\frac{\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{B}_i^a*I_i^{(n-1)}}{\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{B}_i^a},$ 算出V₁ ^(n-1)的值以后，进而计算出对应的V₁ ⁽ⁿ⁾和SAD值；如果得到的SAD值小于已得到的最小值，则把此次得到的估计值V₁ ⁽ⁿ⁾作为当前最佳估计值，将此SAD值作为当前最小的SAD值；否则继续进行下一步；

(4)令k＝k+1，如果新的k值小于搜索步长L，则转到步骤(3)继续进行运动矢量的合成，否则完成搜索，得到V₁ ⁽ⁿ⁾的最佳估计值；

3)得到MB₁相对于n-2帧的运动矢量以后，计算按此运动矢量进行估计所还原的图像与实际图像的差值，并对其差值以及运动矢量都进行编码；

4)第n帧中的所有宏块，对其运动矢量和估计差值都进行编码以后，转码后的第n帧的信息就保存完毕了(此时新的码流中已经不再有n-1帧的信息，这一帧已经被删除掉了，并且被删除的第n-1帧信息不影响第n帧图像的解码恢复)；

5)在每一个被删除的图像帧附近都做2)-4)步骤的处理，就可以得到输出码流，从而完成了降低帧率的视频转码。

本发明原理

本发明是通过在运动矢量合成的时候，调节参与合成的运动矢量的权重，从而找到最佳匹配的运动矢量。调节权重时，把相关宏块与目标宏块重叠面积的指数幂作为权重，而且幂指数按照倍数增加，这样在合成时就逐渐加大了重叠面积大的宏块对应矢量所占的比重，相当于减少了噪音干扰。表1中列出了采用最大重叠宏块估计、面积加权平均、和本发明采用的运动矢量合成方法时得到的结果之对比，表1中设搜索步长L＝4。

                                表1：矢量合成结果对照表

运动矢量合成方法		重叠面积(B1，B2，B3，B4)	得到的目标合成矢量V1 (n-1)
				最大重叠宏块估计		(0.4 0.3 0.2 0.1)	I1
面积加权平均		0.4 I1+0.3 I2+0.2 I3+0.1 I4
			本发明的运动矢量合成	k＝0，a＝1	0.4 I1+0.3 I2+0.2 I3+0.1 I4
k＝1，a＝2	0.5333 I1+0.3000 I2+0.1333 I3+0.0333 I4
		k＝2，a＝4		0.7232 I1+0.2288 I2+0.0452 I3+0.0028 I4
k＝3，a＝8	0.9058 I1+0.0907 I2+0.0035 I3+0.0000 I4
		最大重叠宏块估计		(0.6 0.2 0.1 0.1)	I1
面积加权平均						0.6 I1+0.2 I2+0.1 I3+0.1 I4
		本发明的运动矢量合成	k＝0，a＝1		0.6 I1+0.2 I2+0.1 I3+0.1 I4
k＝1，a＝2	0.8571 I1+0.0952 I2+0.0238 I3+0.0238 I4
			k＝2，a＝4		0.9863 I1+0.0122 I2+0.0008 I3+0.0008 I4
k＝3，a＝8	0.9998 I1+0.0002 I2+0.0000 I3+0.0000 I4

从上述表1可以看到，与已有的最大重叠宏块估计方法和面积加权平均方法相比，本发明中的运动矢量合成搜索过程中k＝0的时侯实际就是按照面积的加权平均，随着搜索的步长加大，合成矢量中最大重叠宏块对应的运动矢量I₁所占的比重逐渐加大，这样就在面积加权平均与最大重叠宏块估计这两种技术之间建立了一种平滑的过渡，由于本发明是以估计宏块与目标宏块的绝对误差和(即SAD值)最小作为标准，因此这种合成方法综合了面积加权平均和最大重叠宏块估计这两种技术的优点，能够取得比这两种技术单独使用时更好的估计效果，转码以后得到的视频图像更加清晰，提高了转码质量。

本发明的优点：

本发明综合了运动矢量合成的两种常用技术：面积加权平均和最大重叠宏块估计这两种技术的优点，实现了加权系数在这两种方法之间的平滑过渡，对于不同运动矢量合成的情况，都能取得比原来的两种技术更好的估计结果。大大增强了矢量合成技术适用的范围和精度，能够显著改善转码后视频图像的质量。

附图说明

图1为已有的视频转码方法流程框图。

图2为已有的视频转码方法的运动矢量估计示意图。

图3为已有的丢帧时运动矢量合成示意图。

图4为已有的被丢弃的视频帧内目标宏块与相关宏块相对位置示意图。

具体实施方式    本发明提出了一种新的基于运动矢量合成的视频转码方法，其

具体实施例详细如下：

本实施例的软硬件环境：

CPU：Intel PIII 800MHz

内存：256M

操作系统：Microsoft Windows2000 Professional

开发环境：Microsoft VisualC++6.0

应用环境：MPEG2视频(即DVD视频)转换到MPEG4视频，将视频帧率由30帧/秒变为15帧/秒。

本实施例的基于运动矢量合成的视频转码方法具体步骤如下：

1)从DVD光盘上的视频文件(VOB文件)中读取按照MPEG2编码标准编码的视频流，输入给视频转码器；

2)转码器中的前端解码器对输入的MPEG2视频流进行解码，得到视频格式、运动矢量、估计误差等视频信息；

3)解码得到的信息中找到第n帧(即要删除的视频帧的下一帧)中目标宏块MB₁在其参考帧(即要删除的第n-1帧)中对应的宏块MB₁’，以及第n-1帧中与此MB₁’宏块重叠的相关宏块。利用相关宏块的运动矢量按照本发明中所述的运动矢量合成方法来估计宏块MB₁’在第n-2帧中的运动矢量，并进一步得到MB₁相对于第n-2帧的运动矢量V₁ ⁽ⁿ⁾，具体步骤如下：

(1)设定搜索步长L＝4，起始迭代次数k＝0；

(2)用重叠面积最大的宏块的运动矢量来估计第n帧中的宏块MB₁对应于n-1帧中的宏块MB₁’的运动矢量V₁ ^(n-1)，根据公式V₁ ⁽ⁿ⁾＝V₁ ^(n-1)+I₁ ⁽ⁿ⁾算出V₁ ⁽ⁿ⁾的值，并作为运动矢量的最佳估计值；按此运动矢量找到n帧中的宏块MB₁在n-2帧中对应的宏块MB₁”，设宏块MB₁和宏块MB₁”内所含的像素为M*N，计算这两个宏块的绝对误差和SAD，将此SAD值作为当前最小的SAD值；设P_C(x+k，y+l)和P_R(x+i+k，y+j+l)为宏块MB₁和宏块MB₁”内对应的点，这里(i，j)为运动矢量，则有SAD的计算公式为：

$\mathrm{SAD}=\underset{k=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{l=0}{\overset{N-1}{\mathrm{\Σ}}}|P_C(x+k,y+l)-P_R(x+i+k,y+j+l)|$

(3)将重叠宏块的面积进行指数修正后，作为权重进行运动矢量合成；设第n-1帧中与MB₁’交叠的四个宏块对应的运动矢量为I₁ ^(n-1)，I₂ ^(n-1)，I₃ ^(n-1)，I₄ ^(n-1)，他们对应的重叠面积分别为B₁，B₂，B₃，B₄，指数因子a＝2^k，运动矢量V₁ ^(n-1)的计算公式为： $V_1^{(n-1)}=\frac{\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{B}_i^a*I_i^{(n-1)}}{\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{B}_i^a},$ 算出V₁ ^(n-1)的值以后，进而计算出对应的V₁ ⁽ⁿ⁾和SAD值；如果得到的SAD值小于已得到的最小值，则把此次得到的估计值V₁ ⁽ⁿ⁾作为当前最佳估计值，将此SAD值作为当前最小的SAD值；否则继续进行下一步；

(4)令k＝k+1，如果新的k值小于搜索步长L，则转到步骤(3)继续进行运动矢量的合成，否则完成搜索，得到V₁ ⁽ⁿ⁾的最佳估计值；

4)得到MB₁相对于n-2帧的运动矢量以后，计算按此运动矢量进行估计所还原的图像与实际图像的差值，并对其差值以及运动矢量都按照MPEG4编码标准进行编码；

5)对于第n帧中的所有宏块，对其运动矢量和估计差值都进行编码以后，第n帧的信息就保存完毕了。此时新的码流中已经不再有n-1帧的信息，这一帧已经被删除掉了，并且被删除的第n-1帧信息不影响第n帧图像的解码恢复；

6)在每一个被删除的图像帧附近都做2)-4)步骤的处理，就可以得到输出码流。从而完成了降低帧率的视频转码，得到降低帧率以后的MPEG4格式的视频。

Claims (1)

1、一种基于运动矢量合成的视频转码方法，包括解码和编码两部分，其特征在于，由原来的运动矢量合成新的运动矢量时，对各个运动矢量的权重进行动态调整，通过误差绝对和的比较，找到估计最准确的运动矢量；

具体包括如下步骤：

1)对输入的码流进行解码，得到输入图像的图像格式、残差、运动矢量信息；

2)从解码得到的信息中找到第n帧中目标宏块MB₁在要删除的第n-1帧中对应的宏块MB₁’，以及第n-1帧中与该MB₁’宏块重叠的相关宏块；根据运动矢量合成方法来估计宏块MB₁’在第n-2帧中的运动矢量，并进一步得到MB₁相对于第n-2帧的运动矢量V₁ ⁽ⁿ⁾；采用所述的运动矢量合成方法得到V₁ ⁽ⁿ⁾的步骤如下：

(1)设定搜索步长L，L＞0，起始迭代次数k＝0；

(2)用重叠面积最大的宏块的运动矢量来估计第n帧中的宏块MB₁对应于n-1帧中的宏块MB₁’的运动矢量V₁ ^(n-1)，根据公式V₁ ⁽ⁿ⁾＝V₁ ^(n-1)+I₁ ⁽ⁿ⁾算出V₁ ⁽ⁿ⁾的值，并作为运动矢量的最佳估计值，其中I₁ ⁽ⁿ⁾为目标宏块MB₁的运动矢量；按此运动矢量找到n帧中的宏块MB₁在n-2帧中对应的宏块MB₁”，设：宏块MB₁和宏块MB₁”内所含的像素为M*N，计算这两个宏块的绝对误差和SAD，将此SAD值作为当前最小的SAD值；设：P_C(x+k，y+l)和P_R(x+i+k，y+j+l)为宏块MB₁和宏块MB₁”内对应的点，其中(i，j)为运动矢量，则有SAD的计算公式为：

$\mathrm{SAD}=\underset{k=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{l=0}{\overset{N-1}{\mathrm{\Σ}}}|P_C(x+k,y+l)-P_R(x+i+k,y+j+l)|$

(3)将重叠宏块的面积进行指数修正后，作为权重进行运动矢量合成；设：第n-1帧中与MB₁’交叠的四个宏块对应的运动矢量为I₁ ^(n-1)，I₂ ^(n-1)，I₃ ^(n-1)，I₄ ^(n-1)，他们对应的重叠面积分别为B₁，B₂，B₃，B₄，指数因子a＝2^k，运动矢量V₁ ^(n-1)的计算公式为：

$V_1^{(n-1)}=\frac{\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{B}_i^a*I_i^{(n-1)}}{\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{B}_i^a},$ 算出V₁ ^(n-1)的值以后，进而计算出对应的V₁ ⁽ⁿ⁾和SAD值；如果得到的SAD值小于已得到的最小值，则把此次得到的估计值V₁ ⁽ⁿ⁾作为当前最佳估计值，将此SAD值作为当前最小的SAD值；否则继续进行下一步；

(4)令k＝k+1，如果新的k值小于搜索步长L，则转到步骤(3)继续进行运动矢量的合成，否则完成搜索，得到V₁ ⁽ⁿ⁾的最佳估计值；

3)得到MB₁相对于n-2帧的运动矢量以后，计算按此运动矢量进行估计所还原的图像与实际图像的差值，并对其差值以及运动矢量都进行编码；

4)对于第n帧中的所有宏块，对其运动矢量和估计差值都进行编码以后，转码后的第n帧的信息就保存完毕了；

5)在每一个被删除的图像帧附近都做2)-4)步骤的处理，就可以得到输出码流，从而完成了降低帧率的视频转码。

Images