CN101309404A - 降分辨率视频转码方法及其转码器 - Google Patents

Abstract

一种降分辨率视频转码方法，包括步骤：对输入视频流进行部分解码；对解码的结果进行DCT域运动补偿，得到解码帧的DCT系数块；对得到的DCT系数块进行DCT域降采样处理、DCT域运动补偿、并进行部分编码，从而得到转码的视频流。利用根据本发明的转码方法及转码器，大大降低了运算量，加快了运算速度。此外，虽然在解码阶段有“漂移”，但对于参与计算的低频信息影响很小，所以转码后视频质量降低很小。

Description

降分辨率视频转码方法及其转码器

技术领域

本发明涉及图像处理领域，更具体地，涉及一种频域降采样视频转码方法及实现其的转码器。

背景技术

随着计算机，网络技术，对媒体技术的发展，数字视频压缩技术得到了广泛地应用。通常视频信号按照不同的标准和压缩编码后，在不同的环境介质中传播，在不同的终端上显示播放，就需要对这些压缩视频流进行转码处理。转码应用涉及视频服务器、通用多媒体访问设备、监控系统、机顶盒等诸多多媒体设备和系统。

3G时代的到来，可以预计视频业务将是未来通讯业务的主要内容。无线视频应用下，受制于带宽，小屏幕视频格式(QCIF，QVGA)将大量应用于无线通讯网络和视频播放终端。一方面，系统端需要大量的小屏幕视频源；另一方面，个人终端(手机，PDA，PMP)也需要小屏幕视频格式源播放。目前，以DVD为代表存在着大量的高分辨率节目源，这就需要一种降分辨率的视频转码技术来完成视频从高分辨率到低分辨率的转换。

目前的视频转码器，多是基于解码器编码器串连的结构在空间进行域转码。就是说待解码的码流先经过相应的解码器完全解码得到视频帧，然后在空间域上处理解码帧，最后将经过处理后的视频帧再经过相应的编码器完全编码得到转码后的文件。对于降分辨率的视频转码，其实现过程是先解码，然后在空间域上降采样，最后将降采样的视频帧再编码压缩。

现有的视频转码器结构需要完全解码出视频帧，然后再次编码。这样码流中的部分有用的信息如运动矢量，编码模式在转码过程中不能得到再次应用。将导致转码需要消耗很大的计算量，在实时应用中面临很多问题。

对于将降分辨率的视频转码，频域上的降分辨率方法比空间域上的方法能得到更好的效果，所以基于频域的降分辨率结构更为适合。

现有的基于频域视频转码结构，其涉及到的运动补偿方法需要大量的矩阵乘法运算，这样使得频域的转码结构运算速度慢，不适合实时应用。

发明内容

针对视频降分辨率的应用，本发明提出了一种频域的转码方法及使用其的转码器。

一种降分辨率视频转码方法，包括步骤：对输入视频流进行部分解码；对解码的结果进行DCT域运动补偿，得到解码帧的DCT系数块；对得到的DCT系数块进行DCT域降采样处理、DCT域运动补偿、并进行部分编码，从而得到转码的视频流。

根据本发明的另一方面，提出了一种降分辨率视频转码器，包括：解码模块，对输入视频流进行部分解码；第一运动补偿模块，对解码的结果进行DCT域运动补偿，得到解码帧的DCT系数块；降采样模块，对得到的DCT系数块进行DCT域降采样处理；第二运动补偿模块，对降采样的DCT系数块进行DCT域运动补偿；编码模块，对第二运动补偿模块的输出进行部分编码，从而得到转码的视频流。

利用根据本发明的转码方法及转码器，大大降低了运算量，加快了运算速度。此外，虽然在解码阶段有“漂移”，但对于参与计算的低频信息影响很小，所以转码后视频质量降低很小。

附图说明

图1为根据本发明的降分辨率视频转码器的系统方框图。

图2为根据本发明的降分辨率视频转码方法的流程图。

图3为DCT域运动补偿计算的原理图。

具体实施方式

图1给出了根据本发明的降分辨率视频转码器的系统方框图。输入的视频码流首先经过110变长解码模块，120逆量化模块得到了运动矢量和帧DCT参差系数。DCT参差系数加上经过130DCT快速运动补偿模块输出的DCT系数得到解码帧的DCT系数。解码帧的DCT系数经过140的DCT域降采样模块进行降采样。然后将降采样模块的输出发送到150量化模块进行量化，同时利用DCT域运动补偿模块180进行运动补偿，上述运动补偿利用了从模块110输出的运动矢量。然后，利用在模块110输出的运动矢量，经过190运动矢量重用模块得到编码端的新运动矢量，并经过160变长编码模块进行编码，从而输出降分辨率后的视频码流。这里，经过170逆量化模块进行逆量化。

图2给出了根据本发明的降分辨率视频转码方法的流程图。其中203～207为转码器的解码阶段，208、209为降分辨率阶段，210～213为转码器的编码阶段。

在根据本发明的方法中，包括在DCT运动补偿中使用的半像素精度快速方法；针对分辨率降2倍的快速DCT运动补偿方法；以及DCT运动补偿中矩阵相乘的快速方法。

1)半像素精度DCT域运动补偿方法

在步骤206、211中涉及到了一种半像素精度的DCT域运动补偿方法。整像素精度的DCT域的运动补偿中，补偿宏块的DCT系数由下式得到：

$\hat{B}=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{H}_i\·B_i\·W_i---\left(1\right)$

如图3所示B1、B2、B3和B4为要补偿的DCT块在参考帧上重叠的四个DCT块系数，B为运动补偿得到的DCT系数块。H和W为计算用的系数矩阵。H和W为平移矩阵的DCT形式，平移矩阵为除了矩阵左下角或者右上角为单位阵外其他元素都为零的矩阵，其作用为将矩阵中的元素左移或者上移n列或者n行。

$\text{H=DCT}\left(\begin{array}{c}\left[\begin{array}{cc}0& I_h\\ 0& 0\end{array}\right]\end{array}\right)$ $\text{w=DCT}\left(\begin{array}{c}\left[\begin{array}{cc}0& 0\\ I_w& 0\end{array}\right]\end{array}\right)$

本发明将这种运动补偿的方式推广到半像素精度，得到和下式(1)一致的计算形式，从而在实用中易于实现。从式(1)看出，整像素的DCT补偿信息包含在B1、B2、B3和B4中，而半像素补偿值为相邻整像素的平均值，所以半像素补偿值也可以通过B1、B2、B3和B4计算得出。这里推导出了新的针对半像素的计算系数矩阵Hf和Wf：

对于水平半像素补偿有： $\hat{B}=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{H}_i\·B_i\·{\mathrm{Wf}}_i$

对于垂直半像素补偿有： $\hat{B}=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{Hf}}_i\·B_i\·W_i$

对于对角半像素补偿有： $\hat{B}=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{Hf}}_i\·B_i\·W{f}_i$

这里Wf和Hf为针对半像素精度的平移矩阵的DCT形式，其左乘或右乘一个DCT系数块相当于该DCT系数块经过平移后与其相邻块求平均值。例如，其具体形式可以为：

$\mathrm{Hf}=\frac{1}{2}\mathrm{DCT}\left(\begin{array}{c}\left[\begin{array}{cc}0& I_h\\ 0& 0\end{array}\right]\end{array}+\left[\begin{array}{cc}0& I_{h-1}\\ 0& 0\end{array}\right]\right)$

$\mathrm{Wf}=\frac{1}{2}\mathrm{DCT}\left(\begin{array}{c}\left[\begin{array}{cc}0& 0\\ I_w& 0\end{array}\right]\end{array}+\left[\begin{array}{cc}0& 0\\ I_{w-1}& 0\end{array}\right]\right)$

I_n为维数为n的单位矩阵。通过预先计算好的矩阵H、W、Hf、Wf就可以计算包含半像素精度运动矢量的运动补偿。

2)DCT域快速运动补偿

在步骤206中用到了DCT域快速运动补偿。如上文所述，现有的DCT域运动补偿方法涉及到大量的矩阵乘法，大大影响到了转码速度。针对本发明所用到的转码器系统结构，本发明提出了一种快速方法。本领域普通技术人员可以理解，该DCT域快速运动补偿方法可以适用于分辨率降2、4或其它比例的情况，但是对于通常为8×8的MPEG视频流，这里以常用的降2降采样为例进行描述。

本方法的理论依据为：通常在步骤208中处理206运动补偿的结果时，对于降采样中截断的高频部分也进行了计算，而其计算结果在将采用过程中进行了剔除。具体说，根据现有技术，在步骤208中，DCT域分辨率降2的方法是将每四个(8*8)块组变为相应的一个块(8*8)具体实现可以利用四个块中的4×4低频系数，构建一个新的8×8的DCT系数：

$B=A\left[\begin{array}{cc}{\hat{B}}_1^{(4\×4)}& {\hat{B}}_2^{(4\×4)}\\ {\hat{B}}_3^{(4\×4)}& {\hat{B}}_4^{(4\×4)}\end{array}\right]A^T$

这里A为变换矩阵，A^T为A的转置，1)式的作用为将四个块的低频DCT系数变换成为一个8*8的DCT系数块。式(1)中，对于每一个8×8DCT系数，只有低频部分的4×4系数参与到重建新的DCT系数中。所以在206模块中可以只需计算出来相应的低频分量，即计算式(1)时候，可以用下式进行近似：

$\hat{B}\≈\underset{i=1}{\overset{4}{\mathrm{\Σ}}}\left[\begin{array}{cc}{H}_{i_{4\×4}}& 0\\ 0& 0\end{array}\right]\left[\begin{array}{cc}{B}_{i_{4\×4}}& 0\\ 0& 0\end{array}\right]\left[\begin{array}{cc}{W}_{i_{4\×4}}& 0\\ 0& 0\end{array}\right]---\left(2\right)$

对于半像素精度的运动补偿，也采用类似的方法快速计算。

根据本发明方法的优点在于：

1.大大降低了运算量，加快了运算速度。以一个宏块为例，式(1)的运算复杂度为O(8³)，根据本方法复杂度为O(4³)，复杂度为原来的1/8。对降分辨率后的视频视觉效果影响小。

2.虽然在解码阶段有“漂移”，但对于参与计算的低频信息影响很小，所以转码后视频质量降低很小。试验表明，对于GOP为13帧的视频流，本方法比原来PSNR仅降低大约0.5db左右。视觉感觉不到明显的质量下降。

3)DCT运动补偿中矩阵相乘的快速方法

在转码过程中，步骤206和步骤211都要使用大量的矩阵运算。这样的矩阵运算，在转码中为主要的计算开销。为了进一步加快转码速度，提出了一种矩阵近似的方法来加快矩阵乘法运算。将例如矩阵H、W、Hf、Wf中的元素，在一定的精度范围内，用

多项式和的形式来代替，这样元素间的“乘法”运算可以用“移位”和“加”来替代，从而大大加快了转码的速度，同时运动补偿后的精度可以得到保障。试验表明，在[-1/32，1/32]精度范围内，转码运算量可以减少到3成，而PSNR降低不到0.1db。例如，对于矩阵H₁＝

[0.1250 -0.1875  0.1563  -0.1563  0.1250  -0.0938  0.0625  -0.0313

0.1875  -0.2500  0.2188  -0.2188  0.1875  -0.1250  0.0938  -0.0625

0.1563  -0.2188  0.2188  -0.1875  0.1563  -0.1250  0.0938  -0.0313

0.1563  -0.2188  0.1875  -0.1875  0.1563  -0.1250  0.0938  -0.0313

0.1250  -0.1875  0.1563  -0.1563  0.1250  -0.0938  0.0625  -0.0313

0.0938  -0.1250  0.1250  -0.1250  0.0938  -0.0625  0.0625  -0.0313

0.0625  -0.0938  0.0938  -0.0938  0.0625  -0.0625  0.0313  -0.0313

0.0313  -0.0625  0.0313  -0.0313  0.0313  -0.0313  0.03130]

可以近似为：

1/8            -1/4+1/16      1/8+1/32      -1/8+-1/32     1/8          -1/8+1/32    1/16           -1/321/4+-1/16      -1/4           1/4+-1/32     -1/4+1/32      1/4+-1/16    -1/8         1/8+-1/32      -1/161/8+1/32       -1/4+1/32      1/4+-1/32     -1/4+1/16      1/8+1/32     -1/8         1/8+-1/32      -1/321/8+1/32       -1/4+1/32      1/4+-1/16     -1/4+1/16      1/8+1/32     -1/8         1/8+-1/32      -1/321/8            -1/4+1/16      1/8+1/32      -1/8+-1/32     1/8          -1/8+1/32    1/16           -1/321/8+-1/32      -1/8           1/8           -1/8           1/8+-1/32    -1/16        1/16           -1/32

1/16      -1/8+1/32      1/8+-1/32      -1/8+1/32      1/16      -1/16      1/32-1/321/32      -1/161/32      -1/32          1/32           -1/32     1/32       0

这样，近似矩阵的乘法就可以用相应矩阵元素的“移位”，“求和”操作来进行。例如：a*(1/8)＝a＞＞3。

本发明可以通过控制逼近精度，灵活采用不同的近似矩阵从而得到不同的运算复杂度。

本发明提出的DCT域的降分辨率转码器系统结构及其相关方法，可以快速实现视频码流的降分辨率转码。以极小视频质量损失(＜0.5db)换取快速地实现(＞3倍)。在无线通讯，多媒体技术领域有着广泛地应用前景。

表1中给出了本发明的试验效果，针对7种不同的测试序列(cif大小)，对于三种情况做了对比试验，分别给出了转码速度(帧率)和视频质量(峰值信噪比)的结果。结果是在代码没有做任何优化的条件下得出。

表1中，

MC-DCT：为传统的DCT域运动补偿方法的转码结果

FMC-DCT：为采用本发明的快速运动补偿方法的转码结果

FMC-DCT with MA：为采用快速运动补偿和快速矩阵相乘的转码结果

Claims (6)

1.一种降分辨率视频转码方法，包括步骤：

对输入视频流进行部分解码；

对解码的结果进行DCT域运动补偿，得到解码帧的DCT系数块；

对得到的DCT系数块进行DCT域降采样处理、DCT域运动补偿、并进行编码，从而得到转码的视频流。

2.根据权利要求1所述的方法，其中，在DCT域运动补偿中，整像素精度运动补偿和半像素精度运动补偿采用相同的矩阵相乘运算形式。

3.根据权利要求1或2所述的方法，其中，在对所述解码的结果进行DCT域运动补偿时，采用高分辨率帧的低频DCT系数来近似得到降采样帧的DCT系数。

4.根据权利要求1或2所述的方法，其中，在进行DCT域运动补偿中，利用

多项式和的形式来代替运算矩阵中的元素，从而利用“移位”和“加”来进行计算。

5.根据权利要求3所述的方法，其中，在进行DCT域运动补偿中，利用多项式和的形式来代替运算矩阵中的元素，从而利用“移位”和“加”来进行计算。

6.一种降分辨率视频转码器，包括：

解码模块，对输入视频流进行部分解码；

第一运动补偿模块，对解码的结果进行DCT域运动补偿，得到解码帧的DCT系数块；

降采样模块，对得到的DCT系数块进行DCT域降采样处理；

第二运动补偿模块，对降采样的DCT系数块进行DCT域运动补偿；

编码模块，对第二运动补偿模块的输出进行部分编码，从而得到转码的视频流。

Images