CN101277449A - 一种264视频以任意比例降低分辨率的像素域转码的方法 - Google Patents

Abstract

本发明涉及一种264视频以任意比例降低分辨率的像素域转码的方法，属于计算机多媒体技术领域，包括：解码264码流，记录每个块的大小和运动向量；按照水平方向M_x∶N_x，竖直方向M_y∶N_y的比例将一帧原始图像映射为一帧新图像，根据重叠面积来确定新图像中每个4×4子块的运动向量；根据记录的每个4×4子块对应的原始块和运动向量确定每个8×8子块的运动模式、运动矢量和对应的原始块；根据16×16块内四个8×8子块的运动模式、运动矢量和对应的原始块等信息完成该16×16块的264转码；继续解码下一帧并进行上述的转码处理。本发明充分利用了输入264码流的有效信息，降低了以任意比例降低分辨率的264转码的计算量。

Description

一种264视频以任意比例降低分辨率的像素域转码的方法

技术领域

本发明属于计算机多媒体技术领域，特别涉及视频以任意比例降低分辨率转码的方法。

背景技术

数字视频是指以数字形式记录的视频信息，英文对应的词组是Digital video。数字视频的原始数据量非常大，给传输和存储都带来了很大的不便，因此实际应用中往往需要进行编码压缩。

视频编码采用运动估计的方法来实现数据的压缩。视频数据是以固定的时间间隔连续采集的图像序列，由于采集速度快，相邻图像在内容上的相关性很强。运动估计就是利用图像间的这种相关性，消除其中的冗余信息，实现数据的压缩。运动估计方法的大体过程如下：首先将当前帧(编码过程中准备编码的图像)划分为固定大小的块(16像素x16像素)；然后，对于每个块，在参考帧中(编码选用的参考图像)进行搜索和比较，找到一个内容相似度最高的“匹配块”，由此得到编码当前块的运动向量(当前块与匹配块之间的相对位移)；接着，将两个块相减得到残差，并对残差矩阵进行DCT变换；最后对运动向量和DCT变换系数进行熵编码得到压缩数据。

但是由于终端设备的处理和显示能力不同，传输视频信号的网络状况的千差万别，以及各大组织及公司针对不同的用途和应用场合制定的一系列不同的视频编码标准，造成了视频数据的格式及参数多样化，给媒体资源的传播和共享带来了很大的困难。视频转码技术就是为了解决以上问题，以更好更有效地实现视频数据间的转换而提出来的。

视频转码(Video Transcoding)技术，就是要将原来的某种压缩视频流，转换为另一种不同的压缩视频流，以改变其码率、分辨率等参数，或完全改变其语法格式。视频转码方法主要可以分为两大类：像素域转码和变换域转码。变换域转码通过对DCT系数进行运动补偿，实现码流格式的转换。这种方法的优点是计算量小，转码速度快，缺点是该方法对运动向量，编码速率等有一定的要求，给实际应用带来了一定的限制。像素域转码则是将码流解码后通过DCT反变换到像素域后进行处理，比较灵活，便于实现，但转码的计算量较大。

H.264/AVC是ITU-T视频编码专家组(VCEG)和ISO/IEC运动图像专家组(MPEG)联合制定的最新国际视频编码标准，其主要目标是提高压缩性能，并提供与网络友好(network-friendly)的视频表示。通过对之前各视频编码标准多方面的改进，H.264能够满足各种码率下的不同需求。例如，它既可用于移动电话等较低码率下的视频传输，也可用在中码率的视频会议等场合，同时也适于数字电视等较高码率的应用。H.264在给出感觉上相当的视频质量的同时，码率只是MPEG-2码率的1/3到1/2；与现存其他视频标准相比较，H.264可期望提高50％以上的编码效率。与之前的MPEG-2，MPEG-4等编码标准相比，H.264增加了运动补偿的可变尺寸块技术，在运动补偿中，H.264支持更加灵活的块尺寸选择机制，比其他视频标准有更多的块形状和尺寸。每一个P型(单向运动预测)或B型(双向运动预测)的块，均对应一个特定的分区情况，被分为若干个8x8、16x8、8x16或16x16的块；如果选择了8x8的块，将有可能进一步被分割为8x4、4x8或4x4的块。此技术在增加编码效率的同时也大大的增加了编码的复杂度和计算量。

目前的针对降低分辨率的转码方法是将码流解码到像素域，每一帧图像数据下采样到指定的分辨率后，对其中的每个块进行运动估计，估计运动向量为该块对应到原始图像的区域内所有块的运动向量的加权平均值或取中值，在对估计运动向量细化后，完成降低分辨率后图像的编码。这种方法适合MPEG-2、MPEG-4等编码标准的降低分辨率的转码应用，但由于H.264具有可变尺寸块的特点，在编码和转码时候需要进行最佳模式选择，因此传统的这种降低分辨率的转码方法并不适合H.264标准内的降低分辨率的转码。

发明内容

本发明的目的是为克服已有技术的不足之处，提出了一种新的264视频以任意比例降低分辨率转码的方法，该方法充分利用了264编码中的运动模式和运动向量信息，结合264视频编码的可变尺寸块的特点，有效的减少了转码过程中模式选择时的大量计算，提高了转码效率。

本发明提出的一种H.264以任意比例降低空间分辨率的像素域转码方法，其特征在于，包括以下步骤：

1)对264格式的编码码流一帧图像进行解码，并记录解码后该帧图像中原始块的大小和对应的运动向量的大小；

2)按照水平方向M_x∶N_x，竖直方向M_y∶N_y的比例将一帧原始图像映射到一帧新图像中，新帧图像的每个像素点的取值为其映射在原始图像中位置周围四个像素点中距其最近的像素点的值；

3)对于新帧图像的每个16x16块MB_N，划分为16个4x4子块b_N4x4；对于该每个4x4子块b_N4x4，计算其在原始图像中的映射区域，确定该区域中包含的面积最大的子块b_O；记录下该4x4子块b_N4x4来自b_O，并将b_O对应的运动向量MV_O按照水平方向以M_x∶N_x，竖直方向以M_y∶N_y的比例缩减，记做b_N4x4的运动估计向量MV_N；

4)对于每个16x16宏块MB_N，划分为4个8x8子块b_N8x8；对于该每个b_N8x8分别处理如下：

如果每个b_N8x8中的4个4x4子块b_N4x4来自于同一个子块b_O，则令该子块b_N8x8的运动模式为8x8，运动估计向量为MV_N，并记录该子块b_N8x8来自于b_O；

如果其中的3个4x4子块b_N4x4来自于同一个子块b_O，对应的运动向量为MV_N；而剩余的一个子块b_N4x4来自于其他子块b_O′，对应的运动向量为MV_N′，计算MV_N和MV_N′之间的距离d₁：

$d_1=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}$

式子中，x₁，x₂，y₁，y₂分别为两个运动向量的横、纵坐标值；

如果d₁小于D，则令该子块b_N8x8的运动模式为8x8，运动估计向量为所述3个相同的子块对应的MV_N，并记录该子块b_N8x8来自于b_O；否则，令该子块b_N8x8的运动模式为4x4，运动估计向量为各个4x4子块b_N4x4的MV_N，并记录该子块b_N8x8来自于NUL；

如果其中的2个4x4子块b_N4x4来自于同一个子块b_O，而另2个子块b_N4x4来自于另一个子块b_O′，计算两个来自于子块b_O和b_O′的子块对应的运动向量MV_N之间的距离d₁：

$d_1=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}$

式子中，x₁，x₂，y₁，y₂分别为两个运动向量的横、纵坐标值；

如果d₁小于D，则更新该子块b_N8x8的运动模式为8x8，运动估计向量为2个MV_N的平均值，并记录该子块b_N8x8来自于NUL；否则，更新该子块b_N8x8的运动模式为8x4或者4x8，运动估计向量分别为对应的MV_N，并记录该子块b_N8x8来自于NUL；

D为常数；

5)对于每个16x16块MB_N，划分为4个8x8子块b_N8x8，分别处理如下：

51)如果四个8x8子块b_N8x8均是8x8模式，且来自于同一个原始块b_O，则令该16x16块MB_N的运动模式为16x16，运动估计向量为子块b_N8x8的运动向量估计MV_N；

52)如果四个8x8子块b_N8x8均是8x8模式，但不来自于同一个原始块，则将16x16，16x8，8x16，8x8模式加入到备选模式中，对应的运动矢量估计MV_new为：

${\mathrm{MV}}_{\mathrm{new}}=\frac{\underset{i}{\overset{n}{\mathrm{\Σ}}}({\mathrm{MV}}_i\×w_i)}{2\×\underset{i}{\overset{n}{\mathrm{\Σ}}}{w}_i}$

式子中，MV_i为该运动模式中第i个子块的运动向量，w_i为加权系数，加权系数为第i个块的面积，n代表所包含子块的总数；

按264标准对该运动向量进行细化后，从上述备选模式中选择出最佳模式；

53)如果都不符合步骤51)、52)中的条件，则按照4个8x8子块的运动模式进行处理。

6)根据该16x16块最终选择的运动模式，按264标准对该块的各个运动向量进行细化后，完成该块的264转码；转步骤1)继续解码下一帧并进行转码处理。

本发明的特点及效果

本发明提出了一种新的H.264以任意比例降低空间分辨率的像素域转码方法。本发明充分利用了264编码中的运动模式和运动向量信息，结合了264视频编码的可变尺寸块的特点，有效的减少了转码过程中模式选择带来的大量计算，提高了转码效率。

具体实施方式

本发明提出的一种264视频任意比例降低分辨率转码的方法结合实施例详细说明如下：

本发明方法包括以下步骤：

1)对264格式的编码码流一帧图像进行解码，并记录解码后该帧图像中原始块的大小和对应的运动向量的大小；

2)按照水平方向M_x∶N_x，竖直方向M_y∶N_y的比例将一帧原始图像映射到一帧新图像中(其中水平和竖直方向的比例根据实际的需要任意设定，但由于编码标准的要求，降低分辨率之后视频的水平和竖直方向的大小必须为16的正整数倍，一般选择为实际播放设备的屏幕的分辨率)，新帧图像的每个像素点的取值为其映射在原始图像中位置周围四个像素点中距其最近的像素点的值；

3)对于新帧图像的每个16x16块MB_N，划分为16个4x4子块b_N4x4；对于该每个4x4子块b_N4x4，计算其在原始图像中的映射区域，确定该区域中包含的面积最大的子块b_O；记录下该4x4子块b_N4x4来自b_O，并将b_O对应的运动向量MV_O按照水平方向以M_x∶N_x，竖直方向以M_y∶N_y的比例缩减，记做b_N4x4的运动估计向量MV_N；

4)对于每个16x16宏块MB_N，划分为4个8x8子块b_N8x8；对于该每个b_N8x8分别处理如下：

如果每个b_N8x8中的4个4x4子块b_N4x4来自于同一个子块b_O，则令该子块b_N8x8的运动模式为8x8，运动估计向量为MV_N，并记录该子块b_N8x8来自于b_O；

如果其中的3个4x4子块b_N4x4来自于同一个子块b_O，对应的运动向量为MV_N；而剩余的一个子块b_N4x4来自于其他子块b_O′，对应的运动向量为MV_N′，计算MV_N和MV_N′之间的距离d₁：

$d_1=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}$

式子中，x₁，x₂，y₁，y₂分别为两个运动向量的横、纵坐标值；

如果d₁小于D，则令该子块b_N8x8的运动模式为8x8，运动估计向量为所述3个相同的子块对应的MV_N，并记录该子块b_N8x8来自于b_O；否则，令该子块b_N8x8的运动模式为4x4，运动估计向量为各个4x4子块b_N4x4的MV_N，并记录该子块b_N8x8来自于NUL(NUL为一个标志，表示该子块不直接来自于原始图像的任一子块)；

如果其中的2个4x4子块b_N4x4来自于同一个子块b_O，而另2个子块b_N4x4来自于另一个子块b_O′，计算两个来自于子块b_O和b_O′的子块对应的运动向量MV_N之间的距离d₁：

$d_1=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}$

式子中，x₁，x₂，y₁，y₂分别为两个运动向量的横、纵坐标值；

如果d₁小于D，则更新该子块b_N8x8的运动模式为8x8，运动估计向量为2个MV_N的平均值，并记录该子块b_N8x8来自于NUL；否则，更新该子块b_N8x8的运动模式为8x4或者4x8，运动估计向量分别为对应的MV_N，并记录该子块b_N8x8来自于NUL；

D为常数(一般设为5)；

5)对于每个16x16块MB_N，划分为4个8x8子块b_N8x8，分别处理如下：

51)如果四个8x8子块b_N8x8均是8x8模式，且来自于同一个原始块b_O，则令该16x16块MB_N的运动模式为16x16，运动估计向量为子块b_N8x8的运动向量估计MV_N；

52)如果四个8x8子块b_N8x8均是8x8模式，但不来自于同一个原始块，则将16x16，16x8，8x16，8x8模式加入到备选模式中，对应的运动矢量估计MV_new为：

${\mathrm{MV}}_{\mathrm{new}}=\frac{\underset{i}{\overset{n}{\mathrm{\Σ}}}({\mathrm{MV}}_i\×w_i)}{2\×\underset{i}{\overset{n}{\mathrm{\Σ}}}{w}_i}$

式子中，MV_i为该运动模式中第i个子块的运动向量，w_i为加权系数，加权系数为第i个块的面积，n代表所包含子块的总数；

按264标准对该运动向量进行细化后，从上述备选模式中选择出最佳模式；

53)如果都不符合步骤51)、52)中的条件，则按照4个8x8子块的运动模式进行处理。

6)根据该16x16块最终选择的运动模式，按264标准对该块的各个运动向量进行细化后，完成该块的264转码；转步骤1)继续解码下一帧并进行转码处理。

下面以转码过程中可能出现的几种情况为例，详细说明本发明提出的H.264视频以任意比例降低分辨率转码的方法的实现方法：

在对264码流解码得到一帧后，按照水平方向2∶1，竖直方向3∶1的比例将一帧原始图像映射到一帧新图像中，新帧图像的每个像素点的取值为其映射在原始图像中位置周围四个像素点中距其最近的像素点的值；

对其中的一个16x16宏块进行编码；

将此16x16宏块分割为16个4x4子块，得到每个4x4子块在原始图像中的映射区域，确定每个区域中包含的面积最大的子块bk，得到按照水平方向2∶1，竖直方向3∶1的比例缩减的运动向量分别为MV₁，MV₂，……，MV₁₆；

将此16x16宏块分割为4个8x8子块，第一个8x8子块，其内部4个4x4子块都来自于同一个原始子块b₁，因此第一个8x8子块运动模式为8x8，运动矢量为MV₁′，记录此8x8子块来自于b₁；第二个8x8子块，其内部3个4x4子块都来自于同一个原始子块b₂，另一个4x4子块来自于b₃，计算对应的运动矢量的距离为2，小于阈值D的值5，因此第二个8x8子块运动模式为8x8，运动矢量为MV₂′，记录此8x8子块来自于b₂；第三个8x8子块，其内部2个4x4子块都来自于同一个原始子块b₄，另2个4x4子块来自于b₅，计算对应的运动矢量的距离为4，小于5，因此第三个8x8子块运动模式为8x8，运动矢量为MV₃′，记录此8x8子块来自于NUL；第四个8x8子块中4个4x4子块来自同一个的子块b₆，因此第四个8x8子块运动模式为8x8，运动矢量为MV₄′，记录此8x8子块来自于b₆；

对于此16x16宏块，因为其内部的4个8x8子块来自于不同的原始子块，对其中的运动矢量MV₁′，MV₂′，MV₃′，MV₄′分别进行细化，使用最佳模式选择从16x16，16x8，8x16，8x8中选择最佳模式，得到最佳的模式为16x8模式；

对两个16x8尺寸块对应的两个运动向量分别进行细化，按照上述运动模式完成此16x16宏块的编码后，继续对下一个块进行转码处理；

将此16x16宏块分割为16个4x4子块，得到每个4x4子块在原始图像中的映射区域，确定每个区域中包含的面积最大的子块b_k，得到按照水平方向2∶1，竖直方向3∶1的比例缩减的运动向量分别为MV₁，MV₂，……，MV₁₆；

将此16x16宏块分割为4个8x8子块，第一个8x8子块，其内部4个4x4子块都来自于同一个原始子块b₁，因此第一个8x8子块运动模式为8x8，运动矢量为MV₁′，记录此8x8子块来自于b₁；第二个8x8子块，其内部3个4x4子块都来自于同一个原始子块b₁，另一个4x4子块来自于b₂，计算对应的运动矢量的距离为2，小于阈值D的值5，因此第二个8x8子块运动模式为8x8，运动矢量为MV₁′，记录此8x8子块来自于b₁；第三个8x8子块，其内部4个4x4子块都来自于同一个原始子块b₁，因此第三个8x8子块运动模式为8x8，运动矢量为MV₁′，记录此8x8子块来自于b₁；第四个8x8子块，其内部3个4x4子块都来自于同一个原始子块b₁，另一个4x4子块来自于b₃，计算对应的运动矢量的距离为2，小于阈值D的值5，因此第二个8x8子块运动模式为8x8，运动矢量为MV₁′，记录此8x8子块来自于b₁；

对于此16x16宏块，因为其内部的4个8x8子块来自同一个的原始子块b₁，故最佳运动模式为16x16，运动向量估计为MV₁′。

对此16x16块的运动向量MV₁′进行细化，按照上述运动模式完成此16x16宏块的编码后，继续对下一个块进行转码处理；

将此16x16宏块分割为16个4x4子块，得到每个4x4子块在原始图像中的映射区域，确定每个区域中包含的面积最大的子块b_k，得到按照水平方向2∶1，竖直方向3∶1的比例缩减的运动向量分别为MV₁，MV₂，……，MV₁₆；

将此16x16宏块分割为4个8x8子块，第一个8x8子块，其内部4个4x4子块都来自于同一个原始子块b₁，因此第一个8x8子块运动模式为8x8，运动矢量为MV₁′，记录此8x8子块来自于b₁；第二个8x8子块，其内部3个4x4子块都来自于同一个原始子块b₂，另一个4x4子块来自于b₃，计算对应的运动矢量的距离为1，小于5，因此第二个8x8子块运动模式为8x8，运动矢量为MV₂′，记录此8x8子块来自于b₂；第三个8x8子块，其内部2个4x4子块都来自于同一个原始子块b₄，另2个4x4子块来自于b₅，计算对应的运动矢量的距离为9，大于5，因此第三个8x8子块运动模式为8x4，运动矢量为MV₃₁′，MV₃₂′，记录此8x8子块来自于NUL；第四个8x8子块中4个4x4子块分别来自不同的子块，因此第四个8x8子块运动模式为4x4，运动矢量分别为MV₄₁′，MV₄₂′，MV₄₃′，MV₄₄′，记录此8x8子块来自于NUL；

对于此16x16宏块，因为其内部的4个8x8子块不完全是8x8运动模式，使用各个8x8子块对应的运动模式进行处理；

对此16x16块中的各个尺寸块所对应的运动向量MV₁′，MV₂′，MV₃₁′，MV₃₂′，MV₄₁′，MV₄₂′，MV₄₃′，MV₄₄′分别进行细化，按照上述运动模式完成此16x16宏块的编码后，继续对下一个块进行转码处理；

在处理完该帧所有的块后，继续解码下一帧，进行转码处理。

Claims (1)

1、一种264视频以任意比例降低分辨率的像素域转码的方法，其特征在于，包括以下步骤：

1)对264格式的编码码流一帧图像进行解码，并记录解码后该帧图像中原始块的大小和对应的运动向量的大小；

2)按照水平方向M_x∶N_x，竖直方向M_y∶N_y的比例将解码后码流一帧原始图像映射到一帧新图像中，新帧图像的每个像素点的取值为其映射在原始图像中位置周围四个像素点中距其最近的像素点的值；

3)对于新帧图像的每个16x16块MB_N，划分为16个4x4子块b_N4x4；对于该每个4x4子块b_N4x4，计算其在原始图像中的映射区域，确定该区域中包含的面积最大的子块b_O；记录该4x4子块b_N4x4来自b_O，并将b_O对应的运动向量MV_O按照水平方向以M_x∶N_x，竖直方向以M_y∶N_y的比例缩减，记做b_N4x4的运动估计向量MV_N；

4)对于每个宏块MB_N，划分为4个8x8子块b_N8x8；对于该每个b_N8x8分别转码处理如下：

如果每个b_N8x8中的4个4x4子块b_N4x4来自于同一个子块b_O，则令该子块b_N8x8的运动模式为8x8，运动估计向量为MV_N，并记录该子块b_N8x8来自于b_O；

如果其中的3个4x4子块b_N4x4来自于同一个子块b_O，对应的运动向量为MV_N；而剩余的一个子块b_N4x4来自于其他子块b_O′，对应的运动向量为MV_N′，计算MV_N和MV_N′之间的距离d₁：

$d_1=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}$

式子中，x₁，x₂，y₁，y₂分别为两个运动向量的横、纵坐标值；

如果d₁小于D，则令该子块b_N8x8的运动模式为8x8，运动估计向量为所述3个相同的子块对应的MV_N，并记录该子块b_N8x8来自于b_O；否则，令该子块b_N8x8的运动模式为4x4，运动估计向量为各个4x4子块b_N4x4的MV_N，并记录该子块b_N8x8来自于NUL；

如果其中的2个4x4子块b_N4x4来自于同一个子块b_O，而另2个子块b_N4x4来自于另一个子块b_O′，计算两个来自于子块b_O和b_O′的子块对应的运动向量MV_N之间的距离d₁：

$d_1=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}$

式子中，x₁，x₂，y₁，y₂分别为两个运动向量的横、纵坐标值；

如果d₁小于D，则更新该子块b_N8x8的运动模式为8x8，运动估计向量为2个MV_N的平均值，并记录该子块b_N8x8来自于NUL；否则，更新该子块b_N8x8的运动模式为8x4或者4x8，运动估计向量分别为对应的MV_N，并记录该子块b_N8x8来自于NUL；

D为常数；

5)对于每个16x16块MB_N，划分为4个8x8子块b_N8x8，分别转码处理如下：

51)如果四个8x8子块b_N8x8均是8x8模式，且来自于同一个原始块b_O，则令该16x16块MB_N的运动模式为16x16，运动估计向量为子块b_N8x8的运动向量估计MV_N；

52)如果四个8x8子块b_N8x8均是8x8模式，但不来自于同一个原始块，则将16x16，16x8，8x16，8x8模式加入到备选模式中，对应的运动矢量估计MV_new为：

${\mathrm{MV}}_{\mathrm{new}}=\frac{\underset{i}{\overset{n}{\mathrm{\Σ}}}({\mathrm{MV}}_i\×w_i)}{2\×\underset{i}{\overset{n}{\mathrm{\Σ}}}{w}_i}$

式子中，MV_i为该运动模式中第i个子块的运动向量，w_i为加权系数，加权系数为第i个块的面积，n代表所包含子块的总数；

按264标准对该运动向量进行细化后，从上述备选模式中选择出最佳模式；

53)如果都不符合步骤51)、52)中的条件，则按照4个8x8子块的运动模式进行处理；

6)根据该16x16块最终选择的运动模式，按264标准对该块的各个运动向量进行细化后，完成该块的264转码；转步骤1)继续解码下一帧并进行转码处理。