CN101783954B - 一种视频图像编解码方法 - Google Patents

Abstract

本发明公开一种视频图像编解码方法，其中编码包括以下步骤：(1)对视频图像进行编码块分割，输入视频图像是经过帧内/帧间预测的残差图像或原始图像数据；(2)对编码块中的像素点坐标进行坐标变换，使编码块的方向尽可能与水平或垂直一致；(3)对前述编码块进行二维正交变换，使信号的变换系数尽可能集中在低频部分，消除信号的空间冗余；(4)对频域变换后的系数进行量化以及熵编码，同时把像素重排的方向等信息编入码流；解码为对前述编码块进行逆运算。这种方法在编码时对视频图像进行像素重排，通过改变像素分布来减少正交变换后的高频非零系数，提高变换的压缩效率。

Description

一种视频图像编解码方法

技术领域

本发明涉及数字视频图像的编解码方法，尤其是一种基于像素重排的用于压缩视频图像的变换方法。

背景技术

为实时高效地传输视频图像，需对图像进行压缩编码。传统的MPEGx和H.26x等基于运动补偿和频域变换相结合的视频编码方案中，如图2所示，运动补偿用来消除图像序列的时间轴冗余度，频域正交变换则用来消除图像信号的空间冗余度。对于原始图像而言，其信号相关性强，变换系数主要集中于直流和低频系数，量化后高频分量大多数为0，压缩效率较高。而对于运动补偿预测残差信号，正交变换的压缩效率并不理想，原因在于经过运动补偿的残差信号的相关性大大降低，残差信号的协方差矩阵与Toepl itz矩阵形式差别较大，残差信号经过变换后，其变换系数集中性较差，仍存在大量的冗余信息。

针对传统DCT变换的缺陷，Zeng(参见B.Zeng and J.-J.Fu，“Directional discrete cosine transforms forimage coding，”IEEE International Conference on Multimedia and Expo.(ICME’06)，pp.721-724，July 2006，Toronto，Canada.)等人提出采用形状DCT变换对图像进行编码，获得比JPEG更好的压缩性能。该方法的缺点是形状DCT主要针对原始图像块内包含两种不同特征的内容，并不适于残差信号。

在基于分块的视频图像压缩编码方案中，无论是原始图像块，还是经过运动补偿的残差图像块，均表现出与物体边缘或图像纹理相一致的方向性。具有非水平/垂直方向的图像块，经过传统二维DCT后，易产生较多高频系数，导致压缩效率难以继续提高。本发明针对这一缺陷，提出一种新型的视频图像压缩方法。

发明内容

本发明的主要目的，在于提供一种视频图像编解码方法，其在编码时对视频图像进行像素重排，而不需对视频图像进行旋转、变形、插值等操作，通过改变像素分布来尽可能减少正交变换后的高频非零系数，提高压缩效率。

为了达成上述目的，本发明的解决方案是：

一种视频图像编解码方法，其中编码包括以下步骤：

(1)对输入视频图像进行编码块分割，每个编码块的大小为M×N，输入视频图像可以是经过帧内/帧间预测的残差图像，也可以是原始图像数据；

(2)对前述大小为M×N的编码块中的像素点坐标(i，j)进行坐标变换R(i，j)＝(k，l)，其中0≤i＜M，0≤j＜N，0≤k＜M，0≤l＜N，其中重排变换函数R(·)为可逆变换，经过重排变换，使编码块的方向尽可能与水平或垂直一致；若R(i，j)＝(i，j)则为一致变换；

(3)对前述编码块进行二维正交变换，使信号的变换系数尽可能集中在低频部分，消除信号的空间冗余；

(4)对频域变换后的系数进行量化以及熵编码，同时把像素重排的方向等信息编入码流；

解码为对前述编码块进行逆运算。

上述编码步骤(2)中，获取重排变换函数的步骤为：

(21)通过遍历搜索方法预测该编码块的重排方案，按照一定步长取一系列离散的重排角度值；

(22)按照选定的一系列重排角度值对编码块进行像素重排，并计算该方案的率失真代价；

(23)综合分析各种重排方案，选择率失真代价最小的角度所对应的重排变换函数作为最优的重排变换函数。

上述编码步骤(2)中，获取重排变换函数的步骤为：

(21)通过边缘检测来预测该编码块的重排方案，以检测出来的边缘方向及邻近方向作为候选重排角度；

(22)按照候选的重排角度对编码块进行像素重排，并计算该方案的率失真代价；

(23)综合分析各种重排方案，选择率失真代价最小的角度所对应的重排变换函数作为最优的重排变换函数。

上述编码步骤(2)中，获取重排变换函数的步骤为：

(21)任意选定一系列的重排变换函数R1(·)、R2(·)、......Rs(·)，这些函数均为可逆变换；

(22)对编码步骤(1)中的大小为M×N的编码块的像素点坐标(i，j)通过上述变换函数一一映射到坐标(k，l)，其中0≤i＜M，0≤j＜N，0≤k＜M，0≤l＜N，并计算各种重排变换函数的率失真代价；

(23)综合分析各种重排变换函数，选择率失真代价最小的角度所对应的重排变换函数R_t(·)(1≤t≤s)为最优的重排变换函数。

采用上述方案后，本发明针对传统二维正交变换对视频图像残差信号的非水平/非垂直方向性敏感的特点，通过对待编码视频图像信号的像素位置进行重新排列，将图像/残差信号的边界方向尽可能调整到水平/垂直方向，再进行二维正交变换，从而尽可能减少变换后的高频非零系数，提高变换的压缩效率。

附图说明

图1是H.264编码的运动补偿残差图；

图2是为现有视频图像的编解码流程示意图；

图3是本发明所提供的编解码的流程示意图；

图4是本发明应用列循环移位的示意图；

图5是本发明应用行循环移位的示意图；

图6是本发明以foreman_qcif为例的测试结果波形图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步的详细说明。

参考图3所示，本发明揭示一种视频图像的编码方法，包括如下步骤：

步骤1、对输入视频图像进行编码块分割，使每个编码块的大小为M×N，该输入视频图像可以是经过帧内/帧间预测的残差图像，也可以是原始图像数据；

此处可将图像分成16×16，16×8，8×16，8×8等各种大小的块，编码块的大小可以是自适应的，当然，此处编码块不一定是矩形，也可以是三角形或梯形等其它非矩形，但在后述的步骤2中，进行像素重排的输入块必须是矩形形态，因此，若编码块为非矩形，还需对图像重新组织；

步骤2、对前述大小为M×N的编码块中的像素点坐标(i，j)进行坐标变换R(i，j)＝(k，l)，其中0≤i＜M，0≤j＜N，0≤k＜M，0≤l＜N，前述R(·)为可逆变换，称为重排变换函数(或过程)，经过重排变换，使编码块的方向尽可能与水平或垂直一致；若R(i，j)＝(i，j)则为一致变换；

同时参照图4和图5，为本发明的第一实施例，图1中所示为foreman的一个运动补偿残差帧，通过对运动补偿残差图像的观察，对16×16，16×8和8×16三种模式的编码块进行像素重排，具体实现步骤如下：

步骤21、采用遍历搜索方法获取编码块的重排方案，按照一定步长Δθ取一系列离散的重排角度值

Θ∈{θ₀，θ₀+Δθ，θ₀+2Δθ，...}。

步骤22、按照步骤21选定的一系列重排角度值对残差图像或原始图像进行像素重排，并计算每种重排方案的率失真代价。当重排角度与x轴的夹角满足|θ|≤π/4，采用列循环移位，如图4中的箭头方向所示；当重排角度与x轴的夹角满足π/4＜|θ|≤π/2时，采用行循环移位，如图5中的箭头方向。

假设原始像素位置为n＝(i，j)^T，像素重排后的像素位置为m＝R(n)＝(k，l)^T，m与n的关系可以用下式表示：

$R\left(\mathrm{\&theta;}\right)=\left\{\begin{array}{cc}{R}_V\left(\mathrm{\&theta;}\right)& \left|\mathrm{\&theta;}\right|\&le;\mathrm{\&pi;}/4\\ R_H\left(\mathrm{\&theta;}\right)& \mathrm{\&pi;}/4<\left|\mathrm{\&theta;}\right|\&le;\mathrm{\&pi;}/2\end{array}\right.$

其中N为像素块的大小，如本例N＝8，mod为取模操作，以实现循环移位，而

$R_V\left(\mathrm{\&theta;}\right)=\left[\begin{array}{cc}1& 0\\ \tan \mathrm{\&theta;}& 1\end{array}\right]$

$R_H\left(\mathrm{\&theta;}\right)=\left[\begin{array}{cc}1& 1/\tan \mathrm{\&theta;}\\ 0& 1\end{array}\right]$

步骤23、综合分析各种重排方案，选择率失真代价最小的角度，如图4中的θ′所对应的重排变换函数，作为最优的重排变换函数。

其中率失真代价由一个率失真代价函数J(θ)＝D(θ)+λR(θ)求得，D(θ)表示重建图与原始图之间的误差(如平方差和SSD)，λ是拉格朗日乘子，R(θ)表示编码宏块头、运动信息和DCT系数所需的比特数。对于R(θ)又从不考虑重排信息的比特开销(RDCT without info)和考虑重排信息的比特开销(RDCT with info)两种情况评测其综合性能。

本发明还提供另一较佳实施例，与前述遍历搜索的方法不同，本实施例采用边缘检测来预测编码块的重排方案，以检测出来的边缘方向(见图4及图5中的θ′)及邻近方向作为候选重排角度，然后综合分析各种候选重排方案，选择率失真代价最小的角度，此处与前述实施例相同，故不再赘述。

本发明还提供第三种实施例具体实现步骤如下：

步骤21、任意选定一系列的重排变换函数R1(·)、R2(·)、......Rs(·)，这些函数均为可逆变换；

步骤22、对编码步骤1中的大小为M×N的编码块的像素点坐标(i，j)通过上述变换函数一一映射到坐标(k，l)，其中0≤i＜M，0≤j＜N，0≤k＜M，0≤l＜N，并计算各种重排变换函数的率失真代价；

步骤23、综合分析各种重排方案，选择率失真代价最小的角度所对应的重排变换函数R_t(·)(1≤t≤s)。

步骤3、对所得编码块进行二维正交变换，使信号的变换系数尽可能集中在低频部分，消除信号的空间冗余；

步骤4、对频域变换后的系数进行量化、特定ZIG-ZAG扫描或其它扫描以及熵编码，同时把像素重排的方向等信息编入码流。

而在解码端，只需对前述编码块进行逆运算，具体可参考图3所示，首先进行熵解码、反量化及反频域变换，然后对编码块进行坐标反变换，重建输入块，也即前述编码过程是对像素的坐标(i，j)进行R(·)变换，而此处解码时，需对像素进行坐标反变换R^-1(·)，从而重建输入块。

最后在H.264的测试模型jm8.6平台上对重排DCT进行验证测试，仅针对帧间预测的残差数据进行重排DCT编码。

通过对视频片段的测试我们可以得出在不考虑重排信息时，平均码率节省分别为5.78％和4.26％。而在考虑重排信息以后，高码率的性能增益明显高于低码率的性能增益，高码率平均性能增益为2.46％，而低码率只为1.51％。在Foreman等具有较明显的边界信息的视频中，重排DCT的增益较为显著。图6是在jm8.6平台上对foreman的一个测试结果。

以上所述实施例仅表达了本发明中几种较佳的实施方式，其仅用于说明而非限制本发明的技术方案，本领域的普通技术人员应当理解：在不脱离本发明的构思的前提下，还可以做出适当的修改和局部的替换，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种视频图像编解码方法，其特征在于编码包括以下步骤：

(1)对输入视频图像进行编码块分割，每个编码块的大小为M×N，该输入视频图像为经过帧内/帧间预测的残差图像或原始图像数据；

(2)确定该编码块像素点的重排变换函数R(·)，对前述大小为M×N的编码块中的像素点坐标(i，j)进行坐标变换，完成对编码块像素点的重排变换，使重排后的编码块中沿物体边缘或图像纹理方向的像素点的排列方向尽可能与水平方向或垂直方向一致，该坐标变换公式为R(i，j)＝(k，l)，其中0≤i＜M，0≤j＜N，0≤k＜M，0≤1＜N，R(·)为可逆变换的重排变换函数；若R(i，j)＝(i，j)，则为一致变换；

(3)对前述重排后的编码块进行二维正交变换，得到M×N个变换系数组成的变换块，该变换系数尽可能地集中在低频部分，消除像素点的空间冗余；

(4)对前述变换块的变换系数进行量化以及熵编码，连同表达重排变换函数R(·)的信息一起编入码流；

解码为对前述编码块进行逆运算。

2.如权利要求1所述的一种视频图像编解码方法，其特征在于：

所述编码步骤(2)中，确定重排变换函数R(·)的步骤为：

(21)通过遍历搜索方法，按照一定步长取一系列离散的重排角度值，获得该编码块的候选重排变换函数；

(22)按照选定的一系列候选重排角度值对编码块进行像素重排，并分别计算各候选重排变换函数的率失真代价；

(23)选择其中率失真代价最小的重排变换函数作为最优的重排变换函数R(·)。

3.如权利要求1所述的一种视频图像编解码方法，其特征在于：所述编码步骤(2)中，确定重排变换函数R(·)的步骤为：

(21)通过边缘检测出来的物体边缘方向及其若干个邻近方向与X轴的夹角作为候选重排角度值，获得该编码块的候选重排变换函数；

(22)按照候选的重排变换函数对编码块进行像素重排，并分别计算各候选重排变换函数的率失真代价；

(23)选择其中率失真代价最小的重排变换函数作为最优的重排变换函数R(·)。

4.如权利要求1所述的一种视频图像编解码方法，其特征在于：所述编码步骤(2)中，确定重排变换函数R(·)的步骤为：

(21)任意选定一系列的重排变换函数R1(·)、R2(·)、......Rs(·)作为候选重排变换函数，这些函数均为可逆变换函数；

(22)按照候选的重排变换函数对编码块进行像素重排，并分别计算各候选重排变换函数的率失真代价；

(23)选择其中率失真代价最小的重排变换函数R_t(·)(1≤t≤s)为最优的重排变换函数R(·)。

Images