CN104902256B - 一种基于运动补偿的双目立体图像编解码方法 - Google Patents

Abstract

本发明公开了一种快速的基于运动补偿的双目立体图像的编解码方法。本方法通过先对左右图像进行基于固定方块大小的运动估计得到运动向量，然后用运动向量和左图像预测右图像，将右图像与预测值作差得到预测误差即残差图像，然后对残差图像，左图像进行jpeg2000编码，运动向量进行DPCM预测编码并输出。其中运动向量的估计采用半像素精度，半像素精度比整像素精度能使预测更为准确。在实际编码过程中使用解码后的左图像对右图像进行基于运动补偿的预测，这样可以避免左图像压缩的失真带到右图像中。本方法具有快速的优点，能满足快速编码和解码需求。

Description

一种基于运动补偿的双目立体图像编解码方法

技术领域

本发明属于计算机技术领域，涉及多媒体技术中的多媒体数据压缩编码，为一种基于运动补偿的双目立体图像编解码方法，根据双目立体视觉原理，利用左右图像之间的内容的冗余对图像进行压缩。

背景技术

立体视觉是近几年兴起的一个热门方向。随着3D电影和3D电视的普及，立体视觉越来越广泛的应用到人们的日常生活当中。而普通多媒体数据，包括图像、音频和视频的数据量是很大的，通常一个画面大小为352×288的普通公共媒介格式(CIF)视频文件在没有压缩的情况下，将占用35Mbps的带宽。而在高清电视(HDTV)中，码率将会超过1Gbps。而对于3D的立体视频影像，其在未压缩情况下的数据量将是对应的2D视频数据量的两倍，即占用的带宽也是2D视频的两倍。虽然我们的网络带宽在飞速的发展，但是这样的数据量仍然是当前我们的网络所无法承受的，所以要想3D视频能够有更为广泛的应用，就需要对3D视频进行压缩处理。而视频是由一幅一幅的图像(帧)组成，所以首先应该研究的是对立体图像的压缩编码。而立体图像又可分为双目立体图像和多视角立体图像两种，其中双目立体图像与人类的双目视觉更为接近，所以应用更为广泛。

目前应用最广泛的2维图像的压缩标准是由联合图像专家组开发的一种图像压缩标准JPEG。它是采用离散余弦变换进行压缩编码。为了满足下一代的图像应用的需求，在2000年左右JPEG委员会提出了JPEG2000图像压缩标准，在压缩率-失真方面有更好的表现，它在相同压缩率的条件下比JPEG标准能保存更高的质量。但同时JPEG2000标准要比JPEG标准在同一副图像上编码花费的时间更长。JPEG2000主要算法采用小波变换进行编码。

目前的双目立体图像压缩技术可以分为两类。最基本的也是最容易想到的方法是用现存的2维图像的压缩算法对双目立体图像的左右图像分别进行压缩，如使用JPEG标准(离散余弦变换)或者JPEG2000标准(小波变换)压缩算法分别压缩左图像和右图像。这种方法的优点是不需要研究新的压缩算法，算法简单，缺点是压缩率不高，没有利用到左右图像内容相似的特性。另一类方法是在利用当前存在的立体匹配方法得到双目立体图像的视差内容之后，再利用其中一幅图像和视差对另一幅图像进行预测，对预测误差进行压缩编码，这种方法优点是在有较为准确的视差信息之后，可以得到信息熵较少的预测误差，缺点是得到准确的视差信息比较复杂，属于立体匹配的研究范围，且运算复杂度也比较高，大大增加了整个编码过程所需的时间，且生成的准确视差信息，即通常有源图像的大小的信息量也比较大，给压缩编码也增加了编码的开销，降低了压缩率。

发明内容

本发明要解决的问题是：现有的双目立体图像压缩编码技术存在的压缩率不高或获取准确视差信息算法复杂，运算时间长，视差信息量较大的缺点。

本发明的技术方案为：一种基于运动补偿的双目立体图像编解码方法，包括以下步骤：

1)双目立体图像分为左图像和右图像，分别进行校正，所述校正指左图像和右图像中同一个对象在图像中的y轴坐标值相同，然后选定其中一幅图像为参考图像，另一幅为目标图像，并采用2维图像编码方法对参考图像进行压缩编码；

2)搜索运动向量：先将参考图像进行解码恢复，得到解码参考图像，将目标图像均匀分割成若干方块，对目标图像中的每一个方块，在解码参考图像中搜索与它最相似的方块，将在解码参考图像中找到的方块与对应的目标图像的方块之间的偏移向量作为目标图像方块的运动向量，其中搜索精度采用半像素精度；

3)获取残差图像：用解码参考图像和所得运动向量基于运动补偿预测目标图像，将生成的目标图像预测值与目标图像相减生成残差图像，所述预测和相减均以方块进行，相减指每个像素的值相减；

4)对运动向量和残差图像进行编码压缩：运动向量采用DPCM预测编码，然后采用游程编码和霍夫曼编码生成压缩文件，残差图像采用2维图像的压缩编码算法进行编码压缩，将压缩后的参考图像、残差图像和运动向量作为双目立体图像的压缩数据；

5)对目标图像的解码：获取压缩后的参考图像、残差图像和运动向量，并分别进行对应的解码，根据解码的参考图像和运动向量基于运动补偿预测目标图像，再将所得预测得到的图像与残差图像每个像素的值相加，生成解码的目标图像，由解码的参考图像和目标图像恢复得到双目立体图像，完成整个双目立体图像的编解码过程。

进一步的，步骤2)中，在解码参考图像中搜索与目标图像相似方块时，仅在同一水平方向中进行搜索，在固定的最大搜索长度中找出与目标图像的方块最相似的方块，并记录下与目标图像方块的偏移作为运动向量。

步骤2)中所述搜索精度采用半像素精度指在水平的两个相邻像素之间插入一个它们的平均值作为半像素，具体过程如下：对每两个相邻的像素点，在它们中间使用线性插值插入一个值作为它们的二分之一像素点的值，对恢复参考图像的水平相邻的像素点X1和X2，插入X3作为X1与X2的二分之一像素点，X3的值为X1与X2的平均值的向上取整。

步骤2)中两个方块相似度的判定采用绝对误差累积和SAD：

SAD(β)＝∑_(x,y)∈β|I_r(x,y)-I_l(x+v_x,y+v_y)| (1)

其中β是目标图像的方块，即搜索运动向量的方块，I_r(x,y)是β中的像素点，I_l(x+v_x,y+v_y)是与目标图像方块比较相似度的恢复参考图像的方块，v_x、v_y是指恢复参考图像的方块相对于目标图像方块的x和y坐标的偏移量，

两个方块最相似，即指SAD最小，对应得到运动向量为：

其中v是方块β的运动向量，Δ_x和Δ_y分别是搜索窗口的x坐标和y坐标最大搜索范围。

进一步的，步骤2)中的运动向量搜索采用顺序搜索，根据目标图像中图像块的位置，确定参考图像中的搜索区间，将区间内的所有方块逐个像素地与目标图像中的方块进行比较，从式(1)中得到它们各自的SAD，最小的SAD对应的偏移向量就是目标图像方块的运动向量v。

作为优选方式，步骤3)中像素的值相减时，增加一个余码表示，即将所有数通过加上一个正数移到大于零的一方。

作为优选方式，步骤4)中，残差图像的压缩编码采用基于小波变换的压缩编码算法。基于小波变换的压缩编码算法是比基于离散余弦变换的压缩编码算法有更高的压缩率。

本发明提供了一种快速的基于运动补偿的双目立体图像的编码方法，该方法先估计出目标图像的运动向量，也可以称为视差向量，利用运动向量对目标图像进行运动补偿压缩编码。由于得到目标图像的运动向量的算法比较获取每一个像素点的视差信息更为简单，运算复杂度也较低，而且运动向量的大小通常比视差信息的大小要小得多，这样可以大幅度减少压缩的数据量，使得本发明更适用与双目立体图像编码，本发明在对双目立体图像进行压缩后，只余参考图像、运动向量和残差图像的数据，压缩后的数据量大大减少，压缩过程中只对参考图像进行压缩，而无需对目标图像进行压缩，压缩速度快，同时本发明的解码只要运动向量和残差图像就能恢复出目标图像，解码过程简单、速度快。

本发明与现有技术相比有如下优点

本发明方法的优点是压缩率高，在时间复杂度方面是解码速度快。在一定码率下的峰值信噪比也有不错的表现。

与使用2维图像编码方法对双目立体图像进行编码相比较，本方法有着压缩率高，在相同的码率压缩下的恢复质量好的优点。与要获取准确视差信息下的编码方法相比较，由于本发明方法一个方块只需要获取一个运动向量，整个图像的运动向量数据量小，运动向量的搜索算法简单，搜索时间较短。所以本方法有压缩率高，编码和解码复杂度低，解码速度快的优点。

附图说明

图1是本发明实施例的双目立体图像的编码过程。

图2是本发明实施例的双目立体图像的解码过程。

图3是输入的左右图像的原图，(a)为参考图像，(b)为目标图像。

图4是运动估计得到的运动向量和基于运动补偿的预测生成的残差图像，(a)表示依据参考图像与目标图像生成的运动向量，(b)表示根据参考图像和运动向量基于运动补偿预测目标图像预测值，将生成的预测值与目标图像相减生成的残差图像。

图5是画的根据本方法编码压缩右图像的码率-PSNR图。

具体实施方式

本发明提出了一种快速的基于运动补偿的双目立体图像的编码方法。并用C++编程语言实现了一个有图形界面显示的双目立体图像的编码系统。系统的功能有输入左右图像并显示在主界面，对立体图像进行编码并可以将其各个步骤的中间结果显示出来，解码左右图像并显示，计算解码后的左右图像的峰值信噪比等。如图3显示的是输入的Middlebury数据集中Teddy中的左右灰度图像。Middlebury数据集是一个关于计算机视觉的测试数据集。

本发明具体实施步骤如下：

1)图1为本发明方法的双目立体图像的编码过程。

分别输入Middlebury数据集中Teddy双目立体图像的左图像和右图像，大小为450×375。图3中是输入的Teddy左右图像的原图。其中以左图像为参考图像，右图像为目标图像。本实施例只对彩色图像的一个通道进行编码，并采用一种2维图像编码方法(离散余弦变换或者小波变换)对左图像进行压缩编码，这里采用jpeg2000对左图像进行编码。

2)搜索运动向量。

将左图像进行jpeg2000解码恢复。将恢复后的左图像与右图像进行运动向量估计。具体方法是将右图像分割成若干个大小一样不重叠的方块，方块为正方形。方块大小为8×8，搜索精度为半像素精度，在x轴方向搜索范围为[-64，63]，在y轴方向不进行搜索。对目标图像中的每一个方块，在恢复后的左图像中搜索到与它最相似的方块，由于校正后的双目立体图像在垂直方向偏差小，所以可仅在同一个水平方向搜索。将在左图像中找到的方块与对应的目标图像的方块的偏移向量作为目标图像方块的运动向量。其中运动向量的搜索过程的搜索精度可以采用半像素精度，因为半像素精度的搜索比整个像素精度搜索更为精确。图4(a)是生成的运动向量。

对步骤2)中的运动向量搜索是根据右图像中图像块的位置，确定左图像中的搜索区间，将区间内的所有方块逐个像素地与目标图像中的方块进行比较，在固定的最大搜索长度中找出与右图像的方块最相似的方块，并记录下与原方块的偏移作为运动向量。

两个方块相似度的判定采用绝对误差累积和(Sum of Absolute Difference,SAD)。

SAD(β)＝∑_(x,y)∈β|I_r(x,y)-I_l(x+v_x,y+v_y)| (1)

其中β是右图像的搜索运动向量的方块，I_r(x,y)是β中的像素点，I_l(x+v_x,y+v_y)是与右图像方块比较相似度的左图像的方块，v_x，v_y是指左图像方块相对于右图像方块的x和y坐标的偏移量。SAD对应的运动向量为：

其中v是方块β的运动向量，Δ_x和Δ_y分别是搜索窗口的x坐标和y坐标最大搜索范围。

运动向量搜索策略采用顺序搜索，从搜索起点开始，顺序的搜索参考图像中[p1,p2]区间，其中p1<p2。将区间内的所有方块逐个像素的与目标图像中的方块进行比较，从式(1)中得到它们各自的SAD。最小的SAD的向量就是目标图像方块的运动向量v。

在步骤2)中为了提高参考图像对目标图像的预测精度，在运动向量的搜索过程中采用半像素精度。由于搜索方向为水平方向，所以在水平的两个相邻像素之间插入一个它们的平均值作为半像素。具体过程如下：对每两个相邻的像素点，在它们中间使用线性插值插入一个值作为它们的二分之一像素点的值。对参考图像的水平相邻的像素点X1，X2，插入X3作为X1与X2的二分之一像素点的值，其中X3＝(X1+X2+1)/2。在搜索长度相同的情况下，半像素精度搜索到的方块相似度比整像素精度搜索到的相似度更高。同时运动向量的值的范围也比整像素精度搜索扩大了一倍。

3)用解码恢复后的参考图像和运动向量基于运动补偿预测目标图像，将生成的目标图像预测值与实际目标图像相减生成残差图像。

具体为：对目标图像中的每个方块，用参考图像中最相似的方块来预测。并用预测值减去目标图像的像素值，得到预测误差，即残差图像。由于残差图像的信息量很小，可以达到高倍压缩的目的。在实现过程中因为残差图像的值是有符号的补码表示，使得值相近的正数和负数在实际保存中相差很大，如-1的补码是255，而1的补码是1，两个补码相差为254，不利于jpeg2000的压缩，所以增加一个余码表示，即将所有数通过加上一个正数移到大于零的一方。图4(b)是生成的残差图像。

4)对运动向量和残差图像进行编码压缩。

由于运动向量的大小相对较小，且为无损压缩，所以运动向量采用DPCM(Differential Pulse Code Modulation)预测编码，即对当前方块的运动向量与邻近方块的运动向量的差进行编码。然后采用游长编码和霍夫曼编码生成最后的压缩文件。残差图像可以采用2维图像的压缩编码算法进行压缩编码，如基于离散余弦变换的压缩编码算法和基于小波变换的压缩编码算法。其中基于小波变换的压缩编码算法是比基于离散余弦变换的压缩编码算法有更高的压缩率。这里采用的是jpeg2000进行压缩编码。

压缩后的参考图像、残差图像和运动向量作为双目立体图像的压缩数据，数据量小，便于使用。

5)图2是本发明方法的立体图像的解码过程。在本实施例中，首先获得压缩后的左图像，残差图像和运动向量。左图像和残差图像经过jpeg2000解码，运动向量经过霍夫曼解码，游长解码和DPCM解码。再将解码的左图像和运动向量进行基于运动补偿预测目标图像，再将预测值加上残差图像生成解码的右图像。最后将解码后的左图像和右图像作为解码输出，恢复得到双目立体图像，完成整个双目立体图像的编解码过程。

在CPU为酷睿i5，主频为2.67GHZ的电脑上使用本方法对Middlebury数据集中Teddy左右亮度图像进行编码，左图像的编码时间0.4s，右图像的编码时间约为1s。左图像解码时间0.08s，右图像解码时间约为0.1s。

表1是本发明对Middlebury数据集中Teddy右亮度图像进行编码的结果。第一行是右图像编码后的码率，第二行是右图像对应的峰值信噪比PSNR(Peak-Signal-to-NoiseRatio)。图5是根据表1画右图像的码率-PSNR图。右图像编码后的总大小为残差图像大小加上运动向量大小。PSNR计算公式为：

其中MSE是右图像编码前和编码后的均方差。

表1 Teddy右亮度图像压缩结果

码率	0.13	0.19	0.29	0.456	0.666	0.916	1.227
								PSNR(dB)	29.5	31.5	33.5	35.5	37.5	39.5	41.5

Claims (7)

1.一种基于运动补偿的双目立体图像编解码方法，其特征是包括以下步骤：

1)双目立体图像分为左图像和右图像，分别进行校正，所述校正指左图像和右图像中同一个对象在图像中的y轴坐标值相同，然后选定其中一幅图像为参考图像，另一幅为目标图像，并采用2维图像编码方法对参考图像进行压缩编码；

2)搜索运动向量：先将参考图像进行解码恢复，得到解码参考图像，将目标图像均匀分割成若干方块，对目标图像中的每一个方块，在解码参考图像中搜索与它最相似的方块，将在解码参考图像中找到的方块与对应的目标图像的方块之间的偏移向量作为目标图像方块的运动向量，其中搜索精度采用半像素精度；

3)获取残差图像：用解码参考图像和所得运动向量基于运动补偿预测目标图像，将生成的目标图像预测值与目标图像相减生成残差图像，所述预测和相减均以方块进行，相减指每个像素的值相减；

4)对运动向量和残差图像进行编码压缩：运动向量采用DPCM预测编码，然后采用游程编码和霍夫曼编码生成压缩文件，残差图像采用2维图像的压缩编码算法进行编码压缩，将压缩后的参考图像、残差图像和运动向量作为双目立体图像的压缩数据；

5)对目标图像的解码：获取压缩后的参考图像、残差图像和运动向量，并分别进行对应的解码，根据解码的参考图像和运动向量基于运动补偿预测目标图像，再将所得预测得到的图像与残差图像每个像素的值相加，生成解码的目标图像，由解码的参考图像和目标图像恢复得到双目立体图像，完成整个双目立体图像的编解码过程。

2.根据权利要求1所述的一种基于运动补偿的双目立体图像编解码方法，其特征是步骤2)中，在解码参考图像中搜索与目标图像相似方块时，仅在同一水平方向中进行搜索，在固定的最大搜索长度中找出与目标图像的方块最相似的方块，并记录下与目标图像方块的偏移作为运动向量。

3.根据权利要求2所述的一种基于运动补偿的双目立体图像编解码方法，其特征是步骤2)中所述搜索精度采用半像素精度指在水平的两个相邻像素之间插入一个它们的平均值作为半像素，具体过程如下：对每两个相邻的像素点，在它们中间使用线性插值插入一个值作为它们的二分之一像素点的值，对解码参考图像的水平相邻的像素点X1和X2，插入X3作为X1与X2的二分之一像素点，X3的值为X1与X2的平均值的向上取整。

4.根据权利要求1或2或3所述的一种基于运动补偿的双目立体图像编解码方法，其特征是步骤2)中两个方块相似度的判定采用绝对误差累积和SAD：

SAD(β)＝∑_(x,y)∈β|I_r(x,y)-I_l(x+v_x,y+v_y)| (1)

其中β是目标图像的方块，即搜索运动向量的方块，I_r(x,y)是β中的像素点，I_l(x+v_x,y+v_y)是与目标图像方块比较相似度的解码参考图像的方块，v_x、v_y是指解码参考图像的方块相对于目标图像方块的x和y坐标的偏移量，

两个方块最相似，即指SAD最小，对应得到运动向量为：

<mrow> <mi>v</mi> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <msub> <mi>v</mi> <mi>x</mi> </msub> <mo>,</mo> <msub> <mi>v</mi> <mi>y</mi> </msub> <mo>,</mo> <mo>|</mo> <msub> <mi>v</mi> <mi>x</mi> </msub> <mo>|</mo> <mo>&amp;le;</mo> <msub> <mi>&amp;Delta;</mi> <mi>x</mi> </msub> <mo>,</mo> <mo>|</mo> <msub> <mi>v</mi> <mi>y</mi> </msub> <mo>|</mo> <mo>&amp;le;</mo> <msub> <mi>&amp;Delta;</mi> <mi>y</mi> </msub> </mrow> </munder> <mi>S</mi> <mi>A</mi> <mi>D</mi> <mrow> <mo>(</mo> <mi>&amp;beta;</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

其中v是方块β的运动向量，Δ_x和Δ_y分别是搜索窗口的x坐标和y坐标最大搜索范围。

5.根据权利要求4所述的一种基于运动补偿的双目立体图像编解码方法，其特征是步骤2)中的运动向量搜索采用顺序搜索，根据目标图像中图像块的位置，确定参考图像中的搜索区间，将区间内的所有方块逐个像素地与目标图像中的方块进行比较，从式(1)中得到它们各自的SAD，最小的SAD对应的偏移向量就是目标图像方块的运动向量v。

6.根据权利要求1所述的一种基于运动补偿的双目立体图像编解码方法，其特征是步骤3)中像素的值相减时，增加一个余码表示，即将所有数通过加上一个正数移到大于零的一方。

7.根据权利要求1所述的一种基于运动补偿的双目立体图像编解码方法，其特征是步骤4)中，残差图像的压缩编码采用基于小波变换的压缩编码算法。