CN101841720B - 基于改进vls的立体视频编码方法 - Google Patents

Abstract

本发明公布了一种基于改进载量提升方案(VLS)的立体视频编码方法，本发明通过并矢滤波器来获得左右视频图像的小波参数，采用提升方法重构左右视频图像，得到左右视频图像的详细系数和近似系数。本发明将改进的VLS结构用在输入立体视频序列上，将生成的参数进行编码。然而为了可以渐进的重构，编码方法要允许质量的可伸缩性。按照重要性的不同来按序编码参数。采用了国家音视频标准(AVS)编解码器rm52j_R1，因为它有着很好的压缩效率和质量可伸缩性。

Description

基于改进VLS的立体视频编码方法

技术领域

本发明涉及多媒体信号处理技术领域，尤其是在视频压缩编码开发的基于VLS的立体视频编码方法的技术领域。

背景技术

众所周知，图像信号的数字化在图像处理中有一系列的优点，然而数字化后的图像数据却相当庞大。如果不经过压缩处理，要想对一帧NTSV制式的彩色视频进行数字化传输的话，则要求信道的传输能力要达到248Mbit/S。一幅超35格的高档电影图像，通过数字化成4096像素x3112线，而且每种颜色中的每个像素用10bit表示，如果每秒传输24帧图像，那么，一秒钟的彩色电影图像需要大约9Gbit的存储空间。按照这样的数据传输速率计算，在对图像不进行压缩的情况下，一张存储空间大约5Gbit的CD盘能够存储大约20s的NTSC制式的视频图像或3s的HDTV视频图像或0.5s的电影图像。因此，不进行图像压缩编码给存储器存储容量传输信道的传输率(带宽)及计算机的处理速度等方面增加极大的压力。

对立体图像编码的研究，国际上开始于20世纪80年代末，当时的方法把立体图像中的左、右图像当作独立的两幅图像，分别使用经典的二维平面图像压缩方法来压缩。这种方法比较简单，但没有利用立体图像对之间固有的联系，得到的压缩率比较小，不能满足实际的使用。步入90年代，许多学者注意到立体图像序列中的左、右图像之间存在大量的冗余信息，利用计算机视觉的方法，可以对左、右图像进行视差(Disparity)估计。

近几年来，国内外很多学者在立体视频领域做了很多工作，国内有一些公司和学术机构投入这方面的研究，如微软亚洲研究院的多媒体组，天津的三维显示技术有限公司等。

ISO/IEC的MPEG近些年正一直致力于对于多视角立体视频编码(MVC)标准(包括两个视角的情况)制定的研究。MPEG对多视角视频压缩的研究可以追溯到基于MPEG2的立体视频以及多视角视频压缩。后来，随着传感器技术、显示技术以及多视角特征认识的发展，MPEG于2001年成立了一个名为3DAV的工作组，以评估制定多视角压缩这一富有潜力的领域的标准所需要的技术和各方面需求，它主要研究和讨论互动式媒体应用、三维音频、三维视频，以及进行其中相关技术的标准化和关键技术的研究。自从2003年起，这一组织取得了多次成果，发布了多种需求和技术报告，并收到很多反馈意见。最后一次技术报告发布于2005年10月，在法国尼斯第74界MPEG会议上，这次报告的反馈意见在2006年1月泰国曼谷举行的第75界MPEG会议上得到了评估。最终，为了改善多视角编码的各个组成部分的性能，做了几个多视角编码(MVC)方面的核心实验，并生成了一个参考代码，还设计了第一个描述整个多视角编解码器的多视角认证模型。MPEG中用来标准化的多视角编码算法的核心就是众所周知的AVC算法的改进，AVC算法即MPEG-4Part10，也就是H.264算法，为了处理不同视角间的预测方法、相应的模式、光照补偿等，算法加入了适当的工具。在2006年7月奥地利的克拉根福举行的第77界MPEG会议上，MPEG决定由JVT(Joint Video Team)来负责MVC的标准化。因此最终形成的标准将不仅仅是ISO的标准，也是ITU-T的一个建议书。近些年，许多专家不仅对多视点视频的编码技术标准化做了大量的研究，也对多视点视频的表示方法做了很多探讨和研究，如video plusdepth的表示方法。JVT目前的主要工作是在H.264标准基础上的三个方面的改进与拓展，即可伸缩编码(SVC)、多视点视频编码(MVC)、附加的增强信息(SEI)。他们在MVC方面已经取得了很多进步，相信立体视频压缩标准的出现指日可待，同时这也势必将带来视频技术的新的飞跃。

发明内容

本发明的目的是提出了一种基于改进VLS的立体视频编码方法，包括了VLS算法的改进和基于改进算法的立体视频编码。

本发明为实现上述目的，采用如下技术方案：

本发明基于改进VLS的立体视频编码方法，包括以下步骤：

通过并矢滤波器来获得左右视频图像的小波参数，采用提升方法重构左右视频图像，得到左右视频图像的详细系数

和和近似系数

和

式(1)

式(2)

其中，I(l)表示左视频图像，

表示去整数部分，

是预测权重，是相应参考矢量，

是提升权重，

是相应参考矢量，匹配采样点(m_x，m_y)，x、y分别表示行、列。

其特征在于右视输出详细系数和近似系数如下：

式(3)

式(4)

式(5)

其中，I^(r)表示右视频图像，

表示去整数部分，

是预测权重，

是相应参考矢量，是提升权重，

是相应参考矢量，

表示预测算子，

表示相应参考矢量。

本发明的优点和效果在于：

1.本发明提出的方法不会计算视差生成残差图像，而是用两个紧凑的多分辨率模型代表左右视图像帧。

2.本发明提出的方法有着较好的可扩展性，通过调节参数，本方法可以用于多种类型的视频。

3.另外，本方法能很好地保证重构视频图像的质量。

本发明的其他优点和效果将在下面继续描述。

附图说明

图1是VLS框架示意图。

图2是改进VLS框架示意图。

图3是不同方法PSNR比较的示意图。

图4VLS-II和VLS-I方法的重构图像的主观视觉效果比较。

具体实施方式

下面结合附图和实施例，对本发明所述的技术方案作进一步的阐述。

一个图像的小波参数通常通过并矢滤波器来获得。如果需要精确地重构，我们需要用到提升方法(Lifting Schemes)，因为它能够生成整型的小波参数。为了简单起见，只考虑可分离的分解。因此，可以在一个方向上寻址分解结果。VLS的结构如图1所示。我们用I^(l)、I^(r)分别表示左右视频图像，在每一个级别j，参数

(m_x，2m_y)、

(m_x，2m_y)、(m_x，2m_y+1)、

(m_x，2m_y+1)的奇偶采样是提升方法的输入参数。我们用V_j＝(v_x，j，v_y，j)^T表示有效的视差矢量，通过采用初始视差矢量V＝(v_x，v_y)^T并除以2^j得到，即

$V_j{(m_x,m_y)}^T=\frac{1}{2^j}V(2^j{m}_x,2^j{m}_y)$ 式(1)

我们注意到，上式可能会出现非整型的结果。因此，如果V_j是整型的，那么右视图中的任何一个(m_x，m_y)都对应于左图

(m_x+v_x，j(m_x，m_y)，m_y+v_y，j(m_x，m_y))，否则，我们用线性插值来得出视差补偿结果。

VLS的目的就是同步地发掘出I^(l)、I^(r)之间的依赖性，并输出两种内容：一是详细系数

和

另外一个是近似系数

和

对于参考图像I^(l)，详细的系数可以表示为：

式(2)

其中，

是预测权重，

是参考矢量，包含了预测步骤中所使用的偶采样。表示去整数部分。在提升步骤中，近似系数由以下公式计算：

式(3)

其中，

是提升权重，是参考矢量，包含了提升过程中的详细系数。由于式(2)中只使用了偶采样，所以可以保证基本提升方法的可逆性。参数提升方法与基本提升方法的主要区别在于对于右图像I^(r)，奇采样的预测包含了同一图像的偶采样参考图像匹配采样的邻域。

为了简单起见，我们用

(m_x，m_y，k)来表示在指定匹配采样点(m_x，m_y)邻域的补偿图像。因此，式(2)也可以写成：

式(4)

(m_x，m_y)的计算公式也可以相似的由式(2)计算得出。分解是在子带的列m_y可迭代的，每一级j会把左右图像分成2×4的子图像。

之前的VLS结构有一个潜在的缺点是它会产生不断累积的泄露效应。为了解决这个问题，我们用如图2的改进VLS框架示意图来代替。

我们主要在计算右视输出地部分做了改进，改进部分以公式的形式描述如下：

式(5)

式(6)

式(7)

其中，I^(r)表示右视频图像，表示去整数部分，

是预测权重，

是相应参考矢量，

是提升权重，是相应参考矢量，

表示预测算子，

表示相应参考矢量。

我们选用“bookseller”、“foreman”、“mobile”、“soccer”前30帧作为实验视频。因为某些图像对有着显著的光照强度的不同，我们为了提高编码效率，采用了视差补偿的方法，即结构图中的DC模块。视差计算(DE模块)采用的是误差差分绝对值之和(SAD)视差估计算法。为了观察本发明方法的性能，我们比较了基于VLS(VLS-I)、改进VLS(VLS-II)和其它几种有代表性的小波方法：

(1)第一种是基线编码，包括用5/3变换编码左图像和DC残差图像。在下面的实验中，我们用Scheme B来表示它。

(2)第二种是文献中提出的独立子空间投影技术，包含了在小波域中处理DE和DC步骤。我们用Independent表示它。

(3)我们还测试了JPEG2000中的一个针对立体的版本Annex I of partII。它首先用哈尔变换生成一对

然后分别对

I^(e)进行5/3小波变换。我们用Scheme C来表示它。

我们用最终的比特率R_av来评价压缩能力，R^(v)、R^(l)、和R^(r)分别表示视差矢量v、I^(l)和I^(r)的比特率。

$R_{\mathrm{av}}=\frac{R^{\left(l\right)}+R^{\left(r\right)}+R^{\left(v\right)}}{2}$ 式(8)

VLS-I比传统的方法节省了0.1bpp，VLS-II与VLS-I相比又进一步节省了大约0.1bpp。

我们还比较了不同方法的均值信噪比(PSNR)。

$\mathrm{PSNR}=10\lg \left(\frac{{255}^2}{({\mathrm{MSE}}^{\left(l\right)}+{\mathrm{MSE}}^{\left(r\right)})/2}\right)$ 式(9)

其中，MSE^(l)和MSE^(r)分别表示左右视频的均方差。

图3是不同方法PSNR比较的示意图，单位为dB。3(a)是对“foreman”第20帧在不同比特率情况下的PSNR比较，3(b)是对“mobile”第27帧在不同比特率情况下的PSNR比较。从图中我们可以看出，Scheme B和C比Independent的效果要好，特别是在低比特率的情况下。VLS-I在低比特率的情况下表现的不如Scheme C，但随着比特率的变高，它的效果逐渐好于Scheme B和C。VLS-II优于试验中其他的所有算法，在比特率高的情况下可以把PSNR提高至少0.4dB。

图4是比较VLS-II和VLS-I方法的重构图像的主观视觉效果，我们可以看出，无论是画面效果还是“foreman”左上角的“Siemens”文字、“mobile”挂历上的数字，VLS-II都比VLS-I来得更加清晰一些。这表明我们的改进提高了重构图像的视觉效果。

最终，我们比较了实验序列的执行时间，实验是在Intel CPU 2.8G，内存1G，VC++6.0的台式电脑完成的。我们可以观察到，与Scheme B相比较，VLS-I和VLS-II平均每帧分别多用了1.1s和1.3s。然而这样的执行时间的增加完全可以由本发明提出算法的良好的压缩性能来补偿。

Claims (1)

1.一种基于改进VLS的立体视频编码方法，包括以下步骤：

通过并矢滤波器来获得左右视频图像的小波参数，采用提升方法重构左右视频图像，得到左右视频图像的详细系数

和和近似系数和

在每一个级别j，参数

的奇偶采样是提升方法的输入参数；

其特征在于左视频图像输出详细系数和近似系数如下：

式(1)

式(2)

其中，I^(l)表示左视频图像，表示去整数部分，是预测权重，

是相应参考矢量，

是提升权重，

是相应参考矢量，匹配采样点(m_x，m_y)，x、y分别表示行、列；

右视频图像输出详细系数和近似系数如下：

式(3)

式(4)

式(5)

其中，I^(r)表示右视频图像，

表示去整数部分，

是预测权重，

是相应参考矢量，

是提升权重，

是相应参考矢量，

表示预测算子，

表示相应参考矢量。

Images