CN101330631A - 一种立体电视系统中深度图像的编码方法 - Google Patents

Abstract

本发明公开了一种立体电视系统中深度图像的编码方法。它包括如下步骤：1)计算深度图像中每个像素点的边缘强度值，然后根据象素点的边缘强度值计算每个宏块的边缘强度值；2)把深度图像中的所有宏块分为强边缘宏块、中等边缘宏块和弱边缘宏块三类；3)对强边缘宏块设置较小量化参数，对中等边缘宏块设置中等量化参数，对弱边缘宏块设置较大量化参数；4)根据设置的量化参数对深度图像中的所有宏块，运用视频编码技术对深度图像进行编码。本发明对强边缘宏块设置小的量化参数，从而有效地保护深度图像的边缘信息，提高用户端自由视点图像绘制的质量。

Description

一种立体电视系统中深度图像的编码方法

技术领域

本发明涉及数字图像处理技术，特别地，涉及一种立体电视系统中深度图像的编码方法

背景技术

随着数字视频技术的快速发展和广泛应用，人们对视频质量和形式的要求越来越高，传统的二维平面视频已满足不了人们对场景真实和自然地再现的需求，因此能够提供立体感和交互操作功能的立体/多视点视频技术越来越受到业界的重视。立体/多视点视频与单目视频相比，增加了景物深度信息表征，在立体电视、自由视点电视、具有临场感的可视会议、虚拟现实等领域具有广泛应用前景(见侯春萍，杨蕾，宋晓炜，戴居丰.立体电视技术综述.信号处理.2007.23-5)。

立体电视系统用户端的设计应该满足复杂度低、功能实现简单、制造成本低的要求。由于用户端的计算能力、存储能力有限，在用户端应该选择低计算量、低存储容量的自由视点图像绘制算法。欧洲的先进立体电视系统技术(ATTEST)计划提出了基于深度相机的立体场景生成方法，并以此为基础设计了立体电视系统。在该立体电视系统中，编码端将压缩后的深度图像传送给用户端，用户端用接收到的图像信息进行自由视点图像绘制。

在基于深度图像的立体电视系统中，深度图像的边缘信息直接关系到用户端自由视点图像绘制的质量。然而，目前已有的立体电视系统是直接采用通用的视频编码技术对深度图像进行压缩，不能有效保护深度图像的边缘信息。本发明提出了一种针对深度图像的编码方法，可以有效地保护深度图像中的边缘信息，从而提高用户端自由视点图像绘制的质量。

发明内容

本发明的目的是提供一种立体电视系统中深度图像的编码方法。本方法可以有效保护深度图像中的边缘信息，提高用户端自由视点图像绘制的质量。

包括如下步骤：

1)计算深度图像中每个像素点的边缘强度值，然后根据象素点的边缘强度值计算每个宏块的边缘强度值；

2)把深度图像中的所有宏块分为强边缘宏块、中等边缘宏块和弱边缘宏块三类；

3)对强边缘宏块设置较小量化参数，对中等边缘宏块设置中等量化参数，对弱边缘宏块设置较大量化参数；

4)根据设置的量化参数对深度图像中的所有宏块，运用视频编码技术对深度图像进行编码。

所述的计算深度图像中每个像素点的边缘强度值，然后根据象素点的边缘强度值计算每个宏块的边缘强度值步骤：

a)对深度图像中每个像素点，根据下列式子，在3×3临域中选择九个相关亮度值：

Z₁＝p(clipX(x-1)，clipY(y-1))；Z₂＝p(clipX(x)，clipY(y-1))；

Z₃＝p(clipX(x+1)，clipY(y-1))；Z₄＝p(clipX(x-1)，clipY(y))；

Z₅＝p(clipX(x)，clipY(y))；Z₆＝p(clipX(x+1)，clipY(y))；

Z₇＝p(clipX(x-1)，clipY(y+1))；Z₈＝p(clipX(x)，clipY(y+1))；

Z₉＝p(clipX(x+1)，clipY(y+1))；

clipX(x)＝min(Width-1，max(0，x))；clipY(y)＝min(Hight-1，max(0，y))；

其中，p(x，y)是深度图像中坐标(x，y)处的像素点的亮度值；clipX(x)和clipY(x)分别是x方向和y方向的修剪函数；Width和Hight分别为深度图像的宽度和高度；Z₁、Z₂、Z₃、Z₄、Z₅、Z₆、Z₇、Z₈和Z₉是九个相关亮度值。

b)根据下式计算像素点在x方向的梯度：

G_X(x，y)＝(Z₇+2*Z₈+Z₉)-(Z₁+2*Z₂+Z₃)；

其中，G_X(x，y)是坐标(x，y)处像素点在x方向的梯度；

c)根据下式计算像素点在y方向的梯度：

G_Y(x，y)＝(Z₃+2*Z₆+Z₉)-(Z₁+2*Z₄+Z₇)；

其中，G_Y(x，y)是坐标(x，y)处像素点在y方向的梯度；

d)根据下式计算像素点的边缘强度值：

G_Pixel＝|G_X(x，y)|+|G_Y(x，y)|；

其中，G_X(x，y)是坐标(x，y)处像素点在x方向的梯度，G_Y(x，y)是坐标(x，y)处像素点在y方向的梯度，G_Pixel(x，y)是坐标(x，y)处像素点的边缘强度值；

e)根据下式计算每个宏块的边缘强度值：

$G\_\mathrm{MB}\left(i\right)=\underset{\mathrm{MB}\_y\&le;y<\mathrm{MB}\_y+16}{\underset{\mathrm{MB}\_x\&le;x<\mathrm{MB}\_x+16}{\mathrm{\&Sigma;}}}G\_\mathrm{Pixel}(x,y)$

其中，i是当前宏块的序列号，(MB_x，MB_y)是当前宏块中左上角像素在深度图像中的坐标，G_Pixel(x，y)是坐标(x，y)处像素点的边缘强度值，G_MB(i)是当前宏块的的边缘强度值；

所述的把深度图像中的所有宏块分为强边缘宏块、中等边缘宏块和弱边缘宏块三类步骤：

f)对深度图像中的所有宏块，根据宏块的边缘强度值从大到小排序，把前20％的宏块分类为强边缘宏块，把中间60％的宏块分类为中等边缘宏块，把最后20％的宏块分类为弱边缘宏块。

所述的对强边缘宏块设置较小量化参数，对中等边缘宏块设置中等量化参数，对弱边缘宏块设置较大量化参数步骤：

g)设置强边缘宏块的量化参数为QP_Base-5，设置中等边缘宏块的量化参数为QP_Base，设置弱边缘宏块的量化参数为QP_Base+5；

其中，i是当前宏块的序列号，QP_MB(i)是根据宏块分类信息设置的宏块的量化参数，QP_Base是用户设置的基本量化参数。

所述的根据设置的量化参数对深度图像中的所有宏块，运用视频编码技术对深度图像进行编码步骤：

h)对深度图像中的每个宏块，首先进行帧内预测或者帧间预测，然后根据步骤3)中设置的量化参数对预测残差进行量化，宏块的量化参数越小，量化时所采用的量化步长越小，量化误差越小。

编码端压缩深度图像时所引入的误差会严重影响自由视点图像绘制的质量，尤其是在深度图像的边缘附近会产生明显的变形，影响视觉效果，因此需要把深度图像的边缘信息做为关键信息来重点保护，以降低自由视点图像绘制中物体轮廓的变形。

本发明首先计算深度图像中每个宏块的边缘强度，然后根据宏块的边缘强度进行分类，最后对不同类别的宏块用不同的量化参数进行编码。对边缘强度较强的宏块，设置较小的量化参数，提高该宏块的编码质量；对边缘强度较弱的宏块，设置较大的量化参数，提高该宏块压缩比，减少编码该宏块时所需要的码流；本发明可以有效保护深度图像边缘信息的方法，提高用户端自由视点图像绘制的质量。

附图说明

图1是立体电视系统中深度图像的编码方法结构示意图；

图2是本发明的相关像素位置示意图。

具体实施方式

图1给出了本发明的结构示意图。本发明的目的是提供一种立体电视系统中深度图像的编码方法。它包括如下步骤：

步骤1，计算深度图像中每个像素点的边缘强度值，然后根据象素点的边缘强度值计算每个宏块的边缘强度值；

a)对深度图像中每个像素点，根据下列式子，在3×3临域中选择九个相关亮度值：

Z₁＝p(clipX(x-1)，clipY(y-1))；Z₂＝p(clipX(x)，clipY(y-1))；

Z₃＝p(clipX(x+1)，clipY(y-1))；Z₄＝p(clipX(x-1)，clipY(y))；

Z₅＝p(clipX(x)，clipY(y))；    Z₆＝p(clipX(x+1)，clipY(y))；

Z₇＝p(clipX(x-1)，clipY(y+1))；Z₈＝p(clipX(x)，clipY(y+1))；

Z₉＝p(clipX(x+1)，clipY(y+1))；

clipX(x)＝min(Width-1，max(0，x))；clipY(y)＝min(Hight-1，max(0，y))；

其中，p(x，y)是深度图像中坐标(x，y)处的像素点的亮度值；clipX(x)和clipY(x)分别是x方向和y方向的修剪函数；Width和Hight分别为深度图像的宽度和高度；Z₁、Z₂、Z₃、Z₄、Z₅、Z₆、Z₇、Z₈和Z₉是九个相关亮度值。

如图2所示，Z₅是当前像素的像素值；Z₁、Z₂和Z₃分别为当前像素左上方像素、正上方像素和右上方像素的像素值；Z₄和Z₆分别是当前像素左方像素和右方像素的像素值；Z₇、Z₈和Z₉分别为当前像素左下方像素、正下方像素和右下方像素的像素值；

b)根据下式计算像素点在x方向的梯度：

G_X(x，y)＝(Z₇+2*Z₈+Z₉)-(Z₁+2*Z₂+Z₃)；

其中，G_X(x，y)是坐标(x，y)处像素点在x方向的梯度；

c)根据下式计算像素点在y方向的梯度：

G_Y(x，y)＝(Z₃+2*Z₆+Z₉)-(Z₁+2*Z₄+Z₇)；

其中，G_Y(x，y)是坐标(x，y)处像素点在y方向的梯度；

d)根据下式计算像素点的边缘强度值：

G_Pixel＝|G_X(x，y)|+|G_Y(x，y)|；

其中，G_X(x，y)是坐标(x，y)处像素点在x方向的梯度，G_Y(x，y)是坐标(x，y)处像素点在y方向的梯度，G_Pixel(x，y)是坐标(x，y)处像素点的边缘强度值；

e)根据下式计算每个宏块的边缘强度值：

$G\_\mathrm{MB}\left(i\right)=\underset{\mathrm{MB}\_y\&le;y<\mathrm{MB}\_y+16}{\underset{\mathrm{MB}\_x\&le;x<\mathrm{MB}\_x+16}{\mathrm{\&Sigma;}}}G\_\mathrm{Pixel}(x,y)$

其中，i是当前宏块的序列号，(MB_x，MB_y)是当前宏块中左上角像素在深度图像中的坐标，G_Pixel(x，y)是坐标(x，y)处像素点的边缘强度值，G_MB(i)是当前宏块的的边缘强度值；

步骤2，把深度图像中的所有宏块分为强边缘宏块、中等边缘宏块和弱边缘宏块三类；

f)对深度图像中的所有宏块，根据宏块的边缘强度值从大到小排序，把前20％的宏块分类为强边缘宏块，把中间60％的宏块分类为中等边缘宏块，把最后20％的宏块分类为弱边缘宏块。

步骤3，把深度图像中的所有宏块分为强边缘宏块、中等边缘宏块和弱边缘宏块三类；

g)设置强边缘宏块的量化参数为QP_Base-5，设置中等边缘宏块的量化参数为QP_Base，设置弱边缘宏块的量化参数为QP_Base+5；

其中，i是当前宏块的序列号，QP_MB(i)是根据宏块分类信息设置的宏块的量化参数，QP_Base是用户设置的基本量化参数。

用户设置的宏块的基本量化参数QP_Base越大，所得到的压缩图像的压缩率越高，码流越小，图像质量越差；基本量化参数越小，所得到的压缩图像的压缩率越低，码流越大，图像质量越高。

步骤4，把深度图像中的所有宏块分为强边缘宏块、中等边缘宏块和弱边缘宏块三类。

h)对深度图像中的每个宏块，首先进行帧内预测或者帧间预测，然后根据步骤3)中设置的量化参数对预测残差进行量化，宏块的量化参数越小，量化时所采用的量化步长越小，量化误差越小。

Claims (5)

1.一种立体电视系统中深度图像的编码方法，其特征在于包括如下步骤：

1)计算深度图像中每个像素点的边缘强度值，然后根据象素点的边缘强度值计算每个宏块的边缘强度值；

2)把深度图像中的所有宏块分为强边缘宏块、中等边缘宏块和弱边缘宏块三类；

3)对强边缘宏块设置较小量化参数，对中等边缘宏块设置中等量化参数，对弱边缘宏块设置较大量化参数；

4)根据设置的量化参数对深度图像中的所有宏块，运用视频编码技术对深度图像进行编码。

2.根据权利要求1所述的一种立体电视系统中深度图像的编码方法，其特征在于所述的计算深度图像中每个像素点的边缘强度值，然后根据象素点的边缘强度值计算每个宏块的边缘强度值步骤：

a)对深度图像中每个像素点，根据下列式子，在3×3临域中选择九个相关亮度值：

Z₁＝p(clipX(x-1)，clipY(y-1))；    Z₂＝p(clipX(x)，clipY(y-1))；

Z₃＝p(clipX(x+1)，clipY(y-1))；    Z₄＝p(clipX(x-1)，clipY(y))；

Z₅＝p(clipX(x)，clipY(y))；        Z₆＝p(clipX(x+1)，clipY(y))；

Z₇＝p(clipX(x-1)，clipY(y+1))；    Z₈＝p(clipX(x)，clipY(y+1))；

Z₉＝p(clipX(x+1)，clipY(y+1))；

clipX(x)＝min(Width-1，max(0，x))；clipY(y)＝min(Hight-1，max(0，y))；

其中，p(x，y)是深度图像中坐标(x，y)处的像素点的亮度值；clipX(x)和clipY(x)分别是x方向和y方向的修剪函数；Width和Hight分别为深度图像的宽度和高度；Z₁、Z₂、Z₃、Z₄、Z₅、Z₆、Z₇、Z₈和Z₉是九个相关亮度值。

b)根据下式计算像素点在x方向的梯度：

G_X(x，y)＝(Z₇+2*Z₈+Z₉)-(Z₁+2*Z₂+Z₃)；

其中，G_X(x，y)是坐标(x，y)处像素点在x方向的梯度；

c)根据下式计算像素点在y方向的梯度：

G_Y(x，y)＝(Z₃+2*Z₆+Z₉)-(Z₁+2*Z₄+Z₇)；

其中，G_Y(x，y)是坐标(x，y)处像素点在y方向的梯度；

d)根据下式计算像素点的边缘强度值：

G_Pixel＝|G_X(x，y)|+|G_Y(x，y)|；

其中，G_X(x，y)是坐标(x，y)处像素点在x方向的梯度，G_Y(x，y)是坐标(x，y)处像素点在y方向的梯度，G_Pixel(x，y)是坐标(x，y)处像素点的边缘强度值；

e)根据下式计算每个宏块的边缘强度值：

$G\_\mathrm{MB}\left(i\right)=\underset{\underset{\mathrm{MB}\_y\&le;y<\mathrm{MB}\_y+16}{\mathrm{MB}\_x\&le;x<\mathrm{MB}\_x+16}}{\mathrm{\&Sigma;}}G\_\mathrm{Pixel}(x,y)$

其中，i是当前宏块的序列号，(MB_x，MB_y)是当前宏块中左上角像素在深度图像中的坐标，G_Pixel(x，y)是坐标(x，y)处像素点的边缘强度值，G_MB(i)是当前宏块的的边缘强度值；

3.根据权利要求1所述的一种立体电视系统中深度图像的编码方法，其特征在于所述的把深度图像中的所有宏块分为强边缘宏块、中等边缘宏块和弱边缘宏块三类步骤：

f)对深度图像中的所有宏块，根据宏块的边缘强度值从大到小排序，把前20％的宏块分类为强边缘宏块，把中间60％的宏块分类为中等边缘宏块，把最后20％的宏块分类为弱边缘宏块。

4.根据权利要求1所述的一种立体电视系统中深度图像的编码方法，其特征在于所述的对强边缘宏块设置较小量化参数，对中等边缘宏块设置中等量化参数，对弱边缘宏块设置较大量化参数步骤：

g)设置强边缘宏块的量化参数为QP_Base-5，设置中等边缘宏块的量化参数为QP_Base，设置弱边缘宏块的量化参数为QP_Base+5；

其中，i是当前宏块的序列号，QP_MB(i)是根据宏块分类信息设置的宏块的量化参数，QP_Base是用户设置的基本量化参数。

5.根据权利要求1所述的一种立体电视系统中深度图像的编码方法，其特征在于所述的根据设置的量化参数对深度图像中的所有宏块，运用视频编码技术对深度图像进行编码步骤：

h)对深度图像中的每个宏块，首先进行帧内预测或者帧间预测，然后根据步骤3)中设置的量化参数对预测残差进行量化，宏块的量化参数越小，量化时所采用的量化步长越小，量化误差越小。

Images