CN101365142A

CN101365142A - 一种立体电视系统中深度图像编码方法

Info

Publication number: CN101365142A
Application number: CN 200810161597
Authority: CN
Inventors: 许士芳; 雷杰; 刘济林
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2008-09-23
Filing date: 2008-09-23
Publication date: 2009-02-11
Anticipated expiration: 2028-09-23
Also published as: CN101365142B

Abstract

本发明公开了一种基于图像旋转的深度图像编码方法。它包括如下步骤：1)计算深度图像中每个象素点的边缘强度值，然后根据象素点的边缘强度值计算每个宏块的边缘强度值；2)把深度图像中的所有宏块分为强边缘宏块、中等边缘宏块和弱边缘宏块三类；3)对强边缘宏块设置较小量化参数，对中等边缘宏块设置中等量化参数，对弱边缘宏块设置较大量化参数；4)根据设置的量化参数对深度图像中的所有宏块，运用视频编码技术对深度图像进行编码。本发明对强边缘宏块设置小的量化参数，从而有效地保护深度图像的边缘信息，提高用户端自由视点图像绘制的质量。

Description

一种立体电视系统中深度图像编码方法

技术领域

本发明涉及数字图像处理技术，特别地，涉及一种基于图像旋转的深度图像编码方法

背景技术

随着数字视频技术的快速发展和广泛应用，人们对视频质量和形式的要求越来越高，传统的二维平面视频已满足不了人们对场景真实和自然地再现的需求，因此能够提供立体感和交互操作功能的立体/多视点视频技术越来越受到业界的重视。立体/多视点视频与单目视频相比，增加了景物深度信息表征，在立体电视、自由视点电视、具有临场感的可视会议、右现实等领域具有广泛应用前景(见侯春萍，杨蕾，宋晓炜，戴居丰.立体电视技术综述.信号处理.2007.23-5)。

立体电视系统用户端的设计应该满足复杂度低、功能实现简单、制造成本低的要求。由于用户端的计算能力、存储能力有限，在用户端应该选择低计算量、低存储容量的自由视点图像绘制算法。欧洲的先进立体电视系统技术(ATTEST)计划提出了基于深度相机的立体场景生成方法，并以此为基础设计了立体电视系统。在该立体电视系统中，编码端将压缩后的深度图像传送给用户端，用户端用接收到的图像信息进行自由视点图像绘制。

深度图像编码是立体电视系统中的关键技术之一。本发明首先将左视角深度图像旋转到右视角得到预测图像，然后计算右视点深度图像和预测图像之间的差值，最后编码差值图像。与直接编码右视点深度图像相比，编码差值图像所需要的码率更小。本发明充分利用了左视点深度图像和右视点深度图像之间的相关性，提高了压缩效率。

发明内容

本发明的目的是提供一种基于图像旋转的深度图像编码方法。本发明充分利用了左视点深度图像和右视点深度图像之间的相关性，提高了压缩效率。

包括如下步骤：

1)根据左视点到右视点的旋转矩阵，把左视点深度图像旋转到右视点，得到预测图像；

2)归一化右视点深度图像和预测图像之间的差值，得到差值图像；

3)运用视频编码技术，采用较大的量化参数对差值图像进行编码。

所述的根据左视点到右视点的旋转矩阵，把左视点深度图像旋转到右视点，得到预测图像步骤：

a)把预测图像中每个象素点的亮度值设置为0

b)根据下列式子，计算从左视点到右视点的旋转矩阵：

L_to_R_PP＝L_A×L_E×(L_E^-1)×L_A^-1)；

其中，L_A和L_E分别是左视点相机的内参和外参，L_A和L_E分别是右视点相机的内参和外参，L_to_R_PP是从左视点到右视点的旋转矩阵。

c)根据下列式子，计算左视点深度图像中每个象素的深度值：

L_Zc(x，y)＝(255×MaxZ×MinZ)/(D_L(x，y，)×(MaxZ-MinZ)+255×MinZ)；

其中，D_L(x，y)是左视点深度图像中图像坐标(x，y)处象素点的亮度值，MinZ和MaxZ分别是该深度图像所能表示的最大深度和最小深度，L_Zc(x，y)是左视点深度图像中图像坐标(x，y)处象素点的深度值。

如果深度图像中象素点的亮度为0，表示该象素点距离世界坐标系中原点的距离为MaxZ；如果深度图像中象素点的亮度为255，表示该象素点距离世界坐标系中原点的距离为MinZ。

d)根据下列式子，计算左视点深度图像中每个象素点旋转到右视点后的图像坐标，得到从左视点到右视点的横坐标映射函数和纵坐标映射函数：

[\begin{matrix} L_to_R_Xc \\ L_to_R_Yc \\ L_to_R_Zc \\ 1 \end{matrix}] = L_to_R_PP \times [\begin{matrix} x \times L_Zc (x, y) \\ y \times L_Zc (x, y) \\ L_Zc (x, y) \\ 1 \end{matrix}];

L_to_R_x(x，y)＝clipX(L_to_R_Xc/L_to_R_Zc)；

L_to_R_y(x，y)＝clipY(L_to_R_Yc/L_to_R_Zc)；

clipX(x)＝min(Width-1，max(0，x))；clipY(x)＝min(Hight-1，max(0，y))；

其中，x和y分别是左视点深度图像中当前象素点的横坐标和纵坐标，clipX(x)和clipY(y)分别是x方向和y方向的修剪函数，Width和Hight分别为深度图像的宽度和高度，L_to_R_PP是从左视点到右视点的旋转矩阵，L_to_R_x(x，y)和L_to_R_y(x，y)分别是从左视点到右视点的横坐标映射函数和纵坐标映射函数；

e)根据下列式子，计算预测图像：

D_Rot(L_to_R_x(x，y)，L_to_R_y(x，y))＝D_L(x，y)；

D_R_L (x, y) = (Σ_{i = - 1}^{1} (Σ_{j = - 1}^{1} D_Rot (x + i, y + j))) / 9;

其中，D_L是左视点深度图像，D_L(x，y)是左视点深度图像中图像坐标(x，y)处象素点的亮度值，L_to_R_x(x，y)和L_to_R_y(x，y)分别是从左视点到右视点的横坐标映射函数和纵坐标映射函数，D_Rot是旋转图像，D_Rot(x，y)是旋转图像中图像坐标(x，y)处象素点的亮度值，D_R_L是预测图像，D_R_L(x，y)是预测图像中图像坐标(x，y)处象素点的亮度值。

所述的归一化右视点深度图像和预测图像之间的差值，得到差值图像步骤：

f)计算右视点深度图像和预测图像之间的差值：

Diff(x，y)＝D_R(x，y)—D_R_L(x，y)；

其中，D_R是右视点深度图像，D_R(x，y)是右视点深度图像中图像坐标(x，y)处象素点的亮度值，D_R_L是预测图像，D_R_L(x，y)是预测图像中图像坐标(x，y)处象素点的亮度值，Diff(x，y)是图像坐标(x，y)处右视点深度图像和预测图像之间的差值。

g)归一化右视点深度图像和预测图像之间的差值，得到差值图像：

DiffMap(x，y)＝(Diff(x，y)+255)/2；

其中，Diff(x，y)是图像坐标(x，y)处右视点深度图像和预测图像之间的差值，DiffMap是差值图像，DiffMap(x，y)是差值图像中图像坐标(x，y)处象素点的亮度值。

所述的运用视频编码技术，采用较大的量化参数对差值图像进行编码步骤：

h)根据左视角深度图像的量化参数，设置差值图像的量化参数：

QP_Diff＝QP_Left+5；

其中，QP_Left是用户设定的左视角深度图像的量化参数，QP_Diff插值图像的量化参数；

i)对残差图像中的每个宏块，首先进行帧内预测或者帧间预测，然后插值图像的量化参数，对预测残差进行量化。宏块的量化参数越小，量化时所采用的量化步长越小，量化误差越小。

本发明首先将左视角深度图像旋转到右视角得到预测图像，然后计算右视点深度图像和预测图像之间的差值，最后编码差值图像。与直接编码右视点深度图像相比，编码差值图像所需要的码率更小。本发明充分利用了左视点深度图像和右视点深度图像之间的相关性，提高了压缩效率。

附图说明

图1是基于图像旋转的深度图像编码方法结构示意图；

图2是左视点深度图像；

图3是右视点深度图像；

图4是预测图像；

图5是编码后的深度图像。

具体实施方式

图1给出了本发明的结构示意图。本发明的目的是提供一种基于图像旋转的深度图像编码方法。它包括如下步骤：

步骤1，根据左视点到右视点的旋转矩阵，把左视点深度图像旋转到右视点，得到预测图像步骤：

a)把预测图像中每个象素点的亮度值设置为0

b)根据下列式子，计算从左视点到右视点的旋转矩阵：

L_to_R_PP＝L_A×L_E×(L_E^-1)×(L_A^-1)；

L_Zc(x，y)＝(255×MaxZ×MinZ)/(D_L(x，y，)×(MaxZ-MinZ)+255×MinZ)；

[\begin{matrix} L_to_R_Xc \\ L_to_R_Yc \\ L_to_R_Zc \\ 1 \end{matrix}] = L_to_R_PP \times [\begin{matrix} x \times L_Zc (x, y) \\ y \times L_Zc (x, y) \\ L_Zc (x, y) \\ 1 \end{matrix}];

L_to_R_x(x，y)＝clipX(L_to_R_Xc/L_to_R_Zc)；

L_to_R_y(x，y)＝clipY(L_to_R_Yc/L_to_R_Zc)；

clipX(x)＝min(Width-1，max(0，x))；clipY(x)＝min(Hight-1，max(0，y))；

e)根据下列式子，计算预测图像：

D_Rot(L_to_R_x(x，y)，L_to_R_y(x，y))＝D_L(x，y)；

D_R_L (x, y) = (Σ_{i = - 1}^{1} (Σ_{j = - 1}^{1} D_Rot (x + i, y + j))) / 9;

左视点深度图像如图2所示。右视点深度图像如图3所示。预测图像如图4所示。

步骤2，归一化右视点深度图像和预测图像之间的差值，得到差值图像步骤：

f)计算右视点深度图像和预测图像之间的差值：

Diff(x，y)＝D_R(x，y)—D_R_L(x，y)；

DiffMap(x，y)＝(Diff(x，y)+255)/2；

步骤3，运用视频编码技术，采用较大的量化参数对差值图像进行编码步骤：

QP_Diff＝QP_Left+5；

编码后的深度图像如图5所示。

Claims

1.一种基于图像旋转的深度图像编码方法，其特征在于包括如下步骤：

2.根据权利要求1所述的一种基于图像旋转的深度图像编码方法，其特征在于所述的根据左视点到右视点的旋转矩阵，把左视点深度图像旋转到右视点，得到预测图像步骤：

a)把预测图像中每个象素点的亮度值设置为0

b)根据下列式子，计算从左视点到右视点的旋转矩阵：

L_to_R_PP＝L_A×L_E×(L_E^-1)×(L_A^-1)；

L_Zc(x，y)＝(255×MaxZ×MinZ)/(D_L(x，y，)×(MaxZ-MinZ)+255×MinZ)；

[\begin{matrix} L_to_R_Xc \\ L_to_R_Yc \\ L_to_R_Zc \\ 1 \end{matrix}] = L_to_R_PP \times [\begin{matrix} x \times L_Zc (x, y) \\ y \times L_Zc (x, y) \\ L_Zc (x, y) \\ 1 \end{matrix}];

L_to_R_x(x，y)＝clipX(L_to_R_Xc/L_to_R_Zc)；

L_to_R_y(x，y)＝clipY(L_to_R_Yc/L_to_R_Zc)；

clipX(x)＝min(Width-1，max(0，x))；clipY(x)＝min(Hight-1，max(0，y))；

e)根据下列式子，计算预测图像：

D_Rot(L_to_R_x(x，y)，L_to_R_y(x，y))＝D_L(x，y)；

D_R_L (x, y) = (Σ_{i = - 1}^{1} (Σ_{j = - 1}^{1} D_Rot (x + i, y + j))) / 9;

3.根据权利要求1所述的一种基于图像旋转的深度图像编码方法，其特征在于所述的归一化右视点深度图像和预测图像之间的差值，得到差值图像步骤：

f)计算右视点深度图像和预测图像之间的差值：

Diff(x，y)＝D_R(x，y)—D_R_L(x，y)；

DiffMap(x，y)＝(Diff(x，y)+255)/2；

4.根据权利要求1所述的一种基于图像旋转的深度图像编码方法，其特征在于所述的运用视频编码技术，采用较大的量化参数对差值图像进行编码步骤：

QP_Diff＝QP_Left+5；