CN104079914B - 基于深度信息的多视点图像超分辨方法 - Google Patents

Abstract

本发明提供一种基于深度信息的多视点图像超分辨方法，主要解决现有技术对低分辨率视点图像进行超分辨重建时的边缘伪影现象。其实现过程为：根据针孔相机模型，利用深度信息和相关相机参数，采用后向投影法将视点k的高分辨率彩色图映射到视点n的图像位置上；对投影图像进行基于深度差和色度差的联合视点间像素映射关系的有效性检测，仅保留符合有效性检测的像素点，为避免不同视点间亮度不同的影响预先对视点k的彩色图进行亮度调整；分离出投影图像的高频信息，与视点n的低分辨率彩色图上采样后的图像相加，得到视点n的超分辨率重建图像。本发明在对低分辨率视点进行超分辨重建时可以有效减轻边缘伪影现象，提高超分辨重建图像的质量。

Description

基于深度信息的多视点图像超分辨方法

技术领域

本发明涉及一种基于深度信息的多视点图像超分辨方法，属于图像处理技术领域。

背景技术

目前多视点视频的获取和播放技术有了很大发展，3D立体视频成为一项很有前景的应用。但是伴随着立体视频的发展，随之产生了很多问题，例如传输数据量的增加以及计算复杂度的负担。其解决方法是采用混合分辨率的多视点视频架构，在发送端将个别视点的彩色图下采样，得到低分辨率形式，而在接收端通过超分辨技术恢复出其高频成分，以有效降低传输数据量和计算复杂度。如何在接收端有效恢复出低分辨率视点的高频信息具有重要的研究和应用意义。

文献“Superresolutionformultiviewimagesusingdepthinformation,IEEETrans.CircuitsSyst.VideoTechnol.,vol.22,no.9,pp.1321–1331,2012”公开了一种多视点图像超分辨方法。该方法利用深度信息在低分辨率视点和高分辨率视点的图像像素之间建立映射关系，然后利用反向投影的方法对这种映射关系的有效性进行检测，仅保留符合此有效性的像素点将其从高分辨率视点投影到低分辨率视点上，分离出高频成分作为对低分辨率视点的高频信息估计，得到低分辨率视点的分辨率提升结果。该方法的缺陷是利用反向投影法进行不同视点间像素映射关系的有效性检测，仅利用了图像的深度信息，由于前景物体边缘深度不准确会产生边缘伪影现象；其次，为进行反向投影需要进行两次视点间映射，增加了计算复杂度。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于深度信息的多视点图像超分辨方法。该方法采用基于深度和色度的联合视点间像素映射关系的有效性检测，在进行低分辨率视点的超分辨重建时，可以有效消除边缘伪影现象，提高超分辨重建图像的质量。

为了实现上述发明目的，本发明采用如下技术方案：

一种基于深度信息的多视点图像超分辨方法，该方法采用基于深度和色度的联合视点间像素映射关系的有效性检测，以消除边缘伪影现象，该方法包括以下步骤：

1)分别输入低分辨率视点视点n的深度图D_n和低分辨率彩色图高分辨率视点视点k的深度图D_k和高分辨率彩色图V_k；

2)对视点n的低分辨率彩色图进行上采样，得到其低频成分图像

3)对视点k的高分辨率彩色图V_k先后进行下采样和上采样，得到其低频成分图像

4)在视点n和视点k间进行视点映射，并进行基于深度差的视点间像素映射关系的有效性检测，将投影到视点n的图像位置上，得到投影图像

5)将投影图像与视点n的低频成分图像进行亮度对比，以此调整视点k的高分辨率彩色图V_k的图像亮度，得到亮度调整后的图像V′_k；

6)将亮度调整后的图像V′_k先后进行下采样和上采样，得到其低频成分图像

7)在步骤4)的投影结果的基础上进行基于亮度差的视点间像素映射关系的有效性检测，将V′_k投影到视点n的图像位置上，得到V_n|k；

8)分离出投影图像V_n|k的高频成分图像

9)对高频成分图像和低频成分图像进行求和，得到视点n的高分辨重建图像

优选的，在步骤4)中进行视点映射时，根据针孔相机模型，采用后向投影法，先将视点n的像素位置(u,v)投影到世界坐标系的坐标点(x,y,z)上，然后从(x,y,z)投影到视点k的像素位置(u’,v’)上。

优选的，在步骤4)中进行基于深度差的视点间像素映射关系的有效性检测，检测结果用a_d表示：

$a_d(u,v)=\left\{\begin{array}{c}1,\mathrm{if}|D_n(u,v)-D_k(u^{\&prime;},v^{\&prime;})|<T_1\\ 0,\mathrm{else}\end{array}\right.,$

T₁为预先设定的阈值，若a_d等于1表示该像素点的映射结果满足有效性检测，若a_d等于0则表示不满足，将满足有效性检测的像素点投影到视点n的图像位置上，得到投影图像

优选的，在步骤5)中将投影图像与视点n的低频成分图像转换到HSV颜色空间进行亮度对比。

优选的，在步骤5)中对HSV颜色空间的视点k的高分辨率彩色图V_k的亮度分量进行调整，然后将V_k由HSV颜色空间转换到RGB颜色空间，得到亮度调整后的图像V′_k。

优选的，在步骤7)中先将视点k的低频成分图像投影到低分辨率视点的图像位置上得到投影图像然后进行基于色度差的视点间像素映射关系的有效性检测，检测结果用a_c表示：

$a_c(u,v)=\left\{\begin{array}{c}1,\mathrm{if}|{V_{n|k}^L}^{\&prime;}(u,v)-V_n^L(u,v)|<T_2\\ 0,\mathrm{else}\end{array}\right.,$

T₂为预先设定的阈值，若a_c等于1表示该像素点的映射结果满足有效性检测，若a_c等于0则表示不满足，将亮度调整后的图像V_k'中同时满足基于深度差的视点间像素映射关系有效性检测和基于色度差的视点间像素映射关系有效性检测的像素点投影到视点n的图像位置上，得到投影图像V_n|k。

本发明与现有技术相比具有以下优点：

该方法在进行视点间像素映射关系的有效性检测时同时考虑了深度信息和色度信息，且为了避免不同视点间亮度不同造成影响，预先进行了亮度调整，与后向投影法相比，避免了由于前景物体边缘深度不准确产生的边缘伪影现象，提高了超分辨重建图像的质量；仅需要进行一次视点映射，降低了算法的计算复杂度。

附图说明

图1是本发明的流程图；

图2是本发明在实验中使用的视点n的深度图；

图3是本发明在实验中使用的视点n的低分辨率彩色图；

图4是本发明在实验中使用的视点k的深度图；

图5是本发明在实验中使用的视点k的高分辨率彩色图；

图6是本发明在仿真实验中得到的视点n的高分辨率重建图像；

图7是Diogo方法在仿真实验中得到的视点n的高分辨率重建图像。

具体实施方式

本发明提出一种基于深度信息的多视点图像超分辨方法。该方法采用基于深度和色度的联合视点间像素映射关系的有效性检测，在进行低分辨率视点的超分辨重建时，可以有效消除边缘伪影现象，提高超分辨重建图像的质量。

参照图1，本发明的具体实现步骤如下：

步骤1：分别输入视点n的深度图D_n，如图2所示，视点n的低分辨率彩色图如图3所示，放大倍数为2倍，视点k的深度图D_k，如图4所示，视点k的高分辨率彩色图V_k，如图5所示；

步骤2：对视点n的低分辨率彩色图进行2倍上采样，上采样使用6抽头滤波器，得到其低频成分图像

步骤3：对视点k的高分辨率彩色图V_k先后进行2倍下采样和2倍上采样，上采样和下采样均采用6抽头滤波器，得到其低频成分图像

步骤4：在视点n和视点k间进行视点映射，并进行基于深度差的视点间像素映射关系的有效性检测，将投影到视点n的图像位置上，得到投影图像

4a)在进行视点映射时，根据针孔相机模型，采用后向投影法，先将视点n的像素位置(u,v)投影到世界坐标系的坐标点(x,y,z)上，然后将世界坐标系的坐标点(x,y,z)投影到视点k的像素位置(u’,v’)上；

4b)对映射结果进行基于深度差的视点间像素映射关系的有效性检测，检测结果用a_d表示：

$a_d(u,v)=\left\{\begin{array}{c}1,\mathrm{if}|D_n(u,v)-D_k(u^{\&prime;},v^{\&prime;})|<T_1\\ 0,\mathrm{else}\end{array}\right.,$

T₁为预先设定的阈值，若a_d等于1表示该像素点的映射结果满足有效性检测，若a_d等于0则表示不满足，将满足有效性检测的像素点投影到视点n的图像位置上，得到投影图像

$V_{n|k}^L(u,v)=\left\{\begin{array}{c}{V}_k^L(u^{\&prime;},v^{\&prime;}),a_d(u,v)=1\\ 0,a_d(u,v)=0\end{array}\right.;$

步骤5：将投影图像与视点n的低频成分图像进行亮度对比，以此调整视点k的高分辨率彩色图V_k的图像亮度，得到亮度调整后的图像V_k'：

5a)将和V_k由RGB颜色空间转换到HSV颜色空间，V表示亮度分量，对中的非空洞像素点及中的对应像素点求出亮度分量的比值：

$r(i,j)=\frac{V_n^L(i,j)}{V_{n|k}^L(i,j)},$

$r_{\mathrm{mean}}=\frac{1}{p}\mathrm{\&Sigma;}r(i,j),$

其中，p为中非空洞像素点的个数，r_mean为亮度分量平均比值；

5b)用r_mean对HSV颜色空间中的V_k的亮度分量进行调整，然后将V_k由HSV颜色空间转换到RGB颜色空间，得到亮度调整后的图像V′_k；

步骤6：将亮度调整后的图像V′_k先后进行2倍下采样和2倍上采样，上采样均采用6抽头滤波器，得到其低频成分图像

步骤7：在步骤4的投影结果的基础上进行基于亮度差的视点间像素映射关系的有效性检测，将V′_k投影到视点n的图像位置上，得到V_n|k：

7a)根据步骤4的视点映射结果及基于深度差的视点间像素映射关系的有效性检测结果a_d将视点k的低频成分图像投影到低分辨率视点的图像位置上得到投影图像

${V_{n|k}^L}^{\&prime;}(u,v)=\left\{\begin{array}{c}{V_k^L}^{\&prime;}(u^{\&prime;},v^{\&prime;}),a_d(u,v)=1\\ 0,a_d(u,v)=0\end{array}\right.;$

7b)进行基于色度差的视点间像素映射关系的有效性检测，检测结果用a_c表示：

$a_c(u,v)=\left\{\begin{array}{c}1,\mathrm{if}|{V_{n|k}^L}^{\&prime;}(u,v)-V_n^L(u,v)|<T_2\\ 0,\mathrm{else}\end{array}\right.,$

T₂为预先设定的阈值，若a_c等于1表示该像素点的映射结果满足有效性检测，若a_c等于0则表示不满足；

7c)将亮度调整后的图像V′_k中同时满足基于深度差的视点间像素映射关系有效性检测和基于色度差的视点间像素映射关系有效性检测的像素点投影到视点n的图像位置上，得到投影图像V_n|k：

$V_{n|k}(u,v)=\left\{\begin{array}{c}{V}_k^{\&prime;}(u^{\&prime;},v^{\&prime;}),a_d(u,v)=1\&cap;a_c(u,v)=1\\ 0,\mathrm{else}\end{array}\right.;$

步骤8：分离出投影图像V_n|k的高频成分图像

对投影图像V_n|k先后进行2倍下采样和2倍上采样，上采样和下采样均采用6抽头滤波器，得到其低频成分图像然后将投影图像V_n|k和其低频成分图像相减，得到高频成分图像

$V_{n|k}^H=V_{n|k}-V_{n|k}^L;$

步骤9:对高频成分图像和低频成分图像进行求和，得到视点n的高分辨重建图像

${\hat{V}}_n=V_{n|k}^H+V_n^L.$

本发明的效果可以通过以下实验具体说明：

1.实验条件：Pentium(R)Dual‐CoreCPUE67003.20GHZ3.19GHz、2GBRAM，编程平台为MATLABR2010a，实验所用的图像为Ballet图像，图像大小为384x512，实验中用到的低分辨率视点图像如图3所示，高分辨率视点图像如图5所示。

2.实验内容

本实验具体分为两个实验：

实验一：利用本发明对低分辨率视点图像图3进行超分辨重建，结果如图6所示；

实验二：利用现有的Diogo方法(Superresolutionformultiviewimagesusingdepthinformation,IEEETrans.CircuitsSyst.VideoTechnol.,vol.22,no.9,pp.1321–1331,2012)对低分辨率视点图像图3进行超分辨重建，结果如图7所示。

仿真实验中，应用峰值信噪比PSNR评价指标来评价复原结果的优劣，PSNR的定义为：

$\mathrm{PSNR}=10\mathrm{lo}{g}_{10}\left(\frac{{255}^2\&times;M\&times;N}{\mathrm{\&Sigma;}{\left|\right|x-f\left|\right|}^2}\right),$

其中，f为清晰图像，x为重建后的图像，M和N为清晰图像f的像素行数和像素列数。

用本发明和现有的Diogo方法，分别对低分辨率视点图像进行超分辨重建仿真。应用峰值信噪比PSNR对重建结果图进行评价，评价结果如表1所示，其中Alg1是本发明的方法，Alg2是Diogo方法。

表1.本发明方法和Diogo方法在仿真实验中得到的PSNR值

3.实验结果分析：

从图6可以看出，本发明得到的视点n的重建结果不但补充了高频细节信息，而且有效消除了边缘伪影现象，视觉效果更好；

从图7可以看出，由Diogo方法得到的视点n的重建结果存在边缘伪影现象，视觉效果不好；

从表1中可以看出，本发明比Diogo方法具有更高的PSNR值，能够更有效地重建高分辨率图像。

Claims (6)

1.一种基于深度信息的多视点图像超分辨方法，该方法采用基于深度和色度的联合视点间像素映射关系的有效性检测，以消除边缘伪影现象，该方法包括以下步骤：

1)分别输入低分辨率视点视点n的深度图D_n和低分辨率彩色图高分辨率视点视点k的深度图D_k和高分辨率彩色图V_k；

2)对视点n的低分辨率彩色图进行上采样，得到其低频成分图像

3)对视点k的高分辨率彩色图V_k先后进行下采样和上采样，得到其低频成分图像

4)在视点n和视点k间进行视点映射，并进行基于深度差的视点间像素映射关系的有效性检测，将投影到视点n的图像位置上，得到投影图像

5)将投影图像与视点n的低频成分图像进行亮度对比，以此调整视点k的高分辨率彩色图V_k的图像亮度，得到亮度调整后的图像V_k′；

6)将亮度调整后的图像V_k′先后进行下采样和上采样，得到其低频成分图像

7)在步骤4)的投影结果的基础上进行基于亮度差的视点间像素映射关系的有效性检测，将V_k′投影到视点n的图像位置上，得到V_n|k，具体步骤为：

7a)根据步骤4的视点映射结果及基于深度差视点间像素映射关系的有效性检测结果a_d将视点k的低频成分图像投影到低分辨率视点的图像位置上得到投影图像

${V_{n|k}^L}^{\&prime;}(u,v)=\left\{\begin{array}{c}{V_k^L}^{\&prime;}(u^{\&prime;},v^{\&prime;}),a_d(u,v)=1\\ 0,a_d(u,v)=0\end{array}\right.;$

7b)进行基于色度差的视点间像素映射关系的有效性检测，检测结果用a_c表示：

$a_c(u,v)=\{\begin{array}{c}1,if{V_{n|k}^L}^{\&prime;}(u,v)-V_n^L(u,v)<T_2\\ 0,else\end{array},$

T₂为预先设定的阈值，若a_c等于1表示该像素点的映射结果满足有效性检测，若a_c等于0则表示不满足；

7c)将亮度调整后的图像V_k′中同时满足基于深度差的视点间像素映射关系有效性检测和基于色度差的视点间像素映射关系有效性检测的像素点投影到视点n的图像位置上，得到投影图像V_n|k：

$V_{n|k}(u,v)=\{\begin{array}{c}{V}_k^{\&prime;}(u^{\&prime;},v^{\&prime;}),a_d(u,v)=1\&cap;a_c(u,v)=1\\ 0,else\end{array};$

8)分离出投影图像V_n|k的高频成分图像

9)对高频成分图像和低频成分图像进行求和，得到视点n的高分辨重建图像

2.根据权利要求1所述的基于深度信息的多视点图像超分辨方法，其特征在于：在步骤4)中进行视点映射时，根据针孔相机模型，采用后向投影法，先将视点n的像素位置(u,v)投影到世界坐标系的坐标点(x,y,z)上，然后从(x,y,z)投影到视点k的像素位置(u’,v’)上。

3.根据权利要求1所述的基于深度信息的多视点图像超分辨方法，其特征在于：在步骤4)中进行基于深度差的视点间像素映射关系的有效性检测，检测结果用a_d表示：

$a_d(u,v)=\left\{\begin{array}{c}1,if\left|D_n\right(u,v)-D_k(u^{\&prime;},v^{\&prime;}\left)\right|<T_1\\ 0,else\end{array}\right.,$

T₁为预先设定的阈值，若a_d等于1表示该像素点的映射结果满足有效性检测，若a_d等于0则表示不满足，将满足有效性检测的像素点投影到视点n的图像位置上，得到投影图像

4.根据权利要求1所述的基于深度信息的多视点图像超分辨方法，其特征在于：在步骤5)中将投影图像与视点n的低频成分图像转换到HSV颜色空间进行亮度对比。

5.根据权利要求1所述的基于深度信息的多视点图像超分辨方法，其特征在于：在步骤5)中对HSV颜色空间的视点k的高分辨率彩色图V_k的亮度分量进行调整，然后将V_k由HSV颜色空间转换到RGB颜色空间，得到亮度调整后的图像V_k′。

6.根据权利要求1所述的基于深度信息的多视点图像超分辨方法，其特征在于：在步骤7)中先将视点k的低频成分图像投影到低分辨率视点的图像位置上得到投影图像然后进行基于色度差的视点间像素映射关系的有效性检测，检测结果用a_c表示：

$a_c(u,v)=\{\begin{array}{c}1,if|{V_{n|k}^L}^{\&prime;}(u,v)-V_n^L(u,v)|<T_2\\ 0,else\end{array},$

T₂为预先设定的阈值，若a_c等于1表示该像素点的映射结果满足有效性检测，若a_c等于0则表示不满足，将亮度调整后的图像V_k'中同时满足基于深度差的视点间像素映射关系有效性检测和基于色度差的视点间像素映射关系有效性检测的像素点投影到视点n的图像位置上，得到投影图像V_n|k。