CN109345444A - 深度感知增强的超分辨率立体图像构建方法 - Google Patents

Abstract

深度感知增强的超分辨率立体图像构建方法，包括如下步骤：步骤1.划分图像的层次区域；步骤2.重建基于稀疏表示的多层次超分辨率；步骤3.构建高分辨率立体图像。本发明将超分辨率重建和立体构建两个过程结合起来，可以有效抑制噪点；对不同深度层次的图像块使用不同精细程度的超分辨率重建，增强立体图像的深度感。

Description

深度感知增强的超分辨率立体图像构建方法

技术领域

本发明涉及构建高清晰度的立体图像的方法。

背景技术

随着立体显示技术的快速发展，人们对于高清晰立体图像和视频的需求日益增长。直接拍摄三维图像的成本比较高，从二维图像重建是获得立体图像的一种常用方式。其次在已有的图像资源中，许多图像的分辨率比较低，质量往往达不到人们的要求。故本发明主要目的是将低分辨率二维图像重建为高分辨率立体图像。

超分辨率重建，就是利用信号处理和图像处理的方法，通过算法将已有的低分辨率图像转换成高分辨率图像的技术。图像的超分辨率重建与立体图像的构建这两种技术一直以来都是分别考虑与发展的，但当需要构建高清晰度的立体图像时，如果先后进行图像的超分辨率与立体图像构建，两种技术之间会产生相互的影响，导致所构建的高清晰度立体图像质量不佳。

发明内容

本发明要克服现有技术的上述缺点，提供一种深度感知增强的超分辨率立体图像构建方法。

本发明设计了一种深度感知增强的超分辨率立体图像构建方法，将单张低分辨率二维图像重建为高分辨率立体图像。首先根据低分辨率参考图像和深度图将低分辨率图像划分为近景、中景和远景三部分，再对不同部分采用三种不同的稀疏字典进行高分辨率重建，最后根据重建的高分辨率图像和深度图像构建立体图像。

深度感知增强的超分辨率立体图像构建方法，包括如下步骤：

1.划分图像的层次区域；

为了提升生成的超分辨率立体图像的层次感，对低分辨率图像，将图像分为近景、中景和远景三部分，具体如下：

对深度图进行分析计算得到近景和中景划分的阈值d_near，中景和远景划分的阈值d_far。阈值计算公式如下：

其中，d_max为深度图中的灰度最大值，d_min为深度图中的灰度最小值，为深度图的灰度均值，α表示比例系数，取α＝0.15。

2.重建基于稀疏表示的多层次超分辨率；

为了使得不同深度层次的图像区域获得不同精细程度的超分辨率重建，使用了三个不同的超分辨率稀疏字典。对于处于区域的交界处的图像块，根据该图像块中属于各个区域的像素所占的比例来选择此图像块所对应的超分辨率字典。

(21)将低分辨率图像通过双三次插值的方式放大为原来的4倍。

(22)训练得到近景、中景、远景三种超分辨率字典。具体步骤如下：

S1.从高分辨率图像训练集下采样获取2倍、3倍、4倍的低分辨率训练图像块样本集，然后再通过双三次插值恢复到原始尺寸。

S2.对高分辨率和低分辨率图像块字典进行联合训练：

式中N,M分别表示高分辨率图像块和低分辨率图像块特征向量形式的维度。X^h表示高分辨率样本集，Y_i ^l是使用i倍下采样比例的低分辨率图像块的样本集，i可以取2，3，4，分别表示2倍、3倍、4倍下采样比例的低分辨率图像块的样本集，D_h是高分辨率字典，D_l,i是i倍下采样的低分辨率字典，Z是稀疏编码，λ表示编码系数，||α||₁表示求解α的L1范式，||α||₂表示求解α的L2范式。

(23)对于每个像素块，计算像素点的深度值在近景、中景、远景区域中所占的比例。根据所占的比例，使用不同的超分辨率重建字典，将图像重建为高分辨率的图像。

3.构建高分辨率立体图像；

对重建的高分辨率图像采用DIBR三维图像变换技术计算得到对应的虚拟视图，然后结合参考视图和虚拟视图构建立体图像。具体步骤如下：

(31)将重建块根据其位置组合起来，并对块与块之间的重叠区域进行均值化处理。

(32)将高分辨率参考视图作为立体图像中的左眼视图，即立体图像构建过程中的参考视图，通过DIBR技术得到的虚拟视图作为立体图像的右眼视图。

T1.设高分辨率图像块中坐标为(u,v)的像素点的深度值为d_h(u,v)，则该像素点通过三维图像变换映射到虚拟视图中的位置(u',v')为：

其中f为摄像机的焦距，s_x为摄像机传感器中水平方向上单位尺寸上的像素数，B为双目之间的距离，D_ZPS为零视差平面，这里使用近景阈值d_near作为零视差平面，这使得近景区域在立体视觉感知中位于屏幕的前方，可以获得更好的立体视觉体验。

T2.取参考视图G通道和B通道的值，取虚拟视图R通道的值，将这三个通道进行叠加，即可得到红蓝立体图像的效果。

本发明的优点是：将超分辨率重建和立体构建两个过程结合起来，可以有效抑制噪点；本发明对不同深度层次的图像块使用不同精细程度的超分辨率重建，增强立体图像的深度感。

附图说明

图1是本发明的方法流程图。

具体实施方式

下面结合附图进一步说明本发明的技术方案。

深度感知增强的超分辨率立体图像构建方法，包括如下步骤：

1.划分图像的层次区域；

为了提升生成的超分辨率立体图像的层次感，对低分辨率图像，将图像分为近景、中景和远景三部分，具体如下：

对深度图进行分析计算得到近景和中景划分的阈值d_near，中景和远景划分的阈值d_far。阈值计算公式如下：

其中，d_max为深度图中的灰度最大值，d_min为深度图中的灰度最小值，为深度图的灰度均值，α表示比例系数，取α＝0.15。

2.重建基于稀疏表示的多层次超分辨率；

为了使得不同深度层次的图像区域获得不同精细程度的超分辨率重建，使用了三个不同的超分辨率稀疏字典。对于处于区域的交界处的图像块，根据该图像块中属于各个区域的像素所占的比例来选择此图像块所对应的超分辨率字典。

(21)将低分辨率图像通过双三次插值的方式放大为原来的4倍。

(22)训练得到近景、中景、远景三种超分辨率字典。具体步骤如下：

S1.从高分辨率图像训练集下采样获取2倍、3倍、4倍的低分辨率训练图像块样本集，然后再通过双三次插值恢复到原始尺寸。

S2.对高分辨率和低分辨率图像块字典进行联合训练：

式中N,M分别表示高分辨率图像块和低分辨率图像块特征向量形式的维度。X^h表示高分辨率样本集，Y_i ^l是使用i倍下采样比例的低分辨率图像块的样本集，i可以取2，3，4，分别表示2倍、3倍、4倍下采样比例的低分辨率图像块的样本集，D_h是高分辨率字典，D_l,i是i倍下采样的低分辨率字典，Z是稀疏编码，λ表示编码系数，||α||₁表示求解α的L1范式，||α||₂表示求解α的L2范式。

(23)对于每个像素块，计算像素点的深度值在近景、中景、远景区域中所占的比例。根据所占的比例，使用不同的超分辨率重建字典，将图像重建为高分辨率的图像。

3.构建高分辨率立体图像；

对重建的高分辨率图像采用DIBR三维图像变换技术计算得到对应的虚拟视图，然后结合参考视图和虚拟视图构建立体图像。具体步骤如下：

(31)将重建块根据其位置组合起来，并对块与块之间的重叠区域进行均值化处理。

(32)将高分辨率参考视图作为立体图像中的左眼视图，即立体图像构建过程中的参考视图，通过DIBR技术得到的虚拟视图作为立体图像的右眼视图。

T1.设高分辨率图像块中坐标为(u,v)的像素点的深度值为d_h(u,v)，则该像素点通过三维图像变换映射到虚拟视图中的位置(u',v')为：

其中f为摄像机的焦距，s_x为摄像机传感器中水平方向上单位尺寸上的像素数，B为双目之间的距离，D_ZPS为零视差平面。这里使用近景阈值d_near作为零视差平面，这使得近景区域在立体视觉感知中位于屏幕的前方，可以获得更好的立体视觉体验。

T2.取参考视图G通道和B通道的值，取虚拟视图R通道的值，将这三个通道进行叠加，即可得到红蓝立体图像的效果。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.深度感知增强的超分辨率立体图像构建方法，包括如下步骤：

步骤1.划分图像的层次区域；

为了提升生成的超分辨率立体图像的层次感，对低分辨率图像，将图像分为近景、中景和远景三部分，具体如下：

对深度图进行分析计算得到近景和中景划分的阈值d_near，中景和远景划分的阈值d_far；阈值计算公式如下：

其中，d_max为深度图中的灰度最大值，d_min为深度图中的灰度最小值，为深度图的灰度均值，α表示比例系数，取α＝0.15；

步骤2.重建基于稀疏表示的多层次超分辨率；

为了使得不同深度层次的图像区域获得不同精细程度的超分辨率重建，使用了三个不同的超分辨率稀疏字典；对于处于区域的交界处的图像块，根据该图像块中属于各个区域的像素所占的比例来选择此图像块所对应的超分辨率字典；

(21)将低分辨率图像通过双三次插值的方式放大为原来的4倍；

(22)训练得到近景、中景、远景三种超分辨率字典；具体步骤如下：

S1.从高分辨率图像训练集下采样获取2倍、3倍、4倍的低分辨率训练图像块样本集，然后再通过双三次插值恢复到原始尺寸；

S2.对高分辨率和低分辨率图像块字典进行联合训练：

式中N,M分别表示高分辨率图像块和低分辨率图像块特征向量形式的维度；X^h表示高分辨率样本集，Y_i ^l是使用i倍下采样比例的低分辨率图像块的样本集，i可以取2，3，4，分别表示2倍、3倍、4倍下采样比例的低分辨率图像块的样本集，D_h是高分辨率字典，D_l,_i是i倍下采样的低分辨率字典，Z是稀疏编码，λ表示编码系数，||α||₁表示求解α的L1范式，||α||₂表示求解α的L2范式；

(23)对于每个像素块，计算像素点的深度值在近景、中景、远景区域中所占的比例；根据所占的比例，使用不同的超分辨率重建字典，将图像重建为高分辨率的图像；

步骤3.构建高分辨率立体图像；

对重建的高分辨率图像采用DIBR三维图像变换技术计算得到对应的虚拟视图，然后结合参考视图和虚拟视图构建立体图像；具体步骤如下：

(31)将重建块根据其位置组合起来，并对块与块之间的重叠区域进行均值化处理；

(32)将高分辨率参考视图作为立体图像中的左眼视图，即立体图像构建过程中的参考视图，通过DIBR技术得到的虚拟视图作为立体图像的右眼视图；

T1.设高分辨率图像块中坐标为(u,v)的像素点的深度值为d_h(u,v)，则该像素点通过三维图像变换映射到虚拟视图中的位置(u',v')为：

其中f为摄像机的焦距，s_x为摄像机传感器中水平方向上单位尺寸上的像素数，B为双目之间的距离，D_ZPS为零视差平面，这里使用近景阈值d_near作为零视差平面，这使得近景区域在立体视觉感知中位于屏幕的前方，可以获得更好的立体视觉体验；

T2.取参考视图G通道和B通道的值，取虚拟视图R通道的值，将这三个通道进行叠加，即可得到红蓝立体图像的效果。