CN104065947B - 一种集成成像系统的深度图获取方法 - Google Patents

Abstract

本发明公开了一种集成成像系统的深度图获取方法，首先利用计算机重构方法生成不同视点的多幅视图；从中选择N幅具有连续水平视差的视图，以最左一幅视图为参考图像或最右一幅视图为参考图像，分别与其他视图进行立体匹配，得到N-1幅视差图；以参考图像的N-1幅视差图为基础，对每个像素点的N-1个视差值进行正比例函数拟合，拟合的系数即为该像素与最邻近视图的视差值，根据视差与深度的关系式，计算得到参考图像的深度图。本发明简化了深度测量过程，使得立体匹配过程比较容易实现，降低了视图之间在图像边缘区域和深度不连续区域的误匹配，去除由于记录噪声等因素产生的误匹配，提高了深度图的准确度。

Description

一种集成成像系统的深度图获取方法

技术领域

本发明属于三维深度信息获取技术领域，尤其涉及一种集成成像系统的深度图获取方法。

背景技术

深度测量在虚拟现实仿真的增强现实技术、立体显示、远程医疗、基于图形的绘制等方面有着广泛的应用。深度测量是获取三维场景深度信息的重要步骤，是机器视觉研究领域的重要难题之一。

目前深度图的获取主要存在两种方式，一种是通过深度相机进行拍摄获取，一种是通过立体匹配算法获取。由于深度相机价格昂贵且获取的深度图分辨率较低，所以目前通过立体匹配算法获取深度图成为主要的手段。

在经典的机器视觉领域，是通过寻找两张或多张同一空间场景不同角度的图像之间的匹配关系来进行深度估算，但这类方法需要确定摄像机的几何位置和有关参数，这一直是传统机器视觉研究领域中的困难所在。

集成成像(IntegralImaging，简称II)，是一种用微透镜阵列来记录和显示空间场景信息的全真三维显示技术，由于该技术具有许多显著的优点而受到三维显示领域的广泛关注。图1展现了典型的集成成像系统的采集和显示部分。如图1(a)所示，采集部分包括微透镜阵列和采集设备如CCD相机，3D物空间场景通过微透镜阵列被CCD相机采集，每个微透镜都从不同的方向记录一部分物体空间，相应生成一幅幅小图被称为元素图像；如图1(b)所示，显示部分中，把2D元素图像集合放在具有同样参数的显示微透镜阵列后，相应的微透镜阵列把许许多多“元素图像”透射/反射出来的光线聚集后可还原出原来的3D空间。因为在集成成像的采集部分，每个微透镜从不同角度把物空间场景的深度信息记录下来，整个过程只有一次成像过程，不存在相机的参数设置和校准问题，所以，利用集成成像技术获取深度信息，简化了深度测量过程，具有一定的优势。

但是目前集成成像系统获取深度图的方法也存在需要解决的问题，因为每个微透镜产生的元素图像的分辨率非常低，如果直接对多幅元素图像进行立体匹配来获得深度信息比较困难。因此，需要从充分利用集成成像技术优势的角度出发，研究深度信息提取方法，提高获取的深度图的质量。

发明内容

本发明实施例的目的在于提供一种集成成像系统的深度图获取方法，旨在解决集成成像系统中，采用传统的多目视方法通过元素图像间的视差信息直接获取深度图比较困难的问题。

本发明实施例是这样实现的，一种集成成像系统的深度图获取方法，该集成成像系统的深度图获取方法包括以下步骤：

第一步，对集成成像系统采集的2D元素图像集合，采用计算机重构方法生成不同视点的多幅视图，即从每个元素图像的局部相同位置提取像素形成一幅视图，改变从每个元素图像中提取像素的局部位置，即可形成不同视点的视图；

第二步，选择N幅具有连续水平视差的视图，相邻的两幅视图抽样距离为1个像素，也就是在视图生成过程时，从每个元素图像提取像素的位置在水平方向上距离为1个像素，以最左一幅视图为参考图像或最右一幅视图为参考图像，分别与其他视图进行立体匹配，得到N-1幅视差图；

第三步，以参考图像的N-1幅视差图为基础，对每个像素点的N-1个视差值进行正比例函数拟合，拟合的系数即为该像素与最邻近视图的视差值，根据视差与深度的关系，即可获得参考图像的深度图。

进一步，在第二步中，详细步骤如下：

步骤一，设搜索窗口大小为W、颜色相似性判定阈值为T1；

步骤二，建立参考图像中像素(i,j)的自适应匹配窗口W1：根据颜色相似性原理，以该像素为中心，分别计算搜索窗口W内每个像素与中心像素的颜色差值的绝对值，如果该数值小于颜色相似性阈值T1，则对应像素属于自适应匹配窗口，否则，不属于自适应匹配窗口，从而建立该像素的自适应匹配窗口W1；

步骤三，计算参考图像中像素(i,j)与待匹配图像中对应像素在自适应匹配窗口中的相似度：用来进行相似度测量的代价函数定义为：

Cost(i,j,d)＝C_color(i,j,d)+C_grad(i,j,d)(1)

其中，像素点(i,j)的视差为d,(i,j)和(i,j+d)是左右图像分别对应的像素点，左图l为参考图像，右图r为待匹配图像，C_color(i,j,d)为RGB三个颜色通道的绝对差值之和，定义为式(2)，C_grad(i,j,d)为水平、垂直梯度的绝对差值之和，定义为式(3)；

$C_{\mathrm{color}}(i,j,d)=|I_R^l(i,j)-I_R^r(i,j+d)|+|I_G^l(i,j)-I_G^r(i,j+d)|+|I_B^l(i,j)-I_B^r(i,j+d)|---\left(2\right)$

$G_{\mathrm{grad}(}(i,j,d)=|{\▿}_x{I}^l(i,j)-{\▿}_x{I}^r(i,j+d)|+|{\▿}_y{I}^l(i,j)-{\▿}_y{I}^r(i,j+d)|---\left(3\right)$

计算自适应匹配窗口W1的像素个数为M，根据代价函数公式(1)，计算该像素与待匹配图像对应像素点在自适应窗口内的匹配代价，公式如下：

$\mathrm{AveCost}(i,j,d)=\frac{1}{M}\underset{(i,j)\∈W1}{\mathrm{\Σ}}\mathrm{Cost}(i,j,d)---\left(4\right)$

步骤四，获得像素点(i,j)的视差值：通过最小化匹配代价函数得到像素点(i,j)的最佳视差值，公式如下：

$d(i,j)\underset{d\∈D}{\arg \min }\mathrm{AveCost}(i,j,d)---\left(5\right)$

式中，D＝{d_min,…,d_max}是可行的视差搜索范围；

步骤五，重复步骤二～步骤四，获得参考图像与待匹配图像的视差图。

进一步，在第三步中，物空间一点的深度Z与该点在视图对之间的视差d的关系如下：

$Z=\frac{d\·\mathrm{\ψ}\·F}{\mathrm{\Δ}}---\left(6\right)$

其中，Δ表示两视图对之间的抽样距离，ψ、F分别表示微透镜的孔径和焦距；

对于参考图像的某个像素点来说，Z、ψ、F都是固定值，所以视差d与抽样距离Δ满足正比例函数关系，如式(7)所示：

$d=\frac{Z}{\mathrm{\ψ}\·F}\mathrm{\Δ}---\left(7\right).$

本发明提供的集成成像系统的深度图获取方法，与传统的机器视觉领域中获得深度信息的方式相比，本发明的深度图获取方式具有显著的技术效果：

(1)由于集成成像技术只有一次成像过程记录场景的深度线索，不存在相机的参数设置和校准问题，利用集成成像技术获取深度信息简化了深度测量过程；

(2)每个微透镜产生的元素图像的分辨率非常低，通过对不同元素图像进行立体匹配寻找视差比较困难，所以本发明是对计算机重构的多幅视图进行立体匹配寻找视差，视图的分辨率可以通过现有的计算机重构方法得到很大提高，因此，对视图进行立体匹配比较容易实现；

(3)因为集成成像系统提取出来的视图灰度不均匀，会影响视图之间匹配的准确度，为了降低这些因素对立体匹配的影响，本发明根据颜色相似性构建自适应匹配窗口，增强了算法的鲁棒性，降低了图像边缘区域和深度不连续区域的误匹配，提高匹配准确度；

(4)充分利用集成成像系统能够产生多幅连续视点视图的特点，分别计算某参考视图与其他视图之间的视差，对参考图像的多幅视差图进行正比例函数拟合，从而获得最终视差图，这样能够去除由于记录噪声等因素产生的误匹配，提高了深度图的准确度。

附图说明

图1是本发明实施例提供的集成成像系统的图像采集部分与显示部分；

图2是本发明实施例提供的集成成像系统的深度图获取方法流程图；

图3是本发明实施例提供的两幅视图立体匹配流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图及具体实施例对本发明的应用原理作进一步描述。

如图2所示，本发明实施例的集成成像系统的深度图获取方法包括以下步骤：

S101：对集成成像系统采集的2D元素图像集合，采用计算机重构方法生成不同视点的多幅视图，即从每个元素图像的局部相同位置提取像素形成一幅视图，改变从每个元素图像中提取像素的局部位置，即可形成不同视点的视图；

S102：选择N幅具有连续水平视差的视图，相邻的两幅视图抽样距离为1个像素，也就是在视图生成过程时，从每个元素图像提取像素的位置在水平方向上距离为1个像素，以最左一幅视图为参考图像或最右一幅视图为参考图像，分别与其他视图进行立体匹配，得到N-1幅视差图；

S103：以参考图像的N-1幅视差图为基础，对每个像素点的N-1个视差值进行正比例函数拟合，拟合的系数即为该像素与最邻近视图的视差值，根据视差与深度的关系，即可获得参考图像的深度图；

在步骤S102中，详细步骤如下：

步骤一，设搜索窗口大小为W、颜色相似性判定阈值为T1；

步骤二，建立参考图像中像素(i,j)的自适应匹配窗口W1：根据颜色相似性原理，以该像素为中心，分别计算搜索窗口W内每个像素与中心像素的颜色差值的绝对值，如果该数值小于颜色相似性阈值T1，则对应像素属于自适应匹配窗口，否则，不属于自适应匹配窗口，从而建立该像素的自适应匹配窗口W1；

步骤三，计算参考图像中像素(i,j)与待匹配图像中对应像素在自适应匹配窗口中的相似度：用来进行相似度测量的代价函数定义为：

Cost(i,j,d)＝C_color(i,j,d)+C_grad(i,j,d)(1)

其中，设像素点(i,j)的视差为d,(i,j)和(i,j+d)是左右图像分别对应的像素点，设左图l为参考图像，右图r为待匹配图像，C_color(i,j,d)为RGB三个颜色通道的绝对差值之和，定义为式(2)，C_grad(i,j,d)为水平、垂直梯度的绝对差值之和，定义为式(3)；

$C_{\mathrm{color}}(i,j,d)=|I_R^l(i,j)-I_R^r(i,j+d)|+|I_G^l(i,j)-I_G^r(i,j+d)|+|I_B^l(i,j)-I_B^r(i,j+d)|---\left(2\right)$

$G_{\mathrm{grad}(}(i,j,d)=|{\▿}_x{I}^l(i,j)-{\▿}_x{I}^r(i,j+d)|+|{\▿}_y{I}^l(i,j)-{\▿}_y{I}^r(i,j+d)|---\left(3\right)$

计算自适应匹配窗口W1的像素个数为M，根据代价函数公式(1)，计算该像素与待匹配图像对应点在自适应窗口内的匹配代价，公式如下：

$\mathrm{AveCost}(i,j,d)=\frac{1}{M}\underset{(i,j)\∈W1}{\mathrm{\Σ}}\mathrm{Cost}(i,j,d)---\left(4\right)$

步骤四，获得像素点(i,j)的视差值：通过最小化匹配代价函数得到像素点(i,j)的最佳视差值，公式如下：

$d(i,j)\underset{d\∈D}{\arg \min }\mathrm{AveCost}(i,j,d)---\left(5\right)$

式中，D＝{d_min,…,d_max}是可行的视差搜索范围；

步骤五，重复步骤二～步骤四，获得参考图像与待匹配图像的视差图；

在步骤S103中，物空间一点的深度Z与该点在视图对之间的视差d的关系如下：

$Z=\frac{d\·\mathrm{\ψ}\·F}{\mathrm{\Δ}}---\left(6\right)$

其中，Δ表示两视图对之间的抽样距离，ψ、F分别表示微透镜的孔径和焦距；

对于参考图像的某个像素点来说，Z、ψ、F都是固定值，所以视差d与抽样距离Δ满足正比例函数关系，如式(7)所示：

$d=\frac{Z}{\mathrm{\ψ}\·F}\mathrm{\Δ}---\left(7\right).$

本发明中，每个像素点都对应了N-1个视差值，这是由参考图像分别与其他N-1幅视图进行立体匹配计算得到的，参考图像与其他N-1幅视图生成时的像素提取位置的水平距离(即抽样距离)分别为1、2、…N-1个像素，因此，分别以抽样距离为横坐标，以对应的视差值为纵坐标，对这N-1个点进行正比例函数拟合，拟合的系数即为该像素在抽样距离为1个像素时的视差值，对参考图像中的每个像素进行视差拟合，即可获得参考图像的拟合视差图。最后根据式(6)，可以计算得到参考图像的深度图。

本发明的具体步骤如下：

第一步，对集成成像系统采集的2D元素图像集合，采用计算机重构方法生成不同视点的多幅视图，即从每个元素图像的局部相同位置提取像素形成一幅视图，改变从每个元素图像中提取像素的局部位置，即可形成不同视点的视图；

第二步，选择N幅具有连续水平视差的视图，相邻的两幅视图抽样距离为1个像素，也就是在视图生成过程时，从每个元素图像提取像素的位置在水平方向上距离为1个像素。以最左一幅视图为参考图像(也可以最右一幅视图为参考图像)，分别与其他视图进行立体匹配，得到N-1幅视差图。两幅视图进行立体匹配的流程图如图3所示，详细步骤如下：

步骤一，设搜索窗口大小为W、颜色相似性判定阈值为T1；

步骤二，建立参考图像中像素(i,j)的自适应匹配窗口W1：根据颜色相似性原理，以该像素为中心，分别计算搜索窗口W内每个像素与中心像素的颜色差值的绝对值，如果该数值小于颜色相似性阈值T1，则对应像素属于自适应匹配窗口，否则，不属于自适应匹配窗口，从而建立该像素的自适应匹配窗口W1；

步骤三，计算参考图像中像素(i,j)与待匹配图像中对应像素在自适应匹配窗口中的相似度：用来进行相似度测量的代价函数定义为：

Cost(i,j,d)＝C_color(i,j,d)+C_grad(i,j,d)(1)

其中，设像素点(i,j)的视差为d,(i,j)和(i,j+d)是左右图像分别对应的像素点，设左图l为参考图像，右图r为待匹配图像，C_color(i,j,d)为RGB三个颜色通道的绝对差值之和，定义为式(2)，C_grad(i,j,d)为水平、垂直梯度的绝对差值之和，定义为式(3)；

$C_{\mathrm{color}}(i,j,d)=|I_R^l(i,j)-I_R^r(i,j+d)|+|I_G^l(i,j)-I_G^r(i,j+d)|+|I_B^l(i,j)-I_B^r(i,j+d)|---\left(2\right)$

$G_{\mathrm{grad}(}(i,j,d)=|{\▿}_x{I}^l(i,j)-{\▿}_x{I}^r(i,j+d)|+|{\▿}_y{I}^l(i,j)-{\▿}_y{I}^r(i,j+d)|---\left(3\right)$

计算自适应匹配窗口W1的像素个数为M，根据代价函数公式(1)，计算该像素与待匹配图像对应像素点在自适应窗口内的匹配代价，公式如下：

$\mathrm{AveCost}(i,j,d)=\frac{1}{M}\underset{(i,j)\∈W1}{\mathrm{\Σ}}\mathrm{Cost}(i,j,d)---\left(4\right)$

步骤四，获得像素点(i,j)的视差值：通过最小化匹配代价函数得到像素点(i,j)的最佳视差值，公式如下：

$d(i,j)\underset{d\∈D}{\arg \min }\mathrm{AveCost}(i,j,d)---\left(5\right)$

式中，D＝{d_min,…,d_max}是可行的视差搜索范围；

步骤五，重复步骤二～步骤四，获得参考图像与待匹配图像的视差图；

第三步，以参考图像的N-1幅视差图为基础，对每个像素点的N-1个视差值进行正比例函数拟合，拟合的系数即为该像素与最邻近视图(抽样距离为1个像素的视图)的视差值，根据视差与深度的关系，即可获得参考图像的深度图，物空间一点的深度Z与该点在视图对之间的视差d的关系如下：

$Z=\frac{d\·\mathrm{\ψ}\·F}{\mathrm{\Δ}}---\left(6\right)$

其中，Δ表示两视图对之间的抽样距离，ψ、F分别表示微透镜的孔径和焦距；

对于参考图像的某个像素点来说，Z、ψ、F都是固定值，所以视差d与抽样距离Δ满足正比例函数关系，如式(7)所示：

$d=\frac{Z}{\mathrm{\ψ}\·F}\mathrm{\Δ}---\left(7\right)$

本发明中，每个像素点都对应了N-1个视差值，这是由参考图像分别与其他N-1幅视图进行立体匹配计算得到的，参考图像与其他N-1幅视图生成时的像素提取位置的水平距离(即抽样距离)分别为1、2、…N-1个像素，因此，分别以抽样距离为横坐标，以对应的视差值为纵坐标，对这N-1个点进行正比例函数拟合，拟合的系数即为该像素在抽样距离为1个像素时的视差值，对参考图像中的每个像素进行视差拟合，即可获得参考图像的拟合视差图。最后根据式(6)，可以计算得到参考图像的深度图。

本发明提供的集成成像系统的深度图获取方法，与传统的机器视觉领域中获得深度信息的方式相比，本发明的深度图获取方式具有显著的技术效果：

(1)由于集成成像技术只有一次成像过程记录场景的深度线索，不存在相机的参数设置和校准问题，利用集成成像技术获取深度信息简化了深度测量过程；

(2)每个微透镜产生的元素图像的分辨率非常低，通过对不同元素图像进行立体匹配寻找视差比较困难，所以本发明是对计算机重构的多幅视图进行立体匹配寻找视差，视图的分辨率可以通过现有的计算机重构方法得到很大提高，因此，对视图进行立体匹配比较容易实现；

(3)因为集成成像系统提取出来的视图灰度不均匀，会影响视图之间匹配的准确度，为了降低这些因素对立体匹配的影响，本发明根据颜色相似性构建自适应匹配窗口，增强了算法的鲁棒性，降低了图像边缘区域和深度不连续区域的误匹配，提高匹配准确度；

(4)充分利用集成成像系统能够产生多幅连续视点视图的特点，分别计算某参考视图与其他视图之间的视差，对参考图像的多幅视差图进行正比例函数拟合，从而获得最终视差图，这样能够去除由于记录噪声等因素产生的误匹配，提高了深度图的准确度。

本发明可以应用于集成成像系统的深度图获取、微透镜阵列采集方式的深度图获取等场合。

本发明的具体实施例：

(一)、本发明实施例中集成成像系统的采集部分采集了空间场景的2D元素图像集合，元素图像为52行*52列，每个元素图像为40*40像素，采用计算机重构方法生成不同视点的多幅视图，选择其中六幅具有水平视差的视图进行深度图获取；

(二)、以六幅视图中最左侧一幅为参考图像，分别与其他视图进行立体匹配，得到五幅视差图，详细步骤如下：

1.设搜索窗口大小为W＝31、颜色相似性判定阈值为T1＝30；

2.建立参考图像中像素(i,j)的自适应匹配窗口W1：根据颜色相似性原理，以该像素为中心，分别计算搜索窗口W内每个像素与中心像素的颜色差值的绝对值，如果该数值小于30，则对应像素属于自适应匹配窗口，从而建立该像素的自适应匹配窗口W1；

3.根据式(1)-(4)，计算参考图像中像素点(i,j)与待匹配图像中对应像素在自适应匹配窗口中的匹配代价；

4.根据式(5)，通过寻找最小的匹配代价，得到像素点(i,j)的最佳视差值；

5.重复步骤2～4，获得参考图像与待匹配图像的视差图；

(三)、以参考图像的五幅视差图为基础，对每个像素点的五个视差值进行正比例函数拟合，拟合的系数即为该像素与最邻近视图(抽样距离为1个像素)中对应像素点的视差值，根据视差与深度的关系，即可获得参考图像的深度图。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种集成成像系统的深度图获取方法，其特征在于，该集成成像系统的深度图获取方法包括以下步骤：

第一步，对集成成像系统采集的2D元素图像集合，采用计算机重构方法生成不同视点的多幅视图，即从每个元素图像的局部相同位置提取像素形成一幅视图，改变从每个元素图像中提取像素的局部位置，即可形成不同视点的视图；

第二步，选择N幅具有连续水平视差的视图，相邻的两幅视图抽样距离为1个像素，也就是在视图生成过程时，从每个元素图像提取像素的位置在水平方向上距离为1个像素，以最左一幅视图为参考图像或最右一幅视图为参考图像，分别与其他视图进行立体匹配，得到N-1幅视差图；

第三步，以参考图像的N-1幅视差图为基础，对每个像素点的N-1个视差值进行正比例函数拟合，拟合的系数即为该像素与最邻近视图的视差值，根据视差与深度的关系，即可获得参考图像的深度图；

其中在第二步中，详细步骤如下：

步骤一，设搜索窗口大小为W、颜色相似性判定阈值为T1；

步骤二，建立参考图像中像素(i,j)的自适应匹配窗口W1：根据颜色相似性原理，以该像素为中心，分别计算搜索窗口W内每个像素与中心像素的颜色差值的绝对值，如果该数值小于颜色相似性阈值T1，则对应像素属于自适应匹配窗口，否则，不属于自适应匹配窗口，从而建立该像素的自适应匹配窗口W1；

步骤三，计算参考图像中像素(i,j)与待匹配图像中对应像素在自适应匹配窗口中的相似度：用来进行相似度测量的代价函数定义为：

Cost(i,j,d)＝C_color(i,j,d)+C_grad(i,j,d)(1)

其中，像素点(i,j)的视差为d,(i,j)和(i,j+d)是左右图像分别对应的像素点，左图l为参考图像，右图r为待匹配图像，C_color(i,j,d)为RGB三个颜色通道的绝对差值之和，定义为式(2)，C_grad(i,j,d)为水平、垂直梯度的绝对差值之和，定义为式(3)；

C_grad((i,j,d)＝|▽_xI^l(i,j)-▽_xI^r(i,j+d)|+|▽_yI^l(i,j)-▽_yI^r(i,j+d)|(3)

计算自适应匹配窗口W1的像素个数为M，根据代价函数公式(1)，计算该像素与待匹配图像对应像素点在自适应窗口内的匹配代价，公式如下：

步骤四，获得像素点(i,j)的视差值：通过最小化匹配代价函数得到像素点(i,j)的最佳视差值，公式如下：

式中，D＝{d_min,…,d_max}是可行的视差搜索范围；

步骤五，重复步骤二～步骤四，获得参考图像与待匹配图像的视差图。

2.如权利要求1所述的集成成像系统的深度图获取方法，其特征在于，在第三步中，物空间一点的深度Z与该点在视图对之间的视差d的关系如下：

其中，Δ表示两视图对之间的抽样距离，ψ、F分别表示微透镜的孔径和焦距；

对于参考图像的某个像素点来说，Z、ψ、F都是固定值，所以视差d与抽样距离Δ满足正比例函数关系，如式(7)所示：