CN104050662B

CN104050662B - 一种用光场相机一次成像直接获取深度图的方法

Info

Publication number: CN104050662B
Application number: CN201410238723.5A
Authority: CN
Inventors: 王兴政; 杜远超; 王好谦; 张永兵; 戴琼海
Original assignee: Shenzhen Graduate School Tsinghua University
Current assignee: Shenzhen International Graduate School of Tsinghua University
Priority date: 2014-05-30
Filing date: 2014-05-30
Publication date: 2017-04-12
Anticipated expiration: 2034-05-30
Also published as: CN104050662A

Abstract

一种利用光场相机一次成像直接获取深度图的方法，包括步骤：1).在传统相机内部成像光路中嵌入微透镜阵列构成光场相机；2).对微透镜阵列与图像传感器的相对位置进行标定；3).利用光场相机采集目标景物的原始数据，提取微透镜阵列中每个微透镜下的子图像，并计算其灰度图；4).计算每个微透镜下子图像与毗连微透镜下子图像的相似度，分别以每一个微透镜作为目标透镜，并选择其周围的多个毗连透镜，分别建立目标模板和毗连模板，使用SAD算法计算目标模板与毗连模板的相似度，获得最小SAD值；5).步骤4)获得的对应于每个微透镜下子图像的最小SAD值，构成尺寸为微透镜阵列中微透镜个数的数值矩阵，对该矩阵中的元素进行归一化取整即得深度图。本发明解决了现有深度图获取技术中存在的系统过于复杂以及计算复杂度高的问题，获取图像相似度高，获得深度图更精确。

Description

一种用光场相机一次成像直接获取深度图的方法

技术领域

本发明涉及计算机视觉领域，尤其是立体视觉领域，特别涉及一种用光场相机一次成像直接获取深度图的方法。

技术背景

随着信息科学与计算机技术的发展，三维信息获取技术已成为工业检测，生物医学，虚拟现实等领域的关键技术。在上述领域中，人们对三维信息质量的要求也越来越高。

深度信息则是“第三维”的体现，如何更为快速获取更高精度的深度图，一直以来是研究与开发中的热点方向。目前深度信息获得的方式主要有两大形式：主动式和被动式。主动式主要向目标发出激光、电磁波、超声波等能够检测回波的能量束，利用物理原理和一定的数学方法计算出距离。常用方法有激光雷达深度成像、坐标测量机方法、莫尔条纹法、结构光法等。主动式通过对能量束发射装置的控制可以获取更多信息，但主动式设备造价高，应用范围有限，而且主动式深度信息获取方法对已获取的图像并不适用。被动式主要是相对采用几何信息计算深度图，又称计算机立体视觉。立体视觉按所需的图像数目可分为以下三类：a).利用一幅图像的图像理解方法，此种方法需要复杂的数学建模与学习过程，效率较低，并且应用场景受限。b).利用在两个不同的观察点获得的同一景物的两幅图像恢复物体三维信息的双目立体视觉，此种方法由于所用信息不够丰富，获取深度图精度往往难以满足需求。c).利用多个观察点获得多幅图像的多目立体视觉，相较于双目立体视觉，此方法获取深度图精度更高，相较于单幅图像的学习方法，所用时间显著缩短，但同时构建多目系统的过高的复杂度也限制了这种方法的应用。

基于全光函数的思想，人们设计出可以捕获包含入射光强度和角度信息的4D光场的光场相机。光场相机的出现提供了获取深度图的新思路。使用光场相机获取深度图能获得多目立体视频的精度与效率的效果，构架系统的复杂度也大大降低，并且由于设备可便携性，应用途径也更为广阔。此外由于光场相机获取数据的关联性，效率能够进一步提高，达到实时计算出深度图。本发明使用基于微透镜阵列的光场相机，利用其捕获的光场中重建不同视角的场景图片，根据获得图片关联度大的特性，仅通过一次成像就能够获取深度图的快速方法。

发明内容

为解决现有深度图获取技术存在的系统过于复杂以及计算复杂度高的问题，本发明提供一种用光场相机一次成像获取深度图的方法，其用具有微透镜阵列的光场相机采集光场信息，一次成像就能够获取深度图。

本发明利用光场相机一次成像直接获取深度图的方法，包括如下步骤：

1).在传统相机内部成像光路中嵌入微透镜阵列构成光场相机，微透镜阵列位于传统相机的主透镜和图像传感器之间，且微透镜阵列和图像传感器平面的距离为微透镜的焦距；

2).对微透镜阵列与图像传感器的相对位置进行标定；

3).使用微透镜阵列采集目标景物的原始数据，提取微透镜阵列中每个微透镜下的子图像，并计算其灰度图；

4).计算每个微透镜下子图像与毗连微透镜下子图像的相似度，分别以每一个微透镜作为目标透镜，并选择其周围的多个毗连透镜，分别建立目标透镜的目标模板和毗连透镜的毗连模板，使用SAD(sum-of-absolute-difference)算法计算目标模板与毗连模板的相似度，获得一个最小SAD值；

5).步骤4)获得的对应于每个微透镜下子图像的最小SAD值，构成尺寸为微透镜阵列中微透镜个数的数值矩阵，对该矩阵中的元素进行归一化，在[0,255]区间取整即得深度图。

其中，所述微透镜阵列与主透镜平行，并满足光学参数的匹配。

优选实施例中所述微透镜阵列由六边形或正方形排布的若干微透镜组成，该微透镜为柱状或球状。

所述微透镜阵列中每个微透镜下能够覆盖10×10个到30×30个图像传感器单元。

所述步骤2)对所述微透镜阵列与图像传感器的相对位置标定方法为：

a).手工标定所述微透镜阵列左上角、右上角以及左下角三个微透镜中心对应所述图像传感器平面坐标分别为(x_leftUp,y_leftUp)、(x_rightUp,y_rightUp)及(x_leftBottom,y_leftBottom)；

b).规定所述微透镜阵列中微透镜将沿直线发生偏移，则所述微透镜阵列中序号(i,j)的微透镜的中心坐标(x,y)为：

其中，R为每个微透镜下所覆盖正方形区域一个方向上所含像素的个数；i与j分别为该微透镜位于所述阵列中的行列序号。

所述步骤4)中，在所述微透镜阵列中根据微透镜所处的位置来选择目标透镜和其周围3个、5个或8个毗连透镜。

当选择非位于所述微透镜阵列的边界上的微透镜作为目标透镜时，相应选择其上方、右上、右侧、右下、下方、左下、左侧以及左上共8个微透镜为此目标透镜的毗连透镜。

当选择位于所述微透镜阵列的左上角、右上角、右下角、左下角的微透镜作为目标透镜时，相应选择其毗连的3个微透镜为此目标透镜的毗连透镜。

当选择所述微透镜阵列中以下位置的微透镜作为目标透镜时，相应选择其毗连的5个微透镜为此目标透镜的毗连透镜；所述的微透镜是位于所述微透镜阵列的第一行并且并非位于左上角或右上角的微透镜，位于所述透镜阵列的最后一列并且并非位于右上角或右下角的微透镜，位于所述透镜阵列的最后一行并且并非位于右下角或左下角的微透镜，以及，位于所述透镜阵列的第一列并且并非位于左下角或左上角的微透镜。

实现本发明上述方法的一种光场相机，包括传统相机和微透镜阵列，微透镜阵列设置于传统相机的主透镜和图像传感器之间，且微透镜阵列和图像传感器平面的距离为微透镜的焦距；

其中，所述微透镜阵列是用若干微透镜排布成的六边形或正方形板状阵列，所述微透镜为柱状或球状；所述微透镜阵列与主透镜平行，且两者的F值匹配；所述微透镜阵列中每个微透镜下覆盖10×10个到30×30个图像传感器单元。

本发明解决了现有深度图获取技术中存在的系统过于复杂以及计算复杂度高的问题。其利用光场相机捕获的光场数据重建不同视角的场景图片，由于获得图片关联度大，相似度高，仅通过一次成像就能够快速获取精确的深度图。

本发明光场相机相比于现有硬件系统成本大为降低，光场相机便携性强，应用领域广泛。

附图说明

图1为本发明总体流程图；

图2为光场相机原理示意图；

图3为光场相机采集的原始数据图；

图4为计算相似度原理示意图。

具体实施方式

为将本发明的目的、技术实现以及优点阐释的更加清楚直接，结合附图以及实施实例对本发明进一步详细的说明。值得指出，此处所描述的实施实例仅用于解释本发明，并不用于限定本发明。

参照图1、图2，本发明用光场相机一次成像直接获取深度图的方法主要包括以下步骤：

1.如图2所示，将微透镜阵列2嵌入传统相机的成像光路中构成光场相机，需满足微透镜阵列2的F值与主透镜1相匹配，微透镜阵列2位于相机主透镜1以及图像传感器3平面之间，且微透镜聚焦于主透镜的首要平面(principal plan),微透镜阵列于图像传感器平面的距离为微透镜的焦距。其中，微透镜阵列2中含有380×380个(或更多)微透镜，这些微透镜排布成六边形或正方形的板状阵列，微透镜选择柱状微透镜或球状微透镜。

2.对微透镜阵列与图像传感器单元的相对位置进行标定，标定方法如下：

a)手工标定微透镜阵列2左上角，右上角，以及左下角三个微透镜中心对应相机传感器平面坐标分别为(x_leftUp,y_leftUp),(x_rightUp,y_rightUp),(x_leftBottom,y_leftBottom)；

b)规定所述微透镜阵列2中微透镜将沿直线发生偏移，则所述微透镜阵列中序号(i,j)的微透镜的中心坐标(x,y)为：

其中，R为每个微透镜下所覆盖正方形区域一个方向上所含像素的个数；i与j分别为所述微透镜位于所述阵列中的行列序号。

3.使用微透镜捕获光场，采集原始数据如图3所示，并对光场进行重建。方法如下：提取光场相机微透镜阵列中每个微透镜下的子图像，并计算其灰度图。通过以上步骤2中算得每个微透镜中心为圆心，R为半径，提取出每个微透镜下的子图像R、G、B三个颜色通道。利用三个通道计算灰度图，所用经验公式为：

Gray＝0.299×R+0.587×G+0.114×B

4.设计算法，计算每个微透镜下图像的相似度，计算相似度原理如图4所示，具体实施方法如下：

4.1分别以微透镜阵列2的每个微透镜作为目标透镜,选择其周围多个透镜为毗连透镜。

a)当所选目标透镜并非位于微透镜阵列2的边界时，记此透镜为targetML；选择其上方，右上，右侧，右下，下方，左下，左侧，左上共8个微透镜为此目标透镜的毗连透镜，并分别记为UpML,UpRightML,RightML,RightDownML,DownML,LeftDownML,LeftML,LeftUpML；

b)当所选目标透镜为微透镜阵列2左上角的微透镜时，记此透镜为targetML；选择其右侧、右下及下方共3个微透镜为此目标透镜的毗连透镜，并分别记为RightML,RightDownML,DownML；

c)当所选目标透镜为微透镜阵列2右上角的微透镜时，记此透镜为targetML；选择其下方、左下及左侧共3个微透镜为此目标透镜的毗连透镜，并分别记为DownML,LeftDownML,LeftML；

d)当所选目标透镜为微透镜阵列2右下角的微透镜时，记此透镜为targetML；选择其左下、左侧及上方共3个微透镜为此目标透镜的毗连透镜，并分别记为LeftDownML,LeftML,LeftUpML；

e)当所选目标透镜为微透镜阵列2左下角的微透镜时，记此透镜为targetML；选择其上方、右上及左侧共3个微透镜为此目标透镜的毗连透镜，并分别记为UpML,UpRightML,RightML；

f)当所选目标透镜位于微透镜阵列2的第一行并且并非位于左上角或右上角，逐一选择每一个微透镜为目标透镜，记此透镜为targetML；并选择其右侧、右下、下方、左下及左侧共5个微透镜为此目标透镜的毗连透镜，并分别记为RightML,RightDownML,DownML,LeftDownML,LeftML；

g)当所选目标透镜位于微透镜阵列2的最后一列并且并非位于右上角或右下角，逐一选择每一个微透镜为目标透镜，记此透镜为targetML；并选择其下方、左下、左侧、左上及上方共5个微透镜为此目标透镜的毗连透镜，并分别记为DownML,LeftDownML,LeftML,LeftUpML,UpML；

h)当所选目标透镜位于微透镜阵列2的最后一行并且并非位于右下角或左下角，逐一选择每一个微透镜为目标透镜，记此透镜为targetML；并选择其下方、左下、左侧、左上及上方共5个微透镜为此目标透镜的毗连透镜，并分别记为DownML,LeftDownML,LeftML,LeftUpML,UpML；

i)当所选目标透镜位于微透镜阵列2的第一列并且并非位于左下角或左上角，逐一选择每一个微透镜为目标透镜，记此透镜为targetML；并选择其上方、右上、右侧、右下及下方共5个微透镜为此目标透镜的毗连透镜，并分别记为UpML,UpRightML,RightML,RightDownML,DownML。

4.2分别为目标透镜和毗连透镜建立模板；

a)以目标透镜中心为圆心建立圆形模板(即目标模板)；

b)以毗连透镜中心为圆心建立圆形模板(即毗连模板)；

毗连透镜的圆形模板可沿着目标透镜中心与毗连透镜的中心所在直线，毗连透镜中心为圆形模板圆心起点，毗连透镜边界为圆形模板可移动范围边界进行平移。

4.3计算目标模板与毗连模板相似度；

a)分别以目标透镜圆心以及毗连透镜圆心为圆心，半径增长步长为1个像素建立子模板；

b)计算目标透镜子模板和毗连透镜子模板对应像素差求和的绝对值(最小SAD值)；

c)沿目标透镜中心与毗连透镜中心连线所在直线，步长为1个像素，平移毗连透镜的圆形模板，记平移距离为m。

d)重复步骤4.2，直至毗连透镜的圆形模板平移到毗连透镜的边界。

公式化表述步骤4为：

上式中，I为输入图片，r_cp与r_cq为模板中心坐标，r为模板半径，m为毗连透镜子模板平移距离，参数a代表模板内使用像素数目。

5.对应于每个微透镜算得一个最小SAD值，得到尺寸为与微透镜阵列中微透镜个数的数值矩阵，对数值矩阵中的元素进行归一化，而后化为[0,255]区间上的整数，归一化后的矩阵即为光场相机通过一次成像获得的深度图。

Claims

1.一种用光场相机一次成像直接获取深度图的方法，其特征是包括如下步骤：

1).在传统相机内部成像光路中嵌入微透镜阵列构成光场相机，微透镜阵列位于传统相机的得主透镜和图像传感器之间，且微透镜阵列和图像传感器平面的距离为微透镜的焦距；所述微透镜阵列中每个微透镜下覆盖10×10 个到30×30个图像传感器单元；

2).对微透镜阵列与图像传感器的相对位置进行标定；

所采用的标定方法为：

a). 手工标定所述微透镜阵列左上角、右上角以及左下角三个微透镜中心对应所述图像传感器平面坐标分别为 (x_leftUp , y_leftUp)、(x_rightUp, y_rightUp) 及 (x_leftBottom,y_leftBottom)；

b). 规定所述微透镜阵列中微透镜将沿直线发生偏移，则所述微透镜阵列中序号(i,j)的微透镜的中心坐标（x,y）为：

其中，为每个微透镜下所覆盖正方形区域一个方向上所含像素的个数；i与j分别

为所述微透镜位于所述阵列中的行列序号；

3).使用微透镜阵列一次采集目标景物的原始数据，提取微透镜阵列中每个微透镜下的子图像，并计算其灰度图；

4).计算每个微透镜下子图像与毗连微透镜下子图像的相似度，分别以每一个微透镜

作为目标透镜，并选择其周围的3个、5个或8个毗连透镜，分别建立目标透镜的目标模板和毗连透镜的毗连模板，使用SAD算法计算目标模板与毗连模板的相似度，获得一个最小SAD值；

5). 步骤4）获得的对应于每个微透镜下子图像的最小SAD值，构成尺寸为微透镜阵列中微透镜个数的数值矩阵，对该矩阵中的元素进行归一化，在[0,255]区间取整即得深度图。

2.如权利要求1所述的方法，其特征是，所述微透镜阵列与主透镜平行，并满足光学参数的匹配。

3.如权利要求1所述的方法，其特征是，所述微透镜阵列由六边形或正方形排布的若干微透镜组成，该微透镜为柱状或球状。

4.如权利要求1所述的方法，其特征是，所述步骤4）中，在所述微透镜阵列中根据

微透镜所处的位置来选择目标透镜和其周围的毗连透镜。

5.如权利要求4所述的方法，其特征是，当选择非位于所述微透镜阵列的边界上的微透镜作为目标透镜时，相应选择其上方、右上、右侧、右下、下方、左下、左侧以及左上共8个微透镜为此目标透镜的毗连透镜。

6.如权利要求4所述的方法，其特征是，当选择位于所述微透镜阵列的左上角、右上角、右下角、左下角的微透镜作为目标透镜时，相应选择其毗连的3个微透镜为此目标透镜的毗连透镜。

7.如权利要求4所述的方法，其特征是，当选择所述微透镜阵列中以下位置的微透镜作为目标透镜时，相应选择其毗连的5个微透镜为此目标透镜的毗连透镜；所述的微透镜是位于所述微透镜阵列的第一行并且并非位于左上角或右上角的微透镜，位于所述透镜阵列的最后一列并且并非位于右上角或右下角的微透镜，位于所述透镜阵列的最后一行并且并非位于右下角或左下角的微透镜，以及，位于所述透镜阵列的第一列并且并非位于左下角或左上角的微透镜。

8.实现权利要求1-7任一项所述方法的一种光场相机，其特征是包括：传统相机和微透镜阵列，微透镜阵列设置于传统相机的主透镜和图像传感器之间，且微透镜阵列和图像传感器平面的距离为微透镜的焦距；

其中，所述微透镜阵列是用若干微透镜排布成的六边形或正方形板状阵列，所述微透镜为柱状或球状；所述微透镜阵列与主透镜平行，两者的F值匹配；所述微透镜阵列中每个微透镜下覆盖10×10 个到30×30个图像传感器单元。