CN104469110A - 可变角度采样数的光场采集装置 - Google Patents

Abstract

本发明提供了一种可变角度采样数的光场采集装置，微透镜阵列采用若干个微透镜均匀排布，将图像传感器光敏面完全覆盖；镶嵌在滑动导轨内的移动托盘将微透镜阵列固定，能够沿图像传感器的光轴方向在主镜头和图像传感器之间前后移动；微透镜距离调节环与托盘推动杆精密耦合，微透镜距离调节环旋转时，托盘推动杆带动移动托盘沿图像传感器的光轴方向移动，移动托盘与相机之间连接两个弹簧；数字位移感应器与托盘推动杆固接，感应微透镜阵列的位移变化并将传入数字控制单元中。本发明可连续调节采集光场的角度采样数，在较低角度分辨率时可以获得较高的空间分辨率，在较高角度分辨率设置下可以获得更多场景三维信息。

Description

可变角度采样数的光场采集装置

技术领域

本发明涉及计算机视觉和光学工程领域，具体地涉及一种光场采集装置。

背景技术

光场成像理论的发展突破了传统成像技术诸多的局限。相应的光场采集设备由于能够记录光线的位置和角度信息，其成像过程颠覆了传统成像仅记录传感器平面光强分布的投影理论模型。光场成像的特点在于光线汇聚和投影可以是数字化过程。因此，其成像效果不再由数据采集时的成像参数所决定，而可根据成像需要进行灵活设定。

光场采集设备主要分为微透镜阵列光场相机、相机阵列系统、掩膜光场相机等。微透镜阵列光场相机通过在传统相机的主镜头和传感器之间加入微透镜阵列，从而获得包含大量微透镜子图像的光场数据，进而解析该数据得到相机内的光场四维采样。相机阵列系统通过不同视角相机获取光场的角度和位置采样。掩膜光场相机通过对编码光圈对光线角度与位置信号进行编码，并采用相应的解码方法重构出光场数据。目前，由于微透镜阵列光场相机具有易于携带和成本低廉等优点，日渐发展成为主流的光场采集设备。

2005年，Ren Ng设计出第一台手持式微透镜阵列光场相机，但是该设备存在光场采样空间分辨率较低的问题。2009年，T.Geogiev等人设计聚焦式的微透镜阵列光场相机，该设计能以牺牲光场角度分辨率为代价提高空间分辨率。由此，聚焦式微透镜阵列光场相机存在空间分辨率与角度采样数的折衷问题。受限于主镜头、微透镜阵列、图像传感器等器件的物理尺寸，现有光场相机系统只能获取特定空间分辨率和角度采样数的光场数据。然而，对于具有不同深度分布特性的场景，光场成像过程对角度采样数的需求具有明显差异，因此现有光场相机难以满足灵活调节角度采样数的拍摄需求。

发明内容

为了克服现有技术角度采样数难以灵活调整的不足，本发明针对聚焦型光场相机角度采样数与成像光路参数设计相关的特点，提供一套可变角度采样数的光场采集装置。

本发明解决其技术问题所采用的技术方案是：包括图像传感器、微透镜阵列、主镜头、移动托盘、数字位移感应器。

所述的微透镜阵列采用若干个微透镜均匀排布，单个微透镜为平凸透镜，微透镜阵列将图像传感器光敏面完全覆盖；一个镶嵌在滑动导轨内的移动托盘将微透镜阵列固定，能够沿图像传感器的光轴方向在主镜头和图像传感器之间前后移动；固定在相机外围的一个微透镜距离调节环与托盘推动杆精密耦合，微透镜距离调节环旋转时，托盘推动杆带动移动托盘沿图像传感器的光轴方向移动，移动托盘与相机之间连接两个弹簧；数字位移感应器与托盘推动杆固接，感应微透镜阵列的位移变化并将传入数字控制单元中。

所述的数字控制单元采用一片FPGA可编程芯片控制微透镜阵列沿光轴方向的位移变化，按和高斯成像公式控制微透镜阵列光心所在平面到主镜头成像平面的距离，按调整主镜头的光圈，其中，M为角度采样数，F为主镜头焦距，D为主镜头通光孔径直径，d是微透镜单元直径，g为图像传感器光敏面到微透镜阵列中心的距离，|z|为微透镜阵列中心到主镜头焦平面的距离，设一个微透镜后方成像的半径为r，微透镜单元中心到相邻微透镜的空隙中心的距离为a，定义比例因子α满足α·r≥a，则k＝min(α)。

所述的微透镜阵列中微透镜采用正多边形排布，边数大于等于4，单个微透镜的艾里斑直径不超过两个图像传感器像元最短边的长度，单个微透镜的点列图范围不超过其艾里斑直径。

本发明的有益效果是：针对聚焦型光场相机角度采样数与安装参数相关的特点，通过在图像传感器前加入可沿相机光轴方向前后移动的微透镜阵列，可连续调节采集光场的角度采样数，实现了一套可变角度采样数的光场采集装置。

不同于现有光场相机角度采样数固定的缺点，本发明在同一套硬件设备中实现了角度采样数M大于2时的连续变化。如在较低角度分辨率时，可以获得较高的空间分辨率，满足视频监控、跟踪、2D效果显示等应用需求。在较高角度分辨率设置下，可以获得更多场景三维信息，实现深度估计、场景重建的精度提升，以及多视角3D视频观看、去遮挡等应用需求。

本发明装置对光场角度采样数的调节方式方便、快捷，用户交互性较强。设备轻便易携，可以在室内外场景下使用。

附图说明

图1(a)为图像传感器和微透镜阵列可位于主镜头的成像平面之后的光场采集装置的光路示意图，图1(b)为图像传感器和微透镜阵列位于主镜头和主镜头成像平面之间的光场采集装置的光路示意图；

图2(a)为角度采样数的计算示意图，图2(b)为微透镜阵列成正方形排布的计算示意图，图2(c)为微透镜阵列成菱形排布的计算示意图；

图3为角度采样数最小离散化示意图；

图4为距离调节离散化示意图；

图5为系统参数联动变化曲线图；

图6为光场采集装置结构框图；

图7为光场采集装置侧视图；

图8为光场采集装置主视图；

图9为微透镜阵列物理参数示意图；

图中，101-主镜头，102-成像平面，103-微透镜阵列，104-图像传感器，501-图像传感器，502-微透镜阵列移动单元，503-精密位移感应元件，504-数字控制单元，505-主镜头，601-图像传感器光敏面，602-滑动导轨，603-微透镜距离调节环，604-托盘推动杆，605-弹簧，606-微透镜阵列，607-移动托盘，608-高精度数字位移感应器，609-数字控制单元，610-主镜头，611-工业接口相机，612-主镜头的光圈，613-微透镜阵列光心所在平面到主镜头成像平面的距离，614-FPGA可编程芯片，615-微透镜。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

本发明研制的设备可以同时采集光线的位置和角度信息。通过角度采样数的连续调节，本发明研制的设备可实现可变角度采样数的光场数据采集。

本发明装置根据聚焦型光场成像原理，将一块微透镜阵列放置于主镜头与图像传感器之间，微透镜阵列平行于图像传感器，并可将图像传感器的光敏面完全覆盖。将一个给定焦距的镜头(主镜头)平行放置于微透镜阵列前方(靠近物方)，使目标场景经过主镜头所呈的像可由微透镜阵列再次汇聚后被图像传感器所记录。其中每个微透镜均可聚焦成像，且不同微透镜的成像区域在传感器平面互不重叠。此时，该设计可有两种模式(图1)：其中一种模式为图像传感器和微透镜阵列可位于主镜头的成像平面之后，即主镜头、主镜头焦平面、微透镜阵列、图像传感器均垂直于光轴，并依次沿光轴方向分布。由于每个微透镜均聚焦成像，主镜头成像平面、微透镜阵列、图像传感器三者的距离满足高斯成像公式，且微透镜光心所在平面到主镜头焦平面的矢量距离(物距)z大于0，图像传感器光敏面到微透镜光心所在平面的距离(像距)g大于单个微透镜的焦距f。另一种模式为图像传感器和微透镜阵列位于主镜头和主镜头成像平面之间，即主镜头、微透镜阵列、图像传感器、主镜头焦平面均垂直于光轴，并依次沿光轴方向分布。每个微透镜对主透镜折射后的光线提前聚焦到图像传感器上，此时主镜头成像平面、微透镜阵列、图像传感器三者的距离满足高斯成像公式，且微透镜光心所在平面到主镜头焦平面的矢量距离(物距)z小于0，图像传感器光敏面到微透镜光心所在平面的距离(像距)g小于单个微透镜的焦距f。

其中，微透镜阵列中微透镜的排布方式采用正多边形排布，边数大于等于4。微透镜阵列的物理参数，即单个微透镜的直径d、焦距f，满足如下条件约束：单个微透镜的艾里斑直径不超过两个图像传感器像元最短边的长度、单个微透镜的点列图范围不超过其艾里斑直径。

对于本发明涉及的光场采集装置，其角度采样数的调节，可以通过调节微透镜阵列与图像传感器的相对距离、主镜头与微透镜阵列的相对距离实现。以下将详细阐述本发明装置配套的调节机制。

本发明利用微透镜阵列与图像传感器所构成的双平面对主镜头成像平面附近的光场进行采样。空间中一点发出的不同方向光线会被不同的图像传感器像元所记录，同一点被记录次数即为光场采集装置的角度采样数M。本发明可以根据用户需求调节角度采样数M的设定值，从而得到不同位置与角度分辨率的光场数据。根据立体测量的原理，仅当M数大于2时，可由现有基于图像的场景重建方法估计目标场景深度或重建物体表面，因此本发明装置取角度采样数M≥2，且M值可以依据需要灵活设定。

角度采样数M与图像传感器光敏面到微透镜阵列中心的距离g、微透镜阵列中心到主镜头焦平面的距离|z|有关(图2)，且与成正比，则角度采样数M如公式1-1所示。

$M=k\×\frac{\left|z\right|}{g}---(1-1)$

其中k与微透镜的排布、间隔、微透镜后方成像区域大小有关。设一个微透镜后方成像的半径为r，微透镜单元中心到相邻微透镜的空隙中心的距离为a，定义比例因子α，则α需满足α·r≥a时。本发明中k选为k＝min(α)。

本发明中角度采样数M的调节精度满足式(1-2)：

$|M_1-M_2|\≥\frac{c}{d}\·k---(1-2)$

其中c为图像传感器单个像元的大小，d是微透镜单元直径。

本发明的成像器件参数选择应依据式(1-3)的要求。

$\frac{D}{F+z+g}=\frac{d}{g}---(1-3)$

其中，F为主镜头焦距，D为主镜头通光孔径直径。

本发明装置即通过调整g、z、D三个物理量，并同时保证公式(1-3)所述关系，实现对角度采样数M的灵活调节。

所述的主镜头能够沿光轴方向前后移动，其光圈值大小连续可调；所述的主镜头光轴穿过图像传感器中心，并与图像传感器垂直；所述的微透镜阵列位于主镜头与图像传感器之间，主镜头光轴穿过其中心，并与之垂直，可以沿主镜头的光轴方向前后移动。

所述图像传感器采用COMS或CCD图像传感器，作用是记录微透镜阵列对光场采样后的位置和角度信息。

所述的微透镜阵列由多个微透镜排列而成。每个微透镜单元的焦距、直径和排列方式可以一致，也可以不同。微透镜阵列位于主镜头与图像传感器光敏面之间，且微透镜阵列平行于图像传感器光敏面，并可将图像传感器的光敏面完全覆盖。微透镜阵列中各子透镜光心所在平面到图像传感器光敏面的相对距离可以调节。主镜头成像平面到微透镜阵列中各子透镜光心所在平面的相对距离可以调节。主镜头的作用是使物方光束折射到相机内部。

所述的主镜头和其余部件可分离，相机内部光场可由图像传感器与微透镜阵列所构成的两个平面直接记录。根据光场成像的光路设计，角度采样数满足公式1-1，即主镜头成像平面处水平、垂直两个维度上的角度采样数M，与图像传感器光敏面到微透镜光心所在平面的距离g和微透镜光心所在平面到主镜头成像平面的距离z有关。角度采样数M为大于等于2的实数，可以依据需要灵活调整。在角度采样数M取不同值的情况下，成像系统均满足公式1-1、1-3和高斯成像公式。角度采样数M的最小调节间隔满足公式1-2。即在任意两组光场数据中，当角度采样数之差大于像元宽度与微透镜直径的比值和比例因子k的乘积时，光场角度采样呈现明显差异。

实施例

如图6所示，本发明提供的可变角度采样数的光场采集装置包括五个部分：一个图像传感器501，一组微透镜阵列移动单元502，一个精密位移感应元件503，组数字控制单元504和一只主镜头505。

对一个VirworksVH-11MG的工业接口相机611进行改造，601为图像传感器光敏面，像元大小为9um*9um，总像元数为2672*4008，镜头接口为尼康F卡口，数据传输采用GigE接口，最大帧率为6.4fps，曝光时间在1/7000～7秒之间。

微透镜阵列606如图9所示，采用正六边形排布，此时单个微透镜615的直径为0.3mm，焦距为2.726mm，为平凸透镜。微透镜阵列606将图像传感器光敏面601完全覆盖，由水平方向不少于120个、垂直方向不少于92个微透镜以正六边形排布而成。

一个沿光轴平行于传感器光敏面放置的移动托盘607将微透镜阵列606固定，移动托盘607镶嵌在滑动导轨602内，可沿光轴方向前后移动。固定在接口相机611外围的一个微透镜距离调节环603与托盘推动杆604精密耦合，并且保证微透镜距离调节环603旋转一周，托盘推动杆604可以前后移动10um，托盘推动杆604的前后移动可迫使移动托盘607上的微透镜阵列606同步移动，同时固定在相机底座上的两个弹簧605可以保证移动托盘607的无惯性地精密移动，并可保证微透镜阵列在某一位置上维持稳定。如在图1(a)光路设计下，设角度采样数M在2至8内连续可调时，微透镜阵列离传感器光敏面距离满足高斯成像公式和公式1-1，g的变化范围为3.021mm至3.906mm之间，z的变化范围为9.021mm至27.908mm。

高精度数字位移感应器608与托盘推动杆604相接，高精度数字位移感应器608通过导线与数字控制单元609相连，可以感应微透镜阵列606的位移变化，并将机械信号转成电信号传入数字控制单元609中。

数字控制单元609包括一片FPGA可编程芯片614，可以控制微透镜阵列606沿光轴方向的位移变化。同时，按式1-1和高斯成像公式控制微透镜阵列光心所在平面到主镜头成像平面的距离613、按公式1-3调整主镜头的光圈612。

当角度采样数M发生变化时，微透镜阵列子透镜光心所在平面到图像传感器光敏面距离g，微透镜阵列子透镜光心所在平面到主镜头成像平面的距离z，主镜头光圈值按如图5所示离散化变化。当任意两个角度采样数M的最小间隔为时，光场角度采样呈现明显差异。

其中，g的变化间隔与角度采样数的关系如公式1-10所示，角度采样数M越大，微透镜阵列中心到图像传感器光敏面之间移动间隔越小，对系统的精度要求越高(图4)。

$M=\frac{f}{g-f}*k---(1-10)$

将一个尼康F卡口的AF-S 50mm定焦镜头与接口相机611相连，按图1(a)光路设计组成完整的可连续调节角度采样数的光场采集系统。拍摄数据时，设定合适的角度采样数M值，光线依次经过主镜头505，微透镜阵列502和图像传感器501，得到一幅符合角度采样数设置的光场图像。

角度采样数设为从低角度采样数2*2到高角度采样数8*8连续增加时，可解码得到相应角度分辨率为2*2到8*8、空间分辨率为334*501到1336*2007的光场数据，并计算获得分辨率从高空间分辨率1336*2004到低空间分辨率334*501的渲染图像。

Claims (3)

1.一种可变角度采样数的光场采集装置，包括图像传感器、微透镜阵列、主镜头、移动托盘、数字位移感应器，其特征在于：所述的微透镜阵列采用若干个微透镜均匀排布，单个微透镜为平凸透镜，微透镜阵列将图像传感器光敏面完全覆盖；一个镶嵌在滑动导轨内的移动托盘将微透镜阵列固定，能够沿图像传感器的光轴方向在主镜头和图像传感器之间前后移动；固定在相机外围的一个微透镜距离调节环与托盘推动杆精密耦合，微透镜距离调节环旋转时，托盘推动杆带动移动托盘沿图像传感器的光轴方向移动，移动托盘与相机之间连接两个弹簧；数字位移感应器与托盘推动杆固接，感应微透镜阵列的位移变化并将传入数字控制单元中。

2.根据权利要求1所述的可变角度采样数的光场采集装置，其特征在于：所述的数字控制单元采用一片FPGA可编程芯片控制微透镜阵列沿光轴方向的位移变化，按和高斯成像公式控制微透镜阵列光心所在平面到主镜头成像平面的距离，按调整主镜头的光圈，其中，M为角度采样数，F为主镜头焦距，D为主镜头通光孔径直径，d是微透镜单元直径，g为图像传感器光敏面到微透镜阵列中心的距离，|z|为微透镜阵列中心到主镜头焦平面的距离，设一个微透镜后方成像的半径为r，微透镜单元中心到相邻微透镜的空隙中心的距离为a，定义比例因子α满足α·r≥a，则k＝min(α)。

3.根据权利要求1所述的可变角度采样数的光场采集装置，其特征在于：所述的微透镜阵列中微透镜采用正多边形排布，边数大于等于4，单个微透镜的艾里斑直径不超过两个图像传感器像元最短边的长度，单个微透镜的点列图范围不超过其艾里斑直径。