CN110928113B - 一种可变空间分辨率的光场采集装置 - Google Patents

Abstract

本发明提供了一种可变空间分辨率的光场采集装置，在透镜阵列外置的设计基础之上，针对不同成像应用的任务需求，采用基于任务驱动的参数设计方法确定光学附件的光学参数和装配参数，并依靠可伸缩式连接结构，使得成像系统空间分辨率连续可变，从而在保持外置式透镜阵列光场采集设备装配便携性的同时，进一步满足了不同应用对于成像系统空间分辨率灵活调节的实际需求。本发明针对外置式透镜阵列光场相机的成像系统空间分辨率与安装参数相关的特点，通过采用可伸缩式机械连接结构，使得成像系统空间分辨率连续可调，从而实现了一套可变空间分辨率的光场采集装置。

Description

一种可变空间分辨率的光场采集装置

技术领域

本发明涉及计算机视觉和光学工程领域，具体地涉及一种光场采集装置。

背景技术

相比于传统光学成像仅仅记录二维成像平面的光强分布，光场成像则能够同时捕获到包含场景遮挡关系在内的角度信息，从而将数字化计算引入到成像过程之中，为高质量视觉信息的获取提供了新的思路。

现阶段，基于透镜阵列的光场相机逐渐成为光场采集设备的主流。2005年，Ren Ng设计出第一台手持式微透镜阵列内置的光场相机，但是该设备存在光场采样空间分辨率较低的问题；为了提高光场采样空间分辨率，T.Geogiev等人以牺牲光场角度分辨率为代价，设计出聚焦式微透镜阵列内置的光场相机，可见聚焦式光场相机存在空间分辨率与角度采样数的折衷问题。但是，基于内置微透镜阵列的光场相机设计，均需要拆解传统相机，以在其主镜头和传感器之间插入微透镜阵列，而拆解传统相机内部结构的操作在实际中难度较大。2007年，T.Geogiev等人提出了透镜阵列外置的光场采集设备，其主要包括正焦距的光学元件和负焦距的透镜阵列，尽管该光学附件可以便携地安装到传统相机主透镜的外部，但其相对应的最优安装距离难以确定，同时当成像系统的光学参数被确定后，其空间分辨率与角度采样数也被固定下来。事实上，受限于主镜头、透镜阵列、图像传感器等器件的物理尺寸，现有光场相机系统只能获取特定空间分辨率和角度采样数的光场数据。然而，实际中不同成像应用对光场成像系统空间分辨率的要求具有明显差异，因此现有光场相机难以满足灵活调节成像系统空间分辨率的拍摄需求。

发明内容

为了克服现有技术的不足，本发明提供一种可变空间分辨率的光场采集装置。

本发明解决其技术问题所采用的技术方案是：

为了克服现有光场成像技术难以灵活调节成像系统空间分辨率的不足，本发明在透镜阵列外置的设计基础之上，针对不同成像应用的任务需求，采用基于任务驱动的参数设计方法确定光学附件的光学参数和装配参数，并依靠可伸缩式连接结构，使得成像系统空间分辨率连续可变，从而在保持外置式透镜阵列光场采集设备装配便携性的同时，进一步满足了不同应用对于成像系统空间分辨率灵活调节的实际需求。

本发明所采用的具体技术方案为：一种空间分辨率可变的光场采集装置，包括光学透镜组件、机械连接组件。

所述光学透镜组件包括但不限于起光线汇聚作用的大尺寸凸透镜，以及紧邻该凸透镜后表面放置的正多边形凹透镜阵列；其中，该大尺寸凸透镜通过前组压圈被固定在前端透镜固定机械部件中，同时通过采用内层可调节反组压圈，正多边形凹透镜阵列与大尺寸凸透镜之间的装配距离可以尽可能得减小；为了实现光路延长的目的，中间连接筒机械部件通过内外螺纹的连接方式被装配到前端透镜固定部件之后；最终用于外部标准镜头转接的后端机械部件采用可伸缩套筒与中间连接筒部件结合在一起。依次相互连接的前端透镜固定部件、中间连接筒部件、后端镜头转接部件共同组成了所述装置的机械连接组件。

所述的正多边形凹透镜阵列包含光学参数完全相同的凹透镜阵列单元，每个凹透镜单元的焦距通过公式：

确定，其中f为凹透镜阵列单元焦距的绝对值，d为凹透镜阵列单元的尺寸，l为真实场景物距，h为真实场景物面尺寸。该正多边形凹透镜单元通过依次粘连在一个相同材质的圆形基底上以排列成正多边形凹透镜阵列，同时圆形基底中非凹透镜阵列覆盖区域需覆盖遮光材料，以隔绝额外光线干扰。

所述机械连接组件的子部件之间均采用可伸缩式连接结构，且外部标准镜头的装配位置应该满足：外部标准镜头的光学入瞳面需位于前端大尺寸凸透镜的实像面处。后端镜头转接部件的可伸缩式套筒连接设计使得确定外部标准镜头的实际最优安装距离变得十分容易；同时，可伸缩式机械结构通过光路调整可以获得最终像面上空间分辨率连续可变的子视点图像，这种最终成像面特性的变化，促进了本发明对不同型号的相机主镜头和传感器靶面的适应性。

本发明的有益效果是：针对外置式透镜阵列光场相机的成像系统空间分辨率与安装参数相关的特点，通过采用可伸缩式机械连接结构，使得成像系统空间分辨率连续可调，从而实现了一套可变空间分辨率的光场采集装置。

针对现有光场相机空间分辨率不变的不足，本发明在同一套硬件设备中实现了空间分辨率的连续可调。如对于较低的空间分辨率，可以获得较高的角度分辨率，进而获得更多场景三维信息，实现深度估计、场景重建的精度提升，以及多视角3D视频观看、去遮挡等应用需求；而较高的成像系统空间分辨率，可以满足视频监控、跟踪、 2D效果显示等应用需求。

本发明装置对光场成像系统空间分辨率的调节方式方便、快捷，用户交互性较强，设备轻便易携，可以在室内外场景下使用。

附图说明

图1为透镜阵列外置的光场捕获系统光路图

图2为可变空间分辨率光场采集装置具体实施例结构图

图3为通过本发明装置获得的可变空间分辨率仿真光场图像，图3(a)-仿真场景图像；图3(b)-高角度分辨率低空间分辨率仿真图像；图3(c)-高空间分辨率低角度分辨率仿真图像。

其中，①-具有正焦距的光学元件；②-具有负焦距的透镜阵列；③-前端透镜固定部件；④-中间连接筒部件；⑤-后端镜头转接部件；⑥-真实场景中用于成像的物面；⑦-负焦距透镜阵列的虚像面；⑧-正焦距光学元件的实像面；⑨-外接传统相机。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

外置式透镜阵列光场采集装置，通过在传统相机主镜头前端添加特定的光学元件附件，以实现基于传统相机的光场采样。该光学元件附件将来自真实世界同一场景点的不同角度信息相互分离，并使得携带不同角度信息的光线被后端的传统相机捕获，从而实现对真实场景光场的稀疏采样。为了实现对同一场景点不同角度信息的分离，该光学元件附件必须包含阵列结构；同时，考虑到系统整理物理尺寸的限制，以及后端传统相机主镜头固有的最短对焦距离约束，实际中，阵列结构的优选方案为：正焦距光学元件组合负焦距光学元件阵列。

具体地，以图1中典型的凸透镜组合凹透镜阵列结构光路图进行说明：

真实场景中用于成像的物面⑥高度为h，且距离光学附件中凸透镜元件①的距离为 l。首先，假设该凸透镜元件①的焦距为F，物面⑥经过该凸透镜元件①所成的实像面为⑧，且该实像面⑧距离凸透镜元件①的像距为l′，像面高度为h′。接着，该实像面⑧通过单元尺寸为d且具有负焦距-f的凹透镜阵列元件②实现了不同角度信息的相互分离，并形成不同角度下的子视点虚像面⑦，且该虚像面⑦的高度为h″，其与凹透镜阵列②的像距为l″。最终，该虚像面⑦作为后端传统相机⑨的虚物面被其所捕获。

整个成像过程中，通过引入具有负焦距的凹透镜阵列元件②，使得后端传统相机的成像距离得以延长，从而在减小系统整体物理尺寸的同时，又能够满足后端传统相机⑨主透镜固有的最短对焦距离的限制。但需要注意的是，凹透镜阵列单元的光学参数需要经过精心的设计，以保证凹透镜阵列②相邻单元的子视点图像之间不能存在交叠。显然，当凹透镜阵列②相邻单元的子视点图像之间正好相切时，虚像面⑦上的O2 点既可以看作是第一个凹透镜单元子视点图像的的下边缘，也可以看作是相邻的第二个凹透镜单元子视点图像的上边缘。此时，以图1中O2点所“发出”的两条虚线光线，依次与凹透镜阵列②和实像面⑧所构成的相似三角形，存在如下的等价关系：

结合凸透镜元件①薄透镜成像原理的“物-像”关系：

以及凹透镜阵列②单元的高斯成像公式：

可得：

其中：f为凹透镜阵列单元焦距的绝对值，d为凹透镜阵列单元的尺寸，l为真实场景⑥的物距，h为真实场景⑥的物面尺寸。通过公式(2)可以看到，凹透镜阵列单元的焦距与凸透镜元件①的光学参数无关，且当系统的工作参数(即当前系统的成像工作距离l与真实场景物面高度h)被确定下来后，凹透镜阵列单元的焦距就被其尺寸所唯一确定。

后端传统相机⑨通过对虚像面⑦进行二次成像，以实现光场数据的记录。为了有效地采样光场数据，后端传统相机⑨与凹透镜阵列元件②之间的装配距离必须谨慎选择，以使得虚像面⑦上的每个虚像点均有足够的光线可以被后端传统相机⑨所捕获。以图1中O1点为例，来分析后端传统相机所能捕获到的来自O1点的光线数量与其装配距离之间的关系：

图1中带箭头实线段为O1点的上边缘光线，同时记该上边缘光线在实像面⑧上的交点与实像面⑧的下边缘之间的间距为Δh′。根据O1点发出的主光线、O1点发出的上边缘光线和实像面⑧之间所组成三角形中的相似关系，容易得出：

再结合公式(1)可以得出：

从公式(4)中可以看到，O1点所发出的上边缘光线经过凸透镜元件实像面⑧的中点。同理，O2点所发出的下边缘光线也经过凸透镜元件实像面⑧的中点。同样的结论也适用于凹透镜阵列②中其他单元在虚像面⑦上相对应的子视点图像。可见，当后端传统相机⑨主透镜的入瞳位于实像面⑧的位置上时，所有凹透镜阵列单元所对应的子视点图像的边缘像点均有足够数量的光线可以被后端传统相机⑨所捕获。

由于凸透镜元件①的光学参数不会影响到凹透镜阵列元件②光学参数的确定，所以当后端传统相机⑨的装配距离确定后，其视场角FOV将成为凸透镜元件①焦距F需要满足的唯一约束。通过系统的工作参数，可以唯一确定出在相邻凹透镜阵列单元子图像之间不发生交叠的情况下，凹透镜阵列的光学参数，从而虚像面⑦中子视点图像的尺寸h″仅由凸透镜元件①的光学参数决定。具体地，根据凸透镜元件①薄透镜成像原理的“物-像”关系：

和高斯公式：

以及凹透镜阵列②单元薄透镜成像原理的“物-像”关系：

可得：

同时，假设后端传统相机⑨的视场角为FOV，且其主透镜的入瞳位于实像面⑧的位置上，则为了保证整个虚像面⑦区域能够完全位于后端传统相机⑨的视场范围之内，下列不等式关系必须满足：

其中：n为凹透镜阵列②纵向维度中凹透镜单元的数目。结合公式(5)，凸透镜元件①的光学参数F需要满足如下约束：

基于公式(4)和公式(7)的结论，在满足后端传统相机⑨主镜头最短对焦距离的前提下，通过适当调节后端传统相机⑨的装配距离，可以在保证既有充足数量的光线进入后端传统相机⑨的同时，又能够使得后端传统相机⑨所捕获到的不同角度子视点图像的空间分辨率发生连续性变化。从而，在牺牲角度分辨率的情况下，获得空间分辨率连续可调的光场图像，进而满足不同应用对光场空间分辨率的实际需求。

本发明所描述的一种具体实施例如下：

图2所示的可变空间分辨率光场采集装置包括：光学透镜组件、机械连接组件。其中光学透镜组件包括大尺寸单凸透镜①，以及紧邻该凸透镜①后表面放置的5*5矩形凹透镜阵列②；大尺寸单凸透镜①通过前组压圈被固定在前端透镜固定机械部件⑧中，同时通过采用内层可调节反组压圈，5*5矩形凹透镜阵列②与大尺寸单凸透镜①之间的装配距离可以尽可能得减小；为了实现光路延长的目的，中间连接筒机械部件④通过内外螺纹的连接方式被放置在前端透镜固定部件③之后；最终用于外部标准镜头转接的后端机械部件⑤采用可伸缩套筒与中间连接筒部件④结合在一起。依次相互连接的前端透镜固定部件③、中间连接筒部件④、后端镜头转接部件⑤共同组成了所述装置的机械连接组件。

本实施例装置系统的预定工作距离l＝600mm，且其所能观察到的真实场景物面高度h＝100mm。同时为了保证5*5矩形凹透镜阵列②相邻单元之间具有足够的视差，每个凹透镜单元均选择为17*17mm的正方形，进而大尺寸单凸透镜①的直径 D＝120.21mm。由于实际加工中，5*5＝25个大小相同的正方形凹透镜单元需要拼接成一个5*5的矩形阵列，所以为了拼接的便利，每个凹透镜单元采用平凹型透镜设计，实际拼接时，25个平凹型透镜具有无穷大曲率半径的表面被依次粘连排列到一块直径为 120.21mm的相同玻璃材质圆形基底上，以组成最终能够用于装配的5*5矩形凹透镜阵列。

根据公式(2)以及系统预先确定的相关工作参数，可以得到5*5矩形凹透镜阵列单元的焦距：f＝-102mm。后端传统相机采用Photron Mini WX50，其传感器尺寸为 20.48*20.48mm，且像元大小为10*10μm。同时，后端相机所配备的尼康F卡口G-类型主镜头选择为AF-S尼克尔24-70mm f/2.8G ED。接着，根据不等式(7)和后端传统相机参数，可以确定出大尺寸单凸透镜①的焦距：F＝194.59mm。进而，结合系统工作参数，可以确定出后端传统相机的装配参考距离为288mm，具体装配时，图2中后端镜头转接部件⑤的外转接口与所选择的尼康主镜头之间采用77-77mm双阳环进行连接。

为了便于调节确定外置式透镜阵列光学附件的最优安装距离，以及实现光场图像空间分辨率的连续可调，本实施例要求图2中机械连接组件的可伸缩调节范围为 160～300mm，具体地：前端透镜固定部件③的总设计长度为56mm，其与中间连接筒部件④之间的可伸缩调节范围为24mm；中间连接筒部件④的总设计长度为150mm，其与后端镜头转接部件⑤之间的可伸缩调节范围为120mm；后端镜头转接部件⑤的总设计长度则为140mm，其通过图2中77mm的转接口与外部标准主镜头相连接。

基于本实施例所确定的各项参数，并通过光学仿真软件Zemax所获得的成像系统仿真结果如图3所示，其中图3(a)为用于进行仿真成像实验的场景图像。通过机械连接组件中的可伸缩式机械结构，将外置式透镜阵列光学附件的安装距离设置为280mm时，后端传统相机⑨所捕获到的最终光场图像如图3(b)所示。紧接着，通过连续调节可伸缩式机械结构，将外置式透镜阵列光学附件的安装距离从280mm连续变化到170mm之后，后端传统相机⑨所捕获到的最终光场图像如图3(c)所示。可见，在可伸缩式机械结构的连续调节过程中，本发明所述的成像系统捕获到的光场图像，其角度采样从5*5 逐渐降低为3*3，但同时，每个子视点图像的空间分辨率从409*409px逐渐增大到 682*682px。

Claims (1)

1.一种可变空间分辨率的光场采集装置，其特征在于：

所述空间分辨率可变的光场采集装置，包括光学透镜组件、机械连接组件；

所述光学透镜组件包括但不限于起光线汇聚作用的大尺寸凸透镜，以及紧邻该凸透镜后表面放置的正多边形凹透镜阵列；其中，该大尺寸凸透镜通过前组压圈被固定在前端透镜固定机械部件中，同时通过采用内层可调节反组压圈，正多边形凹透镜阵列与大尺寸凸透镜之间的装配距离可以尽可能得减小；为了实现光路延长的目的，中间连接筒机械部件通过内外螺纹的连接方式被装配到前端透镜固定部件之后；最终用于外部标准镜头转接的后端机械部件采用可伸缩套筒与中间连接筒部件结合在一起；依次相互连接的前端透镜固定部件、中间连接筒部件、后端镜头转接部件共同组成了所述装置的机械连接组件；

所述的正多边形凹透镜阵列包含光学参数完全相同的凹透镜单元，每个凹透镜单元的焦距通过公式：

确定，其中f为凹透镜单元焦距的绝对值，d为凹透镜单元的尺寸，l为真实场景物距，h为真实场景物面尺寸；该凹透镜单元通过依次粘连在一个相同材质的圆形基底上以排列成凹透镜的阵列，同时圆形基底中非凹透镜阵列覆盖区域需覆盖遮光材料，以隔绝额外光线干扰；

所述机械连接组件的子部件之间均采用可伸缩式连接结构，且外部标准镜头的装配位置应该满足：外部标准镜头的光学入瞳面需位于前端大尺寸凸透镜的实像面处；后端镜头转接部件的可伸缩式套筒连接设计使得确定外部标准镜头的实际最优安装距离变得十分容易；同时，可伸缩式机械结构通过光路调整可以获得最终像面上空间分辨率连续可变的子视点图像，这种最终成像面特性的变化，促进了本发明对不同型号的相机主镜头和传感器靶面的适应性。

Images