CN111464722A - 一种基于曲面复眼阵列的大角度光场成像装置及方法 - Google Patents

Abstract

本发明公开一种基于曲面复眼阵列的大视场光场成像装置及方法，成像装置由依次设置的单层复眼镜头单元、圆顶光锥单元和图像传感器单元组成；所述单层复眼镜头单元为半球状结构，从外到内依次由微透镜单元、球面透镜基底和孔径光阑器件组成，所述微透镜单元成正六边形均匀排布在球面透镜基底的外表面上，形成微透镜单元阵列；所述孔径光阑器件设置于球面透镜基底的内表面且孔径光阑器件上的各子光阑与微透镜单元一一对应；所述圆顶光锥单元的一端是与图像传感器单元相连的平面结构，另一端是用于与孔径光阑器件形状相契合的圆顶面结构，圆顶光锥单元是由若干光纤线束各自弯曲不同程度后紧密排列而成。

Description

一种基于曲面复眼阵列的大角度光场成像装置及方法

技术领域

本发明属于光学摄影测量领域，特别是涉及一种基于曲面复眼阵列的大角度光场成像装置及方法。

背景技术

近年来，基于平面微透镜阵列的光场成像技术及其实现装置得到了长足的发展。基于该技术制造的光场相机相较于普通相机能全面获取四维光场信息，可实现“先成像，后对焦”的功能，具有较高的时间分辨率与光能利用率等特点。这些优势使其在空间光学测量以及三维图像重构等领域具有很大的应用潜力。

较早的光场摄像装置为斯坦福大学Ng等人2005年改造的手持式全光相机，并由Levoy等人引入微透镜阵列后实现了光场显微成像。2011年，Ng等人于硅谷创办了Lytro公司，面向大众市场推出了首台同名商业化光场相机。此外，在科研技术领域还包括德国Raytrix公司生产的同名系列相机及美国Pelican Imaging公司致力于开发的微型光场系统。此外，国内各高校和科研机构也对基于平面微透镜阵列的光场相机进行了一定的研究工作。上述研究装置的基本功能源于微透镜阵列与一部普通相机的联用，使得光线在通过相机物镜、微透镜阵列后由光传感器接收。传感器上记录的光线在位置与方向上的相关信息，经过算法处理后可用于图像的多视角重构、数字重聚焦以及超分辨率重构等操作。

光场相机的一个重要应用点是可利用单个相机对空间紧凑的高速流场进行三维层析成像，例如内燃机内的火焰流场分析。传统的技术如A.Satija,K.Y.Cho,R.P.Lucht等人在Applied Optics论文上提出的基于平面成像技术对流场进行单一方向扫描的方法，为了保证所需的较高时间分辨率，相应降低了扫描方向的空间分辨率。而Tao.Yu等在OpticLetters提出的化学发光计算机层析成像(CTC)方法，使用了多台相机多角度采集图像，通过对特定燃烧物种空间分布的检测以及火焰前端的识别，重构了火焰参数。但该方法存在需要昂贵的高速相机；多相机设置加大复杂系统的装配难度；因测量设备的光通量有限导致可用于三维重构的传感器投影片数量有限等问题。若利用平面微透镜阵列实施该项工作，首先可以仅使用一部相机系统，以简化系统的复杂程度。同时由于微透镜视场的重叠性，从同一目标点发出的光有可能在不同子眼上成像，因此系统的光能利用率更高，同等帧速下，目标图像更清晰，更加适合高速成像场合。

然而，现有的光场成像模型均基于平面微透镜阵列，能清晰成像的视场范围较小，仅限制在微透镜同一光轴方向的有限角度内，无法满足较大物体的三维重建需求。为了增大视场的清晰范围，现有技术通常在不同视觉角度摆放多台相机，或增加微透镜阵列的整体规模，但这些方法会徒增装置成本，其中，前者多台相机的信息传输会带来信号的不稳定性，其信息整合也需要较复杂的算法，不利于图像重构的实时性。

发明内容

本发明的目的是为了克服现有技术中的不足。受昆虫复眼特殊结构的启发，提供一种基于曲面复眼阵列的大角度光场成像装置及方法。采用具有大视场角的曲面复眼镜头，旨在利用体积较小的单部图像采集相机装置进行光场信息的获取，保证高速流场等成像场合所要求的稳定的图像实时重构；利用曲面设计扩大光场采集的清晰视场范围，保证多目视觉三维重构的像质，最大程度地提升光场信息的采集范围与质量。

本发明的目的是通过以下技术方案实现的：

一种基于曲面复眼阵列的大角度光场成像装置，由依次设置的曲面复眼镜头、耦合光纤区域和图像传感器单元组成；所述曲面复眼镜头为半球状结构，从外到内依次由微透镜单元、球面透镜基底和光纤耦合贴片组成，所述微透镜单元以微小的间距均匀排布在球面透镜基底的外表面上，整体形成为正六边形的微透镜单元阵列；所述光纤耦合贴片设置于球面透镜基底的内表面，且光纤耦合贴片上加工的各子圆孔与微透镜单元一一对应；所述耦合光纤区域的各光纤束一端与图像传感器单元相连，形成耦合光纤区域的平面；另一端通过光纤耦合贴片各子圆孔与各微透镜单元实现一一对应的耦合，各耦合端面均位于球面透镜基底的内表面上，形成耦合光纤区域的圆顶面。从外观看，所述耦合光纤区域是由各弯曲程度不同的光纤束并排的集合。

进一步的，所述曲面复眼镜头能够接收来自光场各个方向的光线，并使得视场角FOV达到90°。

进一步的，在所述耦合光纤区域与所述曲面复眼镜头耦合的圆顶面，各光纤束的入口端面垂直于球面透镜基底内表面的各处法线；耦合光纤区域与曲面复眼镜头实现光学对接，使得光线经过曲面复眼镜头后可在耦合光纤区域的圆顶面成像。

进一步的，所述耦合光纤区域的圆顶面，与光纤耦合贴片所在面重合，紧贴球面透镜基底的内表面。

进一步的，所述耦合光区域的平面与图像探测器单元紧密贴合，确保一个光纤束出口对应图像探测器单元表面的一个像素区域。

本发明提供另一种技术方案，即一种基于曲面复眼阵列的大视场光场成像装置的成像方法，包括以下步骤：

(1)光场坐标标定：由于图像探测器单元成像与耦合光纤区域圆顶面成像一一对应，所以光场坐标标定拟放在耦合光纤区域的圆顶面进行。将耦合光纤区域圆顶面上各光纤束的入口端面区域视作一个宏像素，并以所有宏像素组成的阵列中心为原点，基于各宏像素几何中心点，利用极坐标关系标定各宏像素的位置，称为位置坐标。同时，根据几何对应关系，图像传感器单元CCD上的每一个像素点可以通过耦合光纤区域的耦合关系在球面透镜基底上对应一个特定的位置点，称作子像素。同理可知，一个宏像素就是若干子像素的集合区域。子像素相对于宏像素中心的坐标，称之为该宏像素下的方向坐标。由此，四维光场的坐标得以建立，光场坐标标定完成。

(2)虚拟成像曲面的设置：为了实现本装置“先拍照、后聚焦”等光场相机功能，使不同物距的物点能够实现不同清晰度要求的成像，拟设置虚拟成像曲面。该曲面是一个虚拟的概念，为半球面，其球心与耦合光纤区域的圆顶面保持同心。球面半径利用一个重聚焦系数来表征，定义为虚拟成像曲面与耦合光纤区域圆顶面的半径比。对于各微透镜单元来说，相同的物距分布于同一个球面，由于各微透镜单元焦距相同，故相同的像距亦分布于同一个球面。在不同重聚焦系数的虚拟成像曲面上利用或提取需要的光场信息，可实现不同类型的图像重构。

(3)图像重构：以多视角成像、光场相机重聚焦、超分辨率重构与多目视觉三维重构为例。其中，针对多视觉成像与多目视觉三维重构提出CCD虚拟光阑的设置，其定义为CCD平面上每个以宏像素区域中心为圆心的一定直径的圆。对于多视角成像，类似于单相机照相，每一个宏像素都可以代表一个视角方向，提取单个宏像素图像即得到该视角下的图像，其中，虚拟光阑内的成像像质较好；而对于多目视觉三维重构，通常仅利用近轴成像的微透镜单元宏像素的虚拟光阑中的信息进行三维重构。对于光场相机重聚焦，拍摄物体时，物体上的每一个物点都对应有确定的清晰像点，它们位于不同的虚拟成像曲面上。重聚焦的过程，就是将虚拟成像曲面的宏像素压缩成一个像素，将这些像素按原宏像素位置重新排列成一副新的图像。而这样“提取后排列”的思想，同样适用于将各种超分辨率重构的方法与本装置进行有效结合。

与现有技术相比，本发明的技术方案所带来的有益效果是：

1.本发明提出了一种全新的光场相机透镜阵列设计思路以及配套的图像处理方法。复眼透镜阵列和平面透镜阵列有着相同的光场成像原理，可实现数字对焦、高速摄像以及多视角摄影与三维重构的功能。而优于平面阵列的是，由于各个透镜单元的光轴在空间上分散排布，复眼透镜的清晰成像范围要远大于平面阵列，克服了传统的光场相机清晰视场狭小的缺陷，使得利用单相机简易装置采集大范围光场信息成为了可能。

2.置于图像传感器单元与曲面复眼镜头之间的耦合光纤区域，不仅制作原理简单，易于实现，而且可有效地将方向分散的主光线聚拢成进入图像传感器单元的平行光，实现各微透镜单元所在光路光轴弯曲，使得常见的平面光电探测器可直接用于系统，进一步降低了制造成本。

3.提出的与曲面复眼透镜阵列光场成像配套的图像重构算法与思路，可广泛且有效地运用于现有的图像处理分析技术中。此外，整个装置结构简易，体积较小，拥有更优化的实用功能，有望成为今后光场相机发展的重要趋势。

附图说明

图1是本发明中曲面复眼镜头的俯视结构示意图。

图2是本发明中曲面复眼镜头的局部侧视结构示意图。

图3是本发明装置的整体结构示意图。

图4是本发明中光场坐标标定的过程示意图。

图5是本发明中光场相机重聚焦的过程示意图。

图6是本发明中图像超分辨率重构的过程示意图。

图7是本发明中CCD平面虚拟光阑设计的示意图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

见图1至图3，本发明提供一种基于曲面复眼阵列的大角度光场成像装置，主要由曲面复眼镜头，耦合光纤区域6及图像传感器单元8组成。下面对该装置的设计和成像基本过程进行具体说明：

曲面复眼镜头位于装置的最前端，整体外观为半球壳，由一定数量的微透镜单元3、球面透镜基底4和光纤耦合贴片5组成。正对球体对称轴观察，微透镜单元以微小间隙成正六边形均匀排布在球面透镜基底的外侧上，形成微透镜单元阵列。这种仿照昆虫复眼的设计，使曲面复眼镜头可接收来自各个方向的光线，并使得视场角FOV达到90°。光纤耦合贴片外观亦为半球壳，设置在球面透镜基底的内侧，两半球壳状器件的球心重合。光纤耦合贴片上的各子圆孔与微透镜单元一一对应。光纤耦合贴片由磁性材料制成，其用途是吸住耦合光纤区域光纤束7端口上的金属接头，保证该条光纤束与微透镜单元稳定耦合。同时，光纤耦合贴片的子圆孔可避免各微透镜单元的光发生孔眼交叉现象。此外，在曲面复眼镜头夹持件1上安装有安装孔2，便于球面透镜基底4与本装置其他主体结构的连接。

图2作出了一个子午面内部分微透镜单元3的排列情况。为了实现理想的成像，每个微透镜单元3的焦距应相等，并且各自成像的焦斑应分布在一个球面上。同时基于考虑视场大小、离轴像差、网眼光圈和系统组装等问题，该设计方案将整个单层复眼镜头的视场角FOV设置为90°，在一个半球子午面内，排布15个微透镜单元，平均每个微透镜单元3的视场角FOV为6°。

耦合光纤区域6连接曲面复眼镜头与图像传感器单元8，外观整体为一端呈平面，一段呈圆顶面的“桶状”区域结构。其中，圆顶面连接曲面复眼镜头的光纤耦合贴片，平面与图像探测器单元紧密连接。耦合光纤区域由单个耦合光纤区域光纤束7各自弯曲不同程度后紧密排列而成。在耦合光纤区域的圆顶面，各光纤束入口垂直于圆顶面的各处法线，并通过其端面金属接头与光纤耦合贴片子圆孔磁性相吸而固定。圆顶面的位置设计为与球面透镜基底同心的球面，或认为与光纤耦合贴片面重合。耦合光纤区域与曲面复眼镜头在此处可实现良好的光学对接，使得光线经过曲面复眼镜头后可在其圆顶面成像。而耦合光纤区域的平面与图像传感器单元紧密耦合，保证一个光纤束出口对应图像传感器单元表面的一个像素区域。这样的设计相当于弯曲了光路传输的光轴，由此，耦合光纤区域就利用了较大的光学压缩比将方向不同的主光线经过光纤的全反射作用，使其平行地被图像传感器平面接收，消除了图像畸变。

图像传感器单元即光电探测器，选用电荷耦合器件CCD。CCD平面与耦合光纤区域平面紧密耦合。CCD是光场信息的实际搜集处，是光信号向电信号转换中介。得到其输入的光场信息后，可利用计算机进行光场坐标的编码、虚拟成像曲面构建等数据处理任务，以实现不同的图像重构要求。

具体的，图3中仅作出部分微透镜单元3。来自全视场的光经过各微透镜单元3进入本发明装置。曲面复眼镜头拟选用聚甲基丙烯酸甲酯为制造加工材料，因其具有良好的透光性和加工工艺性。加工方式采用单点金刚石车削方法。经过微透镜单元3的光线先通过光纤耦合贴片5，之后由耦合光纤区域6的圆顶面接收，每个光纤束7由多根光纤组成，每根光纤口径设置为7μm，其各自主轴线在圆顶面均重合于该面各处法线，并在耦合光纤区域6的平面端与图像传感器单元8的表面垂直耦合，一个光纤口径对应一个像素点。进入耦合光纤区域6的光线经过光纤多次全反射作用后，以相同的夹角方向出射，并由图像传感器单元8接收，图像传感器单元8拟选用电荷耦合器件CCD。由此，CCD表面接收到了光场信息。在整个过程中，大视场的曲面图像被线性压缩成小的平面图像，避免了由曲面复眼镜头直接投影产生的畸变。

以下进行图像处理算法的基本思路说明：

1)光场坐标标定：在建立坐标时为方便表示，取其中一个沿轴子午面作图，将三维结构转为二维结构分析，如图4所示。首先标定光场的位置坐标，由于曲面复眼镜头的球面透镜基底与耦合光锥区域的圆顶面为同心球面，故以同心球面球心为原点设置极坐标系。在一定光源照射下，定义曲面复眼镜头上的每一个微透镜单元投在圆顶面的光斑区域，即单个耦合光纤区域光纤束入口，为一个宏像素。如图4所示，取一个微透镜单元分析，以其顶点向原点O作直线，与耦合光纤区域圆顶面相交于分析点A，A所在的曲面S为光场位置信息面，并用s表示A对应的极坐标角度值作为光场的位置坐标。然后标定光场的方向坐标。每个宏像素下子像素的个数决定了方向信息的分辨率，由于几何对应关系，将方向信息面U设置在曲面复眼镜头的球面透镜基底外侧，任意一条近轴光线与方向信息面的交点与分析点A连接的直线，与OA延长线的夹角定义为方向坐标u。由此，两坐标可覆盖光场的所有信息。

在四维光场中，成像的积分表述为：

式中，I(s，t)为一个宏像素的光强值。返回三维结构分析，t是和s定义和性质一致的位置坐标。u是和v定义与性质一致的方向坐标。不同位置宏像素的光强值涵盖各自子像素的方向信息，在物理实现上，这些信息均由图像传感器单元CCD的像素点存储。这些信息可用于多视角成像、光场相机重聚焦、超分辨率重构及多目视觉重构等图像的处理应用。

2)多视角成像

由1)中分析可知，式1在物理意义上亦可表示多视角成像过程。一个宏像素内所有的子像素成像集合即为一个视角方向的成像。因为各微透镜单元的光轴分布于各个方向，所以有了自然形成的多视角成像优势。应当注意，在一个子午面内，整个系统的视场角FOV应达到90°，但考虑到保证像质，减小离轴像差的影响，多视角成像完全由单个微透镜单元完成时，每个视角仅获取FOV＝6°的清晰视场图像。

3)光场相机重聚焦

本方法的基本思路是每个宏像素下的子像素经坐标变换处理后积分，重新按原来宏像素排列的位置关系组合成新的数字图像。由于耦合光纤区域与前后端两部分均有较好的耦合特性，其圆顶面可以视为在几何关系上完成了CCD的作用，而为了实现重聚焦的功能，需要构建虚拟成像曲面后再作其他分析处理。如图5所示，构建虚拟成像曲面S’，设其与U面及S面同心，其半径为S面半径的α倍，该比值即定义的重聚焦系数，满足公式：

R'＝αR 式2

显然，图5中的α>1。

在图5中取一条光线(图中箭头标注线)，该光线假设为物点发出的任一光线，依次经过U面，S’面及S面，与S’面相交于分析点C，与S面相交于分析点B，光线在这些面之间光线沿直线传播，有：

L(u,s)＝L(u',s') 式3

式中，(u,s)为分析点B的光场坐标，(u',s')为分析点C的光场坐标，L为该光线的光强，在理想状态下，光线传播过程中光强大小L不变。

进行几何分析，在ΔOAB中，u为u’和∠COB的外角，同时∠COB等于s与s’的差值，所以有

u-u'＝s-s' 式4 在△BOC中使用正弦定理，有

式中，R为S面的半径。到此，完成了参数变换。(u,s)与(u',s')的关系得以建立。

在此基础上，假设某物点在虚拟成像曲面的宏像素光场位置坐标为s’，将其各光场方向坐标积分，即可得到该宏像素点的成像。只是在积分公式中，参与积分的参数来自S面(实际的光场位置信息面)，经过式4与式5的参数变换参与积分计算。

式6与式1具有相同的物理意义，式6表示虚拟成像曲面上的光场信息，即任何需要的对焦过程均可通过不同虚拟成像曲面进行配准实现。

4)超分辨率重构

由于宏像素的光场位置坐标数与微透镜透镜单元个数相同，微透镜单元的密度直接影响着重构图像的分辨率。基于基本的光学传感器理论，本装置在大小、成像包含像元数一定的前提下，微透镜单元的数量规模又与视角范围和景深范围存在相互制约关系，所以并不能简单的通过增加微透镜单元的数量来提升分辨率。而超分辨率重构是从对同一目标进行多次采样的一系列低分辨率图像中还原一副高分辨率图像的过程。重构过程一般分为两步：首先目标场景的某一物点在不同的低分辨率图像中的投影点间存在亚像素级的位移，通过各种手段获取这一亚像素位移量，进而将各低分辨率图像投影进一个高分辨率网格中进行配准基于配准信息，其次对高分辨率网格内的各像素点进行重采样重构出高分辨率图像。超分辨率重构过程已有较成熟的方法，如概率重建法、频域解混叠、凸集投影和非均匀采样内插法等，目前均得到广泛的应用。而完成配准过程需要得到图像间的亚像素位移量。

本装置也适用于各种已经提出的超分辨率重构算法，现推导其亚像素位移。以一个视角的图像为例，考虑如图6所示的光场相机重聚焦情况，来自不同方向的光线通过一个微透镜单元的U面聚焦于S面上，且设其中一条光线对准S面圆心，当虚拟成像曲面移动到α的位置时，产生的亚像素位移为Δ，由图中的简单几何关系，即可得到在这一对焦深度下的亚像素位移量，即：

Δ＝αR(s'-s)式7

由此基本思路方法得到的亚像素位移，即可用于各种常用方式进行配准，以实现超分辨率重构。

5)多目视觉重构

曲面复眼镜头多微透镜单元的阵列特征使其具有“多目视觉”重构的优势。同时，考虑到在上述多视角成像任务中每个微透镜单元仅在有限视场角的区域满足像质要求，为了满足多目视觉重构的准确度，故拟提出图7所示的CCD面虚拟光阑设计。

图7示出在CCD面某特定区域宏像素排列的情况，每个宏像素由耦合光纤区域圆顶面的圆形，对应到CCD上的分区为正方形。以单个正方形区域中心为圆心作直径为正方形边长a的β倍的圆，称为CCD面虚拟光阑，直径为aβ。β的值应当由具体的实验和成像要求得到，即该区域内的像质不可低于规定的特定值。在多视觉成像和多目视觉重构中，特定物体的某一点在广泛的微透镜单元对应的宏像素中均存在成像，而仅有满足近轴成像条件的像点才拥有良好的像质。

故在多视角成像中，得到的图像在虚拟光阑内区域有较好的成像质量。在常见的多目视觉重构中，本方法中仅使用虚拟光阑内的像素信息进行基于视差的多目视觉重构。通常是选取相对于像点在光轴上或极小离轴距离的微透镜单元虚拟光阑内的像素信息。

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (6)

1.一种基于曲面复眼阵列的大角度光场成像装置，其特征在于，由依次设置的曲面复眼镜头、耦合光纤区域和图像传感器单元组成；所述曲面复眼镜头为半球状结构，从外到内依次由微透镜单元、球面透镜基底和光纤耦合贴片组成，所述微透镜单元均匀排布在球面透镜基底的外表面上，形成正六边形微透镜单元阵列；所述光纤耦合贴片设置于球面透镜基底的内表面且光纤耦合贴片上的各子圆孔与微透镜单元一一对应；所述耦合光纤区域的一端是与图像传感器单元相连的平面结构，另一端是用于与光纤耦合贴片形状相契合的圆顶面结构，耦合光纤区域是由若干光纤束各自弯曲不同程度后紧密排列而成。

2.根据权利要求1所述一种基于曲面复眼阵列的大角度光场成像装置，其特征在于，所述曲面复眼镜头通过光轴方向不同的微透镜单元能够接收来自光场各个方向的光线，并使得成像装置总视场角FOV接近90°。

3.根据权利要求1所述一种基于曲面复眼阵列的大角度光场成像装置，其特征在于，在耦合光纤区域的圆顶面，各光纤束入口垂直于圆顶面的各处法线，圆顶面为与曲面复眼镜头同心的半球面；耦合光纤区域与曲面复眼镜头实现光学对接，使得光线经过曲面复眼镜头后可在光纤耦合区域的圆顶面成像。

4.根据权利要求1所述一种基于曲面复眼阵列的大角度光场成像装置，其特征在于，耦合光纤区域的平面端与图像传感器单元紧密耦合，确保一个光纤束出口对应图像探测器单元表面的一个像素区域，每个光纤束由若干根光纤组成，每根光纤对应一个像素点。

5.根据权利要求1所述一种基于曲面复眼阵列的大角度光场成像装置，其特征在于，图像传感器单元即为光电探测器，选用电荷耦合器件CCD。

6.一种基于曲面复眼阵列的大角度光场成像装置的成像方法，其特征在于，包括以下步骤：(1)光场坐标标定；在一定光源照射下，将曲面复眼镜头上的每一个微透镜单元投在耦合光纤区域圆顶面的光斑区域视作一个宏像素，并以所有宏像素组成的阵列中心为原点，基于各宏像素几何中心点，利用极坐标关系标定各宏像素的位置，称为位置坐标；同时，根据几何对应关系，图像探测器单元上的每一个像素点通过圆顶光锥单元的耦合关系在球面透镜基底上对应一个特定的位置点，称作子像素；因此一个宏像素就是若干子像素的集合区域；子像素相对于宏像素中心的坐标，称之为该宏像素下的方向坐标；由此，建立起四维光场的坐标，完成光场坐标标定；

(2)进行虚拟成像曲面的曲面化设置；

(3)进行CCD虚拟光阑的设置；

(4)图像重构；对于多视角成像，类似于单相机照相，每一个宏像素都能够代表一个视角方向，提取单个宏像素图像即得到该视角下的图像。

Images