CN102739945B - 光场成像装置及方法 - Google Patents

Abstract

一种高分辨率光场成像装置及方法，其中，与光场成像方法相对应的装置通过平移主镜头的位置使主镜头的像平面与可变焦微透镜阵列位置相重合，此时可变焦微透镜阵列的焦距为初始焦距，传感器与可变焦微透镜阵列间距离与初始焦距相等，传感器获得第一图像，平移主镜头使其像平面偏离可变焦微透镜阵列位置，相应调节可变焦微透镜阵列的焦距至第二焦距，使主透镜的像平面通过可变焦微透镜阵列共轭成像在传感器上来获取第二图像，此过程中主镜头的平移位置与可变焦微透镜阵列的焦距变化遵从高斯光学定律；提取部提取第一图像的高方向分辨率信息和第二图像的高空间分辨率信息；图像处理部对提取的信息进行加权重组并对图像配准重构以得到最佳成像效果。

Description

光场成像装置及方法

技术领域

一种具有高分辨率的光场成像装置及方法，特别涉及一种同时具有高空间分辨率和高方向分辨率的光场成像装置及方法。

背景技术

传统相机的成像过程，是对于三维空间景物采取了二维投影的方式，只是将光线的强度在探测器像元上进行累加，也就是说只考虑了物体的在像平面上的空间分布，而丢弃掉了光线的传播方向信息，并限制了图像的重塑性。光场成像保留了对图像重塑的可能性，能够得到更加灵活化、多元化的图像信息，具有非常广泛的应用前景。如可以通过对光场图片的数字重聚焦技术，计算出对焦在不同深度的二维图像，实现“先拍照后对焦”的功能；提高聚焦能力，摆脱失焦、跑焦困扰；增加对图片处理的灵活性；通过光场数据合成视角图像实现3D显示；通过对光场数据的反演，数字化校正光学系统像差，降低光学系统设计和加工难度等。可以说，光场成像技术能够延伸到目前所有应用到光学成像的领域，扩展现有光学成像技术能够获得的信息量。

图1为传统光场相机结构示意图。如图1所示，其中，10是物平面，微透镜阵列12位于主镜头11的焦面上，传感器13位于微透镜阵列12的焦面上。透镜阵列12将主镜头11的像平面的光线按照不同的方向角分散在传感器13上，得到一个聚焦的主镜头光阑的图像，微透镜阵列后方的图像描述了系统中图像传感器在该位置处的方向分辨率，最终图像的空间分辨率取决于微透镜阵列中的透镜数量。

这种光场相机的最大缺陷在于，最终图像的空间分辨率取决于微透镜阵列中的透镜数量，而方向分辨率则取决于每个微透镜单元后所包含的像素的数量（宏像素）。这样，要获得一幅能够与普通照片分辨率相当的光场照片，就需要单元数量足够多的微透镜阵列和更大像素数的探测器件。这一点给加工制造带来很大难度，造成成本的迅速上升，成为制约光场成像发展的一大难点。

图2为聚焦型光场相机的结构示意图。如图2所示，可分为两种情况，分别对应图2（a）和图2（b）。在图2（a）中，微透镜阵列212对主镜头211的像平面214成像而不是对主镜头的主面成像，，微透镜阵列212的像平面位于其前方成实像，由传感器213接收。在图2（b）中，同样微透镜阵列222对主镜头221的像平面224成像而不是对主镜头的主面成像，微透镜阵列222的像平面位于其后方成虚像，由传感器223接收。

这种技术通过将微透镜阵列与主镜相对位置的改变，牺牲了一部分角度分辨率，来获得较高的空间分辨率，使最终获得的光场照片的空间分辨率较之普通光场相机提高。但这一技术的缺陷在于，牺牲的角分辨率对应于不同的景深，即每一个景深值都对应不同的空间分辨率，如采用一个空间分辨率进行重构，则会造成某些位置欠采样，而某些位置过采样，从而造成图像的不清晰或像素的浪费。

综上所述，目前的光场成像技术，多出的二维信息是以牺牲一定的空间分辨率为代价，二者之间存在一个折衷，现有的光场相机普遍存在图像空间分辨率不能满足需求的问题，这是当前制约光场成像技术的一个主要瓶颈。如何同时获得高空间分辨和高方向分辨率，或取得二者的最优化分布，是必须解决的一个重点问题。

发明内容

本发明针对目前光场成像技术不能同时获得高空间分辨率和高方向分辨率的瓶颈问题，提出以一种同时具有高空间分辨率又具有高方向分辨率的光场成像装置及方法。

本发明提供的光场成像装置包括：

位置能够平移的主镜头、焦距是可控变化的可变焦微透镜阵列、接收并感应图像的传感器、首先通过相对应的平移所述主镜头使得所述主镜头的像平面与所述可变焦微透镜阵列位置相重合，此时，所述可变焦微透镜阵列的焦距为初始焦距，所述传感器与所述可变焦微透镜阵列间距离与所述可变焦微透镜阵列的初始焦距相等，所述传感器获取的图像作为第一图像；平移所述主镜头位置使得主镜头像平面偏离所述可变焦微透镜阵列位置，并相应调节所述可变焦微透镜阵列的焦距至第二焦距，使得所述主镜头的像平面通过可变焦微透镜阵列共轭成像在传感器上，此时，所述传感器获取的图像作为第二图像，此过程中所述主镜头的平移位置与所述可变焦微透镜阵列的焦距变化遵从高斯光学定律；从而获取到所述第一图像与所述第二图像的获取部、提取第一图像的高方向分辨率信息以及第二图像的高空间分辨率信息的提取部、对提取的高方向分辨率信息和高空间分辨率信息进行加权重组，进行图像配准与重构，得到高方向分辨率和高空间分辨率两者之间的最优化分布图像，从而获得最佳成像的图像处理部。

进一步，本发明提供的光场成像装置还可以包括：存储第一图像与第二图像的图像存储部，提取部从该图像存储部中提取第一图像的高方向分辨率信息以及第二图像的高空间分辨率信息。

进一步，本发明提供的光场成像装置还可以具有这样的特征：第一图像是具有高方向分辨率但低空间分辨率信息的光场图像。

进一步，本发明提供的光场成像装置还可以具有这样的特征：第二图像具有搞空间分辨率信息但低方向分辨率信息的光场图像。

进一步，本发明提供的光场成像装置还可以具有这样的特征：获取部获取第一图像时的状态作为非聚焦状态，此时，主镜头的焦距为f’，主镜头与需要成像的物面之间的距离为l，可变焦微透镜阵列的焦距为f₁’，获取部相对应的获取第二图像的状态作为聚焦状态，此时，相对非聚焦状态时主镜头的位置平移的距离为m,可变焦微透镜阵列的焦距为f₂’，f₁’与f₂’之间的关系应为

${f_2}^{\′}=\frac{{f_1}^{\′}(f^{\′2}-1)m}{{f_1}^{\′}[{(l-f^{\′})}^2+(l-f^{\′})m]+(f^{\′2}-1)m}.$

进一步，本发明提供的光场成像装置还可以具有这样的特征：可变焦微透镜阵列可以为单液体可变焦透镜阵列。

另外，本发明提供的光场成像方法可以具有这样的特征：

首先，平移主镜头使得主镜头的像平面与可变焦微透镜阵列位置相重合，此时，可变焦微透镜阵列的焦距为初始焦距，传感器与可变焦微透镜阵列间距离与可变焦微透镜阵列的初始焦距相等，从而传感器获取的图像作为第一图像；

平移主镜头位置使得主镜头像平面偏离可变焦微透镜阵列位置，并相应调节可变焦微透镜阵列的焦距至第二焦距，使得主镜头的像平面通过可变焦微透镜阵列共轭成像在传感器上，此时，传感器获取的图像作为第二图像，此过程中主镜头的平移位置与可变焦微透镜阵列的焦距变化遵从高斯光学定律；

提取第一图像的高方向分辨率信息以及第二图像的高空间分辨率信息；

加权重组所述提取部提取的高方向分辨率信息和高空间分辨率信息进行，进行图像配准与重构，得到高方向分辨率和高空间分辨率两者之间的最优化分布图像，从而获得最佳成像效果。

进一步，本发明提供的光场成像方法还可以具有这样的特征：第一图像是具有高方向分辨率但低空间分辨率信息的光场图像。

进一步，本发明提供的光场成像方法还可以具有这样的特征：第二图像具有搞空间分辨率信息但低方向分辨率信息的光场图像。

进一步，本发明提供的光场成像方法还可以具有这样的特征：获取第一图像时的状态作为非聚焦状态，此时，主镜头的焦距为f’，主镜头与需要成像的物面之间的距离为l，可变焦微透镜阵列的焦距为f₁’，相对应的获取第二图像的状态作为聚焦状态，此时，相对非聚焦状态时主镜头的位置平移的距离为m,可变焦微透镜阵列的焦距为f₂’，f₁’与f₂’之间的关系应为

${f_2}^{\′}=\frac{{f_1}^{\′}(f^{\′2}-1)m}{{f_1}^{\′}[{(l-f^{\′})}^2+(l-f^{\′})m]+(f^{\′2}-1)m}.$

进一步，本发明提供的光场成像方法还可以具有这样的特征：可变焦微透镜阵列可以为单液体可变焦透镜阵列。

发明作用与效果

本发明针对目前光场成像技术不能同时获得高空间分辨率和高方向分辨率的瓶颈问题。本发明提供的光场成像装置及方法能够在非聚焦和聚焦模式间方便转换，从而获得既具有高空间分辨率又具有高方向分辨率的光场图像，同时具有实现方便，成本低廉的优点。该方法解决了目前光场成像技术分辨率不能满足需求的问题，在数字聚焦、图像重构、3-D信息获取与显示等方面具有广泛的应用前景。

附图说明

图1是传统光场相机结构示意图；

图2是聚焦型光场相机结构示意图；

图3是本发明在实施例中的单液体可变焦透镜阵列示意图；

图4是本发明在实施例中的光场成像装置的光学部分结构示意图；

图5是本发明在实施例中的光场成像装置的工作流程示意图；

具体实施方式：

下面结合附图与实施例对本发明作进一步的说明。

图4是本发明在本实施例中的光场成像装置的光学部分结构示意图；图5是本发明在本实施例中的光场成像装置的工作流程示意图。如图4、5所示，本实施例提供的光场成像装置包括：位置能够平移的主镜头41；焦距是可控变化的可变焦微透镜阵列42；接收并感应图像的传感器43；图中40为主镜头物平面，44为主镜头像平面；通过相对应的平移主镜头使得主镜头的像平面44与可变焦微透镜阵列42位置相重合，此时可变焦微透镜阵列的焦距为初始焦距，并且传感器43与可变焦微透镜阵列42间的距离b与可变焦微透镜阵列的初始焦距相等，此时获取部获取的图像作为第一图像；平移主镜头41的位置使得主镜头像平面44偏离可变焦微透镜阵列42位置，并相应调节可变焦微透镜阵列42的焦距至第二焦距，使得主透镜的像平面44通过可变焦微透镜阵列42共轭成像在传感器43上，从而获取图像作为第二图像的获取部；获取部获取图像的过程中主镜头的平移方向既可以远离可变焦微透镜阵列也可以靠近可变焦微透镜阵列，相应地造成的主镜头像平面的偏离可以在可变焦微透镜阵列的前方或后方，只需保证主镜头的平移位置与可变焦微透镜阵列的焦距变化遵从高斯光学定律，使得主镜头像平面通过可变焦微透镜阵列后在传感器上成实像。存储第一图像与第二图像的图像存储部；从图像存储部中提取第一图像的高方向分辨率信息以及第二图像的高空间分辨率信息的提取部；对提取部提取的高方向分辨率信息和高空间分辨率信息进行加权重组及图像配准与重构，得到高方向分辨率和高空间分辨率两者之间的最优化分布的优化图像的图像处理部。

图3是本发明在本实施例中的单液体可变焦透镜阵列示意图。如图3所示，本实施例中采用的可变焦微透镜阵列42为单液体可变焦的液体透镜阵列，该单液体可变焦的液体透镜阵列中的玻璃基板31上镀有一层透明导电膜（如ITO膜）32作为第一电极，并通过光刻的方法使其成一定的分立的带有引脚的网孔状分布，在第一电极上涂覆一层疏水性绝缘介质33，在疏水性绝缘介质上制作有与第一电极的形状相对应的网孔状分布，并露出透明导电膜。在网孔状分布的孔中注入不易挥发性绝缘液体34，并在34上通过化学气象沉积的方法沉积一层透明的派瑞林弹性薄膜35，将不易挥发性绝缘液体封装在一个封闭的空间内，并且控制派瑞林薄膜35的厚度使其具有适当弹性（如1-2μm左右）。在派瑞林薄膜35之上再镀有一层透明导电膜（如ITO膜），作为第二电极36。第一电极32与第二电极36通过绝缘介质33、不易挥发性绝缘液体34以及派瑞林弹性薄膜35被分离。当在第一电极32与第二电极36间施加电压后，由于电势效应第一电极与第二电极间将产生引力并有相互靠近的趋势，因此将挤压绝缘液体并引起沉积在液体表面的透明派瑞林弹性薄膜发生变形，从而改变液体表面曲率，实现变焦。这种单液体可变焦透镜阵列具有结构紧凑，变焦范围广，变焦效率高，填充液体可选范围广，采用电控，且易于阵列化制作的优点。

该光场成像装置工作时，首先被调整至非聚焦状态下，如图4（a）所示，主镜头41将物面40上的点成像在像平面44上，单液体可变焦透镜阵列42放置在与像平面44重合的位置，此时单液体可变焦透镜阵列42中，每个微透镜的焦距设置为初始焦距f₁’，单液体可变焦微透镜阵列42将主镜头41的像平面的光线按照不同的方向角分散在传感器43上，传感器43与单液体可变焦微透镜阵列的距离b=f₁’，此时，获取部获得一幅包含高方向分辨率信息但低空间分辨率信息的光场图像，称为第一图像，该图像存储在图像存储部中。

然后，通过简单平移主镜头41，使该光场成像装置工作在聚焦状态下，如图4（b）所示，物面40不变，将主镜头41向单液体可变焦透镜阵列42的方向平移，此时像平面44将相应地发生平移，不再与单液体可变焦透镜阵列42的位置重合，通过电压控制单液体可变焦透镜阵列42的焦距变化至第二焦距f2’，使可变焦微透镜阵列将主镜头41的像平面44成实像在传感器43上，而传感器43的位置保持不变，此时获取部将获得一幅包含高空间分辨率信息但低方向分辨率信息的光场图像，称为第二图像，该图像也存储在图像存储部中。

显然，只需要对主镜头做简单的平移而不需任何非线性运动就能够将该光场成像装置从非聚焦状态转变为聚焦状态，操作简单易行。

设主镜头焦距为f’，非聚焦状态下物面与主镜头主面距离为l，该光场成像装置从非聚焦状态转换到聚焦状态，主镜头平移的距离为m，可变焦微透镜阵列的焦距从初始焦距f₁’变化到第二焦距f₂’，f₁’和f₂’应遵从如下规律：

${f_2}^{\′}=\frac{{f_1}^{\′}(f^{\′2}-1)m}{{f_1}^{\′}[{(l-f^{\′})}^2+(l-f^{\′})m]+(f^{\′2}-1)m}$

在该公式中，各个量的符号符合高斯光学原理的规定。

提取部从图像存储部中的高方向分辨率信息但低空间分辨率信息的光场图像中提取高方向分辨率信息，从高空间分辨率信息但低方向分辨率信息的光场图像中提取高空间分辨率信息。

优化图像部根据提取部提取的高方向分辨率信息和高空间分辨率信息，将两者进行加权重组优化处理从而得到一幅高方向分辨率信息和高空间分辨率两者最优化分布的光场图像。

显然，光场成像方法与该光场成像装置相对应，同样能够得到具有高方向分辨率及高空间分辨率的图像。

实施例作用与效果

根据本实施例中的光场成像装置及方法能够将非聚焦状态与聚焦状态两种工作状态下记录的光场图像中有关方向和空间的信息分离提取，再通过对提取的信息作适当加权重组处理来得到一幅在空间分辨率与方向分辨率二者之间取得最优化分布的、既具有高空间分辨率又具有高方向分辨率的光场图像，另外，结构简单，实现方便，成本低廉。

本发明在以上实施例中采用的可变焦微透镜阵列为单液体可变焦的液体透镜阵列，但不局限于此种类型的可变焦液体透镜，还可以采用其他类型的可变焦透镜阵列，如电润湿型双液体可变焦透镜阵列、液晶可变焦透镜阵列、机械驱动式可变焦透镜阵列等等。电润湿型双液体可变焦透镜阵列该类型的液体透镜阵列采用两种互不相容的液体，其中一种为电解液，一种为绝缘液，通过施加不同电压改变两种液体与固体容器间的接触角，从而改变两种液体间界面的曲率半径，实现变焦。或者液晶可变焦透镜阵列，通过电压改变液晶材料的折射率发生变化，实现透镜变焦。或者基于改变压强控制液体表面曲率变化的液体透镜阵列，通过气压或液压通道，改变液体在腔体内的压强，使液体在腔内分布发生变化，从而改变透镜表面曲率实现变焦。本发明的光场成像装置采用电润湿型双液体可变焦透镜阵列或液晶可变焦透镜阵列或机械驱动式可变焦透镜阵列来变焦也能够实现上述实施例的效果。

Claims (9)

1.一种高分辨率的光场成像装置，其特征在于，包括： 

主镜头，位置能够平移； 

可变焦微透镜阵列，具有可控变化的焦距； 

传感器，接收并感应图像； 

获取部，首先通过相对应的平移所述主镜头使得所述主镜头的像平面与所述可变焦微透镜阵列位置相重合，此时，所述可变焦微透镜阵列的焦距为初始焦距，所述传感器与所述可变焦微透镜阵列间距离与所述可变焦微透镜阵列的初始焦距相等，所述传感器获取的图像作为第一图像；平移所述主镜头位置使得主镜头像平面偏离所述可变焦微透镜阵列位置，并相应调节所述可变焦微透镜阵列的焦距至第二焦距，使得所述主镜头的像平面通过可变焦微透镜阵列共轭成像在传感器上，此时，所述传感器获取的图像作为第二图像，此过程中所述主镜头的平移位置与所述可变焦微透镜阵列的焦距变化遵从高斯光学定律； 

提取部，提取第一图像的高方向分辨率信息以及第二图像的高空间分辨率信息； 

图像处理部，对提取的高方向分辨率信息和高空间分辨率信息进行加权重组，进行图像配准与重构，得到高方向分辨率和高空间分辨率两者之间的最优化分布图像，从而获得最佳成像效果， 

其中，获取所述第一图像时的状态作为非聚焦状态，此时，所述主镜头的焦距为f’，所述主镜头与需要成像的物面之间的距离为l，所述可变焦微透镜阵列的焦距为初始焦距f₁’；相对应的获取所述第二图像的状态作为聚焦状态，此时，相对非聚焦状态所述主镜头的位置平移的距离为m, 所述可变焦微透镜阵列的焦距为第二焦距f₂’，f₁’与f₂’之间的关系应为

2.根据权利要求1所述的光场成像装置，其特征在于，还包括： 

图像存储部，存储所述第一图像与所述第二图像； 

所述提取部从所述图像存储部中提取所述第一图像的所述高方向分辨率信息以及所述第二图像的所述高空间分辨率信息。 

3.根据权利要求1所述的光场成像装置，其特征在于： 

其中，所述第一图像是具有高方向分辨率但低空间分辨率信息的光场图像。 

4.根据权利要求1所述的光场成像装置，其特征在于： 

其中，所述第二图像是具有高空间分辨率但低方向分辨率信息的光场图像。 

5.根据权利要求1所述的高分辨率的光场成像装置，其特征在于： 

其中，所述可变焦微透镜阵列为单液体可变焦透镜阵列。 

6.一种高分辨率的光场成像方法，其特征在于，包括： 

首先，平移主镜头使得所述主镜头的像平面与所述可变焦微透镜阵列位置相重合，此时，可变焦微透镜阵列的焦距为初始焦距，传感器与所述可变焦微透镜阵列间距离与所述可变焦微透镜阵列的初始焦距相等，所述传感器获取的图像作为第一图像； 

平移所述主镜头位置使得主镜头像平面偏离所述可变焦微透镜阵列位置，并相应调节所述可变焦微透镜阵列的焦距至第二焦距，使得所述主镜头的像平面通过可变焦微透镜阵列共轭成像在传感器上，此时，所述传 感器获取的图像作为第二图像，此过程中所述主镜头的平移位置与所述可变焦微透镜阵列的焦距变化遵从高斯光学定律； 

提取第一图像的高方向分辨率信息以及第二图像的高空间分辨率信息； 

加权重组所述提取部提取的高方向分辨率信息和高空间分辨率信息进行，进行图像配准与重构，得到高方向分辨率和高空间分辨率两者之间的最优化分布图像，从而获得最佳成像效果， 

其中，获取所述第一图像时的状态作为非聚焦状态，此时，所述主镜头的焦距为f’，所述主镜头与需要成像的物面之间的距离为l，所述可变焦微透镜阵列的焦距为初始焦距f₁’；相对应的获取所述第二图像的状态作为聚焦状态，此时，相对非聚焦状态所述主镜头的位置平移的距离为m,所述可变焦微透镜阵列的焦距为第二焦距f₂’，f₁’与f₂’之间的关系应为

7.根据权利要求6所述的光场成像方法，其特征在于： 

其中，所述第一图像是具有高方向分辨率但低空间分辨率信息的光场图像。 

8.根据权利要求6所述的光场成像方法，其特征在于： 

其中，所述第二图像是具有高空间分辨率但低方向分辨率信息的光场图像。 

9.根据权利要求6所述的光场成像方法，其特征在于： 

其中，所述可变焦微透镜阵列为单液体可变焦透镜阵列。