CN104539832A - 混合式光场成像系统 - Google Patents

Abstract

本发明涉及一种混合式光场成像系统，物平面经主镜头聚焦后，通过可变焦微透镜阵列成像在像感器上，物平面、主镜头、可变焦微透镜阵列、像感器在同一水平轴依次放置，可变焦微透镜镜阵列与主镜头、像感器的距离始终不变，当可变焦微透镜阵列的光焦度为0时 ， 系统获得普通二维图像，当可变焦微透镜阵列的光焦度由0变为 φ 时 ， 即可变焦微透镜阵列的焦距 f’= 1/ φ 时 ， 系统获取四维光场图像。改变可变焦微透镜阵列的光焦度，可在二维和四维光场图像上任意切换。与普通光场相机相比，在不增加系统结构复杂度的情况下，可以同时实现光场成像与普通二维成像两种模式，方便用户选择与使用。

Description

混合式光场成像系统

技术领域

本发明涉及一种成像技术，特别涉及一种混合式光场成像系统，可同时实现普通二维成像和四维光场成像的系统。

背景技术

传统数码相机结构如图1所示，其中，10是物平面，11为系统镜头，光线经过光学系统后到达像感器12，经过光电转换得到最终的图片。传统相机的成像过程，是对于三维空间景物采取了二维投影的方式，只是将光线的强度在探测器像元上进行累加，也就是说只考虑了物体在像平面上的空间分布，而丢失了光线在传播方向上的信息，限制了图像的重塑性。

光场成像不仅采集了物体的空间信息，同时还收集了物体的方向信息，由于能同时记录光场传播的二维空间信息和二维方向信息，因而被称为四维信息。光场相机可分为两种类型，一类是普通光场相机，一类是聚焦型光场相机。其中，聚焦型光场相机能够获得较高的空间分辨率。

普通光场相机的结构如图2所示。在图2中，20是物平面，微透镜阵列22位于主镜头21的焦面上，传感器23位于微透镜阵列22的焦面上。微透镜阵列22将主镜头21的像平面的光线按照不同的方向角分散在传感器23上，得到一个聚焦的主镜头光阑的图像，微透镜阵列22后方的图像描述了系统中图像传感器23在该位置处的方向分辨率，最终图像的空间分辨率取决于微透镜阵列22中的透镜数量。

聚焦型光场相机的结构如图3所示，可分为两种情况，分别对应图3（a）和图3（b）。在图3（a）中，310为物平面，微透镜阵列313对主镜头311的像平面312成像，微透镜阵列313的像平面位于其后方成实像，由传感器314接收。在图3（b）中，同样320为物平面，微透镜阵列323对主镜头321的像平面322成像，微透镜阵列323的像平面位于其后方成虚像，由传感器324接收。

光场成像保留了对图像重塑的可能性，能够得到更加灵活化、多元化的图像信息，具有非常广泛的应用前景。如可以通过对光场图片的数字重聚焦技术，计算出对焦在不同深度的二维图像，实现“先拍照后对焦”的功能；提高聚焦能力，摆脱失焦、跑焦困扰；增加对图片处理的灵活性；通过光场数据合成视角图像实现3D显示；通过对光场数据的反演，数字化校正光学系统像差，降低光学系统设计和加工难度等。

但是光场成像会产生很大的数据量，并且还要对所得图像进行一系列处理，才能够得到人们平时所习惯看到的图像。现有的光场相机，在完成拍照之后，必须要将图片导入特定的软件，在其中对光场信息进行处理之后，才能得到方便人们观看的图像。虽然在相机上，往往也提供一个预览图片，但该预览图片通常是通过对光场图像的直接降采样获得，相对与普通数码相机的照片，这样的预览照片像素数过低，效果较差。因此，现有的光场相机对于广大用户来说不符合大众的使用习惯，这给其广泛使用带来了很大局限，使其不能够替代或进入传统的数码相机市场。

有技术提出在相机中加入分光结构，如图4所示，通过分光器件42（如半透半反平面镜或半透半反棱镜等），将从主镜头41出射的光束分成两路，一路直接由像感器43接收，获得类似普通数码相机的二维图像，另一路在像感器45前加入微透镜阵列（或小孔阵列）44，获得四维光场图像。这种结构虽然能够同时得到一幅普通二维图像和一幅光场图像，但系统不可避免的存在体积大，结构复杂的缺点，同时，由于采用了分光器件，系统每一路的能量相对于进入主镜头的总能量来说都至少减半，为了保证像面上能获得足够的照度，就要求主镜头设计有更大的相对孔径，这也会增加系统的复杂度，提高制造成本。

发明内容

本发明是针对目前光场相机不能够直接得到用户能够观看的图像的问题，提出了一种混合式光场成像系统，采用可变焦微透镜阵列，通过控制透镜阵列变焦，在不对相机结构做任何调整的情况下，用户可自由选择拍摄光场图像或普通图像，或两者共同获得，从而达到方便使用的目的。

本发明的技术方案为：一种混合式光场成像系统，物平面经主镜头聚焦后，通过可变焦微透镜阵列成像在像感器上，物平面、主镜头、可变焦微透镜阵列、像感器在同一水平轴依次放置，可变焦微透镜阵列由多个相同的微透镜或微透镜组按正方形或六边形排成阵列构成，可变焦微透镜阵列的厚度为d，折射率为n，可变焦微透镜阵列的光焦度可在0到φ之间变化，即可变焦微透镜阵列的焦距可在无穷大到f’之间变化，主镜头的焦距为f ₁ ’ ，主镜头相对于像感器的距离为l’，可变焦微透镜阵列相对于像感器的距离b；

当可变焦微透镜阵列的光焦度为0时，系统获得普通二维图像，物方对准平面与主镜头主面之间的距离l ₁ 满足：

,

当可变焦微透镜阵列的光焦度由0变为φ时，可变焦微透镜阵列的焦距f’= 1/φ，系统获得四维光场图像，假设可变焦微透镜阵列的焦距f’>0时，四维光场图像模式下对焦物平面与主镜头主面间的距离l _a > l ₁ ；假设可变焦微透镜阵列的焦距f’<0时，有l _a < l ₁ 。并且，l _a 与l ₁ 之间满足由高斯光学所确定的关系：

式中，l ₁ 是二维图像模式下对焦物平面与主镜头主面间的距离，l ₁ ’是二维图像模式下物方对准平面经主镜头成像后的像距，f ₁ ’ 是主镜头的焦距，l _a ’ 是四维光场图像模式下对焦物平面经主镜头成像后的像距，a是四维光场图像模式下对焦物平面经主镜头成像后，像面与可变焦微透镜阵列之间的距离，b是可变焦微透镜阵列与像感器之间的距离。

本发明的有益效果在于：本发明混合式光场成像系统，与普通光场相机相比，在不增加系统结构复杂度的情况下，可以同时实现光场成像与普通二维成像两种模式，方便用户选择与使用。不符合传统的成像习惯是现有光场相机未能广泛为用户所接受的一个重要原因，因此，本发明的提出，将能有效化解这一矛盾，具有广泛的应用前景。

附图说明

图1为传统相机成像示意图；

图2为普通光场相机成像示意图；

图3（a）为聚焦型光场相机成像第一种情况示意图；

图3（b）为聚焦型光场相机成像第二种情况示意图；

图4为是采用分光结构的混合式光场成像系统示意图；

图5（a）为本发明混合式光场成像系统在非光场成像模式下结构示意图；

图5（b）为本发明混合式光场成像系统在光场成像模式下结构示意图。

具体实施方式

如图5所示是本发明的混合式光场成像系统结构示意图，可变焦微透镜阵列由多个相同的微透镜或微透镜组按正方形或六边形排成阵列构成，采用的可变焦微透镜阵列在光焦度为0和指定值φ之间变化。当可变焦微透镜阵列的透镜焦距为无穷远，即光焦度为0时，如图5（a）所示，系统工作在非光场成像模式（即二维成像模式），可获得普通二维图像。在此模式下，可变焦微透镜阵列512相当于一块平行平板，等效于在普通数码相机的成像光路中加入了一块平板元件。物平面510经主镜头511及平板元件512后，成像在像感器513上，获得普通二维图像。平板元件对小角度入射光线成像不会影响其成像质量，对汇聚或发散光线会引入像散等像差，在本发明中，虽然并不能保证前端主镜头射向微透镜阵列的光线为近平行光线，但等效平板引入的像差可在主镜头设计时进行统一考虑平衡，从而将像差控制在一个可接受的范围内。同时，由于在可变焦微透镜阵列中，微透镜之间存在间隔，这些间隔区域的成像质量将无法保证，在作为平板元件考虑时，这些间隔可能会引起在像面图像上的网格状噪声。但是，由于这些间隔是规律分布的，并且一旦可变焦微透镜阵列的结构确定，则间隔情况即可确定，间隔在像面上引入的网格状噪声也将确定，因此，可以通过图像处理的方式，去除掉这些间隔对应的部分像素，从而去除这些网格噪声。

当将可变焦微透镜阵列的透镜光焦度调整为φ，即对应的可变焦微透镜阵列的焦距为f’=1/φ时，系统工作在光场成像模式（即四维成像模式），可获得光场图像，如图5（b）所示。在此模式下，520为物平面，可变焦微透镜阵列523将主镜头521的针对520物平面的像平面522，共轭成像在系统的像感器524位置，此时满足聚焦型光场相机的成像要求，像面上可获得一幅光场图像。通过对光场图像数据的再处理，即可获得诸如数字再聚焦、扩大景深等效果的图像。

假设在非光场成像模式下，如图5（a）所示，系统的物方对准平面与主镜头主面的距离为l ₁ ，像感器513与主镜头511主面的距离为l’。则距离为l ₁ 的物面经主镜头511成像于l ₁ ’处，再通过可变焦微透镜阵列512在光焦度为0时所构成的平板元件之后，成像在系统的像感器513位置处，由光电转换器件接收，从而获得一幅普通二维图像。

当在光场成像模式下，如图5（b）所示，可变焦微透镜阵列的焦距变为f’= 1/φ，对焦物平面520与主镜头521主面间的距离将变为l _a ，此时，距离为l _a 的对焦物平面经过主镜头521，将成像于主镜头521后距离为l _a ’的像面522位置，然后再经过可变焦微透镜阵列523，成像于距离主镜头521主面后l’处的像感器524位置。也就是说，像面522与像感器524是关于可变焦微透镜阵列523具有共轭成像关系的两个平面。假设可变焦微透镜阵列的焦距f’>0时，有l _a > l ₁ ；假设可变焦微透镜阵列的焦距f’<0时，有l _a < l ₁ 。并且，l _a 与l ₁ 之间满足由高斯光学所确定的关系：

式中，l ₁ 是非光场成像模式下对焦物平面与主镜头主面间的距离，l ₁ ’是非光场成像模式下对焦物平面经主镜头成像后的像距，f ₁ ’ 是主镜头的焦距，l _a 是光场成像模式下对焦物平面与主镜头主面间的距离，l _a ’ 是光场成像模式下对焦物平面经主镜头成像后的像距，a是光场成像模式下对焦物平面经主镜头成像后，像面与可变焦微透镜阵列之间的距离，b是可变焦微透镜阵列与像感器之间的距离。

同时考虑到在非光场成像模式下，可变焦微透镜阵列相当于一块平行平板，假设可变焦微透镜阵列的厚度为d，折射率为n，则经过可变焦微透镜阵列等效的平板后，像面产生的轴向位移为d（1-1/n），带入到以上方程组中并化简，可以计算出：

,

。

也就是说，随着可变焦微透镜阵列的光焦度由0变为φ，系统由普通二维成像转变为四维光场成像，但两种状态下所对应的对焦物平面不是同一平面。当可变焦微透镜阵列的焦距f’>0时，光场成像模式下的对焦物平面在普通二维成像的对焦物平面之后；当可变焦微透镜阵列的焦距f’<0时，光场成像模式下的对焦物平面在普通二维成像的对焦物平面之前。但由于光场成像模式下所获得的是四维光场信息，允许对已拍摄好的图像进行数字重聚焦，因此这两个对焦物平面的不重合并不会给使用者带来任何的不便。同时，由于系统工作中，两种模式下最终的系统焦平面位置，即像感器相对于主镜头主面间的距离l’没有任何改变，可变焦微透镜阵列相对于像感器的距离b也没有改变，因此，系统不需要有任何结构上的调整，即可同时实现两种工作模式。

本发明中，如图5（b）中，也可以设置可变焦微透镜阵列的焦距为f’<0，此时可变焦微透镜阵列仍旧对主镜头的像平面成像，只是可变焦微透镜阵列的像平面位于其后方成虚像，依旧由像感器接收。

本发明中，所采用的关键器件可变焦微透镜阵列，优选的可以采用电润湿型双液体可变焦透镜阵列，该种类型的液体透镜阵列采用两种互不相容的液体，其中一种为电解液，一种为绝缘液，通过施加不同电压改变两种液体与固体容器间的接触角，从而改变两种液体间界面的曲率半径，实现变焦。通过调整两种液体以及管壁的材料，可以调整两种液体界面间的初始接触角，并通过一定的电压控制，使液体透镜的光焦度在0与某一非零值φ之间变化。但本发明并不限于此种类型的可变焦液体透镜，也可采用其他类型的可变焦透镜阵列，如采用专利（ZL 201010107346.3）中描述的单液体可变焦的液体透镜阵列，或基于改变压强控制液体表面曲率变化的液体透镜阵列，或其他类型的可变焦透镜阵列等。

本发明采用可变焦的液体透镜阵列，通过控制透镜阵列变焦，可在不对相机结构做任何调整的情况下，由用户自由选择拍摄光场图像或普通二维图像，或两者共同获得。也就是说，系统可在普通成像与光场成像两种模式间实现转换，供用户自由挑选拍照方式，从而解决了目前光场相机不能直接得到能够观看的图像，不符合用户拍摄习惯的缺点，且相较于现有的光场相机结构，并没有增加系统的复杂度。

在专利ZL201210164989.0中，类似的提出在光场成像系统中采用可变焦透镜阵列，但其技术方案与目的与本发明完全不同。在该专利的技术方案中，是通过可变焦透镜阵列与探测器的简单平移，使系统在非聚焦型光场相机和聚焦型光场相机模式间方便转换，本发明则不需要系统做任何的移动或调整。同时，该专利的目的是通过图像融合技术，获得既具有高空间分辨率又具有高方向分辨率的光场图像。

Claims (1)

1.一种混合式光场成像系统，其特征在于，物平面经主镜头聚焦后，通过可变焦微透镜阵列成像在像感器上，物平面、主镜头、可变焦微透镜阵列、像感器在同一水平轴依次放置，可变焦微透镜阵列由多个相同的微透镜或微透镜组按正方形或六边形排成阵列构成，可变焦微透镜阵列的厚度为d，折射率为n，可变焦微透镜阵列的光焦度可在0到φ之间变化，即可变焦微透镜阵列的焦距可在无穷大到f’之间变化，主镜头的焦距为f ₁ ’ ，主镜头相对于像感器的距离为l’，可变焦微透镜阵列相对于像感器的距离b；

当可变焦微透镜阵列的光焦度为0时，系统获得普通二维图像，物方对准平面与主镜头主面之间的距离l ₁ 满足：

,

当可变焦微透镜阵列的光焦度由0变为φ时，可变焦微透镜阵列的焦距f’= 1/φ，系统获得四维光场图像，假设可变焦微透镜阵列的焦距f’>0时，四维光场图像模式下对焦物平面与主镜头主面间的距离l _a > l ₁ ；假设可变焦微透镜阵列的焦距f’<0时，有l _a < l ₁ ；

并且，l _a 与l ₁ 之间满足由高斯光学所确定的关系：

式中，l ₁ 是二维图像模式下对焦物平面与主镜头主面间的距离，l ₁ ’是二维图像模式下物方对准平面经主镜头成像后的像距，f ₁ ’ 是主镜头的焦距，l _a ’ 是四维光场图像模式下对焦物平面经主镜头成像后的像距，a是四维光场图像模式下对焦物平面经主镜头成像后，像面与可变焦微透镜阵列之间的距离，b是可变焦微透镜阵列与像感器之间的距离。