CN113905164A - 光场成像系统以及通过光场成像系统采集光场信息的方法 - Google Patents

Abstract

本发明涉及光学成像技术领域，公开了一种光场成像系统以及通过光场成像系统采集光场信息的方法。本发明中的光场成像系统包括：光源装置、主透镜、滤光装置、超构透镜阵列、图像传感器以及主控装置；光源装置用于释放主透镜可接收的光线；滤光装置设置在超构透镜之前的光路中，用于选择性地使多种不同预设波长范围的光线通过；超构透镜阵列用于处理通过了主透镜与滤光装置的光线；图像传感器用于接收超构透镜阵列所产生的成像信号；主控装置与图像传感器电连接，用于控制拍摄与成像。该光场成像系统在不大幅度增加技术难度和成本的情况下，解决了光场成像系统的成像质量问题。

Description

光场成像系统以及通过光场成像系统采集光场信息的方法

技术领域

本发明涉及光学成像技术领域，特别涉及光场成像系统以及通过光场成像系统采集光场信息的方法。

背景技术

超构透镜(metalens)是一种轻薄小巧，功能大大超越传统透镜的新型透镜，其具有纳米结构的扁平表面，即超构表面(metasurface)，通过该超构表面可以使超构透镜灵活有效地调控电磁波相位、极化方式、传播模式等，让入射光投射到期望的地方实现聚光。

与传统透镜相比，超构透镜的厚度能够做到比普通镜片薄10万倍，它有望彻底颠覆传统光学系统中繁琐的透镜组，使得手机、相机、监控摄像头等产品都变得更小、更薄、更轻，使设计自由度大大提升，应用前景十分广阔。

目前，由超构透镜组成的超构透镜阵列已经应用于光场成像系统中，虽然超构透镜在单波长条件下拥有较好的成像效果，但在入射光有一定带宽的情况下，由于超构透镜对不同波长光的聚焦能力差别较大，从而形成色差，严重影响超构透镜的成像质量。如要消除超构透镜的色差，需要对超构透镜的超表面结构进行专门的设计，技术难度和成本较高，并且仅能在一定波长范围内消除色差。

发明内容

本发明的目的是提供一种光场成像系统以及通过光场成像系统采集光场信息的方法，无需设计超构透镜的超表面结构以消除色差，在不大幅度增加技术难度和成本的情况下，解决光场成像系统的成像质量问题。

为解决上述技术问题，本发明的实施方式提供了一种光场成像系统，包括：光源装置、主透镜、滤光装置、超构透镜阵列、图像传感器以及主控装置；所述光源装置用于释放所述主透镜可接收的光线；所述滤光装置设置在所述超构透镜之前的光路中，用于选择性地使N种不同预设波长范围的光线通过，所述N为大于或等于2的自然数；所述超构透镜阵列用于处理通过了所述主透镜与所述滤光装置的光线；所述图像传感器用于接收所述超构透镜阵列所产生的成像信号；所述主控装置与所述图像传感器电连接，用于控制拍摄与成像。

另外，所述超构透镜阵列由至少两个超构透镜组成，组成所述超构透镜阵列的超构透镜的光学聚焦能力不同。

另外，组成所述超构透镜阵列的光学聚焦能力不同的超构透镜间隔性均匀排布。

另外，组成所述超构透镜阵列的超构透镜数量大于或等于4，以正方形阵列形式排布。

另外，所述滤光装置设置在位于所述主透镜之前的光路中。

另外，所述滤光装置具有N片不同的滤光片，各滤光片用于供不同预设波长范围的光线通过，各滤光片可选择性切换。

另外，所述主控装置还用于控制所述滤光装置选择可通过的预设波长范围的光线。

另外，所述主控装置还用于控制所拍摄图像的图像处理与图像合成。

本发明的实施方式还提供了一种通过光场成像系统采集光场信息的方法，所述光场成像系统为以上所述的光场成像系统，包括以下步骤：

校准步骤：N种不同预设波长下的所述光场成像系统的视场角差异校准、所述光场成像系统的超构透镜中心校准、所述光场成像系统的尺度校准；

拍摄步骤:完成M次拍摄，每次拍摄时，控制所述光场成像系统的滤光装置使进入超构透镜阵列的光的波长为N种不同预设范围内的，所述M小于或等于N，且所述M大于或等于2，得到M张光场原图；

图像处理步骤：将得到的M张光场原图进行图像处理，得到以下三种中的至少一种处理图像：M组单色彩通道的多视角图像、M组单色彩通道的重聚焦图像、M张深度图；

光场信息输出步骤：根据校准步骤中得到的校准数据，将图像处理步骤中得到的处理图像合成为以下三种中的至少一种合成图像：一组多色彩通道的多视角图像、一组多色彩通道的重聚焦图像、一张融合深度图。

另外，所述校准步骤中还包括所述光场成像系统的白平衡校准。

与现有技术相比，本发明具有如下的有益效果：

由于本发明的光场成像系统具有滤光装置，所以在每次拍摄时，可以选择性地控制进入超构透镜阵列的光线的波长范围，保证拍摄出的单张图像没有色差。对这些不同波长下拍摄的无色差图像进行图像处理和合成，可以获得质量更高的光场图，以此解决具有超构透镜阵列的光场成像系统的成像质量问题。相对于直接改变超构透镜的超表面结构来消除色差，该技术易于实现，成本可控。另外，由于在多次拍摄时可以控制进入超构透镜阵列的光线的波长范围都不同，利用超构透镜对不同波长光的聚焦能力差别较大的特性，可以大大提升该光场成像系统的景深。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明第一实施方式中的可通过滤光装置的光线波长为λ1时的光场成像系统的示意图；

图2是本发明第一实施方式中的可通过滤光装置的光线波长为λ2时的光场成像系统的示意图；

图3是本发明第四实施方式中的可通过滤光装置的光线波长为λ1时的光场成像系统的示意图；

图4是本发明第四实施方式中的可通过滤光装置的光线波长为λ2时的光场成像系统的示意图；

图5是本发明第四实施方式中光场成像系统中超构透镜阵列的透镜的其中一种排布方式；

图6是本发明第四实施方式中光场成像系统中超构透镜阵列的透镜的其中一种排布方式；

图7是本发明第四实施方式中光场成像系统中超构透镜阵列的透镜的其中一种排布方式；

图8是本发明第五实施方式中通过光场成像系统采集光场信息的方法的主要步骤。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

本发明的第一实施方式提供了一种光场成像系统，如图1、2所示，包括：光源装置1、主透镜2、滤光装置3、超构透镜阵列4、图像传感器5以及主控装置(图中未示)。此实施方式中，光源装置1为一LED灯，用于照亮被拍摄目标；主透镜2与被拍摄目标相对，用于汇聚光线；滤光装置3设置在超构透镜之前的光路中，可以选择性地让两种不同预设波长范围的光线通过，超构透镜阵列4由至少两个超构透镜按一定规则排列组成，用于处理通过了主透镜2与滤光装置3的光线；图像传感器5用于接收超构透镜阵列4所产生的成像信号；主控装置是具有电源与处理器的电路装置，与图像传感器5电连接，用于控制拍摄与成像。

本实施方式中两种预设的可以通过滤光装置3的光线波长范围分别为单一波长λ1、单一波长λ2，滤光装置3由两片可以分别使单一波长λ1和单一波长λ2的光线通过的滤光镜片组成。主透镜2设置在一个镜筒内，镜筒前端设置有外螺纹结构，可以使单一波长λ1和单一波长λ2通过的滤光镜片上分别有一个与镜筒前端设置的外螺纹结构适配的内螺纹连接结构，滤光装置3的两片滤光镜片可选择性地与镜筒前端设置的外螺纹结构进行固定，由此选择性地让单一波长λ1或单一波长λ2的光线通过。

需要说明的是，由于超构透镜对不同波长光的聚焦能力差别较大，即超构透镜对不同波长的光，具有不同的焦距，而焦距决定了超构透镜的景深(景深是指超构透镜汇聚入射光线后，前后一定范围内的物体都能够取得清晰图像)。如图1所示，当可通过滤光装置3的光线的波长分别为λ1时，DOF1的范围即可以使超构透镜阵列4中的某一超构透镜清晰成像的范围。类似地，如图2所示，当可通过滤光装置3的光线的波长分别为λ2时，DOF2的范围即可以使超构透镜阵列4中的该超构透镜清晰成像的范围。可见，当可通过滤光装置3的光线的波长分别为λ1和λ2时，可以使超构透镜阵列4中的超构透镜清晰成像的范围DOF1和DOF2的范围不同，因此，该超构透镜的总景深范围包含了DOF1和DOF2的范围。而光场成像系统的超构透镜阵列4的总景深可以由全部超构透镜的景深相加得到。在本实施方式中，组成超构透镜阵列4的各个超构透镜的光学聚焦能力相同，所以，该超构透镜的总景深即该光场成像系统的超构透镜阵列4的总景深。

实际通过该光场成像系统进行拍摄时，可以人工选择可通过滤光装置3的光线的波长，然后按下快门进行拍摄，保证拍摄出的单张图像没有色差。在通过光场成像系统拍摄完成多张不同波长范围的光场图后，可以对这些光场图进行图像处理与图像合成，得到不同景深范围的多视角图像(主镜头从不同角度采集的图像)、重聚焦图像(通过算法改变对焦位置得到的图像)、深度图像(体现拍摄对象相对主镜头距离的图像)等。值得一提的是，本实施方式中组成超构透镜阵列4的超构透镜数量大于或等于4个，以正方形阵列形式排布。这样在计算多视角图像、重聚焦图像时，采用的插值步骤相较于其他排布方式更少，有利于获得更清晰的处理或合成图像。

由于本实施方式中的光场成像系统具有滤光装置3，所以通过该光场成像系统进行拍摄时，可以选择性地控制进入超构透镜阵列4的光线的波长范围，保证拍摄出的单张图像没有色差,对拍摄出的图像进行图像处理与图像合成，获得质量更高的光场图，以此解决具有超构透镜阵列的光场成像系统的成像质量问题。相对于直接改变超构透镜的超表面结构来消除色差，该技术易于实现，成本可控。另外，由于在多次拍摄时可以控制进入超构透镜阵列4的光线的波长范围都不同，利用超构透镜对不同波长光的聚焦能力差别较大的特性，可以大大提升该光场成像系统超构透镜阵列4的景深。

本发明的第二实施方式提供了一种光场成像系统，第二实施方式与第一实施方式大致相同，主要区别之处在于：在第一实施方式中，可通过滤光装置3的光线波长范围分别为单一波长λ1、单一波长λ2，滤光装置3由两片可以分别使单一波长λ1和单一波长λ2的光线通过的滤光镜片组成，滤光装置3的两片滤光镜片可选择性地与镜筒前端设置的外螺纹结构进行固定，由此选择性地让单一波长λ1或单一波长λ2的光线通过。而在第二实施方式中，滤光装置3的结构形式与第一实施方式不同，滤光装置3具有一个两侧开设通光孔的外壳，内部具有一个可转动的转盘，转盘由3种不同的滤光片组成，3种滤光片分别可以供波长为红光(600-720nm)、绿光(510-530nm)、蓝光(430-480nm)通过。另外，滤光装置3的转盘驱动装置由主控装置进行控制，具体可以实现以下功能：在按下光场成像系统的一拍摄按钮后，主控装置控制滤光装置3的转盘转动，使可供红光通过的滤光片正对滤光装置3外壳的通光孔，执行第一次拍摄，由于通过滤光装置3的光均为单色光，所以可以保证拍摄的图像无色差产生；之后，主控装置继续控制滤光装置3的转盘转动，使可供绿光通过的滤光片正对滤光装置3外壳的通光孔，执行第二次拍摄；完成后，主控装置继续控制滤光装置3的转盘转动，使可供蓝光通过的滤光片正对滤光装置3外壳的通光孔，执行第三次拍摄。

一次按键执行完一系列拍摄动作后，可以对拍摄的这些光场图进行图像处理与图像合成，得到不同景深范围的多视角图像、重聚焦图像、深度图像等。由于本实施方式中光场成像系统可以分别在红、绿、蓝三种波长范围的光线下进行了拍摄，所以将其拍摄的图像经处理合成后，最终可获得与普通彩色相机拍摄效果相似的彩色多视角图像、重聚焦图像。

在实际的应用中，滤光装置3也可以应用在不是由主控装置控制的场合，另外，滤光装置3的结构形式还可以不同，可选择性通过滤光装置3的光线的预设波长范围种类也可以更多，本实施方式中不对此进行限定。

本发明的第三实施方式提供了一种光场成像系统，第三实施方式是第二实施方式的进一步改进，其主控装置不仅可以控制滤光装置3选择性地让不同预设波长范围的光线通过，主控装置还可以控制所拍摄图像的图像处理与图像合成。

该光场成像系统具体可以实现以下功能：与第二实施方式类似，在按下光场成像系统的一拍摄按钮后，主控装置控制滤光装置3的转盘转动，使可供红光通过的滤光片正对滤光装置3外壳的通光孔，执行第一次拍摄，由于通过滤光装置3的光均为单色光，所以可以保证拍摄的图像无色差产生；之后，主控装置继续控制滤光装置3的转盘转动，使可供绿光通过的滤光片正对滤光装置3外壳的通光孔，执行第二次拍摄；完成后，主控装置继续控制滤光装置3的转盘转动，使可供蓝光通过的滤光片正对滤光装置3外壳的通光孔，执行第三次拍摄。在完成三次拍摄后，主控装置可以对三次拍摄的图像直接进行处理与合成，最终形成合成图像，根据实际的需求可得到不同景深范围的彩色多视角图像、重聚焦图像、深度图像等。

本实施方式的光场成像系统一次按键就可以执行一系列拍摄动作并得到需要的合成图像，相较于第二实施方式中的光场成像系统，该光场成像系统自动化程度更高，使用起来更为方便。

本发明的第四实施方式提供了一种光场成像系统，第四实施方式与第一实施方式大致相同，主要区别之处在于：在第一实施方式中，组成超构透镜阵列4的超构透镜的光学聚焦能力相同。而在第四实施方式中，组成超构透镜阵列4的超构透镜的光学聚焦能力不同。如图3所示，组成超构透镜阵列4的超构透镜有两种类型(分别为A型和B型)，光学聚焦能力不同，当可通过滤光装置的光线的波长为λ1时，使A型超构透镜清晰成像的范围为DOF3，使B型超构透镜清晰成像的范围为DOF4，可以使整个超构透镜阵列4清晰成像的范围包含了DOF3和DOF4。类似地，如图4所示，当可通过滤光装置3的光线的波长为λ2时，由于超构透镜对不同波长光的聚焦能力差别较大，会使A型超构透镜与B型超构透镜清晰成像的范围会发生变化，A型超构透镜清晰成像的范围变化为DOF5，B型超构透镜清晰成像的范围变化为DOF6，可以使超构透镜阵列4清晰成像的范围包含了DOF5和DOF6，所以，控制可通过滤光装置3的光线的波长，利用超构透镜对不同波长光的聚焦能力差别较大的特性，可以大大提升光场成像系统的景深范围。

为了使合成的多视角图像、重聚焦图像各区域的清晰程度具有较好的均匀性，在本实施方式中，组成超构透镜阵列4的光学聚焦能力不同的超构透镜需间隔性均匀排布，如图5所示，A型与B型的超构透镜间隔分布，并均匀排列。

或者，如图6、7所示，组成超构透镜阵列4的超构透镜也可以有三种类型(分别为A型、B型和C型)，光学聚焦能力均不相同。A型、B型与C型的超构透镜间隔分布，并均匀排列。当然，组成超构透镜阵列4的超构透镜也可以有更多类型，为了满足特定的需求其光学聚焦能力可以相同也可以不同，本实施方式中不对此进行限定。

由于本实施方式的光场成像系统中，组成超构透镜阵列4的超构透镜的光学聚焦能力不同，因而本实施方式中的光场成像系统相对于第一实施方式中的光场成像系统而言，景深范围更大。

本发明的第五实施方式提供了一种通过光场成像系统采集光场信息的方法，该光场成像系统为类似于以上实施方式中描述的光场成像系统，如图8所示，包括以下步骤：

校准步骤：光场成像系统的视场角差异校准、光场成像系统的超构透镜中心校准、光场成像系统的尺度校准、光场成像系统的白平衡校准。

由于光场成像系统的滤光装置可以选择性地让多种不同预设波长范围的光线通过，本实施方式中假定为N种，N为大于或等于2的自然数，所有的N种不同情况，都需要对光场成像系统进行校准。具体地，可以拍摄白色柔光板图像，进行光场成像系统的白平衡校准；用最小光圈拍摄白色柔光板，进行超构透镜中心校准；拍摄点阵图像，进行超构透镜阵列光场相机尺度校准和视场角校准。通过校准，可以得到各种参考数据。

当然，在具体的校准步骤实施过程中，也可以不进行白平衡校准，这样会导致处理得到的多视角图像整体有亮度差异，图像效果不好，但方案依然可以执行。

拍摄步骤:完成M次拍摄，每次拍摄时，控制光场成像系统的滤光装置使进入超构透镜阵列的光的波长为N种不同预设范围内的，其中，2≤M≤N，且M为自然数，得到M张光场原图。

在完成校准步骤与拍摄步骤后(校准步骤与拍摄步骤之间没有明确的先后顺序)，可以进行图像处理步骤：将得到的M张光场原图进行图像处理，得到以下三种中的至少一种处理图像：M组单色彩通道的多视角图像、M组单色彩通道的重聚焦图像、M张深度图。

光场信息输出步骤：根据校准步骤中得到的校准数据，将图像处理步骤中得到的处理图像合成为以下三种中的至少一种合成图像：一组多色彩通道的多视角图像、一组多色彩通道的重聚焦图像、一张融合深度图。

其中，多色彩通道的多视角图像可以由M组中的至少两组单色彩通道的多视角图像进行合成；多色彩通道的重聚焦图像可以由M组中的至少两组单色彩通道的重聚焦图像进行合成；融合深度图可以由M张中的至少两张深度图进行合成。

通过这些步骤，光场成像系统就完成了采集光场信息的步骤，由于本实施方式中，光场成像系统可以依靠滤光装置选择性地控制进入超构透镜阵列的光线的波长范围，保证每次拍摄拍摄出的单张图像没有色差，再通过图像处理步骤对图像进行处理，最终可以合成信息量更大的光场图像。采用该方法相对于直接改变超构透镜的超表面结构来消除色差，技术层面更易于实现，成本可控。另外，由于在拍摄时可以控制进入超构透镜阵列的光线的波长范围，利用超构透镜对不同波长光的聚焦能力差别较大的特性，可以大大提升该光场成像系统可采集的光场信息。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种光场成像系统，其特征在于，包括：光源装置、主透镜、滤光装置、超构透镜阵列、图像传感器以及主控装置；

所述光源装置用于照亮被拍摄物；

所述滤光装置设置在所述超构透镜之前的光路中，用于选择性地使N种不同预设波长范围的光线通过，所述N为大于或等于2的自然数；

所述超构透镜阵列用于处理通过了所述主透镜与所述滤光装置的光线；

所述图像传感器用于接收所述超构透镜阵列所产生的成像信号；

所述主控装置与所述图像传感器电连接，用于控制拍摄与成像。

2.根据权利要求1所述的光场成像系统，其特征在于，所述超构透镜阵列由至少两个超构透镜组成，组成所述超构透镜阵列的超构透镜的光学聚焦能力不同。

3.根据权利要求2所述的光场成像系统，其特征在于，组成所述超构透镜阵列的光学聚焦能力不同的超构透镜间隔性均匀排布。

4.根据权利要求1所述的光场成像系统，其特征在于，组成所述超构透镜阵列的超构透镜数量大于或等于4，以正方形阵列形式排布。

5.根据权利要求1所述的光场成像系统，其特征在于，所述滤光装置设置在位于所述主透镜之前的光路中。

6.根据权利要求1所述的光场成像系统，其特征在于，所述滤光装置具有N片不同的滤光片，各滤光片用于供不同预设波长范围的光线通过，各滤光片可选择性切换。

7.根据权利要求1所述的光场成像系统，其特征在于，所述主控装置还用于控制所述滤光装置选择可通过的预设波长范围的光线。

8.根据权利要求1所述的光场成像系统，其特征在于，所述主控装置还用于控制所拍摄图像的图像处理与图像合成。

9.一种通过光场成像系统采集光场信息的方法，其特征在于，所述光场成像系统为权利要求1-8中所述的任意光场成像系统，包括以下步骤：

校准步骤：所述光场成像系统的视场角差异校准、所述光场成像系统的超构透镜中心校准、所述光场成像系统的尺度校准；

拍摄步骤:完成M次拍摄，每次拍摄时，控制所述光场成像系统的滤光装置使进入超构透镜阵列的光的波长为N种不同预设范围内的，所述M小于或等于N，且所述M大于或等于2，得到M张光场原图；

图像处理步骤：将得到的M张光场原图进行图像处理，得到以下三种中的至少一种处理图像：M组单色彩通道的多视角图像、M组单色彩通道的重聚焦图像、M张深度图；

光场信息输出步骤：根据校准步骤中得到的校准数据，将图像处理步骤中得到的处理图像合成为以下三种中的至少一种合成图像：一组多色彩通道的多视角图像、一组多色彩通道的重聚焦图像、一张融合深度图。

10.根据权利要求9所述的通过光场成像系统采集光场信息的方法，其特征在于，所述校准步骤中还包括所述光场成像系统的白平衡校准。

Images