CN115086550A - 元成像方法与系统 - Google Patents

Abstract

本申请涉及元成像技术领域，特别涉及一种元成像系统与方法，其中，系统包括：在光学成像系统的像面附近放置微透镜阵列，微透镜阵列的尺寸与系统对应衍射极限分辨率相差两个数量级以内。微透镜阵列表面以每个微透镜为周期镀有周期性掩膜图案，对成像光路进行调制。小微透镜尺寸与掩膜使元成像系统在采集图像过程中产生频域混叠，高频图像信息被调制到低频部分，而不是像普通成像系统中的高频成分在成像过程中消失。在微透镜阵列后一倍焦距附近放置光电传感器如：CMOS或CCD。相比于传统光场成像，元成像系统中的小微透镜尺寸，掩膜编码，像面扫描等方式采集到了更精细，包含更多高频信息的光场图像。

Description

元成像方法与系统

技术领域

本申请涉及元成像技术领域，特别涉及一种元成像方法与系统。

背景技术

随着超高像素数目成像逐渐进入人们的视野，以及机器视觉、无人机、高清监视系统等行业或设备的普及与扩散，人们对于高分辨率、大像素数目成像的需求日益明显。而成像系统成像质量或成像分辨率通常包括以下三方面限制条件：第一、像感器的采样率：像感器主要分为CCD(Charge Coupled Device，电荷耦合器件)和CMOS(Complementary MetalOxide Semiconductor，互补金属氧化物半导体)两类，增加像素数目和减小像元尺寸均有利于更高清的分辨率图像生成；第二、系统的光学衍射极限：根据瑞利分辨率判据，成像系统中各透镜的数值孔径决定了系统的分辨能力；第三、像差：像差普遍存在于自然环境中，比如大气的散射等，同时像差也存在于镜头之中，由于镜头属于人工磨制的器件，会存在与理论光学中的理想透镜模型的偏差。

另外，随着镜头尺寸的逐渐增大，理想光学系统中的近轴光学理论不再适用，离轴光线的轨迹难以像近轴光线那样易于预测。以上三点都限制了系统的成像能力，并阻拦十亿像素成像的发展。

相关技术中，得益于工业的发展，光学系统可以达到的衍射极限已经足以满足人们宏观场景拍摄的需求，同时也有足够的工艺制作出大面阵小像元尺寸的高分辨率像感器，因此，像差成为了阻拦这些工艺进一步发展主要因素，有待解决。

发明内容

本申请提供一种元成像方法与系统，通过元成像，结合多角度稠密空间采样和自适应光学架构计算的方式，有效打破角度分辨率与空间分辨率的矛盾，实现大场景、高分辨和三维成像。

本申请第一方面实施例提供一种元成像系统，包括：放置于像面附近的微透镜阵列，微透镜阵列的尺寸与系统对应衍射极限分辨率相差两个数量级以内；在微透镜阵列表面以每个微透镜为周期镀有周期性掩膜图案，对成像光路进行调制；微透镜阵列的尺寸与掩膜使元成像系统在采集图像过程中产生频域混叠，使得高频图像信息被调制到低频部分；在微透镜阵列后一倍焦距附近放置光电传感器。

可选地，所述微透镜阵列的尺寸小于预设尺寸。。

可选地，所述光电传感器为CMOS或CCD等。

本申请第二方面实施例提供一种元成像方法，所述方法应用于上述实施例所述的元成像系统，包括以下步骤：获取在成像时像面扫描待成像目标得到的多个相对位置微小偏移的光场图像，产生相邻小间隔微透镜间的虚拟重叠；根据多次扫描的光场图像计算成像时，计算光学系统或采集场景引入的像差，并基于像差与波动光学理论对成像系统的点扩散函数进行建模；根据建模后的点扩散函数，与多次扫描光场图像重排列后所得的多视角图像进行非相干孔径合成，实现图像重构，得到待成像目标的最终成像结果。。

可选地，所述波动光学理论可以为菲涅尔衍射或瑞利-索末菲解方程。

由此，本申请至少具有如下有益效果：

通过多角度稠密空间采样，在时间维度上同时进行像面扫描，得到图像队列，为后续自适应光学计算提供原始数据，并通过自适应光学架构，对多视角图像融合、插值，可以将原始数据重建为高分辨的二维或三维图像，从而通过元成像，结合多角度稠密空间采样和自适应光学架构计算的方式，有效打破角度分辨率与空间分辨率的矛盾，实现大场景、高分辨和三维成像。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本申请实施例提供的一种元成像系统框图；

图2为根据本申请实施例提供的一种元成像方法的流程示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

在物理模型上，随着单镜头尺寸的增长，像差会随之逐步提升，且随着像素数目的提升、有效像素数目会被限制在一个有限的尺度上，因此无论如何增加像感器的像素数目或是镜头的数值孔径，图像都很难进一步提升分辨率与清晰度。为了消除像差对于成像分辨率的干扰，相关技术中提出了三种方案解这一问题：

第一个方案：通过缩小光学孔径尺寸，减小像差的存在，可以突破原有普通相机的有效像素数目局限。但这种方案会导致通光量减小，曝光时间增大，信噪比大幅度降低。

第二个方案：通过多相机拼接，形成十亿像素成像，整体而言减少随着光学采集信息通量的增多而增加的光学像差。该种方案通过增多镜头数目的方式减小像差随单镜头尺寸增大而相应增大的幅度，比减小孔径的方式更好的突破了像差限制，达到较好的成像效果。但是该方案系统庞大，无法应用于日常及一些特殊的使用场景。

第三个方案：为自适应光学硬件系统，通过一些特制的波前传感器，再结合专门的“导星”，矫正成像光路中的像差。但是这种方案由于自适应光学硬件系统价格昂贵，光路设计较为复杂，同样无法应用于普通日常的场景。而且由于“导星”的限制，自适应光学硬件系统只能矫正一定范围内的一种像差畸变，无法对于大视场多种不一致像差同时存在的复杂场景进行矫正和补偿。

为此，本申请实施例提出了一种元成像方法与系统，下面将参考附图进行描述。

如图1所示，元成像系统包括：在光学成像系统的像面附近放置微透镜阵列，微透镜阵列的尺寸与系统对应衍射极限分辨率相差两个数量级以内。微透镜阵列表面以每个微透镜为周期镀有周期性掩膜图案，对成像光路进行调制。小微透镜尺寸与掩膜使元成像系统在采集图像过程中产生频域混叠，高频图像信息被调制到低频部分，而不是像普通成像系统中的高频成分在成像过程中消失。在微透镜阵列后一倍焦距附近放置光电传感器如：CMOS或CCD。

其中，微透镜阵列的尺寸小于预设尺寸，预设尺寸可以具体标定等，即可以理解为微透镜的小尺寸。

可以理解的是，相比于传统光场成像，本申请实施例的元成像系统中的小微透镜尺寸，掩膜编码，像面扫描等方式采集到了更精细，包含更多高频信息的光场图像，从而可以帮助采集到包含更多高频信息的原始数据。

具体地，本申请实施例可以获取多个扫描位置，产生微透镜间的重叠，然后基于微透镜的小尺寸，引入频域混叠，高频到低频，带来的非相干孔径合成的优势，从而实现空间分辨率与角度分辨率的克服。然后配合算法，能够将原来需要模拟光学器件才能实现的光场调制，现在能用数字的方法完成，但是需要波动光学，生成对应的相位，重新生成PSF。由此，本申请实施例实现超精细的光场采集与重构，克服了传统光场采集的精细度不够，重构的精细度也不够的问题。

如图2所示，基于上述实施例的元成像系统，本申请实施例的元成像方法包括以下步骤：

在步骤S101中，获取在成像时像面扫描待成像目标得到的多个相对位置微小偏移的光场图像，产生相邻小间隔微透镜间的虚拟重叠。

可以理解的是，本申请实施例通过像面扫描的方式同时采集高空间分辨率与多角度分辨率，有效解决了光场成像中高空间分辨率与多角度分辨率无法同时获得的问题；并通过实现像面的周期性规律扫描，获得多维度的一系列光场图。

具体而言，本申请实施例需要对像面进行像素精度的扫描，比如通过微透镜阵列的位移、光电传感器的扫描、或光路本身的振动及位移等多种方式，使得最终成像的一系列结果中有像素尺度下的相对偏移。因此，在本申请实施例中，像面扫描可以指：通过微透镜阵列的位移、光电传感器的扫描、或光路本身的振动及位移等多种方式，使最终成像的一系列结果间具有像素尺度下的相对偏移。

本申请实施例可以通过相对偏移的多张光场图片，结合计算的方法，即可恢复无空间分辨率损失或空间分辨率损失相比传统光场较小的全角度分辨率光场图片，其中，空间分辨率损失的程度与扫描的次数相关。虽然微透镜阵列为光场成像带来了光电传感器无法采集的角度信息，但是同时也因此损失了空间分辨率，使得基于微透镜阵列的光场成像通常存在空间分辨率损失的问题。为此，本申请实施例可以通过对像面扫描结合算法恢复的方式，解决了光场成像分辨率损失，最终可以同时获得具有高空间分辨率、高角度分辨率的成像结果。

在步骤S102中，根据多次扫描的光场图像计算成像时，计算光学系统或采集场景引入的像差，并基于像差与波动光学理论对成像系统的点扩散函数进行建模。

可以理解的是，本申请实施例可以根据多次扫描的光场图像计算成像时，突破空间分辨率与角度分辨率的矛盾，并计算光学系统或采集场景引入的像差，并基于像差与波动光学理论，如菲涅尔衍射，瑞利-索末菲解方程等对成像系统的点扩散函数进行建模。

具体而言，在获得高空间分辨率与高角度分辨率之后，本申请实施例可以通过计算的方式，可以恢复出成像系统中存在的像差，这一功能成为数字自适应光学，数字自适应光学功能主要针对光学系统，如光学镜头、环境干扰，如大气湍流等带来的像差。其中，计算像差的方法包括但不限于两种：

(1)一种为计算像差可以根据不同视角图像间的相对平移关系，获得对应的平移矩阵。此处平移矩阵代表了像差的一阶梯度。对一阶梯度做积分与拟合后可以生成最终的像差图像。

(2)另一种可以将不同视角图像输入到训练过的神经网络中，如基础骨架为Unet的卷积神经网络计算结构(包括但不限于卷积网络)，直接获得最终的像差图像。

由于像差的存在会导致成像分辨率低于衍射极限，造成分辨率的损失，因此本申请实施例可以估计并消除像差，恢复衍射极限分辨率的成像结果，具体地：本申请实施例可以使用计算的方法，利用采集获取的不同角度信息进行数字自适应光学校准，消除像差对图像的影响，可以结合光场图中耦合的空间、角度信息，矫正光学像差、大气湍流等影响成像分辨率的干扰。

在步骤S103中，根据建模后的点扩散函数，与多次扫描光场图像重排列后所得的多视角图像进行非相干孔径合成，实现图像重构，得到待成像目标的最终成像结果。

其中，本申请实施例将最终生成的像差分布放置进入光学系统的点扩散函数模拟过程中，生成具有对应像差的点扩散函数图像或数据；元成像方法中的波动光学建模，包含实际像差的点扩散函数计算等方式，更精细准确的描述了光学系统的成像模型，辅助采集到的数据恢复高分辨率图像结果。

可以理解的是，本申请实施例可以实现特性精准的像差估计，基于波动光学的点扩散函数建模。最终利用精确的点扩散函数与多视角图像，重构出包含高频信息的图像结果，其中，多视角图像是通过像面扫描后的多张光场图像进行像素重排列获得的。

具体而言，本申请实施例可以通过自适应光学架构，对多视角图像融合、插值，将原始数据重建为高分辨的二维或三维图像，比如，本申请实施例在利用采集获取的不同角度信息进行数字自适应光学校准，消除像差对图像的影响之后，恢复高分辨率二维图像；也可以利用不同角度信息同时进行深度信息的估计，恢复高分辨率三维图像。其中，融合的技术包括但不限于以下两种：(1)一种为通过不同视角对应的，包含像差后的点扩散函数与不同视角图像进行解卷积后进行融合；(2)另一种为将多视角图像直接输入到训练过的神经网络中，如基础骨架为Unet的卷积神经网络计算结构(包括但不限于卷积网络)，直接获得最终的高分辨率图像。

由此，本申请实施例可以使用对应的算法恢复高分辨率二维和三维成像结果，从而可以在消除像差的同时获得高分辨率的二维或三维成像结果，并利用获得的高角度分辨率信息，重建目标场景的高空间分辨率三维分布。

下面将以图1的系统对元成像方法进行阐述，具体如下：

(1)进行多视角成像，通过微透镜阵列进行角度信息与空间信息的同时采集，并通过像面扫描的方式恢复传统光场损失的分辨率，最终得到包含不同角度信息的图像堆栈。

(2)对采集到的原始图像进行图像计算，根据不同的需求，进行数字自适应光学、深度估计、高分辨图像重建等。最终得到高分辨的三维或二维成像。

根据本申请实施例提出的元成像方法，通过多角度稠密空间采样，在时间维度上同时进行像面扫描，得到图像队列，为后续自适应光学计算提供原始数据，并通过自适应光学架构，对多视角图像融合、插值，可以将原始数据重建为高分辨的二维或三维图像，从而通过元成像，结合多角度稠密空间采样和自适应光学架构计算的方式，有效打破角度分辨率与空间分辨率的矛盾，实现大场景、高分辨和三维成像。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

Claims (5)

1.一种元成像系统，其特征在于，包括：

放置于像面附近的微透镜阵列，微透镜阵列的尺寸与系统对应衍射极限分辨率相差两个数量级以内；

在微透镜阵列表面以每个微透镜为周期镀有周期性掩膜图案，对成像光路进行调制；微透镜阵列的尺寸与掩膜使元成像系统在采集图像过程中产生频域混叠，使得高频图像信息被调制到低频部分；

在微透镜阵列后一倍焦距附近放置光电传感器。

2.根据权利要求1所述的系统，其特征在于，所述微透镜阵列的尺寸小于预设尺寸。

3.根据权利要求1所述的系统，其特征在于，所述光电传感器为CMOS或CCD。

4.一种元成像方法，其特征在于，所述方法应用于如权利要求1-3任意一项所述的元成像系统，包括以下步骤：

获取在成像时像面扫描待成像目标得到的多个相对位置微小偏移的光场图像，产生相邻小间隔微透镜间的虚拟重叠；

根据多次扫描的光场图像计算成像时，计算光学系统或采集场景引入的像差，并基于像差与波动光学理论对成像系统的点扩散函数进行建模；

根据建模后的点扩散函数，与多次扫描光场图像重排列后所得的多视角图像进行非相干孔径合成，实现图像重构，得到待成像目标的最终成像结果。

5.根据权利要求4所述的方法，其特征在于，所述波动光学理论为菲涅尔衍射或瑞利-索末菲解方程。

Images