CN114518654A - 一种高分辨大景深成像方法 - Google Patents

Abstract

本发明公开了一种高分辨大景深成像方法。该方法包括如下步骤：(1)针对目标工作场景，仿真参数空间下的成像系统的点扩散函数，以确定成像系统的参数；(2)设计并制备光学波前调制器件，搭建成像系统；(3)标定成像系统的点扩散函数，利用标定数据进一步生成训练数据集；(4)构建并训练解耦重建算法，对实际拍摄得到的图像进行重建。本发明基于光谱偏振复用的思路，通过前端设计的波前调制器件，将大景深范围内空间信息耦合编码至光谱偏振通道，光学系统将近景到远景的信息通过一次拍摄全部采集后，由解耦重建算法恢复出清晰图像数据，最终实现了超大景深成像。

Description

一种高分辨大景深成像方法

技术领域

本发明涉及纳米光子学、计算摄像学和深度学习领域，尤其涉及一种高分辨大景深成像方法。

背景技术

景深是成像系统可以清晰成像的场景深度范围，其前后边界一般位于系统对焦深度前/后一段距离，是成像系统的重要参数。成像时景深范围以外的场景所成的图像会发生失焦模糊，因此较高的景深范围意味着成像系统能够同时对更大深度范围的场景进行清晰成像。大景深光学成像可以获取目标场景丰富的信息，实现从近景到远景均清晰成像。但由于物理原理限制，传统成像系统景深和分辨率构成一对相互制约的指标，大景深和高分辨不可兼得。

发明内容

针对现有光学系统无法有效扩展景深的特点，本发明的目的在于提出一种打破分辨率与景深相互制约的方法，实现大景深高分辨的成像。

为达上述目的，本发明采用的技术方案如下：

一种高分辨大景深成像方法，包括如下步骤：

步骤1，针对目标工作场景，仿真参数空间下的成像系统的点扩散函数，以确定成像系统的参数；

步骤2，根据步骤1的参数设计并制备光学波前调制器件，搭建成像系统，所述成像系统包括所述光学波前调制器和传感器，光学波前调制器位于传感器前端；

步骤3，标定成像系统的点扩散函数，利用标定数据进一步生成训练数据集；

步骤4，构建并训练解耦重建算法，对实际拍摄得到的图像进行重建。

进一步地，所述步骤1具体为：

首先针对目标工作距离确定参数边界条件，利用光学仿真系统获取成像系统在不同物距、焦距和光谱下的主光轴上的点扩散函数；在仿真过程中，单个波前调制器件可以表示为：

其中，(x,y)为器件表面的坐标，F为器件的焦距，λ为工作波长，最终点扩散函数可由以下公式得到：

PSF＝∫H(λ)|U(x,y,z_i,λ)|²dλ

其中H(λ)为成像系统的光谱响应曲线，对光谱维度取加权平均或根据成像系统响应曲线积分；U(x,y,z_i,λ)为成像系统像平面z_i的复振幅；

利用PSF-Rank指标确定成像系统的最终参数，PSF-Rank定义为：

其中σ,ω,K_ω,S_ω分别表示噪声水平、空间频率、PSF的傅里叶变换、图像的平均功率谱；以波前调制器件参数、物距L为坐标轴，绘制系统PSF-Rank分布图，于图中选择合适的波前调制器件参数值，使得多段景深相互衔接。

进一步地，所述光学波前调制器件采用折射型器件、衍射型器件或者以上两种类型器件的级联。

进一步地，所述光学波前调制器件采用衍射型器件时，包括基底、第一介质材料和第二介质材料，其中，第一介质材料为第二介质材料的覆层，且第二介质材料位于基底上；所述第二介质材料的折射率大于第一介质材料的折射率，且两者的折射率差大于0.4。其中，第一介质材料可以为空气、氧化硅或氟化镁；所述第二介质材料的折射率大于或等于基底的折射率，第二介质材料和基底可以采用硅、氧化硅、氮化硅、氮化镓、氧化钛或氧化铪。

进一步地，所述第二介质材料以各向异性的纳米单元结构或者同心圆环结构的形式排布在基底上；各向异性纳米单元结构的高度H≤3λ，长宽均不大于λ，周期P≤1.5λ，λ为入射光波长。

进一步地，所述步骤3中，标定少量均匀分布于成像系统的工作空间内的点光源响应图像，使用标定获取的点扩散函数图像加权融合的方式，由标定获取的稀疏点扩散函数空间生成稠密点扩散函数空间。

进一步地，所述加权融合的方法作用于点扩散函数幅值矩阵对应的相位反演矩阵上，加权融合后通过光学仿真方法由稠密相位反演推导出稠密点扩散函数空间。

进一步地，对生成的稠密点扩散函数空间进行旋转、缩放和加噪方法增强数据集。

进一步地，利用增强后的数据集与清晰图像做卷积，生成清晰-模糊图像对作为训练数据集。

进一步地，所述解耦重建算法采用多尺度全卷积网络，小尺度的特征输出经过上采样后进入高一级尺度参与计算，网络采用L2范数与感知损失作为代价函数。

本发明提出了一套完整的大景深高分辨成像方法，该方法涉及系统设计、硬件制备、数据集生成和算法设计四部分。在系统设计阶段引入PSF-Rank指标衡量系统性能，从而确定光学波前调制器件具体参数；在硬件制备阶段通过特定光学波前调制器件将由近景到远景的场景空间信息耦合到光谱与偏振维度，拓展了景深范围；在数据生成与算法设计阶段，耦合信息通过神经网络算法解耦重建，最终呈现高分辨大景深的图像。本发明的成像方法解决了传统光学器件功能单一、体积过大以及与成像系统集成化、小型化发展趋势相矛盾的问题。更重要的是，现代计算成像学的引入，成功将衍射光学器件成像像差大的问题转化为优势，耦合编码效果好、速度快。根据本发明方法构建的成像体系将有潜力广泛应用于科研、生活、医疗、航空航天、军事等领域，对推动科学研究、国民经济的发展以及国防建设具有深远的意义。

附图说明

图1示出了本发明方法的流程示意图；

图2示出了本发明实施例中一种可选的成像装置示意图；

图3示出了本发明实施例中另一种可选的成像装置示意图；

图4示出了本发明实施例中光学波前调制器件的一种可选的阵列示意图；

图5示出了本发明实施例中光学波前调制器件的一种可选的单元结构正视图；

图6示出了本发明实施例中光学波前调制器件的一种可选的单元结构侧视图；

图7示出了本发明实施例中光学波前调制器件的实物图，(a)是介质纳米结构阵列的正视图，(b)是侧视图。

图8示出了本发明实施例中的光学系统结构图；

图9示出了本发明实施例中的光学系统PSF-Rank分布图；

图10示出了本发明实施例中的解耦重建算法结构图。

图中，1-光学波前调制器，2-传感器，3-第一介质材料，4-第二介质材料，5-基底。

具体实施方式

下面将结合附图及具体实施例对本发明进行详细描述。

参照附图1，本实施例的一种高分辨大景深成像方法，具体步骤如下：

步骤1，成像系统的设计

针对目标工作距离L，仿真参数空间下的系统点扩散函数(PSF)，并将PSF-Rank作为系统性能衡量标准，以确定波前调制器件的双焦距参数F₁，F₂。光学系统结构图如图8所示。

针对目标工作距离L确定扫描边界F_d、F_c。具体方法为：首先确定工作距离中心位置L₀，此时物距为L₀，选择合适的焦距以及透镜到传感器距离L₂，以保证该中心位置L₀处的场景可以清晰成像，此后固定透镜与传感器距离，利用高斯公式：

求得对应边界工作距离的焦距F_d、F_c。

下一步利用傅里叶光学衍射方法，如瑞丽索莫非衍射方法仿真系统在不同物距、焦距、光谱下的主光轴上的点扩散函数PSF。瑞丽索莫非衍射由以下公式表示：

U(x，y，z_i，λ)＝[U(x，y，z_o，λ)*h(x，y，L₁，λ)]·Φ(x，y，λ)*h(x，y，L₂，λ)，

其中U(x，y，z_o，λ)与U(x，y，z_i，λ)分别是物距L₁处的点光源复振幅和像距L₂处的复振幅，相应的，h(x，y，L₁，λ)，h(x，y，L₂，λ)为点光源到透镜、透镜到传感器平面的传播矩阵，Φ(x，y，λ)为透镜的等效相位表示。其中物距L选择范围为目标的轴向工作范围L_c～L_d，视具体工作场景确定，焦距F选择范围为F_d～F_c。本实施例中，景深范围为从厘米量级到公里量级。光学波前调制器相位面可以表示为：

光谱范围为400～700nm。单次仿真输入为特定物离、光谱下的点光源幅值-相位矩阵U(x，y，z_o，λ)。最终PSF可由以下公式得到：

PSF＝∫H(λ)|U(x，y，z_i，λ)|²dλ

其中H(λ)为成像系统的光谱响应曲线，对光谱维度取加权平均或根据相机响应曲线积分。

下一步利用PSF-Rank指标确定最终系统参数。首先计算所有仿真结果的PSF-Rank值，PSF-Rank定义为：

其中σ，ω，K_ω，S_ω表示噪声水平、空间频率、PSF的傅里叶变换、图像的平均功率谱，PSF-Rank衡量了系统图像的重建能力，PSF-Rank值越小，则系统成像越易重建。以扫描焦距F为横坐标，物距L为纵坐标，绘制系统PSF-Rank分布图。此时分布图通常表现为带状分布，如图9所示。于图中选择两段焦距，使得两段景深相互交接。此时两段焦距F₁，F₂即为左右旋偏振下的中心焦距。此时成像系统可以同时捕获两端景深内场景的高频信息，后续重建算法可以利用这些高频信息重建原始高清图像。

步骤2，光学波前调制器件的设计

(1)光学波前调制器件可以是单个器件或者多个器件的组合；光学波前调制器件可以是折射型或衍射型器件或者两种类型器件的级联。如图2所示，前端光学波前调制器1由单个衍射型器件构成，后端为传感器2。图3显示的装置与图2不同的是，前端光学波前调制器1由折射型器件和衍射型器件级联构成，其中折射型器件位于衍射型器件之前。

本实施例中采用衍射型器件作为说明，以二氧化钛材料作为第二介质材料4，空气作为第一介质材料3，基底5为二氧化硅。单元结构和阵列结构如图4-6所示。通过采用时域有限差分法扫描单元结构的参数空间，可以获得每个参数所对应的相位和传输效率，供纳米结构选择。本例中，氧化钛纳米结构的高度为600nm，采用正方晶格排列，周期为450nm，纳米结构的长轴和短轴分别选取结构1(335nm,120nm)，结构2(100nm,200nm)，结构3(110nm,225nm)，结构4(115nm,270nm)。

(2)波前调制器件可以包含有空间复用型或偏振解耦合型大焦深透镜。空间复用型透镜的特征在于多种具有不同焦距的微透镜相互交错排列。偏振解耦合型透镜的特征在于两种正交的偏振态分别控制不同的透镜。这里选择偏振解耦合型波前调制器件作为具体实施方案示例，其波前调制如图5所示。

当入射光含有一对正交的圆偏振态时，每个坐标位置的纳米结构均对两种偏振态有独立的波前调制功能。该器件可以用琼斯矩阵J表示，通过解琼斯矩阵的本征值和本征矢量，可以确定每个坐标位置(x,y)处所需要的传播相位和几何相位如下：

这里，

和

代表两个无关联的相位分布，δ_x、δ_y表示各项异性纳米结构的双折射相位，θ代表各项异性纳米结构的方位角。根据相位分布，可以得到上述(1)中四种纳米结构在基底上的排布方式，包括结构的大小和方位角。

(3)样品的加工采用电子书曝光法与原子层沉积法，加工得到的最终结构如图7所示，每个位置(x,y)所选择的纳米结构由(δ_x,δ_y,θ)三个参量确定。

步骤3，系统标定与数据集生成

标定系统的点扩散函数，同时利用PSF的空间连续变换特性与光学系统的对称性，从标定获取的稀疏PSF空间生成稠密PSF空间，最后利用增强后的PSF空间与清晰图像生成训练数据集。

制备光学波前调制器1并搭建好实际系统后(参照图8)，利用系统拍摄点光源，标定系统的实际PSF图像。点光源放置在系统工作空间内，可沿光轴所在水平面移动，完成稀疏采样，采样数量根据系统视场、工作景深确定，如垂直光轴方向采样率为7，光轴方向采样率为9，总共7×9次采样，平均分布在工作平面中。

下一步对获取的PSF做稠密估计。利用瑞丽索莫非衍射公式与反向传播算法，反推与标定PSF幅值矩阵对应的相位反演矩阵，加权融合空间近邻的相位反演矩阵生成稠密相位反演空间，并再次利用傅里叶光学衍射方法生成对应的稠密PSF空间。

具体过程可用如下公式表示：

PSF_new＝f(λf^-1(psF₁)+(1-λ)f^-1(pSF₂))

其中f表示瑞丽索莫非衍射公式，f^-1表示由PSF到相位反演矩阵的逆向优化求解过程，PSF₁与PSF₂为相邻两个标定获取的PSF。

下一步利用光学系统的对称性对获取的稠密PSF空间进一步加强，具体步骤包含旋转(0°-360°)、缩放(0.5-2倍)、加高斯白噪声，其标准差约为图像最大值的5％。利用增强后的PSF数据库与标准清晰图像数据库做卷积操作，并对生成的模糊图像同样添加5％的高斯白噪声，从而得到清晰-模糊训练数据对用于重建算法训练。

步骤4，解耦重建算法设计与训练

重建算法采用多尺度全卷积神经网络，网络结构如图10所示。网络输入为全局一致的模糊图像，网络输出标签为对应的清晰图像。网络采用如下损失函数：

其中O_k和G_k表示网络输出与网络输出标签，k表示该图像所处的尺度序号，φ_vgg表示VGG网络的第25层输出结果。

网络训练时输入全局一致的生成数据集训练，测试时可以直接输入全局非均匀模糊的实拍数据，网络可以利用局部一致性自动重建出最终的清晰图像。

本发明基于光谱偏振复用的思路，通过前端设计的波前调制器件，将大景深范围内空间信息耦合编码至光谱偏振通道，光学系统将近景到远景的信息通过一次拍摄全部采集后，由解耦重建算法恢复出清晰图像数据，最终实现了超大景深成像。本发明将波前调制器件与计算成像技术完美结合，构建了全新高性能的光学成像体系。

Claims (10)

1.一种高分辨大景深成像方法，其特征在于，包括如下步骤：

步骤1，针对目标工作场景，仿真参数空间下的成像系统的点扩散函数，以确定成像系统的参数；

步骤2，根据步骤1的参数设计并制备光学波前调制器件，搭建成像系统，所述成像系统包括所述光学波前调制器和传感器，光学波前调制器位于传感器前端；

步骤3，标定成像系统的点扩散函数，利用标定数据进一步生成训练数据集；

步骤4，构建并训练解耦重建算法，对实际拍摄得到的图像进行重建。

2.如权利要求1所述的一种高分辨大景深成像方法，其特征在于，所述步骤1具体为：

首先针对目标工作距离确定参数边界条件，利用光学仿真系统获取成像系统在不同物距、焦距和光谱下的主光轴上的点扩散函数；在仿真过程中，单个波前调制器件可以表示为：

其中，(x，y)为器件表面的坐标，F为器件的焦距，λ为工作波长，最终点扩散函数可由以下公式得到：

PSF＝∫H(λ)|U(x，y，z_i，λ)|²dλ

其中H(λ)为成像系统的光谱响应曲线，对光谱维度取加权平均或根据成像系统响应曲线积分；U(x，y，z_i，λ)为成像系统像平面z_i的复振幅；

利用PSF-Rank指标确定成像系统的最终参数，PSF-Rank定义为：

其中σ，ω，K_ω，S_ω分别表示噪声水平、空间频率、PSF的傅里叶变换、图像的平均功率谱；以波前调制器件参数、物距L为坐标轴，绘制系统PSF-Rank分布图，于图中选择合适的波前调制器件参数值，使得多段景深相互衔接。

3.如权利要求1所述的一种高分辨大景深成像方法，其特征在于，所述光学波前调制器件采用折射型器件、衍射型器件或者以上两种类型器件的级联。

4.如权利要求3所述的一种高分辨大景深成像方法，其特征在于，所述光学波前调制器件采用衍射型器件时，包括基底、第一介质材料和第二介质材料，其中，第一介质材料为第二介质材料的覆层，且第二介质材料位于基底上；所述第二介质材料的折射率大于或等于基底的折射率；所述第二介质材料的折射率大于第一介质材料的折射率，且两者的折射率差大于0.4。

5.如权利要求4所述的一种高分辨大景深成像方法，其特征在于，所述第二介质材料以各向异性的纳米单元结构或者同心圆环结构的形式排布在基底上；各向异性纳米单元结构的高度H≤3λ，长宽均不大于λ，周期P≤1.5λ，λ为入射光波长。

6.如权利要求1所述的一种高分辨大景深成像方法，其特征在于，所述步骤3中，标定少量均匀分布于成像系统的工作空间内的点光源响应图像，使用标定获取的点扩散函数图像加权融合的方式，由标定获取的稀疏点扩散函数空间生成稠密点扩散函数空间。

7.如权利要求6所述的一种高分辨大景深成像方法，其特征在于，所述加权融合的方法作用于点扩散函数幅值矩阵对应的相位反演矩阵上，加权融合后通过光学仿真方法由稠密相位反演推导出稠密点扩散函数空间。

8.如权利要求7所述的一种高分辨大景深成像方法，其特征在于，对生成的稠密点扩散函数空间进行旋转、缩放和加噪方法增强数据集。

9.如权利要求8所述的一种高分辨大景深成像方法，其特征在于，利用增强后的数据集与清晰图像做卷积，生成清晰-模糊图像对作为训练数据集。

10.如权利要求1所述的一种高分辨大景深成像方法，其特征在于，所述解耦重建算法采用多尺度全卷积网络，小尺度的特征输出经过上采样后进入高一级尺度参与计算，网络采用L2范数与感知损失作为代价函数。

Images