CN115499566A - 基于深度计算光学元件的端到端高质量消色差成像系统 - Google Patents

Abstract

本发明公开了基于深度计算光学元件的端到端高质量消色差成像系统，从图像输入端到输出端依次包括物理透镜PL、传感器和数字透镜DL；输入图像首先与物理透镜卷积生成色差图像；该色差图像由相机采集后作为数字透镜的输入图像与DL卷积生成输出图像；输出图像经过神经网络AANet生成重建图像。本发明光学系统设计简单、成本低、易集成，端到端联动优化方法使得算法与光学硬件深度耦合，可实现软硬件联动优化；重建图像与输入图像相比，峰值信噪比的量化提升高达14.2dB，能够实现高精度的消色差成像，所提框架的灵活性为高质量大景深、大视场成像提供了可能。

Description

基于深度计算光学元件的端到端高质量消色差成像系统

技术领域

本发明涉及计算成像技术领域，具体涉及一种基于深度计算光学元件的端到端高质量消色差成像系统。

背景技术

现有成像方法包括传统光学设计方法和序列化计算成像设计方法。传统光学设计方法是利用一组或多组透镜配合成像，对各类像差的消除，实现高质量成像；在传统光学设计方法的基础上，将一部分成像任务转移到图像后处理算法中(如传统去噪、复原算法和各类深度学习算法)，以此有效降低对复杂透镜组的依赖，在轻量化成像领域有着广泛的应用前景。但是复杂透镜组成本高、设备体积大、不易集成，且调试难度高，系统稳定性及抗干扰能力低。

序列化计算成像设计方法采用“顺序优化”的策略，如在给定光学系统的基础上优化图像复原算法或在给定图像复原算法基础上优化光学系统设计。这种分别优化的方法不能实现算法和光学系统的完全耦合，即二者通常不能完美匹配以达到最佳效果。

发明内容

本发明针对现有技术存在的问题提供一种简单、高效，且在光学设计方面更加灵活的基于深度计算光学元件的端到端高质量消色差成像系统。

本发明采用的技术方案是：一种基于深度计算光学元件的端到端高质量消色差成像系统，从图像输入端到输出端依次包括物理透镜PL、传感器和数字透镜DL；输入图像首先与物理透镜卷积生成色差图像；该色差图像由相机采集后作为数字透镜的输入图像与DL卷积生成输出图像；输出图像经过神经网络生成重建图像。

进一步的，所述神经网络为AANet网络。

一种基于深度计算光学元件的端到端高质量消色差成像系统的成像方法，包括以下步骤：

步骤1：输入场景图像与物理透镜PL的点扩散函数PSF_p卷积生成彩色图像；

步骤2：彩色图像与数字透镜DL的点扩散函数PSF_d卷积生成最终成像结果；

步骤3：将步骤2得到的图像输入卷积神经网络即可得到重建图像。

进一步的，所述步骤1中卷积后彩色图像如下表示：

I(x,y,λ)＝I_in(x₀,y₀,λ)*PSF_p(x,y,λ)

其中，I(x,y,λ)为传感器平面的中间图像，I_in(x₀,y₀,λ)为输入图像，PSF_p(x,y,λ)为PL 的点扩散函数；*表示线性卷积运算，(x₀，y₀)表示点源，λ为波长。

进一步的，所述步骤2中成像结果由下式表示：

I_out(s，t，λ)＝I_in(x₀，y₀，λ)*PSF_p(x，y，λ)*PSF_d(s，t，λ).

式中：I_out(s，t，λ)为成像结果，PSF_d(s，t，λ)为数字透镜DL的点扩散函数，s，t为虚拟透镜像平面坐标。

进一步的，所述成像结果可以采用下式表示：

I_out(s，t，λ)＝I_in(x₀，y₀，λ)*PSF_hbr(x，y，s，t，λ)

式中：PSF_hbr(x，y，s，t，λ)为物理透镜和数字透镜形成的成像系统的点扩散函数；

采用下式对PSF_hbr进行优化：

式中：θ_p为物理透镜的参数，θ_d为光学透镜的参数，m，n为通道序号；SSIM(x，y) 表示测量向量x和y之间的局部结构相似性，1-SSIM(x，y)表示SSIM(x，y)的损失。

进一步的，采用随机梯度下降的方法优化DL的参数，其中梯度下降型解算器迭代如下：

式中：ε为学习率，v为迭代步数，

为训练损失。

进一步的，所述卷积神经网络首先进行训练，训练所使用的损失函数如下：

式中：L_MSE、L_per、L_reg分别为MSE、感知损失和正则化损失，α为常数比例因子，||·||₂为向量的欧几里得范数，P(·)表示到具有N层感知特征空间的变换，I_rec为I_rec为重建图像，I_target为，γ为感知损失分量的相对权重，μ为权重衰减系数，ω为卷积神经网络的可优化权重系数，N为层数，j为隐层权重索引，n为网络层数。

本发明的有益效果是：

(1)本发明光学系统设计简单、成本低、易集成，端到端联动优化方法使得算法与光学硬件深度耦合；

(2)本发明重建图像与输入图像相比，峰值信噪比的量化提升高达14.2dB，能够实现高精度的消色差成像，同时所提框架的灵活性为高质量大景深、大视场成像提供了可能；

(3)本发明基于并行设计和深度学习算法，保证了成像速度快、效率高。

附图说明

图1为本发明成像系统示意图。

图2为本发明中点源在混合成像模型中的传播过程示意图。

图3为本发明在Zemax模拟的成像过程；A为Zemax中仿真的PSF强度分布示意图，a为PSF_p，b为PSF_d，c为PSF_hbr，B为单通道对应横截线，即沿A中虚线方向截取的PSF一维强度分布。

图4为采用本发明成像系统中各过程中附图成像结果示意图。

图5为采用本发明成像系统对大景深场景的成像效果示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步说明。

如图1所示，一种基于深度计算光学元件的端到端高质量消色差成像系统，从图像输入端到输出端依次包括物理透镜PL、传感器和数字透镜DL；输入图像首先与物理透镜卷积生成色差图像；该色差图像由相机采集后作为数字透镜的输入图像与DL卷积生成输出图像；输出图像经过神经网络生成重建图像。神经网络为AANet网络。

本发明提出一种基于物理透镜PL和数字透镜DL的混合成像系统，输入图像首先与PSF_p卷积生成彩色图像；然后捕获的彩色图像与PSF_d卷积，以生成成像结果。PSF_p为PL的点扩散函数PSF，PSF_d为DL的点扩散函数PSF。成像结果经过神经网络后生成最终的重建图像。

PL和DL联合设计，以产生全面均匀的点扩散函数分布，即设计的成像系统拥有光谱平移不变的PSF，从而将复杂的色差补偿为更易于处理的单色模糊(色差图经过DL后色差被消除，只剩下其他类型的单色像差，而深度学习网对单色像差的处理能力更强，可以得到更好的重建结果)。生成的无色差均匀模糊特征更适用于后续图像恢复网络学习，因此非常适合学习图像重建。所提出的成像系统构建在具有联合优化的通用端到端框架上，结合深度学习技术建立一个完全可微的框架，以确保光学参数和图像恢复算法可以联合学习，并进行反向梯度传播。在联动优化的帮助下，生成的光学系统能够很好的适应图像恢复算法，减轻对复杂算法设计的严重依赖。物理透镜是实际系统中唯一需要的光学元件，降低了制造成本和光学复杂性。

一种基于深度计算光学元件的端到端高质量消色差成像系统的成像方法，包括以下步骤：

步骤1：输入场景图像与物理透镜PL的点扩散函数PSF_p卷积生成彩色图像；

步骤2：彩色图像与数字透镜DL的点扩散函数PSF_d卷积生成最终成像结果；

步骤3：将步骤2得到的图像输入卷积神经网络即可得到重建图像。

PSF_p和PSF_d在对应的波长维度上是互补的，输入场景先与PSF_p卷积再与PSF_d卷积就能生成在波长维度上模糊特征相同的图片。由于不同波长对应不同颜色，波长维上模糊特征相同意味着色差得以消除。

如图2所示，假设点源产生一个球面波，该球面波到达PL的入射面。假设U₀(x_p，y_p，z，λ)和

分别表示入射场和PL引入的附加相位。光通过PL后的波场由下式表示：

其中U₀(x_p，y_p，z，λ)＝exp[ik(x_p ²+y_p ²+z²)1/2]，k＝2π/λ是波数，λ是波长。(x_p，y_p)是PL平面上的空间坐标，z是PL的物距，A(x_p，y_p)是一个circ函数，离散值为零，表示 PL的孔径函数。在到达传感器之前，输出场U_p(x_p，y_p，λ)在自由空间中传播距离L。

根据标量衍射理论，传感器平面上测得的复波分布可通过下式计算：

其中，(x，y)是传感器平面上的空间坐标。PL的PSF表示为：

上式考虑了单电源的图像形成，可以扩展该模型以考虑整个自然场景，即来自不同场景点的强度PSF在传感器上的非相干叠加，生成传感器平面的中间图像I(x，y，λ)。

假设近轴近似是有效的，该图像形成过程是输入图像I_in(x₀，y₀，λ)和PSFp(x，y，λ)之间的平移不变卷积。因此可以得到下式：

I(x，y，λ)＝I_in(x₀，y₀，λ)*PSF_p(x，y，λ) (4)

式中：(x₀，y₀)是物体平面上的空间坐标，“*”表示线性卷积运算。传感器捕获是输入信号在不同波长上乘以量子效率的积分，但为了更好地进行色差分析，利用Zemax中常用的离散分析方法，将传感器捕获的图像近似建模并分析为相应波长上的I(x，y，λ)离散采样，包括640 nm(R)、550nm(G)和460nm(B)，这传感器的中心响应波长一致。这种合理的简化极大的促进了后续的光学设计并简化了计算复杂度，同时确保了实验精度。

将中间图像I(x，y，λ)与PSFd进行卷积，以产生混合成像系统的最终成像结果。DL的PSF 即PSF_d(x，y，λ)可表示为：

其中

A(x_d，y_d)是DL的孔径函数，

表示DL引入的附加相位。DL在实验上被建模为具有大设计空间的典型衍射光学元件DOE，此时整个光路可以被视为折射-衍射光学系统。因此，相位图

可以进一步表示为e^{ik[n(λ)-1]h(xd，yd)}，其中n(λ)是衬底的折射率，h(x_d，y_d)是DL 的高度图。最后，混合系统I_out(s，t，λ)的输出图像由下式给出：

I_out(s，t，λ)＝I(x，y，λ)*PSF_d(s，t，λ)(λ＝640，550，460nm) (6)

将式(4)代入(6)式得到：

I_out(s，t，λ)＝I_in(x₀，y₀，λ)*PSF_p(x，y，λ)*PSF_d(s，t，λ) (7)

根据线性卷积的结合率，式(7)可以改写为：

I_out(s，t，λ)＝I_in(x₀，y₀，λ)*PSF_hbr(x，y，s，t，λ) (8)

此时，PSF_hbr＝(PSF_p*PSF_d)可被视为整个混合成像系统的PSF，由PL和DL的成像特性确定。

由上式(8)可以看出，输出图等于输入图与PSF_hbr的卷积，只需保证PSF_hbr是波长不变的(即在波长维度上拥有相同强度分布，一个波长对应一个图像通道，例如RGB图中有R，G，B三个通道)，就能实现对色差的消除，只留下单色像差。

从式(8)可以看出，通过采用PSF_p和PSF_d的适当组合，可以获得具有低光谱对比度的定制PSF_hbr。为此，可以将PL和DL联合设计为彼此合并，并跨不同颜色通道生成波长不变的PSF_hbr。该优化问题可以表示为下式：

式中：θ_p为物理透镜的参数，θ_d为光学透镜的参数，包括它们的相位图

和传播距离{z， z′，L，L′}，m，n为通道序号；SSIM(x，y)表示测量向量x和y之间的局部结构相似性， 1-SSIM(x，y)表示SSIM(x，y)的损失。PSF^m _hbr是PSF_hbr在第m个通道(对应第m个波长)的PSF分布，由θ_p和θ_d确定。SSIM(x，y)定义为：

式中：C₁、C₂为常数，实验设定为1×10^-3和1×10^-4。μ_x为x的平均值。变量σ_x ²和σ_xy分别为x的方差和x与y的协方差。其余参数μ_y和σ_y ²表示相应的含义。式(9)可获得不同波长通道之间差异最小的PSF_hbr。由于θ_p为固定的，只有θ_d即DL的参数可以优化。

采用随机梯度下降SGD算法解决式(9)中的最优问题。通过调整模型参数θ_d来最小化损失。当autodiff跟踪梯度时，梯度下降型解算器将迭代如下：

式中：ε为学习率，v为迭代步数，

为训练损失。

基于上式(9)和(11)，采用下述步骤构建具有波长不变PSF的混合系统。首先，我们在Zemax中模拟了PL的成像过程，并使用选择的光学参数分析了其PSF。相应的PSF_p如图 3a所示。通过实验将全光谱离散为三个波长(640nm、550nm、460nm)即三通道。用于 RGB成像，这需要与不同颜色通道中传感器的峰值响应波长一致。其次，使用SGD算法将获得的PSF_p代入式(9)，以计算所需的PSF_d。

PSF_d的优化结果以及最终生成的PSF_hbr如图3b和图3c所示。对于PSF_p、PSF_d和PSF_hbr，不同颜色通道中的PSFs分布如下图所示。对于每个通道，沿着图3a～c中绘制的虚线方向提取一条横线，以更好的展示散斑分布。图3.B中给出了相应的曲线，为归一化PSF曲线。

从图3中，可以看出优化的PSF_d提供了与PSF_p共轭的理想互补光斑尺寸，因此生成的 PSF_hbr在所有通道上显示出明显均匀的强度分布，这与理论假设一致，并证明了所提损失函数和优化算法的有效性。即在红、绿、蓝三个波长通道里，PSF_p的强度分布是小、中、大，而PSF_d是大、中、小。二者互补，使得最终形成的PSF_hbr在三通道的强度分布几乎一致，最后叠加效果就是全白色。

根据上述过程得到DL的初始化参数，将参数带入图1结构中，结合深度学习网络进入训练环节。训练时，网络的参数和DL的参数可实现联动优化，保证最终优化的DL参数与网络参数的深度耦合，达到相对最优的重建效果。训练所使用的损失函数如下：

式中：L_MSE、L_per、L_reg分别为MSE、感知损失和正则化损失，α为常数比例因子，||·||₂为向量的欧几里得L₂范数，P(·)表示到具有N层感知特征空间的变换，I_rec为重建图像，I_target为真值图像，γ为感知损失分量的相对权重，μ为权重衰减系数，ω为卷积神经网络的可优化权重系数，N为层数，j为隐层权重索引，n为网络层数。

在下述实施例中，我们使用预先训练的VGG-19作为P，而层数N设置为6。γ为感知损失分量的相对权重，此外，在损失函数中包含L2正则化损失，以减少模型容量并防止过度拟合，ω为AANet的可优化权重系数，μ为权重衰减系数。

图4为采用本发明成像系统的结果示意图。从图中前两列可以看出，尽管系统测量具有更模糊的特征，但原始图像中存在的几乎色差已得到消除。与输入的色差图像相比，重建结果显示PSNR和SSIM分别提高了14.62dB和0.4751(如表1所示)。PL引入的色差被全面消除，重建的图像质量与真值相当，保留了精细细节和颜色保真度。这是由于初始化的光学参数与网络模型深度耦合，促使更快、更好的模型收敛效果。

表1.重建图像质量分析

图5为在大深度范围内评估模型性能的实验结果，从左到右分别为输入色差图像、混合系统测量、恢复图像和真值图像。图内数字表示PSNR(dB)和SSIM。

在实际使用中，我们采用一块非球面镜作为PL，该透镜为单透镜，成本低、轻薄、体积小、易集成。以此透镜+相机作为实际成像系统，拍摄实际场景获得对应色差图，再输入后续 DL和预训练深度学习网络即可获得高质量重建图像。利用单透镜，单次曝光拍摄，实现高质量消色差成像。本发明中光学系统设计简单、成本低、易集成，端到端联动优化使得算法和光学硬件深度耦合，重建图像与输入图像相比，峰值信噪比PSNR的量化提升高达14.2dB。能够实现高精度的消色差成像，同时所提成像系统的灵活性为高质量大景深、大视场成像提供了可能。基于并行设计和深度学习算法，保证了成像速度快，效率高。

Claims (8)

1.一种基于深度计算光学元件的端到端高质量消色差成像系统，其特征在于，从图像输入端到输出端依次包括物理透镜PL、传感器和数字透镜DL；输入图像首先与物理透镜卷积生成色差图像；该色差图像由相机采集后作为数字透镜的输入图像与DL卷积生成输出图像；输出图像经过神经网络生成重建图像。

2.根据权利要求1所述的一种基于深度计算光学元件的端到端高质量消色差成像系统，其特征在于，所述神经网络为AANet网络。

3.如权利要求1～2所述任一种基于深度计算光学元件的端到端高质量消色差成像系统的成像方法，其特征在于，包括以下步骤：

步骤1：输入场景图像与物理透镜PL的点扩散函数PSF_p卷积生成彩色图像；

步骤2：彩色图像与数字透镜DL的点扩散函数PSF_d卷积生成最终成像结果；

步骤3：将步骤2得到的图像输入卷积神经网络即可得到重建图像。

4.根据权利要求3所述的一种基于深度计算光学元件的端到端高质量消色差成像系统的成像方法，其特征在于，所述步骤1中卷积后彩色图像如下表示：

I(x,y,λ)＝I_in(x₀,y₀,λ)*PSF_p(x,y,λ)

其中，I(x,y,λ)为传感器平面的中间图像，I_in(x₀,y₀,λ)为输入图像，PSF_p(x,y,λ)为PL的点扩散函数；*表示线性卷积运算，(x₀，y₀)表示点源，λ为波长。

5.根据权利要求4所述的一种基于深度计算光学元件的端到端高质量消色差成像系统的成像方法，其特征在于，所述步骤2中成像结果由下式表示：

I_out(s,t,λ)＝I_in(x₀,y₀,λ)*PSF_p(x,y,λ)*PSF_d(s,t,λ).

式中：I_out(s,t,λ)为成像结果，PSF_d(s,t,λ)为数字透镜DL的点扩散函数，s，t为虚拟透镜像平面坐标。

6.根据权利要求5所述的一种基于深度计算光学元件的端到端高质量消色差成像系统的成像方法，其特征在于，所述成像结果可以采用下式表示：

I_out(s,t,λ)＝I_in(x₀,y₀,λ)*PSF_hbr(x,y,s,t,λ)

式中：PSF_hbr(x,y,s,t,λ)为物理透镜和数字透镜形成的成像系统的点扩散函数；

采用下式对PSF_hbr进行优化：

式中：θ_p为物理透镜的参数，θ_d为光学透镜的参数，m，n为通道序号；SSIM(x，y)表示测量向量x和y之间的局部结构相似性，1-SSIM(x，y)表示SSIM(x，y)的损失。

7.根据权利要求6所述的一种基于深度计算光学元件的端到端高质量消色差成像系统的成像方法，其特征在于，采用随机梯度下降的方法优化DL的参数，其中梯度下降型解算器迭代如下：

式中：ε为学习率，v为迭代步数，

为训练损失。

8.根据权利要求7所述的一种基于深度计算光学元件的端到端高质量消色差成像系统的成像方法，其特征在于，所述卷积神经网络首先进行训练，训练所使用的损失函数如下：

式中：L_MSE、L_per、L_reg分别为MSE、感知损失和正则化损失，α为常数比例因子，||·||₂为向量的欧几里得范数，P(·)表示到具有N层感知特征空间的变换，I_rec为重建图像为，I_target为真值图像，γ为感知损失分量的相对权重，μ为权重衰减系数，ω为卷积神经网络的可优化权重系数，N为层数，j为隐层权重索引，n为网络层数。

Images