CN114859550A - 一种针对菲涅尔单透镜计算成像系统的端到端设计方法 - Google Patents

Abstract

本发明公开了一种针对菲涅尔单透镜计算成像系统的端到端设计方法，包括：通过建立菲涅尔面形的理想矢高及法线向量分布函数，通过可微光线追迹建立其可微成像模型；建立针对菲涅尔单透镜像差空变特性、色差特性及高频信息损失特性的深度学习图像重建处理模型；以场景图像为输入端，经成像模型得到模糊图像，再经处理模型得到复原图像，以复原图像与场景图像的差异最小为优化目标，对菲涅尔面形参数和图像重建算法参数进行端到端设计；利用菲涅尔单透镜成像模型仿真带误差的成像效果，并通过蒙特‑卡罗算法分析成像效果最差的误差组合确定容许误差范围。采用本发明的技术方案，对菲涅尔单透镜计算成像系统进行一体化设计，满足一定的性能要求。

Description

一种针对菲涅尔单透镜计算成像系统的端到端设计方法

技术领域

本发明属于光学计算成像技术领域，特别是涉及一种针对菲涅尔单透镜计算成像系统的端到端设计方法。

背景技术

传统成像系统的设计依赖于光学设计，通过一系列镜片组合消除各种像差，往往会导致所设计的镜头包含几片甚至十几片透镜。

近年来，伴随着图像去模糊等图像重建算法的出现，由单片透镜加重建算法构成的成像系统逐渐成为热点，单透镜成像系统相比复杂透镜组成像系统具有体积小、质量轻、结构简单的优势。菲涅尔透镜通过将曲面面形折叠到一个平面上，能够进一步降低单透镜的体积和质量。单透镜成像在智能手机摄像头、无人机平台摄像系统、遥感相机等亟需小型化成像系统领域具有广阔的应用前景。

现有技术中，菲涅尔单透镜常应用于智能手机摄像头、无人机平台摄像系统、遥感相机等亟需小型化成像系统领域，现有的菲涅尔单透镜计算成像系统设计通常将菲涅尔单透镜按光学指标进行设计，重建算法按图像质量指标进行设计，无法通过系统级指标对两者同时一体化设计。要想实现菲涅尔单透镜和图像重建算法的同时设计，需要构建可微的成像模型和基于重建算法的处理模型。菲涅尔透镜这种非连续曲面存在难以构建可微成像模型的问题，并且现有的图像重建算法缺少针对菲涅尔单透镜成像特性的计算处理和约束方法，在设计过程中也缺少完善的误差分析，无法对加工提供有力指导。

发明内容

本发明的目的是提供一种针对菲涅尔单透镜计算成像系统的端到端设计方法，以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了一种针对菲涅尔单透镜计算成像系统的端到端设计方法，包括：

构建菲涅尔单透镜成像模型和图像重建处理模型；

输入场景图像，基于所述菲涅尔单透镜成像模型与所述图像重建处理模型获取复原图像，计算所述复原图像与场景图像的差异；

基于所述复原图像与场景图像的差异，计算菲涅尔单透镜的透镜参数和算法参数；

基于菲涅尔单透镜成像模型仿真获得带误差的图像，并基于蒙特-卡罗算法分析图像成像效果最差的误差组合，获取容许误差范围。

可选地，其特征在于，所述菲涅尔单透镜成像模型的构建方法包括：

基于极限近似建立菲涅尔面形的理想矢高及法线向量分布函数，构建理想模型；

基于高斯化改进的可微光线对所述理想模型进行追迹，构建所述菲涅尔单透镜成像模型。

可选地，其特征在于，基于高斯化改进的可微光线对所述理想模型进行追迹的过程包括：

计算出任意光线经菲涅尔透镜折射后到达像面的位置，计算点扩散函数PSF，基于物点发出的光线计算光线在像面的位置、像元中心位置、欧式距离，计算所述光线的高斯权重；

对所述高斯权重进行整合，获取所述物点的可微点扩散函数PSF，并进行卷积与插值，获取模糊图像，基于所述模糊图像获取仿真图像。

可选地，其特征在于，基于所述模糊图像获取仿真图像的方法为：在所述模糊图像中引入高斯噪声，获取所述仿真图像。

可选地，其特征在于，所述图像重建处理模型的构建方法包括：

基于Res-Unet图像重建算法获取模糊图像R、G、B三个通道；

将菲涅尔单透镜空变特征信息作为第四通道加载在R、G、B三个通道之后，组成四个通道，基于所述四个通道获取四通道图；

基于所述四通道图构建所述图像重建处理模型。

可选地，其特征在于，基于所述菲涅尔单透镜成像模型与所述图像重建处理模型获取复原图像的过程包括：

将所述场景图像输入所述菲涅尔单透镜成像模型，获取模糊图像；

对所述模糊图像引入高斯噪声获取仿真图像，并将所述仿真图像输入所述图像重建处理模型，获取所述复原图像。

可选地，其特征在于，基于所述复原图像与场景图像的差异，计算菲涅尔单透镜的透镜参数和算法参数的过程包括：基于所述复原图像与所述场景图像的差异计算总损失函数，计算使所述总损失函数最小的菲涅尔单透镜参数和图像重建算法参数。

可选地，其特征在于，所述总损失函数的计算方法为：

式中L代表总损失函数，I代表场景图像，

代表复原图像，i＝1,2,3,k＝1,2,3均代表图像的R,G,B三个颜色通道；

代表由多种梯度构成的重尾分布，f(·)代表高通滤波器；λ₁,λ₂,λ₃代表各项约束的权重,且λ₁＝1,λ₂＝0.01,λ₃＝0.01。

可选地，其特征在于，基于菲涅尔单透镜成像模型仿真获得带误差的图像，并基于蒙特-卡罗算法分析图像成像效果最差的误差组合的过程包括：

S1.确定各项参数的误差范围，基于蒙特-卡罗算法获取若干个误差组合，基于所述误差范围计算不同误差组合经所述菲涅尔单透镜成像模型得到的含误差图像与场景图像的偏差，求解偏差最大的一组误差组合；

S2.基于所述图像重建处理模型获取偏差最大的一组误差组合所对应图像的复原图像，若所述复原图像满足预期，则确定组误差范围为容许误差范围，否则缩小误差范围，再次执行所述S1步骤。

本发明的技术效果为：

(1)本发明采用极限近似建立了菲涅尔面形的理想矢高及法线方向分布函数，在此基础上提出了基于光线高斯化的可微光线追迹，建立了菲涅尔单透镜的可微成像模型；

(2)本发明针对菲涅尔单透镜像差空变特性、色差特性及高频信息损失特性，在Res-Unet图像重建算法的基础上引入空变信息特征层、色差交叉通道约束及高频信息约束，建立了针对菲涅尔单透镜图像的重建算法处理模型；

(3)本发明将菲涅尔单透镜的可微成像模型和图像重建处理模型联合，提出了菲涅尔单透镜计算成像系统的端到端设计方法，实现了菲涅尔单透镜参数和图像重建算法参数的同时一体化设计；

(4)本发明在端到端设计中引入了误差设计，借助菲涅尔单透镜成像模型和图像重建处理模型进行了菲涅尔单透镜误差分析，并通过蒙特-卡罗分析得到了菲涅尔单透镜误差容许范围，为加工提供了有力指导；

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例中的针对菲涅尔单透镜计算成像系统的端到端设计方法流程图；

图2为本发明实施例中的菲涅尔单透镜光线追迹示意图；

图3为本发明实施例中的测试集模糊图像及复原图像的平均PSNR随迭代周期变化曲线；

图4为本发明实施例中的优化过程中菲涅尔单透镜PSF、模糊图像、复原图像随迭代周期的变化规律。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

如图1所示，本实施例中提供一种针对菲涅尔单透镜计算成像系统的端到端设计方法，并适用于智能手机摄像头、无人机平台摄像系统、遥感相机等亟需小型化成像系统领域，具体包括：

步骤1、通过极限近似建立菲涅尔面形的理想矢高及法线向量分布函数，并通过高斯化改进的可微光线追迹建立其可微成像模型。

以一块口径为25mm的菲涅尔单透镜为例，其前表面为平面，后表面为菲涅尔面，曲率半径r＝17.3mm，焦距f＝35.0mm，厚度d＝6.0mm，材质为PMMA，对角视场为44°，待优化参数为菲涅尔面的4、6、8、10阶非球面系数，记为θ＝(a₄,a₆,a₈,a₁₀)，初值均为0，以图2所示坐标系为例，菲涅尔面的矢高及法线分量可表示为：

式中C＝1/17.3，代表曲率，K＝0，代表圆锥系数，

h表示与菲涅尔面同参数的非球面的曲面厚度，m＝-1,-2,...,-n，代表所处的菲涅尔条纹序号，n为菲涅尔条纹总数，当n趋于无穷时，菲涅尔条纹无限小，菲涅尔面接近平面，但法线分量仍不变，如下所示：

对以上理想菲涅尔透镜进行基于高斯化改进的可微光线追迹，如图2所示，可以计算出任意光线经菲涅尔透镜折射后到达像面的位置。现在考虑视场内物方任意一点，需要计算其PSF，以物点发出的512×512矩形阵列光线为采样光线，以(x_i,j,y_i,j)代表索引为(i,j)的光线在像面的位置，以(x_p,q,y_p,q)代表1616×1080探测器中索引为(p,q)的像元中心位置，以

代表两点的欧式距离，计算光线对该像元的高斯权重：

式中

H,W分别代表像元的高度和宽度。对物点所有采样光线的所有权重进行整合，就得到了该物点的可微PSF，通过卷积与插值，就能得到菲涅尔单透镜的模糊图像：

式中，(u,v)代表7×7个视场块的索引，S_u,v表示以相应视场块中心为原点生成的SINC插值函数。在模糊图像基础上引入标准差为0.005的高斯噪声，得到探测器仿真图像，至此就完成了菲涅尔单透镜成像模型的建立。

步骤2、建立针对菲涅尔单透镜像差空变特性、色差特性及高频信息损失特性的深度学习图像重建处理模型。

根据菲涅尔单透镜像差的空变特性具有旋转对称且随视场增大而增大的特征，并且卷积神经网络的卷积核不随空间变化，即卷积神经网络对菲涅尔单透镜像差空间变化特征的提取能力不足，因此引入空变信息特征层V引导卷积神经网络进行菲涅尔单透镜像差空间变化特征的提取，该特征层以图像中心像元为原点，单个像元尺寸为单位长度，每个像元内记录该像元到图像中心像元的欧式距离，如下所示：

将以上空变信息特征层作为第四个通道添加在模糊图像的R,G,B三个通道之后：

然后，将引入空变特征信息后的四通道图通过Res-Unet得到复原图像，根据复原图像和场景图像计算总损失函数：

式中λ₁＝1,λ₂＝0.01,λ₃＝0.01。

步骤3、以场景图像为输入端，经成像模型得到模糊图像，再经处理模型得到复原图像，为输出端，以复原图像与场景图像的差异最小为优化目标，对透镜参数和算法参数进行端到端设计。

以350张场景图像作为训练集，50张场景图像作为测试集，场景图像I经菲涅尔单透镜成像模型得到模糊图像I₀(θ)，再加上高斯噪声得到探测器仿真图像I'₀(θ)，然后经图像重建处理模型得到复原图像

再计算系统总损失函数

求解使损失函数

最小的菲涅尔单透镜参数θ和图像重建算法参数

该过程可表示为最优化问题：

通过梯度下降算法来求解以上最优化问题：

式中学习率α＝0.0001。优化300个周期后，所得优化后菲涅尔面的4、6、8、10阶非球面系数分别为：3.236E-5、-8.034E-8、-5.727E-10、-2.321E-12。

采用峰值信噪比PSNR和结构相似度SSIM来评价复原图像与场景图像的接近程度。图3所示为测试集对应的单透镜模糊图像与场景图像的平均PSNR、测试集复原图像与场景图像的平均PSNR分别随迭代周期的变化曲线，图4所示为优化过程中保存的单透镜PSF、单透镜模糊图像、复原图像的变化规律，可以看出，单透镜的成像性能在前100个优化周期内快速提升，在100～250周期之间成像性能缓慢提升，然后在第250个周期左右趋于不变，而复原算法的复原效果则不断提升，并在第300个周期趋于稳定，端到端设计使单透镜与复原算法都得到了优化，从图3的PSF随迭代周期变化情况可以看出，单透镜边缘视场的PSF与中心视场的PSF在最开始的时候差异较大，随着端到端优化逐渐进行，两者差异逐渐缩小，并且最终两者几乎一致，也就是说单透镜的像差从空间变化向空间不变逐渐逼近，从单透镜模糊图像的边缘视场与中心视场的变化情况也能看出这一规律。优化完成后单透镜模糊图像与场景图像的平均PSNR/SSIM为21.17/0.602、重建图像与场景图像的PSNR/SSIM为29.38/0.894。

步骤4、利用菲涅尔单透镜成像模型仿真带误差的成像效果，并通过蒙特-卡罗算法分析成像效果最差的误差组合，从而确定容许误差范围。

对于可仿真的误差如曲率半径误差、厚度误差、表面偏心、表面倾斜、元件偏心、元件倾斜、4、6、8、10阶非球面系数误差、折射率误差、阿贝数误差等，确定一组初始误差范围Δσ，在该组误差范围内，计算不同误差组合经菲涅尔单透镜成像模型得到的含误差图像I₀(σ)与无误差图像I₀的偏差，偏差最大的一组误差为最差情况，求解偏差最大的误差组合σ_m可表示为以下最优化问题：

通过蒙特-卡罗算法得到大量随机误差组合，可以求解以上最优化问题。通过图像重建处理模型得到最差图像I₀(σ_m)的复原图像

若复原图像

满足与场景图像的PSNR相比无误差复原图像

与场景图像的PSNR下降不超过15％，则认为该复原图像能够满足预期，则该组误差范围Δσ即为容许误差范围Δσ₀，否则缩小误差范围，再次进行蒙特-卡罗分析，直至得到一组误差范围使最差图像的复原图像满足预期。

本发明采用极限近似建立了菲涅尔面形的理想矢高及法线方向分布函数，在此基础上提出了基于光线高斯化的可微光线追迹，建立了菲涅尔单透镜的可微成像模型。

本发明针对菲涅尔单透镜像差空变特性、色差特性及高频信息损失特性，在Res-Unet图像重建算法的基础上引入空变信息特征层、色差交叉通道约束及高频信息约束，建立了针对菲涅尔单透镜图像的重建算法处理模型。

本发明将菲涅尔单透镜的可微成像模型和图像重建处理模型联合，提出了菲涅尔单透镜计算成像系统的端到端设计方法，实现了菲涅尔单透镜参数和图像重建算法参数的同时一体化设计。

本发明在端到端设计中引入了误差设计，借助菲涅尔单透镜成像模型和图像重建处理模型进行了菲涅尔单透镜误差分析，并通过蒙特-卡罗分析得到了菲涅尔单透镜误差容许范围，为加工提供了有力指导，可有效应用于智能手机摄像头、无人机平台摄像系统、遥感相机等亟需小型化成像系统领域。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (9)

1.一种针对菲涅尔单透镜计算成像系统的端到端设计方法，其特征在于，包括以下步骤：

构建菲涅尔单透镜成像模型和图像重建处理模型；

输入场景图像，基于所述菲涅尔单透镜成像模型与所述图像重建处理模型获取复原图像，计算所述复原图像与场景图像的差异；

基于所述复原图像与场景图像的差异，计算菲涅尔单透镜的透镜参数和算法参数；

基于菲涅尔单透镜成像模型仿真获得带误差的图像，并基于蒙特-卡罗算法分析图像成像效果最差的误差组合，获取容许误差范围。

2.根据权利要求1所述的针对菲涅尔单透镜计算成像系统的端到端设计方法，其特征在于，所述菲涅尔单透镜成像模型的构建方法包括：

基于极限近似建立菲涅尔面形的理想矢高及法线向量分布函数，构建理想模型；

基于高斯化改进的可微光线对所述理想模型进行追迹，构建所述菲涅尔单透镜成像模型。

3.根据权利要求2所述的针对菲涅尔单透镜计算成像系统的端到端设计方法，其特征在于，基于高斯化改进的可微光线对所述理想模型进行追迹的过程包括：

计算出任意光线经菲涅尔透镜折射后到达像面的位置，计算点扩散函数PSF，基于物点发出的光线计算光线在像面的位置、像元中心位置、欧式距离，计算所述光线的高斯权重；

对所述高斯权重进行整合，获取所述物点的可微点扩散函数PSF，并进行卷积与插值，获取模糊图像，基于所述模糊图像获取仿真图像。

4.根据权利要求3所述的针对菲涅尔单透镜计算成像系统的端到端设计方法，其特征在于，基于所述模糊图像获取仿真图像的方法为：在所述模糊图像中引入高斯噪声，获取所述仿真图像。

5.根据权利要求1所述的针对菲涅尔单透镜计算成像系统的端到端设计方法，其特征在于，所述图像重建处理模型的构建方法包括：

基于Res-Unet图像重建算法获取模糊图像R、G、B三个通道；

将菲涅尔单透镜空变特征信息作为第四通道加载在R、G、B三个通道之后，组成四个通道，基于所述四个通道获取四通道图；

基于所述四通道图构建所述图像重建处理模型。

6.根据权利要求1所述的针对菲涅尔单透镜计算成像系统的端到端设计方法，其特征在于，基于所述菲涅尔单透镜成像模型与所述图像重建处理模型获取复原图像的过程包括：

将所述场景图像输入所述菲涅尔单透镜成像模型，获取模糊图像；

对所述模糊图像引入高斯噪声获取仿真图像，并将所述仿真图像输入所述图像重建处理模型，获取所述复原图像。

7.根据权利要求1所述的针对菲涅尔单透镜计算成像系统的端到端设计方法，其特征在于，基于所述复原图像与场景图像的差异，计算菲涅尔单透镜的透镜参数和算法参数的过程包括：基于所述复原图像与所述场景图像的差异计算总损失函数，计算使所述总损失函数最小的菲涅尔单透镜参数和图像重建算法参数。

8.根据权利要求7所述的针对菲涅尔单透镜计算成像系统的端到端设计方法，其特征在于，所述总损失函数的计算方法为：

式中L代表总损失函数，I代表场景图像，

代表复原图像，i＝1,2,3,k＝1,2,3均代表图像的R,G,B三个颜色通道；

代表由多种梯度构成的重尾分布，f(·)代表高通滤波器；λ₁,λ₂,λ₃代表各项约束的权重,且λ₁＝1,λ₂＝0.01,λ₃＝0.01。

9.根据权利要求1所述的针对菲涅尔单透镜计算成像系统的端到端设计方法，其特征在于，基于菲涅尔单透镜成像模型仿真获得带误差的图像，并基于蒙特-卡罗算法分析图像成像效果最差的误差组合的过程包括：

S1.确定各项参数的误差范围，基于蒙特-卡罗算法获取若干个误差组合，基于所述误差范围计算不同误差组合经所述菲涅尔单透镜成像模型得到的含误差图像与场景图像的偏差，求解偏差最大的一组误差组合；

S2.基于所述图像重建处理模型获取偏差最大的一组误差组合所对应图像的复原图像，若所述复原图像满足预期，则确定组误差范围为容许误差范围，否则缩小误差范围，再次执行所述S1步骤。

Images