CN114897752A - 一种基于深度学习的单透镜大景深计算成像系统及方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的单透镜大景深计算成像系统及方法，光学成像系统为具有深度不变的PSF分布的单透镜系统；基于深度学习图像重建网络模型包括收缩路径模型和对称扩展路径模型；收缩路径模型包括M个相同的模块，每个模块沿输入到输出方向依次包括两个卷积层、批标准化层、ReLU激活层和池化层；对称扩展路径模型包括N个相同的模块，每个模块沿输入到输出方向依次包括上采样层、批标准化层、第一卷积层、第一ReLU激活层、第二卷积层、第二ReLU激活层；本发明结合深度不变的PSF分布的单透镜和深度学习网络，得到大景深重建图像；原始图像中的模糊区域都被很好的重建并和真值的清晰度相当，景深被成功扩展，原始图像中的细节也被很好的恢复出来。

Description

一种基于深度学习的单透镜大景深计算成像系统及方法

技术领域

本发明涉及光学成像技术领域，具体涉及一种基于深度学习的单透镜大景深计算成像系统及方法。

背景技术

视觉是人类感知世界的主要途径，人类至少80％以上的外界信息是通过视觉获得的。人眼受限于生理的视觉性能限制，在光谱范围、时间分辨率、空间分辨率等方面具有一定的局限性。各种仿人眼的光学成像系统例如显微镜、望远镜的发明拓宽了人类的感知范围，但成像系统在信息记录的过程中，也不免存在信息丢失的风险。景深是评价信息记录的一个重要指标，意指光学成像系统的固定接受平面上能清晰成像时对应的物方场景深度范围。高质量的大景深成像可以获取更多的光场信息以便于更好的对世界进行记录。在显微成像、机器视觉和数码照相等方面具有广阔的应用前景。

现有光学设计为了在诸多实际运用的条件限制下实现大景深成像，需要在设计过程中采用多片式结构来消除像差，同时对多个物距下的光学系统进行优化，使光学系统在优化过程中降低不同物距的像差大小，使得光学系统在较大场景深度范围内均能清晰成像，如图1所示。经过对各视场和各重结构的反复协调优化，平衡像差和实际设计需求之间的矛盾，得到符合要求的大景深光学成像系统。但是这种组合透镜设计需要非常专业的光学设计知识及经验，并且透镜组的设计、制作及最终的装配都是极其复杂精密的。为了尽可能消除像差，镜头采用多片式结构，导致成像系统的体积较为庞大，限制了其在小型化成像领域的应用。

传统大景深计算成像采用波前编码和解码的方式，将三次相位掩模板放置在光学系统的光阑处来对入射光波进行编码，使得出射光线不再会聚于一点，而是在一定离焦深度范围内成均匀柱状分布，如图2所示。此时光学系统的PSF近似不随离焦变化，得到的原始模糊图像和测得的系统PSF所对应的卷积核进行反卷积解码，实现景深延拓。但是这种方式需要先对光学系统的PSF进行测量，再进行反卷积操作复原出清晰的原始图像，系统PSF测量的过程比较复杂，其准确性会限制最终算法的复原结果。采用的反卷积非线性迭代算法需要多次迭代才能获得大景深图像，耗时较长，且不能保证得到全局最优解。

多聚焦图像融合大景深成像技术基于图像融合算法，将场景中不同对焦位置拍摄得到的多张小景深图像融合成单张大景深图像，如图3所示。将两张或多张不同深度聚焦的小景深图像输入到训练好的端到端图像融合网络，直接输出大景深的融合图像。多聚焦图像融合算法大多需要多张互补图像作为输入，互补图像包含场景中所有感兴趣的信息，但这就需要精确对焦及多次拍摄，从而降低了实际使用的效率。拍摄小景深图像需要使用高保真的传统工业相机或单反，系统复杂、成本高昂。图像的最终融合结果依赖于后期深度学习网络模型的训练好坏，忽略了前端光学成像系统的成像特性，增大了网络模型提取成像特征进行图像融合的难度。

发明内容

本发明针对现有技术存在的问题将深度学习和光学设计相结合，实现从单帧图像端到端地恢复出高保真大景深图像的基于深度学习的单透镜大景深计算成像系统及方法。

本发明采用的技术方案是：

一种基于深度学习的单透镜大景深计算成像系统，包括光学成像系统和基于深度学习图像重建网络模型；

光学成像系统为具有深度不变的PSF分布的单透镜系统；

基于深度学习图像重建网络模型包括收缩路径模型和对称扩展路径模型；收缩路径模型包括M个相同的模块，每个模块沿输入到输出方向依次包括两个卷积层、批标准化层、ReLU激活层和池化层；对称扩展路径模型包括N个相同的模块，每个模块沿输入到输出方向依次包括上采样层、批标准化层、第一卷积层、第一ReLU激活层、第二卷积层、第二ReLU激活层。

进一步的，所述光学成像系统采用Zemax光学设计软件进行设计；设置n个特定的物距，将光源按照可见光的不同波长比重离散化为m个单色波长；

将单透镜的参数设为变量，评价函数方程为默认的优化弥散斑最小，在这n个物距下同时进行优化，使得每个组态所对应的物距发出的点光源通过单透镜后所成的弥散斑大小相同，弥散斑半径小，得到具有深度不变PSF的理想非球面单透镜结构参数。

进一步的，所述对称扩展路径模型包括4个模块，分别为第一扩展路径模块、第二扩展路径模块、第三扩展路径模块和第四扩展路径模块。

进一步的，所述第四扩展路径模块第一ReLU激活层后还包括Dropout层，在第二卷积层后还包括第三卷积层和亮度调节层。

一种基于深度学习的单透镜大景深计算成像系统的成像方法，包括以下步骤：

步骤1：设置具有深度不变的PSF分布的单透镜系统，获取小景深图像，构建数据集；

步骤2：构建基于深度学习图像重建网络模型；

步骤3：对基于深度学习图像重建网络模型进行训练，得到预训练重建网络模型；

步骤4：将小景深图像输入步骤4得到的预训练重建网络模型，即可得到所需大景深图像。

进一步的，所述步骤3中预训练过程中基于反向传播梯度下降算法最小化感知损失函数，其中感知损失函数如下：

式中：w_i为权值因子，y为真值图像，l₁为基于深度学习图像重建网络模型的输入图像，l₂～l₆为第二卷积层的输出。

本发明的有益效果是：

(1)本发明结合深度不变的PSF分布的单透镜和深度学习网络，得到大景深重建图像；原始图像中的模糊区域都被很好的重建并和真值的清晰度相当，景深被成功扩展，原始图像中的细节也被很好的恢复出来；

(2)本发明方法处理效率高，将拍摄得到的单张图片输入到算法终端就可以得到大景深图像，重建的速度为0.34秒/帧；

(3)本发明适用范围广，可以用于显微成像、机器视觉、监控、数码照相等小型化、大景深需求领域。

附图说明

图1为背景技术中传统大景深光学成像系统结构图。

图2为背景技术中标准(左)和三次相位掩模板(右)成像系统的出射光线轨迹图。

图3为背景技术中端到端的多聚焦图像融合流程图。

图4为本发明中单透镜大景深计算成像方法流程示意图。

图5为本发明中透镜的弥散斑分布。

图6为本发明中卷积神经网络结构示意图。

图7为本发明实施例中原始图、重建图、真值图示意图。

图8为本发明实施例中采用不同损失函数训练网络的重建结果示意图。

图9为本发明实施例中采用本发明方法得到的低照度实验网络模型重建结果。

图10为本发明实施例中采用本发明方法得到的位于不同深度的场景物体重建结果。

具体实施方式

下面结合附图和具体实施例对本发明做进一步说明。

一种基于深度学习的单透镜大景深计算成像系统，包括光学成像系统和基于深度学习图像重建网络模型；

光学成像系统为具有深度不变的PSF分布的单透镜系统；光学成像系统采用Zemax光学设计软件进行设计；通过软件的多重组态功能设置n＝7个特定的物距，1500mm、1700mm、1850mm、2000mm、2150mm、2300mm、2500mm。将光源按照可见光的不同波长比重离散化为m＝21个单色波长；

将单透镜的参数(单透镜的前后表面曲率半径、透镜厚度、折射率、圆锥系数和非球面系数)设为变量，评价函数方程为默认的优化弥散斑最小，在这7个物距下同时进行优化，使得每个组态所对应的物距发出的点光源通过单透镜后所成的弥散斑大小相同(为保证尽量相同可以设计阈值，满足阈值要求则判定为大小相同；弥散斑的强度分布等同于PSF)，弥散斑半径小，得到具有深度不变PSF的理想非球面单透镜结构参数。其弥散斑分布如图5所示，从图中可以看出本发明透镜与传统的双胶合透镜相比，其弥散斑曲线变化平缓，即本发明透镜的PSF近似深度不变。

考虑到定制非球面透镜的制作成本和时间成本，以及进一步应用的可复现性，本发明采用一种线程的透镜来代替设计的理想透镜。与传统光学设计的目标是使弥散斑半径最小不同。单透镜大景深计算成像的光学镜头不需要消除所有的像差，必须具有一个深度不变的PSF分布以供后期的深度学习网络模型进行特征提取和图像复原。根据设计的单透镜面形结构及成像特性，从Zemax的透镜库中确定了适合的现成透镜。为Edmund Optics公司的光学塑料非球面单透镜(#66018)，其PSF变化曲线如图所示，其变化趋势和设计的理想透镜相似，可以作为替代品。

基于深度学习图像重建网络模型包括收缩路径模型和对称扩展路径模型；收缩路径模型包括M个相同的模块，每个模块沿输入到输出方向依次包括两个卷积层、批标准化层、ReLU激活层和池化层；对称扩展路径模型包括N个相同的模块，每个模块沿输入到输出方向依次包括上采样层、批标准化层、第一卷积层、第一ReLU激活层、第二卷积层、第二ReLU激活层。

卷积操作的卷积核大小为3×3，步长为1。卷积操作的作用是提取图像中的特征。ReLU激活函数则是为网络引入非线性来更好的对非线性物理成像模型进行建模。最后的池化层是对提取出的特征进行降采样，在减小模型参数量的同时不丢失有用的信息，加快网络模型的运算速度。批标准化层的加入是为了加快模型的训练速度，同时还可以防止模型的过拟合，提高模型的泛化能力。

输入的RGB图像经过收缩路径的第一个模块时，模块中的第一个卷积层提取出32通道的全局特征图，对图像中的模糊特征进行粗提取，此时的特征图中还包含了其他与光学系统模糊特征无关的信息。经过额外的加入批标准化层加速网络训练和ReLU激活层中激活函数引入非线性后，经过一个32通道的卷积层、批标准化层、ReLU激活，对特征图进行筛选，然后经过池化层下采样，降低特征图的分辨率和模型参数量，得到显著特征图。然后经过3个相同的模块，提取出更高维抽象特征图的同时，网络模型的层数也随之加深，对成像非线性模型的建模能力随之提高。最终收缩路径得到的是对模糊特征进行高度抽象概括的特征图，通道数为512，最后再送入到扩展路径。

对称扩展路径模型包括4个模块，分别为第一扩展路径模块、第二扩展路径模块、第三扩展路径模块和第四扩展路径模块。第四扩展路径模块第一ReLU激活层后还包括Dropout层，在第二卷积层后还包括第三卷积层和亮度调节层。

扩展路径将收缩路径产生的最底层512维特征图进行上采样，然后和收缩路径对应模块的256维输出特征图在通道维上进行拼接。这种特殊网络结构可以使得扩展路径中连续的卷积层学习出更精确的输出。第四扩展路径模块中Dropout层，自适应的将一部分网络的神经元节点按照一定的概率丢弃，以防止模型过拟合，提高模型的泛化能力。第三卷积层使用1×1卷积算子将高维特征重构为3通道的色彩图像。由于网络的非线性，重建图像的亮度低于输入原始图像的亮度，在网络的最后引入增亮层来补偿亮度损失。根据不同应用的具体要求，可以对该层的参数进行调整。也可以在网络输出上进行，而不是作为功能层插入到网络中。

损失函数是用来评价神经网络模型的输出预测值和真值之间的差异，损失函数越小，通常模型的性能越好。损失函数对于深度学习网络的训练至关重要，起到监督训练的作用，不同的网络训练所用的损失函数一般也不一样。

一种基于深度学习的单透镜大景深计算成像系统的成像方法，包括以下步骤：

步骤1：设置具有深度不变的PSF分布的单透镜系统，获取小景深图像，构建数据集；

步骤2：构建基于深度学习图像重建网络模型；

步骤3：对基于深度学习图像重建网络模型进行训练，得到预训练重建网络模型；步骤3中预训练过程中基于反向传播梯度下降算法最小化感知损失函数，其中感知损失函数如下：

式中：w_i为权值因子，y为真值图像，l₁为基于深度学习图像重建网络模型的输入图像，l₂～l₆为第二卷积层的输出。

步骤4：将小景深图像输入步骤4得到的预训练重建网络模型，即可得到所需大景深图像。

作为损失函数可以从接近人类视觉感官的维度上来感知图像的差异。基于高维特征差异训练出的网络模型更适合于大景深成像这一对像素级变化不敏感的特定问题，解决了传统基于MSE、SSIM等传统损失并不能很好评价网络重建图和真值图之间差异，导致最终训练得到的网络模型重建效果不佳的问题。感知损失在计算较低维度特征损失(像素颜色、边缘等)的基础之上，还要计算原始图像与生成图像的高维卷积输出之间的差值。促进最终训练出的网络重建出视觉逼真的大景深图像。

光学系统的景深DOF与系统的焦距f′、入瞳直径D、对准物面位置L以及传感器允许的最大弥散斑尺寸B有关。

焦距和入瞳直径越小，光学系统的景深越大，但系统的分辨率也随之降低。获取大景深图像最简便的方法就是减小成像系统的光圈(D/f′)大小。但会造成系统进光量平方倍减小，图片的信噪比(质量)降低。同时，像差作为成像系统的固有缺陷，为了更好的消除镜头像差所带来的成像模糊，传统光学系统需要复杂的多片式结构设计，比如单反相机镜头的镜片数量多达数十片，在提高成像质量的同时，体积也越来越大，加工成本也随之升高。

点扩散函数PSF表征的是点光源通过光学系统后的光场分布，是评价光学系统几何像差大小的标准之一。物体通过光学系统所成的像g(x,y)可以通过物体的光场分布f(x,y)和PSF h(x,y)进行卷积求得：

g(x,y)＝f(x,y)*h(x,y)+n

式中，n为加性噪声，*为卷积运算。

PSF作为描述一个成像系统成像特性的重要函数，传统大景深计算成像研究多年来主要集中在对光学成像系统PSF的设计上。如波前编码技术通过设计一个具有特定PSF分布的光学成像系统来对入射光波进行编码生成编码图像，再根据已知的PSF确定卷积核，利用传统的反卷积算法对成像系统所拍到的图片进行解码来实现大景深成像。

本发明结合了嵌段光学成像系统及后端大景深图像重建网络。在光学成像端，设计了具有深度不变PSF分布的单透镜，使其拍摄得到的图像在整个场景深度范围内均匀模糊。随后将拍摄得到的均匀模糊图像输入到训练好的网络模型中，得到大景深重建图像。从图7可以看出，原始图像中的模糊区域都被很好的重建并和真值的清晰度相当，景深被成功的扩展，并且原始图像中的细节也被很好的恢复出来。图中Raw Image为原始图像，U-net+PL为，U-net+BN+PL为本发明方法重建图像，Ground Truth为真值图像。

为了进一步证明本发明方法的有效性，将本发明网络模型与现有的基于低维像素差异的损失函数训练的网络模型结果进行比较。如现有的L1、MSE、MS-SSIM和MS-SSIM+L1模型，不同模型的重建结果如图8所示。可以看出，本发明构建的网络模型U-net+BN+PL重建出了清晰的大景深图像，没有颜色失真的情况。

进一步测试了本发明构建的网络模型U-net+BN+PL在低光照下的鲁棒性，将输入图像的亮度人为降低了0.6倍，重建图像如图9所示。从图中可以看出原始低照度模糊图像(第一行)中的玩具被放置在不同的深度，使用训练好的网络模型对图像进行端到端去模糊处理，生成了大景深图像(如第二行)。可以看出，本发明方法在低光照条件下效果良好。图10为位于不同深度的场景物体重建结果，第一列为单透镜成像系统拍摄得到的原始模糊图像，第二列为网络模型的重建结果，第三列为工业相机拍摄得到的真值图像。

本发明在前端成像系统时就考虑了后期卷积神经网络的特性，设计了具有深度不变模糊特性的成像系统，以便于卷积神经网络对于在整个场景深度范围内统一的模糊规律的学习，降低网络的学习难度，再利用此特性进行成像“逆问题”求解获得大景深图像。结合深度不变的PSF分布的单透镜和深度学习网络，得到大景深重建图像；原始图像中的模糊区域都被很好的重建并和真值的清晰度相当，景深被成功扩展，原始图像中的细节也被很好的恢复出来。方法处理效率高，将拍摄得到的单张图片输入到算法终端就可以得到大景深图像，重建的速度为0.34秒/帧。适用范围广，可以用于显微成像、机器视觉、监控、数码照相等小型化、大景深需求领域。

Claims (6)

1.一种基于深度学习的单透镜大景深计算成像系统，其特征在于，包括光学成像系统和基于深度学习图像重建网络模型；

光学成像系统为具有深度不变的PSF分布的单透镜系统；

基于深度学习图像重建网络模型包括收缩路径模型和对称扩展路径模型；收缩路径模型包括M个相同的模块，每个模块沿输入到输出方向依次包括两个卷积层、批标准化层、ReLU激活层和池化层；对称扩展路径模型包括N个相同的模块，每个模块沿输入到输出方向依次包括上采样层、批标准化层、第一卷积层、第一ReLU激活层、第二卷积层、第二ReLU激活层。

2.根据权利要求1所述的一种基于深度学习的单透镜大景深计算成像系统，其特征在于，所述光学成像系统采用Zemax光学设计软件进行设计；设置n个特定的物距，将光源按照可见光的不同波长比重离散化为m个单色波长；

将单透镜的参数设为变量，评价函数方程为默认的优化弥散斑最小，在这n个物距下同时进行优化，使得每个组态所对应的物距发出的点光源通过单透镜后所成的弥散斑大小相同，弥散斑半径小，得到具有深度不变PSF的理想非球面单透镜结构参数。

3.根据权利要求1所述的一种基于深度学习的单透镜大景深计算成像系统，其特征在于，所述对称扩展路径模型包括4个模块，分别为第一扩展路径模块、第二扩展路径模块、第三扩展路径模块和第四扩展路径模块。

4.根据权利要求3所述的一种基于深度学习的单透镜大景深计算成像系统，其特征在于，所述第四扩展路径模块第一ReLU激活层后还包括Dropout层，在第二卷积层后还包括第三卷积层和亮度调节层。

5.如权利要求1～4所述任一种基于深度学习的单透镜大景深计算成像系统的成像方法，其特征在于，包括以下步骤：

步骤1：设置具有深度不变的PSF分布的单透镜系统，获取小景深图像，构建数据集；

步骤2：构建基于深度学习图像重建网络模型；

步骤3：对基于深度学习图像重建网络模型进行训练，得到预训练重建网络模型；

步骤4：将小景深图像输入步骤4得到的预训练重建网络模型，即可得到所需大景深图像。

6.根据权利要求5所述的一种基于深度学习的单透镜大景深计算成像系统的成像方法，其特征在于，所述步骤3中预训练过程中基于反向传播梯度下降算法最小化感知损失函数，其中感知损失函数如下：

式中：w_i为权值因子，y为真值图像，l₁为基于深度学习图像重建网络模型的输入图像，l₂～l₆为第二卷积层的输出。

Images