CN116703728B

CN116703728B - 系统参数优化的超分辨方法和系统

Info

Publication number: CN116703728B
Application number: CN202310982650.XA
Authority: CN
Inventors: 边丽蘅; 胡勇存; 常旭阳; 闫军
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2023-08-07
Filing date: 2023-08-07
Publication date: 2023-10-13
Anticipated expiration: 2043-08-07
Also published as: CN116703728A

Abstract

本发明涉及计算摄像学技术领域，本发明公开了系统参数优化的超分辨方法和系统，该方法包基于系统成像参数构建重建网络；利用训练数据集训练重建网络优化重建网络参数以得到训练好的重建网络；其中，训练数据集，包括第一原始波前；基于优化后的系统成像参数构建全息光学成像系统，并将第二原始波前输入至全息光学成像系统进行成像得到第一衍射强度图；将第一衍射强度图输入至训练好的重建网络以输出高分辨率的第二原始波前。本发明解决了成像分辨率低、质量差的问题，实现高效、高保真、超分辨重建原始波前。

Description

系统参数优化的超分辨方法和系统

技术领域

本发明涉及计算摄像学技术领域，特别是涉及系统参数优化的超分辨方法和系统。

背景技术

全息成像技术在过去几十年内受到了光学界和信号处理界的广泛关注，它的发展经历了由传统全息成像向数字全息成像演变的过程。传统的全息成像采用全息干板记录的方式记录全息图。复现时，将参考光束照射到干板上，经衍射即可再现原始波前信息。但传统全息成像再现过程复杂，干板价格昂贵，不利于复制和传播。随着数字式感光器件的发展，数字全息应运而生。数字全息技术是计算机技术、全息技术和电子成像技术结合的产物，它采用CCD或CMOS等数字感光器件代替干板离散化记录全息图，省去了图像后续进行化学处理的步骤，节省了大量时间；并且使用数值算法重建原始波前，解决了传统全息成像再现复杂，不利于复制的问题。然而，数字全息成像也存在分辨率受限的挑战。

由于数字感光器件对光波进行离散化采样，可能会导致分辨率不足，无法满足奈奎斯特采样准则，从而丢失目标信息。这通常发生在高数值孔径和低放大率的系统中，如片上无透镜显微镜等，其系统分辨率主要受限于传感器像素尺寸。对于上述问题可以在物理层面尝试解决，比如在保证传感器面积一定的前提下，减小传感器像素尺寸，提高传感器的采样频率。但是这种减小像素尺寸的方法会降低捕获图像的信噪比，影响成像质量。或者可以使用放大倍数更高的透镜，但是更大的光学元件会导致更大的光学系统体积，增加了系统成本。同时，在特定波段下，如X波段，由于材料在此波段下的折射率接近于1，透镜类器件和其他光学元件的像差非常大，制造起来非常困难。近年来出现的像素超分辨技术在一定程度上解决了上述权衡问题，扩大了数字全息成像的应用范围。像素超分辨技术通过引入观测多样性产生冗余信息，弥补离散化采样丢失的像素值，从而恢复亚像素级光场的高频细节，有效地解决了欠采样和相位丢失的问题。

传统的像素超分辨技术在成像过程中使用随机掩膜对原始波前进行调制，没有考虑掩膜的结构信息，无法实现系统-算法的联合设计，虽然可以重建原始波前，但是存在重建质量差的问题。此外，传统的像素超分辨技术往往基于迭代投影算法，这种算法通过不断在原始物波平面与传感器平面之间投影并施加相应的约束，实现对原始波前的重建，具有较高的计算复杂度。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明提出一种系统参数优化的超分辨方法，利用深度学习技术将系统成像参数与算法重建参数联合优化，为获得该配置下的最优编码方式提供了技术指导，实现了在低采样率下，高保真、超分辨地重建原始波前并且具有实时重建的潜力。

本发明的另一个目的在于提出一种系统参数优化的超分辨系统。

为达上述目的，本发明一方面提出一种系统参数优化的超分辨方法，包括：

基于系统成像参数构建重建网络；

利用训练数据集训练所述重建网络优化重建网络参数以得到训练好的重建网络；其中，所述训练数据集，包括第一原始波前；

基于优化后的系统成像参数构建全息光学成像系统，并将第二原始波前输入至所述全息光学成像系统进行成像得到第一衍射强度图；

将所述第一衍射强度图输入至训练好的重建网络以输出高分辨率的第二原始波前。

另外，根据本发明上述实施例的系统参数优化的超分辨方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述重建网络，包括掩膜层、衍射层和重建层。

进一步地，在本发明的一个实施例中，所述利用训练数据集训练所述重建网络优化重建网络参数以得到训练好的重建网络，包括：

将所述第一原始波前输入至所述掩膜层进行训练得到最佳掩膜层参数以得到训练好的掩膜层，并利用所述训练好的掩膜层进行分集测量以调制第一原始波前；

通过衍射层数字化地将调制后的第一原始波前向传感器平面衍射传播以映射为第二衍射强度图；

将所述第二衍射强度图输入至所述重建层以学习得到第二衍射强度图到高分辨率的第一原始波前的映射关系，并基于所述映射关系和训练得到的最优重建层参数训练重建层以得到训练好的重建层。

进一步地，在本发明的一个实施例中，所述重建层采用卷积神经网络；将所述第一衍射强度图输入至所述训练好的卷积神经网络，以通过解码输出高分辨率的第二原始波前。

进一步地，在本发明的一个实施例中，基于训练好的掩膜层和空间光调制器构造所述全息光学成像系统。

为达上述目的，本发明另一方面提出一种系统参数优化的超分辨系统，包括：

重建网络构建模块，用于基于系统成像参数构建重建网络；

重建网络训练模块，用于利用训练数据集训练所述重建网络优化重建网络参数以得到训练好的重建网络；其中，所述训练数据集，包括第一原始波前；

强度图成像输出模块，用于基于优化后的系统成像参数构建全息光学成像系统，并将第二原始波前输入至所述全息光学成像系统进行成像得到第一衍射强度图；

网络结果输出模块，用于将所述第一衍射强度图输入至训练好的重建网络以输出高分辨率的第二原始波前。

本发明实施例的系统参数优化的超分辨方法和系统，解决成像分辨率低、质量差的问题，实现高效、高保真、超分辨重建原始波前。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明实施例的系统参数优化的超分辨方法的流程图；

图2是根据本发明实施例的神经网络架构以及训练过程与成像示意图；

图3是根据本发明实施例的传感器采集衍射强度图的光路示意图；

图4是根据本发明实施例的重超分辨相位恢复示意图；

图5是根据本发明实施例的系统参数优化的超分辨系统的结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

下面参照附图描述根据本发明实施例提出的系统参数优化的超分辨方法和系统。

图1是本发明实施例的系统参数优化的超分辨方法的流程图。

如图1所示，该方法包括但不限于以下步骤：

S1，基于系统成像参数构建重建网络；

S2，利用训练数据集训练重建网络优化重建网络参数以得到训练好的重建网络；其中，训练数据集，包括第一原始波前；

S3，基于优化后的系统成像参数构建全息光学成像系统，并将第二原始波前输入至全息光学成像系统进行成像得到第一衍射强度图；

S4，将第一衍射强度图输入至训练好的重建网络以输出高分辨率的第二原始波前。

可以理解的是，本发明将系统成像参数作为网络的可学习参数之一，设计联合系统层面与算法层面的重建网络架构；采用自然图片作为训练数据，训练优化重建网络参数；基于优化后的成像参数搭建全息光学成像系统，获得一系列衍射强度图；将衍射强度图输入网络的解码重建层，输出高分辨率的原始波前。

示例性地，设计联合系统层面与算法层面的重建网络架构。设计成像参数优化的编码-解码神经网络架构。编码部分抽象为掩膜层和衍射层，对应于实际光学系统的编码掩膜调制和衍射传播两个过程，将自然图像映射为一系列衍射强度图；解码部分基于神经网络，对应于算法重建过程，将衍射强度图映射为自然图像。将编码掩膜结构作为重建网络可优化的参数之一，耦合输入输出过程，实现了系统-算法的联合设计。将上述三层串联，即为待训练的重建网络架构。

示例性地，采用自然图片作为训练数据，训练优化重建网络参数。训练网络时，利用自然图像作为训练集，使重建网络能够从自然图像的结构信息中同时学习到最优的编码方式和衍射强度图到超分辨原始波前的映射关系，实现系统层面与算法层面的联合优化。

具体地，利用自然图像作为训练集并输入至重建网络，该网络的掩膜层能够从自然图像的结构信息中学习到最优编码方式并使重建层学习到衍射强度图到高分辨原始波前的映射关系。实现了编码掩膜和重建方法的联合优化。

示例性地，基于优化后的成像参数搭建全息光学系统，获得一系列衍射强度图。使用优化后的掩膜结构进行分集测量，实现最优的物波波前调制。优化后的掩膜通过多种方式制造并加入成像系统，之后利用光电探测器采集衍射图。受光电探测器低响应速度的限制，其只能记录强度信息，采集的图像会损失相位信息。

具体地，基于优化后的成像参数搭建全息光学系统并采集衍射强度图。优化后的掩膜通过空间光调制器（SLM）、3D打印、超材料等方式制造并加入成像系统。用光敏电子成像器件（如CCD）记录波前经调制并衍射传播后的衍射强度图。由于光波的频率较高，传感器只能记录强度信息，捕获的图像会损失相位信息。同时，由于传感器的离散化采样和像素大小的限制，往往会产生欠采样问题，影响重建质量。

示例性地，将衍射强度图输入网络的解码重建层，输出高分辨率的原始波前。将衍射强度图输入到训练完成的神经网络的重建层，重建层预测并输出高分辨原始波前，实现高效、高保真、超分辨重建。

具体地，将衍射强度图输入重建网络，输出高分辨率的原始波前。训练完成的神经网络联合优化了编码掩膜和重建层参数，能够高保真、超分辨重建原始波前，消除由于相位丢失而造成的孪生像。同时避免了传统算法费时的迭代优化过程，具有实时重建的潜力。

如图2所示，为本发明的神经网络架构以及训练过程与成像过程流程图。本发明提出的神经网络包括三层：掩膜层、衍射层和重建层。掩膜层对应于成像过程中一系列编码掩膜，起到对波前调制的作用，引入观测多样性。此外，掩膜层结构作为网络的可学习参数，在训练过程中不断迭代更新。衍射层对应于物波经调制后向传感器平面衍射传播过程，在网络中为一层固定参数层。重建层对应于实际的数值重建过程，采用卷积神经网络实现。

具体地，掩膜层用于调制物波波前，从而形成观测多样性。且掩膜层的结构作为网络可学习参数之一，在重建网络的训练过程中迭代优化；衍射层对应于成像物理模型，将调制后的物波波前数字化地向传感器平面衍射传播。上述两层构成网络的编码部分，将物波波前映射为衍射强度。重建层采用卷积神经网络构成网络的解码部分，将传感器捕获的衍射强度图映射为高分辨原始波前。将上述三层串联，即为待训练的重建网络架构。该将编码掩膜结构信息引入重建网络，耦合编解码过程，实现了系统-算法的联合设计。

网络训练过程和成像过程如图2所示。训练数据集由事先采集的用于训练该任务的大量原始波前组成，网络通过不断迭代使掩膜层学习到了该任务下的最佳掩膜层参数，实现最优的物波波前调制；使重建层学习到最佳重建层参数，提高了重建质量。在成像过程中，将训练完成的掩膜层通过空间光调制器（SLM）、3D打印、超材料等方式制造并加入成像系统。原始波前经过掩膜调制和衍射传播过程，在传感器上形成衍射强度图。将传感器采集到的衍射强度图输入到训练完成的重建层中，即可得到重建后的高分辨率原始波前。相较于传统的像素超分辨算法，本发明提出的神经网络实现了系统-算法联合设计与优化，能够高保真、超分辨重建原始波前，消除孪生像。同时避免了传统算法费时的迭代优化过程，具有实时重建的潜力。

图3为传感器捕获衍射强度图的光路示意图。本发明以空间光调制器（SLM）对波前进行调制为例进行说明。将训练完成的掩膜结构载入SLM中，用于对物波波前调制。调制过程可以表述为：

其中，为调制后的波前信号，/>为训练完成的调制掩膜，/>为调制掩膜的序号，/>为采用的掩膜总数，/>为哈达玛积，/>为原始波前。

之后，光波从样本平面传播到传感器平面，传播过程可用瑞利-索末菲衍射模型来描述：

其中，为空间坐标，/>为样本平面的波前函数，/>为传感器平面的波前函数。/>为波长，/>和/>分别代表离散傅里叶变换和离散傅里叶逆变换。为传播函数，/>为空间频率。

由于现代电子设备采集光场信息的原理都依赖于采用光电二极管将捕获的光子转换为电流或电子，而光波的震荡频率高达，测量设备无法跟踪，因此，传感器只能捕获光场的强度信息。此外，由于传感器的离散化采样和像素大小的限制，往往会产生欠采样问题。因此，传感器采集光场信息的过程可以表述为：

其中，为下采样算子。/>为捕获的衍射强度图。

图4所示为超分辨相位恢复示意图。上述调制过程和衍射过程对应于图4卷积神经网络之前的部分。经过上述过程，传感器捕获到张衍射强度图/>。本发明采用卷积神经网络重建原始波前，具体来说，本发明以U2-net网络为例重建原始波前。该网络的输入为/>张衍射强度图，输出为高分辨原始波前。该过程可以表述为：

其中，表示重建的超分辨原始波前。

相较于传统像素超分辨算法在重建过程中需要不断进行迭代更新，本发明采用卷积神经网络能够将时间复杂度转移到训练过程，在成像过程中更快地重建原始波前，具有实时重建的潜力。同时，将编码掩膜结构信息引入重建网络中并同步优化，实现了系统-算法的联合设计与优化，为获得该配置下的最优编码方式提供了技术指导，能够提高重建质量，实现高保真、超分辨重建原始波前。同时，优化后的编码掩膜能够通过3D打印、超材料等方法集成到CCD传感器上，为集成化波前传感器的发展提供了指导。

根据本发明实施例的系统参数优化的超分辨方法，能够在波前调制模式下，实现掩膜结构与重建方法的联合设计与优化，为获得该配置下的最优编码方式提供了技术指导，解决成像分辨率低、质量差的问题，高效、高保真、超分辨重建原始波前。

为了实现上述实施例，如图5所示，本实施例中还提供了系统参数优化的超分辨系统10，该系统10包括：

重建网络构建模块100，用于基于系统成像参数构建重建网络；

重建网络训练模块200，用于利用训练数据集训练重建网络优化重建网络参数以得到训练好的重建网络；其中，训练数据集，包括第一原始波前；

强度图成像输出模块300，用于基于优化后的系统成像参数构建全息光学成像系统，并将第二原始波前输入至全息光学成像系统进行成像得到第一衍射强度图；

网络结果输出模块400，用于将第一衍射强度图输入至训练好的重建网络以输出高分辨率的第二原始波前。

进一步地，重建网络，包括掩膜层、衍射层和重建层。

进一步地，上述重建网络训练模块200，还用于：

将第一原始波前输入至掩膜层进行训练得到最佳掩膜层参数以得到训练好的掩膜层，并利用所述训练好的掩膜层进行分集测量以调制第一原始波前；

将第二衍射强度图输入至重建层以学习得到第二衍射强度图到高分辨率的第一原始波前的映射关系，并基于映射关系和训练得到的最优重建层参数训练重建层以得到训练好的重建层。

进一步地，重建层采用卷积神经网络；将第一衍射强度图输入至训练好的卷积神经网络，以通过解码输出高分辨率的第二原始波前。

进一步地，基于训练好的掩膜层和空间光调制器构造全息光学成像系统。

根据本发明实施例的系统参数优化的超分辨系统，能够在波前调制模式下，实现掩膜结构与重建方法的联合设计与优化，为获得该配置下的最优编码方式提供了技术指导，解决成像分辨率低、质量差的问题，高效、高保真、超分辨重建原始波前。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

Claims

1.一种系统参数优化的超分辨方法，其特征在于，所述方法包括：

基于系统成像参数构建重建网络；

将所述第一衍射强度图输入至训练好的重建网络以输出高分辨率的第二原始波前；

所述重建网络，包括掩膜层、衍射层和重建层；

所述利用训练数据集训练所述重建网络优化重建网络参数以得到训练好的重建网络，包括：

2.根据权利要求1所述的方法，其特征在于，所述重建层采用卷积神经网络；将所述第一衍射强度图输入至所述训练好的卷积神经网络，以通过解码输出高分辨率的第二原始波前。

3.根据权利要求1所述的方法，其特征在于，基于训练好的掩膜层和空间光调制器构造所述全息光学成像系统。

4.一种系统参数优化的超分辨系统，其特征在于，包括：

重建网络构建模块，用于基于系统成像参数构建重建网络；

网络结果输出模块，用于将所述第一衍射强度图输入至训练好的重建网络以输出高分辨率的第二原始波前；

所述重建网络，包括掩膜层、衍射层和重建层；

所述重建网络训练模块，还用于：

5.根据权利要求4所述的系统，其特征在于，所述重建层采用卷积神经网络；将所述第一衍射强度图输入至所述训练好的卷积神经网络，以通过解码输出高分辨率的第二原始波前。

6.根据权利要求4所述的系统，其特征在于，基于训练好的掩膜层和空间光调制器构造所述全息光学成像系统。