CN111479097A - 基于深度学习的散射透镜成像系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的散射透镜成像系统，包括：成像系统，成像系统包括相机和散射透镜，散射透镜固定设置于相机前；投影系统，投影系统包括投影仪和幕布，投影系统设置于成像系统后，以使投影仪将多张预设图片分别投影至幕布上，相机拍摄幕布上经过散射透镜后得到的像，作为一一对应的物&像，以训练预设算法，并通过训练完成的预设算法对待成像物体成像，得到成像结果。本发明实施例的系统可以用深度学习替代解卷积，有效提高成像分辨率，在提高数值孔径的同时，实现比较高的分辨率，简单易实现。

Description

基于深度学习的散射透镜成像系统

技术领域

本发明涉及光学技术领域，特别涉及一种基于深度学习的散射透镜成像系统及方法。

背景技术

相关技术中，成像系统(例如显微镜和数码相机)的视场常常会受到数值孔径的限制。数值孔径是用来衡量光学系统能够收集光的角度范围的物理量。因此，显而易见用毛玻璃获取散射光比透镜镜头能够收集到的光的角度大，即数值孔径大，进而提高视场。

目前，在生命科学和生物医疗领域，清晰地观察单个细胞并且尽可能在同一个视野下观察更多的细胞已成为迫切需求，提高成像系统的数值孔径从而实现宽视场图像的采集成为其中关键技术瓶颈。然而，相关技术的无透镜成像系统在提高数值孔径的同时，不能够实现比较高的分辨率，亟待改进。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于提出一种基于深度学习的散射透镜成像系统，该系统可以用深度学习替代解卷积，有效提高成像分辨率。

为达到上述目的，本发明实施例提出了一种基于深度学习的散射透镜成像系统，包括：成像系统，所述成像系统包括相机和散射透镜，所述散射透镜固定设置于所述相机前；投影系统，所述投影系统包括投影仪和幕布，所述投影系统设置于所述成像系统后，以使所述投影仪将多张预设图片分别投影至所述幕布上，所述相机拍摄所述幕布上经过所述散射透镜后得到的像，作为一一对应的物&像，以训练预设算法，并通过训练完成的预设算法对待成像物体成像，得到成像结果。

本发明实施例的基于深度学习的散射透镜成像系统，不但系统硬件简单，仅需图像采集器和散射片，而且散射片的采用使得系统可以接受到半空间的光照，提升了数值孔径，及采用深度学习的算法代替传统根据点扩散函数解卷积的算法，提高成像分辨率，即可以用深度学习替代解卷积，有效提高成像分辨率，在提高数值孔径的同时，实现比较高的分辨率，简单易实现。

另外，根据本发明上述实施例的基于深度学习的散射透镜成像系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述散射透镜用于对光场进行相位调制，并且根据所述散射透镜的散射介质的散射角度确定所述成像系统的数值孔径。

进一步地，在本发明的一个实施例中，还包括：相机标定系统，用于训练端到端的黑箱模型，并建立目标场景与面阵探测器得到的图像之间的映射关系，以求解采集到的图像对应的目标场景，生成训练数据集。

其中，在本发明的一个实施例中，在深度学习所述黑箱模型之后，所述成像系统具体用于以面阵探测器采集的图像为输入，所述目标场景为输出，通过卷积神经网络训练所述散射透镜成像系统的黑箱模型，且对应任意面阵探测器采集的图像，以用训练得到的网络输出对应的目标场景的估计图像。

另外，在本发明的一个实施例中，还包括：平移台，用于放置所述散射透镜，以将与所述相机的距离调节至目标距离。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于深度学习的散射透镜成像系统的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于深度学习的散射透镜成像系统。

图1是本发明一个实施例的基于深度学习的散射透镜成像系统的结构示意图。

如图1所示，该基于深度学习的散射透镜成像系统包括：成像系统和投影系统。

其中，成像系统包括相机100和散射透镜200，散射透镜200固定设置于相机100前。

可以理解的是，本发明实施例首先搭建硬件系统，即将散射透镜200置于相机100前固定，生成成像系统。其中，本发明实施例可以根据以散射介质(例如散射片或组织切片)为相位变换器件用于成像系统可以提高成像系统的数值孔径和深度学习能够训练端到端的黑箱模型对散射介质引起的未知确定性的逆问题进行求解提出的。

进一步地，在本发明的一个实施例中，散射透镜200用于对光场进行相位调制，并且根据散射透镜200的散射介质的散射角度确定成像系统的数值孔径。

具体地，以散射介质替代传统相机系统中的成像镜头，将散射片或者组织切片直接置于面阵探测器(如CCD或CMOS)前端适当位置作为透镜，对未知场景进行成像，原理特征在于透明或者半透明的散射介质(如全息散射片或透明组织样本)对光场起到相位调制的作用，并且由于散射介质的散射角度通常较大，因此将散射介质视为透镜用于成像系统将得到较大的数值孔径，而由于这种散射介质通常是固定的，因此可以将散射介质看作确定性的随机散射模型，即一个未知的但是确定性的逆问题。

另外，在本发明的一个实施例中，本发明实施例的系统还包括：平移台。其中，平移台用于放置散射透镜200，以将与相机100的距离调节至目标距离。

综上，散射片用于替代传统相机系统的成像镜头置于面阵探测器前，放置在可调与相机100距离的平移台上，用于精确控制散射片与面阵探测器之间的距离。

投影系统包括投影仪300和幕布400，投影系统设置于成像系统后，以使投影仪300将多张预设图片分别投影至幕布400上，相机100拍摄幕布400上经过散射透镜200后得到的像，作为一一对应的物&像，以训练预设算法，并通过训练完成的预设算法对待成像物体成像，得到成像结果。

可以理解的是，如图1所示，练机器学习算法需要投影仪300、幕布400构成的投影系统，例如训练集包括150张左右已知细节且由简到繁的图片构成，进而将成像系统置于幕布400前，投影仪300将150张已知的图片分别投影至屏幕上，相机100拍摄幕布400上经过散射透镜200后得到的像，作为150组一一对应的物&像，用于训练算法，经过训练后的成像系统可用于未知细节的物体的成像。

进一步地，在本发明的一个实施例中，本发明实施例的系统还包括：相机标定系统。其中，相机标定系统用于训练端到端的黑箱模型，并建立目标场景与面阵探测器得到的图像之间的映射关系，以求解采集到的图像对应的目标场景，生成训练数据集。

可以理解的是，相机标定系统用于获取深度学习所需要的面阵探测器采集的图像与目标场景一一对应的训练数据集。其中，深度学习黑箱建模，其用于以面阵探测器采集的图像为输入，目标场景为输出，用卷积神经网络训练散射透镜成像系统的黑箱模型，并且对应任意面阵探测器采集的图像，用训练得到的网络输出对应的目标场景的估计图像。

其中，在本发明的一个实施例中，在深度学习黑箱模型之后，成像系统具体用于以面阵探测器采集的图像为输入，目标场景为输出，通过卷积神经网络训练散射透镜成像系统的黑箱模型，且对应任意面阵探测器采集的图像，以用训练得到的网络输出对应的目标场景的估计图像。

具体而言，机器学习方法可以很好地解决上述问题。本发明实施例引入机器学习领域的深度学习方法，将散射透镜成像问题看作是黑箱建模问题，通过训练一个端到端的黑箱模型，建立目标场景与面阵探测器得到的图像之间的映射关系，求解采集到的图像对应的目标场景。

举例而言，搭建用毛玻璃替代透镜作为镜头放置于相机100前面的成像系统，并将已知特征的图片投影在投影面上，经过投影面漫反射后的光线经过成像光学系统(即散射片和相机100)得到的图像和已知特征的图片进行同时采集，建立深度学习的训练数据集。其中深度学习的输入为面阵探测器采集到的图像，输出为目标场景，即投影仪300投影的图像。面阵探测器采集到的图像与已知的目标场景一一对应，建立卷积神经网络，在训练数据集足够多的情况下，得到输入即面阵探测器采集的图像与输出即目标场景的对应关系，亦即散射透镜成像的黑箱模型。

最后，测试过程对于未知目标场景，将相同参数设置下面阵探测器采集到的图像输入到卷积神经网络，得到输出为未知目标场景的估计图像。根据机器学习的训练与测试的时间关系，尽管训练过程需要大量的训练数据并且耗费一定量的计算资源和时间，但是测试过程直接套用训练得到的模型，因此模型一经训练完成，重建过程可以基本与相机100采集的速率同步，并且达到实时采集和重建的要求。

因此，本发明实施例的基于深度学习的散射透镜成像系统因其提供高于传统相机系统的数值孔径，因此可在空间分辨率和视场两个维度上均优于传统相机系统，提供宽视场高分辨率的成像系统解决方案，通过对不同深度场景的黑箱建模或者不同光谱场景的建模，还可扩展为三维成像或者多光谱成像，并且还可迁移应用于穿透散射介质成像等一些具有挑战性的成像系统中，并有望在生物医学成像领域得到应用。

可以理解的是，本发明实施例的系统适用于宽视场高分辨率的成像系统，散射介质作为成像镜头用于成像系统，提供较传统透镜成像更高的数值孔径，用于宽视场高分辨率的成像系统，而且标定不同深度场景的散射透镜成像系统的黑箱模型，用于穿透散射介质的三维成像，及标定不同波长的散射透镜成像系统的黑箱模型，用于单曝光的多光谱或高光谱成像，设计不同的深度学习网络结构用于优化散射透镜成像系统的黑箱建模过程，深度学习或者更广泛地说机器学习往往面临模型的过拟合问题，即模型拟合得越精确，但是模型的泛华能力呈现越差的趋势，通常深度学习能够很好地解决视觉任务中的过拟合问题，但是本系统中通过定制化的设计优化散射透镜成像系统的黑箱建模过程，使其对不同类型的场景具有很好的适应性，并且对于深度方向有一定变化的场景同样具有鲁棒性。另外，通过机器学习实现弱光成像来提高视场的算法，利用毛玻璃和相机100收集到散射后混合的光，经过训练后的数据处理系统根据弱光重建出图像。

根据本发明实施例的基于深度学习的散射透镜成像系统，不但系统硬件简单，仅需图像采集器和散射片，而且散射片的采用使得系统可以接受到半空间的光照，提升了数值孔径，及采用深度学习的算法代替传统根据点扩散函数解卷积的算法，提高成像分辨率，即可以用深度学习替代解卷积，有效提高成像分辨率，在提高数值孔径的同时，实现比较高的分辨率，简单易实现。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (5)

1.一种基于深度学习的散射透镜成像系统，其特征在于，包括：

成像系统，所述成像系统包括相机和散射透镜，所述散射透镜固定设置于所述相机前；和

投影系统，所述投影系统包括投影仪和幕布，所述投影系统设置于所述成像系统后，以使所述投影仪将多张预设图片分别投影至所述幕布上，所述相机拍摄所述幕布上经过所述散射透镜后得到的像，作为一一对应的物&像，以训练预设算法，并通过训练完成的预设算法对待成像物体成像，得到成像结果。

2.根据权利要求1所述的系统，其特征在于，所述散射透镜用于对光场进行相位调制，并且根据所述散射透镜的散射介质的散射角度确定所述成像系统的数值孔径。

3.根据权利要求1所述的系统，其特征在于，还包括：

相机标定系统，用于训练端到端的黑箱模型，并建立目标场景与面阵探测器得到的图像之间的映射关系，以求解采集到的图像对应的目标场景，生成训练数据集。

4.根据权利要求3所述的系统，其特征在于，在深度学习所述黑箱模型之后，所述成像系统具体用于以面阵探测器采集的图像为输入，所述目标场景为输出，通过卷积神经网络训练所述散射透镜成像系统的黑箱模型，且对应任意面阵探测器采集的图像，以用训练得到的网络输出对应的目标场景的估计图像。

5.根据权利要求1所述的系统，其特征在于，还包括：

平移台，用于放置所述散射透镜，以将与所述相机的距离调节至目标距离。

Images