CN111601096A - 具有单光子雪崩二极管的合成图像方法 - Google Patents

Abstract

本发明公开了一种具有单光子雪崩二极管的合成图像成像方法，包括以下步骤：在装有单光子雪崩二极管SPAD阵列的平台驱动器时序电路中预设编码序列控制位移方式，控制显微成像系统沿垂直方向做周期正弦运动，SPAD阵列分别置于多个空间上移位的位置上，利用SPAD阵列的像素捕获多个场景的第一图像，得到样本的合成图；建立神经网络模型，将样本的合成图作为网络的输入，对应的TIE计算相位图作为网络真值；利用样本的合成图和相位图对神经网络进行训练。获取待恢复样本的编码合成图像，并将其输入训练好的神经网络中，得到相位图像。该方法无需复杂的成像装置，不需考虑边界条件，计算速度快，信噪比高。

Description

具有单光子雪崩二极管的合成图像方法

技术领域

本发明涉及计算成像技术领域，特别涉及一种具有单光子雪崩二极管的合成图像成像方法。

背景技术

单光子雪崩二极管(SPAD)是一种特殊的物理器件，工作电压高于其击穿电压，当检测到光子时，探测器会产生一个脉冲信号，来描述光子的到达信息，它具有皮秒级的反映速度。

单光子雪崩二极管(SPAD)是一种建立在光电效应基础上的光电器件，可以感应单光子信号并将其转换为一个较大的电信号，其对光的敏感通常大于传统的图像传感器，如CCD和COMS，基于SPAD的图像传感器在高帧率下有良好的信号对噪音比。SPAD由于量子效率高、对磁场和辐射不敏感以及在高增益下仍能保持良好信噪比的优点在弱光探测领域更具优势，同时其还具有响应速度快、体积小、质量轻、功耗低等特点，SPAD阵列除了兼具单光子信号探测和皮秒量级的时间分辨率这两大优点，还可以在探测光子信号的同时获得其时间和空间信息，实现对目标的三维成像探测。

场景中单一的低分辨率的图像所含信息量少，在一种方法中，场景的几个空间移位的低分辨率图像通过组合产生高分辨率图像；在另一种方法中，几个场景中低分辨率图像通过神经网络训练进行相位重建，以产生信息量大的高质量图像。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于提出一种具有单光子雪崩二极管的合成图像成像方法，该方法增强了分辨率，加快了合成速度，且可以实现对动态目标的三维成像探测。

为达到上述目的，本发明实施例提出了具有单光子雪崩二极管的合成图像成像方法，包括以下步骤：步骤S1，图像采集和合成阶段；步骤S101，在装有单光子雪崩二极管SPAD阵列的平台驱动器时序电路中预设编码序列控制位移方式，控制显微成像系统沿垂直方向做周期正弦运动；步骤S102，根据分辨率要求设计单光子雪崩二极管SPAD组合阵列，将载有驱动器和单光子雪崩二极管SPAD阵列的平台分别置于多个空间移位的位置上；步骤S103，利用单光子雪崩二极管阵列的像素，分别在所述多个空间移位的位置上捕获多个场景的第一图像，得到初步低分辨率图像；步骤S104，基于强度传输方程的相位重建算法建立神经网络模型，将所述初步低分辨率图像作为所述神经网络模型的输入，计算所述初步低分辨率图像的相位图作为网络真值，对所述神经网络模型进行训练；步骤S2，执行训练和合成阶段；步骤S201，获取待恢复样本的编码合成图像；步骤S202，将所述待恢复样本的编码合成图像输入所述训练好的神经网络网络，获得相位图像。

本发明实施例的具有单光子雪崩二极管的合成图像成像方法，在弱光环境下，利用单光子雪崩二极管捕获多个可组合场景的分辨率图像，通过空间组合和神经网络训练的方式得到信息量大的合成图像，并训练出获取图像分辨率较高的神经网络；在弱光环境下可以快速获取多场景的第一图像，无需复杂的成像装置，不需考虑边界条件，计算速度快；信噪比高，系统简单；探测光子信号的同时可以获得时间和空间信息，实现对目标的三维成像探测。

另外，根据本发明上述实施例的具有单光子雪崩二极管的合成图像成像方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，装有单光子雪崩二极管SPAD阵列的平台驱动器与所述显微成像系统直接连接。

进一步地，在本发明的一个实施例中，所述步骤S102中，在空间上移位处进行场景图像采集，所述驱动器周期运动直至采集完一段完整的编码序列。

进一步地，在本发明的一个实施例中，所述显微成像系统包括光学显微镜，光源强度不受限制。

进一步地，在本发明的一个实施例中，所述步骤S103中采集的初步低分辨率图像包括静态图像和动态图像，以增加所述初步低分辨率图像的种类和数量，其中，分辨率指像素阵列或者图像的像素的分辨率。

进一步地，在本发明的一个实施例中，在本发明的一个实施例中，利用强度传输方程TIE计算所述初步低分辨率图像的相位图，公式为：

其中，k为波数，I为光强分布，

为相位分布，z为纵向坐标，r为横向坐标。

进一步地，在本发明的一个实施例中，所述神经网络模型只需训练一次，所述训练好的神经网络网络应用于无限次的静态或动态图像合成。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的具有单光子雪崩二极管的合成图像成像方法的流程图；

图2为根据本发明一个具体实施例中实现具有单光子雪崩二极管的合成图像成像方法的组合光路图；

图3为根据本发明一个具体实施例中驱动器时序电路中的预设编码图；

图4为根据本发明一个具体实施例中具有单光子雪崩二极管的合成图像成像系统方法流程示意图；

图5为根据本发明一个具体实施例中包括SPAD像素的SPAD像素阵列示意图，其中，在不脱离本发明的范围下，SPAD像素阵列可以比图4显示的更多或更少的SPAD像素点。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的具有单光子雪崩二极管的合成图像成像方法。

图1是本发明一个实施例的具有单光子雪崩二极管的合成图像成像方法的流程图。

如图1所示，该具有单光子雪崩二极管的合成图像成像方法包括以下步骤：图像采集和合成阶段和执行训练阶段。

其中，步骤S1，图像采集和合成阶段，具体包括：

在步骤S101中，在装有单光子雪崩二极管SPAD阵列的平台驱动器时序电路中预设编码序列控制位移方式，控制显微成像系统沿垂直方向做周期正弦运动。

进一步地，在本发明的一个实施例中，装有单光子雪崩二极管SPAD阵列的平台驱动器具有反应速度快、高帧频的特点，可直接与显微成像系统相接。其中装有SPAD阵列的平台驱动器时序电路中预设的周期运动序列为时间连续序列。

进一步地，显微成像系统为光学显微镜等，光源强度不受限制，可以为微弱光环境。

在步骤S102中，根据分辨率要求设计单光子雪崩二极管SPAD组合阵列，将载有驱动器和单光子雪崩二极管SPAD阵列的平台分别置于多个空间移位的位置上。

进一步地，在本发明的一个实施例中，在空间上移位处进行场景图像采集，驱动器周期运动直至采集完一段完整的编码序列。

在步骤S103中，利用单光子雪崩二极管阵列的像素，分别在多个空间移位的位置上捕获多个场景的第一图像，得到初步低分辨率图像。

进一步地，在本发明的一个实施例中，步骤S103中采集的初步低分辨率图像包括静态图像和动态图像，以增加初步低分辨率图像的种类和数量，其中，分辨率指像素阵列或者图像的像素的分辨率。

也就是说，步骤S103中的采集初步低分辨率图像，可以是任何用于显微成像的样本，包括静态图像样本和动态图像样本，原则上尽可能增加采集样本的种类和数量。

在步骤S104中，基于强度传输方程的相位重建算法建立神经网络模型，将初步低分辨率图像作为神经网络模型的输入，计算初步低分辨率图像的相位图作为网络真值，对所神经网络模型进行训练。

进一步地，在步骤S104中的基于强度传输方程的相位重建算法，主要是基于如下强度传输方程(TIE)求得初步低分辨率图像的相位图，公式如下：

其中，k为波数，I为光强分布，

为相位分布，z为纵向坐标，r为横向坐标。

其中，步骤S2，执行训练和合成阶段。

在步骤S201，获取待恢复样本的编码合成图像。

步骤S202，将待恢复样本的编码合成图像输入训练好的神经网络网络，获得相位图像。

可以理解的是，步骤S104中的神经网络模型可以是任意用于图像转换的神经网络模型，且神经网络模型只需训练一次，训练好后的网络可应用于无限次的静态或动态图像合成。

下面结合附图和具体实施例对本发明的合成图像成像方法作进一步说明。

如图2所示，一种实现本发明实施例的组合光路包括：光源模块1，聚光镜2，可变光阑3，样本4，位移台5，物镜,6，反射镜7，会聚透镜8，SPAD阵列9。其中，光源模块1可采用极微弱光，可由光阑调整光源的相干度。含有物体信息的光束经反射镜后被会聚透镜准直，驱动器驱动装有SPAD阵列的平台位移到多个空间移位的位置上，捕获第一图像进行合成。

具有单光子雪崩二极管的合成图像方法工作流程如下：

如图3和4所示，图像采集过程：首先在装有SPAD阵列的平台驱动器时序电路中预设编码序列控制位移方式，控制显微镜载物台沿z轴(垂直)方向做周期正弦运动，SPAD阵列分别置于多个空间上移位的位置上，如图5所示，利用单光子雪崩二极管阵列的像素，分别在多个空间移位的位置上捕获多个场景的第一图像，组合成增强的分辨率的图像。

图像合成过程：基于强度传输方程的相位重建算法建立神经网络模型，将样本的合成图作为网络的输入，对应的TIE计算相位图作为网络真值；而后将训练样本的合成图像和相应的相位重建图做训练集对神经网络进行训练。

执行训练过程：在弱光的情况下或在合成成像运动物体时，与传统的CCD和COMS图像传感器有关的相对较低的帧率排除了多图像组成超分辨率图像的捕获。捕获场景的多个图像以及根据不同位移位置进行编码合成，使用强度传输方程相位重建法得到相应图像的相位图作为神经网络的真值，将其和编码合成图做训练集训练神经网络，其中神经网络的参数如下：learning rate＝0.01，batch size＝32，decay rate＝0.997，max epoch＝10000，Shuffle frequency＝0.01。网络训练所用的GPU为GTX 1080TI，训练时长为3小时。

执行合成过程：神经网络训练完成后，只需输入编码合成图即可进行系统合成。从多个图像所组成的增强的分辨率图像可具有分辨率1600×1200。

根据本发明实施例提出的具有单光子雪崩二极管的合成图像成像方法，在搭建好系统并完成神经网络训练后，只需调整SPAD阵列与显微成像系统组合获取编码合成图像，输入训练好的网络中即可恢复样本的相位图。相比于传统的图像成像系统，该方法读取速度快，只需训练一次，且不受边界条件限制；相比于传统的CCD或CMOS图像传感器，该方法合成准确度高，实时性好，可用于目标三维成像探测。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种具有单光子雪崩二极管的合成图像成像方法，其特征在于，包括以下步骤：

步骤S1，图像采集和合成阶段；

步骤S101，在装有单光子雪崩二极管SPAD阵列的平台驱动器时序电路中预设编码序列控制位移方式，控制显微成像系统沿垂直方向做周期正弦运动；

步骤S102，根据分辨率要求设计单光子雪崩二极管SPAD组合阵列，将载有驱动器和单光子雪崩二极管SPAD阵列的平台分别置于多个空间移位的位置上；

步骤S103，利用单光子雪崩二极管阵列的像素，分别在所述多个空间移位的位置上捕获多个场景的第一图像，得到初步低分辨率图像；

步骤S104，基于强度传输方程的相位重建算法建立神经网络模型，将所述初步低分辨率图像作为所述神经网络模型的输入，计算所述初步低分辨率图像的相位图作为网络真值，对所述神经网络模型进行训练；

步骤S2，执行训练和合成阶段；

步骤S201，获取待恢复样本的编码合成图像；

步骤S202，将所述待恢复样本的编码合成图像输入所述训练好的神经网络网络，获得相位图像。

2.根据权利要求1所述的方法，其特征在于，装有单光子雪崩二极管SPAD阵列的平台驱动器与所述显微成像系统直接连接。

3.根据权利要求1所述的方法，其特征在于，所述步骤S102中，在空间上移位处进行场景图像采集，所述驱动器周期运动直至采集完一段完整的编码序列。

4.根据权利要求1所述的方法，其特征在于，所述显微成像系统包括光学显微镜，光源强度不受限制。

5.根据权利要求1所述的方法，其特征在于，所述步骤S103中采集的初步低分辨率图像包括静态图像和动态图像，以增加所述初步低分辨率图像的种类和数量，其中，分辨率指像素阵列或者图像的像素的分辨率。

6.根据权利要求1所述的方法，其特征在于，利用强度传输方程TIE计算所述初步低分辨率图像的相位图，公式为：

其中，k为波数，I为光强分布，

为相位分布，z为纵向坐标，r为横向坐标。

7.根据权利要求1所述的方法，其特征在于，所述神经网络模型只需训练一次，所述训练好的神经网络网络应用于无限次的静态或动态图像合成。

Images