CN110308547A - 一种基于深度学习的稠密样本无透镜显微成像装置与方法 - Google Patents

Abstract

本发明涉及显微成像技术领域，特别涉及一种基于深度学习的稠密样本无透镜显微成像装置与方法，深度学习无透镜显微成像装置的主体结构包括有光源、散射片、小孔、被测样本、图像传感器和深度学习计算平台，具体工作方式如下：光源发出的光经过散射片和小孔后，照射到被测样本上，图像传感器采集了样本的全息图像，并发送至深度学习计算平台进行图像还原，该方法的优势在于只需要拍摄一张被测稠密样本的全息图，通过深度学习重建算法即可还原被测样本图像；该装置采集样本的全息图像，而后基于深度神经网络对全息图像进行处理，重建样本图像。该装置设计构思巧妙，使用便捷，同时具备稠密样本成像能力，而且计算速度快、重建质量好。

Description

一种基于深度学习的稠密样本无透镜显微成像装置与方法

技术领域：

本发明涉及显微成像技术领域，特别涉及一种基于深度学习的稠密样本无透镜显微成像装置与方法。

背景技术：

光学显微镜，自1670年被虎克发明以来，已成为医学、生物以及工业检测等领域中不可或缺的重要工具。但是，现代检测应用对检测设备提出了现场化、即时化、快速化和便携化等要求，传统的显微镜由于体积和重量的限制，在上述场景下较难应用。

近年来，同轴全息成像技术为设计显微镜提供了一种新的研究方向，可实现高度紧凑和高通量的无透镜显微成像。为了使系统结构紧凑，无透镜全息显微镜采用同轴全息形式，其中样本散射光波和参考光束光波在相同方向上共同传播，图像传感器记录了物体光波和参考光波之间的干涉全息图案。而后，通过数字全息重建方法从记录的全息图案中反演得到被测样本图像。无透镜全息显微技术消除了光学镜头在体积、重量、成像尺寸等方面的局限，较传统显微镜具有结构简单、体积小巧、操作简便、价格低廉等优点。

然而，无透镜全息显微镜对观测样本的稀疏度具有一定的要求。当样本目标在视野内占据较大空间或样本较为稠密时(例如病理切片和组织切片)，不同样本衍射后会相互干涉，当干涉较为严重时，数字全息重建算法无法完全消除全息孪生像的干扰，导致重建结果中存在较大的伪像。为了解决上述问题，近年来研究人员尝试通过拍摄多幅具有一定差异的全息图像，通过增加物理约束消除孪生伪像的干扰，以实现稠密样本的重建。常用的方法有改变样本到探测器之间距离，改变光源照射角度，以及增加波长等，但是这些方法需要增加特殊物理装置，系统实现较为复杂，因此本发明寻求设计提供一种基于深度学习的稠密样本无透镜显微成像装置与方法。

发明内容：

本发明的目的在于克服现有技术所述的上述缺点，寻求设计提供一种基于深度学习的稠密样本无透镜显微成像装置与方法。该装置结构简单，使用方便，同时能够保证测量结果的准确性。

为了实现上述目的，本发明涉及的一种基于深度学习的稠密样本无透镜显微成像装置与方法通过如下技术方案实现：本发明通过深度学习无透镜显微成像装置实现，其主体结构包括有光源、散射片、小孔、被测样本、图像传感器和深度学习计算平台，光源设置于散射片上部，距离为1mm；散射片的下部设置有小孔，样本位于小孔正下方，图像传感器设置于样本的正下方，图像传感器与计算机通信连接；具体工作方式如下：光源发出的光经过散射片和小孔后，照射到被测样本上，图像传感器采集了样本的全息图像，并发送至深度学习计算平台，在深度学习计算平台上将全息图像还原为原始样本图像，该方法的优势在于只需要拍摄一张被测稠密样本的全息图，通过深度学习重建算法即可还原被测样本图像；

光源采用部分相干光源或激光相干光源；散射片的散射角在10度以上，图像传感器采用工业相机或智能相机，深度学习计算平台与相机之间可通过网线、光纤等有线方式或wifi、移动网络等无线方式进行连接和数据传输，深度学习计算平台中含有GPU计算卡或专用计算芯片，图像重建方法在深度计算平台中完成和实现。

图像重建方法包括光波角谱反向传播计算模块和深度神经网络模块，光波角谱反向传播计算模块的输入为采集的全息图像，输出为复数图像；深度神经网络模块将复数图像分为实部图像和虚部图像作为输入，而后通过网络处理后给出优化后的实部图像和虚部图像，所述深度神经网络模块包括有卷积神经网络。

本发明中涉及的光源为LED光源，LED光源波长λ为520nm；所用散射片为50°散射角的工程散射片，散射片与LED光源之间间隔为1mm；所用小孔为100微米针孔，小孔紧贴在散射片背部；样本为待观测显微样本，样本与小孔之间间隔为6cm；所用相机为单板工业相机，分辨率为2.2微米，相机与样本之间间隔为z，z在0.2-5mm之间；所用深度学习计算平台为PC计算机，计算机中插入了GPU计算卡，计算机与单板相机之间采用USB3.0进行有线连接；

光波角谱反向传播计算模块中计算了物体P(x,y)经过距离-z的反向传播后所得到的光场，上述传播过程可通过光波近场衍射传播进行描述，可采用菲涅尔卷积法或角谱法等方式进行数值计算，本发明中采用了角谱法进行实现，记物体P(x,y)传播距离z后的光波为E(x',y')＝ASP{P(x,y)；λ,z}，其计算过程如下：

步骤一：计算P(x,y)的角谱

步骤二：物体角谱传播距离z，

步骤三：重建出射光波

因此，光波角谱反向传播计算模块的计算形式为E(x',y')＝ASP{P(x,y)；λ,-z}。

深度神经网络的输入将反向传播后的复数数据分解为实部和虚部，并将实部数据和虚部数据作为网络的输入，深度神经网络采用的是全卷积网络，网络经过四组下采样，然后又经过四组上采样，最后恢复出图像，网络的连接顺序依次为输入层、第一卷积层加激活层、第一密集网络块、第一最大池化层、第二密集网络块、第二最大池化层、第三密集网络块、第三最大池化层、第四密集网络块、第四最大池化层、第五密集网络块、第一反卷积层、第一拼接层、第六密集网络块、第二反卷积层、第二拼接层、第七密集网络块、第三反卷积层、第三拼接层、第八密集网络块、第四反卷积层、第四拼接层、第九密集网络块、第二卷积层加激活层和输出层，输出层输出处理后的实部图像和虚部图像，其中密集网络块包括有三层卷积和三层拼接，其顺序为输入、第一层卷积、第一拼接层、第二层卷积、第二拼接层、第三层卷积、第三拼接层。

本发明中深度神经网络的具体建立步骤按照如下方式进行：

S1、利用显微成像装置采集显微样本数据，记为{O_i(x,y)}_i＝1,…N；

S2、对训练样本数据进行显微数字成像仿真，获得仿真的全息图像，具体步骤如下：

a)选择一张训练样本数据O_i(x,y)，采用角谱传播法进行z距离的传播，获得像面光场θ_i(x′,y′)＝ASP{O_i(x,y)；λ,z}；

b)模拟图像传感器采集过程，获得全息图像I_i(x′,y′)＝|θ_i(x′,y′)²；

c)重复a)和b)的过程，直到完成生成所有训练样本的全息图像{I_i(x′,y′)}_i＝1,…N

S3、利用光波角谱反向传播计算模块对仿真的全息图像{I_i(x′,y′)}_i＝1,…N进行反向传播，E_i(x,y)＝ASP{I_i(x′,y′)；λ,-z}，获得反向重建结果{E_i(x,y)}_i＝1,…N；

S4、将将重建结果{E_i(x,y)}_i＝1,…N与{O_i(x,y)}_i＝1,…N进行配对，形成训练样本数据集{O_i(x,y),E_i(x,y)}_i＝1,…N；

S5、训练样本集按照9：1比例制作成训练集和测试集，训练集用于训练深度神经网络，测试集用于测试深度神经网络；

S6、将训练样本集注入到深度神经网络中，网络训练过程如下：

a)设定误差损失函数为:

式中，Γ(·；α)为所建立的深度神经网络，α为待训练深度神经网络参数；

b)将所述损失函数根据链式求导法则，由后向前逐层求导，然后采用随机梯度下降方法更新深度神经网络参数α；

c)通过反复对深度神经网络参数进行迭代优化，观察训练样本和测试样本的误差损失函数结果，直到能够满足系统的精度为止；

S7、生成得到深度神经网络：

为了验证本发明装置的成像能力，采用了500张显微镜图像作为原始图像，进行了神经网络训练，得到训练损失函数，再得到利用图像传感器采集的绦虫卵全息图像，通过光波角谱反向传播计算模块找到物体所在平面，而后得到物体光场，但是图像中具有大量的伪纹，物体内部很难辨认，将反向传播物体光场的实部和虚部代入到深度神经网络中，经过深度神经网络处理后振幅图像和相位图像中的孪生伪纹被消除，重建图像中被观测目标更加清晰、易辨识。

本发明是提出了一种基于深度学习的无透镜显微成像装置，该装置采集样本的全息图像，而后基于深度神经网络对全息图像进行处理，重建样本图像。该装置设计构思巧妙，使用便捷，同时具备稠密样本成像能力，而且计算速度快、重建质量好。

附图说明：

图1为本发明涉及的基于深度学习的无透镜显微成像装置系统结构原理示意图。

图2为本发明涉及的深度学习损失函数曲线示意图。

图3为本发明涉及的绦虫卵全息图像示意图。

图4为本发明涉及的反向传播物体振幅示意图。

图5为本发明涉及的反向传播物体相位示意图。

图6为本发明涉及的深度神经网络优化后物体振幅示意图。

图7为本发明涉及的深度神经网络优化后物体相位示意图。

具体实施方式：

为使本发明的实施例的目的、技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述。

实施例1：

本实施例涉及的一种基于深度学习的无透镜显微成像装置通过如下技术方案实现：

按照图1中的结构组建了深度学习无透镜显微成像装置，其主体结构包括有光源、散射片、小孔、被测样本、图像传感器和深度学习计算平台，具体工作方式如下：光源发出的光经过散射片和小孔后，照射到被测样本上，图像传感器采集了样本的全息图像，并发送至深度学习计算平台，在深度学习计算平台上将全息图像还原为原始样本图像，该方法的优势在于只需要拍摄一张被测稠密样本的全息图，通过深度学习重建算法即可还原被测样本图像；

光源可采用部分相干光源(如LED)，或激光相干光源；散射片的散射角在10度以上，图像传感器可采用工业相机或智能相机，深度学习计算平台与相机之间可通过网线、光纤等有线方式或wifi、移动网络等无线方式进行连接和数据传输，深度学习计算平台中含有GPU计算卡或专用计算芯片，图像重建方法在深度计算平台中完成和实现。

图像重建方法包括光波角谱反向传播计算模块和深度神经网络模块，光波角谱反向传播计算模块的输入为采集的全息图像，输出为复数图像；深度神经网络模块将复数图像分为实部图像和虚部图像作为输入，而后通过网络处理后给出优化后的实部图像和虚部图像，所述深度神经网络模块包括有卷积神经网络。

实施例2：

本实施例中涉及的光源为LED光源，LED光源波长λ为520nm；所用散射片为50°散射角的工程散射片，散射片与LED光源之间间隔约1mm；所用小孔为100微米针孔，小孔紧贴在散射片背部；样本为待观测显微样本，样本与小孔之间间隔为6cm；所用相机为单板工业相机，分辨率为2.2微米，相机与样本之间间隔为z，z在0.2-5mm之间；所用深度学习计算平台为PC计算机，计算机中插入了GPU计算卡，计算机与单板相机之间采用USB3.0进行有线连接；

光波角谱反向传播计算模块中计算了物体P(x,y)经过距离-z的反向传播后所得到的光场，上述传播过程可通过光波近场衍射传播进行描述，可采用菲涅尔卷积法或角谱法等方式进行数值计算，本实施例中采用了角谱法进行实现，记物体P(x,y)传播距离z后的光波为E(x',y')＝ASP{P(x,y)；λ,z}，其计算过程如下：

步骤一：计算P(x,y)的角谱

步骤二：物体角谱传播距离z，

步骤三：重建出射光波

因此，光波角谱反向传播计算模块的计算形式为E(x',y')＝ASP{P(x,y)；λ,-z}。

深度神经网络的输入将反向传播后的复数数据分解为实部和虚部，并将实部数据和虚部数据作为网络的输入，深度神经网络采用的是全卷积网络，网络经过四组下采样，然后又经过四组上采样，最后恢复出图像，网络的连接顺序依次为输入层、第一卷积层加激活层、第一密集网络块、第一最大池化层、第二密集网络块、第二最大池化层、第三密集网络块、第三最大池化层、第四密集网络块、第四最大池化层、第五密集网络块、第一反卷积层、第一拼接层(将第四密集网络块的输出特征图与第一反卷积层的输出特征图拼接)、第六密集网络块、第二反卷积层、第二拼接层(将第三密集网络块的输出特征图与第二反卷积层的输出特征图拼接)、第七密集网络块、第三反卷积层、第三拼接层(将第二密集网络块的输出特征图与第三反卷积层的输出特征图拼接)、第八密集网络块、第四反卷积层、第四拼接层(将第一密集网络块的输出特征图与第四反卷积层的输出特征图拼接)、第九密集网络块、第二卷积层加激活层和输出层，输出层输出处理后的实部图像和虚部图像，其中密集网络块包括有三层卷积和三层拼接，其顺序为输入、第一层卷积、第一拼接层(输入与第一层卷积的输出特征图拼接)、第二层卷积、第二拼接层(第一拼接层与第二层卷积的输出特征图拼接)、第三层卷积、第三拼接层(第二拼接层与第三层卷积的输出特征图拼接)，在本实施例中，各层网络所用参数如表1所示。

表1 深度神经网络参数列表

本实施例中深度神经网络的具体建立步骤按照如下方式进行：

S1、利用显微成像装置采集显微样本数据，记为{O_i(x,y)}_i＝1,…N；

S2、对训练样本数据进行显微数字成像仿真，获得仿真的全息图像，具体步骤如下：

a)选择一张训练样本数据O_i(x,y)，采用角谱传播法进行z距离的传播，获得像面光场θ_i(x′,y′)＝ASP{O_i(x,y)；λ,z}；

b)模拟图像传感器采集过程，获得全息图像I_i(x′,y′)＝|θ_i(x′,y′)²；

c)重复a)和b)的过程，直到完成生成所有训练样本的全息图像{I_i(x′,y′)}_i＝1,…N

S3、利用光波角谱反向传播计算模块对仿真的全息图像{I_i(x′,y′)}_i＝1,…N进行反向传播，E_i(x,y)＝ASP{I_i(x′,y′)；λ,-z}，获得反向重建结果{E_i(x,y)}_i＝1,…N；

S4、将将重建结果{E_i(x,y)}_i＝1,…N与{O_i(x,y)}_i＝1,…N进行配对，形成训练样本数据集{O_i(x,y),E_i(x,y)}_i＝1,…N；

S5、训练样本集按照9：1比例制作成训练集和测试集，训练集用于训练深度神经网络，测试集用于测试深度神经网络；

S6、将训练样本集注入到深度神经网络中，网络训练过程如下：

a)设定误差损失函数为:

式中，Γ(·；α)为所建立的深度神经网络，α为待训练深度神经网络参数；

b)将所述损失函数根据链式求导法则，由后向前逐层求导，然后采用随机梯度下降方法更新深度神经网络参数α；

c)通过反复对深度神经网络参数进行迭代优化，观察训练样本和测试样本的误差损失函数结果，直到能够满足系统的精度为止；

S7、生成得到深度神经网络：

为了验证本发明装置的成像能力，采用了500张显微镜图像作为原始图像，进行了神经网络训练，训练损失函数曲线如图2所示：

图3中给出了利用图像传感器采集的绦虫卵全息图像，通过光波角谱反向传播计算模块找到物体所在平面，而后得到物体光场，其振幅和相位分别如图4和图5所示，可以看到图像中具有大量的伪纹，物体内部很难辨认，将反向传播物体光场的实部和虚部代入到深度神经网络中，经过处理后的物体振幅和相位分别如图6和图7所示，经过深度神经网络处理后振幅图像和相位图像中的孪生伪纹被消除，重建图像中被观测目标更加清晰、易辨识。

Claims (3)

1.一种基于深度学习的稠密样本无透镜显微成像装置与方法，其特征在于通过如下技术方案实现：涉及的深度学习无透镜显微成像装置的主体结构包括有光源、散射片、小孔、被测样本、图像传感器和深度学习计算平台，光源设置于散射片上部，距离为1mm；散射片的下部设置有小孔，样本位于小孔正下方，图像传感器设置于样本的正下方，图像传感器与计算机通信连接；具体工作方式如下：光源发出的光经过散射片和小孔后，照射到被测样本上，图像传感器采集了样本的全息图像，并发送至深度学习计算平台，在深度学习计算平台上将全息图像还原为原始样本图像，该方法的优势在于只需要拍摄一张被测稠密样本的全息图，通过深度学习重建算法即可还原被测样本图像；

光源采用部分相干光源或激光相干光源；散射片的散射角在10度以上，图像传感器采用工业相机或智能相机，深度学习计算平台与相机之间可通过网线、光纤等有线方式或wifi、移动网络等无线方式进行连接和数据传输，深度学习计算平台中含有GPU计算卡或专用计算芯片，图像重建方法在深度计算平台中完成和实现；

图像重建方法包括光波角谱反向传播计算模块和深度神经网络模块，光波角谱反向传播计算模块的输入为采集的全息图像，输出为复数图像；深度神经网络模块将复数图像分为实部图像和虚部图像作为输入，而后通过网络处理后给出优化后的实部图像和虚部图像，所述深度神经网络模块包括有卷积神经网络。

2.根据权利要求1所述的一种基于深度学习的稠密样本无透镜显微成像装置与方法，其特征在于光源选用LED光源，LED光源波长λ为520nm；所用散射片为50°散射角的工程散射片，散射片与LED光源之间间隔为1mm；所用小孔为100微米针孔，小孔紧贴在散射片背部；样本为待观测显微样本，样本与小孔之间间隔为6cm；所用相机为单板工业相机，分辨率为2.2微米，相机与样本之间间隔为z，z在0.2-5mm之间；所用深度学习计算平台为PC计算机，计算机中插入了GPU计算卡，计算机与单板相机之间采用USB3.0进行有线连接；

光波角谱反向传播计算模块中计算了物体P(x,y)经过距离-z的反向传播后所得到的光场，上述传播过程可通过光波近场衍射传播进行描述，可采用菲涅尔卷积法或角谱法等方式进行数值计算，本发明中采用了角谱法进行实现，记物体P(x,y)传播距离z后的光波为E(x',y')＝ASP{P(x,y)；λ,z}，其计算过程如下：

步骤一：计算P(x,y)的角谱

步骤二：物体角谱传播距离z，

步骤三：重建出射光波

因此，光波角谱反向传播计算模块的计算形式为E(x',y')＝ASP{P(x,y)；λ,-z}；

深度神经网络的输入将反向传播后的复数数据分解为实部和虚部，并将实部数据和虚部数据作为网络的输入，深度神经网络采用的是全卷积网络，网络经过四组下采样，然后又经过四组上采样，最后恢复出图像，网络的连接顺序依次为输入层、第一卷积层加激活层、第一密集网络块、第一最大池化层、第二密集网络块、第二最大池化层、第三密集网络块、第三最大池化层、第四密集网络块、第四最大池化层、第五密集网络块、第一反卷积层、第一拼接层、第六密集网络块、第二反卷积层、第二拼接层、第七密集网络块、第三反卷积层、第三拼接层、第八密集网络块、第四反卷积层、第四拼接层、第九密集网络块、第二卷积层加激活层和输出层，输出层输出处理后的实部图像和虚部图像，其中密集网络块包括有三层卷积和三层拼接，其顺序为输入、第一层卷积、第一拼接层、第二层卷积、第二拼接层、第三层卷积、第三拼接层。

3.根据权利要求2所述的一种基于深度学习的稠密样本无透镜显微成像装置与方法，其特征在于：

深度神经网络的具体建立步骤按照如下方式进行：

S1、利用显微成像装置采集显微样本数据，记为{O_i(x,y)}_i＝1,…N；

S2、对训练样本数据进行显微数字成像仿真，获得仿真的全息图像，具体步骤如下：

a)选择一张训练样本数据O_i(x,y)，采用角谱传播法进行z距离的传播，获得像面光场θ_i(x′,y′)＝ASP{O_i(x,y)；λ,z}；

b)模拟图像传感器采集过程，获得全息图像I_i(x′,y′)＝|θ_i(x′,y′)|²；

c)重复a)和b)的过程，直到完成生成所有训练样本的全息图像{I_i(x′,y′)}_i＝1,…N

S3、利用光波角谱反向传播计算模块对仿真的全息图像

{I_i(x′,y′)}_i＝1,…N进行反向传播，E_i(x,y)＝ASP{I_i(x′,y′)；λ,-z}，获得反向重建结果{E_i(x,y)}_i＝1,…N；

S4、将将重建结果{E_i(x,y)}_i＝1,…N与{O_i(x,y)}_i＝1,…N进行配对，形成训练样本数据集{O_i(x,y),E_i(x,y)}_i＝1,…N；

S5、训练样本集按照9：1比例制作成训练集和测试集，训练集用于训练深度神经网络，测试集用于测试深度神经网络；

S6、将训练样本集注入到深度神经网络中，网络训练过程如下：

a)设定误差损失函数为:

式中，Γ(·；α)为所建立的深度神经网络，α为待训练深度神经网络参数；

b)将所述损失函数根据链式求导法则，由后向前逐层求导，然后采用随机梯度下降方法更新深度神经网络参数α；

c)通过反复对深度神经网络参数进行迭代优化，观察训练样本和测试样本的误差损失函数结果，直到能够满足系统的精度为止；

S7、生成得到深度神经网络：

为了验证本发明装置的成像能力，采用了500张显微镜图像作为原始图像，进行了神经网络训练，得到训练损失函数，再得到利用图像传感器采集的绦虫卵全息图像，通过光波角谱反向传播计算模块找到物体所在平面，而后得到物体光场，但是图像中具有大量的伪纹，物体内部很难辨认，将反向传播物体光场的实部和虚部代入到深度神经网络中，经过深度神经网络处理后振幅图像和相位图像中的孪生伪纹被消除，重建图像中被观测目标更加清晰、易辨识。