CN110378473B - 基于深度学习和随机图案的相位层析方法及装置 - Google Patents

基于深度学习和随机图案的相位层析方法及装置 Download PDF

Info

Publication number
CN110378473B
CN110378473B CN201910683983.6A CN201910683983A CN110378473B CN 110378473 B CN110378473 B CN 110378473B CN 201910683983 A CN201910683983 A CN 201910683983A CN 110378473 B CN110378473 B CN 110378473B
Authority
CN
China
Prior art keywords
sample
light
neural network
holograms
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910683983.6A
Other languages
English (en)
Other versions
CN110378473A (zh
Inventor
戴琼海
乔畅
乔晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910683983.6A priority Critical patent/CN110378473B/zh
Publication of CN110378473A publication Critical patent/CN110378473A/zh
Application granted granted Critical
Publication of CN110378473B publication Critical patent/CN110378473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/10—Processes or apparatus for producing holograms using modulated reference beam
    • G03H1/12—Spatial modulation, e.g. ghost imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种基于深度学习和随机图案的相位层析方法及装置，该方法包括以下步骤：搭建多层神经网络；利用数字微镜阵列产生随机图案，随机图案对样本进行调制，得到预设数量的全息图；根据样本的实际参数和全息图设定多层神经网络的训练参数，并对多层神经网络进行训练；依据训练参数计算样本的实际三维折射率；根据实际三维折射率对样本进行三维层析重建，得到三维层析图像。该方法无需设计和产生倾斜的照明光束，而只需使用数字微镜阵列投射随机图案，仅用少量的随机图案即可实现对样本的高精度相位层析重建，并通过设计计算方案利用深度学习神经网络配合强度随机调制平面波光照采集系统，实现高速采集、精准层析的功能。

Description

基于深度学习和随机图案的相位层析方法及装置
技术领域
本发明涉及深度学习技术领域，特别涉及一种基于深度学习和随机图案的相位层析方法及装置。
背景技术
对于细胞生物学领域的研究来说，观察活细胞和它们的亚细胞结构是至关重要的。为此，学者们发明了许多三维成像的方法来实现这一目的。荧光显微镜是当前使用最广泛成像手段，它可以通过对细胞用荧光蛋白或染料进行特异性标记，实现亚微米成像。基于荧光显微镜，各种各样的成像方法被发明出来，如共聚焦显微镜、双光子荧光显微镜、光片显微镜和光场显微镜等，然而荧光显微镜只能对被标记的细胞或结构进行成像，所以其应用在某些场合受到了限制。
与此同时，相位层析显微镜作为另外一种成像模式，可以在无标记和无侵入的前提下测量透明或半透明生物样本的折射率分布。相位层析显微镜基于光的衍射传播理论，通过用不同入射角度的光照射样本，得到若干波前相位，继而重建出样本的三维折射率分布，但是通常来讲完成一次三维折射率重建需要改变数十次入射光角度。相位层析显微镜通常使用振镜来改变入射光角度，但这种方式会引入机械振动误差。使用数字微镜阵列代替振镜来产生改变光线入射角可以减少机械误差和提高成像速度，但与振镜相比，数字微镜阵列会带来额外的衍射噪声。在基于数字微镜阵列的相位层析显微镜系统中使用时间复用技术可以减少数字微镜阵列造成的衍射噪声，但是这种方法依然需要多次改变入射光角度才能进行有效的三维折射率重建。
发明内容
本发明提供一种基于深度学习和随机图案的相位层析方法及装置，以解决多次改变入射光角度才能进行有效的三维折射率重建的技术问题。
本发明一方面实施例提供一种基于深度学习和随机图案的相位层析方法，包括以下步骤：
搭建多层神经网络；
利用数字微镜阵列产生随机图案，所述随机图案对样本进行调制，得到预设数量的全息图；
根据样本的实际参数和所述全息图设定所述多层神经网络的训练参数，并对所述多层神经网络进行训练；
利用所述训练参数计算样本的实际三维折射率；以及
根据所述实际三维折射率对样本进行三维层析重建，得到三维层析图像。
本发明另一方面实施例提供一种基于深度学习和随机图案的相位层析装置，包括：
搭建模块，用于搭建多层神经网络；
调制模块，用于利用数字微镜阵列产生随机图案，所述随机图案对样本进行调制，得到预设数量的全息图；
训练模块，用于根据样本的实际参数和所述全息图设定所述多层神经网络的训练参数，并对所述多层神经网络进行训练；
计算模块，用于利用所述训练参数计算样本的实际三维折射率；以及
重建模块，用于根据所述实际三维折射率对样本进行三维层析重建，得到三维层析图像。
本发明的技术方案，至少实现了如下有益的技术效果：
(1)系统精确、稳定。本发明的光学系统没有类似振镜的振动机械器件，使用数字微镜阵列对光束进行调制，因此光路精确而稳定。
(2)简单的系统设计。相比于其他使用数字微镜阵列的相位层析技术，本发明在光路上无需对数字微镜阵列产生的高阶衍射级次进行处理，并且多层神经网络的设计不依赖于输入的波前复数场，因此在不同的光学系统和不同的照明图案下普适性更强。
(3)超快层析速度。传统相位层析技术完成一次三维折射率重建通常需要采集数十次不同入射光角度的数据，而本发明无需设计和产生倾斜的照明光束，最少仅需改变两次数字微镜阵列图案即可完成重建，从而大幅提高了成像的时间分辨率。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的基于深度学习和随机图案的相位层析方法流程图；
图2为本发明实施例所提供的多层神经网络的网络架构图；
图3为本发明实施例所提供的实验数据采集系统光路图，其中，M代表平面反射镜，Laser代表激光器，SF代表空间滤波器，BS代表分束镜，TL代表套筒透镜，OBJ代表物镜，Cam代表相机；
图4为本发明实施例所提供的光线投影在数字微镜阵列上的图案，其中，a1-a4是正弦图案，条纹相对于水平方向的偏转角度分别为0°，45°，90°，135°，b1-b4是四张随机图案；
图5为本发明实施例所提供的基于深度学习和随机图案的相位层析方法工作原理流程图；
图6为本发明实施例具体示例的仿真结果图；
图7为本发明实施例所提供的基于深度学习和随机图案的相位层析装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例的基于深度学习和随机图案的相位层析方法和装置，首先将参照附图描述根据本发明实施例提出的基于深度学习和随机图案的相位层析方法。
图1为本发明实施例所提供的一种基于深度学习和随机图案的相位层析方法流程图。
如图1所示，该基于深度学习和随机图案的相位层析方法包括以下步骤：
在步骤S101中，搭建多层神经网络。
在本发明的一个实施例中，根据光束传播模型搭建出复数光场在空间中传播的多层神经网络，其中，多层神经网络中构建了数据输入层、衍射传播层、折射传播层和低通滤波层。
具体地，本发明所使用的卷积神经网络根据Ulugbek S.Kamilov提出的光束传播模型(BPM，Beam Propagation Model)构建。BPM是一个计算光波在散射介质中的衍射效应的前向传播模型，它的推导基于各向同性亥姆霍兹方程，辅以合理的简化和近似计算，最终得到下面的平面波前向传播公式：
Figure BDA0002145704120000031
其中，δz是一个足够小但有限的轴向步长，ωx和ωω表示傅里叶域的角频率坐标，k0＝2π/λ是真空中的波数，n0是介质折射率，δn(r)表示空间坐标r处折射率与介质折射率之差，a(：，：，z)表示在z位置的二维复数场，*表示卷积算子，
Figure BDA0002145704120000032
表示二维傅里叶变换。
将待重建的样本微元化，x、y、z方向分别分成Nx、Ny、Nz个微元，认为每一微元中的折射率是相同的，其中z轴微元Δz的大小体现了层析分辨率的大小。
对于物理传播过程中的相邻两层波前a(：，：，z)和a(：，：，z+δz)，其运算关系可以分成下面两个部分：
Figure BDA0002145704120000041
Figure BDA0002145704120000042
两个公式分别代表光在传播过程中的衍射和折射，而在神经网络中可以分别用卷积和点乘操作来实现。
本发明搭建多层神经网络使用的深度学习框架为TensorFlow，网络中构建了数据输入层(InputLayer)、衍射传播层(DiffractionLayer)、折射传播层(RefractionLayer)以及低通滤波层(LowPassLayer)，其中衍射层和折射层分别对应上述的衍射运算和折射运算，低通滤波层对应于光学系统的频域低通特性。折射层中包含待求参数δn(r)，即对应样本的三维折射率。
定义多层神经网络的损失函数(loss function)表达式如下：
Figure BDA0002145704120000043
其中，ypredict表示网络生成的图片，ytrue表示真值图片，第一个约束项γ1∑|w|为对训练结果的1范数约束，w表示权重，即δn(r)，以确保结果的稀疏性，第二个约束项
Figure BDA0002145704120000044
为一阶导数约束，以确保结果的连续性，γ1和γ2为两种约束项的权重因子。
如图2所示，将样本空间进行离散化，在光线传播方向分成多个薄层，每两个薄层之间的间隔为δz，然后将每个薄层视为卷及神经网络的一层。在每层之内，将二维图像离散采样为Nx×Ny个神经元，横向采样间隔为δx和δy。卷积神经网络的输入为入射到样本上的复数场，然后如光束传播模型公式，神经网络上每一层都要进行一次卷积运算和点乘运算，在最终输出之前，还需要对复数场进行一次低通滤波，对应实际光路中的光学传递函数的频域限制。卷积神经网络权重δn(r)可以用Adam优化器训练得到。
在步骤S102中，利用数字微镜阵列产生随机图案，随机图案对样本进行调制，得到预设数量的全息图。
具体地，如图3所示，在本发明的一个实施例中，首先搭建实验数据采集系统，其中，关键器件的型号及规格描述如下：二极管激光器(λ＝532nm，50mW，Thorlabs，Inc.，NewJersey，USA)、分光棱镜(BS028，Thorlabs，Inc.，New Jersey，USA)、数字微镜阵列上(V-9001 VIS，ViALUX，Saxony，Germany)、套筒透镜(f＝180mm，Thorlabs，Inc.，New Jersey，USA)、照明物镜(NA＝1.4，UPLSAPO 100XO，100×，Olympus，Inc.，Japan)、采集物镜(NA＝1.4，UPLSAPO 100XO，100×，Olympus，Inc.，Japan)、sCMOS相机(Dhyana 95，TUCSEN，Inc.，China)。
其中，光路过程为：激光从二极管激光器出射，经过小孔滤波后用分光棱镜分成物光和参考光两束光。物光经过反射入射到数字微镜阵列上，然后经过套筒透镜和物镜缩束后入射到样本上。经过样本的出射光被另一个同样的物镜所采集，经过套筒透镜成像至像面。最后物光和参考光在像面上发生干涉形成一幅空间调制的干涉图，用科学相机进行采集。
实验系统搭建完成后，即可开始采集数据。如图4所示，在数字微镜阵列上以01模式投射图样(正弦条纹或随机图案均可，其中，随机图案经过调制的入射光可以对频谱进行搬移，从而在光纤中耦合更多的高频信息)，对光线进行强度调制，穿过样本的物光在相机感光面上与参考光发生干涉，便可采集到一张全息图；改变数字微镜阵列上投射的图样，对照明样本的光线进行不同图案的调制，可得到不同的全息图。通过改变数字微镜阵列上的图案，采集到数张不同的全息图作为相位层析的原始数据。
在本发明的一个实施例中，全息图像的预设数量根据实验要求设定，但至少两张才能重建出样本的基本形态，并且预设数量与实际三维折射率的精度成正比关系。
具体而言，对于每次重建，需要采集的全息图的数量可自主选定。最少2张全息图即可通过后续的神经网络训练算法重建出样本的基本形貌，随着全息图数量的增多，相位层析精度会不断提升，至多大约50张全息图时可以达到最佳层析精度。
需要说明的是，采集到全息图之后需要使用频域移动算法恢复物光相位，为了补偿实际实验中的光线相位畸变，通常需要在将待层析样本移走之后，再次采集相同数量、相同图案的去掉待层析样本的全息图。与此同时，这组全息图在用相位恢复算法处理之后可以得到经过不同调制的入射光的复数场，这也是多层神经网络训练的输入之一。
又因多层神经网络的输入是物光相位图和参考光的复数场，因此采集到全息图后需要对物光和参考光进行相位恢复，本发明中采用频域移动算法来实现。具体来讲，将待恢复全息图进行二维傅里叶变换，得到的频域图像将出现-1级、0级和+1级三块主要的频域成分，将其中+1级成分移至频谱中心，再经过低通滤波滤去其他两级成分，最后进行二维逆傅里叶变换，即可完成相位恢复。
在步骤S103中，根据样本的实际参数和全息图设定多层神经网络的训练参数，并对多层神经网络进行训练。
具体地，利用步骤S101中搭建的多层神经网络，按照实际样本的尺度、分辨率需求、采集端的放大倍数及实际介质折射率等，设定神经网络的参数，如网络的层数(影响轴向分辨率)、批处理大小(影响训练速度)、初始学习率(影响训练效果和速度)以及迭代次数(影响算法收敛位置)等，然后开始训练网络。所使用机器配置为：CPU(Intel Core i7-6850K)、GPU(Titan Xp×2)，批处理规模为30，迭代次数为300次，训练时间10分钟左右。
在步骤S104中，利用训练参数计算样本的实际三维折射率。
在步骤S105中，根据实际三维折射率对样本进行三维层析重建，得到三维层析图像。
也就是说，网络训练完毕后，依据训练参数δn(r)计算样本实际三维折射率，然后对其进行三维层析绘制，即实现了对样本的相位层析。
综上，如图5所示，本发明实施例使用数字微镜阵列产生随机图案光照，结合深度学习优化算法，以高时空分辨率实现三维折射率重建，基本原理是亥姆沃兹方程、光的角谱传播模型以及深度学习参数优化方法，其具体过程为：根据波的亥姆沃兹方程、光的角谱传播模型以及一系列合理的假设推导出光在介质中传播时衍射场和折射场的分布，并依据推导公式，仿照物理过程搭建出复数光场在空间中传播的多层神经网络；使用数字微镜阵列对光进行调制，使得光束携带随机图案之后照射样本；使用经过不同随机图案调制的光对样本进行多组照射，并在输出端用参考光与物光进行干涉，采集形成的干涉图样；使用频域移动方法对物光进行相位恢复，以得到物光相位图作为输入训练神经网络；通过训练得到的神经网络权重求解样本三维折射率分布，实现对样本的层析重建。
下面结合具体示例对本发明的相位层析方法做进一步说明。
选择三个直径为2微米、折射率为1.548的小球进行成像，小球浸泡在折射率为1.518的油介质中。
在仿真计算中，使用的图片尺寸为256×256个像素，像素尺寸为0.0585微米；物镜放大倍数为100，数值孔径为1.4；激光波长为532纳米。对于每一次折射率重建，仿真中使用12张干涉图来完成重建。
如图6所示，完整仿真流程为：首先仿真生成12张正弦条纹或者随机图案的图样作为入射波前，称此波前为参考光，然后运用前述提及的光束传播模型以及小球、介质的折射率参数计算出参考光经过样本之后的复数场分布，称这束光为物光，接着将参考光斜入射到像面与物光发生干涉，从而得到干涉图，这对应实际实验系统中相机采集到的全息图。利用这些全系图和相应相位恢复算法可以从这12张全息图得到相应的12张相位图。最后将12个仿真生成的参考光图样和这12张相位图作为神经网络的输入和输出进行训练，训练过程大约耗时10分钟，训练完成得到网络参数即为样本的折射率分布。
根据本发明实施例提出的基于深度学习和随机图案的相位层析方法，利用数字微镜阵列对光快速调制的能力，结合人工智能中的深度学习方法，提供一种快速且简易的对透明或半透明样本进行相位层析的方法，达到简化数据采集流程、减少数据采集量、提高层析速度的目的，且不依赖于输入的波前复数场，普适性强，无需设计和产生倾斜的照明光束，最少仅需改变两次数字微镜阵列图案即可完成重建，从而大幅提高了成像的时间分辨率。
为了实现上述实施例，本发明还提出了一种基于深度学习和随机图案的相位层析装置。
图7是本发明一个实施例的基于深度学习和随机图案的相位层析装置的结构示意图。
如图7所示，该基于深度学习和随机图案的相位层析装置10包括：搭建模块100、调制模块200、训练模块300、计算模块400和重建模块500。
其中，搭建模块100，用于搭建多层神经网络；
调制模块200，用于利用数字微镜阵列产生随机图案，随机图案对样本进行调制，得到预设数量的全息图；
训练模块300，用于根据样本的实际参数和全息图设定多层神经网络的训练参数，并对多层神经网络进行训练；
计算模块400，用于利用训练参数计算样本的实际三维折射率；以及
重建模块500，用于根据实际三维折射率对样本进行三维层析重建，得到三维层析图像。
需要说明的是，前述对基于深度学习和随机图案的相位层析方法实施例的解释说明也适用于该装置，此处不再赘述。
根据本发明实施例提出的基于深度学习和随机图案的相位层析装置，利用数字微镜阵列对光快速调制的能力，结合人工智能中的深度学习方法，提供一种快速且简易的对透明或半透明样本进行相位层析的方法，达到简化数据采集流程、减少数据采集量、提高层析速度的目的，且不依赖于输入的波前复数场，普适性强，无需设计和产生倾斜的照明光束，最少仅需改变两次数字微镜阵列图案即可完成重建，从而大幅提高了成像的时间分辨率。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于深度学习和随机图案的相位层析方法，其特征在于，包括以下步骤：
搭建多层神经网络；
利用数字微镜阵列产生随机图案，所述随机图案对样本进行调制，得到预设数量的全息图；
其中，光路过程为：激光从二极管激光器出射，经过小孔滤波后用分光棱镜分成物光和参考光两束光，物光经过反射入射到数字微镜阵列上，然后经过套简透镜和物镜缩束后入射到样本上，经过样本的出射光被另一个同样的物镜所采集，经过套筒透镜成像至像面，最后物光和参考光在像面上发生干涉形成一幅空间调制的干涉图，用科学相机进行采集；
其中，获取所述全息图的步骤包括：
在所述数字微镜阵列上以01模式投射图样，其中所述投射图样，正弦条纹或随机图案均可；所述随机图案经过调制的入射光可以对频谱进行搬移，从而在光纤中耦合更多的高频信息；对光线进行强度调制，穿过样本的物光在相机感光面上与参考光发生干涉，便可采集到一张所述全息图；
改变所述数字微镜阵列上投射的图样，对照明样本的光线进行不同图案的调制，可得到不同的所述全息图；其中，通过改变所述数字微镜阵列上的图案，采集到数张不同的所述全息图作为相位层析的原始数据；
采集到全息图之后需要使用频域移动算法恢复物光相位，需要在将待层析样本移走之后，再次采集相同数量、相同图案的去掉待层析样本的全息图，包括：将待恢复全息图进行二维傅里叶变换，得到的频域图像将出现-1级、0级和+1级三块主要的频域成分，将其中+1级成分移至频谱中心，再经过低通滤波滤去其他两级成分，最后进行二维逆傅里叶变换，即可完成相位恢复；
根据样本的实际参数和所述全息图设定所述多层神经网络的训练参数，并对所述多层神经网络进行训练；其中，全息图像的预设数量根据实验要求设定，但至少两张才能重建出样本的基本形态，并且预设数量与实际三维折射率的精度成正比关系；具体而言，对于每次重建，需要采集的全息图的数量可自主选定；最少2张全息图即可通过后续的神经网络训练算法重建出样本的基本形貌，随着全息图数量的增多，相位层析精度会不断提升，至多大约50张全息图时可以达到最佳层析精度；
利用所述训练参数计算样本的实际三维折射率；以及
根据所述实际三维折射率对样本进行三维层析重建，得到三维层析图像。
2.根据权利要求1所述的相位层析方法，其特征在于，所述搭建多层神经网络，包括：
根据光束传播模型搭建出复数光场在空间中传播的所述多层神经网络。
3.根据权利要求2所述的相位层析方法，其特征在于，所述多层神经网络中构建了数据输入层、衍射传播层、折射传播层和低通滤波层。
4.根据权利要求1所述的相位层析方法，其特征在于，在采集到所述全息图之后，在所述多层神经网络进行训练之前，使用频域移动算法对所述全息图进行处理，得到物光和参考光的复数场。
5.根据权利要求4所述的相位层析方法，其特征在于，所述物光和参考光的复数场和所述样本的实际参数为所述训练参数。
6.根据权利要求4所述的相位层析方法，其特征在于，所述使用频域移动算法对所述全息图进行处理，得到物光和参考光的复数场，包括：
将待恢复的全息图进行二维傅里叶变换，得到包含-1级、0级和+1级三块成分的频域图像；
将所述+1级成分移至频谱中心，再经过低通滤波滤除所述-1级成分和所述0级成分；
将处理后的频域图像进行二维逆傅里叶变换，得到所述物光和参考光的复数场。
7.根据权利要求1所述的相位层析方法，其特征在于，所述预设数量与所述实际三维折射率的精度成正比关系。
8.一种基于深度学习和随机图案的相位层析装置，其特征在于，包括：
搭建模块，用于搭建多层神经网络；
调制模块，用于利用数字微镜阵列产生随机图案，所述随机图案对样本进行调制，得到预设数量的全息图；
其中，光路过程为：激光从二极管激光器出射，经过小孔滤波后用分光棱镜分成物光和参考光两束光，物光经过反射入射到数字微镜阵列上，然后经过套简透镜和物镜缩束后入射到样本上，经过样本的出射光被另一个同样的物镜所采集，经过套筒透镜成像至像面，最后物光和参考光在像面上发生干涉形成一幅空间调制的干涉图，用科学相机进行采集；
其中，获取所述全息图的步骤包括：
在所述数字微镜阵列上以01模式投射图样，其中所述投射图样，正弦条纹或随机图案均可；所述随机图案经过调制的入射光可以对频谱进行搬移，从而在光纤中耦合更多的高频信息；对光线进行强度调制，穿过样本的物光在相机感光面上与参考光发生干涉，便可采集到一张所述全息图；
改变所述数字微镜阵列上投射的图样，对照明样本的光线进行不同图案的调制，可得到不同的所述全息图；其中，通过改变所述数字微镜阵列上的图案，采集到数张不同的所述全息图作为相位层析的原始数据；
采集到全息图之后需要使用频域移动算法恢复物光相位，需要在将待层析样本移走之后，再次采集相同数量、相同图案的去掉待层析样本的全息图，包括：将待恢复全息图进行二维傅里叶变换，得到的频域图像将出现-1级、0级和+1级三块主要的频域成分，将其中+1级成分移至频谱中心，再经过低通滤波滤去其他两级成分，最后进行二维逆傅里叶变换，即可完成相位恢复；
训练模块，用于根据样本的实际参数和所述全息图设定所述多层神经网络的训练参数，并对所述多层神经网络进行训练，其中，全息图像的预设数量根据实验要求设定，但至少两张才能重建出样本的基本形态，并且预设数量与实际三维折射率的精度成正比关系；具体而言，对于每次重建，需要采集的全息图的数量可自主选定；最少2张全息图即可通过后续的神经网络训练算法重建出样本的基本形貌，随着全息图数量的增多，相位层析精度会不断提升，至多大约50张全息图时可以达到最佳层析精度；
计算模块，用于利用所述训练参数计算样本的实际三维折射率；以及
重建模块，用于根据所述实际三维折射率对样本进行三维层析重建，得到三维层析图像。
CN201910683983.6A 2019-07-26 2019-07-26 基于深度学习和随机图案的相位层析方法及装置 Active CN110378473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910683983.6A CN110378473B (zh) 2019-07-26 2019-07-26 基于深度学习和随机图案的相位层析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910683983.6A CN110378473B (zh) 2019-07-26 2019-07-26 基于深度学习和随机图案的相位层析方法及装置

Publications (2)

Publication Number Publication Date
CN110378473A CN110378473A (zh) 2019-10-25
CN110378473B true CN110378473B (zh) 2021-12-21

Family

ID=68256430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910683983.6A Active CN110378473B (zh) 2019-07-26 2019-07-26 基于深度学习和随机图案的相位层析方法及装置

Country Status (1)

Country Link
CN (1) CN110378473B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102302333B1 (ko) * 2019-11-05 2021-09-16 주식회사 토모큐브 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법 및 장치
CN110703385B (zh) * 2019-11-11 2021-04-02 西湖大学 基于光散射的图案化的多模干涉耦合器、设计方法和应用
CN110929864B (zh) * 2019-12-05 2023-04-18 北京超放信息技术有限公司 光学衍射神经网络在线训练方法及系统
CN113031421A (zh) * 2020-02-17 2021-06-25 深圳大学 相位信息训练集生成方法、装置、终端设备及存储介质
CN111461300B (zh) * 2020-03-30 2022-10-14 北京航空航天大学 光学残差深度网络构建方法
CN111523484B (zh) * 2020-04-24 2021-08-27 北京嘀嘀无限科技发展有限公司 一种人脸关键点的检测方法、装置、电子设备及存储介质
CN111652372B (zh) * 2020-06-19 2022-08-19 中国科学院软件研究所 一种基于衍射光学神经网络的波前复原方法及系统
CN112198506B (zh) * 2020-09-14 2022-11-04 桂林电子科技大学 一种超宽带穿墙雷达学习成像的方法、装置、系统和可读存储介质
CN114967398B (zh) * 2022-05-13 2024-05-31 安徽大学 基于深度学习的大尺寸二维计算全息图实时生成方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102928970A (zh) * 2012-10-19 2013-02-13 华中科技大学 一种大样本快速三维显微成像的方法和系统
CN104118120A (zh) * 2014-07-10 2014-10-29 广州中国科学院先进技术研究所 一种用于3d打印的光学系统及其控制方法
CN107241550A (zh) * 2017-06-26 2017-10-10 清华大学 基于时分复用的快速单像素频域成像方法
CN107958475A (zh) * 2017-12-19 2018-04-24 清华大学 基于深度学习生成网络的变角度光照层析方法及装置
CN109445089A (zh) * 2018-12-25 2019-03-08 浙江大学 一种基于高速波前调制的多模光纤三维成像装置及方法
KR20190083583A (ko) * 2018-01-04 2019-07-12 한국전자통신연구원 이진 홀로그램 재현 장치 및 그 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103344569B (zh) * 2013-06-21 2015-10-28 中国科学院上海光学精密机械研究所 偏振复频域光学相干层析成像方法和系统
US20150085331A1 (en) * 2013-09-23 2015-03-26 Electronics And Telecommunications Research Institute Wide-viewing angle holographic display apparatus
CN104794674B (zh) * 2015-04-24 2018-03-06 福建师范大学 一种基于宿主数字全息图的水印方法及装置
CN105976408A (zh) * 2016-04-28 2016-09-28 北京大学 一种量子逆向传播神经网络的数字全息压缩传输方法
CN106846463B (zh) * 2017-01-13 2020-02-18 清华大学 基于深度学习神经网络的显微图像三维重建方法及系统
CN107144233A (zh) * 2017-04-11 2017-09-08 北京航空航天大学 一种投影栅相位法与数字全息结合的三维形貌测量系统
CN109580457B (zh) * 2018-11-01 2021-05-04 南京理工大学 基于led阵列编码照明的三维衍射层析显微成像方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102928970A (zh) * 2012-10-19 2013-02-13 华中科技大学 一种大样本快速三维显微成像的方法和系统
CN104118120A (zh) * 2014-07-10 2014-10-29 广州中国科学院先进技术研究所 一种用于3d打印的光学系统及其控制方法
CN107241550A (zh) * 2017-06-26 2017-10-10 清华大学 基于时分复用的快速单像素频域成像方法
CN107958475A (zh) * 2017-12-19 2018-04-24 清华大学 基于深度学习生成网络的变角度光照层析方法及装置
KR20190083583A (ko) * 2018-01-04 2019-07-12 한국전자통신연구원 이진 홀로그램 재현 장치 및 그 방법
CN109445089A (zh) * 2018-12-25 2019-03-08 浙江大学 一种基于高速波前调制的多模光纤三维成像装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Fourier-space Diffractive Deep Neural Network》;Tao Yan,et al;《PHYSICAL REVIEW LETTERS》;20190709;全文 *

Also Published As

Publication number Publication date
CN110378473A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN110378473B (zh) 基于深度学习和随机图案的相位层析方法及装置
Zuo et al. Transport of intensity equation: a tutorial
Shaked et al. Off-axis digital holographic multiplexing for rapid wavefront acquisition and processing
Zhang et al. Fast phase retrieval in off-axis digital holographic microscopy through deep learning
CN107490562B (zh) 利用波面整形器的超高速三维折射率影像拍摄和荧光结构光照明显微镜系统及其使用方法
US10180564B2 (en) Methods and systems for transport-of-intensity imaging
JP2016507078A (ja) 被写界深度３ｄイメージングｓｌｍ顕微鏡
CN106885796B (zh) 一种超分辨率荧光数字全息断层显微成像系统与方法
Jiang et al. Resolution-enhanced parallel coded ptychography for high-throughput optical imaging
CN111121675B (zh) 一种用于微球表面显微干涉测量的视场扩展方法
CN111366557A (zh) 一种基于薄散射介质的相位成像方法
CN110455834B (zh) 基于光强传输方程的x射线单次曝光成像装置及方法
Sirico et al. Compensation of aberrations in holographic microscopes: main strategies and applications
Huang et al. Multiplane digital holography based on extrapolation iterations
Cao et al. Dynamic structured illumination microscopy with a neural space-time model
Hong et al. Rapid phase retrieval using SLM based on transport of intensity equation
Fan et al. Accurate dynamic quantitative phase imaging using multi-wavelength multiplexing
Yang et al. Remote focusing with dynamic aberration elimination by model-based adaptive optics
Picazo-Bueno et al. Multiplexed superresolution phase microscopy with transport of intensity equation
Sha et al. Lensless coherent diffraction imaging based on spatial light modulator with unknown modulation curve
Jiang et al. Optimization of single-beam multiple-intensity reconstruction technique: Select an appropriate diffraction distance
Hu et al. Extended depth of field reconstruction with complex field estimation
CN110221421A (zh) 基于机器学习的结构光照明超分辨显微成像系统和方法
Shevkunov et al. CNN-assisted quantitative phase microscopy for biological cell imaging.
Carney et al. Digital holographic microscopy (DHM) and transport of intensity (TIE) phase imaging of live cells

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant