CN110389119B - 基于机器学习的快速自适应光学扫描显微成像系统与方法 - Google Patents

基于机器学习的快速自适应光学扫描显微成像系统与方法 Download PDF

Info

Publication number
CN110389119B
CN110389119B CN201910653573.7A CN201910653573A CN110389119B CN 110389119 B CN110389119 B CN 110389119B CN 201910653573 A CN201910653573 A CN 201910653573A CN 110389119 B CN110389119 B CN 110389119B
Authority
CN
China
Prior art keywords
phase
aberration
machine learning
scanning
light intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910653573.7A
Other languages
English (en)
Other versions
CN110389119A (zh
Inventor
龚薇
斯科
胡乐佳
胡淑文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lingnao Technology Co ltd
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910653573.7A priority Critical patent/CN110389119B/zh
Publication of CN110389119A publication Critical patent/CN110389119A/zh
Application granted granted Critical
Publication of CN110389119B publication Critical patent/CN110389119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/44—Raman spectrometry; Scattering spectrometry ; Fluorescence spectrometry
    • G01J3/4406—Fluorescence spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G02B21/0048—Scanning details, e.g. scanning stages scanning mirrors, e.g. rotating or galvanomirrors, MEMS mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J2003/2866—Markers; Calibrating of scan

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明公开了一种基于机器学习的快速自适应光学扫描显微成像系统与方法。利用马赫—曾德干涉仪通过移相干涉法测量实验样品的畸变相位分布，处理得到像差先验信息，利用像差先验信息生成相位分布集合；将相位分布集合依次加载到空间光调制器后扫描无畸变的荧光样品，得到畸变光强分布图样，建立光强分布集合；将光强分布集合与相位分布集合输入机器学习模型中训练；扫描待测实验样品，获得新光强分布图样，输入训练后的机器学习模型获得预测像差信息，得到校正相位；将校正相位加载到空间光调制器上成像。本发明提升了光学像差测量的速度，提高了探测能力，实现了自适应光学扫描显微成像过程中的快速像差测量与校正，应用前景好。

Description

基于机器学习的快速自适应光学扫描显微成像系统与方法
技术领域
本发明属于光学扫描显微成像与光遗传学领域的一种成像系统与方法，特别涉及一种基于机器学习的快速自适应光学扫描显微成像系统与方法，可应用于厚散射介质内部深处高分辨光学扫描显微成像及光遗传学精准光刺激。
背景技术
在生物医学研究中，激光扫描显微成像技术可以获得生物组织的高分辨图像信息。但是，对生物组织内部深处进行成像时，由于生物组织的折射率分布不均匀性、光学元器件的生产精度误差以及介质间的折射率失配等原因，成像过程中常会产生光学像差。这些像差引起了波前畸变，严重影响了入射光在生物组织深处的聚焦效果。随着深度的增加，光学像差不断累积，图像的信噪比和分辨率降低，成像质量急剧下降，大大限制了激光扫描显微镜的有效成像深度。针对这一现象，目前研究者提出了各种方式克服成像过程中光学散射的影响，其中自适应光学技术效果良好，是目前较为普遍的一种像差校正的方式。
自适应光学技术早先应用于天文学成像中，用于修正天体观察中大气湍流所造成的影响。在光学显微成像领域中，基于自适应光学技术的像差测量与校正方法原理如下：利用直接(波前传感器)或间接测量方法获得各种因素引起的入射波面的波前畸变，然后通过波前校正器(如变形镜、空间光调制器等)对畸变进行补偿，恢复光学成像效果。代表性技术如基于夏克-哈特曼(Shack-Hartmann)波前传感器的自适应光学显微镜，其利用夏克-哈特曼波前传感器测量来自样品内部的荧光信号所形成的畸变光斑点阵，并参考无畸变的光斑点阵图样，对点阵进行分块，并计算出光斑质心的位置，确定质心的偏移量后将其输入波前重建算法中，从而获得待测样品的校正相位。之后将此相位分布加载到可变形镜或者空间光调制器上，在进行扫描成像，即可获得校正畸变后的成像结果。
但是上述的相位测量过程需要消耗一定的时间，无法兼顾时间成本与成像质量，不利于活体生物中进行实时成像检测，制约了其在生物医学领域中的实际应用。
现有技术中申请号为201811314921.X专利涉及了一种基于机器学习的高速高分辨扫描显微成像系统与方法，但是其对像差的探测能力有限。泽尼克多项式的项数表征了成像系统的探测能力，可认为泽尼克多项式的项数越大，成像系统的探测能力越高。申请号为201811314921.X专利中所述方法仅能够对前15项泽尼克多项式系数进行探测，而本发明中所述方法能够对前36项泽尼克多项式系数实现探测，对于系统中存在较大像差的情形，本发明中所述方法能够得到更为准确的像差探测结果，从而能够达到更佳的像差校正效果。
发明内容
为了解决背景技术中存在的问题，本发明提供了一种基于机器学习的快速自适应光学扫描显微成像系统与方法。本发明结合了机器学习理论与波前传感器测量波前畸变的思想进行快速的像差测量，重构入射波前，并结合扫描模块重建高分辨率图像，提高了探测能力。
为了实现上述目的，本发明采用的技术方案包括以下步骤：
一、一种基于机器学习的快速自适应光学扫描显微成像系统：
系统包括激光器、滤波模块、二向色镜、反射镜、空间光调制器、扫描模块、扫描透镜、套筒透镜、显微物镜、滤光片、分束器、中继透镜一、中继透镜二、波前传感器、成像透镜和探测模块；
成像光路传播为：激光器发射出激光光束经滤波模块之后入射到二向色镜上发生反射，反射光到反射镜上再次反射到空间光调制器上，经空间光调制器的调制反射光依次经过扫描模块、扫描透镜和套筒透镜后入射到显微物镜，透射过显微物镜后在实验样品内聚焦；荧光信号入射到显微物镜沿入射光路逆反传播回到二向色镜，经过二向色镜透射后，再经滤光片入射到平板分束器发生透射和反射，透射部分的荧光信号再依次经过中继透镜一和中继透镜二后被波前传感器接收；反射部分的荧光信号再依次经过成像透镜后被探测模块接收。
所述的波前传感器用于采集经扫描模块进行光束扫描后在实验样品中激发出的荧光信号，获得用于像差测量的畸变光强分布图样。
所述的探测模块用于采集经扫描模块进行光束扫描后激发出的荧光信号，获得扫描显微成像的结果。
所述的波前传感器为但不限于夏克-哈特曼(Shack-Hartmann)波前传感器、剪切干涉仪、波前曲率传感器、点衍射自基准波前传感器和金字塔型波前传感器等。
所述的探测模块为但不限于光电倍增管和基于CCD、EMCCD、COMS和sCMOS等芯片的相机。
所述实验样品为但不限于可受激发射荧光的活体生物组织、可受激发射荧光的离体生物组织及含有荧光小球的琼脂块等在成像中受到光学散射干扰的样品。
二、一种基于机器学习的快速自适应光学扫描显微成像方法，采用上述自适应光学扫描显微成像系统，方法具体包含以下步骤：
1)在马赫—曾德(Mach-Zehnder)干涉仪中，利用马赫—曾德(Mach-Zehnder)干涉仪通过移相干涉法测量一类实验样品的不同局部位置的畸变相位分布，获得此类实验样品的像差先验信息；)
2)根据像差先验信息生成大量各不相同的相位分布
Figure BDA0002136112830000031
再构建用于机器学习训练的相位分布集合
Figure BDA0002136112830000032
相位分布集合
Figure BDA0002136112830000033
由两部分组成，第一部分为随机相位分布集合，第二部分为特殊相位分布集合，其中i＝1,2,3,…,n；
每一相位分布中的每个相位值和空间光调制器中的灰度电压值一一对应。
3)在自适应光学扫描显微成像系统中，在显微物镜的成像焦平面处放置无散射干扰的荧光样品，即激光照射后不产生荧光的样品，如荧光染料，激光器发射出激光光束经未加载相位的空间光调制器的光路传播后由波前传感器采集获得无畸变光强分布图样，根据无畸变光强分布图样对进行自适应光学扫描显微成像系统的光路校准；
4)在显微物镜的成像焦平面处依然放置无散射干扰的荧光样品，将步骤2)获得的相位分布集合
Figure BDA0002136112830000034
中的每一相位分布分别依次加载到空间光调制器上，入射光经过成像光路传播后在波前传感器上采集获得训练畸变光强分布图样I，传播过程中经扫描模块控制扫描照射到荧光样品并激发出荧光信号，荧光信号受到空间光调制器上加载的相位分布所引入的像差干扰，
由不同相位分布对应获得的各个训练畸变光强分布图样I组建构成用于机器学习训练的光强分布集合{Ii}，光强分布集合{Ii}由两部分组成，第一部分为随机相位分布对应的光强分布集合，第二部分为特殊相位分布对应的光强分布集合,其中i＝1,2,3,…,n，i表示相位分布集合
Figure BDA0002136112830000035
中的相位分布的序数，n表示相位分布集合
Figure BDA0002136112830000036
中的相位分布的总数；
5)将步骤4)与步骤2)获得的各个训练畸变光强分布图样I与其各自对应的相位分布
Figure BDA0002136112830000037
作为机器学习训练的输入-输出数据对，训练畸变光强分布图样I作为输入，相位分布
Figure BDA0002136112830000038
作为输出，输入到机器学习模型中进行训练获得针对此类实验样品的像差测量的最优模型参数，完成机器学习模型的训练；
6)在显微物镜的成像焦平面处移除无散射干扰的荧光样品并放置像差未知待测的同类实验样品，入射光经过未加载相位分布的空间光调制器的成像光路传播后在波前传感器上采集获得待测畸变光强分布图样I’，具体可表示为Ij'，j≠i，传播过程中经扫描模块控制扫描照射到实验样品并激发出荧光信号，荧光信号受到空间光调制器上加载的相位分布所引入的像差干扰，
7)将步骤6)获得的畸变光强分布图样Ij输入到步骤5)获得的已训练的机器学习模型中，预测输出像差预测信息，即可快速获得实验样品的像差预测信息，通过计算转换得到所需用于校正像差的校正相位；
8)在显微物镜的成像焦平面处放置像差未知待测的同类实验样品不变，利用步骤7)中得到的校正相位加载到空间光调制器上，入射光经过加载相位分布的空间光调制器的成像光路传播后在探测模块上获得像差校正后的待测实验样品的成像结果，同时在波前传感器上形成像差校正后的待测畸变光强分布图样I’，以进行对照。
所述步骤1)中的畸变相位分布测量采用马赫—曾德干涉仪，通过移相干涉法解出所测实验样品的相位主值分布。此后使用路径跟踪方法将相位主值分布解包裹，获得用于表征实验样品所引入的像差的连续相位分布。
所述步骤1)中，像差先验信息具体获得为：将畸变相位分布通过相位表征函数进行分解，通过所用的相位表征函数对各项系数的范围进行标定，以标定获得的各项系数的范围作为用于后续机器学习训练所需的像差先验信息。
所述的相位表征函数包括但不限于泽尼克多项式的正交基底函数。
所述步骤2)中的相位分布集合
Figure BDA0002136112830000041
可以但不限于通过泽尼克多项式构成。
所述步骤2)中的相位分布集合
Figure BDA0002136112830000042
通过泽尼克多项式处理获得，以泽尼克多项式为例，具体依据步骤1)中所述的像差先验信息，每一项泽尼克多项式的系数在其预先标定的范围内进行随机取值，所得的系数组通过泽尼克多项式计算得到随机相位分布；
所述的随机相位分布集合构建的具体步骤为：
先对第一项泽尼克多项式系数a1在标定的范围内进行随机取值，在第一项泽尼克多项式系数a1每一取值下对第二项泽尼克多项式系数a2在对应标定的范围内随机取值，再在前两项泽尼克多项式系数a1，a2的每一组取值下对第三项泽尼克多项式系数a3在对应标定的范围内随机取值，以此方式完成对所有项泽尼克多项式系数ak的随机取值，以各项泽尼克多项式系数ak的不同取值组合作为一个系数组，从而获得一系列各不相同的相位分布，其中k＝1,2,3,…,36；
所述的特殊相位分布集合构建的具体步骤为：
对每一项泽尼克多项式系数ak在标定的范围内等间隔取10个不同的数值，同时其他项的泽尼克多项式系数保持为0，以此方式完成对所有项泽尼克多项式系数ak的遍历，以等间隔取一个数值下各项泽尼克多项式系数ak的取值组合作为一个系数组，从而获得一系列各不相同的相位分布，其中k＝1,2,3,…,36；
最后将两个部分获得的相位分布合并连接获得相位分布集合
Figure BDA0002136112830000043
具体实施中，如果第一部分与第二部分的相位分布集合中存在系数组重复，其不影响机器学习的训练过程。
然后采用以下公式计算生成入射光的相位分布:
Figure BDA0002136112830000051
Figure BDA0002136112830000052
其中，Ψ(r,θ)表示光束的相位分布，ak表示第k项泽尼克多项式系数，k，k’＝1,2,3,4,5,6,...n，Zk(r,θ)表示泽尼克多项式的第k项基函数，n代表泽尼克多项式的总项数，r表示空间光调制器中每一点的径向距离，θ表示空间光调制器中每一点的方位角，Zk'(r,θ)表示泽尼克多项式的第k’项基函数，δk,k'表示冲激函数。
所述步骤5)中，机器学习模型具体采用AlexNet，针对所测实验样品的像差测量的最优模型参数包括机器学习模型的卷积核尺寸、目标函数最小化的参数、训练的迭代次数以及训练的数据批次大小等。
所述的机器学习模型的训练在扫描显微成像前进行，所述的训练得到的机器学习模型在扫描显微成像过程中应用。
所述步骤7)中校正相位可以但不限于通过泽尼克多项式构成：以泽尼克多项式为例，将机器学习模型预测得到的像差信息代入泽尼克多项式中，计算所得相位取负，即为用于校正像差的校正相位。
所述的传播过程中经扫描模块控制后扫描荧光样品并激发出荧光信号，具体为：设置扫描模块进行实验样品的扫描时间与波前传感器的探测时间一致，入射光经扫描模块控制后扫描实验样品，在实验样品中被入射光照射到的部位激发出荧光信号，改变入射光照射到实验样品的不同局部位置，在不同局部位置激发出的荧光信号在波前传感器的探测时间内被一同接收并在波前传感器上形成光强分布图样，以此光强分布图样作为实品中被扫描区域的平均像差测量对象。
本发明针对深层生物组织中高速高分辨扫描显微成像的需求，通过实验测量获得足量的用于机器学习训练的样本库，样本库中包含一系列一一对应的波前传感器的畸变光斑图样和泽尼克多项式系数组合，通过神经网络对其进行降维分解，提取关键信息训练样本库，初步得到一个非线性映射关系。接着给定一定数量的散射后的波前传感器光斑图样作为测试样本，对泽尼克多项式每一项进行影响因子权重分析与误差允许范围分析，最后调整算法参数得到一个高精度的非线性映射关系作为最终的校正模型，此时输入任意实验样品造成的波前传感器畸变光斑图样，均能快速构建对应的校正相位，极大地提升了在一定深度的生物体内获得高质量图像的速度。
传统的基于波前传感器的直接波前探测方法中，以夏克-哈特曼波前传感器为例，需要先对获得的无畸变的理想波前传感器光强点阵图进行聚焦点的质心定位，然后对含有畸变波前信息的波前传感器光强点阵图以各个理想聚焦点为中心进行区域分割，并对比理想波前传感器光强点阵图计算质心偏移量，然后代入波前重建算法中，获得畸变波前的整体重建结果。本发明所提出的一种基于机器学习的快速自适应光学扫描显微成像系统与方法中将上述过程简化，可将整张波前传感器点阵图作为网络输入，免除区域分割以及质心定位的过程，直接计算出整体畸变波前，大大减少了波前探测与重建的时间。
本发明的有益效果是：
在基于波前探测器的直接波前探测方法的基础上，本发明提出的方法首次结合了波前探测器与机器学习两种工具，在利用神经网络的情况下，获得了波前畸变测量快且精确度高的结果。通过本发明方法能够高速而准确地测量波前像差，解决了传统自适应光学算法速度与精度的矛盾。
与基于机器学习的扫描显微成像技术相比，本方法采用波前传感器进行畸变波前探测，可获得更高阶的泽尼克多项式系数，即波前畸变探测的范围更大，更利于获得高分辨率的成像结果。此外，本方法利用振镜扫描实验样品，将一定范围内荧光信号一并送入波前传感器中，能够平均样品不同位置的波前畸变，从而获得更适用于扫描范围的平均校正相位。相比于逐点扫描与逐点测量校正的方式，本方法具有更高的波前探测速度。
本发明的实施将为生物光学显微成像提供一种全新的光学像差测量算法，在较低的设备成本下，极大地提高了在生物组织成像中的光学像差测量速度，提高了探测能力，为实时成像观测提供了新的技术支撑，在生物医学研究领域中具有重要的应用价值。
附图说明
图1为本发明系统的结构示意图；
图2为本发明方法流程图；
图3为实施例中在扫描情形下，在波前传感器处，利用本发明所述方法对第一个区域进行像差测量并进行像差校正的结果。其中(a)为校正前波前传感器上的光强分布图样；(b)为校正后波前传感器上的光强分布图样；(c)为理想光强分布图样。
图4为实施例中在扫描情形下，对于同一实验样品10，利用申请号为201811314921.X专利中的方法与本发明所述方法分别进行像差测量，计算后所得的四个区域对应的校正相位；其中(a)为利用申请号为201811314921.X专利中的方法分区域进行像差测量后计算获得的校正相位；(b)为利用本发明所述方法进行分区域进行像差测量后计算获得的校正相位。
图5为实施例中用自适应光学扫描显微成像方法得到的成像结果，并对申请号为201811314921.X专利中的方法与本发明所述方法进行对比。其中(a)为校正前的成像结果；(b)为利用申请号为201811314921.X专利中所述方法进行分区域像差测量并校正后的扫描显微成像结果；(c)为利用本发明所述方法进行分区域像差测量并校正后的扫描显微成像结果；(d)为(a)、(b)与(c)中线段标识部分的剖面光强比较图，点线代表校正前，虚线代表利用申请号为201811314921.X专利中的方法，实线代表利用本发明所述方法。
具体实施方式
以下基于机器学习的快速自适应光学扫描显微成像实施例可以更详细的说明本发明，但不以任何形式限制本发明。
下面结合附图和实施例对本发明作进一步说明，其具体过程如下：
如图1所示，本发明具体实施的系统包括激光器1、滤波模块2、二向色镜3、反射镜4、空间光调制器5、扫描模块6、扫描透镜7、套筒透镜8、显微物镜9、滤光片11、分束器12、中继透镜一13、中继透镜二14、波前传感器15、成像透镜16和探测模块17。成像光路传播为：激光器1发射出激光光束经滤波模块2之后入射到二向色镜3上发生反射，反射光到反射镜4上再次反射到空间光调制器5上，经空间光调制器5调制相位后的调制反射光依次经过扫描模块6、扫描透镜7和套筒透镜8后入射到显微物镜9，透射过显微物镜9后在实验样品10内聚焦；荧光信号入射到显微物镜9沿入射光路逆反传播回到二向色镜3，即依次经过显微物镜9、套筒透镜8、扫描透镜7、扫描模块6、空间光调制器5和反射镜4后回到二向色镜3，经过二向色镜3透射后，再经滤光片11入射到平板分束器12发生透射和反射，透射部分的荧光信号再依次经过中继透镜一13和中继透镜二14后被波前传感器15接收，获得畸变光强分布图样；反射部分的荧光信号再依次经过成像透镜16后被探测模块17接收，获得畸变的成像结果。成像光路传播过程中，入射光经扫描模块6扫描控制后在实验样品10中激发荧光信号。
利用本发明方法将待测光路情况下的畸变光强分布图样输入已训练的机器学习模型中，预测输出像差信息并计算获得校正相位，将校正相位加载到空间光调制器5上，入射的激光光束受到空间光调制器5调制，经扫描模块6扫描后，在实验样品10中激发出更强的荧光信号，被显微物镜9接收的荧光信号按入射光路逆反方向传播，荧光信号被空间光调制器5调制，校正了实验样品10所引入的像差，最终由探测模块17记录成像结果作为像差校正后的荧光成像结果。
整个方法的流程如图2所示，本发明实施例过程具体如下：
1)利用马赫—曾德(Mach-Zehnder)干涉仪，通过移相干涉法测量某类实验样品10的不同位置的畸变相位分布，获得针对此类实验样品10的像差先验信息。
2)根据所得的像差先验信息，生成大量各不相同的相位分布
Figure BDA0002136112830000081
以构建用于机器学习训练的相位分布集合
Figure BDA0002136112830000082
由两部分组成，第一部分为随机相位分布集合，第二部分为特殊相位分布集合，其中i＝1,2,3,…,n。
举例说明具体实施过程中用于生成相位分布集合
Figure BDA0002136112830000083
的像差先验信息，第一部分为(单位：弧度)：第1项泽尼克多项式系数对像差的相位分布无影响，因此为0；第2-3项泽尼克多项式系数范围为(-π,π)，第4-6项泽尼克多项式系数范围为(-1.2π,1.2π)，第7-10项泽尼克多项式系数范围为(-2π,2π)，第11-15项泽尼克多项式系数范围为(-2.3π,2.3π)，第16-21项泽尼克多项式系数范围为(-1.5π,1.5π)，第22-24项泽尼克多项式系数范围为(-0.8π,0.8π)，第25-28项泽尼克多项式系数范围为(-π,π)，第29-36项泽尼克多项式系数范围为(-0.5π,0.5π)。在上述系数范围内，随机取值得到16024组系数组合。第二部分为特殊系数组合，对每一项系数ak等间隔取10个点，同时其他系数均置0，遍历每项系数进行相同的操作，得到360组特殊系数组合。以上共获得16384组泽尼克多项式系数组合，用于生成相位分布集合
Figure BDA0002136112830000084
3)在系统的成像焦平面处放置无散射干扰的荧光样品，入射光经扫描模块6控制后扫描荧光样品，受激发射的荧光信号经过未加载相位的空间光调制器5并经成像光路传播后由波前传感器15记录无畸变的理想光强分布图样，以此进行系统光路校准。在本实施例中，波前传感器为夏克-哈特曼波前传感器。
4)针对步骤2)获得的每一相位分布，将相位分布加载到空间光调制器5上，入射光经过成像光路后，经扫描模块6控制后扫描荧光样品并激发出荧光信号，荧光信号受空间光调制器5上加载的相位分布所引入的像差干扰，在波前传感器15上形成畸变的光强图样分布，记录其光强分布I，以构建用于机器学习训练的光强分布集合{Ii}，{Ii}由两部分组成，第一部分为随机相位分布对应的光强分布集合，第二部分为特殊相位分布对应的光强分布集合,其中i＝1,2,3,…,n。
5)将步骤4)与步骤2)获得的各个畸变光强分布图样I与其各自对应的相位分布
Figure BDA0002136112830000091
作为机器学习训练的输入-输出数据对，机器学习模型具体采用AlexNet，训练后获得针对此类实验样品10的像差测量的最优模型参数。
举例说明具体实施过程中机器学习训练的过程，对获得的各个畸变光强分布I与对应各项泽尼克多项式系数ak先依次进行降维降噪分析、权重分析的处理后提取关键特征，然后利用神经网络建立泽尼克多项式系数和光强分布二者之间的非线性映射关系y＝f(x1,x2,...,xn)，其中xk表示泽尼克多项式系数的数值，y表示畸变光强分布。
6)移除无散射干扰的荧光样品并放置像差未知的同类实验样品10，将需要进行快速自适应光学扫描显微成像的样品区域划分为若干区域，针对每个区域进行单独的像差测量，例如，将所需成像的实验样品10以视场中心为原点划分为4个区域，入射光经过未加载相位分布的空间光调制器5并经成像光路传播，入射至显微物镜9，经扫描模块6控制后，扫描实验样品10中的第一个区域，激发的荧光信号由显微物镜9接收，按原入射光路返回。荧光信号透射经过二向色镜3、滤光片11与平板分束器12，并由波前传感器15记录畸变光强分布图样Ij，j≠i。
7)将步骤6)获得的畸变光强分布图样Ij输入到步骤5)获得的已训练的机器学习模型中，可快速获得实验样品10第一个区域的像差预测信息，通过计算可得到所需用于校正第一个区域的像差的校正相位。
8)利用步骤7)中得到的校正相位加载到空间光调制器5上，入射光经过空间光调制器5调制后经成像光路传播聚焦于实验样品10中，经扫描模块6控制后入射光扫描实验样品10的第一个区域并激发出荧光信号，激发的荧光信号按原光路返回，反射经过空间光调制器5，透射经过二向色镜3与滤光片11，部分荧光信号经平板分束器12反射后被成像透镜16收集并在探测模块17上获得像差校正后的第一个区域成像结果，另一部分荧光信号透射经过平板分束器12后，在波前传感器15上形成像差校正后的光强分布图样。
9)重复步骤6)至步骤8)，完成四个区域的像差测量与校正，将校正后的成像结果按照划分的区域进行重构，即可获得自适应光学扫描显微成像结果。
本发明具体实施中，泽尼克多项式系数ak的项数能达到36，远高于所对比的现有技术中的项数15的情况。泽尼克多项式系数ak的项数表征了成像系统的探测能力，泽尼克多项式系数ak的项数越大，成像系统的探测能力越高。由此也说明了本发明的提高了成像探测能力。
对于现有技术的申请号为201811314921.X的专利，在采用泽尼克多项式系数ak的项数为36的情况下，实施结果具体如下：
图3为本发明的实施例中对第一个实验样品10进行区域扫描时，在波前传感器处得到的光强分布图样。加入无散射干扰的荧光样品时，获得无像差的理想波前传感器光强分布图样(图3(c))。在加载实验样品10后，获得由实验样品10引入的畸变光强分布图样I(图3(a))，此图样经归一化、大小调整等预处理后作为模型的输入，输出预测的泽尼克多项式系数。利用泽尼克多项式系数组合得到用于校正所测量的像差的校正相位，将得到的校正相位值与空间光调制器6所需的灰度值对应，加载于空间光调制器6上，得到像差校正后波前传感器处的光强分布图样(图3(b))，与理想波前传感器光强分布图样基本一致。
图4为在进行自适应光学扫描显微成像时，利用申请号为201811314921.X专利中的方法与本发明所述方法进行分区域像差测量后，计算所得的实验样品10的四个区域对应的校正相位(单位：弧度)。图4(a)为利用申请号为201811314921.X专利中的方法分区域进行像差测量后获得的校正相位；(b)为利用本发明所述方法进行分区域进行像差测量后获得的校正相位。
图5为进行自适应光学扫描显微成像前后的成像结果。利用申请号为201811314921.X专利中的方法与本发明所述方法分别对实验样品10进行分区域像差测量，并针对每个区域进行像差校正与扫描成像，将各个区域重构后获得实验样品10的整体成像结果(图5(b)、(c))。当不进行像差测量及校正时，成像结果因实验样品10所引入的像差的干扰，而损失了大量的图像信息，且荧光光强较弱(图5(a))。图5(d)为针对图5(a)、图5(b)与图5(c)中划线位置的光强值进行剖线对比。由图可知，像差校正前剖线峰值光强为1.272×10^5(约化单位)，利用申请号为201811314921.X专利中的方法进行像差测量与校正后剖线峰值光强为3.669×10^5，而利用本发明所述方法进行像差测量与校正后剖线峰值光强为4.922×10^5。利用本发明所述方法进行像差测量与校正后剖线处峰值光强相比校正前提升约4倍，相比申请号为201811314921.X专利中的方法进行像差测量与校正后的结果提升约1.34倍，图像的结构信息更加明显。
本发明应用机器学习方法建立起波前传感器畸变光强图样I与各项泽尼克多项式系数ak之间的非线性映射关系，可以在1.227ms内完成单个像差的测量过程。
基于夏克—哈特曼传感器的传统波前探测方式，如模式法波前探测，波前探测以及重建的时间受限于对传感器图样的图像分割及质心定位过程。在模式法波前探测中，需要首先对无像差情形下的标准传感器图样进行标定，再计算引入畸变情形下各子区质心的偏移量，从而计算出畸变相位的前N项泽尼克多项式系数。实际实验中，在计算机上传统波前探测方法的系数预测时间约为0.27s。
以2×2分区为例，传统波前探测方法的总畸变探测所需时间约为：
T1＝0.27×4＝1.08s
在相同的分区情形下，本发明所提出的方法总畸变探测所需时间约为：
T2＝1.227×4＝4.908ms
在本实施例中，对同一波前畸变，用前36项泽尼克多项式系数进行预测。传统模式法系数预测用时1.08s，本发明所提出的方法耗时为4.908ms，探测速度为传统法的220倍。
由此实施可见，利用本发明进行自适应光学扫描显微成像后，成像结果的光强与结构信息均获得了显著地提升，这也证明了本发明在扫描显微成像中进行像差测量并进行校正的可行性。实施例证明，本发明的快速像差测量方法在生物医学研究中的实时成像领域有一定的应用前景。

Claims (5)

1.一种基于机器学习的快速自适应光学扫描显微成像方法，其特征在于采用自适应光学扫描显微成像系统，自适应光学扫描显微成像系统包括激光器(1)、滤波模块(2)、二向色镜(3)、反射镜(4)、空间光调制器(5)、扫描模块(6)、扫描透镜(7)、套筒透镜(8)、显微物镜(9)、滤光片(11)、分束器(12)、中继透镜一(13)、中继透镜二(14)、波前传感器(15)、成像透镜(16)和探测模块(17)；成像光路传播为：激光器(1)发射出激光光束经滤波模块(2)之后入射到二向色镜(3)上发生反射，反射光到反射镜(4)上再次反射到空间光调制器(5)上，经空间光调制器(5)的调制反射光依次经过扫描模块(6)、扫描透镜(7)和套筒透镜(8)后入射到显微物镜(9)，透射过显微物镜(9)后在实验样品(10)内聚焦；荧光信号入射到显微物镜(9)沿入射光路逆反传播回到二向色镜(3)，经过二向色镜(3)透射后，再经滤光片(11)入射到平板分束器(12)发生透射和反射，透射部分的荧光信号再依次经过中继透镜一(13)和中继透镜二(14)后被波前传感器(15)接收；反射部分的荧光信号再依次经过成像透镜(16)后被探测模块(17)接收；
方法具体包含以下步骤：
1)在马赫—曾德(Mach-Zehnder)干涉仪中，利用马赫—曾德(Mach-Zehnder)干涉仪通过移相干涉法测量一类实验样品的不同局部位置的畸变相位分布，获得此类实验样品的像差先验信息；
2)根据像差先验信息生成各不相同的相位分布
Figure FDA0002469189950000011
再构建用于机器学习训练的相位分布集合
Figure FDA0002469189950000012
相位分布集合
Figure FDA0002469189950000013
由两部分组成，第一部分为随机相位分布集合，第二部分为特殊相位分布集合，其中i＝1,2,3,…,n；
3)在自适应光学扫描显微成像系统中，在显微物镜(9)的成像焦平面处放置无散射干扰的荧光样品，激光器(1)发射出激光光束经未加载相位的空间光调制器(5)的光路传播后由波前传感器采集获得无畸变光强分布图样，根据无畸变光强分布图样对进行自适应光学扫描显微成像系统的光路校准；
4)在显微物镜(9)的成像焦平面处依然放置无散射干扰的荧光样品，将步骤2)获得的相位分布集合
Figure FDA0002469189950000014
中的每一相位分布分别依次加载到空间光调制器(5)上，入射光经过成像光路传播后在波前传感器(15)上采集获得训练畸变光强分布图样I，传播过程中经扫描模块(6)控制扫描照射到荧光样品并激发出荧光信号，荧光信号受到空间光调制器(5)上加载的相位分布所引入的像差干扰；
由不同相位分布对应获得的各个训练畸变光强分布图样I组建构成用于机器学习训练的光强分布集合{Ii}，光强分布集合{Ii}由两部分组成，第一部分为随机相位分布对应的光强分布集合，第二部分为特殊相位分布对应的光强分布集合,其中i＝1,2,3,…,n，i表示相位分布集合
Figure FDA0002469189950000021
中的相位分布的序数，n表示相位分布集合
Figure FDA0002469189950000022
中的相位分布的总数；
5)将步骤4)与步骤2)获得的各个训练畸变光强分布图样I与其各自对应的相位分布
Figure FDA0002469189950000023
作为机器学习训练的输入-输出数据对，输入到机器学习模型中进行训练获得针对此类实验样品的像差测量的最优模型参数，完成机器学习模型的训练；
6)在显微物镜(9)的成像焦平面处移除无散射干扰的荧光样品并放置像差未知待测的同类实验样品(10)，入射光经过未加载相位分布的空间光调制器(5)的成像光路传播后在波前传感器(15)上采集获得待测畸变光强分布图样I’，传播过程中经扫描模块(6)控制扫描照射到实验样品(10)并激发出荧光信号，
7)将步骤6)获得的畸变光强分布图样Ij输入到步骤5)获得的已训练的机器学习模型中，预测输出像差预测信息，通过计算转换得到所需用于校正像差的校正相位；
8)在显微物镜(9)的成像焦平面处放置像差未知待测的同类实验样品(10)不变，利用步骤7)中得到的校正相位加载到空间光调制器(5)上，入射光经过加载相位分布的空间光调制器(5)的成像光路传播后在探测模块(17)上获得像差校正后的待测实验样品的成像结果。
2.根据权利要求1所述的一种基于机器学习的快速自适应光学扫描显微成像方法，其特征在于：所述步骤1)中，像差先验信息具体获得为：将畸变相位分布通过相位表征函数进行分解，通过所用的相位表征函数对各项系数的范围进行标定，以标定获得的各项系数的范围作为像差先验信息。
3.根据权利要求1所述的一种基于机器学习的快速自适应光学扫描显微成像方法，其特征在于：所述步骤2)中的相位分布集合
Figure FDA0002469189950000024
通过泽尼克多项式处理获得，具体依据步骤1)中所述的像差先验信息，每一项泽尼克多项式的系数在其预先标定的范围内进行随机取值，所得的系数组通过泽尼克多项式计算得到随机相位分布；
所述的随机相位分布集合构建的具体步骤为：先对第一项泽尼克多项式系数a1在标定的范围内进行随机取值，在第一项泽尼克多项式系数a1每一取值下对第二项泽尼克多项式系数a2在对应标定的范围内随机取值，再在前两项泽尼克多项式系数a1，a2的每一组取值下对第三项泽尼克多项式系数a3在对应标定的范围内随机取值，以此方式完成对所有项泽尼克多项式系数ak的随机取值，以各项泽尼克多项式系数ak的不同取值组合作为一个系数组，从而获得一系列各不相同的相位分布，其中k＝1,2,3,…,36；
所述的特殊相位分布集合构建的具体步骤为：对每一项泽尼克多项式系数ak在标定的范围内等间隔取10个不同的数值，同时其他项的泽尼克多项式系数保持为0，以此方式完成对所有项泽尼克多项式系数ak的遍历，以等间隔取一个数值下各项泽尼克多项式系数ak的取值组合作为一个系数组，从而获得一系列各不相同的相位分布，其中k＝1,2,3,…,36；
最后将两个部分获得的相位分布合并连接获得相位分布集合
Figure FDA0002469189950000031
4.根据权利要求1所述的一种基于机器学习的快速自适应光学扫描显微成像方法，其特征在于：所述步骤5)中，机器学习模型具体采用AlexNet，针对所测实验样品的像差测量的最优模型参数包括机器学习模型的卷积核尺寸、目标函数最小化的参数、训练的迭代次数以及训练的数据批次大小。
5.根据权利要求1所述的一种基于机器学习的快速自适应光学扫描显微成像方法，其特征在于：所述的传播过程中经扫描模块(6)控制后扫描荧光样品并激发出荧光信号，具体为：设置扫描模块(6)进行实验样品(10)的扫描时间与波前传感器的探测时间一致，入射光经扫描模块(6)控制后扫描实验样品(10)，在实验样品(10)中被入射光照射到的部位激发出荧光信号，改变入射光照射到实验样品(10)的不同局部位置，在不同局部位置激发出的荧光信号在波前传感器(15)的探测时间内被一同接收并在波前传感器(15)上形成光强分布图样。
CN201910653573.7A 2019-07-19 2019-07-19 基于机器学习的快速自适应光学扫描显微成像系统与方法 Active CN110389119B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910653573.7A CN110389119B (zh) 2019-07-19 2019-07-19 基于机器学习的快速自适应光学扫描显微成像系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910653573.7A CN110389119B (zh) 2019-07-19 2019-07-19 基于机器学习的快速自适应光学扫描显微成像系统与方法

Publications (2)

Publication Number Publication Date
CN110389119A CN110389119A (zh) 2019-10-29
CN110389119B true CN110389119B (zh) 2020-07-17

Family

ID=68286796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910653573.7A Active CN110389119B (zh) 2019-07-19 2019-07-19 基于机器学习的快速自适应光学扫描显微成像系统与方法

Country Status (1)

Country Link
CN (1) CN110389119B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648298A (zh) * 2019-11-01 2020-01-03 中国工程物理研究院流体物理研究所 一种基于深度学习的光学像差畸变校正方法及系统
CN111077085B (zh) * 2019-12-31 2022-09-27 哈工大机器人(中山)无人装备与人工智能研究院 基于深度学习的无波前探测器自适应点扫描成像方法
CN111561877B (zh) * 2020-04-24 2021-08-13 西安交通大学 一种基于点衍射干涉仪的可变分辨率相位解包裹方法
CN111626997B (zh) * 2020-05-21 2022-04-19 浙江大学 基于深度学习的高速单图直接探测光学畸变相位的方法
CN111580271B (zh) * 2020-06-24 2022-02-18 哈工大机器人(中山)无人装备与人工智能研究院 自适应像差校正方法及基于该方法的光片显微成像装置
CN114488518B (zh) * 2020-10-23 2024-01-05 中国人民解放军国防科技大学 基于机器学习的自适应光学波前校正方法
CN112327327B (zh) * 2020-11-05 2022-08-05 哈尔滨工业大学 一种基于遗传算法的激光雷达成像质量探测方法及系统
DE102021104871A1 (de) * 2021-03-01 2022-09-01 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zur lichtblattmikroskopischen Untersuchung einer Probe
CN113225130B (zh) * 2021-03-25 2022-09-09 中国人民解放军国防科技大学 一种基于机器学习的大气湍流等效相位屏预测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6040103B2 (ja) * 2013-06-06 2016-12-07 浜松ホトニクス株式会社 補償光学システムの対応関係特定方法、補償光学システム、および補償光学システム用プログラム
US9500846B2 (en) * 2014-03-17 2016-11-22 Howard Hughes Medical Institute Rapid adaptive optical microscopy over large multicellular volumes
CN105258800B (zh) * 2015-11-02 2017-05-10 杭州中车车辆有限公司 便携式三通道近深紫外拉曼光谱仪

Also Published As

Publication number Publication date
CN110389119A (zh) 2019-10-29

Similar Documents

Publication Publication Date Title
CN110389119B (zh) 基于机器学习的快速自适应光学扫描显微成像系统与方法
CN110346340B (zh) 基于波前传感器的机器学习快速像差测量系统与方法
CN109528161B (zh) 一种基于机器学习的高速高分辨扫描显微成像系统与方法
CN107655405B (zh) 利用自聚焦迭代算法消除物体与ccd间轴向距离误差的方法
CN111626997B (zh) 基于深度学习的高速单图直接探测光学畸变相位的方法
JP2009264752A (ja) 三次元画像取得装置
AU2018352821B2 (en) Image reconstruction method, device and microscopic imaging device
US20220381695A1 (en) Focus scan type imaging device for imaging target object in sample that induces aberration
CN111474150B (zh) 一种sted超分辨图像背景噪声差分抑制方法
CN111008945A (zh) 基于机器学习的多像质参数自适应像差矫正方法及装置
US5978083A (en) Imaging and characterisation of the focal field of a lens by spatial autocorrelation
US20230098493A1 (en) Method and illumination apparatus of the adaptive optics in reflection microscopy
CN112666129B (zh) 一种考虑折射率差异的三波长相干衍射成像方法
CN210924139U (zh) 一种基于空间光调制器的图像边缘增强装置
CN111077085B (zh) 基于深度学习的无波前探测器自适应点扫描成像方法
CN110824684B (zh) 一种高速立体三维多模态成像系统和方法
CN110160663B (zh) 一种高分辨率的近场波前测量装置和测量方法
Ralston et al. Phase stability technique for inverse scattering in optical coherence tomography
CN115131201A (zh) 基于叠层重建的远场漫反射合成孔径超分辨成像方法
CN110619680A (zh) 一种基于图变分的三维断层相位显微镜重建方法
CN115047619A (zh) 一种相位型空间光调制器的快速原位校准方法及系统
CN115656129A (zh) 一种荧光发射比率超分辨成像方法
CN113219643A (zh) 一种基于非相干成像边缘模糊的光学显微镜对焦稳定方法及系统
WO2021155378A1 (en) Systems and methods for performing multiple-wavelength quantitative phase imaging (qpi)
CN114460049B (zh) 一种时分多脉冲间接像差测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230803

Address after: Room 202, 2nd Floor, Building 1, Chunshu Yunzhu, No. 36 Jiyuan Road, Xihu District, Hangzhou City, Zhejiang Province, 310000

Patentee after: Hangzhou Lingnao Technology Co.,Ltd.

Address before: 310058 Yuhang Tang Road, Xihu District, Hangzhou, Zhejiang 866

Patentee before: ZHEJIANG University