CN110309910B - 基于机器学习的最优化自适应显微成像方法及装置 - Google Patents
基于机器学习的最优化自适应显微成像方法及装置 Download PDFInfo
- Publication number
- CN110309910B CN110309910B CN201910594775.9A CN201910594775A CN110309910B CN 110309910 B CN110309910 B CN 110309910B CN 201910594775 A CN201910594775 A CN 201910594775A CN 110309910 B CN110309910 B CN 110309910B
- Authority
- CN
- China
- Prior art keywords
- wavefront
- distortion
- compensation
- adaptive
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 71
- 238000010801 machine learning Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000005457 optimization Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 21
- 238000012937 correction Methods 0.000 claims abstract description 9
- 238000004088 simulation Methods 0.000 claims abstract description 7
- 230000003044 adaptive effect Effects 0.000 claims description 42
- 238000010587 phase diagram Methods 0.000 claims description 18
- 238000000386 microscopy Methods 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 description 20
- 230000004075 alteration Effects 0.000 description 10
- 239000000523 sample Substances 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 238000000614 phase inversion technique Methods 0.000 description 1
- 230000008832 photodamage Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004621 scanning probe microscopy Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明公开了一种基于机器学习的最优化自适应显微成像方法及装置，其中，方法包括以下步骤：利用超短脉冲激光通过点扫描方法采集图像数据；构建卷积神经网络，以通过输入图像数据至物理模型得到的仿真结果训练网络；将训练得到的训练网络应用于自适应方法，优化成像结果，并消除图像畸变，并用模型拟合的方法求出系统和样本畸变校正的最优相位补偿。该方法可以获得高优化性能、高图像质量和高成像速度的成像结果，并具有高速、图像质量高、可拓展性好等优点，且基于机器学习实现高速波前畸变补偿，在生物科学的快速深层组织成像中具有很大的应用前景。
Description
技术领域
本发明涉及显微成像技术领域，特别涉及一种基于机器学习的最优化自适应显微成像方法及装置。
背景技术
AO(Adaptive Optical，自适应光学)最初是应用于天文望远镜的一种方法，由于能够校正光学系统和生物样本引入的像差，它已被应用于光学显微镜。它的工作原理是，通过动态测量光在非均匀样本中累计的畸变，并利用有源光学元件对畸变进行校正，从而恢复散射组织深处衍射受限的成像性能。为了恢复理想的成像性能，AO方法测量图像形成过程中存在的波前畸变，相应地对波前进行修正，以补偿光学系统或样本的固有畸变。AO方法有许多种，在显微镜下由于测量像差的方式的不同，可以分为直接波前测量方法和间接波前测量方法。在直接波前测量中，像差是从接收到的波前直接测量的；而间接波前测量方法实现最佳校正波前的方法有多种，例如相位反演方法和提升图像度量的优化方法等。本专利采用间接波前测量方法。
AO中通常采用波前调制器补偿畸变。在光学显微镜中，最常见的波前调制器设备是可变形镜和液晶空间光调制器。这些设备操作简单，一经校准，性能鲁棒。但现有AO方法存在两个问题：1.当像差畸变大于调制器所能变化的范围，尤其在非线性光学成像的长波长激光下，最优化的AO补偿畸变相位往往很难实现；2.补偿算法复杂，成像速度慢。
因此，目前需要本领域技术人员迫切解决的一个技术问题就是：如何能够创新地提出一种有效算法，以解决现有技术中存在的不足。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于机器学习的最优化自适应显微成像方法，该方法可以获得高优化性能、高图像质量和高成像速度的成像结果，并具有高速、图像质量高、可拓展性好等优点，且基于机器学习实现高速波前畸变补偿，在生物科学的快速深层组织成像中具有很大的应用前景。
本发明的另一个目的在于提出一种基于机器学习的最优化自适应显微成像装置。
为达到上述目的，本发明一方面实施例提出了一种基于机器学习的最优化自适应显微成像方法，包括以下步骤：利用超短脉冲激光通过点扫描方法采集图像数据；构建卷积神经网络，以通过输入所述图像数据至物理模型得到的仿真结果训练网络；将训练得到的所述训练网络应用于自适应方法，优化成像结果，并消除图像畸变，并用模型拟合的方法求出系统和样本畸变校正的最优相位补偿。
本发明实施例的基于机器学习的最优化自适应显微成像方法，能够给出最优的相位补偿结果，即使光学畸变超出波前调制器可调节的范围，也可以有效解决调制器件工作范围不足的问题，能够校正畸变使成像质量得到最有效的恢复，并估计校正后的相位应用于波前调制器上以采集自适应光学优化图像，从而可以获得高优化性能、高图像质量和高成像速度的成像结果，并具有高速、图像质量高、可拓展性好等优点，且基于机器学习实现高速波前畸变补偿，在生物科学的快速深层组织成像中具有很大的应用前景。
另外，根据本发明上述实施例的基于机器学习的最优化自适应显微成像方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述将训练得到的所述训练网络应用于自适应方法，包括：通过所述卷积神经网络进行参数估计，得到畸变的相位图对应的各项正交基系数。
进一步地，在本发明的一个实施例中，所述将训练得到的所述训练网络应用于自适应方法，还包括：将所述补偿畸变相位图输入到波前控制器，以判断所述波前控制器的制动器是否超出控制范围，其中，若没有超出所述控制范围，则所述补偿畸变相位图直接用于所述波前控制器进行畸变补偿。
进一步地，在本发明的一个实施例中，所述将训练得到的所述训练网络应用于自适应方法，还包括：若超出所述控制器范围，则以预设优化策略进行进一步优化。
进一步地，在本发明的一个实施例中，引入模态正交基的参数与所述波前调制器的每一个制动器控制信号之间存在克罗内克积为0的约束，并且所述波前调制器得到的补偿波前与真实补偿波前之间的误差最小。
为达到上述目的，本发明另一方面实施例提出了一种基于机器学习的最优化自适应显微成像装置，包括：采集模块，用于利用超短脉冲激光通过点扫描方法采集图像数据；构建模块，用于构建卷积神经网络，以通过输入所述图像数据至物理模型得到的仿真结果训练网络；优化模块，用于将训练得到的所述训练网络应用于自适应方法，优化成像结果，并消除图像畸变，并用模型拟合的方法求出系统和样本畸变校正的最优相位补偿。
本发明实施例的基于机器学习的最优化自适应显微成像装置，能够给出最优的相位补偿结果，即使光学畸变超出波前调制器可调节的范围，也可以有效解决调制器件工作范围不足的问题，能够校正畸变使成像质量得到最有效的恢复，并估计校正后的相位应用于波前调制器上以采集自适应光学优化图像，从而可以获得高优化性能、高图像质量和高成像速度的成像结果，并具有高速、图像质量高、可拓展性好等优点，且基于机器学习实现高速波前畸变补偿，在生物科学的快速深层组织成像中具有很大的应用前景。
另外，根据本发明上述实施例的基于机器学习的最优化自适应显微成像装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述优化模块进一步用于通过所述卷积神经网络进行参数估计，得到畸变的相位图对应的各项正交基系数。
进一步地，在本发明的一个实施例中，所述优化模块进一步用于将所述补偿畸变相位图输入到波前控制器，以判断所述波前控制器的制动器是否超出控制范围，其中，若没有超出所述控制范围，则所述补偿畸变相位图直接用于所述波前控制器进行畸变补偿。
进一步地，在本发明的一个实施例中，所述优化模块进一步用于若超出所述控制器范围，则以预设优化策略进行进一步优化。
进一步地，在本发明的一个实施例中，引入模态正交基的参数与所述波前调制器的每一个制动器控制信号之间存在克罗内克积为0的约束，并且所述波前调制器得到的补偿波前与真实补偿波前之间的误差最小。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的基于机器学习的最优化自适应显微成像方法的流程图；
图2为根据本发明一个实施例的机器学习卷积神经网络结构图；
图3为根据本发明一个实施例的基于机器学习的最优化自适应光学方法流程图；
图4为根据本发明一个实施例的快速自适应优化点扫描显微成像装置示意图；
图5为根据本发明实施例的基于机器学习的最优化自适应显微成像装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在介绍基于机器学习的最优化自适应显微成像方法及装置之前，先简单介绍一下本发明需要实现的功能。
本发明所要解决的问题是：使用点扫描光学显微镜，结合机器学习的自适应光学方法，在畸变超出波前调制器范围时，也能获得快速、高优化性能和高质量的成像能力。
点扫描显微镜具有简单易搭建的特性，且具有高的轴向分辨率。成像仪器将激发光源聚焦到点上，振镜偏转使扫描点移动，扫描用于图像产生的焦面视场上的面。引入有源光学器件作为波前补偿调制器，一般使用可变形镜或液晶空间光调制器。这类调制器具有一定的波前调制范围，当波前畸变过大，最大-最小值像差超过一个或多个波长时，补偿畸变的调制器可能会有部分区域失效，形成一个不完整的波前像差补偿。尤其是，在非线性光学中使用的长波长激光，波长可达1200nm或以上，在这种情况下实现最优的波前畸变补偿得到最优的图像质量，是十分重要的。
本发明提供的一个解决方案是，利用基于模态的自适应光学方法性质可知，调制器形成的补偿波前Wm正交于模态中每一个正交基，因此可以得到数学物理模型中的一个约束条件，模态正交基的参数与波前调制器的每一个制动器控制信号之间存在一个克罗内克积为0的约束(即使部分制动器控制信号超过调制范围)，每一个调制器的控制信号都需要满足位于调制范围内，同时使该约束趋近于0。此外，调制器得到的补偿波前Wm需要与AO方法求出的真实补偿波前Werr之间的误差最小，即‖Wm-Werr‖≈0。在这两个额外的约束下，由模态方法求得的Zernike参数解出最优的波前调制器控制信号序列。
深度前向神经网络用于基于图像的波前传感测量，它可以直接考虑一组像素而不是单独考虑每一个像素。目前设计好的CNN(Convolutional Neural Network，卷积神经网络)网络能够独立于先验知识，需要做的预处理较少，但是要训练一个输入多、层数多的神经网络，需要大量的参数设定和经验选择，并且CNN对基于图像的波前感知的探测精度还不是很高。
为了保持神经网络非线性拟合的精度，同时简化机器学习神经网络的结构，本发明提出一种基于特征的方法，将图像的几何特征提取出来作为神经网络的输入。使用反向传播人工神经网络作为非线性拟合工具，它是应用最广泛、实现最简单的神经网络模型之一。以图像特征矩阵作为输入的反向传播人工神经网络，经过良好的训练后，算法能够很好地估计像差，具有较高的速度和鲁棒性。此外，基于图像特征的机器学习方法应用于AO恢复成像畸变，具有很高的准确性。
为实现上述功能，本发明实施例提出了一种的基于机器学习的最优化自适应显微成像方法及装置。下面参照附图描述根据本发明实施例提出的基于机器学习的最优化自适应显微成像方法及装置，首先将参照附图描述根据本发明实施例提出的基于机器学习的最优化自适应显微成像方法。
图1是本发明一个实施例的基于机器学习的最优化自适应显微成像方法的流程图。
如图1所示，该基于机器学习的最优化自适应显微成像方法包括以下步骤：
在步骤S1中，利用超短脉冲激光通过点扫描方法采集图像数据。
在步骤S2中，构建卷积神经网络，以通过输入图像数据至物理模型得到的仿真结果训练网络。
在步骤S3中，将训练得到的训练网络应用于自适应方法，优化成像结果，并消除图像畸变，并用模型拟合的方法求出系统和样本畸变校正的最优相位补偿。
进一步地，在本发明的一个实施例中，将训练得到的训练网络应用于自适应方法，包括：通过卷积神经网络进行参数估计，得到畸变的相位图对应的各项正交基系数。
其中，使用模态方法拟合波前畸变，所使用的正交基为Zernike项的线性组合。在Zernike项中，第一项为位置项，对波前形状没有影响；第二、三项为倾斜项，只会改变图像峰值的位置；第五项为离焦项，会影响图像拍摄的Z轴位置。这四项都不予考虑，不求其系数，在拟合波前畸变时，排除了该四项。
具体而言，如图2所示，构建的CNN网络，使用图像特征作为其输入值，输出值为畸变相位图的各项正交基的系数，利用输出的各项正交基系数可以得到成像过程中的波前畸变，然后使用光学有源器件对畸变进行补偿。CNN网络包含5个卷积层和3个全连接层：输入的图像特征通过两个5×5的卷积层，间有两个2×2的最大池化层。在回归分析阶段，全连接层可以将编码好的特征投影到参数空间，使用Dropout layer避免过拟合。通过一种ReLU(Rectified Linear Unit，修正的线性单元)获得神经元的非线性。MSE(mean-squareerror，均方误差)作为网络的损失函数。仿真的PSF，以及样本添加散射介质和去掉散射介质的成像结果可以作为网络的训练数据。
进一步地，在本发明的一个实施例中，将训练得到的训练网络应用于自适应方法，还包括：将补偿畸变相位图输入到波前控制器，以判断波前控制器的制动器是否超出控制范围，其中，若没有超出控制范围，则补偿畸变相位图直接用于波前控制器进行畸变补偿；若超出控制器范围，则以预设优化策略进行进一步优化。
其中，在本发明的一个实施例中，引入模态正交基的参数与波前调制器的每一个制动器控制信号之间存在克罗内克积为0的约束，并且波前调制器得到的补偿波前与真实补偿波前之间的误差最小。
可以理解的是，训练好的数据使用于AO方法，求得畸变波前各项正交基的系数，从而获得波前调制器的相位图。在此处，需要判断相位图的每个位置是否超出了波前调制器中制动器的控制范围。如果没有超出制动器的控制范围，可以将机器学习获得的相位图直接用于波前传感器以实现畸变补偿。如由于畸变较大超出了制动器控制范围，则需进行下一步的优化：引入模态正交基的参数与波前调制器的每一个制动器控制信号之间存在一个克罗内克积为0的约束，以及调制器得到的补偿波前Wm需要与AO方法求出的真实补偿波前Werr之间的误差最小，即‖Wm-Werr‖≈0的约束，在此两个约束下求解Wm的最优值，获得最佳波前补偿相位图。基于机器学习算法实现快速AO像差补偿，重建优化图像的速度快，需要时间小于0.2s，如果采用GPU和FPGA等更好的硬件控制，重建AO图像的速度将会更快。原来AO方法所需要的大量时间能够大大缩短，从而减少了对样本的光漂白和光损伤。
具体而言，如图3所示，本发明实施例使用上文方法训练卷积神经网络，将显微系统成像得到的图像作为输入，用训练好的卷积神经网络进行参数估计，得到畸变的相位图对应的各项正交基系数。将获得的补偿畸变相位图输入到波前控制器，判断波前控制器的制动器是否超出了控制范围，如果没有超出，则该相位图可以直接用于波前调制器进行畸变补偿；如果超出了控制器范围，则需要进行进一步优化：通过引入模态正交基的参数与波前调制器的每一个制动器控制信号之间存在一个克罗内克积为0的约束，以及调制器得到的补偿波前Wm需要与AO方法求出的真实补偿波前Werr之间的误差最小，即‖Wm-Werr≈0的约束，在此两个约束下求解Wm的最优值，获得最佳波前补偿相位图，然后将相位图应用于波前调制器。调制器设置好波前畸变补偿模式，在进行图像采集，可获得AO图像。本发明实施例的方法速度快、图像畸变恢复质量高、优化性能鲁棒。
下面将结合附图对快速自适应优化点扫描显微成像装置进行阐述。
如图4所示，该装置包括超短脉冲激光光源及光束变换系统、自适应光学矫正系统、XY轴扫描系统、物镜Z轴扫描系统、光学显微及滤波系统、同步显微成像系统及图像优化与数据处理系统。其中，在成像仪器系统中，可以在物平面中产生由点扫描组成的视场。在视场下可以产生一定帧速的显微图像，具有高的轴向分辨率。引入有源光学器件作为波前调制器，有源光学器件放置在振镜前的平行光路中。物镜安置在压电陶瓷(pizeo)下，pizeo可以实现物镜及其焦距的轴向扫描，从而使得系统具有快速的轴向成像能力。
具体地，该装置适用于非线性光学成像，采集样本的二次谐波与三次谐波信号。长波长的激光在畸变较大的情况下很容易引起波前调制器的制动器超出控制范围，使用本发明实施例提供的基于机器学习的最优化自适应光学方法能够得到高性能、鲁棒的畸变补偿图像。图中的L是透镜，激光器发出150fs、80MHz、单脉冲能量为36nJ的波长1200nm的激光束，通过L1与L2组成的扩束装置将光斑大小调成可变形镜的靶面大小。L3、L4和L5、L6分别组成两队4f系统，使可变形镜和X、Y轴振镜的靶面共轭，同时共轭于物镜的后焦面。选择合适的二向色镜型号，在采集端由多通道光电倍增管(PMT)收集二次谐波和三次谐波信号。物镜采用的是25倍放大和NA为1.05的参数值。使用该装置可在物平面产生600μm2大小的视场，近30000个有效像素的图像下采集速度可到1-5帧/秒，横向分辨率为1-2μm轴向分辨率为3-5μm。使用本发明实施例方法的AO算法，单次恢复畸变进行补偿仅需0.2s，从而能满足许多生物科学研究中的深层组织实时观测的要求。
根据本发明实施例提出的基于机器学习的最优化自适应显微成像方法，能够给出最优的相位补偿结果，即使光学畸变超出波前调制器可调节的范围，也可以有效解决调制器件工作范围不足的问题，能够校正畸变使成像质量得到最有效的恢复，并估计校正后的相位应用于波前调制器上以采集自适应光学优化图像，从而可以获得高优化性能、高图像质量和高成像速度的成像结果，并具有高速、图像质量高、可拓展性好等优点，且基于机器学习实现高速波前畸变补偿，在生物科学的快速深层组织成像中具有很大的应用前景。
其次参照附图描述根据本发明实施例提出的基于机器学习的最优化自适应显微成像装置。
图5是本发明一个实施例的基于机器学习的最优化自适应显微成像装置的结构示意图。
如图5所示，该基于机器学习的最优化自适应显微成像装置10包括：采集模块100、构建模块200和优化模块300。
其中，采集模块100用于利用超短脉冲激光通过点扫描方法采集图像数据。构建模块200用于构建卷积神经网络，以通过输入图像数据至物理模型得到的仿真结果训练网络。优化模块300用于将训练得到的训练网络应用于自适应方法，优化成像结果，并消除图像畸变，并用模型拟合的方法求出系统和样本畸变校正的最优相位补偿。本发明实施例的装置10可以获得高优化性能、高图像质量和高成像速度的成像结果，并具有高速、图像质量高、可拓展性好等优点，且基于机器学习实现高速波前畸变补偿，在生物科学的快速深层组织成像中具有很大的应用前景。
进一步地，在本发明的一个实施例中，优化模块300进一步用于通过卷积神经网络进行参数估计，得到畸变的相位图对应的各项正交基系数。
进一步地，在本发明的一个实施例中，优化模块300进一步用于将补偿畸变相位图输入到波前控制器，以判断波前控制器的制动器是否超出控制范围，其中，若没有超出控制范围，则补偿畸变相位图直接用于波前控制器进行畸变补偿。
进一步地，在本发明的一个实施例中，优化模块300进一步用于若超出控制器范围，则以预设优化策略进行进一步优化。
其中，在本发明的一个实施例中，引入模态正交基的参数与波前调制器的每一个制动器控制信号之间存在克罗内克积为0的约束，并且波前调制器得到的补偿波前与真实补偿波前之间的误差最小。
需要说明的是，前述对基于机器学习的最优化自适应显微成像方法实施例的解释说明也适用于该实施例的基于机器学习的最优化自适应显微成像装置，此处不再赘述。
根据本发明实施例提出的基于机器学习的最优化自适应显微成像装置，能够给出最优的相位补偿结果，即使光学畸变超出波前调制器可调节的范围，也可以有效解决调制器件工作范围不足的问题，能够校正畸变使成像质量得到最有效的恢复，并估计校正后的相位应用于波前调制器上以采集自适应光学优化图像，从而可以获得高优化性能、高图像质量和高成像速度的成像结果，并具有高速、图像质量高、可拓展性好等优点，且基于机器学习实现高速波前畸变补偿，在生物科学的快速深层组织成像中具有很大的应用前景。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (4)
1.一种基于机器学习的最优化自适应显微成像方法，其特征在于，包括以下步骤：
利用超短脉冲激光通过点扫描方法采集图像数据；
构建卷积神经网络，以通过输入所述图像数据至物理模型得到的仿真结果训练网络；以及
将训练得到的所述训练网络应用于自适应方法，优化成像结果，并消除图像畸变，并用模型拟合的方法求出系统和样本畸变校正的最优相位补偿，所述将训练得到的所述训练网络应用于自适应方法，还包括：将补偿畸变相位图输入到波前控制器，以判断所述波前控制器的制动器是否超出控制范围，若超出所述控制范围，则以预设优化策略进行优化，引入模态正交基的参数与波前调制器的每一个制动器控制信号之间存在克罗内克积为0的约束，并且所述波前调制器得到的补偿波前与真实补偿波前之间的误差最小，若没有超出所述控制范围，则所述补偿畸变相位图直接用于所述波前控制器进行畸变补偿。
2.根据权利要求1所述的方法，其特征在于，所述将训练得到的所述训练网络应用于自适应方法，包括：
通过所述卷积神经网络进行参数估计，得到畸变的相位图对应的各项正交基系数。
3.一种基于机器学习的最优化自适应显微成像装置，其特征在于，包括：
采集模块，用于利用超短脉冲激光通过点扫描方法采集图像数据；
构建模块，用于构建卷积神经网络，以通过输入所述图像数据至物理模型得到的仿真结果训练网络；以及
优化模块，用于将训练得到的所述训练网络应用于自适应方法，优化成像结果，并消除图像畸变，并用模型拟合的方法求出系统和样本畸变校正的最优相位补偿；
所述优化模块用于将补偿畸变相位图输入到波前控制器，以判断所述波前控制器的制动器是否超出控制范围，若超出所述控制范围，则以预设优化策略进行优化，引入模态正交基的参数与波前调制器的每一个制动器控制信号之间存在克罗内克积为0的约束，并且所述波前调制器得到的补偿波前与真实补偿波前之间的误差最小，若没有超出所述控制范围，则所述补偿畸变相位图直接用于所述波前控制器进行畸变补偿。
4.根据权利要求3所述的装置，其特征在于，所述优化模块用于通过所述卷积神经网络进行参数估计，得到畸变的相位图对应的各项正交基系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910594775.9A CN110309910B (zh) | 2019-07-03 | 2019-07-03 | 基于机器学习的最优化自适应显微成像方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910594775.9A CN110309910B (zh) | 2019-07-03 | 2019-07-03 | 基于机器学习的最优化自适应显微成像方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110309910A CN110309910A (zh) | 2019-10-08 |
| CN110309910B true CN110309910B (zh) | 2021-08-20 |
Family
ID=68079682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910594775.9A Active CN110309910B (zh) | 2019-07-03 | 2019-07-03 | 基于机器学习的最优化自适应显微成像方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110309910B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110969633B (zh) * | 2019-11-28 | 2024-02-27 | 南京安科医疗科技有限公司 | 一种心脏ct成像自动最优相位识别方法 |
| CN113724190A (zh) * | 2021-03-18 | 2021-11-30 | 腾讯科技（深圳）有限公司 | 基于医疗图像处理模型的图像处理方法及装置 |
| CN115374712B (zh) * | 2022-10-24 | 2023-01-24 | 中国航天三江集团有限公司 | 激光内通道热效应影响下光传输仿真参数校准方法与装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722023A (zh) * | 2012-05-29 | 2012-10-10 | 中国科学院光电技术研究所 | 一种基于分离模式控制和优化算法的多变形镜控制方法 |
| CN109031654A (zh) * | 2018-09-11 | 2018-12-18 | 安徽农业大学 | 一种基于卷积神经网络的自适应光学校正方法及系统 |
| US10530435B2 (en) * | 2014-10-13 | 2020-01-07 | Nxgen Partners Ip, Llc | System and method for combining MIMO and mode-division multiplexing |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109528161B (zh) * | 2018-11-06 | 2021-01-12 | 浙江大学 | 一种基于机器学习的高速高分辨扫描显微成像系统与方法 |
| CN109712109A (zh) * | 2018-11-06 | 2019-05-03 | 杭州电子科技大学 | 一种基于残差卷积神经网络的光学图像相位解缠绕方法 |
| CN109685745B (zh) * | 2019-01-02 | 2022-07-15 | 西北工业大学 | 一种基于深度学习的相位显微成像方法 |
-
2019
- 2019-07-03 CN CN201910594775.9A patent/CN110309910B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722023A (zh) * | 2012-05-29 | 2012-10-10 | 中国科学院光电技术研究所 | 一种基于分离模式控制和优化算法的多变形镜控制方法 |
| US10530435B2 (en) * | 2014-10-13 | 2020-01-07 | Nxgen Partners Ip, Llc | System and method for combining MIMO and mode-division multiplexing |
| CN109031654A (zh) * | 2018-09-11 | 2018-12-18 | 安徽农业大学 | 一种基于卷积神经网络的自适应光学校正方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| Optimization-based wavefront sensorless adaptive optics for multiphoton microscopy;Jacopo Antonello et al;《Optical Society of America》;20140630;第31卷(第6期);1337-1347页 * |
| 快速确定K-L展开的泽尼克多项式系数的协方差矩阵对经过大气湍流的波前进行模拟;纪庆楠等;《数字技术与应用》;20121115;107-108,111页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110309910A (zh) | 2019-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110309910B (zh) | 基于机器学习的最优化自适应显微成像方法及装置 | |
| CN107843982B (zh) | 基于实时相位差异技术的无波前探测自适应光学系统 | |
| CN109528161B (zh) | 一种基于机器学习的高速高分辨扫描显微成像系统与方法 | |
| Sibarita | Deconvolution microscopy | |
| CN110346340B (zh) | 基于波前传感器的机器学习快速像差测量系统与方法 | |
| CN110389119B (zh) | 基于机器学习的快速自适应光学扫描显微成像系统与方法 | |
| JP6411472B2 (ja) | レーザスキャニング顕微鏡、および特に高解像度のスキャニング顕微鏡法で結像収差を修正する方法 | |
| CN110378473B (zh) | 基于深度学习和随机图案的相位层析方法及装置 | |
| DE112014001147T5 (de) | Fluoreszenz-Empfangsvorrichtung und Verfahren zum Empfangen von Fluoreszenz | |
| DE102017207187A1 (de) | Phasendifferenz-Kalibrierung in einem Linsensystem mit variabler Brennweite | |
| WO2014048083A1 (zh) | 一种共焦扫描成像系统及其像差控制方法 | |
| CN107071258A (zh) | 包括可变焦距透镜的成像系统中的色差校正 | |
| KR101453327B1 (ko) | 안저 촬상방법, 안저 촬상장치, 및 기억매체 | |
| US8866107B2 (en) | Wavefront compensation for deep tissue optical microscopy | |
| CN114488520B (zh) | 一种基于成像清晰度的显微镜像差校正装置 | |
| KR20210051683A (ko) | 수차를 야기하는 샘플 내의 타겟 오브젝트를 이미징하기 위한 초점 스캔 방식의 이미징 장치 | |
| CN116594168A (zh) | 一种基于可变焦透镜的快速大景深显微成像系统及方法 | |
| Jesacher et al. | Sensorless adaptive optics for microscopy | |
| DE102020109734B4 (de) | Verfahren und Bestrahlungsvorrichtung in der Reflexionsmikroskopie | |
| JP3951021B2 (ja) | 補償光学用参照点光源の作成法 | |
| KR102154649B1 (ko) | 샘플 내의 타겟 오브젝트를 측정하기 위한 고속 이미징 시스템 | |
| CN111397506A (zh) | 一种全息干涉仪的全自动相位误差修正方法与系统 | |
| CN105204168A (zh) | 一种基于双波前校正器的无波前探测器远场激光束整形装置及方法 | |
| Yang et al. | Remote focusing with dynamic aberration elimination by model-based adaptive optics | |
| CN110221421B (zh) | 基于机器学习的结构光照明超分辨显微成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |