CN110470667A - 基于压缩感知和随机多焦点扫描的三维体成像方法及装置 - Google Patents

基于压缩感知和随机多焦点扫描的三维体成像方法及装置 Download PDF

Info

Publication number
CN110470667A
CN110470667A CN201910774263.0A CN201910774263A CN110470667A CN 110470667 A CN110470667 A CN 110470667A CN 201910774263 A CN201910774263 A CN 201910774263A CN 110470667 A CN110470667 A CN 110470667A
Authority
CN
China
Prior art keywords
sample
phase pattern
spatial light
light modulator
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910774263.0A
Other languages
English (en)
Other versions
CN110470667B (zh
Inventor
戴琼海
李欣阳
张元龙
孔令杰
王好谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910774263.0A priority Critical patent/CN110470667B/zh
Publication of CN110470667A publication Critical patent/CN110470667A/zh
Application granted granted Critical
Publication of CN110470667B publication Critical patent/CN110470667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106General arrangement of respective parts
    • G01N2021/0112Apparatus in one mechanical, optical or electronic block

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明公开了一种基于压缩感知和随机多焦点扫描的三维体成像方法及装置,其中,该方法包括:在预先搭建的成像系统中,通过飞秒脉冲激光器产生超短激光脉冲,利用多个4f成像系统将空间光调制器共轭到物镜后焦面;根据最小均方误差损失函数和ADAM非凸优化算法生成多个相位图案并将其依次显示在空间光调制器上,通过物镜后焦面在样品上生成每个相位图案对应的多个焦点位置,对每个相位图案对应的多个焦点位置进行多次扫描,生成样品信息图像序列;构建探测矩阵,根据探测矩阵和压缩感知稀疏重建算法对样品信息图像序列进行逐像素的重建,生成样品的三维信息。该方法具有宽视场、高时间分辨率、高空间分辨率、适合视频速率三维体成像的优点。

Description

基于压缩感知和随机多焦点扫描的三维体成像方法及装置
技术领域
本发明涉及光学显微成像和计算摄像技术领域,特别涉及一种基于压缩感知和随机多焦点扫描的三维体成像方法及装置。
背景技术
光学显微成像技术是一种非侵入式的观测技术,目前广泛应用于生物组织的结构和功能成像,在神经科学领域已得到广泛的应用。与荧光标记技术相结合,荧光显微镜能够对特定的结构和物质进行标记,从而排除其他结构的干扰,实现特异性的成像。传统的单光子显微镜具有背景荧光强、缺乏层析能力、光漂白严重等缺点;光片显微成像通过将激发与探测置于两个相互垂直的方向,降低了光漂白,在透明样品中实现了层析成像,但其无法应用于具有强散射特性的生物样品;共聚焦显微镜通过引入共焦针孔来格挡背景荧光,实现了轴向层析成像,但受限于机械扫描器件的机械惯性,时间分辨率较低。多光子点扫描显微镜是一种基于非线性光学效应的新型成像技术,但点扫描成像的本质决定了其同样无法达到较高的时间分辨率。
纵观各种光学显微技术,在时间分辨率和空间分辨率之间存在固有的矛盾,因为各种旨在提高时间分辨率或者空间分辨率其中之一的技术改进,都是在牺牲另一方面的基础上的折衷。尽管超分辨显微技术可以达到亚衍射极限的空间分辨率,但每张超分辨图像实际上需要采集大量的图像才能合成,这样大大降低了成像速度。在功能成像任务中,通常是依靠下采样来提高成像速度,自然无法达到高的空间分辨率。但是,生物细胞和组织是高速动态的系统,生命科学的进一步探索需要同时具有高时空分辨率的成像工具。
多光子显微镜是一种扫描成像显微镜,其扫描成像的本质决定了其成像速度的限制主要在于采样点的数目,越精细的扫描就需要越长的时间来完成。多焦点扫描是通过波前调制以使激光光束同时聚焦成多个焦点,这多个焦点同时扫描,有几个焦点扫描速度就可以提高多少倍,是一种有效的空间复用方法。然而,多焦点扫描使得多个点上的信息混叠在一起,其最大的难题在于如何将混叠的信号分解开。压缩感知是一种数据重建方法,可以从低维采集数据重构出高维原始数据,大大缓解系统的通量压力,同时可以重新分配采集系统的能力,实现某一性能的巨大突破。多焦点扫描的本质是一种亚奈奎斯特速率的采样,压缩感知即使为解决这类问题而生的算法,合理的设计采样策略,可以将多焦点的混叠信号解析出来。
因此,综合考虑以上算法和装置的实际情况,目前需要迫切解决的一个问题就是:如何能够合理的设计多焦点采样策略,以将混叠的信号解析出来。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的一个目的在于提出一种基于压缩感知和随机多焦点扫描的三维体成像方法,该方法利用样本的时间稀疏性并借助压缩感知算法,可以将混叠的信号恢复出来,仅通过单次扫描即可获得样本的三维信息。
本发明的另一个目的在于提出一种基于压缩感知和随机多焦点扫描的三维体成像装置。
为达到上述目的,本发明一方面实施例提出了一种基于压缩感知和随机多焦点扫描的三维体成像方法,包括:
S1,在预先搭建的成像装置中,通过飞秒脉冲激光器产生超短激光脉冲,所述超短激光脉冲通过多个4f成像系统、空间光调制器和物镜后焦面后聚焦在样品上,根据所述超短激光脉冲和所述多个4f成像系统将所述空间光调制器共轭到所述物镜后焦面;
S2,构建最小均方误差损失函数,根据所述最小均方误差损失函数和ADAM非凸优化算法生成多个相位图案;
S3,将所述多个相位图案依次显示在所述空间光调制器上,通过所述物镜后焦面在所述样品上生成每个相位图案对应的多个焦点位置,通过扫描振镜对所述每个相位图案对应的多个焦点位置进行多次扫描,生成样品信息图像序列;
S4,根据所述每个相位图案在所述样品上对应的焦点个数及焦点位置生成探测矩阵,根据所述探测矩阵和压缩感知稀疏重建算法对所述样品信息图像序列进行逐像素的重建,生成所述样品的三维信息。
本发明实施例的基于压缩感知和随机多焦点扫描的三维体成像方法,通过空间光调制器调整光束的波前相位,借助非凸优化算法计算物镜后焦面的相位图案,从而在样本中实现随机分布的轴向多焦点激发。利用样本的时间稀疏性并借助压缩感知算法,可以将混叠的信号恢复出来,仅通过单次扫描即可获得样本的三维信息,具有宽视场、高时间分辨率、高空间分辨率、适合视频速率三维体成像的优点。
另外,根据本发明上述实施例的基于压缩感知和随机多焦点扫描的三维体成像方法还可以具有以下附加的技术特征:
进一步地,在本发明的一个实施例中,在S1之前还包括:对所述样品的参数进行设定;
所述对所述样品的参数进行设定具体包括:
设定沿所述样品横向、纵向和轴向分别为x轴、y轴和z轴,设定沿时间维度方向为t轴;
设定所述样品z轴成像范围为Rz,设定z轴层析步长为Δz,设定样品功能成像需要记录的时间长度为T。
进一步地,在本发明的一个实施例中,所述在所述样品上生成所述每个相位图案对应的多个焦点位置,包括:
在所述样品轴向离散的个位置上随机选择多个位置作为焦点位置,其中,Rz为z轴成像范围,Δz为z轴层析步长。
进一步地,在本发明的一个实施例中,所述S3包括:
S31,将所述多个相位图案中的任意一个相位图案显示在所述空间光调制器上,通过所述物镜后焦面在所述样品上生成多个焦点位置,通过所述扫描振镜对多个焦点位置进行扫描,生成与所述空间光调制器上相位图案对应的样品信息图像;
S32,将所述扫描振镜复位到起始位置,并替换所述空间光调制器上的相位图案以在所述样品上生成不同的焦点位置,通过所述扫描振镜对所述样品上的焦点位置再进行扫描生成与所述空间光调制器上相位图案对应的样品信息图像;
S33,通过对步骤S32进行迭代,直至所有相位图案生成对应的样品信息图像,将所有样品信息图像组成所述样品信息图像序列。
进一步地,在本发明的一个实施例中,所述根据所述每个相位图案在所述样品上对应的焦点个数及焦点位置生成探测矩阵,包括:
根据所述每个相位图案在所述样品上生成的焦点个数及焦点位置生成所述每个相位图案对应的列向量,通过所述多个相位图案生成多个列向量组成所述探测矩阵。
为达到上述目的,本发明另一方面实施例提出了一种基于压缩感知和随机多焦点扫描的三维体成像装置,包括:
搭建模块,用于在预先搭建的成像装置中,通过飞秒脉冲激光器产生超短激光脉冲,所述超短激光脉冲通过多个4f成像系统、空间光调制器和物镜后焦面后聚焦在样品上,根据所述超短激光脉冲和所述多个4f成像系统将所述空间光调制器共轭到所述物镜后焦面;
第一生成模块,用于构建最小均方误差损失函数,根据所述最小均方误差损失函数和ADAM非凸优化算法生成多个相位图案;
第二生成模块,用于将所述多个相位图案依次显示在所述空间光调制器上,通过所述物镜后焦面在所述样品上生成每个相位图案对应的多个焦点位置,通过扫描振镜对所述每个相位图案对应的多个焦点位置进行多次扫描,生成样品信息图像序列;
第三生成模块,用于根据所述每个相位图案在所述样品上对应的焦点个数及焦点位置生成探测矩阵,根据所述探测矩阵和压缩感知稀疏重建算法对所述样品信息图像序列进行逐像素的重建,生成所述样品的三维信息。
本发明实施例的基于压缩感知和随机多焦点扫描的三维体成像装置,通过空间光调制器调整光束的波前相位,借助非凸优化算法计算物镜后焦面的相位图案,从而在样本中实现随机分布的轴向多焦点激发。利用样本的时间稀疏性并借助压缩感知算法,可以将混叠的信号恢复出来,仅通过单次扫描即可获得样本的三维信息,具有宽视场、高时间分辨率、高空间分辨率、适合视频速率三维体成像的优点。
另外,根据本发明上述实施例的基于压缩感知和随机多焦点扫描的三维体成像装置还可以具有以下附加的技术特征:
进一步地,在本发明的一个实施例中,还包括:设定模块,用于对所述样品的参数进行设定;
所述设定模块具体用于,
设定沿所述样品横向、纵向和轴向分别为x轴、y轴和z轴,设定沿时间维度方向为t轴;
设定所述样品z轴成像范围为Rz,设定z轴层析步长为Δz,设定样品功能成像需要记录的时间长度为T。
进一步地,在本发明的一个实施例中,所述在所述样品上生成所述每个相位图案对应的多个焦点位置,包括:
在所述样品轴向离散的个位置上随机选择多个位置作为焦点位置,其中,Rz为z轴成像范围,Δz为z轴层析步长。
进一步地,在本发明的一个实施例中,所述第二生成模块包括:
第一扫描单元,用于将所述多个相位图案中的任意一个相位图案显示在所述空间光调制器上,通过所述物镜后焦面在所述样品上生成多个焦点位置,通过所述扫描振镜对多个焦点位置进行扫描,生成与所述空间光调制器上相位图案对应的样品信息图像;
第二扫描单元,用于将所述扫描振镜复位到起始位置,并替换所述空间光调制器上的相位图案以在所述样品上生成不同的焦点位置,通过所述扫描振镜对所述样品上的焦点位置再进行扫描生成与所述空间光调制器上相位图案对应的样品信息图像;
第三扫描单元,用于对所述第二扫描单元的步骤进行迭代,直至所有相位图案生成对应的样品信息图像,将所有样品信息图像组成所述样品信息图像序列。
进一步地,在本发明的一个实施例中,所述根据所述每个相位图案在所述样品上对应的焦点个数及焦点位置生成探测矩阵,包括:
根据所述每个相位图案在所述样品上生成的焦点个数及焦点位置生成所述每个相位图案对应的列向量,通过所述多个相位图案生成多个列向量组成所述探测矩阵。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本发明一个实施例的基于压缩感知和随机多焦点扫描的三维体成像方法流程图;
图2为根据本发明一个实施例的实现三维体成像方法的多光子显微成像装置的结构示意图;
图3为根据本发明一个实施例的用于生成多焦点的非凸优化算法的原理示意图;
图4为根据本发明一个实施例的压缩感知算法的原理示意图;
图5为根据本发明一个实施例的基于压缩感知和随机多焦点扫描的三维体成像装置结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于压缩感知和随机多焦点扫描的三维体成像方法及装置。
首先将参照附图描述根据本发明实施例提出的基于压缩感知和随机多焦点扫描的三维体成像方法。
图1为根据本发明一个实施例的基于压缩感知和随机多焦点扫描的三维体成像方法流程图。
如图1所示,该基于压缩感知和随机多焦点扫描的三维体成像方法包括以下步骤:
步骤S1,在预先搭建的成像装置中,通过飞秒脉冲激光器产生超短激光脉冲,超短激光脉冲通过多个4f成像系统、空间光调制器和物镜后焦面后聚焦在样品上,根据超短激光脉冲和多个4f成像系统将空间光调制器共轭到物镜后焦面。
进一步地,在S1之前还包括:对样品的参数进行设定;
对样品的参数进行设定具体包括:
设定沿样品横向、纵向和轴向分别为x轴、y轴和z轴,设定沿时间维度方向为t轴;
设定样品z轴成像范围为Rz,设定z轴层析步长为Δz,设定样品功能成像需要记录的时间长度为T。
具体地,在重建样品的三维信息之前,对样品的部分参数进行设定,设定沿样品横向、纵向和轴向分别为x轴、y轴和z轴,设定沿时间维度方向为t轴,设定z轴成像范围为Rz,设定z轴层析步长为Δz,设定功能成像需要记录的时间长度为T,设定时间探测器的积分时间,根据实际样品的特性决定轴向成像范围、层析步长和记录时间。
进一步地,预先搭建的成像装置为具有波前调制能力的多光子显微成像装置,其结构如图2所示,包括飞秒脉冲激光光源及光束变换系统、基于空间光调制器(SLM)的波前调制模块,光学显微系统,电流滤波和光电探测系统。
如图2所示,飞秒脉冲激光光源及光束变换系统,用于提供产生非线性光学效应的飞秒脉冲激光,光束变换系统包含4f成像系统,用于调整激光光束的直径。
基于空间光调制器(SLM)的波前调制模块,置于激光器和光学扫描元件之间,液晶的空间光调制器(SLM)上可以显示任意相位,共轭到物镜后焦面之后等效于在物镜后焦面上加此相位,可以产生指定模式的多个激发焦点,多焦点相位的切换需要和扫描系统的帧触发信号同步。
光学显微系统、电流滤波和光电探测系统,置于上述光学扫描元件之后,包括透镜组及显微物镜,由透镜组连接上述光学扫描元件及显微物镜后焦面,并构成4f系统,用于在样品中聚焦产生多焦点,以激发组织样品并基于非线性光学效应发射荧光,荧光光子通过此系统到达光电探测器形成信号电流。探测端包括滤光片和光电倍增管(PMT)。
可以理解的是,首先通过飞秒脉冲激光器产生超短激光脉冲,超短激光脉冲通过多个4f成像系统作用在样品上,超短激光脉冲和多个4f成像系统将空间光调制器共轭到物镜后焦面,用于调制后焦面的波前相位。在将空间光调制器共轭到物镜后焦面之后等效于在物镜后焦面上加此相位,在下面步骤中可以产生指定模式的多个激发焦点。
步骤S2,构建最小均方误差损失函数,根据最小均方误差损失函数和ADAM非凸优化算法生成多个相位图案。
可以理解的是,使用的最小均方误差损失函数为公知的最小均方误差损失函数。
具体地,相位图案决定了物镜焦面上多个焦点的数目和位置,通过计算和测量得到。根据激光能量,在保证荧光信号信噪比的前提下,指定轴向多焦点的个数,这个数目可以是一个范围,针对高能激光焦点的数目可以增大。在轴向离散的个位置上随机地选择一些位置,作为需要产生焦点的位置,可以根据自己的需求设定产生焦点的个数和位置,需求通过ADAM非凸优化算法来实现。
进一步地,基于非凸优化的多焦点生成算法,利用轴向多焦点相位图案的旋转不变性,将二维问题降低到一维问题,大大减小了问题规模。同时,本发明所用的非凸优化算法可以显著避免局部极小值的影响,使目标函数达到或十分接近全局最优值。在目标函数的设计上,利用菲涅尔衍射模型,将指定位置的仿真光强加和作为目标函数即可;在优化器的选择上,选用自适应矩估计梯度下降法(Adam),此算法能够有效利用梯度的一阶动量和二阶动量,在大大加快收敛速度的同时保证接近全局最优。
步骤S3,将多个相位图案依次显示在空间光调制器上,通过物镜后焦面在样品上生成每个相位图案对应的多个焦点位置,通过扫描振镜对每个相位图案对应的多个焦点位置进行多次扫描,生成样品信息图像序列。
进一步地,S3具体包括:
S31,将多个相位图案中的任意一个相位图案显示在空间光调制器上,通过物镜后焦面在样品上生成多个焦点位置,通过扫描振镜对多个焦点位置进行扫描,生成与空间光调制器上相位图案对应的样品信息图像;
S32,将扫描振镜复位到起始位置,并替换空间光调制器上的相位图案以在样品上生成不同的焦点位置,通过扫描振镜对样品上的焦点位置再进行扫描生成与空间光调制器上相位图案对应的样品信息图像;
S33,通过对步骤S32进行迭代,直至所有相位图案生成对应的样品信息图像,将所有样品信息图像组成样品信息图像序列。
可以理解的是,不同的相位图案在物镜后焦面产生的焦点个数及焦点位置是不同的,液晶的空间光调制器(SLM)上可以显示任意相位,将不同的相位图案显示在空间光调制器上,因为空间光调制器与物镜后焦面共轭,相当于在物镜后焦面上加上空间光调制器的相位,产生指定模式的多个激发焦点。
通过扫描振镜对多个焦点位置进行扫描,得到不同相位图案对应的不同的样品信息图像,生成的多个不同的样品信息图像组成一个样品信息图像序列。
具体地,在对样品进行功能成像时,需要进行时长为T的记录,即在指定的每一帧的时耗下,连续地记录T帧。T和相位图案的个数相同,在本发明中,每当一帧完成记录后,在振镜回到起始位置的时间间隙内,需要改变空间光调制器上的相位图案,以改变多焦点的数量和位置,完成对样品轴向信息的随机相乘相加编码。重复这个过程T次,可以得到一个包含样品信息的图像序列,每个时刻有一张图像,其包含多个轴向位置的随机编码,重复T次,样本信息图像序列中包含T张样本信息图像。
步骤S4,根据每个相位图案在样品上对应的焦点个数及焦点位置生成探测矩阵,根据探测矩阵和压缩感知稀疏重建算法对样品信息图像序列进行逐像素的重建,生成样品的三维信息。
具体地,设计一个探测矩阵辅助样品信息的三维重建,为保证信号重建的效果,这个矩阵需要满足有限等距约束(R.I.P),可以采用有约束的高斯随机矩阵作为探测矩阵。
进一步地,根据每个相位图案在样品上生成的焦点个数及焦点位置生成每个相位图案对应的列向量,通过多个相位图案生成多个列向量组成探测矩阵。
可以理解的是,探测矩阵的每一列对应一张相位图案生成的焦点个数及焦点位置,探测矩阵的的列数与相位图案的个数相同。
根据探测矩阵及压缩感知稀疏重建算法,将上述样品信息图像序列进行逐像素的重建,从而将混叠的信号解调出来,得到每个深度的信息。
进一步地,基于压缩感知的稀疏重建算法,其实质上是利用了样品的时间稀疏性,因为在功能成像中,尤其是脑神经成像时,样品荧光的发放在时间上是稀疏的,此稀疏性保障了压缩感知算法能够有效。重建算法选择较为成熟的TwIST算法,在保证重建效果的同时具备较好的噪声鲁棒性。
下面结合附图进行详细介绍,如图2所示,飞秒脉冲激光由飞秒脉冲激光器(Ti:sapp)产生,经过4f系统扩束之后,经液晶空间光调制器(SLM)反射进入另一个4f系统,空间光调制器上的相位图案与扫描振镜(Resonant scanning head)共轭。在此之后,光束依次经过二向色镜(D)和物镜(Objective),在样本中聚焦形成多焦点激发,所产生的荧光光子经过物镜和二向色镜(D)的反射之后,通过一个4f系统共轭到光电倍增管(PMT)的探测面上,完成荧光信号的收集。图中M表示平面反射镜,L1~L8表示凸透镜。图中①和②表示典型的用于产生轴向多焦点的相位图案和物镜焦面上聚焦而成的多个焦点。
如图3所示,图3(a)是图2中物镜前后光路的细节放大图。入射激光通常是具有高斯强度分布的光束,通过空间光调制器(SLM)在物镜后焦面加上指定相位后,经过物镜的聚焦作用,样品中产生了轴向分布的多个焦点。图3(b)是相位优化算法的示意图,二维的问题首先是由于旋转不变性而降成一位问题,而后物镜的前向传播模型可以根据相位计算出物镜之后的激发图案。本算法首先将相位初始化,经过Adam优化器使得损失函数最小化,得到最优的相位。
参照图4,考虑图像中的任意一个像素,假设图像的时间序列长度为T,则轴向总共个平面上的所有信号可以排列成一个NT×1的向量(图中x),经多焦点激发得到的信号可以排列成一个T×1的向量(图中y),探测矩阵根据实验中所用的多焦点激发的先后顺序,排列成一个T×NT的矩阵(图中A),即为探测矩阵。根据样品的稀疏性,想要从y中恢复出x,可以求解如下的优化问题:
式中的二范数项是保真项,使得重建结果接近测量值,一范数项是稀疏约束项,它保证了x尽可能的稀疏。此优化问题通过目前较为成熟的TwIST算法即可求解,最终将各个轴向平面上混叠的信号解析出来。
根据本发明实施例提出的基于压缩感知和随机多焦点扫描的三维体成像方法,通过空间光调制器调整光束的波前相位,借助非凸优化算法计算物镜后焦面的相位图案,从而在样本中实现随机分布的轴向多焦点激发。利用样本的时间稀疏性并借助压缩感知算法,可以将混叠的信号恢复出来,仅通过单次扫描即可获得样本的三维信息,具有宽视场、高时间分辨率、高空间分辨率、适合视频速率三维体成像的优点。
其次参照附图描述根据本发明实施例提出的基于压缩感知和随机多焦点扫描的三维体成像装置。
图5为根据本发明一个实施例的基于压缩感知和随机多焦点扫描的三维体成像装置结构示意图。
如图5所示,该装置包括:搭建模块100、第一生成模块200、第二生成模块300和第三生成模块400。
搭建模块100,用于在预先搭建的成像装置中,通过飞秒脉冲激光器产生超短激光脉冲,超短激光脉冲通过多个4f成像系统、空间光调制器和物镜后焦面后聚焦在样品上,根据超短激光脉冲和多个4f成像系统将空间光调制器共轭到物镜后焦面。
第一生成模块200,用于构建最小均方误差损失函数,根据最小均方误差损失函数和ADAM非凸优化算法生成多个相位图案。
第二生成模块300,用于将多个相位图案依次显示在空间光调制器上,通过物镜后焦面在样品上生成每个相位图案对应的多个焦点位置,通过扫描振镜对每个相位图案对应的多个焦点位置进行多次扫描,生成样品信息图像序列。
第三生成模块400,用于根据每个相位图案在样品上对应的焦点个数及焦点位置生成探测矩阵,根据探测矩阵和压缩感知稀疏重建算法对样品信息图像序列进行逐像素的重建,生成样品的三维信息。
进一步地,在本发明的一个实施例中,还包括:设定模块,用于对样品的参数进行设定;
设定模块具体用于,
设定沿样品横向、纵向和轴向分别为x轴、y轴和z轴,设定沿时间维度方向为t轴;
设定样品z轴成像范围为Rz,设定z轴层析步长为Δz,设定样品功能成像需要记录的时间长度为T。
进一步地,在本发明的一个实施例中,在样品上生成每个相位图案对应的多个焦点位置,包括:
在样品轴向离散的个位置上随机选择多个位置作为焦点位置,其中,Rz为z轴成像范围,Δz为z轴层析步长。
进一步地,在本发明的一个实施例中,第二生成模块300包括:
第一扫描单元,用于将多个相位图案中的任意一个相位图案显示在空间光调制器上,通过物镜后焦面在样品上生成多个焦点位置,通过扫描振镜对多个焦点位置进行扫描,生成与空间光调制器上相位图案对应的样品信息图像;
第二扫描单元,用于将扫描振镜复位到起始位置,并替换空间光调制器上的相位图案以在样品上生成不同的焦点位置,通过扫描振镜对样品上的焦点位置再进行扫描生成与空间光调制器上相位图案对应的样品信息图像;
第三扫描单元,用于对第二扫描单元的步骤进行迭代,直至所有相位图案生成对应的样品信息图像,将所有样品信息图像组成样品信息图像序列。
进一步地,在本发明的一个实施例中,根据每个相位图案在样品上对应的焦点个数及焦点位置生成探测矩阵,包括:
根据每个相位图案在样品上生成的焦点个数及焦点位置生成每个相位图案对应的列向量,通过多个相位图案生成多个列向量组成探测矩阵。
需要说明的是,前述对基于压缩感知和随机多焦点扫描的三维体成像方法实施例的解释说明也适用于该实施例的装置,此处不再赘述。
根据本发明实施例提出的基于压缩感知和随机多焦点扫描的三维体成像装置,通过空间光调制器调整光束的波前相位,借助非凸优化算法计算物镜后焦面的相位图案,从而在样本中实现随机分布的轴向多焦点激发。利用样本的时间稀疏性并借助压缩感知算法,可以将混叠的信号恢复出来,仅通过单次扫描即可获得样本的三维信息,具有宽视场、高时间分辨率、高空间分辨率、适合视频速率三维体成像的优点。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于压缩感知和随机多焦点扫描的三维体成像方法,其特征在于,包括以下步骤:
S1,在预先搭建的成像装置中,通过飞秒脉冲激光器产生超短激光脉冲,所述超短激光脉冲通过多个4f成像系统、空间光调制器和物镜后焦面后聚焦在样品上,根据所述超短激光脉冲和所述多个4f成像系统将所述空间光调制器共轭到所述物镜后焦面;
S2,构建最小均方误差损失函数,根据所述最小均方误差损失函数和ADAM非凸优化算法生成多个相位图案;
S3,将所述多个相位图案依次显示在所述空间光调制器上,通过所述物镜后焦面在所述样品上生成每个相位图案对应的多个焦点位置,通过扫描振镜对所述每个相位图案对应的多个焦点位置进行多次扫描,生成样品信息图像序列;
S4,根据所述每个相位图案在所述样品上对应的焦点个数及焦点位置生成探测矩阵,根据所述探测矩阵和压缩感知稀疏重建算法对所述样品信息图像序列进行逐像素的重建,生成所述样品的三维信息。
2.根据权利要求1所述的方法,其特征在于,在S1之前还包括:对所述样品的参数进行设定;
所述对所述样品的参数进行设定具体包括:
设定沿所述样品横向、纵向和轴向分别为x轴、y轴和z轴,设定沿时间维度方向为t轴;
设定所述样品z轴成像范围为Rz,设定z轴层析步长为Δz,设定样品功能成像需要记录的时间长度为T。
3.根据权利要求2所述的方法,其特征在于,所述在所述样品上生成所述每个相位图案对应的多个焦点位置,包括:
在所述样品轴向离散的个位置上随机选择多个位置作为焦点位置,其中,Rz为z轴成像范围,Δz为z轴层析步长。
4.根据权利要求1所述的方法,其特征在于,所述S3包括:
S31,将所述多个相位图案中的任意一个相位图案显示在所述空间光调制器上,通过所述物镜后焦面在所述样品上生成多个焦点位置,通过所述扫描振镜对多个焦点位置进行扫描,生成与所述空间光调制器上相位图案对应的样品信息图像;
S32,将所述扫描振镜复位到起始位置,并替换所述空间光调制器上的相位图案以在所述样品上生成不同的焦点位置,通过所述扫描振镜对所述样品上的焦点位置再进行扫描生成与所述空间光调制器上相位图案对应的样品信息图像;
S33,通过对步骤S32进行迭代,直至所有相位图案生成对应的样品信息图像,将所有样品信息图像组成所述样品信息图像序列。
5.根据权利要求1所述的方法,其特征在于,所述根据所述每个相位图案在所述样品上对应的焦点个数及焦点位置生成探测矩阵,包括:
根据所述每个相位图案在所述样品上生成的焦点个数及焦点位置生成所述每个相位图案对应的列向量,通过所述多个相位图案生成多个列向量组成所述探测矩阵。
6.一种基于压缩感知和随机多焦点扫描的三维体成像装置,其特征在于,包括:
搭建模块,用于在预先搭建的成像装置中,通过飞秒脉冲激光器产生超短激光脉冲,所述超短激光脉冲通过多个4f成像系统、空间光调制器和物镜后焦面后聚焦在样品上,根据所述超短激光脉冲和所述多个4f成像系统将所述空间光调制器共轭到所述物镜后焦面;
第一生成模块,用于构建最小均方误差损失函数,根据所述最小均方误差损失函数和ADAM非凸优化算法生成多个相位图案;
第二生成模块,用于将所述多个相位图案依次显示在所述空间光调制器上,通过所述物镜后焦面在所述样品上生成每个相位图案对应的多个焦点位置,通过扫描振镜对所述每个相位图案对应的多个焦点位置进行多次扫描,生成样品信息图像序列;
第三生成模块,用于根据所述每个相位图案在所述样品上对应的焦点个数及焦点位置生成探测矩阵,根据所述探测矩阵和压缩感知稀疏重建算法对所述样品信息图像序列进行逐像素的重建,生成所述样品的三维信息。
7.根据权利要求6所述的装置,其特征在于,还包括:设定模块,用于对所述样品的参数进行设定;
所述设定模块具体用于,
设定沿所述样品横向、纵向和轴向分别为x轴、y轴和z轴,设定沿时间维度方向为t轴;
设定所述样品z轴成像范围为Rz,设定z轴层析步长为Δz,设定样品功能成像需要记录的时间长度为T。
8.根据权利要求7所述的装置,其特征在于,所述在所述样品上生成所述每个相位图案对应的多个焦点位置,包括:
在所述样品轴向离散的个位置上随机选择多个位置作为焦点位置,其中,Rz为z轴成像范围,Δz为z轴层析步长。
9.根据权利要求6所述的装置,其特征在于,所述第二生成模块包括:
第一扫描单元,用于将所述多个相位图案中的任意一个相位图案显示在所述空间光调制器上,通过所述物镜后焦面在所述样品上生成多个焦点位置,通过所述扫描振镜对多个焦点位置进行扫描,生成与所述空间光调制器上相位图案对应的样品信息图像;
第二扫描单元,用于将所述扫描振镜复位到起始位置,并替换所述空间光调制器上的相位图案以在所述样品上生成不同的焦点位置,通过所述扫描振镜对所述样品上的焦点位置再进行扫描生成与所述空间光调制器上相位图案对应的样品信息图像;
第三扫描单元,用于对所述第二扫描单元的步骤进行迭代,直至所有相位图案生成对应的样品信息图像,将所有样品信息图像组成所述样品信息图像序列。
10.根据权利要求6所述的装置,其特征在于,所述根据所述每个相位图案在所述样品上对应的焦点个数及焦点位置生成探测矩阵,包括:
根据所述每个相位图案在所述样品上生成的焦点个数及焦点位置生成所述每个相位图案对应的列向量,通过所述多个相位图案生成多个列向量组成所述探测矩阵。
CN201910774263.0A 2019-08-21 2019-08-21 基于压缩感知和随机多焦点扫描的三维体成像方法及装置 Active CN110470667B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910774263.0A CN110470667B (zh) 2019-08-21 2019-08-21 基于压缩感知和随机多焦点扫描的三维体成像方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910774263.0A CN110470667B (zh) 2019-08-21 2019-08-21 基于压缩感知和随机多焦点扫描的三维体成像方法及装置

Publications (2)

Publication Number Publication Date
CN110470667A true CN110470667A (zh) 2019-11-19
CN110470667B CN110470667B (zh) 2020-11-13

Family

ID=68512608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910774263.0A Active CN110470667B (zh) 2019-08-21 2019-08-21 基于压缩感知和随机多焦点扫描的三维体成像方法及装置

Country Status (1)

Country Link
CN (1) CN110470667B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110823853A (zh) * 2019-11-29 2020-02-21 北京超纳视觉科技有限公司 一种压缩感知多光子体成像装置及方法、光学系统
CN111698405A (zh) * 2020-06-05 2020-09-22 中国航空工业集团公司洛阳电光设备研究所 一种并行压缩感知成像装置
CN114034678A (zh) * 2021-11-26 2022-02-11 杭州涿溪脑与智能研究所 相位图案生成方法、三光子荧光成像装置及方法
CN115200507A (zh) * 2022-07-28 2022-10-18 华侨大学 一种多波段差动共聚焦显微3d测量方法和装置
CN115200508A (zh) * 2022-07-28 2022-10-18 华侨大学 一种面阵式超精密彩色共聚焦显微镜三维测量装置和方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105607453A (zh) * 2016-03-31 2016-05-25 四川大学 一种无机械运动扫描的光学扫描全息技术
CN108171762A (zh) * 2017-12-27 2018-06-15 河海大学常州校区 一种深度学习的压缩感知同类图像快速重构系统与方法
CN109447921A (zh) * 2018-12-05 2019-03-08 重庆邮电大学 一种基于重构误差的图像测量矩阵优化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105607453A (zh) * 2016-03-31 2016-05-25 四川大学 一种无机械运动扫描的光学扫描全息技术
CN108171762A (zh) * 2017-12-27 2018-06-15 河海大学常州校区 一种深度学习的压缩感知同类图像快速重构系统与方法
CN109447921A (zh) * 2018-12-05 2019-03-08 重庆邮电大学 一种基于重构误差的图像测量矩阵优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WEN CY ETC.: "Spatially resolved random-access pump-probe microscopy based on binary holography", 《OPTICS LETTERS》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110823853A (zh) * 2019-11-29 2020-02-21 北京超纳视觉科技有限公司 一种压缩感知多光子体成像装置及方法、光学系统
CN111698405A (zh) * 2020-06-05 2020-09-22 中国航空工业集团公司洛阳电光设备研究所 一种并行压缩感知成像装置
CN114034678A (zh) * 2021-11-26 2022-02-11 杭州涿溪脑与智能研究所 相位图案生成方法、三光子荧光成像装置及方法
CN115200507A (zh) * 2022-07-28 2022-10-18 华侨大学 一种多波段差动共聚焦显微3d测量方法和装置
CN115200508A (zh) * 2022-07-28 2022-10-18 华侨大学 一种面阵式超精密彩色共聚焦显微镜三维测量装置和方法
CN115200508B (zh) * 2022-07-28 2024-06-25 华侨大学 一种面阵式超精密彩色共聚焦显微镜三维测量装置和方法
CN115200507B (zh) * 2022-07-28 2024-06-25 华侨大学 一种多波段差动共聚焦显微3d测量方法和装置

Also Published As

Publication number Publication date
CN110470667B (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN110470667A (zh) 基于压缩感知和随机多焦点扫描的三维体成像方法及装置
CN102540446B (zh) 一种基于数字微镜器件的高速结构照明光学显微系统及方法
CN104471462B (zh) 多焦结构化照明显微系统和方法
CN110262026B (zh) 孔径扫描傅立叶重叠关联成像
US8031926B2 (en) Discrete event distribution sampling apparatus and methods
EP0911667B1 (en) Programmable spatially light modulated microscope and microscopy method
US8168955B2 (en) Photon event distribution sampling apparatus and method
CN110954524B (zh) 一种非线性结构光超分辨显微成像装置及方法
CN107167929A (zh) 基于dmd的双模式光学超分辨显微成像装置及方法
CN104796609B (zh) 基于最优哈达玛编码的大视场高分辨率显微成像方法
CN110082900A (zh) 可变照明傅立叶重叠关联成像设备、系统以及方法
CN110954523B (zh) 一种双光子扫描结构光显微成像方法及装置
CN101339129A (zh) 基于固定光路系统的变视场扫描显微的方法及其装置
CN110308125A (zh) 三维显微层析计算摄像方法及装置
CN111273433A (zh) 一种高速大视场数字扫描光片显微成像系统
CN212364079U (zh) 一种压缩感知多光子体成像装置及光学系统
CN112986237B (zh) 一种基于焦点扫描结构光照明的超分辨成像装置及方法
CN109799602A (zh) 一种基于线扫描时空聚焦的光显微成像装置及方法
CN113946044A (zh) 基于点扩散函数工程的多焦点多光子显微成像系统及方法
EP3520074B1 (en) Method for the analysis of spatial and temporal information of samples by means of optical microscopy
CN110954520B (zh) 一种扫描结构光显微成像方法及装置
JP7190034B2 (ja) 高スループット光トモグラフィ三次元イメージングシステム
CN115656129A (zh) 一种荧光发射比率超分辨成像方法
CN209624390U (zh) 光学超分辨显微成像系统
CN113504634B (zh) 点扫描长寿命荧光显微成像的智能高速扫描方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant