CN110308125A - 三维显微层析计算摄像方法及装置 - Google Patents

三维显微层析计算摄像方法及装置 Download PDF

Info

Publication number
CN110308125A
CN110308125A CN201910625806.2A CN201910625806A CN110308125A CN 110308125 A CN110308125 A CN 110308125A CN 201910625806 A CN201910625806 A CN 201910625806A CN 110308125 A CN110308125 A CN 110308125A
Authority
CN
China
Prior art keywords
dimensional
sample
fluorescence
low
detectable signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910625806.2A
Other languages
English (en)
Other versions
CN110308125B (zh
Inventor
戴琼海
谢浩
韩晓霏
王旭康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910625806.2A priority Critical patent/CN110308125B/zh
Publication of CN110308125A publication Critical patent/CN110308125A/zh
Application granted granted Critical
Publication of CN110308125B publication Critical patent/CN110308125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0112—Apparatus in one mechanical, optical or electronic block

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明公开了一种三维显微层析计算摄像方法及装置，其中，方法包括以下步骤：将不同深度的高维图像信息耦合到低维探测信号中；利用样本的稀疏特性对低维探测信号解码，得到计算摄像结果。该方法通过编码激发、荧光耦合采集、稀疏重建的方法，实现三维高速层析扫描，从而可以有效克服三维显微层析技术中的成像层数和成像速度之间的矛盾，显著提升了成像的信噪比。

Description

三维显微层析计算摄像方法及装置
技术领域
本发明涉及显微层析成像技术领域，特别涉及一种三维显微层析计算摄像方法及装置。
背景技术
传统的显微方式难以达到三维神经高速层析成像的需求。宽场荧光显微技术是最基本的荧光显微技术，其成像速度仅受限于相机的成像帧率。(对于常用的科研级sCMOS相机，2560*2160像素成像区域最高为100帧/秒)。宽场荧光显微系统不具有层析能力，焦外荧光会显著恶化焦平面信号的画质；其穿透深度因为探测荧光受到散射而限制在200μm左右，仅仅能看到小鼠大脑2/3层神经元的胞体。
相关技术中，一种改进的宽场荧光显微技术是反卷积显微技术，根据点扩展函数信息利用三维图像序列反解获得样本的层析重构。此方案可以部分改善层析能力，但因为点扩展函数的精确测量难以实现和较低的成像信噪比而只适用于大脑表层结构。结构光照明技术利用频域调制的方法获得较好的层析能力，但该技术依赖的正余弦激发条纹在深层组织中会受到明显散射。共聚焦显微技术采用点激发-点探测的技术实现了样本的层析能力，但是随着深度的增加其荧光信号强度会严重衰减，难以应用于深层成像；由于采用了点激发的成像方式，其成像速度受到光学器件机械惯性的制约，难以实现高速成像.转盘共聚焦技术采用并行点扫的方式，大大提升了扫描的速度，但仍然无法克服深度成像的信号散射衰减问题。能够实现深层神经元成像的是非线性荧光技术：以双光子荧光技术为例，因为组织对长波的吸收和散射远小于短波长，采用920nm的红外飞秒激光点扫激发，PMT)(photomultiplier tube，光电倍增管)探测的点扫双光子成像可以获得600μm的成像深度，但其成像速率受到飞秒重复频率、信噪比等的多重制约，仍不能实现高速体成像。时空共聚焦技术是最近提出的双光子荧光技术，该技术通过光栅引入飞秒脉冲色散，在时间和空间两个维度同时对光强调制，实现了宽场的层析照明，成功克服了飞秒激光重复频率对成像速率的限制，但激发的荧光信号还是不可避免地受到组织的散射，因而在深层组织的像质较双光子点扫技术有所降低。
几年来，大量涌现出荧光双光子三维快速成像性能的工作，主要概括为三个方面：一类是采用选择性激发方案，以丢失一部分信息点或者细节的方式加快三维扫描速度；第二类是通过光电技术快速移动物镜的聚焦位置；第三类是在成像完成后通过压缩感知算法利用空间稀疏性提高图像重建质量。但是迄今为止，在双光子三维层析成像领域仍未见工作能够完整地集成计算摄像学的框架，因此仍有很大改进空间。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种三维显微层析计算摄像方法，该方法有效克服三维显微层析技术中的成像层数和成像速度之间的矛盾，显著提升了成像的信噪比。
本发明的另一个目的在于提出一种三维显微层析计算摄像装置。
为达到上述目的，本发明一方面实施例提出了一种三维显微层析计算摄像方法
本发明实施例的三维显微层析计算摄像方法，通过编码激发、荧光耦合采集、稀疏重建的方法，实现三维高速层析扫描，在保证三维荧光成像精度的同时，提升了图像采集速度，并显著提升了成像的信噪比；拍摄后重建得到的高分辨率高帧率三维图像，能够反映出哺乳动物神经科学中的快速生物化学过程，从而有效克服三维显微层析技术中的成像层数和成像速度之间的矛盾，显著提升了成像的信噪比。
另外，根据本发明上述实施例的三维显微层析计算摄像方法还可以具有以下附加的技术特征：
进一步地，在本发的一个实施例中，所述将不同深度的高维图像信息耦合到低维探测信号中，包括：通过闪耀光栅将不同波长的光谱成分聚焦到样本的同一层，同一相机曝光时间内通过声光透镜依次聚焦到样本的不同层，并通过电光调制器编码不同层的照明强度，以实现编码荧光照明。
进一步地，在本发的一个实施例中，激光器和所述电光调制器之间，所述电光调制器和闪耀光栅之间，分别使用半波片调整偏振方向。
进一步地，在本发的一个实施例中，所述将不同深度的高维图像信息耦合到低维探测信号中，还包括：对样本聚焦面发出的荧光，通过荧光物镜和声光透镜后成为平行光，并通过二向色镜和滤波片去除剩余的激发散射光，及经过管镜的聚焦在sCMOS的靶面上成像，以实现荧光耦合采集。
进一步地，在本发的一个实施例中，所述利用样本的稀疏特性对所述低维探测信号解码，包括：将模型建立为I(x,y,t)＝M(z,t)Dijα(x,y,z,t)+N，其中，I(x,y,z,t)为二维探测器上(x,y)位置在t时刻的一个曝光时间内探测到的信号强度，M(z,t)为随着时间变化的空间二维编码，Dij为上步中获得的过完备的字典，α(x,y,z,t)为每一时刻字典对应的系数，N为成像系统对应的噪声；
将求解的代价函数记做F(α)＝F1(α)+F2(α)+F3(α)，其中，误差项三维神经元网络在过完备字典下的稀疏性约束为F2(α)＝λ||α(x,y,z,t)||1，神经元活动在时域的稀疏性约束为F3(α)＝μ||Dtα(x,y,z,t)||1，以将其转化为可求解的优化问题。
为达到上述目的，本发明另一方面实施例提出了一种三维显微层析计算摄像装置，包括：耦合模块，用于将不同深度的高维图像信息耦合到低维探测信号中；解码模块，用于利用样本的稀疏特性对所述低维探测信号解码，得到计算摄像结果。
本发明实施例的三维显微层析计算摄像装置，通过编码激发、荧光耦合采集、稀疏重建的方法，实现三维高速层析扫描，在保证三维荧光成像精度的同时，提升了图像采集速度，并显著提升了成像的信噪比；拍摄后重建得到的高分辨率高帧率三维图像，能够反映出哺乳动物神经科学中的快速生物化学过程，从而有效克服三维显微层析技术中的成像层数和成像速度之间的矛盾，显著提升了成像的信噪比。
另外，根据本发明上述实施例的三维显微层析计算摄像装置还可以具有以下附加的技术特征：
进一步地，在本发的一个实施例中，所述耦合模块进一步在同一时刻通过闪耀光栅将不同波长的光谱成分聚焦到样本的同一层，同一相机曝光时间内通过声光透镜依次聚焦到样本的不同层，并通过电光调制器编码不同层的照明强度，以实现编码荧光照明。
进一步地，在本发的一个实施例中，激光器和所述电光调制器之间，所述电光调制器和闪耀光栅之间，分别使用半波片调整偏振方向。
进一步地，在本发的一个实施例中，所述耦合模块进一步用对样本聚焦面发出的荧光，通过荧光物镜和声光透镜后成为平行光，并通过二向色镜和滤波片去除剩余的激发散射光，及经过管镜的聚焦在sCMOS的靶面上成像，以实现荧光耦合采集。
进一步地，在本发的一个实施例中，所述解码模块进一步用于将模型建立为I(x,y,t)＝M(z,t)Dijα(x,y,z,t)+N，其中，I(x,y,z,t)为二维探测器上(x,y)位置在t时刻的一个曝光时间内探测到的信号强度，M(z,t)为随着时间变化的空间二维编码，Dij为上步中获得的过完备的字典，α(x,y,z,t)为每一时刻字典对应的系数，N为成像系统对应的噪声；将求解的代价函数记做F(α)＝F1(α)+F2(α)+F3(α)，其中，误差项三维神经元网络在过完备字典下的稀疏性约束为F2(α)＝λ||α(x,y,z,t)||1，神经元活动在时域的稀疏性约束为F3(α)＝μ||Dtα(x,y,z,t)||1，以将其转化为可求解的优化问题。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的三维显微层析计算摄像方法的流程图；
图2为根据本发明实施例的系统光路示意图；
图3为根据本发明实施例的三维显微层析计算摄像装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的三维显微层析计算摄像方法及装置，首先将参照附图描述根据本发明实施例提出的三维显微层析计算摄像方法。
图1是本发明一个实施例的三维显微层析计算摄像方法的流程图。
如图1所示，该三维显微层析计算摄像方法包括以下步骤：
在步骤S101中，将不同深度的高维图像信息耦合到低维探测信号中。
进一步地，在本发明的一个实施例中，将不同深度的高维图像信息耦合到低维探测信号中，包括：同一时刻通过闪耀光栅将不同波长的光谱成分聚焦到样本的同一层，同一相机曝光时间内通过声光透镜依次聚焦到样本的不同层，并通过电光调制器编码不同层的照明强度，以实现编码荧光照明。其中，激光器和电光调制器之间，电光调制器和闪耀光栅之间，分别使用半波片调整偏振方向。
可以理解的是，深度编码荧光照明光路，以920nm飞秒激光器为激光光源，由电光调制器按照光照调制序列调制光强，再通过闪耀光栅，将不同波长的光谱成分聚焦到样本的不同位置。激光器和电光调制器之间，电光调制器和闪耀光栅之间，分别使用半波片调整偏振方向。
具体而言，如图2所示，深度编码荧光照明光路包括飞秒激光器、多块半波片和电光调制器、多组扩束透镜、闪耀光栅、声光透镜TAG。其中，飞秒激光器产生的920nm飞秒激光作为双光子荧光的激发光源，保证使绿色荧光钙指示剂GCaMP较高的吸收截面的同时有较低的散射效率。半波片调整出射激光的偏振方向与电光调制器的调制方向一致。电光调制器调节双光子激光随时间的变化。电光调制器发出的激光又经过一次半波片，偏振方向调整为和闪耀光栅的方向一致。光线通过透镜组扩束。扩束后的光纤照射到闪耀光栅表面，由衍射效应，不同波长的光谱成分经过扫描振镜后被二向色镜反射后聚焦到物镜后焦面的不同位置，形成一条光谱维度的直线，在焦面上实现时空两个维度的同时聚焦。声光透镜TAG调节双光子激发平面的不同位置。
进一步地，在本发明的一个实施例中，将不同深度的高维图像信息耦合到低维探测信号中，还包括：对样本聚焦面发出的荧光，通过荧光物镜和声光透镜后成为平行光，并通过二向色镜和滤波片去除剩余的激发散射光，及经过管镜的聚焦在sCMOS的靶面上成像，以实现荧光耦合采集。
具体而言，如图2所示，荧光耦合采集光路包括物镜、二向色镜、滤波片、管镜、sCMOS。在相机的一个曝光周期内，采用时分复用的方法将不同层同一横向位置的信息耦合采集到sCMOS的一个像素中。样本聚焦面发出的荧光通过荧光物镜和声光透镜后成为平行光，通过二向色镜和滤波片去除剩余的激发散射光，最后经过管镜的聚焦在sCMOS的靶面上成像。sCMOS相机的帧率约为100帧，声光透镜的共振频率可达50KHz。声光透镜的每一个聚焦位置，激发的荧光光强在相机上成像，相机的每一帧采集到的信号是声光透镜聚焦在不同层时得到的样本荧光信号叠加，实现了深度方向信号的耦合采集。
在步骤S102中，利用样本的稀疏特性对低维探测信号解码，得到计算摄像结果。
进一步地，在本发明的一个实施例中，利用样本的稀疏特性对低维探测信号解码，包括：将模型建立为I(x,y,t)＝M(z,t)Dijα(x,y,z,t)+N，其中，I(x,y,z,t)为二维探测器上(x,y)位置在t时刻的一个曝光时间内探测到的信号强度，M(z,t)为随着时间变化的空间二维编码，Dij为上步中获得的过完备的字典，α(x,y,z,t)为每一时刻字典对应的系数，N为成像系统对应的噪声；将求解的代价函数记做F(α)＝F1(α)+F2(α)+F3(α)，其中，误差项三维神经元网络在过完备字典下的稀疏性约束为F2(α)＝λ||α(x,y,z,t)||1，神经元活动在时域的稀疏性约束为F3(α)＝μ||Dtα(x,y,z,t)||1，以将其转化为可求解的优化问题。
具体而言，如图2所示，三维荧光图像稀疏重建算法包括建立神经元荧光特征字典、神经元荧光照明序列优化、三维时空联合图像重建。神经元荧光特征字典的建立步骤如下：三维神经元图像中的每一个体元可以表示为式中，xij表示图像中位置ij的像素，dk表示第k个过完备的字典序列，zijk表示该位置字典序列的表示系数。令最小化函数采用交替方向乘子算法通过迭代获得一个过完备的字典序列。
神经元荧光照明序列优化步骤如下：选取和字典的相干度最小的测量矩阵，通过迭代法求解照明序列，假设三维神经元的过完备字典集为Ψ，迭代步长为η,矩阵最大迭代次数为K。首先初始化测量矩阵为高斯随机矩阵，之后通过梯度下降法获得优化的测量矩阵：K次迭代后将该序列编码后输入系统控制器，即可实现高效的深度稀疏编码。
三维时空联合图像重建的步骤包括：建立模型为I(x,y,t)＝M(z,t)Dijα(x,y,z,t)+N，其中I(x,y,z,t)是二维探测器上(x,y)位置在t时刻的一个曝光时间内探测到的信号强度，M(z,t)是随着时间变化的空间二维编码，Dij是上步中获得的过完备的字典，α(x,y,z,t)是每一时刻字典对应的系数，N是成像系统对应的噪声。将求解的代价函数记做F(α)＝F1(α)+F2(α)+F3(α)，其中误差项三维神经元网络在本发明实施例的过完备字典下的稀疏性约束为F2(α)＝λ||α(x,y,z,t)||1，神经元活动在时域的稀疏性约束为F3(α)＝μ||Dtα(x,y,z,t)||1。采取准静态假设选取迭代初值，即假设在采样时间内样本位置不发生变化，令优化函数的第三项为0。对于每个图像采集的时刻，认为图像采集前的N个时刻的照明序列变化中样本的神经钙信号强度保持不变，然后作为压缩感知成像问题求解。
综上，本发明实施例的方法通过双光子编码激发、荧光耦合采集、稀疏重建的方法，实现三维高速层析扫描，从而在克服成像层数和成像速度之间矛盾的同时，显著提升了成像的信噪比。本发明实施例的方法包括编码荧光照明、荧光耦合采集和三维图像稀疏重建三个部分，即将不同深度的高维图像信息耦合到低维探测信号中，然后利用样本的稀疏特性对低维探测信号解码。本发明实施例的方法的创新点体现在：提出用时空编码实现双光子计算层析显微的新方法、针对三维神经网络动态成像问题的计算摄像学新思路、普适的双光子光学高分辨计算神经层析成像平台。
根据本发明实施例提出的通过编码激发、荧光耦合采集、稀疏重建的方法，实现三维高速层析扫描，在保证三维荧光成像精度的同时，提升了图像采集速度，并显著提升了成像的信噪比；拍摄后重建得到的高分辨率高帧率三维图像，能够反映出哺乳动物神经科学中的快速生物化学过程，从而有效克服三维显微层析技术中的成像层数和成像速度之间的矛盾，显著提升了成像的信噪比
其次参照附图描述根据本发明实施例提出的三维显微层析计算摄像装置。
图3是本发明一个实施例的三维显微层析计算摄像装置的结构示意图。
如图3所示，该三维显微层析计算摄像装置10包括：耦合模块100和解码模块200。
其中，耦合模块100用于将不同深度的高维图像信息耦合到低维探测信号中。解码模块200用于利用样本的稀疏特性对低维探测信号解码，得到计算摄像结果。本发明实施例的装置10通过编码激发、荧光耦合采集、稀疏重建的方法，实现三维高速层析扫描，从而可以有效克服三维显微层析技术中的成像层数和成像速度之间的矛盾，显著提升了成像的信噪比。
进一步地，在本发的一个实施例中，耦合模块100进一步通过闪耀光栅将不同波长的光谱成分聚焦到样本的同一层，同一相机曝光时间内通过声光透镜依次聚焦到样本的不同层，并通过电光调制器编码不同层的照明强度，以实现编码荧光照明。
进一步地，在本发的一个实施例中，激光器和电光调制器之间，电光调制器和闪耀光栅之间，分别使用半波片调整偏振方向。
进一步地，在本发的一个实施例中，耦合模块100进一步用对样本聚焦面发出的荧光，通过荧光物镜和声光透镜后成为平行光，并通过二向色镜和滤波片去除剩余的激发散射光，及经过管镜的聚焦在sCMOS的靶面上成像，以实现荧光耦合采集。
进一步地，在本发的一个实施例中，解码模块200进一步用于将模型建立为I(x,y,t)＝M(z,t)Dijα(x,y,z,t)+N，其中，I(x,y,z,t)为二维探测器上(x,y)位置在t时刻的一个曝光时间内探测到的信号强度，M(z,t)为随着时间变化的空间二维编码，Dij为上步中获得的过完备的字典，α(x,y,z,t)为每一时刻字典对应的系数，N为成像系统对应的噪声；将求解的代价函数记做F(α)＝F1(α)+F2(α)+F3(α)，其中，误差项三维神经元网络在过完备字典下的稀疏性约束为F2(α)＝λ||α(x,y,z,t)||1，神经元活动在时域的稀疏性约束为F3(α)＝μ||Dtα(x,y,z,t)||1，以将其转化为可求解的优化问题。
需要说明的是，前述对三维显微层析计算摄像方法实施例的解释说明也适用于该实施例的三维显微层析计算摄像装置，此处不再赘述。
根据本发明实施例提出的三维显微层析计算摄像装置，通过编码激发、荧光耦合采集、稀疏重建的方法，实现三维高速层析扫描，在保证三维荧光成像精度的同时，提升了图像采集速度，并显著提升了成像的信噪比；拍摄后重建得到的高分辨率高帧率三维图像，能够反映出哺乳动物神经科学中的快速生物化学过程，从而有效克服三维显微层析技术中的成像层数和成像速度之间的矛盾，显著提升了成像的信噪比。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种三维显微层析计算摄像方法，其特征在于，包括以下步骤：
将不同深度的高维图像信息耦合到低维探测信号中；
利用样本的稀疏特性对所述低维探测信号解码，得到计算摄像结果。
2.根据权利要求1所述的方法，其特征在于，所述将不同深度的高维图像信息耦合到低维探测信号中，包括：
通过闪耀光栅将不同波长的光谱成分聚焦到样本的同一层，同一相机曝光时间内通过声光透镜依次聚焦到样本的不同层，并通过电光调制器编码不同层的照明强度，以实现编码荧光照明。
3.根据权利要求2所述的方法，其特征在于，激光器和所述电光调制器之间，所述电光调制器和闪耀光栅之间，分别使用半波片调整偏振方向。
4.根据权利要求1所述的方法，其特征在于，所述将不同深度的高维图像信息耦合到低维探测信号中，还包括：
对样本聚焦面发出的荧光，通过荧光物镜和声光透镜后成为平行光，并通过二向色镜和滤波片去除剩余的激发散射光，及经过管镜的聚焦在sCMOS的靶面上成像，以实现荧光耦合采集。
5.根据权利要求1所述的方法，其特征在于，所述利用样本的稀疏特性对所述低维探测信号解码，包括：
将模型建立为I(x,y,t)＝M(z,t)Dijα(x,y,z,t)+N，其中，I(x,y,z,t)为二维探测器上(x,y)位置在t时刻的一个曝光时间内探测到的信号强度，M(z,t)为随着时间变化的空间二维编码，Dij为上步中获得的过完备的字典，α(x,y,z,t)为每一时刻字典对应的系数，N为成像系统对应的噪声；
将求解的代价函数记做F(α)＝F1(α)+F2(α)+F3(α)，其中，误差项三维神经元网络在过完备字典下的稀疏性约束为F2(α)＝λ||α(x,y,z,t)||1，神经元活动在时域的稀疏性约束为F3(α)＝μ||Dtα(x,y,z,t)||1，以将其转化为可求解的优化问题。
6.一种三维显微层析计算摄像装置，其特征在于，包括：
耦合模块，用于将不同深度的高维图像信息耦合到低维探测信号中；
解码模块，用于利用样本的稀疏特性对所述低维探测信号解码，得到计算摄像结果。
7.根据权利要求6所述的装置，其特征在于，所述耦合模块进一步通过闪耀光栅将不同波长的光谱成分聚焦到样本的同一层，同一相机曝光时间内通过声光透镜依次聚焦到样本的不同层，并通过电光调制器编码不同层的照明强度，以实现编码荧光照明。
8.根据权利要求7所述的装置，其特征在于，激光器和所述电光调制器之间，所述电光调制器和闪耀光栅之间，分别使用半波片调整偏振方向。
9.根据权利要求6所述的装置，其特征在于，所述耦合模块进一步用对样本聚焦面发出的荧光，通过荧光物镜和声光透镜后成为平行光，并通过二向色镜和滤波片去除剩余的激发散射光，及经过管镜的聚焦在sCMOS的靶面上成像，以实现荧光耦合采集。
10.根据权利要求6所述的装置，其特征在于，所述解码模块进一步用于将模型建立为I(x,y,t)＝M(z,t)Dijα(x,y,z,t)+N，其中，I(x,y,z,t)为二维探测器上(x,y)位置在t时刻的一个曝光时间内探测到的信号强度，M(z,t)为随着时间变化的空间二维编码，Dij为上步中获得的过完备的字典，α(x,y,z,t)为每一时刻字典对应的系数，N为成像系统对应的噪声；将求解的代价函数记做F(α)＝F1(α)+F2(α)+F3(α)，其中，误差项三维神经元网络在过完备字典下的稀疏性约束为F2(α)＝λ||α(x,y,z,t)||1，神经元活动在时域的稀疏性约束为F3(α)＝μ||Dtα(x,y,z,t)||1，以将其转化为可求解的优化问题。
CN201910625806.2A 2019-07-11 2019-07-11 三维显微层析计算摄像方法及装置 Active CN110308125B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910625806.2A CN110308125B (zh) 2019-07-11 2019-07-11 三维显微层析计算摄像方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910625806.2A CN110308125B (zh) 2019-07-11 2019-07-11 三维显微层析计算摄像方法及装置

Publications (2)

Publication Number Publication Date
CN110308125A true CN110308125A (zh) 2019-10-08
CN110308125B CN110308125B (zh) 2020-11-03

Family

ID=68080018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910625806.2A Active CN110308125B (zh) 2019-07-11 2019-07-11 三维显微层析计算摄像方法及装置

Country Status (1)

Country Link
CN (1) CN110308125B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110927945A (zh) * 2019-11-28 2020-03-27 清华大学 三维宽视场和高分辨层析成像方法及装置
CN113191981A (zh) * 2021-05-13 2021-07-30 清华大学 基于非负矩阵分解的深层双光子钙成像方法和装置
CN113287540A (zh) * 2021-05-13 2021-08-24 清华大学 基于移动平台的动物实验的移动观测系统及方法
CN113640294A (zh) * 2021-10-13 2021-11-12 清华大学 曲面显微成像系统及其成像方法
CN113765585A (zh) * 2020-06-04 2021-12-07 中国电子科技集团公司第十一研究所 一种建立通信链接的方法及系统
CN115688544A (zh) * 2022-06-20 2023-02-03 河海大学 一种基于mlp神经网络的微波衰减降雪场层析重构方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102540446A (zh) * 2011-12-28 2012-07-04 中国科学院西安光学精密机械研究所 一种基于数字微镜器件的高速结构照明光学显微系统及方法
CN104539851A (zh) * 2014-12-26 2015-04-22 中国科学院西安光学精密机械研究所 一种基于像元优化编码曝光的高速成像系统及方法
CN104574336A (zh) * 2015-01-19 2015-04-29 上海交通大学 基于自适应亚模字典选择的超分辨率图像重建系统
CN106227015A (zh) * 2016-07-11 2016-12-14 中国科学院深圳先进技术研究院 一种基于压缩感知理论的全息图像高分辨率重建方法及系统
CN106770147A (zh) * 2017-03-15 2017-05-31 北京大学 一种结构光照明超分辨显微成像系统及其成像方法
CN106842529A (zh) * 2017-01-23 2017-06-13 清华大学 快速三维显微成像系统
CN107064005A (zh) * 2017-06-16 2017-08-18 中国科学技术大学 一种高光谱光场的快照式成像系统以及重建算法
WO2017152702A1 (zh) * 2016-03-10 2017-09-14 清华大学 一种结构光照明显微镜的成像方法及装置
CN206627440U (zh) * 2017-04-01 2017-11-10 北京工业大学 一种超分辨率荧光数字全息断层显微成像系统
CN107389631A (zh) * 2017-04-28 2017-11-24 中国科学院生物物理研究所 高速多色多模态结构光照明超分辨显微成像系统及其方法
CN108169133A (zh) * 2017-12-28 2018-06-15 清华大学 线扫描稀疏采样双光子成像方法及装置
US20180203218A1 (en) * 2017-01-13 2018-07-19 Tsinghua University Rapid three-dimensional multispectral microscopic imaging system
US20180307017A1 (en) * 2013-07-31 2018-10-25 California Institute Of Technology Aperture scanning fourier ptychographic imaging

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102540446A (zh) * 2011-12-28 2012-07-04 中国科学院西安光学精密机械研究所 一种基于数字微镜器件的高速结构照明光学显微系统及方法
US20180307017A1 (en) * 2013-07-31 2018-10-25 California Institute Of Technology Aperture scanning fourier ptychographic imaging
CN104539851A (zh) * 2014-12-26 2015-04-22 中国科学院西安光学精密机械研究所 一种基于像元优化编码曝光的高速成像系统及方法
CN104574336A (zh) * 2015-01-19 2015-04-29 上海交通大学 基于自适应亚模字典选择的超分辨率图像重建系统
WO2017152702A1 (zh) * 2016-03-10 2017-09-14 清华大学 一种结构光照明显微镜的成像方法及装置
CN106227015A (zh) * 2016-07-11 2016-12-14 中国科学院深圳先进技术研究院 一种基于压缩感知理论的全息图像高分辨率重建方法及系统
US20180203218A1 (en) * 2017-01-13 2018-07-19 Tsinghua University Rapid three-dimensional multispectral microscopic imaging system
CN106842529A (zh) * 2017-01-23 2017-06-13 清华大学 快速三维显微成像系统
CN106770147A (zh) * 2017-03-15 2017-05-31 北京大学 一种结构光照明超分辨显微成像系统及其成像方法
CN206627440U (zh) * 2017-04-01 2017-11-10 北京工业大学 一种超分辨率荧光数字全息断层显微成像系统
CN107389631A (zh) * 2017-04-28 2017-11-24 中国科学院生物物理研究所 高速多色多模态结构光照明超分辨显微成像系统及其方法
CN107064005A (zh) * 2017-06-16 2017-08-18 中国科学技术大学 一种高光谱光场的快照式成像系统以及重建算法
CN108169133A (zh) * 2017-12-28 2018-06-15 清华大学 线扫描稀疏采样双光子成像方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杜艳丽等: "基于空间光调制器的光学显微成像技术", 《激光与光电子学进展》 *
梁艳明等: "基于空间光调制器的多层图像的构建与可视化", 《光子学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110927945A (zh) * 2019-11-28 2020-03-27 清华大学 三维宽视场和高分辨层析成像方法及装置
CN113765585A (zh) * 2020-06-04 2021-12-07 中国电子科技集团公司第十一研究所 一种建立通信链接的方法及系统
CN113765585B (zh) * 2020-06-04 2024-03-26 中国电子科技集团公司第十一研究所 一种建立通信链接的方法及系统
CN113191981A (zh) * 2021-05-13 2021-07-30 清华大学 基于非负矩阵分解的深层双光子钙成像方法和装置
CN113287540A (zh) * 2021-05-13 2021-08-24 清华大学 基于移动平台的动物实验的移动观测系统及方法
CN113191981B (zh) * 2021-05-13 2022-09-09 清华大学 基于非负矩阵分解的深层双光子钙成像方法和装置
CN113640294A (zh) * 2021-10-13 2021-11-12 清华大学 曲面显微成像系统及其成像方法
CN115688544A (zh) * 2022-06-20 2023-02-03 河海大学 一种基于mlp神经网络的微波衰减降雪场层析重构方法

Also Published As

Publication number Publication date
CN110308125B (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN110308125A (zh) 三维显微层析计算摄像方法及装置
US10768402B2 (en) Microscopy of a tissue sample using structured illumination
Rousset et al. Time-resolved multispectral imaging based on an adaptive single-pixel camera
CN102540446B (zh) 一种基于数字微镜器件的高速结构照明光学显微系统及方法
CN105659143B (zh) 孔径扫描傅立叶重叠关联成像
US8504140B2 (en) Apparatus and method for fluorescence imaging and tomography using spatially structured illumination
US7821640B2 (en) Method and device for reconstructing a three-dimensional fluorescence optical tomography image by double measurement
Calisesi et al. Compressed sensing in fluorescence microscopy
CN103926225B (zh) 一种基于倏逝波照明的荧光发射微分显微方法及装置
CN112930492B (zh) 用于使用时间复用光片的快速体积荧光显微术的装置和方法
CN104459971B (zh) 一种基于集成光子芯片的结构光照明显微成像系统
CN105044897B (zh) 基于稀疏约束的快速随机光学重构成像系统及方法
CN108061965A (zh) 基于变角度全内反射结构光照明的三维超分辨显微成像方法和装置
CN108956561A (zh) 基于扫描振镜的共聚焦与环形全内反射双模式显微镜系统
US10018817B2 (en) Adaptive optics for imaging through highly scattering media in oil reservoir applications
Farina et al. Multiple-view diffuse optical tomography system based on time-domain compressive measurements
CN110470667A (zh) 基于压缩感知和随机多焦点扫描的三维体成像方法及装置
CN106198466A (zh) 一种实现超分辨偶极子取向解析的方法
Teng et al. Time-encoded single-pixel 3D imaging
CN106248643A (zh) 一种高光谱分辨的扫描激光光学层析成像方法的系统
CN106226276A (zh) 一种步进角度激光装置
CN106248642A (zh) 一种智能分辨激光光学层析成像方法的系统
CN102512193B (zh) 基于小波数据压缩的双模式活体成像系统及方法
Liang et al. Ultrafast optical imaging
Zhang et al. Effects of sampling strategy on image quality in noncontact panoramic fluorescence diffuse optical tomography for small animal imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant