CN110308125B - 三维显微层析计算摄像方法及装置 - Google Patents
三维显微层析计算摄像方法及装置 Download PDFInfo
- Publication number
- CN110308125B CN110308125B CN201910625806.2A CN201910625806A CN110308125B CN 110308125 B CN110308125 B CN 110308125B CN 201910625806 A CN201910625806 A CN 201910625806A CN 110308125 B CN110308125 B CN 110308125B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- fluorescence
- sample
- imaging
- coupling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000010603 microCT Methods 0.000 title claims description 20
- 238000003384 imaging method Methods 0.000 claims abstract description 53
- 230000008878 coupling Effects 0.000 claims abstract description 37
- 238000010168 coupling process Methods 0.000 claims abstract description 37
- 238000005859 coupling reaction Methods 0.000 claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 230000005284 excitation Effects 0.000 claims abstract description 19
- 238000005286 illumination Methods 0.000 claims description 21
- 210000002569 neuron Anatomy 0.000 claims description 14
- 230000003595 spectral effect Effects 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 9
- 230000010287 polarization Effects 0.000 claims description 9
- 230000001537 neural effect Effects 0.000 claims description 8
- 238000002601 radiography Methods 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims 1
- 229910044991 metal oxide Inorganic materials 0.000 claims 1
- 150000004706 metal oxides Chemical class 0.000 claims 1
- 239000004065 semiconductor Substances 0.000 claims 1
- 238000003325 tomography Methods 0.000 abstract description 20
- 238000005516 engineering process Methods 0.000 abstract description 17
- 238000004364 calculation method Methods 0.000 abstract description 4
- 239000000523 sample Substances 0.000 description 25
- 238000000799 fluorescence microscopy Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 5
- 230000003851 biochemical process Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 3
- 229910052791 calcium Inorganic materials 0.000 description 3
- 239000011575 calcium Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000005036 nerve Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000004624 confocal microscopy Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000000386 microscopy Methods 0.000 description 2
- 108010043121 Green Fluorescent Proteins Proteins 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 210000005056 cell body Anatomy 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
- G01N2021/0106—General arrangement of respective parts
- G01N2021/0112—Apparatus in one mechanical, optical or electronic block
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Health & Medical Sciences (AREA)
- Immunology (AREA)
- General Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明公开了一种三维显微层析计算摄像方法及装置，其中，方法包括以下步骤：将不同深度的高维图像信息耦合到低维探测信号中；利用样本的稀疏特性对低维探测信号解码，得到计算摄像结果。该方法通过编码激发、荧光耦合采集、稀疏重建的方法，实现三维高速层析扫描，从而可以有效克服三维显微层析技术中的成像层数和成像速度之间的矛盾，显著提升了成像的信噪比。
Description
技术领域
本发明涉及显微层析成像技术领域，特别涉及一种三维显微层析计算摄像方法及装置。
背景技术
传统的显微方式难以达到三维神经高速层析成像的需求。宽场荧光显微技术是最基本的荧光显微技术，其成像速度仅受限于相机的成像帧率。(对于常用的科研级sCMOS相机，2560*2160像素成像区域最高为100帧/秒)。宽场荧光显微系统不具有层析能力，焦外荧光会显著恶化焦平面信号的画质；其穿透深度因为探测荧光受到散射而限制在200μm左右，仅仅能看到小鼠大脑2/3层神经元的胞体。
相关技术中，一种改进的宽场荧光显微技术是反卷积显微技术，根据点扩展函数信息利用三维图像序列反解获得样本的层析重构。此方案可以部分改善层析能力，但因为点扩展函数的精确测量难以实现和较低的成像信噪比而只适用于大脑表层结构。结构光照明技术利用频域调制的方法获得较好的层析能力，但该技术依赖的正余弦激发条纹在深层组织中会受到明显散射。共聚焦显微技术采用点激发-点探测的技术实现了样本的层析能力，但是随着深度的增加其荧光信号强度会严重衰减，难以应用于深层成像；由于采用了点激发的成像方式，其成像速度受到光学器件机械惯性的制约，难以实现高速成像.转盘共聚焦技术采用并行点扫的方式，大大提升了扫描的速度，但仍然无法克服深度成像的信号散射衰减问题。能够实现深层神经元成像的是非线性荧光技术：以双光子荧光技术为例，因为组织对长波的吸收和散射远小于短波长，采用920nm的红外飞秒激光点扫激发，PMT)(photomultiplier tube，光电倍增管)探测的点扫双光子成像可以获得600μm的成像深度，但其成像速率受到飞秒重复频率、信噪比等的多重制约，仍不能实现高速体成像。时空共聚焦技术是最近提出的双光子荧光技术，该技术通过光栅引入飞秒脉冲色散，在时间和空间两个维度同时对光强调制，实现了宽场的层析照明，成功克服了飞秒激光重复频率对成像速率的限制，但激发的荧光信号还是不可避免地受到组织的散射，因而在深层组织的像质较双光子点扫技术有所降低。
几年来，大量涌现出荧光双光子三维快速成像性能的工作，主要概括为三个方面：一类是采用选择性激发方案，以丢失一部分信息点或者细节的方式加快三维扫描速度；第二类是通过光电技术快速移动物镜的聚焦位置；第三类是在成像完成后通过压缩感知算法利用空间稀疏性提高图像重建质量。但是迄今为止，在双光子三维层析成像领域仍未见工作能够完整地集成计算摄像学的框架，因此仍有很大改进空间。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种三维显微层析计算摄像方法，该方法有效克服三维显微层析技术中的成像层数和成像速度之间的矛盾，显著提升了成像的信噪比。
本发明的另一个目的在于提出一种三维显微层析计算摄像装置。
为达到上述目的，本发明一方面实施例提出了一种三维显微层析计算摄像方法
本发明实施例的三维显微层析计算摄像方法，通过编码激发、荧光耦合采集、稀疏重建的方法，实现三维高速层析扫描，在保证三维荧光成像精度的同时，提升了图像采集速度，并显著提升了成像的信噪比；拍摄后重建得到的高分辨率高帧率三维图像，能够反映出哺乳动物神经科学中的快速生物化学过程，从而有效克服三维显微层析技术中的成像层数和成像速度之间的矛盾，显著提升了成像的信噪比。
另外，根据本发明上述实施例的三维显微层析计算摄像方法还可以具有以下附加的技术特征：
进一步地，在本发的一个实施例中，所述将不同深度的高维图像信息耦合到低维探测信号中，包括：通过闪耀光栅将不同波长的光谱成分聚焦到样本的同一层，同一相机曝光时间内通过声光透镜依次聚焦到样本的不同层，并通过电光调制器编码不同层的照明强度，以实现编码荧光照明。
进一步地，在本发的一个实施例中，激光器和所述电光调制器之间，所述电光调制器和闪耀光栅之间，分别使用半波片调整偏振方向。
进一步地，在本发的一个实施例中，所述将不同深度的高维图像信息耦合到低维探测信号中，还包括：对样本聚焦面发出的荧光，通过荧光物镜和声光透镜后成为平行光，并通过二向色镜和滤波片去除剩余的激发散射光，及经过管镜的聚焦在sCMOS的靶面上成像，以实现荧光耦合采集。
进一步地，在本发的一个实施例中，所述利用样本的稀疏特性对所述低维探测信号解码，包括：将模型建立为I(x,y,t)＝M(z,t)Dijα(x,y,z,t)+N，其中，I(x,y,z,t)为二维探测器上(x,y)位置在t时刻的一个曝光时间内探测到的信号强度，M(z,t)为随着时间变化的空间二维编码，Dij为上步中获得的过完备的字典，α(x,y,z,t)为每一时刻字典对应的系数，N为成像系统对应的噪声；
将求解的代价函数记做F(α)＝F1(α)+F2(α)+F3(α)，其中，误差项
三维神经元网络在过完备字典下的稀疏性约束为F2(α)＝λ||α(x,y,z,t)||1，神经元活动在时域的稀疏性约束为F3(α)＝μ||Dtα(x,y,z,t)||1，以将其转化为可求解的优化问题。
为达到上述目的，本发明另一方面实施例提出了一种三维显微层析计算摄像装置，包括：耦合模块，用于将不同深度的高维图像信息耦合到低维探测信号中；解码模块，用于利用样本的稀疏特性对所述低维探测信号解码，得到计算摄像结果。
本发明实施例的三维显微层析计算摄像装置，通过编码激发、荧光耦合采集、稀疏重建的方法，实现三维高速层析扫描，在保证三维荧光成像精度的同时，提升了图像采集速度，并显著提升了成像的信噪比；拍摄后重建得到的高分辨率高帧率三维图像，能够反映出哺乳动物神经科学中的快速生物化学过程，从而有效克服三维显微层析技术中的成像层数和成像速度之间的矛盾，显著提升了成像的信噪比。
另外，根据本发明上述实施例的三维显微层析计算摄像装置还可以具有以下附加的技术特征：
进一步地，在本发的一个实施例中，所述耦合模块进一步在同一时刻通过闪耀光栅将不同波长的光谱成分聚焦到样本的同一层，同一相机曝光时间内通过声光透镜依次聚焦到样本的不同层，并通过电光调制器编码不同层的照明强度，以实现编码荧光照明。
进一步地，在本发的一个实施例中，激光器和所述电光调制器之间，所述电光调制器和闪耀光栅之间，分别使用半波片调整偏振方向。
进一步地，在本发的一个实施例中，所述耦合模块进一步用对样本聚焦面发出的荧光，通过荧光物镜和声光透镜后成为平行光，并通过二向色镜和滤波片去除剩余的激发散射光，及经过管镜的聚焦在sCMOS的靶面上成像，以实现荧光耦合采集。
进一步地，在本发的一个实施例中，所述解码模块进一步用于将模型建立为I(x,y,t)＝M(z,t)Dijα(x,y,z,t)+N，其中，I(x,y,z,t)为二维探测器上(x,y)位置在t时刻的一个曝光时间内探测到的信号强度，M(z,t)为随着时间变化的空间二维编码，Dij为上步中获得的过完备的字典，α(x,y,z,t)为每一时刻字典对应的系数，N为成像系统对应的噪声；将求解的代价函数记做F(α)＝F1(α)+F2(α)+F3(α)，其中，误差项
三维神经元网络在过完备字典下的稀疏性约束为F2(α)＝λ||α(x,y,z,t)||1，神经元活动在时域的稀疏性约束为F3(α)＝μ||Dtα(x,y,z,t)||1，以将其转化为可求解的优化问题。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的三维显微层析计算摄像方法的流程图；
图2为根据本发明实施例的系统光路示意图；
图3为根据本发明实施例的三维显微层析计算摄像装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的三维显微层析计算摄像方法及装置，首先将参照附图描述根据本发明实施例提出的三维显微层析计算摄像方法。
图1是本发明一个实施例的三维显微层析计算摄像方法的流程图。
如图1所示，该三维显微层析计算摄像方法包括以下步骤：
在步骤S101中，将不同深度的高维图像信息耦合到低维探测信号中。
进一步地，在本发明的一个实施例中，将不同深度的高维图像信息耦合到低维探测信号中，包括：同一时刻通过闪耀光栅将不同波长的光谱成分聚焦到样本的同一层，同一相机曝光时间内通过声光透镜依次聚焦到样本的不同层，并通过电光调制器编码不同层的照明强度，以实现编码荧光照明。其中，激光器和电光调制器之间，电光调制器和闪耀光栅之间，分别使用半波片调整偏振方向。
可以理解的是，深度编码荧光照明光路，以920nm飞秒激光器为激光光源，由电光调制器按照光照调制序列调制光强，再通过闪耀光栅，将不同波长的光谱成分聚焦到样本的不同位置。激光器和电光调制器之间，电光调制器和闪耀光栅之间，分别使用半波片调整偏振方向。
具体而言，如图2所示，深度编码荧光照明光路包括飞秒激光器、多块半波片和电光调制器、多组扩束透镜、闪耀光栅、声光透镜TAG。其中，飞秒激光器产生的920nm飞秒激光作为双光子荧光的激发光源，保证使绿色荧光钙指示剂GCaMP较高的吸收截面的同时有较低的散射效率。半波片调整出射激光的偏振方向与电光调制器的调制方向一致。电光调制器调节双光子激光随时间的变化。电光调制器发出的激光又经过一次半波片，偏振方向调整为和闪耀光栅的方向一致。光线通过透镜组扩束。扩束后的光纤照射到闪耀光栅表面，由衍射效应，不同波长的光谱成分经过扫描振镜后被二向色镜反射后聚焦到物镜后焦面的不同位置，形成一条光谱维度的直线，在焦面上实现时空两个维度的同时聚焦。声光透镜TAG调节双光子激发平面的不同位置。
进一步地，在本发明的一个实施例中，将不同深度的高维图像信息耦合到低维探测信号中，还包括：对样本聚焦面发出的荧光，通过荧光物镜和声光透镜后成为平行光，并通过二向色镜和滤波片去除剩余的激发散射光，及经过管镜的聚焦在sCMOS的靶面上成像，以实现荧光耦合采集。
具体而言，如图2所示，荧光耦合采集光路包括物镜、二向色镜、滤波片、管镜、sCMOS。在相机的一个曝光周期内，采用时分复用的方法将不同层同一横向位置的信息耦合采集到sCMOS的一个像素中。样本聚焦面发出的荧光通过荧光物镜和声光透镜后成为平行光，通过二向色镜和滤波片去除剩余的激发散射光，最后经过管镜的聚焦在sCMOS的靶面上成像。sCMOS相机的帧率约为100帧，声光透镜的共振频率可达50KHz。声光透镜的每一个聚焦位置，激发的荧光光强在相机上成像，相机的每一帧采集到的信号是声光透镜聚焦在不同层时得到的样本荧光信号叠加，实现了深度方向信号的耦合采集。
在步骤S102中，利用样本的稀疏特性对低维探测信号解码，得到计算摄像结果。
进一步地，在本发明的一个实施例中，利用样本的稀疏特性对低维探测信号解码，包括：将模型建立为I(x,y,t)＝M(z,t)Dijα(x,y,z,t)+N，其中，I(x,y,z,t)为二维探测器上(x,y)位置在t时刻的一个曝光时间内探测到的信号强度，M(z,t)为随着时间变化的空间二维编码，Dij为上步中获得的过完备的字典，α(x,y,z,t)为每一时刻字典对应的系数，N为成像系统对应的噪声；将求解的代价函数记做F(α)＝F1(α)+F2(α)+F3(α)，其中，误差项
三维神经元网络在过完备字典下的稀疏性约束为F2(α)＝λ||α(x,y,z,t)||1，神经元活动在时域的稀疏性约束为F3(α)＝μ||Dtα(x,y,z,t)||1，以将其转化为可求解的优化问题。
具体而言，如图2所示，三维荧光图像稀疏重建算法包括建立神经元荧光特征字典、神经元荧光照明序列优化、三维时空联合图像重建。神经元荧光特征字典的建立步骤如下：三维神经元图像中的每一个体元可以表示为
式中，xij表示图像中位置ij的像素，dk表示第k个过完备的字典序列，zijk表示该位置字典序列的表示系数。令最小化函数
采用交替方向乘子算法通过迭代获得一个过完备的字典序列。
神经元荧光照明序列优化步骤如下：选取和字典的相干度最小的测量矩阵，通过迭代法求解照明序列，假设三维神经元的过完备字典集为Ψ，迭代步长为η,矩阵最大迭代次数为K。首先初始化测量矩阵为高斯随机矩阵，之后通过梯度下降法获得优化的测量矩阵：
K次迭代后将该序列编码后输入系统控制器，即可实现高效的深度稀疏编码。
三维时空联合图像重建的步骤包括：建立模型为I(x,y,t)＝M(z,t)Dijα(x,y,z,t)+N，其中I(x,y,z,t)是二维探测器上(x,y)位置在t时刻的一个曝光时间内探测到的信号强度，M(z,t)是随着时间变化的空间二维编码，Dij是上步中获得的过完备的字典，α(x,y,z,t)是每一时刻字典对应的系数，N是成像系统对应的噪声。将求解的代价函数记做F(α)＝F1(α)+F2(α)+F3(α)，其中误差项
三维神经元网络在本发明实施例的过完备字典下的稀疏性约束为F2(α)＝λ||α(x,y,z,t)||1，神经元活动在时域的稀疏性约束为F3(α)＝μ||Dtα(x,y,z,t)||1。采取准静态假设选取迭代初值，即假设在采样时间内样本位置不发生变化，令优化函数的第三项为0。对于每个图像采集的时刻，认为图像采集前的N个时刻的照明序列变化中样本的神经钙信号强度保持不变，然后作为压缩感知成像问题求解。
综上，本发明实施例的方法通过双光子编码激发、荧光耦合采集、稀疏重建的方法，实现三维高速层析扫描，从而在克服成像层数和成像速度之间矛盾的同时，显著提升了成像的信噪比。本发明实施例的方法包括编码荧光照明、荧光耦合采集和三维图像稀疏重建三个部分，即将不同深度的高维图像信息耦合到低维探测信号中，然后利用样本的稀疏特性对低维探测信号解码。本发明实施例的方法的创新点体现在：提出用时空编码实现双光子计算层析显微的新方法、针对三维神经网络动态成像问题的计算摄像学新思路、普适的双光子光学高分辨计算神经层析成像平台。
根据本发明实施例提出的通过编码激发、荧光耦合采集、稀疏重建的方法，实现三维高速层析扫描，在保证三维荧光成像精度的同时，提升了图像采集速度，并显著提升了成像的信噪比；拍摄后重建得到的高分辨率高帧率三维图像，能够反映出哺乳动物神经科学中的快速生物化学过程，从而有效克服三维显微层析技术中的成像层数和成像速度之间的矛盾，显著提升了成像的信噪比
其次参照附图描述根据本发明实施例提出的三维显微层析计算摄像装置。
图3是本发明一个实施例的三维显微层析计算摄像装置的结构示意图。
如图3所示，该三维显微层析计算摄像装置10包括：耦合模块100和解码模块200。
其中，耦合模块100用于将不同深度的高维图像信息耦合到低维探测信号中。解码模块200用于利用样本的稀疏特性对低维探测信号解码，得到计算摄像结果。本发明实施例的装置10通过编码激发、荧光耦合采集、稀疏重建的方法，实现三维高速层析扫描，从而可以有效克服三维显微层析技术中的成像层数和成像速度之间的矛盾，显著提升了成像的信噪比。
进一步地，在本发的一个实施例中，耦合模块100进一步通过闪耀光栅将不同波长的光谱成分聚焦到样本的同一层，同一相机曝光时间内通过声光透镜依次聚焦到样本的不同层，并通过电光调制器编码不同层的照明强度，以实现编码荧光照明。
进一步地，在本发的一个实施例中，激光器和电光调制器之间，电光调制器和闪耀光栅之间，分别使用半波片调整偏振方向。
进一步地，在本发的一个实施例中，耦合模块100进一步用对样本聚焦面发出的荧光，通过荧光物镜和声光透镜后成为平行光，并通过二向色镜和滤波片去除剩余的激发散射光，及经过管镜的聚焦在sCMOS的靶面上成像，以实现荧光耦合采集。
进一步地，在本发的一个实施例中，解码模块200进一步用于将模型建立为I(x,y,t)＝M(z,t)Dijα(x,y,z,t)+N，其中，I(x,y,z,t)为二维探测器上(x,y)位置在t时刻的一个曝光时间内探测到的信号强度，M(z,t)为随着时间变化的空间二维编码，Dij为上步中获得的过完备的字典，α(x,y,z,t)为每一时刻字典对应的系数，N为成像系统对应的噪声；将求解的代价函数记做F(α)＝F1(α)+F2(α)+F3(α)，其中，误差项
三维神经元网络在过完备字典下的稀疏性约束为F2(α)＝λ||α(x,y,z,t)||1，神经元活动在时域的稀疏性约束为F3(α)＝μ||Dtα(x,y,z,t)||1，以将其转化为可求解的优化问题。
需要说明的是，前述对三维显微层析计算摄像方法实施例的解释说明也适用于该实施例的三维显微层析计算摄像装置，此处不再赘述。
根据本发明实施例提出的三维显微层析计算摄像装置，通过编码激发、荧光耦合采集、稀疏重建的方法，实现三维高速层析扫描，在保证三维荧光成像精度的同时，提升了图像采集速度，并显著提升了成像的信噪比；拍摄后重建得到的高分辨率高帧率三维图像，能够反映出哺乳动物神经科学中的快速生物化学过程，从而有效克服三维显微层析技术中的成像层数和成像速度之间的矛盾，显著提升了成像的信噪比。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (4)
1.一种三维显微层析计算摄像方法，其特征在于，包括以下步骤：
将不同深度的高维图像信息耦合到低维探测信号中，包括：通过闪耀光栅将不同波长的光谱成分聚焦到样本的同一层，同一相机曝光时间内通过声光透镜依次聚焦到样本的不同层，并通过电光调制器编码不同层的照明强度，以实现编码荧光照明；所述将不同深度的高维图像信息耦合到低维探测信号中，还包括：对样本聚焦面发出的荧光，通过荧光物镜和声光透镜后成为平行光，并通过二向色镜和滤波片去除剩余的激发散射光，及经过管镜的聚焦在sCMOS的靶面上成像，以实现荧光耦合采集；
利用样本的稀疏特性对所述低维探测信号解码，得到计算摄像结果,所述利用样本的稀疏特性对所述低维探测信号解码，包括：将模型建立为I(x,y,t)＝M(z,t)Dijα(x,y,z,t)+N，其中，I(x,y,t)为二维探测器上(x,y)位置在t时刻的一个曝光时间内探测到的信号强度，M(z,t)为随着时间变化的空间二维编码，Dij为上步中获得的过完备的字典，α(x,y,z,t)为每一时刻字典对应的系数，N为成像系统对应的噪声；将求解的代价函数记做F(α)＝F1(α)+F2(α)+F3(α)，其中，误差项
三维神经元网络在过完备字典下的稀疏性约束为F2(α)＝λ||α(x,y,z,t)||1，神经元活动在时域的稀疏性约束为F3(α)＝μ||Dtα(x,y,z,t)||1，以将其转化为可求解的优化问题。
2.根据权利要求1所述的方法，其特征在于，激光器和所述电光调制器之间，所述电光调制器和闪耀光栅之间，分别使用半波片调整偏振方向。
3.一种三维显微层析计算摄像装置，其特征在于，包括：
耦合模块，用于将不同深度的高维图像信息耦合到低维探测信号中,所述耦合模块进一步通过闪耀光栅将不同波长的光谱成分聚焦到样本的同一层，同一相机曝光时间内通过声光透镜依次聚焦到样本的不同层，并通过电光调制器编码不同层的照明强度，以实现编码荧光照明；所述耦合模块进一步用对样本聚焦面发出的荧光，通过荧光物镜和声光透镜后成为平行光，并通过二向色镜和滤波片去除剩余的激发散射光，及经过管镜的聚焦在sCMOS的靶面上成像，以实现荧光耦合采集；
解码模块，用于利用样本的稀疏特性对所述低维探测信号解码，得到计算摄像结果,所述解码模块进一步用于将模型建立为I(x,y,t)＝M(z,t)Dijα(x,y,z,t)+N，其中，I(x,y,t)为二维探测器上(x,y)位置在t时刻的一个曝光时间内探测到的信号强度，M(z,t)为随着时间变化的空间二维编码，Dij为上步中获得的过完备的字典，α(x,y,z,t)为每一时刻字典对应的系数，N为成像系统对应的噪声；将求解的代价函数记做F(α)＝F1(α)+F2(α)+F3(α)，其中，误差项
三维神经元网络在过完备字典下的稀疏性约束为F2(α)＝λ||α(x,y,z,t)||1，神经元活动在时域的稀疏性约束为F3(α)＝μ||Dtα(x,y,z,t)||1，以将其转化为可求解的优化问题。
4.根据权利要求3所述的装置，其特征在于，激光器和所述电光调制器之间，所述电光调制器和闪耀光栅之间，分别使用半波片调整偏振方向。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910625806.2A CN110308125B (zh) | 2019-07-11 | 2019-07-11 | 三维显微层析计算摄像方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910625806.2A CN110308125B (zh) | 2019-07-11 | 2019-07-11 | 三维显微层析计算摄像方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110308125A CN110308125A (zh) | 2019-10-08 |
| CN110308125B true CN110308125B (zh) | 2020-11-03 |
Family
ID=68080018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910625806.2A Active CN110308125B (zh) | 2019-07-11 | 2019-07-11 | 三维显微层析计算摄像方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110308125B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110927945A (zh) * | 2019-11-28 | 2020-03-27 | 清华大学 | 三维宽视场和高分辨层析成像方法及装置 |
| CN113765585B (zh) * | 2020-06-04 | 2024-03-26 | 中国电子科技集团公司第十一研究所 | 一种建立通信链接的方法及系统 |
| CN113287540B (zh) * | 2021-05-13 | 2022-12-30 | 清华大学 | 基于移动平台的动物实验的移动观测系统及方法 |
| CN113191981B (zh) * | 2021-05-13 | 2022-09-09 | 清华大学 | 基于非负矩阵分解的深层双光子钙成像方法和装置 |
| CN113640294B (zh) * | 2021-10-13 | 2022-03-11 | 清华大学 | 曲面显微成像系统及其成像方法 |
| CN115688544B (zh) * | 2022-06-20 | 2023-05-12 | 河海大学 | 一种基于mlp神经网络的微波衰减降雪场层析重构方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102540446B (zh) * | 2011-12-28 | 2014-03-26 | 中国科学院西安光学精密机械研究所 | 一种基于数字微镜器件的高速结构照明光学显微系统及方法 |
| CN110262026B (zh) * | 2013-07-31 | 2022-04-01 | 加州理工学院 | 孔径扫描傅立叶重叠关联成像 |
| CN104539851B (zh) * | 2014-12-26 | 2018-02-02 | 中国科学院西安光学精密机械研究所 | 一种基于像元优化编码曝光的高速成像系统及方法 |
| CN104574336B (zh) * | 2015-01-19 | 2017-08-01 | 上海交通大学 | 基于自适应亚模字典选择的超分辨率图像重建系统 |
| CN105589188B (zh) * | 2016-03-10 | 2018-01-16 | 清华大学 | 一种结构光照明显微镜的成像方法及装置 |
| CN106227015B (zh) * | 2016-07-11 | 2019-04-26 | 中国科学院深圳先进技术研究院 | 一种基于压缩感知理论的全息图像高分辨率重建方法及系统 |
| CN106872034B (zh) * | 2017-01-13 | 2018-11-13 | 清华大学 | 快速三维多光谱显微成像系统 |
| CN106842529B (zh) * | 2017-01-23 | 2019-03-01 | 清华大学 | 快速三维显微成像系统 |
| CN106770147B (zh) * | 2017-03-15 | 2019-07-19 | 北京大学 | 一种结构光照明超分辨显微成像方法 |
| CN206627440U (zh) * | 2017-04-01 | 2017-11-10 | 北京工业大学 | 一种超分辨率荧光数字全息断层显微成像系统 |
| CN107389631B (zh) * | 2017-04-28 | 2020-07-07 | 中国科学院生物物理研究所 | 高速多色多模态结构光照明超分辨显微成像系统及其方法 |
| CN107064005B (zh) * | 2017-06-16 | 2018-05-29 | 中国科学技术大学 | 一种高光谱光场的快照式成像系统以及重建算法 |
| CN108169133B (zh) * | 2017-12-28 | 2020-03-24 | 清华大学 | 线扫描稀疏采样双光子成像方法及装置 |
-
2019
- 2019-07-11 CN CN201910625806.2A patent/CN110308125B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110308125A (zh) | 2019-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110308125B (zh) | 三维显微层析计算摄像方法及装置 | |
| DE112019004851B4 (de) | Vorrichtung zur schnellen volumetrischen Fluoreszenzmikroskopie unter Verwendung von zeitlich multiplexierten Lichtblättern | |
| Wang et al. | Single-shot ultrafast imaging attaining 70 trillion frames per second | |
| US10768402B2 (en) | Microscopy of a tissue sample using structured illumination | |
| Wu et al. | Speed scaling in multiphoton fluorescence microscopy | |
| Godden et al. | Ptychographic microscope for three-dimensional imaging | |
| Ren et al. | Parallelized volumetric fluorescence microscopy with a reconfigurable coded incoherent light-sheet array | |
| CN110132910B (zh) | 基于光场多维信息融合显微超分辨成像装置和成像方法 | |
| CN107091825A (zh) | 基于微透镜阵列的荧光样本层析显微成像方法 | |
| US10018817B2 (en) | Adaptive optics for imaging through highly scattering media in oil reservoir applications | |
| Tučková et al. | Computational image enhancement of multimode fibre-based holographic endo-microscopy: harnessing the muddy modes | |
| CN109557070B (zh) | 一种基于空间编码光的拉曼成像系统 | |
| Zheng et al. | De-scattering with excitation patterning enables rapid wide-field imaging through scattering media | |
| Wu et al. | Real-time, deep-learning aided lensless microscope | |
| Zhang et al. | Hybrid spatio-spectral coherent adaptive compensation for line-scanning temporal focusing microscopy | |
| Hu et al. | Emerging theories and technologies on computational imaging | |
| Wagner et al. | Optical-tweezing-based linear-optics nanoscopy | |
| Zhang et al. | Development of a noncontact 3-D fluorescence tomography system for small animal in vivo imaging | |
| CN117970660B (zh) | 一种时域压缩超分辨高速成像装置 | |
| Scarbrough et al. | Cascaded domain multiphoton spatial frequency modulation imaging | |
| WO2023061068A1 (en) | Translational rapid ultraviolet-excited sectioning tomography assisted with deep learning | |
| Fu | High-Speed 3-D Fluorescent Imaging Based on Light Field Microscopy and Structured Light Illumination | |
| Chen | Chromatic Fluorescence Imaging | |
| Vitali | Selective volume illumination microscopy for compressed sensing of time lapse series | |
| Rogalski et al. | Hybrid iterating-averaging low photon budget Gabor holographic microscopy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |