CN110132910A - 基于光场多维信息融合显微超分辨成像装置和成像方法 - Google Patents
基于光场多维信息融合显微超分辨成像装置和成像方法 Download PDFInfo
- Publication number
- CN110132910A CN110132910A CN201910256415.8A CN201910256415A CN110132910A CN 110132910 A CN110132910 A CN 110132910A CN 201910256415 A CN201910256415 A CN 201910256415A CN 110132910 A CN110132910 A CN 110132910A
- Authority
- CN
- China
- Prior art keywords
- fluorescence
- micro
- imaging system
- super
- dichroic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 95
- 230000004927 fusion Effects 0.000 title claims abstract description 19
- 238000007500 overflow downdraw method Methods 0.000 title abstract description 3
- 238000001228 spectrum Methods 0.000 claims abstract description 25
- 230000003321 amplification Effects 0.000 claims abstract description 19
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 19
- 230000005284 excitation Effects 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 239000011324 bead Substances 0.000 claims description 50
- 239000012472 biological sample Substances 0.000 claims description 31
- 239000000523 sample Substances 0.000 claims description 23
- 239000000975 dye Substances 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 17
- 238000000695 excitation spectrum Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000003595 spectral effect Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000000862 absorption spectrum Methods 0.000 claims description 3
- 208000037516 chromosome inversion disease Diseases 0.000 claims description 3
- 238000000295 emission spectrum Methods 0.000 claims description 3
- 239000007850 fluorescent dye Substances 0.000 claims description 3
- 239000005338 frosted glass Substances 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 230000009897 systematic effect Effects 0.000 claims description 3
- 230000006698 induction Effects 0.000 claims description 2
- 210000004027 cell Anatomy 0.000 abstract description 11
- 238000011160 research Methods 0.000 abstract description 9
- 210000001082 somatic cell Anatomy 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- PLXMOAALOJOTIY-FPTXNFDTSA-N Aesculin Natural products OC[C@@H]1[C@@H](O)[C@H](O)[C@@H](O)[C@H](O)[C@H]1Oc2cc3C=CC(=O)Oc3cc2O PLXMOAALOJOTIY-FPTXNFDTSA-N 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 101100117236 Drosophila melanogaster speck gene Proteins 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 238000001215 fluorescent labelling Methods 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical group [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007334 copolymerization reaction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000002356 laser light scattering Methods 0.000 description 1
- 238000010859 live-cell imaging Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002186 photoactivation Effects 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
- 208000007578 phototoxic dermatitis Diseases 0.000 description 1
- 231100000018 phototoxicity Toxicity 0.000 description 1
- 239000002574 poison Substances 0.000 description 1
- 231100000614 poison Toxicity 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- -1 thickness Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/44—Raman spectrometry; Scattering spectrometry ; Fluorescence spectrometry
- G01J3/4406—Fluorescence spectrometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
- G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Microscoopes, Condenser (AREA)
Abstract
一种基于光场多维信息融合显微超分辨成像装置和成像方法，装置包括多色荧光显微成像系统及单次曝光光谱成像系统，所述的多色荧光显微成像系统包括N台不同波长的激光器、N个二向色滤波片、多通道窄带滤波片、供样品放置的三维纳米平台、显微物镜、二向色片、多通道滤波片和套筒镜头；所述的单次曝光光谱成像系统依次包括空间随机相位调制器、中继放大成像系统和光电探测器。本发明可单次曝光探测获取生物活细胞超精细结构，成像速度快，对激发光功率密度要求不高，可以应用于活体细胞实时超分辨成像。为生物医学研究提供更加有意义的原始数据。
Description
技术领域
本发明涉及荧光显微超分辨成像，特别是一种基于光场多维信息融合显微超分辨成像装置和成像方法。
背景技术
在光学显微成像中，衍射极限分辨率由显微物镜的数值孔径和入射光波长决定，并且是一个客观存在，无法超越理论极限分辨率。目前显微超分辨技术可分为三类：
1、基于单分子定位的稀疏重构技术，代表技术有光激活定位显微(PALM),随机光学重建显微(STORM)和荧光激活定位显微(FPALM)；
2、基于点扩展函数工程，是一种扫描成像系统的空域处理技术，代表技术有受激辐射损耗(STED)；
3、基于频域处理技术，代表技术有结构光照明显微(SIM)及饱和SIM(SSIM)。
目前这三类方法有各自局限，STORM和PALM等宽场成像技术，其定位精度可达20nm，但是重构一幅超分辨率图像需要采集上万张原始图像，成像速度受限，无法应用于活细胞成像。STED技术的分辨率由擦除光功率密度与饱和光功率密度的比值决定，其成像速度取决于扫描速度，与普通的共聚焦显微的成像速度接近，可以应用于小视场的活细胞成像，然而，STED光功率密度相比STORM光功率密度要高4—6个数量级,因此对活细胞的光毒性和光损伤不能忽略,且高功率STED光在实现荧光擦除的同时也加剧了荧光分子的光漂白,这些都限制了STED在活细胞成像中的应用。由于成像原理的限制SIM只能将分辨率提高一倍,即最高100nm左右；SSIM技术可以将分辨率提高到可与STORM/PALM或STED相比拟的几十纳米水平,但饱和激发所需的高功率密度却使其失去了活细胞成像的优势。
显微超分辨技术将荧光显微成像的分辨率提高了近一个数量级,其取得的巨大发展为生物医学研究提供了强有力的工具；然而作为一种新兴技术,显微超分辨技术在实际应用于生物医学研究时仍面临着许多亟待解决的问题,尤其是当研究对象是活的、具有一定厚度的、成分和结构复杂的细胞、组织等生物样品时。因此,除了进一步提高分辨率,如何实现显微超分辨的多色成像、厚样品三维成像、活细胞快速成像等也是目前显微超分辨领域的研究重点,这些问题的研究和解决将使显微超分辨技术未来有可能为生物医学研究提供更有意义的活细胞实时超分辨图像和数据。
最近将压缩感知理论应用于成像中，可以在信号获取阶段，进行压缩采样，然后利用目标信号的稀疏先验，采用优化算法从压缩采样信号中反演出目标信号。美国Duke大学的Brady小组将压缩感知与光谱成像结合，首次实现了基于幅度掩膜板的准单次曝光压缩光谱成像。它在系统第一成像面处加入二元振幅掩膜板对目标的像进行调制，将调制后的像通过一个分光棱镜后成像于第二成像面上，通过面阵探测器对第二成像面进行探测。在该成像光谱仪中，需要移动振幅掩膜板实现高空间分辨和光谱分辨成像。中科院上海光机所的韩生申研究组提出了基于随机波前相位调制器的压缩光谱成像系统。该系统采用随机波前相位调制器对光场进行随机波前相位调制，它对包含物体二维空间图像信息和一维光谱信息的数据在互不相关的随机测量下进行投影测量，实现压缩采集三维空间图像数据。可以实现单次曝光下获取目标空间光谱三维图像。
发明内容
本发明的目的在于提出了一种一种基于光场多维信息融合显微超分辨成像装置和成像方法，该装置可单次曝光探测获取生物活细胞超精细结构，成像速度快，对激发光功率密度要求不高，可以应用于活体细胞实时超分辨成像。为生物医学研究提供更加有意义的原始数据。
本发明的技术解决方案如下：
一种基于光场多维信息融合显微超分辨成像装置，其特点在于包括多色荧光显微成像系统及单次曝光光谱成像系统，所述的多色荧光显微成像系统包括N台不同波长的激光器、N个二向色滤波片、多通道窄带滤波片、供样品放置的三维纳米平台、显微物镜、二向色片、多通道滤波片和套筒镜头；所述的单次曝光光谱成像系统依次包括空间随机相位调制器、中继放大成像系统和光电探测器；所述的N台激光器各自输出的激光经相应的二向色滤波片反射后融合为一路，经所述的多通道窄带滤波片窄带滤波后经所述的二向色片、显微物镜照射位于所述的三维纳米平台上的样品；该样品激发的多峰荧光和激光经过所述的显微物镜、二向色片、多通道滤波片及套筒透镜后会聚，再依次经所述的空间随机相位调制器、中继放大成像系统后，由所述的光电探测器探测，所述的N为2以上的正整数。
所述的显微物镜选择消色差的物镜。
所述的随机空间相位调制器是毛玻璃或空间光调制器。
所述的中继放大成像系统是各类能将调制荧光信号放大成像到光电探测器感光面上的光学成像系统。
所述的光电探测器是各类探测单元随意分布的CCD阵列。
利用上述基于光场多维信息融合显微超分辨成像装置进行成像的方法，包括如下三个阶段：
1)第一阶段，标定阶段，具体步骤如下：
①将第一荧光小球放置在所述的三维纳米平台上，打开与第一荧光小球激发谱对应波长的激光器，激光器输出光依次经过二向色滤波片、多通道窄带滤波片、二向色片和显微物镜入射到放置有荧光小球的三维纳米平移台上，激发荧光小球发射荧光信号；
所述的荧光信号依次经过所述的显微物镜、二向色片、多通道滤波片、套筒透镜、空间随机相位调制器和中继放大成像系统，形成散斑信号Ir(r,λ)，被所述的光电探测器探测记录；
②控制所述的三维纳米平台，使荧光小球在空间位置上等间距地移动，并记录对应空间位置处的散斑信号Ir(ri,λ),i＝1,…,n,其中n为对应三维空间标定点的数目，ri为荧光小球的空间位置，λ为荧光小球的发射波长；完成空间维度的标定，得到第一组散斑图像；
③替换第一荧光小球，将第二荧光小球放置在三维纳米平台上，打开与第二荧光小球激发谱对应波长的激光器，重复前一个波长标定过程，记录此发射波长的对应的系统响应信号，完成该波长的标定，得到第二组散斑图像；
④依次类推，完成第N个荧光小球的波长的标定，得到第N组散斑图像；
⑤所述的第一荧光小球、第二荧光小球、…、和第N荧光小球的材料不同，吸收光谱不同，发射光谱也不同；
2)第二阶段，成像阶段，具体步骤如下：
①将多色染料标记的生物样品放置在所述的三维纳米平台上，打开与荧光染料分子对应激发谱的多波长激光器，激光器输出光依次经过二向色滤波片、多通道窄带滤波片、二向色片和显微物镜入射到位于所述的三维纳米平台上的多色染料标记的生物样品的表面，激发该多色染料标记的生物样品发射荧光信号；
②所述的生物样品发射的荧光信号依次经过所述的显微物镜、二向色片、多通道滤波片、套筒透镜、空间随机相位调制器和中继放大成像系统，形成散斑信号It，被所述的光电探测器探测记录，完成对多色染料标记的生物样品成像；
3)第三阶段，图像反演阶段，具体步骤如下：
按照标定点源空间位置和光谱顺序，将每一组散斑图像拉成一列，作为构建系统测量矩阵A的一列，将所述的散斑信号It拉成一列作为测量信号y，反演得到生物样品的图像x，公式如下：
其中，||·||1,||·||2分别为l1范数和l2范数，xj为图像x的第j个像素强度值，α,β为权重系数。
本发明利用多色荧光分子(多色染料分子或多色量子点)在空间位置随机地对生物样品进行标记，使得相邻荧光分子的光谱存在差异性。采用多波长激光器对多色荧光样品进行激发，采用多通道滤波片滤除荧光信号中的激光背景信号。空间随机相位调制器(毛玻璃或空间光调制器)实现对光场的波前相位随机调制，一方面在探测面生成随机光强分布，另一方面实现在光谱维的色散。采用中继放大成像系统，实现荧光散斑信号的散斑尺寸与光电探测器的像元尺寸相匹配。
从压缩感知理论出发，本发明基于光场多维信息融合显微超分辨成像装置对应测量矩阵的某一列对应的是物面上某个位置上、某个中心波长的窄带点源形成的一个散斑场。由于散斑场是一个随机分布，因此，该系统对应的测量矩阵是一个随机测量矩阵。为获得测量矩阵，需要对系统进行标定，在物面上，测量一个窄带点源在物面不同空间位置和不同中心波长处对应系统的响应。将系统响应拉成一列构成测量矩阵的某一列。获取系统的测量矩阵后，将多色样品放在系统物面处，多波长激光激发多色样品产生多峰荧光信号，光电探测器探测荧光信号。将探测的荧光信号和测量矩阵，利用目标光谱的先验信息，反演出目标的空间光谱三维信息，由于多色荧光分子标记样品会使得在衍射极限内的荧光分子的光谱之间存在差异性，通过重构出样品空间光谱三维信息，引入光谱维度，使得由于光学系统客观存在的有限孔径对光波的衍射而无法分辨的细节能够分辨。
本发明是单次曝光实时获取活体细胞超精细结构的技术。
本发明的技术效果：
1、本发明基于多色荧光标记技术，使得在衍射极限范围内的荧光分子的光谱存在差异性。通过空间随机相位调制器进行相位调制，对物体的三维光谱图像数据(二维空间图像信息及一维光谱信息)在互不相关的随机测量基下进行投影测量，实现对三维光谱图像数据的压缩采集。该成像技术将多色荧光标记技术和多光谱图像获取技术结合，可实现对生物样品超精细结构分辨。同时，该成像技术在调制阶段不损失能量，能在一定程度上解决荧光显微成像中荧光信号微弱的短板。
2、本发明可以实现单次曝光对生物样品进行超精细成像，成像速度快，而且所需激光功率密度与STORM技术接近，对生物细胞不会造成光毒性。因此，该技术可应用于对活体生物样品超精细结构实时成像。
3、本发明提高了显微超分辨成像的时间分辨率，有望实现对活体生物样品的动态变化的超分辨成像。
附图说明
图1为光谱成像所获取的数据形式，其中每个立方代表一个数据点。(x,y)代表空间位置，λ代表波长
图2为本发明基于光场多维信息融合显微超分辨成像流程图。
图3为本发明多色荧光显微超分辨成像系统的结构框图。
图中：
1-多波长激光器 2-二向色片 3-激光窄带滤光片 4-供样品放置的三维纳米平台5-显微物镜 6-二向色片 7-多通道滤光片 8-套筒镜头 9-空间随机相位调制器 10-中继放大成像系统 11-光电探测器
具体实施方式
下面结合附图和实例来说明本发明基于光场多维信息融合显微超分辨成像是如何得到生物样品的超精细结构信息的。
先请参阅图3，图3为本发明多色荧光显微超分辨成像系统的结构框图。由图可见，本发明基于光场多维信息融合显微超分辨成像装置，包括多色荧光显微成像系统及单次曝光光谱成像系统，所述的多色荧光显微成像系统包括N台不同波长的激光器1、N个二向色滤波片2、多通道窄带滤波片3、供样品放置的三维纳米平台4，显微物镜5、二向色片6、多通道滤波片7和套筒镜头8；所述的单次曝光光谱成像系统依次包括空间随机相位调制器9、中继放大成像系统10和光电探测器11；所述的N台激光器1输出的激光经相应的二向色滤波片2反射后融合为一路，经所述的多通道窄带滤波片3窄带滤波后经所述的二向色片6、显微物镜5照射位于所述的三维纳米平台4上的样品；该样品激发的多峰荧光和激光经过所述的显微物镜5、二向色片6、多通道滤波片7及套筒透镜8后会聚，再依次经所述的空间随机相位调制器9、中继放大成像系统10后，由所述的光电探测器11探测，所述的N为2以上的正整数。
所述的显微物镜5选择消色差的物镜。
所述的随机空间相位调制器9是毛玻璃或空间光调制器。
所述的中继放大成像系统10是各类能将调制荧光信号放大成像到光电探测器感光面上的光学成像系统。
所述的光电探测器11是各类探测单元随意分布的CCD阵列。
图2是本发明的基于光场多维信息融合显微超分辨成像流程图，首先搭建多色荧光显微超分辨装置，其中包括多色荧光标记部分、多色荧光显微成像部分及单次曝光光谱成像部分，
利用上述基于光场多维信息融合显微超分辨成像装置进行成像的方法，该方法包括如下三个阶段：
1)第一阶段，标定阶段，具体步骤如下：
①将第一荧光小球放置在所述的三维纳米平台4上，打开与第一荧光小球激发谱对应波长的激光器1，激光器输出光依次经过二向色滤波片2、多通道窄带滤波片3、二向色片6和显微物镜5入射到放置有荧光小球的三维纳米平移台4上，激发荧光小球发射荧光信号；
所述的荧光信号依次经过所述的显微物镜5、二向色片6、多通道滤波片7、套筒透镜8、空间随机相位调制器9和中继放大成像系统10，形成散斑信号Ir(r,λ)，被所述的光电探测器11探测记录；
②控制所述的三维纳米平台4，使荧光小球在空间位置上等间距地移动，并记录对应空间位置处的散斑信号Ir(ri,λ),i＝1,…,n,其中n为对应三维空间标定点的数目，ri为荧光小球的空间位置，λ为荧光小球的发射波长；完成空间维度的标定，得到第一组散斑图像；
③替换第一荧光小球，将第二荧光小球放置在三维纳米平台4上，打开与第二荧光小球激发谱对应波长的激光器，重复前一个波长标定过程，记录此发射波长的对应的系统响应信号，完成该波长的标定，得到第二组散斑图像；
④依次类推，完成第N个荧光小球的波长的标定，得到第N组散斑图像；
⑤所述的第一荧光小球、第二荧光小球、…、和第N荧光小球的材料不同，吸收光谱不同，发射光谱也不同；
2)第二阶段，成像阶段，具体步骤如下：
①将多色染料标记的生物样品放置在所述的三维纳米平台4上，打开与荧光染料分子对应激发谱的多波长激光器1，激光器输出光依次经过二向色滤波片2、多通道窄带滤波片3、二向色片6和显微物镜5入射到位于所述的三维纳米平台4上的多色染料标记的生物样品的表面，激发该多色染料标记的生物样品发射荧光信号；
②所述的生物样品发射的荧光信号依次经过所述的显微物镜5、二向色片6、多通道滤波片7、套筒透镜8、空间随机相位调制器9和中继放大成像系统10，形成散斑信号It，被所述的光电探测器11探测记录，完成对多色染料标记的生物样品成像；
3)第三阶段，图像反演阶段，具体步骤如下：
按照标定点源空间位置和光谱顺序，将每一组散斑图像拉成一列，作为构建系统测量矩阵A的一列，将所述的散斑信号It拉成一列作为测量信号y，反演得到生物样品的图像x，公式如下：
其中，||·||1,||·||2分别为l1范数和l2范数，xj为图像x的第j个像素强度值，α,β为权重系数。
每台激光器1输出不同波长的激光经各自的二向色滤波片2反射后，融合为一路，经激光滤波片3窄带滤波后，经过二向色片6反射后，经显微物镜5注入到位于所述的三维纳米平台4的样品上；
样品在多色激光的激发下，发射出各自对应的荧光信号，形成多峰荧光，并和激光散射本底信号一同经所述的显微物镜入射到二向色片，经该二向色片透射后，入射到多通道滤波片，经该多通道滤波片将激光散射本底信号过滤，使多峰荧光信号经套筒透镜被所述的空间随机相位调制器接收，该空间随机相位调制器进行波前相位随机调制后，通过中继放大成像系统成像到光电探测器上。
对多色荧光显微超分辨系统进行标定；将第一荧光小球放置在三维纳米平台上，打开与第一荧光小球激发谱对应波长的激光器，激光器输出光依次经过二向色滤波片、激光滤波片、二向色片和显微物镜入射到放置有荧光小球的三维纳米平移台上，激发荧光小球发射荧光信号；
所述的荧光信号依次经过显微物镜、二向色片、多通道滤波片、套筒透镜、空间随机相位调制器和中继放大成像系统，形成散斑信号Ir(r,λ)，被光电探测器探测记录；
控制三维纳米平台，使荧光小球在空间位置上等间距地移动，并记录对应空间位置处的散斑信号Ir(ri,λ),i＝1,…,n,其中n为对应三维空间标定点数目，ri为荧光小球的空间位置，λ为荧光小球的发射波长；完成空间维度的标定，得到第一组散斑图像；
替换第一荧光小球，将第二荧光小球放置在三维纳米平台上，打开与第二荧光小球激发谱对应波长的激光器，重复前一个波长标定过程，记录此发射波长的对应的系统响应信号，完成该波长的标定，得到第二组散斑图像；
依次类推，完成第N个荧光小球的波长的标定，得到第N组散斑图像；按照标定点源空间位置和光谱顺序，将每一组散斑图像拉成一列，作为构建系统测量矩阵A一列；
对多色荧光标记生物样品进行成像；将多色染料标记的生物样品放置在三维纳米平台上，打开与荧光染料分子对应激发谱的多波长激光器，激光器输出光依次经过二向色滤波片、激光滤波片、二向色片和显微物镜入射到多色染料标记的生物样品的表面，激发该多色染料标记的生物样品发射荧光信号；
所述的荧光信号依次经过显微物镜、二向色片、多通道滤波片、套筒透镜、空间随机相位调制器和中继放大成像系统，形成散斑信号It，被光电探测器探测记录，完成对多色染料标记的生物样品成像；将所述的散斑信号It拉成一列作为测量信号y；
图像反演过程是根据获得的测量信号y和系统测量矩阵A，通过最优化方法重构出生物样品的光谱图像信号，如图1所示；当获得生物样品的光谱图像后，考虑到在衍射极限范围内的荧光分子的光谱存在差异性，便可以分辨生物样品中由于光学系统客观存在的有限孔径对光波的衍射而无法分辨的细节。
实验表明，本发明可单次曝光探测获取生物活细胞超精细结构，成像速度快，对激发光功率密度要求不高，可以应用于活体细胞实时超分辨成像。为生物医学研究提供更加有意义的原始数据。
Claims (6)
1.一种基于光场多维信息融合显微超分辨成像装置，其特征在于包括多色荧光显微成像系统及单次曝光光谱成像系统，所述的多色荧光显微成像系统包括N台不同波长的激光器(1)、N个二向色滤波片(2)、多通道窄带滤波片(3)、供样品放置的三维纳米平台(4)，显微物镜(5)、二向色片(6)、多通道滤波片(7)和套筒镜头(8)；所述的单次曝光光谱成像系统依次包括空间随机相位调制器(9)、中继放大成像系统(10)和光电探测器(11)；所述的N台激光器(1)输出的激光经相应的二向色滤波片(2)反射后融合为一路，经所述的多通道窄带滤波片(3)窄带滤波后经所述的二向色片(6)、显微物镜(5)照射位于所述的三维纳米平台(4)上的样品；该样品激发的多峰荧光和激光经过所述的显微物镜(5)、二向色片(6)、多通道滤波片(7)及套筒透镜(8)后会聚，再依次经所述的空间随机相位调制器(9)、中继放大成像系统(10)后，由所述的光电探测器(11)探测，所述的N为2以上的正整数。
2.根据权利要求1所述的基于光场多维信息融合显微超分辨成像装置，其特征在于，所述的显微物镜选择消色差的物镜。
3.根据权利要求1所述的基于光场多维信息融合显微超分辨成像装置，其特征在于，所述的随机空间相位调制器是毛玻璃或空间光调制器。
4.根据权利要求1所述的基于光场多维信息融合显微超分辨成像装置，其特征在于，所述的中继放大成像系统是各类能将调制荧光信号放大成像到光电探测器感光面上的光学成像系统。
5.根据权利要求1所述的基于光场多维信息融合显微超分辨成像装置，其特征在于，所述的光电探测器(11)是各类探测单元随意分布的CCD阵列。
6.利用权利要求1至5任一项所述的基于光场多维信息融合显微超分辨成像装置进行成像的方法，其特征在于，该方法包括如下三个阶段：
1)第一阶段，标定阶段，具体步骤如下：
①将第一荧光小球放置在所述的三维纳米平台(4)上，打开与第一荧光小球激发谱对应波长的激光器(1)，激光器输出光依次经过二向色滤波片(2)、多通道窄带滤波片(3)、二向色片(6)和显微物镜(5)入射到放置有荧光小球的三维纳米平移台(4)上，激发荧光小球发射荧光信号；
所述的荧光信号依次经过所述的显微物镜(5)、二向色片(6)、多通道滤波片(7)、套筒透镜(8)、空间随机相位调制器(9)和中继放大成像系统(10)，形成散斑信号Ir(r,λ)，被所述的光电探测器(11)探测记录；
②控制所述的三维纳米平台(4)，使荧光小球在空间位置上等间距地移动，并记录对应空间位置处的散斑信号Ir(ri,λ),i＝1,…,n,其中n为对应三维空间标定点的数目，ri为荧光小球的空间位置，λ为荧光小球的发射波长；完成空间维度的标定，得到第一组散斑图像；
③替换第一荧光小球，将第二荧光小球放置在三维纳米平台(4)上，打开与第二荧光小球激发谱对应波长的激光器，重复前一个波长标定过程，记录此发射波长的对应的系统响应信号，完成该波长的标定，得到第二组散斑图像；
④依次类推，完成第N个荧光小球的波长的标定，得到第N组散斑图像；
⑤所述的第一荧光小球、第二荧光小球、…、和第N荧光小球的材料不同，吸收光谱不同，发射光谱也不同；
2)第二阶段，成像阶段，具体步骤如下：
①将多色染料标记的生物样品放置在所述的三维纳米平台(4)上，打开与荧光染料分子对应激发谱的多波长激光器(1)，激光器输出光依次经过二向色滤波片(2)、多通道窄带滤波片(3)、二向色片(6)和显微物镜(5)入射到位于所述的三维纳米平台(4)上的多色染料标记的生物样品的表面，激发该多色染料标记的生物样品发射荧光信号；
②所述的生物样品发射的荧光信号依次经过所述的显微物镜(5)、二向色片(6)、多通道滤波片(7)、套筒透镜(8)、空间随机相位调制器(9)和中继放大成像系统(10)，形成散斑信号It，被所述的光电探测器(11)探测记录，完成对多色染料标记的生物样品成像；
3)第三阶段，图像反演阶段，具体步骤如下：
按照标定点源空间位置和光谱顺序，将每一组散斑图像拉成一列，作为构建系统测量矩阵A的一列，将所述的散斑信号It拉成一列作为测量信号y，反演得到生物样品的图像x，公式如下：
其中，||·||1,||·||2分别为l1范数和l2范数，xj为图像x的第j个像素强度值，α,β为权重系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910256415.8A CN110132910B (zh) | 2019-04-01 | 2019-04-01 | 基于光场多维信息融合显微超分辨成像装置和成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910256415.8A CN110132910B (zh) | 2019-04-01 | 2019-04-01 | 基于光场多维信息融合显微超分辨成像装置和成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110132910A true CN110132910A (zh) | 2019-08-16 |
| CN110132910B CN110132910B (zh) | 2022-01-28 |
Family
ID=67569128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910256415.8A Active CN110132910B (zh) | 2019-04-01 | 2019-04-01 | 基于光场多维信息融合显微超分辨成像装置和成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110132910B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111007046A (zh) * | 2019-12-07 | 2020-04-14 | 复旦大学 | 基于主动随机调制激发光的超分辨显微成像方法及装置 |
| CN111220542A (zh) * | 2019-12-19 | 2020-06-02 | 津海威视技术(天津)有限公司 | 多模识别联用式探测装备和方法 |
| CN111479053A (zh) * | 2020-03-25 | 2020-07-31 | 清华大学 | 扫描光场多色显微成像的软件控制系统及方法 |
| CN111678902A (zh) * | 2020-07-24 | 2020-09-18 | 纳观生物有限公司 | 三通道荧光定位超分辨率生物显微系统及显微方法 |
| CN113009680A (zh) * | 2021-03-11 | 2021-06-22 | 广东粤港澳大湾区协同创新研究院 | 一种用于超分辨成像的多通道成像系统和方法 |
| CN113984631A (zh) * | 2021-10-12 | 2022-01-28 | 桂林电子科技大学 | 基于动态散斑照明的宽场多光谱荧光显微成像方法和系统 |
| US20240272001A1 (en) * | 2022-10-14 | 2024-08-15 | Nanjing Nuoyuan Medical Devices Co., Ltd. | Fluorescence Imaging Probe and Handheld Imaging Prober |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5820795A (en) * | 1994-07-08 | 1998-10-13 | Sharp Kabushiki Kaisha | Manufacturing method of magneto-optical master disk |
| CN102818631A (zh) * | 2012-07-30 | 2012-12-12 | 中国科学院上海光学精密机械研究所 | 基于随机波前相位调制的压缩光谱成像系统 |
| CN103592278A (zh) * | 2013-11-21 | 2014-02-19 | 中国计量学院 | 基于荧光发射抑制机理的随机定位超分辨显微方法及装置 |
| CN103954357A (zh) * | 2014-04-22 | 2014-07-30 | 中国科学院上海光学精密机械研究所 | 压缩光谱成像系统测量矩阵的获取方法 |
| WO2014144820A1 (en) * | 2013-03-15 | 2014-09-18 | The Regents Of The University Of Colorado | 3-d localization and imaging of dense arrays of particles |
| CN105044897A (zh) * | 2015-07-07 | 2015-11-11 | 中国科学院上海高等研究院 | 基于稀疏约束的快速随机光学重构成像系统及方法 |
| CN107389631A (zh) * | 2017-04-28 | 2017-11-24 | 中国科学院生物物理研究所 | 高速多色多模态结构光照明超分辨显微成像系统及其方法 |
| CN109313326A (zh) * | 2016-05-19 | 2019-02-05 | 株式会社尼康 | 显微镜 |
| US20190049896A1 (en) * | 2017-08-08 | 2019-02-14 | National Taiwan Normal University | Method and Apparatus of Structured Illumination Digital Holography |
-
2019
- 2019-04-01 CN CN201910256415.8A patent/CN110132910B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5820795A (en) * | 1994-07-08 | 1998-10-13 | Sharp Kabushiki Kaisha | Manufacturing method of magneto-optical master disk |
| CN102818631A (zh) * | 2012-07-30 | 2012-12-12 | 中国科学院上海光学精密机械研究所 | 基于随机波前相位调制的压缩光谱成像系统 |
| WO2014144820A1 (en) * | 2013-03-15 | 2014-09-18 | The Regents Of The University Of Colorado | 3-d localization and imaging of dense arrays of particles |
| CN103592278A (zh) * | 2013-11-21 | 2014-02-19 | 中国计量学院 | 基于荧光发射抑制机理的随机定位超分辨显微方法及装置 |
| CN103954357A (zh) * | 2014-04-22 | 2014-07-30 | 中国科学院上海光学精密机械研究所 | 压缩光谱成像系统测量矩阵的获取方法 |
| CN105044897A (zh) * | 2015-07-07 | 2015-11-11 | 中国科学院上海高等研究院 | 基于稀疏约束的快速随机光学重构成像系统及方法 |
| CN109313326A (zh) * | 2016-05-19 | 2019-02-05 | 株式会社尼康 | 显微镜 |
| CN107389631A (zh) * | 2017-04-28 | 2017-11-24 | 中国科学院生物物理研究所 | 高速多色多模态结构光照明超分辨显微成像系统及其方法 |
| US20190049896A1 (en) * | 2017-08-08 | 2019-02-14 | National Taiwan Normal University | Method and Apparatus of Structured Illumination Digital Holography |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111007046A (zh) * | 2019-12-07 | 2020-04-14 | 复旦大学 | 基于主动随机调制激发光的超分辨显微成像方法及装置 |
| CN111220542A (zh) * | 2019-12-19 | 2020-06-02 | 津海威视技术(天津)有限公司 | 多模识别联用式探测装备和方法 |
| CN111479053A (zh) * | 2020-03-25 | 2020-07-31 | 清华大学 | 扫描光场多色显微成像的软件控制系统及方法 |
| CN111479053B (zh) * | 2020-03-25 | 2021-07-16 | 清华大学 | 扫描光场多色显微成像的软件控制系统及方法 |
| CN111678902A (zh) * | 2020-07-24 | 2020-09-18 | 纳观生物有限公司 | 三通道荧光定位超分辨率生物显微系统及显微方法 |
| CN113009680A (zh) * | 2021-03-11 | 2021-06-22 | 广东粤港澳大湾区协同创新研究院 | 一种用于超分辨成像的多通道成像系统和方法 |
| CN113009680B (zh) * | 2021-03-11 | 2021-11-05 | 广东粤港澳大湾区协同创新研究院 | 一种用于超分辨成像的多通道成像系统和方法 |
| CN113984631A (zh) * | 2021-10-12 | 2022-01-28 | 桂林电子科技大学 | 基于动态散斑照明的宽场多光谱荧光显微成像方法和系统 |
| US20240272001A1 (en) * | 2022-10-14 | 2024-08-15 | Nanjing Nuoyuan Medical Devices Co., Ltd. | Fluorescence Imaging Probe and Handheld Imaging Prober |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110132910B (zh) | 2022-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110132910A (zh) | 基于光场多维信息融合显微超分辨成像装置和成像方法 | |
| US11579075B2 (en) | Dynamic high-speed high-sensitivity imaging device and imaging method | |
| US10151907B2 (en) | Full-color three-dimennsional optical sectioning microscopic imaging system and method based on structured illumination | |
| US8212866B2 (en) | Method and an apparatus for localization of single dye molecules in the fluorescent microscopy | |
| EP2801854B1 (en) | Method and apparatus for combination of localization microscopy and structured illumination microscopy | |
| US10721411B2 (en) | Smart photonic imaging method and apparatus | |
| US6909105B1 (en) | Method and device for representing an object | |
| JP7538624B2 (ja) | 時間分解ハイパースペクトル単一画素撮像 | |
| Cull et al. | Identification of fluorescent beads using a coded aperture snapshot spectral imager | |
| CN108700460A (zh) | 用于原位细胞标记的光谱和空间复用荧光探针 | |
| US9134236B2 (en) | Method of fluorescence imaging | |
| US10481092B2 (en) | Multiplexed excitation emission matrix spectroscopy | |
| JP2005526255A (ja) | 試料検査のための方法および装置 | |
| Rodríguez et al. | Dual-mode optical microscope based on single-pixel imaging | |
| JP5870821B2 (ja) | 多重蛍光画像の画像解析のための装置、システム、方法、およびプログラム | |
| CN105466895B (zh) | 一种基于虚拟波矢调制的荧光超分辨显微装置及方法 | |
| CN110114709A (zh) | 确定荧光强度的方法和显微镜 | |
| US20230160827A1 (en) | Large-field 3d spectral microscopy | |
| CN116391143A (zh) | 通过自适应扫描定位单个荧光染料分子的方法和荧光显微镜 | |
| US11921274B2 (en) | Method for detecting emission light, detection device and laser scanning microscope | |
| Luo et al. | 4D dual-mode staring hyperspectral-depth imager for simultaneous spectral sensing and surface shape measurement | |
| WO2021053245A1 (en) | Pattern activated structured illumination localization microscopy | |
| CN107193118A (zh) | 多光谱显微成像系统及显微镜 | |
| Zeng et al. | Simultaneous multicolour imaging using quantum dot structured illumination microscopy | |
| Pian et al. | Hyperspectral compressive single-pixel imager for fluorescence lifetime sensing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |