CN117111283A - 基于电控变焦透镜的高速多模态景深延拓显微成像系统与方法 - Google Patents
基于电控变焦透镜的高速多模态景深延拓显微成像系统与方法 Download PDFInfo
- Publication number
- CN117111283A CN117111283A CN202311081161.3A CN202311081161A CN117111283A CN 117111283 A CN117111283 A CN 117111283A CN 202311081161 A CN202311081161 A CN 202311081161A CN 117111283 A CN117111283 A CN 117111283A
- Authority
- CN
- China
- Prior art keywords
- imaging
- depth
- fluorescence
- zoom lens
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000005286 illumination Methods 0.000 claims abstract description 42
- 230000005540 biological transmission Effects 0.000 claims abstract description 28
- 230000001427 coherent effect Effects 0.000 claims abstract description 24
- 238000010521 absorption reaction Methods 0.000 claims description 30
- 238000012546 transfer Methods 0.000 claims description 30
- 230000003287 optical effect Effects 0.000 claims description 29
- 230000005284 excitation Effects 0.000 claims description 14
- 230000002902 bimodal effect Effects 0.000 claims description 10
- 210000001747 pupil Anatomy 0.000 claims description 9
- 230000000295 complement effect Effects 0.000 claims description 5
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 claims description 4
- 229910052753 mercury Inorganic materials 0.000 claims description 4
- 238000000386 microscopy Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 abstract 1
- 239000000523 sample Substances 0.000 description 18
- 238000002474 experimental method Methods 0.000 description 10
- 241000252212 Danio rerio Species 0.000 description 8
- 241000255581 Drosophila <fruit fly, genus> Species 0.000 description 7
- 238000000799 fluorescence microscopy Methods 0.000 description 6
- 238000012632 fluorescent imaging Methods 0.000 description 6
- 241000244203 Caenorhabditis elegans Species 0.000 description 5
- 230000009261 transgenic effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000000366 juvenile effect Effects 0.000 description 3
- 238000003325 tomography Methods 0.000 description 3
- 101100447050 Caenorhabditis elegans daf-16 gene Proteins 0.000 description 2
- 101100227322 Caenorhabditis elegans fli-1 gene Proteins 0.000 description 2
- 101100281205 Mus musculus Fli1 gene Proteins 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 239000012472 biological sample Substances 0.000 description 2
- 238000011109 contamination Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000002844 melting Methods 0.000 description 2
- 230000008018 melting Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000001202 rhombencephalon Anatomy 0.000 description 2
- 230000035939 shock Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 229920001817 Agar Polymers 0.000 description 1
- 229920000936 Agarose Polymers 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 241000255588 Tephritidae Species 0.000 description 1
- 102000040945 Transcription factor Human genes 0.000 description 1
- 108091023040 Transcription factor Proteins 0.000 description 1
- 239000008272 agar Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000001142 back Anatomy 0.000 description 1
- 238000011088 calibration curve Methods 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 238000004587 chromatography analysis Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 230000004720 fertilization Effects 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 210000002149 gonad Anatomy 0.000 description 1
- 230000002710 gonadal effect Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 210000001259 mesencephalon Anatomy 0.000 description 1
- 210000001087 myotubule Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 210000003800 pharynx Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000004129 prosencephalon Anatomy 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
- 230000005945 translocation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0056—Optical details of the image generation based on optical coherence, e.g. phase-contrast arrangements, interference arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/006—Optical details of the image generation focusing arrangements; selection of the plane to be imaged
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/02—Objectives
- G02B21/025—Objectives with variable magnification
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/12—Fluid-filled or evacuated lenses
- G02B3/14—Fluid-filled or evacuated lenses of variable focal length
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明公开了一种基于电控变焦透镜的高速多模态景深延拓显微成像系统与方法。该系统同时具有透射式部分相干全景深成像与荧光非相干全景深成像两种成像模式。透射式部分相干成像模式采用可编程LED阵列作为照明光源，采用环形照明图案以提高成像分辨率和对比度。在显微镜的成像面搭建双远心4f系统，将电控变焦透镜放置于傅里叶面，实现无需机械扫描的厚物体高分辨率实时全聚焦成像。该技术的空间分辨率接近非相干衍射极限(～388nm,20×/0.8NA)，时间分辨率～30fps。本发明采用具有全变分正则化约束的Richardson‑Lucy反卷积算法对低光子效率高速曝光下的图像进行去模糊和噪声抑制。
Description
技术领域
本发明属于光学显微成像技术领域，具体为一种基于电控变焦透镜的高速多模态景深延拓显微成像系统与方法。
背景技术
随着生命科学日益迫切的需求，对大体积高速动态生物样本进行观察研究变得至关重要。传统的光学显微镜的景深由物镜决定。在系统的离焦点扩散函数作用下，只有在景深范围内的样本部分清晰可见，其余部分模糊。这使得单次采集无法对有厚度和表面轮廓超出系统聚焦范围的样品进行成像。此外，景深和空间分辨率之间总是存在固有的权衡。光信号的高空间频率信息，即较大的光场波矢量角，在提高了显微系统的空间分辨率的同时会加快聚焦光斑的发散速率，降低系统的景深。因此，在典型的光学显微镜中，高空间分辨率总是伴随着较小的景深。特别是在高分辨率大视场成像条件下，研究者们对景深延拓技术非常感兴趣。
景深拓展显微成像技术可直接对大体积样本进行全景深成像。目前，扩展景深方法有多种，每种方法都有其优缺点。孔径编码[Dowski,E.R.；Cathey,W.T.Extended depthoffield through wave-front coding.Appl.Opt.1995,34,1859–1866.]的方法包括孔径函数的振幅和相位部分的调控，可以在不需要任何机械运动的情况下获得几十微米的景深范围。然而，它通常需要额外的硬件，如振幅或相位掩模，因此光效率低下，景深延拓范围有限。针对弱散射或荧光标本的快速体积成像，光场显微镜是一个强大的工具[Broxton,M.；Grosenick,L.；et al.Wave optics theory and 3-D deconvolution for the lightfield microscope.Opt.Express 2013,21,25418–25439.]。通过在传统显微镜的光路中引入微透镜阵列，可以对通过标本体的光进行横向分布和角度分布成像。然而，光场的大自由度是以牺牲空间分辨率为代价的，空间分辨率受微透镜阵列尺寸和传感器像素分辨率的影响。聚焦扫描方法[Liu,S.；Hua,H.Extended depth-of-field microscopic imaging witha variable focus microscope objective.Opt.Express 2011,19,353–362.]通过机械扫描或高速仪器(如电控变焦透镜、可变形镜等)提供高光子效率的解决方案。然而，在非相干或部分相干的圆形光照方案下，扩展景深成像的对比度和分辨率受到限制。
另一方面，光学衍射层析显微成像技术利用了部分相干照明的优势，如提高空间分辨率、光学切片能力和斑点噪声抑制。然而，测量光强中同时包含了样品负折射率的相位和吸收信息，这使得用单个线性反卷积滤波器解耦这两部分信息具有挑战性。为了解决这个问题，通常需要两个或多个具有不同光照函数的同一目标数据[Chen,M.；Tian,L.；Waller,L.3D differential phase contrast microscopy.Biomed.Opt.Express 2016,7,3940–3950.]，而这些方法导致了测量的复杂性和计算量。另一种方法是假设类似于2D相位成像的相位衰减对偶性[Soto,J.M.；Rodrigo,J.A.；Alieva,T.Label-free quantitative3D tomographic imaging for partially coherent light microscopy.Opt.Express2017,25,15699–15712.]，而这种假设并不具有普适性，吸收信息对于不同的生物样品结构是不可忽略的。我们发现聚焦扫描可以消除相位信息，从而使吸收信息的扩展景深解耦。
综上所述，目前尚缺少一种快速、高分辨率和成像对比度，并且兼容不同照明相干模态的景深延拓显微技术。
发明内容
本发明的目的在于提出了一种基于电控变焦透镜的高速多模态景深延拓显微成像系统。
实现本发明目的的技术方案为：一种基于电控变焦透镜的高速多模态景深延拓显微成像系统，包括具有透射式部分相干成像和荧光非相干成像两种成像模式的显微镜，设置在显微镜筒镜光出口方向沿出射光路设置的4f双远心结构和相机，所述显微镜采用透射式部分相干成像模式时，显微镜采用可编程LED阵列光源向设置在载物台上的待测样本发射光源；所述显微镜采用荧光非相干成像两种成像模式时，显微镜采用汞灯光源、荧光激发模块向设置在载物台上的待测样本发射光源，所述4f双远心结构包括放置在傅里叶面的变焦透镜，所述相机用于采集待测样本图像。
本发明还提出了一种基于电控变焦透镜的高速多模态景深延拓显微成像方法，包括：
将电控变焦透镜设置成快扫模式，轴向离焦范围覆盖样本厚度，显微镜采用透射式部分相干成像模式，相机拍摄待测样本的全景深图像；
将显微镜成像模式切换为荧光非相干成像模式，选择荧光激发模块的发射波长和激发波长与荧光样品的波段相匹配，相机拍摄荧光非相干成像模式下全景深图像；
计算透射式部分相干成像与荧光非相干成像的传递函数，得到单帧快扫的传递函数；
分别对透射部分相干成像全景深图像与荧光非相干成像全景深图像做全变分Richardson-Lucy反卷积处理；
将透射部分相干成像与荧光非相干成像的双模态全景深反卷积图像融合，得到双模态互补的全景深信息。
优选地，透射式部分相干成像与荧光非相干成像的传递函数sHA(μ)具体为：
sHA(μ)＝HA(μ,η)|η＝0＝HA(μ,0)
式中，HA(μ,η)为三维吸收传递函数，其中，透射式部分相干成像模式选择环形光源函数Sannu(μ)，荧光非相干成像模式选择圆形光源函数Scirc(μ)。
优选地，三维吸收传递函数具体为：
式中，μ＝(μ,ξ)是相对于空间坐标x和y的空间频率，μ′＝(μ′,ξ′)是S(μ)和P(μ)在空间频率域上的平移量，η是相对于空间坐标z的空间频率，S(μ)和P(μ)分别是光源孔径函数和光瞳函数，*表示复共轭，δ是狄拉克函数，(x,y,z)为图像的三维空间坐标，λ是入射光的波长。
优选地，光源孔径函数为均匀的环形光源Sannu(μ)或者圆形光源Scirc(μ)，分别具体为：
式中，μ＝(μ,ξ)是相对于空间坐标x和y的空间频率，ρs为圆心照明图案的半径，ρa和ρb分别是环形图案的内圈和外圈半径。
优选地，光瞳函数P(μ)为：
式中，μ＝(μ,ξ)是相对于空间坐标x和y的空间频率，ρp为圆形光瞳函数的半径。
优选地，全变分Richardson-Lucy反卷积处理的具体公式为：
其中i(x)为采集的带有样品信息的全聚焦强度图，ok(x)为第k次迭代恢复的目标函数(其迭代初值设置为o0(x)＝i(x))，div(·)为散度，为ok(x)的梯度，|·|为绝对值，εTV为正则化参数，h(x)为具有非负性的光学系统的点扩散函数
优选地，显微镜采用透射式部分相干成像模式时需要额外拍摄一张没有放置样品的背景图，对透射部分相干成像全景深图像做全变分Richardson-Lucy反卷积处理时，需要去除背景部分，具体公式为：
其中i(x)为采集的带有样品信息的全聚焦强度图，b(x)为未放置样品时的背景图，ok(x)为第k次迭代恢复的目标函数(其迭代初值设置为o0(x)＝i(x)-b(x))，div(·)为散度，|·|为绝对值，为ok(x)的梯度，εTV为正则化参数，h(x)为具有非负性的光学系统的点扩散函数
本发明与现有技术相比，其显著优点为：(1)本发明使用环形部分相干照明取代传统照明，获得的空间分辨率接近非相干照明下扩展景深成像的衍射极限(～388nm,20×/10.8NA)，且时间分辨率～30fps。(2)本发明通过聚焦扫描的方法，可以对光学衍射层析显微镜中的复折射率的耦合相位和吸收分量进行解耦。(3)本发明采用全变分Richardson-Lucy反卷积算法对低光效率高速曝光下的图像进行去模糊和噪声抑制。(4)本发明在透射和荧光成像模式下，对固定的转基因斑马鱼幼鱼和果蝇幼虫，以及动态秀丽隐杆线虫进行实验，可以得到双模态互补的信息，本发明具有广泛的应用前景，如在药物动力学和肿瘤免疫学等应用领域中。
下面结合附图对本发明做进一步详细的描述。
附图说明
图1为本发明的流程图。
图2为景深延拓光学显微系统及其预标定示意图。图1中的(a)为实验系统图，图1中的(b)电控变焦透镜曲率与轴向离焦距离、放大倍率和横向移之间的拟合预标定曲线。
图3为部分相干显微镜下的三维光学衍射层析成像理论。
图4为使用RL-TV反卷积对倾斜的USAF分辨率目标在不同光照下的景深延拓实验结果。
图5为转基因斑马鱼幼鱼(fli1:eGFP)和果蝇幼虫的双模态实验结果。
图6为秀丽隐杆线虫(TJ356)的动态多模态实验结果。
具体实施方式
作为一种实施例，一种基于电控变焦透镜的高速多模态景深延拓显微成像系统，包括具有透射式部分相干成像和荧光非相干成像两种成像模式的显微镜。透射式部分相干成像光路结构由可编程LED阵列光源、物镜和筒镜双远心光路结构，包含电控变焦透镜(EL-16-40-TC-VIS-20D-C-E,Optotune)放置在傅里叶面的两个等焦距(f1＝f2＝100mm)的消色差透镜(4f)系统和相机组成。荧光非相干成像光路结构由汞灯光源、荧光激发模块、物镜和筒镜双远心光路结构，包含电控变焦透镜(EL-16-40-TC-VIS-20D-C-E,Optotune)放置在傅里叶面的两个等焦距(f1＝f2＝100mm)的消色差透镜(4f)系统和相机组成。汞灯光源是一个大功率的宽谱白光光源，荧光激发模块用来选择合适的荧光激发波长和发射波长。
两个等焦距的消色差透镜(4f)系统，将原始成像平面共轭到一个冷却的科研CMOS相机(pco.edge 4.2,PCO GmbH,2048×2048像素分辨率，6.5μm像素大小)，电控变焦透镜用于快速聚焦扫描。样品放置在显微镜的载物台上。
此外，应该注意到电控变焦透镜的精确摆放是至关重要的，因此将它安装在一个精密位移台上。电控变焦透镜在光轴上的精确位置保证了放大率和横向偏移不受离焦的影响。
作为一种实施例，一种基于电控变焦透镜的高速多模态景深延拓显微成像方法，具体步骤为：
步骤1：将透射部分相干成像所使用的照明光源可编程LED阵列的光源图案调控成与物镜数值孔径相切的环形照明。部分相干环形照明能够提高成像分辨率和对比度。照明为中心波长为550nm的窄带准单色光源，照明的最大角度与物镜数值孔径相等。对成像系统的点扩散函数进行预标定，在载物台上放置一个二维标准样品，如USAF分辨率靶标。以一定的轴向间隔(如1μm)轴向移动物镜，同时改变变焦透镜的曲率补偿物镜的离焦量，得到聚焦的图像堆栈。采集整个轴向离焦范围的图像堆栈，计算这些图像的横向像素平移量和放大率，并再次调整摆放变焦透镜的三轴位移台，最终使得放大率和平移量几乎不变。考虑一定程度的轴向离焦量、放大倍数以及横向偏移量标定，如图2b所示。
将电控变焦透镜设置成连续快扫模式，扫描速度设置为1kHz，轴向离焦范围覆盖样本厚度，同时相机拍摄透射式部分相干照明全景深原始数据，并且额外拍摄一张没有放置样品的背景图。
考虑到4f系统的傅里叶变换性质，电控变焦透镜聚焦功率在傅里叶平面的变化等价于增加一次二次相位调制tl(μ,ξ):
其中(μ,ξ)为4f系傅立叶平面上的空间坐标，feff为电流控制的电控变焦透镜的有效焦距。从角谱角度看，波场的自由空间传播距离Δz为：
式中M是物镜的放大倍数，n是浸没介质的折射率，f是两个傅里叶透镜的焦距。由于feff可以通过电控，所以离焦距离Δz可以快速方便地调整。
步骤:2：将显微镜成像模式切换为荧光非相干成像模式，选择荧光激发模块的发射波长和激发波长与荧光样品的波段相匹配(发射波长580nm；激发波长555nm)。
将电控变焦透镜设置成连续快扫模式，扫描速度设置为1kHz，轴向离焦范围覆盖样本厚度，同时相机拍摄荧光非相干成像模式下全景深原始数据。
步骤3：计算透射式部分相干成像与荧光非相干成像的传递函数，得到单帧快扫的传递函数。
传递函数包括三维吸收传递函数HA(μ,η)和相位传递函数HP(μ,η)，具体为：
其中，μ＝(μ,ξ)是相对于x和y的频率，η是相对于z的频率，S(μ)和P(μ)是光源孔径函数和光瞳函数，*表示复共轭，δ是狄拉克函数。由于相位光学传递函数和吸收光学传递函数只依赖于已知的S(μ)和P(μ)，因此可以预先计算它们。
光源的相干性对于获得高质量的图像非常重要。最常见的情况是光照均匀且孔径为圆形时，即光源函数为Scirc(μ)，光瞳孔函数为P(μ)。然而，圆形光照下的图像对比度和分辨率有限，因此采用均匀的环形源Sannu(μ)，其数值孔径与物镜相匹配。光源函数如下:
光瞳孔函数为：
由式(9)和(10)给出的三维传递函数表明，在对称光照条件下，三维传递函数具有显著的空间对称性，其三维光学传递函数关于z轴对称，且在截止频率区域外所有的数值都近似为零。吸收光学传递函数和相位光学传递函数沿z轴通常具有奇偶对称。对于单帧全聚焦成像，获取的二维全聚焦点扩展函数是三维点扩展函数沿z轴方向的积分。根据傅里叶切片定理，二维全聚焦点扩展函数的吸收[sAOTF,sHA(μ)]和相位[sPOTF,sHP(μ)]的扫描传递函数，即二维全聚焦点扩展函数的傅里叶谱，可以视为三维传递函数的中心切片。
sHA(μ)＝HA(μ,η)|η＝0＝HA(μ,0) (7)
sHP(μ)＝HP(μ,η)|η＝0＝HP(μ,0) (8)
根据对称性，相位贡献在单次全聚焦图像中消失，只记录吸收部分，从而求解耦合相位和吸收。只需要考虑扫描吸收光学传递函数sAOTF。
步骤4：分别对透射部分相干全景深图像与荧光非相干全景深图像做全变分Richardson-Lucy反卷积处理。
尽管快速聚焦扫描收集了所有的聚焦信息，但由于检测光子有限，特别是在快速曝光条件下，捕获的单次图像仍然会受到各层离焦光和泊松噪声的影响。由于去卷积方法容易放大噪声，所以需要使用基于图像先验的正则化约束来降低噪声敏感性。计算适应泊松统计的最大似然估计的迭代RL算法，与基于全变分(RL-TV)的正则化约束相结合，在抑制不稳定振荡的同时保留目标边缘。RL-TV反卷积的推导为：
其中div(·)为散度，i(x)为采集的强度图，ok(x)为第k次迭代恢复的目标函数，通常受到非负约束，为ok(x)的梯度，εTV为正则化参数，h(x)为具有非负性的光学系统的点扩散函数/>在数值上，我们注意到正则化参数εTV既不应该太小，也不应该太大:如果εTV太小，结果由统计模型主导；如果εTV太大，结果将被正则化项所控制。对于较大的εTV，式的分母可以变为零或负。这是必须避免的，因为分母值小会产生非常高强度的点，这些点在每次迭代时都会被放大。负值违反了非负性约束。RL-TV反卷积的迭代次数由图像是否收敛决定，通常设置为200次。
对透射部分相干成像全景深图像做全变分Richardson-Lucy反卷积处理时，去掉背景部分，具体公式为：
步骤5：将透射和荧光的双模态全景深反卷积图像融合，得到双模态互补的全景深信息。
本发明使用环形部分相干照明取代传统照明，获得的空间分辨率接近非相干照明下扩展景深成像的衍射极限(～388nm,20×/10.8NA)，且时间分辨率～30fps。本发明证明在光学衍射层析显微镜中，复折射率的耦合相位和吸收分量可以通过聚焦扫描来求解。本发明采用全变分Richardson-Lucy反卷积算法对低光效率高速曝光下的图像进行去模糊和噪声抑制。本发明在透射和荧光成像模式下，对固定的转基因斑马鱼幼鱼和果蝇幼虫，以及动态秀丽隐杆线虫进行实验，结果表明，本发明具有广泛的应用前景，如在药物动力学和肿瘤免疫学等应用领域中。
实施例
为了验证本发明的有效性，搭建了基于可编程LED照明以及4f远心模块的快速变焦系统。通过实验对算法的性能进行了验证。
为了定量地验证实验系统和RL-TV去卷积方法的性能，首先在USAF分辨率板上进行了实验。图3中的a为由吸收(一个倾斜的USAF目标)和相位(一个倾斜的星状目标)组成的三维物体。b1-b3分别是S＝1的圆形光照和ΔS＝0.2和ΔS＝0.5的环形光照下的三维吸收光学传递函数和相位光学传递函数的二维η-ξ截面。c1-c3为在z1和z2图像平面上的强度。d为b1-b3的三维吸收光学传递函数可视化。e为单次吸收光学传递函数。f，e中吸收光学传递函数的一维剖线。吸收分辨率板在三维空间中倾斜角度θ≈25°摆放以形成三维物体，如图4a所示，通过三维RL反卷积恢复三维体以进行可视化。将提出的景深延拓方法与传统的圆形光照(S＝1)和部分相干匹配的不同宽度的环形光照(ΔS＝0.2和ΔS＝0.05)进行对比。采集了不同光照下扫描全聚焦单次拍摄得到的强度图像，如图4b1-b3所示，并分别进行RL-TV反卷积。放大的感兴趣区域可以清晰地观察拍摄的图像，图4中a，通过三维RL反卷积计算出的初始倾斜三维体。b1-b3分别为圆形和环形光照下的拍摄图像和反卷积结果。c1-c2为反卷积图像中1和2对应的剖线，比较成像分辨率和对比度。
由此可见，在圆形光照下，拍摄的图像非常模糊，而环形光照下的图像包含更多的高频信息。由于扫描吸收光学传递函数的高频响应相对较低，圆形光照下的去卷积图像与匹配的环形光照相比分辨率有限(图3e)。然而，虽然环形照明增强了高频响应，但如果环形宽度极窄，则反卷积的图像对比度不合适，更容易被噪声污染。对比图4b2和b3，以及它们的一维剖线图(图4c1-c2)所示，我们可以看到，低频信息强度(如图4c1所示)低于ΔS＝0.2，更容易被高频噪声污染，而ΔS＝0.2的图像对比度更均衡。如图4c2所示，圆照度下反卷积得到的最高分辨率为488nm(组11-1)，反卷积后匹配的环形照度将其提高到388nm(组11-3)，与理论非相干衍射极限388nm(NA＝0.8)吻合较好。综合考虑成像分辨率和对比度，我们选择匹配的环形照度ΔS＝0.2进行后续生物实验。
通过对固定的转基因斑马鱼幼鱼(fli1:eGFP)和果蝇幼虫进行成像，展示了AI-EDOF的能力，图5显示了在环形照明、宽视场荧光成像和两种模态叠加下的扩展景深结果。图5中，a1为在特定焦平面上，环形照模式下的斑马鱼原始图像。a2为全聚焦原始图像。a3为a2的反卷积结果。b1为斑马鱼幼鱼在宽视野荧光成像模式下的原始图像。b2为原始全聚焦图像。b3为b2的反卷积结果。c为a3和b3双模态融合的景深延拓结果。比例尺150μm。d1，在环形光照模式下，果蝇幼虫在某z平面上的腿部原始图像。d2为原始全聚焦图像。d3为d2的反卷积结果。e1为果蝇幼虫腿部宽视野荧光成像模型的原始图像。e2为原始的全聚焦图像。e3为e2的反卷积结果。f为d3和e3双模态融合的景深延拓结果。比例尺30μm。
实验中，将斑马鱼幼鱼嵌入1pr低熔点琼脂糖中，并用10×0.4NA物镜(Olympus)对幼体进行成像。整个轴向扫描范围为300μm，选择的视场为450×450μm2。捕获的原始图像(图5a1)在某一聚焦平面有景深限制，环形照明下的单次聚焦扫描图像如图5a2所示。RL-TV反卷积恢复的吸收信息如图5a3所示。图5a3可见视网膜、后脑、耳囊清晰，图5a2模糊。捕获的原始图像(图5b1)在宽视场荧光成像下在某一聚焦平面有景深限制，宽视场荧光成像下的单次聚焦扫描图像如图5b2所示。相应的反卷积扩展景深结果如图5b3所示。可见前脑、中脑、后脑、眼睛、孵化腺和神经管。结果表明，斑马鱼幼体处于20体分割期(19hpf，受精后数小时)。放大后的ROI1和ROI2验证了扩展景深和反卷积方法的有效性。两种成像模态的叠加同时显示了无标记的吸收信息和有标记的荧光信息。然后，利用40×/0.6NA的Olympus物镜对果蝇幼虫标本进行固定成像。整个轴向扫描范围为～80μm，选择的视场为150×150μm2。捕获的原始图像(图5d1)在某z平面有景深限制，环形光照下的单次聚焦扫描图像如图5d2所示。对应的反卷积吸收信息如图5d3所示。果蝇幼虫腿部胫跗关节已明显恢复。捕获的原始图像(图5e1)在宽视场荧光成像下具有一定z平面的景深限制，宽视场荧光成像下的单次聚焦扫描图像如图5e2所示。相应的反卷积扩展景深结果如图5e3所示。跗骨节和异位肌纤维清晰可见。放大后的ROI3和ROI4也将图像在某一z平面、全聚焦图像和反卷积结果可视化。两种模态的叠加如图5f所示，显示了互补信息。
更进一步对动态秀丽隐杆线虫(TJ356)进行成像。整个实验在40×/0.75的物镜(Olympus)下进行。如图6所示，a1为环形光照下特定焦平面的原始图像。b2为通过聚焦扫描的全聚焦原始图像。a3为a2的反卷积结果。b1-b3为在不同时间的吸收景深延拓反卷积结果。c1为宽视场荧光成像下特定焦平面的原始图像。c2为通过聚焦扫描的原始全聚焦图像。c3为c2的反卷积结果。d1-d3为不同时间的荧光扩展景深反卷积结果。比例尺25μm。从图6a1可以看出，捕获的原始强度图像是相位吸收相耦合的，即相位(如咽部和琼脂)和吸收(如性腺)信息可以同时看到。当电控变焦透镜快速扫描焦平面时，相位信息消失，全焦图像留下仅吸收信息，如图6a2所示。反卷积后头部和尾部几乎看不见，主要由相位信息组成，性腺变得清晰，如图6a3所示。借助变焦透镜的高速采集(～30fps)，我们可以实时监测这些全聚焦吸收特性(图6b1-b3)。另一方面，我们的方法在荧光成像模式下也表现良好。我们对秀丽隐杆线虫进行热休克(设置温度35℃，20分钟)。如图6c1所示，原始图像的景深限制在某一个聚焦平面附近，即焦内信息清晰，离焦信息模糊。全聚焦图像由快速扫描的电控变焦透镜调控，如图6c2所示。反卷积后，我们可以清楚地看到热休克诱导DAF-16转录因子明显转位到细胞核内。类似地，我们在荧光成像模式下对线虫进行动态景深延拓实验，如图6d1-d3所示，可以监测整个体积的DAF-16转录。这些结果突出了我们的方法在研究分子生物学和发育生物学方面的潜在应用。
Claims (10)
1.一种基于电控变焦透镜的高速多模态景深延拓显微成像系统，其特征在于，包括具有透射式部分相干成像和荧光非相干成像两种成像模式的显微镜，设置在显微镜筒镜光出口方向沿出射光路设置的4f双远心结构和相机，所述显微镜采用透射式部分相干成像模式时，显微镜采用可编程LED阵列光源向设置在载物台上的待测样本发射光源；所述显微镜采用荧光非相干成像两种成像模式时，显微镜采用汞灯光源、荧光激发模块向设置在载物台上的待测样本发射光源，所述4f双远心结构包括放置在傅里叶面的变焦透镜，所述相机用于采集待测样本图像。
2.根据权利要求1所述的基于电控变焦透镜的高速多模态景深延拓显微成像系统，其特征在于，所述荧光激发模块的发射波长和激发波长与荧光样品的波段相匹配。
3.根据权利要求1所述的基于电控变焦透镜的高速多模态景深延拓显微成像系统，其特征在于，所述变焦透镜轴向离焦范围覆盖待测样本厚度。
4.基于权利要求1所述系统的基于电控变焦透镜的高速多模态景深延拓显微成像方法，其特征在于，包括：
将电控变焦透镜设置成快扫模式，轴向离焦范围覆盖样本厚度，显微镜采用透射式部分相干成像模式，相机拍摄待测样本的全景深图像；
将显微镜成像模式切换为荧光非相干成像模式，选择荧光激发模块的发射波长和激发波长与荧光样品的波段相匹配，相机拍摄荧光非相干成像模式下全景深图像；
计算透射式部分相干成像与荧光非相干成像的传递函数，得到单帧快扫的传递函数；
分别对透射部分相干成像全景深图像与荧光非相干成像全景深图像做全变分Richardson-Lucy反卷积处理；
将透射部分相干成像与荧光非相干成像的双模态全景深反卷积图像融合，得到双模态互补的全景深信息。
5.根据权利要求4所述的基于电控变焦透镜的高速多模态景深延拓显微成像方法，其特征在于，透射式部分相干成像与荧光非相干成像的传递函数sHA(μ)具体为：
sHA(μ)＝HA(μ,η)|η＝0＝HA(μ,0)
式中，HA(μ,η)为三维吸收传递函数，其中，透射式部分相干成像模式选择环形光源函数Sannu(μ)，荧光非相干成像模式选择圆形光源函数Scirc(μ)。
6.根据权利要求5所述的基于电控变焦透镜的高速多模态景深延拓显微成像方法，其特征在于，三维吸收传递函数具体为：
式中，μ＝(μ,ξ)是相对于空间坐标x和y的空间频率，μ′＝(μ′,ξ′)是S(μ)和P(μ)在空间频率域上的平移量，η是相对于空间坐标z的空间频率，S(μ)和P(μ)分别是光源孔径函数和光瞳函数，*表示复共轭，δ是狄拉克函数，(x,y,z)为图像的三维空间坐标，λ是入射光的波长。
7.根据权利要求5所述的基于电控变焦透镜的高速多模态景深延拓显微成像方法，其特征在于，光源孔径函数为均匀的环形光源Sannu(μ)或者圆形光源Scirc(μ)，分别具体为：
式中，μ＝(μ,ξ)是相对于空间坐标x和y的空间频率，ρs为圆心照明图案的半径，ρa和ρb分别是环形图案的内圈和外圈半径。
8.根据权利要求5所述的基于电控变焦透镜的高速多模态景深延拓显微成像方法，其特征在于，光瞳函数P(μ)为：
式中，μ＝(μ,ξ)是相对于空间坐标x和y的空间频率，ρp为圆形光瞳函数的半径。
9.根据权利要求4所述的基于电控变焦透镜的高速多模态景深延拓显微成像方法，其特征在于，全变分Richardson-Lucy反卷积处理的具体公式为：
其中i(x)为采集的带有样品信息的全聚焦强度图，ok(x)为第k次迭代恢复的目标函数(其迭代初值设置为o0(x)＝i(x))，div(·)为散度，为ok(x)的梯度，|·|为绝对值，εTV为正则化参数，h(x)为具有非负性的光学系统的点扩散函数/>
10.根据权利要求4所述的基于电控变焦透镜的高速多模态景深延拓显微成像方法，其特征在于，显微镜采用透射式部分相干成像模式时需要额外拍摄一张没有放置样品的背景图，对透射部分相干成像全景深图像做全变分Richardson-Lucy反卷积处理时，需要去除背景部分，具体公式为：
其中i(x)为采集的带有样品信息的全聚焦强度图，b(x)为未放置样品时的背景图，ok(x)为第k次迭代恢复的目标函数(其迭代初值设置为o0(x)＝i(x)-b(x))，div(·)为散度，|·|为绝对值，为ok(x)的梯度，εTV为正则化参数，h(x)为具有非负性的光学系统的点扩散函数/>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311081161.3A CN117111283A (zh) | 2023-08-25 | 2023-08-25 | 基于电控变焦透镜的高速多模态景深延拓显微成像系统与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311081161.3A CN117111283A (zh) | 2023-08-25 | 2023-08-25 | 基于电控变焦透镜的高速多模态景深延拓显微成像系统与方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117111283A true CN117111283A (zh) | 2023-11-24 |
Family
ID=88799612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311081161.3A Pending CN117111283A (zh) | 2023-08-25 | 2023-08-25 | 基于电控变焦透镜的高速多模态景深延拓显微成像系统与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117111283A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117575901A (zh) * | 2024-01-11 | 2024-02-20 | 浙江大学杭州国际科创中心 | 基于多层膜劳厄透镜的x射线相衬显微拼接方法及系统 |
| CN117806036A (zh) * | 2024-03-01 | 2024-04-02 | 中国科学院光电技术研究所 | 一种基于压缩感知的单片衍射透镜系统消色差方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109580457A (zh) * | 2018-11-01 | 2019-04-05 | 南京理工大学 | 基于led阵列编码照明的三维衍射层析显微成像方法 |
| CN112882216A (zh) * | 2021-01-29 | 2021-06-01 | 中国科学院长春应用化学研究所 | 高分辨荧光辅助傅里叶叠层双模态显微成像系统 |
| CN116594168A (zh) * | 2023-03-29 | 2023-08-15 | 南京理工大学 | 一种基于可变焦透镜的快速大景深显微成像系统及方法 |
-
2023
- 2023-08-25 CN CN202311081161.3A patent/CN117111283A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109580457A (zh) * | 2018-11-01 | 2019-04-05 | 南京理工大学 | 基于led阵列编码照明的三维衍射层析显微成像方法 |
| CN112882216A (zh) * | 2021-01-29 | 2021-06-01 | 中国科学院长春应用化学研究所 | 高分辨荧光辅助傅里叶叠层双模态显微成像系统 |
| CN116594168A (zh) * | 2023-03-29 | 2023-08-15 | 南京理工大学 | 一种基于可变焦透镜的快速大景深显微成像系统及方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117575901A (zh) * | 2024-01-11 | 2024-02-20 | 浙江大学杭州国际科创中心 | 基于多层膜劳厄透镜的x射线相衬显微拼接方法及系统 |
| CN117575901B (zh) * | 2024-01-11 | 2024-05-07 | 浙江大学杭州国际科创中心 | 基于多层膜劳厄透镜的x射线相衬显微拼接方法及系统 |
| CN117806036A (zh) * | 2024-03-01 | 2024-04-02 | 中国科学院光电技术研究所 | 一种基于压缩感知的单片衍射透镜系统消色差方法 |
| CN117806036B (zh) * | 2024-03-01 | 2024-05-17 | 中国科学院光电技术研究所 | 一种基于压缩感知的单片衍射透镜系统消色差方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10419665B2 (en) | Variable-illumination fourier ptychographic imaging devices, systems, and methods | |
| US20220254538A1 (en) | Fourier ptychographic imaging systems, devices, and methods | |
| US10401609B2 (en) | Embedded pupil function recovery for fourier ptychographic imaging devices | |
| CN117111283A (zh) | 基于电控变焦透镜的高速多模态景深延拓显微成像系统与方法 | |
| US8019136B2 (en) | Optical sectioning microscopy | |
| CN110262026B (zh) | 孔径扫描傅立叶重叠关联成像 | |
| JP6166776B2 (ja) | 拡張ボリュームの高分解能イメージング | |
| US9581798B2 (en) | Light sheet-based imaging device with extended depth of field | |
| JP5999121B2 (ja) | 共焦点光スキャナ | |
| WO2016020684A1 (en) | Multiplexed optical tomography | |
| Lin et al. | Multi-focus microscope with HiLo algorithm for fast 3-D fluorescent imaging | |
| US10401604B2 (en) | Resolution enhancement for light sheet microscopy systems and methods | |
| JP5696396B2 (ja) | 顕微鏡及びゴースト除去方法 | |
| RU2579640C1 (ru) | Конфокальный спектроанализатор изображений | |
| JP2022501639A (ja) | ライン焦点を生成するように構成された共焦点レーザー走査顕微鏡 | |
| Zhang et al. | High‐Speed Multi‐Modal Extended Depth‐of‐Field Microscopy with an Electrically Tunable Lens | |
| CN117369106B (zh) | 一种多点共聚焦图像扫描显微镜及成像方法 | |
| JP7196422B2 (ja) | 顕微鏡システム | |
| Jin et al. | Simultaneous Axial Multiline Scanning Imaging by Remote Focusing | |
| Sanchez et al. | Widefield fluorescence optical sectioning microscopy in a miniature fiber-coupled microscope with active axial scanning | |
| Wang et al. | Quantitative assessment of image motion blur in diffraction images of moving biological cells | |
| Xue et al. | 3D Fluorescence Imaging with a Computational Mesoscope | |
| Thrapp | Computational Optical Sectioning in Fibre Bundle Endomicroscopy | |
| KR20220069253A (ko) | 집적 영상 현미경의 조명계 시스템 | |
| ROSEN et al. | ADVANCES IN IMAGING: Fresnel incoherent correlation holography (FINCH): A different way of 3D imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Runnan Inventor after: Zuo Chao Inventor after: Chen Qian Inventor after: Sun Jiasong Inventor after: Zhou Ning Inventor after: Tang Hanci Inventor after: Xia Minhao Inventor before: Zuo Chao Inventor before: Zhang Runnan Inventor before: Chen Qian Inventor before: Sun Jiasong Inventor before: Zhou Ning Inventor before: Tang Hanci Inventor before: Xia Minhao |
|
| CB03 | Change of inventor or designer information |