CN114460731A - 一种基于dmd的多色结构光照明超分辨显微成像方法和装置 - Google Patents
一种基于dmd的多色结构光照明超分辨显微成像方法和装置 Download PDFInfo
- Publication number
- CN114460731A CN114460731A CN202210080472.7A CN202210080472A CN114460731A CN 114460731 A CN114460731 A CN 114460731A CN 202210080472 A CN202210080472 A CN 202210080472A CN 114460731 A CN114460731 A CN 114460731A
- Authority
- CN
- China
- Prior art keywords
- laser
- dmd
- light
- lens
- wavelength
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0056—Optical details of the image generation based on optical coherence, e.g. phase-contrast arrangements, interference arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0064—Optical details of the image generation multi-spectral or wavelength-selective arrangements, e.g. wavelength fan-out, chromatic profiling
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0068—Optical details of the image generation arrangements using polarisation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0072—Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明公开一种基于DMD的多色结构光照明超分辨显微成像方法,DMD作为数字闪耀光栅对不同波长的激光进行衍射,傅里叶滤波产生的正负一级衍射光经过精确的偏振调制后在待测荧光样品表面干涉生成高对比度的条纹照明图案,通过DMD加载不同方向和相位的条纹图案快速地对干涉条纹进行方向旋转和相位移动,对获得的多幅原始荧光强度图像进行重构得到超分辨显微图像。本发明还公开了基于DMD的多色结构光照明超分辨显微成像装置,用振镜快速切换不同的激光波长选通或截止进入到不同的方芯多模光纤内,通过调节方芯多模光纤输出端进行各波长入射角度的对准,从而保证各波长对应的闪耀级次落在同一位置以便于傅里叶滤波。装置复杂度低,灵活度、稳定性、可扩展性高,同时采用模块化设计使系统可扩展应用于三维干涉型结构光照明显微技术和投影型结构光照明显微技术的成像研究。
Description
技术领域
本发明属于光学超分辨荧光显微成像领域,特别涉及一种基于DMD的多色结构光照明超分辨显微成像方法和装置。
背景技术
在超分辨荧光显微成像领域,目前主流的三种技术大类分别是受激辐射损耗技术、单分子定位技术和结构光照明技术。受激辐射损耗技术属于点扫描技术,通过叠加激发光和损耗光的点扩散函数实现超分辨,目前最高可获得20nm的分辨率,但它要求荧光标记密度较高,同时需要高的光功率,会对样品造成较为严重的光漂白现象。单分子定位技术和结构光照明技术都属于宽场成像技术,其中单分子定位技术利用特殊荧光染料的稀疏发光特性,通过拍摄大量稀疏分布的单分子图片并结合后期的拟合定位算法最终重构出一张超分辨图像,它可将分辨率提升至10nm量级,但需要特殊染料,而且成像速度慢。结构光照明技术则是通过在傅里叶域对图像频谱进行处理,将普通显微镜无法观测到的高频分量移动到低频范围内从而获取样品的精细结构,虽然它只能将分辨率提高到100nm左右,但与其他两种方法相比,它需要的光功率低,无需特异荧光染料,成像速度快,在生物研究特别是活细胞成像领域很受欢迎。
传统的结构光照明需要平移(至少三次)和旋转(至少三次)物理光栅获得各向同性的分辨率,限制了成像的速度和精度。随着铁电液晶空间光调制器的出现,研究者们开始用这种数字型光栅代替传统的物理光栅,通过加载需要的图案来实现方向旋转和相位移动,大大提高了结构光照明技术的速度和精度,然而它对偏振敏感且价格比较昂贵。基于CMOS(互补金属氧化物半导体)技术的DMD是一种对偏振不敏感且价格便宜的空间光调制器,它的图案刷新速率也更快(可以达到10KHz),因此近年来开始被应用到结构光照明显微成像领域。
DMD由微镜阵列组成,每个微镜都可以单独翻转到两个大小相等方向相反的角度,分别对应“开”状态和“关”状态,因此它用作光栅时是一种闪耀光栅。在基于DMD的多色结构光照明成像中需要保证每个波长的激光光束经DMD衍射产生的闪耀级落在同一个位置,即射入DMD的各光束经衍射后共心共轴。一种实现方法对前期的仿真依赖性较高,需要在保证各波长的衍射角相同的前提下,计算得到每个波长对于选定DMD的闪耀级次和入射角度,仿真得到的结果用来指导后期实验光路的搭建。该方法在Peter等人,生物医学光学快报(Biomedical Optics Express),12(6),3700-3716(2021)中进行了研究。在该方法中,所选用的三个波长分别为465nm、532nm和635nm,仿真得到的入射角度大小分别为45.20°、2.09°和45.89°,三个波长的衍射角度大小均为21.20°。实验光路中各波长激光入射角度的对准通过双轴音圈镜(dual-axis voice-coil mirror)来实现,但双轴音圈镜的角度范围有限(±25°),不利于扩展到更多色的成像应用,而且其有限的扫描速度(20Hz)会限制成像速度,另外系统复杂度高、灵活性低。
另一种实现方法是通过硬件精密地调节各波长的激光,从而保证射入DMD的各光束经衍射后共心共轴。现有公开号CN109407295A的申请文件提供的一种基于DMD可多色激发的结构光显微系统体现了这种方法。该系统中,DMD前依次设置多色耦合模块和多色偏角模块,多色耦合模块将至少两种波长的光源耦合于同一光路中,使各波长的光束共心共轴,并选择不同波长的光源分时输出,多色偏角模块用于产生特定的角度偏移和纵向位移偏差补偿,使得不同波长的不同衍射级光束经过DMD衍射后实现多波长光束共心共轴,包括用于使射入的光束产生预置偏角的角度补偿单元(闪耀光栅)和用于使射入的光束产生垂直于光轴方向位移的位移补偿单元(电控平移台)。这种方法对硬件的精密度要求较高,而且装置价格昂贵。
发明内容
本发明提供了一种基于DMD的多色结构光照明超分辨显微成像方法和装置,利用振镜摆动不同的角度实现对各波长激光的分时选通或截止,通过调整等距排列的方芯多模光纤头之间的距离和它们与振镜之间的距离,可以无限增加激光波长的选通数,通过调节各光纤输出端的二维调节架实现各波长激光入射角度的对准,从而保证各波长对应的闪耀级能够重合,以同一衍射角出射DMD,通过在傅里叶面处对三个衍射级次(零级和正负一级)的滤波处理和偏振调制,偏振方向相同的正负一级衍射光在样品面干涉形成高对比度的条纹照明图样,通过DMD上加载不同的图案改变条纹图样的方向和相位,从而实现多色结构光照明超分辨显微成像。该种方法成像速度快,装置复杂度低、灵活度高、稳定性高,特别适用于生命科学领域尤其是活细胞研究中对荧光样品进行成像。
为实现上述的发明目的,本发明所采用的具体技术方案如下:
一种基于DMD的多色结构光照明超分辨显微成像装置,包括激发光路模块和成像光路模块,所述激发光路模块具有依次布置的:
多色激光器,发出不同波长的线偏振激光光束用于激发荧光;
振镜单波长选通系统,用于快速选通或截止所述多色激光器发出的单个波长激光;
方芯多模光纤组,用于传输选通的各个波长的激光以入射到DMD上,并调整各波长激光的输出方向到满足DMD数字闪耀光栅闪耀条件的角度,并将入射的线偏振光转换为圆偏振光;
DMD,用作数字闪耀光栅,对入射的各个波长的激光进行衍射,并控制干涉条纹的方向和相位的改变;
傅里叶滤波系统,用于各个方向下衍射产生的零级光的滤除和正负一级光的通过,并将各方向下的正负一级衍射光由圆偏振光转换为偏振方向相同的线偏振光;
显微物镜,用于将各方向下的偏振方向相同的正负一级衍射光聚焦到待测荧光样品表面进行干涉,产生条纹图样照明荧光样品,并收集发出的荧光强度信号。
本发明的装置采用模块化设计为系统预留了多功能应用接口,可以方便地接入与已有两束干涉光等光程的一路光作为第三束干涉光改装成三维干涉型结构光照明显微成像装置,还可以接入投影型结构光照明显微成像模块。装置采用振镜摆动不同角度的方法来实现不同波长激光的选通和截止;采用调节方芯多模光纤输出端的方法来实现各波长入射角度的对准;采用傅里叶滤波的方法来实现零级衍射光的遮挡和正负一级衍射光的通过;采用四分之一波片配合多方向偏振片的方法来保证各方向相对的两束干涉光是偏振方向相同的线偏振光,以保证最高的条纹对比度。
作为优选的,所述振镜单波长选通系统包括沿光路依次设置的:第一透镜、变形镜、第二透镜、第三透镜、振镜和方芯多模光纤头夹具;所述第一透镜用于将激光光束缩束入射到所述变形镜的有效面积内;所述变形镜用于对入射激光光束进行高频振动使激光强度均匀化;第二透镜和第三透镜组成4f系统,用于将激光光束的数值孔径扩大到所述方芯多模光纤的数值孔径值;所述振镜用于将大数值孔径的激光光束以不低于5kHz的频率快速地选通或截止输入到所述方芯多模光纤头夹具中等间距排列的多个光纤头的其中一个内。
作为优选的,所述方芯多模光纤组包括传输单波长激光的多根光纤,每根光纤的输出端具有调节架,用于将该波长的激光输出方向调节到仿真计算好的角度以达到最大的衍射效率;每根光纤的出射光路上具有依次设置的透镜和四分之一波片,所述透镜用于将激光准直后入射到DMD上;所述四分之一波片用于将激光由线偏振光转换为圆偏振光。
作为优选的,所述DMD用作数字闪耀光栅,当各个波长的激光以仿真计算所得的角度入射到DMD上时,将达到最大的衍射并以同一衍射角度出离DMD。
作为优选的,所述DMD的出射光路上设置有傅里叶滤波系统,包括依次设置的傅里叶滤波器和披萨偏振器,所述傅里叶滤波器用于各个方向零级衍射光的滤除和正负一级衍射光的通过,所述披萨偏振器用于改变通过的各个方向的正负一级衍射光的偏振方向,由圆偏振光转换为偏振方向相同的线偏振光。
作为优选的,所述成像光路模块包括:相机,用于收集所述的荧光强度信号;计算机,用于控制所述的多色激光器、振镜单波长选通系统、DMD和相机的同步,以精确的时序控制多色激光器打开或关闭不同波长的激光源、振镜对不同波长的激光进行选通或截止、DMD顺序加载方向和相位发生改变的图案以及相机对多帧图像的顺序采集,并对采集的数据进行处理得到超分辨图像。
作为优选的,还包括一显微镜架,还包括一显微镜架,所述显微镜架内沿光路依次设置有第一管镜、二向色镜、滤波片和第二管镜;所述第一管镜用于将所述两束偏振方向相同的衍射线偏振激光光束成像到显微物镜的后瞳面;所述二向色镜用于将激光光束反射入显微物镜并到达所述待测荧光样品表面,同时透过产生的荧光信号;滤波片用于滤除荧光样品发出的荧光中的杂散光,第二管镜用于将荧光强度信息成像到所述相机上。
本发明中,DMD与显微镜架后端面呈衍射角度倾斜放置,以保证各波长的衍射光束垂直进入所述的显微镜架。
本发明还提供一种基于DMD的多色结构光照明超分辨显微成像方法,包括以下步骤:
1)仿真计算选定的各个激光波长对选定DMD的同一衍射角度、不同的闪耀级次和不同的入射角度;
2)多色激光源发出的激光光束通过振镜的摆动实现不同波长激光的分时选通,DMD衍射产生的三个衍射级次(零级和正负一级)经过傅里叶滤波和偏振方向调制,正负一级衍射光以偏振方向相同的线偏振状态在待测荧光样品平面发生干涉,形成高对比度的条纹照明图样;
3)通过DMD上加载预先生成好的不同方向和相位的条纹图案,旋转样品面处的干涉条纹的方向,并在各个方向多次改变干涉条纹的相位,得到的多幅荧光强度图像经过重建算法处理得到多色超分辨图像。
本发明利用DMD对不同波长的激光衍射产生的正负一级光干涉生成结构光照明条纹,通过旋转条纹方向并在各方向下移动条纹相位得到多幅原始数据,经过相位重构算法处理,实现分时多色结构光照明超分辨显微成像。
作为优选的,在步骤1)中,需要首先选定实验所用的激光波长和DMD以确定仿真计算的参数设置,不同的DMD和激光波长选择会得到仿真结果相差较大的衍射角度、闪耀级次和入射角度。
进一步优选的,选择的DMD为德州仪器DLP6500FYE,微镜间距7.56um,微镜偏转角度±12°。选择的激光波长分别为488nm、561nm和642nm,对应的入射角度分别为-40.58°、7.72°和-40.22°(相对于DMD基底的法线,法线左边角度为负,法线右边角度为正)时闪耀级分别落在4级、-4级和3级,衍射角度都为16.58°,其中488nm和642nm波长的激光将+12°的微镜用作闪耀光栅进行衍射,561nm波长的激光将-12°的微镜用作闪耀光栅进行衍射。
作为优选的,在步骤3)中,所述DMD上加载的条纹图案至少在三个角度下旋转干涉条纹的方向,在三个方向下至少三次改变干涉条纹的相位。
本发明中,单幅干涉条纹图样投射到样品上获得的荧光强度信息中包含三个频率分量,为了分离这三个频率分量,需要对干涉条纹图样进行相位移动得到三个方程。进一步地,为了实现各向同性的超分辨成像,还需要对干涉条纹图样进行旋转。因为DMD面与样品面共轭,所以只要在DMD上加载提前生成好的完成了方向旋转和相位移动的条纹图案,就可以快速实现样品面处干涉条纹的方向旋转和相位移动。
进一步优选的,分别在0°、60°和120°旋转干涉条纹的方向,并分别控制干涉条纹相移0°、120°和240°。此处仅限于作为最优的实例,从理论上来说,旋转方向和相移角度可以是任意的数值,满足每次旋转方向和相移角度不同即可;另外,增加旋转方向和相移角度的次数,也能实现本发明所要达到的技术效果和解决所提出的技术问题。作为可选的,在已有的两束干涉光之外增加一束等光程的光作为第三束干涉光,生成的三维干涉条纹可用于三维分辨率提升。
本发明与常规结构光照明显微成像技术所运用的图像重构算法完全兼容,也就是说,图像数据处理和重构可基于已有的算法实现。
与现有技术相比,本发明具有以下有益的技术效果:
(1)装置复杂度低,灵活度、稳定性、可扩展性高;
(2)振镜对各激光波长进行快速选通和截止(速度不低于5kHz),进一步提高了成像速度,可进行活体成像或观测分子的动态结构;
(3)用四分之一波片和偏振片对干涉光的偏振进行调节,保证了干涉条纹对比度高的优势的同时,偏振方向不会随条纹方向的改变而发生变化,从而改善成像质量。
附图说明
图1为本发明一种基于DMD的快速多色结构光照明超分辨显微成像装置示意图;
图2为DMD对于488nm、561nm和642nm波长激光的入射角度和衍射角度示意图;
图3分别为DMD加载的三个方向的条纹图样和三个方向叠加后的衍射级次强度图,其中,(a)图为0°条纹图样,(b)图为60°条纹图样,(c)图为120°条纹图样,(d)图为七个衍射级次(三个方向的中心零级和正负一级)的强度图;
图4分别为傅里叶滤波器和披萨偏振器示意图,其中,(a)图为傅里叶滤波器示意图,(b)图为披萨偏振器示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明并不限于下面公开的具体实施例的限制。本文中所涉及的方位词“上”、“下”、“左”和“右”,是以对应附图为基准而设定的,可以理解,上述方位词的出现并不限定本发明的保护范围。
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
如图1所示的多色结构光照明显微成像装置,包括:多色激光器1、单模保偏光纤2、第一透镜3、变形镜4、第二透镜5、第三透镜6、振镜7、光纤头夹具8、第一光纤9、第一调节架10、第四透镜11、第一四分之一波片12、第二光纤13、第二调节架14、第五透镜15、第二四分之一波片16、第三光纤17、第三调节架18、第六透镜19、第三四分之一波片20、DMD21、第七透镜22、傅里叶滤波器23、披萨偏振器24、第八透镜25、第一管镜26、二向色镜27、显微物镜28、荧光样品29、滤波片30、第二管镜31、显微镜架32、相机33、计算机34。
本实施例中的多色结构光照明显微成像装置主要包括激发光路模块和成像光路模块。激发光路模块包括依次布置的多色激光器1,振镜单波长选通系统,方芯多模光纤组,DMD21,傅里叶滤波系统和显微物镜28;其中,振镜单波长选通系统包括第一透镜3、变形镜4、第二透镜5、第三透镜6、振镜7;方芯多模光纤组包括方芯多模光纤头夹具8,第一光纤9、第二光纤13和第三光纤17,第一调节架10、第二调节架14和第三调节架18,第四透镜11、第五透镜15和第六透镜19,第一四分之一波片12、第二四分之一波片16和第三四分之一波片20;傅里叶滤波系统包括傅里叶滤波器23和披萨偏振器24,位于第七透镜22和第八透镜25组成的4f系统的傅里叶面处的位置。成像光路模块主要包括滤波片30、第二管镜31、相机33和计算机34。第一管镜26、二向色镜27、第二管镜31、显微物镜28和相机33都安装在显微镜架32上。
本实施例中,多色激光器1发出的线偏振光依次经过单模保偏光纤2和第一透镜3,其中单模保偏光纤2用于将多色激光器发出的高功率线偏振激光传递到第一透镜3并保证其线偏振特性,第一透镜3用于将发散的激光光束缩小到变形镜4的直径5mm的有效区域内。变形镜4通过高频振动对高斯型分布的激光强度进行均匀化,第二透镜5和第三透镜6构成一组4f系统,用于将激光光束的数值孔径扩大后输入方芯多模光纤(数值孔径为0.39,纤芯尺寸为150um×150um,长度为5m)内以实现更好的强度匀化效果,振镜7用于对单一波长的激光进行快速选通或截止,光纤头夹具8用于排布和固定多根方芯多模光纤输入端的裸光纤头。
多色激光器1的激光波长分别为488nm、561nm和642nm,三个波长的激光入射到DMD上的角度分别为-40.58°、7.72°和-40.22°(相对于DMD基底的法线,法线左边角度为负,法线右边角度为正)时衍射效率最大且衍射角度都为16.58°,其中488nm和642nm波长的激光将+12°的微镜用作闪耀光栅进行衍射,561nm波长的激光将-12°的微镜用作闪耀光栅进行衍射,如图2所示。
第一光纤9、第一调节架10、第四透镜11和第一四分之一波片12用于488nm波长的激光传输,其中第一光纤9用于传输488nm波长的激光并对其强度进行匀化,第一调节架10用于488nm波长的激光入射角度的对准,第四透镜11用于将488nm波长的激光光束准直后入射到DMD21上发生衍射,第四透镜11与DMD21的距离为透镜焦距,第一四分之一波片12用于将488nm波长的激光由线偏振光转换为圆偏振光。同理,第二光纤13、第二调节架14、第五透镜15和第二四分之一波片16用于642nm波长的激光传输,第三光纤17、第三调节架18、第六透镜19和第三四分之一波片20用于561nm波长的激光传输。DMD21以衍射角度倾斜于显微镜架后端面放置是为了保证衍射光垂直进入显微镜架32的进光口内。
DMD21加载的0°、60°和120°三个方向的条纹分别如图3(a)、(b)和(c)所示,由于条纹图案也是一种周期性光栅,因此会在DMD本身主级衍射的基础上产生子级衍射,如图3(d)所示。第七透镜22和第八透镜25构成一组4f系统,在傅里叶面处依次放置傅里叶滤波器23和披萨偏振器24。傅里叶滤波器23的结构如图4(a)所示,用于遮挡三个方向的零级衍射光,只允许三个方向的正负一级衍射光通过发生干涉;披萨偏振器24的结构如图4(b)所示,由披萨形的六个偏振片组成,用于将三个方向的相对的两束圆偏振光分别转换为偏振方向相同的线偏振光,从而保证每个方向的干涉条纹都有高的对比度。
第一管镜26用于将三个方向上两束偏振方向相同的共六束线偏振光成像到显微物镜28的后瞳面,二向色镜27用于将线偏振激发光反射到荧光样品29上,显微物镜28为大数值孔径(1.49)物镜,用于将六束线偏振激发光聚焦到待测荧光样品29表面发生干渉形成条纹照明图样,激发产生的荧光信号依次通过显微物镜28、二向色镜27、滤波片30和第二管镜31聚焦到相机33上,其中显微物镜28用于收集荧光样品29产生的荧光信号,二向色镜27用于透过荧光信号,滤波片30用于滤除荧光中包括激光和环境光在内的杂散光,第二管镜31用于将荧光强度信息成像到相机33上。
计算机34用于控制多色激光器1、振镜7、DMD21和相机33的同步,对得到的9幅荧光强度图像进行数据处理,采用结构光重构算法获取超分辨图像。
系统工作前,调节好三根方芯多模光纤的间距以及光纤头夹具与振镜的距离,计算并标定振镜摆动的角度以实现对三个波长的激光进行快速选通或截止;使用三个光纤调节架对三个波长的激光进行角度调节对准。
系统工作时,计算机以精确的时序控制多色激光器打开或关闭不同波长(488nm、561nm、642nm)的激光源、振镜对不同波长的激光进行选通或截止、DMD顺序加载方向(0°、60°、120°)和相位(0°、120°、240°)发生改变的图案以及相机对27帧图像的顺序采集,实现硬件的同步化工作,并对采集的数据进行处理得到超分辨图像。
系统工作后,以三个方向、三步相移共九帧数据为一组,通过重构算法计算出一幅超分辨图像,再对三个波长的三幅超分辨图像进行叠加,最终得到一幅三色超分辨图像。
以上所述仅为本发明的较佳实施举例,并不用于限制本发明,凡在本发明精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于DMD的多色结构光照明超分辨显微成像装置,包括激发光路模块和成像光路模块,其特征在于,所述激发光路模块具有依次布置的:
多色激光器,发出不同波长的线偏振激光光束用于激发荧光;
振镜单波长选通系统,用于快速选通或截止所述多色激光器发出的单个波长激光;
方芯多模光纤组,用于传输选通的各个波长的激光以入射到DMD上,并调整各波长激光的输出方向到满足DMD数字闪耀光栅闪耀条件的角度,并将入射的线偏振光转换为圆偏振光;
DMD,用作数字闪耀光栅,对入射的各个波长的激光进行衍射,并控制干涉条纹的方向和相位的改变;
傅里叶滤波系统,用于各个方向下衍射产生的零级光的滤除和正负一级光的通过,并将各方向的正负一级衍射光由圆偏振光转换为偏振方向相同的线偏振光;
显微物镜,用于将各方向的偏振方向相同的正负一级衍射光聚焦到待测荧光样品表面进行干涉,产生条纹图样照明荧光样品,并收集发出的荧光强度信号。
2.根据权利要求1所述的多色结构光照明超分辨显微成像装置,其特征在于,所述振镜单波长选通系统包括沿光路依次设置的:第一透镜、变形镜、第二透镜、第三透镜、振镜和方芯多模光纤头夹具;所述第一透镜用于将激光光束缩束入射到所述变形镜的有效面积内;所述变形镜用于对入射激光光束进行高频振动使激光强度均匀化;第二透镜和第三透镜组成4f系统,用于将激光光束的数值孔径扩大到所述方芯多模光纤的数值孔径值;所述振镜用于将大数值孔径的激光光束以不低于5kHz的频率快速地选通或截止输入到所述方芯多模光纤头夹具中等间距排列的多个光纤头的其中一个内。
3.根据权利要求1所述的多色结构光照明超分辨显微成像装置,其特征在于,所述方芯多模光纤组包括传输单波长激光的多根光纤,每根光纤的输出端具有调节架,用于将该波长的激光输出方向调节到仿真计算好的入射角度以达到最大衍射效率;每根光纤的出射光路上具有依次设置的透镜和四分之一波片,所述透镜用于将激光准直后入射到DMD上;所述四分之一波片用于将激光由线偏振光转换为圆偏振光。
4.根据权利要求1所述的多色结构光照明超分辨显微成像装置,其特征在于,所述DMD用作数字闪耀光栅,当各个波长的激光以仿真计算所得的各自的角度入射到DMD上时,将以同一衍射角度出离DMD。
5.根据权利要求1所述的多色结构光照明超分辨显微成像装置,其特征在于,所述DMD的出射光路上设置有傅里叶滤波系统,包括依次设置的傅里叶滤波器和披萨偏振器,所述傅里叶滤波器用于各个方向零级衍射光的滤除和正负一级衍射光的通过,所述披萨偏振器用于改变通过的各个方向的正负一级衍射光的偏振方向,由圆偏振光转换为偏振方向相同的线偏振光。
6.根据权利要求1所述的多色结构光照明超分辨显微成像装置,其特征在于,所述成像光路模块包括:
相机,用于收集所述的荧光强度信号;
计算机,用于控制所述的多色激光器、振镜单波长选通系统、DMD和相机的同步,以精确的时序控制多色激光器打开或关闭不同波长的激光源、振镜对不同波长的激光进行选通或截止、DMD顺序加载方向和相位发生改变的图案以及相机对多帧图像的顺序采集,并对采集的数据进行处理得到超分辨图像。
7.根据权利要求6所述的多色结构光照明超分辨显微成像装置,其特征在于,还包括一显微镜架,所述显微镜架内沿光路依次设置有第一管镜、二向色镜、滤波片和第二管镜;所述第一管镜用于将所述两束偏振方向相同的衍射线偏振激光光束成像到显微物镜的后瞳面;所述二向色镜用于将激光光束反射入显微物镜并到达所述待测荧光样品表面,同时透过产生的荧光信号;滤波片用于滤除荧光样品发出的荧光中的杂散光,第二管镜用于将荧光强度信息成像到所述相机上。
8.一种基于DMD的多色结构光照明超分辨显微成像方法,其特征在于,包括以下步骤:
1)仿真计算选定的各个激光波长对选定DMD的同一衍射角度、不同的闪耀级次和不同的入射角度;
2)多色激光源发出的激光光束通过振镜的摆动实现不同波长激光的分时选通,DMD衍射产生的三个衍射级次(零级和正负一级)经过傅里叶滤波和偏振方向调制,正负一级衍射光以偏振方向相同的线偏振状态在待测荧光样品平面发生干涉,形成高对比度的条纹照明图样;
3)通过DMD上加载预先生成好的不同方向和相位的条纹图案旋转样品面处的干涉条纹的方向,并在各个方向多次改变干涉条纹的相位,得到的多幅荧光强度图像经过重建算法处理得到多色超分辨图像。
9.根据权利要求8所述的多色结构光照明超分辨显微成像方法,其特征在于,在步骤1)中,需要首先选定实验所用的激光波长和DMD以确定仿真计算的参数设置,不同的DMD和激光波长选择会得到仿真结果相差较大的衍射角度、闪耀级次和入射角度。
10.根据权利要求8所述的多色结构光照明超分辨显微成像方法,其特征在于,在步骤3)中,所述DMD上加载的条纹图案至少在三个角度下旋转干涉条纹的方向,在三个方向下至少三次改变干涉条纹的相位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210080472.7A CN114460731B (zh) | 2022-01-24 | 2022-01-24 | 一种基于dmd的多色结构光照明超分辨显微成像方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210080472.7A CN114460731B (zh) | 2022-01-24 | 2022-01-24 | 一种基于dmd的多色结构光照明超分辨显微成像方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114460731A true CN114460731A (zh) | 2022-05-10 |
CN114460731B CN114460731B (zh) | 2023-03-17 |
Family
ID=81412179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210080472.7A Active CN114460731B (zh) | 2022-01-24 | 2022-01-24 | 一种基于dmd的多色结构光照明超分辨显微成像方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114460731B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115047609A (zh) * | 2022-07-01 | 2022-09-13 | 中国科学院光电技术研究所 | 基于布洛赫表面波结构光照明的超分辨成像系统及方法 |
CN117224859A (zh) * | 2023-11-14 | 2023-12-15 | 浙江大学 | 一种焦虑状态评估和多靶点时序光刺激和成像系统 |
WO2024007674A1 (zh) * | 2022-07-05 | 2024-01-11 | 浙江大学 | 一种实现超高速结构光照明显微成像的方法和装置 |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4788560A (en) * | 1986-12-26 | 1988-11-29 | Kabushiki Kaisha Toshiba | Multi-beam scanning system with time sharing beam control |
US20060193352A1 (en) * | 2005-02-25 | 2006-08-31 | Changho Chong | Tunable fiber laser light source |
CN201706387U (zh) * | 2010-06-19 | 2011-01-12 | 麦克奥迪实业集团有限公司 | 可快速切换不同波长的照明装置 |
US20120026311A1 (en) * | 2010-04-26 | 2012-02-02 | The Regents Of The University Of California | Structured illumination microscope apparatus and an image forming apparatus |
CN102354046A (zh) * | 2011-07-04 | 2012-02-15 | 上海理工大学 | 一种多路频分复用荧光共焦显微成像技术实现方法 |
CN106950208A (zh) * | 2017-03-16 | 2017-07-14 | 浙江大学 | 一种基于全内反射结构光照明的宽场超分辨显微成像方法和装置 |
CN107167929A (zh) * | 2017-06-12 | 2017-09-15 | 华南师范大学 | 基于dmd的双模式光学超分辨显微成像装置及方法 |
CN208314326U (zh) * | 2018-06-29 | 2019-01-01 | 昂纳信息技术(深圳)有限公司 | 一种光开关装置 |
CN109407295A (zh) * | 2018-12-18 | 2019-03-01 | 中国科学院深圳先进技术研究院 | 一种基于dmd可多色激发的结构光显微系统及多色激发方法 |
CN109407293A (zh) * | 2018-10-31 | 2019-03-01 | 浙江大学 | 基于双振镜双物镜的三维结构光照明超分辨显微成像装置和方法 |
CN110412769A (zh) * | 2019-07-12 | 2019-11-05 | 武汉锐科光纤激光技术股份有限公司 | 一种光纤激光合束器 |
CN110567594A (zh) * | 2019-09-17 | 2019-12-13 | 中国计量科学研究院 | 精密激光波长测量系统 |
CN210690382U (zh) * | 2019-09-23 | 2020-06-05 | 合肥泰禾光电科技股份有限公司 | 一种扫描识别装置及使用该装置的物料检测系统 |
CN112859315A (zh) * | 2021-01-11 | 2021-05-28 | 北京大学 | 一种多色双模式结构光照明显微成像系统及其成像方法 |
CN113049587A (zh) * | 2019-12-27 | 2021-06-29 | 香港中文大学 | 高分辨率和高成像速度的合成孔径相位显微系统和方法 |
WO2021179127A1 (zh) * | 2020-03-09 | 2021-09-16 | 深圳华大生命科学研究院 | 超分辨成像系统与方法、生物样品识别系统与方法、核酸测序成像系统与方法及核酸识别系统与方法 |
CN113488843A (zh) * | 2021-07-15 | 2021-10-08 | 陕西澳威激光科技有限公司 | 一种光谱组束系统及超大功率激光的输出方法 |
CN113514442A (zh) * | 2021-07-12 | 2021-10-19 | 桂林电子科技大学 | 基于四芯光纤光操控的动态散斑荧光显微成像方法和系统 |
-
2022
- 2022-01-24 CN CN202210080472.7A patent/CN114460731B/zh active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4788560A (en) * | 1986-12-26 | 1988-11-29 | Kabushiki Kaisha Toshiba | Multi-beam scanning system with time sharing beam control |
US20060193352A1 (en) * | 2005-02-25 | 2006-08-31 | Changho Chong | Tunable fiber laser light source |
US20120026311A1 (en) * | 2010-04-26 | 2012-02-02 | The Regents Of The University Of California | Structured illumination microscope apparatus and an image forming apparatus |
CN201706387U (zh) * | 2010-06-19 | 2011-01-12 | 麦克奥迪实业集团有限公司 | 可快速切换不同波长的照明装置 |
CN102354046A (zh) * | 2011-07-04 | 2012-02-15 | 上海理工大学 | 一种多路频分复用荧光共焦显微成像技术实现方法 |
CN106950208A (zh) * | 2017-03-16 | 2017-07-14 | 浙江大学 | 一种基于全内反射结构光照明的宽场超分辨显微成像方法和装置 |
CN107167929A (zh) * | 2017-06-12 | 2017-09-15 | 华南师范大学 | 基于dmd的双模式光学超分辨显微成像装置及方法 |
CN208314326U (zh) * | 2018-06-29 | 2019-01-01 | 昂纳信息技术(深圳)有限公司 | 一种光开关装置 |
CN109407293A (zh) * | 2018-10-31 | 2019-03-01 | 浙江大学 | 基于双振镜双物镜的三维结构光照明超分辨显微成像装置和方法 |
CN109407295A (zh) * | 2018-12-18 | 2019-03-01 | 中国科学院深圳先进技术研究院 | 一种基于dmd可多色激发的结构光显微系统及多色激发方法 |
CN110412769A (zh) * | 2019-07-12 | 2019-11-05 | 武汉锐科光纤激光技术股份有限公司 | 一种光纤激光合束器 |
CN110567594A (zh) * | 2019-09-17 | 2019-12-13 | 中国计量科学研究院 | 精密激光波长测量系统 |
CN210690382U (zh) * | 2019-09-23 | 2020-06-05 | 合肥泰禾光电科技股份有限公司 | 一种扫描识别装置及使用该装置的物料检测系统 |
CN113049587A (zh) * | 2019-12-27 | 2021-06-29 | 香港中文大学 | 高分辨率和高成像速度的合成孔径相位显微系统和方法 |
WO2021179127A1 (zh) * | 2020-03-09 | 2021-09-16 | 深圳华大生命科学研究院 | 超分辨成像系统与方法、生物样品识别系统与方法、核酸测序成像系统与方法及核酸识别系统与方法 |
CN112859315A (zh) * | 2021-01-11 | 2021-05-28 | 北京大学 | 一种多色双模式结构光照明显微成像系统及其成像方法 |
CN113514442A (zh) * | 2021-07-12 | 2021-10-19 | 桂林电子科技大学 | 基于四芯光纤光操控的动态散斑荧光显微成像方法和系统 |
CN113488843A (zh) * | 2021-07-15 | 2021-10-08 | 陕西澳威激光科技有限公司 | 一种光谱组束系统及超大功率激光的输出方法 |
Non-Patent Citations (1)
Title |
---|
RONNY FÖRSTER ETAL: "Simple structured illumination microscope setup with high acquisition speed by using a spatial light modulator", 《OPTICS EXPRESS》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115047609A (zh) * | 2022-07-01 | 2022-09-13 | 中国科学院光电技术研究所 | 基于布洛赫表面波结构光照明的超分辨成像系统及方法 |
WO2024007674A1 (zh) * | 2022-07-05 | 2024-01-11 | 浙江大学 | 一种实现超高速结构光照明显微成像的方法和装置 |
CN117224859A (zh) * | 2023-11-14 | 2023-12-15 | 浙江大学 | 一种焦虑状态评估和多靶点时序光刺激和成像系统 |
CN117224859B (zh) * | 2023-11-14 | 2024-02-06 | 浙江大学 | 包括焦虑状态评估装置和多靶点时序光刺激和成像装置的系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114460731B (zh) | 2023-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114460731B (zh) | 一种基于dmd的多色结构光照明超分辨显微成像方法和装置 | |
CN106980174B (zh) | 一种综合性荧光超分辨显微成像装置 | |
CN106970055B (zh) | 一种三维荧光差分超分辨显微方法及装置 | |
CN107941763B (zh) | 一种共轴三维受激辐射损耗超分辨显微成像方法和装置 | |
CN107389631B (zh) | 高速多色多模态结构光照明超分辨显微成像系统及其方法 | |
US7599069B2 (en) | Vector beam generator using a passively phase stable optical interferometer | |
US8570650B2 (en) | Method and system for fast three-dimensional structured-illumination-microscopy imaging | |
CN106124468B (zh) | 一种基于光激活及结构光照明的超分辨荧光显微方法及装置 | |
JP6033798B2 (ja) | 蛍光顕微鏡検査法における照明位相制御のためのシステムおよび方法 | |
GB2416447A (en) | Laser scanning microscope with variably split illumination | |
CN110954523B (zh) | 一种双光子扫描结构光显微成像方法及装置 | |
CN105445943A (zh) | 一种分数阶完美涡旋光束的产生装置及产生方法 | |
US20060214106A1 (en) | Point scanning laser scanning microscope and methods for adjustment of a microscope | |
CN107329245B (zh) | 基于径向偏振调制的干涉式结构光照明显微镜系统与方法 | |
WO2024051079A1 (zh) | 一种主动结构光照明的超分辨显微成像方法及系统 | |
GB2416444A (en) | Laser scanning microscope with variably split illumination | |
GB2416446A (en) | Laser scanning microscope | |
Rego et al. | Practical structured illumination microscopy | |
CN112859315A (zh) | 一种多色双模式结构光照明显微成像系统及其成像方法 | |
WO2023221400A1 (zh) | 超分辨单物镜光片显微成像光学系统及其成像系统 | |
CN113835323B (zh) | 一种动态曝光调控系统及矢量光场生成装置 | |
CN111504970B (zh) | 一种镜面辅助三维超分辨显微成像系统及方法 | |
CN108897139A (zh) | 偏振调控装置、方法及激光干涉式结构光照明显微镜系统 | |
WO2024007674A1 (zh) | 一种实现超高速结构光照明显微成像的方法和装置 | |
CN108593620B (zh) | 一种应用于4pi显微架构的多色超分辨成像系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |