CN112986237A - 一种基于焦点扫描结构光照明的超分辨成像装置及方法 - Google Patents

一种基于焦点扫描结构光照明的超分辨成像装置及方法 Download PDF

Info

Publication number
CN112986237A
CN112986237A CN202110114091.1A CN202110114091A CN112986237A CN 112986237 A CN112986237 A CN 112986237A CN 202110114091 A CN202110114091 A CN 202110114091A CN 112986237 A CN112986237 A CN 112986237A
Authority
CN
China
Prior art keywords
light
scanning
unit
light intensity
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110114091.1A
Other languages
English (en)
Other versions
CN112986237B (zh
Inventor
郜鹏
雷云泽
郑娟娟
刘旻
马英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Faner Photoelectric Technology Co ltd
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110114091.1A priority Critical patent/CN112986237B/zh
Publication of CN112986237A publication Critical patent/CN112986237A/zh
Application granted granted Critical
Publication of CN112986237B publication Critical patent/CN112986237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明公开了一种基于焦点扫描结构光照明的超分辨成像装置和方法,所述装置包括照明及光强调制单元、扫描单元、中继单元、显微成像单元和控制单元,其中,扫描单元用于对照明及光强调制单元产生的激光光束进行扫描;照明及光强调制单元用于控制激光束的光强,并对光强进行配置,产生不同方向和相移量的条纹结构光;显微成像单元用于记录待测样品在条纹结构光照明下的强度图像;控制单元用于同步控制照明及光强调制单元、扫描单元,和显微成像单元,并重建待测样品的超分辨SIM图像。本发明利用焦点扫描和脉冲编码技术,对扫描中每一个像素的光强进行准确配置,能够产生不同方向和相移量的条纹结构光,有效提高了光强调制速度和条纹对比度。

Description

一种基于焦点扫描结构光照明的超分辨成像装置及方法
技术领域
本发明属于显微成像技术领域,具体涉及一种基于焦点扫描结构光照明的超分辨成像装置及方法。
背景技术
随着生物医学研究的不断深入,人们对光学显微技术的空间分辨率提出了越来越高的要求。然而,受到衍射极限的束缚,光学显微镜的分辨率约为200纳米,无法用于清晰观察尺寸在200纳米以下的生物结构。如何突破这个极限,继续提高光学系统的成像分辨率,已成为当前光学领域内的一个重大研究课题。在最近二十多年里涌现出了多种超分辨光学成像方法。目前的超分辨显微技术主要可分为三种:第一种是受激辐射损耗显微(Stimulated Emission Depletion,STED)技术,利用一环状损耗光来淬灭激发光焦点外围的荧光,通过减小焦点来实现超分辨显微成像。第二种是单分子定位(LocalizationMicroscopy)技术,该技术通过控制荧光分子的“开”和“关”,令不同的荧光分子分时发光,并对每个离散的荧光分子进行精确定位,从而实现超分辨成像。第三种是结构光照明显微(Structured Illumination Microscopy,SIM)技术,该技术利用条纹结构光照明样品,通过记录结构光和样品形成的摩尔条纹,将样品的高频分量移向低频分量;再通过旋转和沿着条纹法线方向平移条纹,可以解离出摩尔条纹中编码的高频分量,最后通过对不同频谱进行拼接与逆傅里叶变换,可以获得超分辨的SIM图像。在上述三种超分辨光学显微技术中,SIM具有成像速度快、光毒性小、对荧光分子和标记方法没有过多苛刻要求、层析能力强(可三维成像)等优点,尤其受到生物医学科研工作者的青睐。
传统SIM是一种宽场显微技术,具有成像速度快、对样品损伤小等优点。然而,宽场照明光容易受到样品不均匀性和散射作用的影响,其成像深度一般在20微米以内,无法对厚样品进行超分辨成像。同时,在成像过程中,宽场照明光会照明整个样品,致使荧光标记物漂白而不利于三维成像。近年来,SIM技术研究已经取得了令人瞩目的进展,然而伴随着生物医学研究对显微技术成像深度、空间/时间分辨率需求的不断提高,该技术仍然存在一些亟待解决的问题:目前的非线性SIM均为宽场成像技术,虽然可以得到50纳米的空间分辨率,但是其成像深度一般在20微米以内,不能满足对深层样品的原位、超分辨成像需求。
发明内容
为了解决现有技术中存在的上述问题,本发明提供了一种基于焦点扫描结构光照明的超分辨成像装置及方法。本发明要解决的技术问题通过以下技术方案实现:
本发明的一个方面提供了一种基于焦点扫描结构光照明的超分辨成像装置,包括照明及光强调制单元、扫描单元、中继单元、显微成像单元和控制单元,其中,
所述扫描单元连接所述控制单元,用于对所述照明及光强调制单元产生的激光光束进行扫描;
所述照明及光强调制单元连接所述控制单元,用于控制激光束的光强,并对每一帧图像像素的光强进行配置,产生不同方向和相移量的条纹结构光;
所述中继单元用于对所述条纹结构光进行缩束,以使所述条纹结构光以平行光进入所述显微成像单元;
所述显微成像单元用于记录待测样品在条纹结构光照明下的强度图像;
所述控制单元用于同步控制所述照明及光强调制单元、所述扫描单元,和所述显微成像单元,通过记录不同条纹结构光照射下的光强图像,重建所述待测样品的超分辨SIM图像。
在本发明的一个实施例中,所述扫描单元包括沿光路方向依次设置的共振扫描振镜和第二线性扫描振镜,其中,
所述控制单元能够产生第一模拟电压信号x(t)=Acos(2πft),用于控制所述共振扫描振镜沿第一方向对所述激光光束进行扫描,其中,A表示所述第一模拟电压信号的幅度,f表示所述第一模拟电压信号的频率,t表示时间;并且,
所述控制单元能够产生第二模拟电压信号y(t)=kt,用于控制所述线性扫描振镜沿与所述第一方向垂直的第二方向对所述激光光束进行扫描,从而产生条纹结构光,其中,k表示所述第二模拟电压信号的幅度。
在本发明的一个实施例中,所述扫描单元包括沿光路方向依次设置的第一线性扫描振镜和第二线性扫描振镜,其中,
所述控制单元能够产生第三模拟电压信号x(t)=k1t,用于控制所述第一线性扫描振镜沿第一方向对所述激光光束进行扫描,其中,k1表示第三所述模拟电压信号的幅度,t表示时间;并且,
所述控制单元能够产生第四模拟电压信号y(t)=k2t,用于控制所述第二线性扫描振镜沿与所述第一方向垂直的第二方向对所述激光光束进行扫描,从而产生条纹结构光,k2表示所述第四模拟电压信号的幅度。
在本发明的一个实施例中,所述照明及光强调制单元包括脉冲激光驱动器和脉冲激光器,其中,所述脉冲驱动器连接所述控制单元,所述控制单元能够利用光强调制函数ISIM(x,y)=I0+I0cos(2πxcosθ/Λ+2πysinθ/Λ+φ)产生矩形脉冲序列,所述脉冲激光驱动器用于在所述矩形脉冲序列的控制下驱动所述脉冲激光器产生光脉冲,以对每一帧图像像素的光强进行配置,其中,x表示所述扫描单元扫描到的像素点的横坐标,y表示所述扫描单元扫描到的像素点的纵坐标,I0表示光强的直流分量,Λ表示条纹结构光的周期,θ表示条纹结构光的法线方位角,φ表示条纹结构光的相移量。
在本发明的一个实施例中,所述中继单元包括沿光路方向依次设置的第一薄透镜和第二薄透镜。
在本发明的一个实施例中,所述显微成像单元包括二向色镜、显微物镜、第三薄透镜和CCD相机,其中,
所述显微物镜设置在所述二向色镜的第一侧,所述第三薄透镜和所述CCD相机依次设置在所述二向色镜的第二侧,所述待测样品放置在所述显微物镜远离所述二向色镜的一端;
所述二向色镜用于根据激光光束的波段对入射的条纹结构光和所述待测样品的反射光进行过滤分离;
所述CCD相机用于在不同方位角和相移量的条纹结构光的照射下采集所述待测样品的光强图像。
在本发明的一个实施例中,所述第三薄透镜与所述CCD相机之间设置有带通滤光片,用于对所述待测样品反射的光进行带通滤波以滤除噪声。
在本发明的一个实施例中,所述控制单元包括数据采集控制卡和计算机,其中,所述数据采集控制卡用于产生控制信号,用于同步控制所述照明及光强调制单元和所述扫描单元,以产生不同方向和相移量的条纹结构光;所述计算机用于根据不同条纹结构光照射下的光强图像,重建所述待测样品的超分辨SIM图像。
本发明的另一方面提供了一种基于焦点扫描结构光照明的超分辨成像方法,利用上述实施例中任一项所述的基于焦点扫描结构光照明的超分辨成像装置执行,所述方法包括:
利用数据采集控制卡产生控制信号,同步控制所述照明及光强调制单元和所述扫描单元,以产生不同方向和相移量的条纹结构光;
对所述条纹结构光进行缩束,以使所述条纹结构光以平行光进入所述显微成像单元;
利用所述不同方向和相移量的条纹结构光照射待测样品,获得不同条纹结构光照射下的光强图像;
根据不同条纹结构光照射下的光强图像,重建所述待测样品的超分辨SIM图像。
在本发明的一个实施例中,设定所述条纹结构光的法线方位角θ=0°、90°,相移量φ=0、π/2、π、3π/2,从而获得8种不同条纹结构光照射下的8幅光强图像。
与现有技术相比,本发明的有益效果在于:
1、本发明基于焦点扫描结构光照明的超分辨成像装置利用脉冲编码技术,对扫描中每一个像素的光强进行准确配置,能够产生不同方向和相移量的条纹结构光,有效提高了光强调制速度和条纹对比度;该脉冲编码技术不仅能够实现光强连续调制,而且可以实现光强的二进制数字调制。
2、本发明可以采用共振扫描模式来替代传统的线性扫描模式,显著提高图像成像速度,共振扫描模式可以获得12kHz/线的扫描速度,是线性扫描的10余倍,同时,在共振扫描中对照明光进行光强调制可以产生扫描结构光,实现快速、超分辨扫描SIM成像。
3、本发明利用基于脉冲编码光强调制技术,除了产生结构光条纹外,还将用以补偿共振非线性扫描引发的光强分布不一致性运动特性。对于共振扫描,焦点在扫描的两端停留时间较长,而中间停留时间较短,这将会导致光强分布的不一致性。因此,需要通过对激光光强进行额外的调制,来保证图像每一行中的不同像素位置处对应的曝光量基本一致,最终得到光强均匀的强度图像。
4、与传统SIM技术相比,该方法采用了聚焦的照明光斑,可以大大提高成像深度(具有和共聚焦显微镜相媲美的成像深度,约200~500μm)。同时,SIM中的相移操作可以进一步抑制离焦背景噪声,因此扫描SIM具有良好的层析能力,该方法有望被用于生物医学领域对生物样品的快速、动态检测与分析。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种基于焦点扫描结构光照明的超分辨成像装置的模块示意图;
图2是本发明实施例提供的一种基于焦点扫描结构光照明的超分辨成像装置的具体结构示意图;
图3是本发明实施例提供的一种基于焦点扫描与光强调制的条纹结构光的产生原理示意图;
图4是本发明实施例提供的一种不同激光光束照射下的条纹结构光的条纹相移图;
图5是采用共振扫描产生的各个方向下的条纹结构光的图像;
图6是待测样品在扫描条纹结构光照明下形成的成像结果图;
图7是本发明实施例提供的一种基于焦点扫描结构光照明的超分辨成像方法的流程图。
具体实施方式
为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及具体实施方式,对依据本发明提出的一种基于焦点扫描结构光照明的超分辨成像装置及方法进行详细说明。
有关本发明的前述及其他技术内容、特点及功效,在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明,可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解,然而所附附图仅是提供参考与说明之用,并非用来对本发明的技术方案加以限制。
应当说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
实施例一
请参见图1,图1是本发明实施例提供的一种基于焦点扫描结构光照明的超分辨成像装置的模块示意图。本实施例的超分辨成像装置包括照明及光强调制单元101、扫描单元102、中继单元103、显微成像单元104和控制单元105,其中,扫描单元102连接控制单元105,用于在控制单元105的控制下对照明及光强调制单元101产生的激光光束进行扫描;照明及光强调制单元101电连接控制单元105,用于在控制单元105的控制下产生激光光束,并且能够对所述激光光束到达每一帧图像像素的光强进行配置。在控制单元105控制下,照明及光强调制单元101和扫描单元102协同工作,产生不同方向和相移量的条纹结构光;中继单元103用于对所述条纹结构光进行缩束,以使所述条纹结构光以平行光进入显微成像单元104;显微成像单元104用于利用不同方向和相移量的条纹结构光照射待测样品,获得待测样品在不同条纹结构光照射下的光强图像;控制单元105还用于根据不同条纹结构光照射下的光强图像,重建待测样品的超分辨SIM图像。
进一步地,请参见图2,图2是本发明实施例提供的一种基于焦点扫描结构光照明的超分辨成像装置的具体结构示意图。本实施例的照明及光强调制单元包括脉冲激光驱动器1和脉冲激光器2,其中,脉冲驱动器1电连接控制单元102,控制单元102能够利用光强调制函数ISIM(x,y)=I0+I0cos(2πxcosθ/Λ+2πysinθ/Λ+φ)产生矩形脉冲序列,脉冲激光驱动器用于在矩形脉冲序列的控制下驱动脉冲激光器2产生光脉冲,以对每一帧图像所有像素点上的光强进行配置,其中,x表示扫描单元扫描到的像素点的横坐标,y表示扫描单元扫描到的像素点的纵坐标,I0表示光强的直流分量,Λ表示条纹结构光的周期,θ表示条纹结构光的法线方位角,φ表示条纹结构光的相移量。
具体地,脉冲激光驱动器1具有外触发功能,能够接收来自控制单元102的触发信号,脉冲激光器2的输出激光波长在可见光范围内(400-700nm),输出激光功率稳定。
在本实施例中,控制单元102包括数据采集控制卡(DAQ,Data Acquisition)13和计算机12,其中,所述数据采集控制卡13用于产生控制信号,用于同步控制所述照明及光强调制单元101和扫描单元102,以不同方向和相移量的条纹结构光;计算机12用于根据不同条纹结构光照射下的光强图像,重建所述待测样品的超分辨SIM图像。
进一步地,本实施例的扫描单元102包括沿光路方向依次设置的共振扫描振镜3和线性扫描振镜4,其中,数据采集控制卡13能够产生第一模拟电压信号x(t)=Acos(2πft),用于控制共振扫描振镜3沿第一方向对所述激光光束进行扫描,其中,A表示所述第一模拟电压信号的幅度,f表示所述第一模拟电压信号的频率,t表示时间;并且,数据采集控制卡13能够产生第二模拟电压信号y(t)=kt,用于控制线性扫描振镜4沿与所述第一方向垂直的第二方向对所述激光光束进行扫描,从而产生条纹结构光,其中,k表示所述第二模拟电压信号的幅度。优选地,共振扫描振镜3在x方向上以12kHz的频率进行线扫描,线性扫描振镜4在y方向上以1kHz的频率进行扫描。
在本实施例中,利用数据采集控制卡13同步控制脉冲激光器2、共振扫描振镜3和线性扫描振镜4,产生扫描条纹结构光。具体地,请参见图3,图3是本发明实施例提供的一种基于焦点扫描与光强调制的条纹结构光的产生原理示意图,其中,图(3a)为焦点扫描示意图,Fast Axis表示使用共振扫描振镜进行x方向上的扫描,Slow Axis表示使用线性扫描振镜进行y方向上的扫描;图(3b)为扫描信号(Scan Signal)与光强脉冲编码调制信号(Pulsesignal)的示意图。Scan Signal表示进行x方向上的线扫描时,对应每一个像素上的信号电压形式;Pulse Signal表示脉冲编码调制信号,用以对每一个像素进行光强配置,每一个脉冲信号都会触发脉冲激光驱动器1(外触发模式),进而触发脉冲激光器2产生一个光脉冲,用以实现条纹结构光的光强配置。
在本实施例中,根据已知的条纹结构光光强分布,提前计算出每一个像素位置需要配置的光强,即利用光强调制函数ISIM(x,y)=I0+I0cos(2πxcosθ/Λ+2πysinθ/Λ+φ)产生一定密度的矩形脉冲序列,作为外触发脉冲信号控制脉冲激光驱动器1;在每个电脉冲的触发下,脉冲激光驱动器1控制脉冲激光器2产生一个光脉冲。如此完成对每一帧图像像素光强的精确配置,配合共振扫描振镜3和线性扫描振镜4对激光光束的驱动,最终产生条纹结构光,根据此原理,将产生任意方向或相移量(φ=0、π/2、π、3π/2)的条纹结构光。请参见图4,图4是本发明实施例提供的一种不同激光光束照射下的条纹结构光的图像,其中,图(4a)为x方向上相移量分别为φ=0、π/2、π、3π/2的扫描结构光的条纹图样;图(4b)为不同条纹结构光对应的光强分布,其中,结构光条纹图像相移量为1.57±0.16rad;条纹对比度为0.19±0.01。
在本实施例中,脉冲激光器2产生的激光波长λ为470nm,扫描区域为76.8×76.8μm2,扫描像素个数为256×256;每个像素停留的时间为30μs;条纹结构光的法线方位角θ为0°,激光脉冲调制光强幅值I0为60;条纹周期Λ为1.2μm,条纹结构光的条纹周期为4个像素,其中,使用二进制光强调制模式,即周期前两个像素光强为1以形成暗条纹,后两个像素光强为60以形成明条纹,初始相位状态如图4中(4a)φ=0情况所示。通过设置不同的相移量φ=0、π/2、π、3π/2,可获得图4中(4a)的四个相移状态下的扫描条纹图。经拟合测算,该条纹结构光的条纹图像的相移量为1.57±0.16rad;条纹对比度为0.19±0.01。
本实施例的超分辨成像装置利用脉冲编码技术,对扫描中每一个像素的光强进行准确配置,能够产生不同方向和相移量的条纹结构光,有效提高了光强调制速度和条纹对比度;该脉冲编码技术不仅能够实现光强连续调制,而且可以实现光强的二进制数字调制。另外,本实施例采用共振扫描模式来替代传统的线性扫描模式,显著提高图像成像速度,共振扫描模式可以获得12kHz/线的扫描速度,是线性扫描的10余倍,同时,在共振扫描中对照明光进行光强调制可以产生扫描结构光,实现快速、超分辨扫描SIM成像。需要说明的是,对于共振扫描模式,焦点在扫描的两端停留时间较长,而中间停留时间较短,这将会导致光强分布的不一致性。请参见图5,图5是采用共振扫描产生的各个方向下的条纹结构光的图像,其中,图(5a)为y方向共振扫描产生的结构光条纹;图(5b)为x轴共振扫描产生的结构光条纹;图(5c)为45°方向共振扫描产生的结构光条纹。可以看到,由于共振扫描的自身非线性运动特性,当采用恒定光强进行焦点扫描时,会出现条纹光强分布不均匀的情况。在该情况下,通过对激发光光强进行额外的调制,来保证图像每一行中的不同像素位置处对应的曝光量基本一致,最终得到光强均匀的强度图像。
在其他实施例中,扫描单元102还可以包括沿光路方向依次设置的两个线性扫描振镜,即第一线性扫描振镜和第二线性扫描振镜,其中,控制单元105能够产生第三模拟电压信号x(t)=k1t,用于控制所述第一线性扫描振镜沿第一方向对所述激光光束进行扫描,其中,t表示时间,k1表示第三所述模拟电压信号的幅度,;并且,控制单元105能够产生第四模拟电压信号y(t)=k2t,用于控制所述第二线性扫描振镜沿与所述第一方向垂直的第二方向对所述激光光束进行扫描,同样能够产生条纹结构光,k2表示所述第四模拟电压信号的幅度。
进一步地,本实施例的中继单元103包括沿光路方向依次设置的第一薄透镜5和第二薄透镜6。优选地,第一薄透镜5是焦距为f1=75mm的消色差双胶合透镜,第二薄透镜6是焦距f2=200mm的消色差双胶合透镜。第一薄透镜5和第二薄透镜6级联组成望远镜系统,保证以平行光进入显微成像单元104。
在本实施例中,显微成像单元104包括二向色镜7、显微物镜8、第三薄透镜10和CCD相机11,其中,显微物镜8设置在二向色镜7的第一侧,第三薄透镜10和CCD相机11依次设置在二向色镜7的第二侧,待测样品9放置在显微物镜8远离二向色镜7的一端;二向色镜7用于根据激光光束的波段对入射的条纹结构光和待测样品9的反射光进行过滤分离;CCD相机11用于在不同方位角和相移量的条纹结构光的照射下采集待测样品的光强图像。
优选地,显微物镜8为放大倍数为20×,数值孔径NA=0.30的显微物镜。第三薄透镜10为焦距为f3=270mm的消色差双胶合透镜。显微物镜8和第三薄透镜10级联组成成像系统,将待测样品9的信息成像到具有合适的灰度阶、像素尺寸和像素数量的CCD相机11上。
为了进一步抑制激光光束、背景光对成像的干扰,CCD相机11与第三薄透镜10之间放置有一个带通滤光片(附图中未示出),以对待测样品9反射的光进行带通滤波以滤除噪声。通过改变条纹结构光的法线方位角θ(θ=0°、90°)和相移量φ产生不同方向和相移量(φ=0、π/2、π、3π/2)的条纹结构光,采集待测样品的光强图像分别记为Im,n,其中,m=1、2表示条纹结构光的方向;n=0、1、2、3表示条纹结构光相移操作。示例性地,I1,0代表此时θ=0°、φ=0,I1,1代表此时θ=0°、φ=π/2,依次类推。从而在本实施例中可以通过不同的条纹方向和相移量的任意组合,获得待测样品的12张光强图像Im,n
在采集到待测样品的光强图像Im,n之后,计算机12用于根据不同条纹结构光照射下的光强图像,重建所述待测样品的超分辨SIM图像。
具体地,如上所述,为了实现超分辨成像,本实施例通过同步控制驱动器1、共振扫描振镜3和线性扫描振镜4,产生方向互成180°、相移量分别为0、π/2、π、3π/2的12幅结构光,并由CCD相机11记录待测样品9在这8幅结构光照明下的强度图样Im,n。为了实现超分辨再现,对每一强度图样Im,n进行傅里叶变换,得到其频谱分布:
Figure BDA0002919983860000131
其中,
Figure BDA0002919983860000132
Figure BDA0002919983860000133
表示沿着条纹结构光0级、+1级、-1级传播的频谱分量,k表示空间频率分量,km表示条纹结构光的空间频率;
Figure BDA0002919983860000134
Figure BDA0002919983860000135
是样品频谱被结构光移动±km后的频谱分布,OTF(k)表示成像系统的光学传递函数(opticaltransfer function,OTF)。在本实施例中,将
Figure BDA0002919983860000136
Figure BDA0002919983860000137
与OTF(k)的乘积分别写成:
Figure BDA0002919983860000138
这三项分别表示样品被结构光0级、±1级衍射光移频后,通过成像系统OTF滤波后的频谱分量。
Figure BDA0002919983860000139
为强度图样的零频分量,不受相移操作的影响。
Figure BDA00029199838600001310
Figure BDA00029199838600001311
是单向具有“超分辨”的频谱分量。利用三幅不同相移量的强度图样,可以从公式(1)中求解出
Figure BDA00029199838600001312
随后,通过测量系统的OTF(k)和“去卷积”操作去除系统本身OTF对以上三个变量的影响。最后,将不同条纹方向(方位角依次相差120°)的三组
Figure BDA00029199838600001313
进行平移和拼接,可以得到一个较大的频谱分布(“合成孔径”)。最后,通过对合成频谱进行傅里叶逆变换,便可以得到样品的超分辨图像。
请参见图6,图6是待测样品在条纹结构光照明下形成的成像结果图,其中,采用标尺作为待测样品,其最小刻度分辨率为10μm。图(6a)为采用焦点扫描和光强调制下的x方向和y方向扫描结构光条纹结果图,其中,第一排为x方向的相移量分别为φ=0、π/2、π、3π/2的四幅强度图样;第一排为y方向的相移量分别为φ=0、π/2、π、3π/2的四幅强度图样。图(6b)左图为平行光照明下的强度图像,右图为利用图(6a)中所示强度图再现的超分辨SIM图样,经测算,右图较左图的图像分辨率提升倍数为1.89。
本实施例基于焦点扫描结构光照明的超分辨成像装置利用脉冲编码技术,对扫描中每一个像素的光强进行准确配置,能够产生不同方向和相移量的条纹结构光,有效提高了光强调制速度和条纹对比度;该脉冲编码技术不仅能够实现光强连续调制,而且可以实现光强的二进制数字调制。本实施例可以采用共振扫描模式来替代传统的线性扫描模式,显著提高图像成像速度,共振扫描模式可以获得12kHz/线的扫描速度,是线性扫描的10余倍,同时,在共振扫描中对照明光进行光强调制可以产生扫描结构光,实现快速、超分辨扫描SIM成像。本实施例利用基于脉冲编码光强调制技术,除了产生结构光条纹外,还将用以补偿共振非线性扫描引发的光强分布不一致性运动特性。对于共振扫描,焦点在扫描的两端停留时间较长,而中间停留时间较短,这将会导致光强分布的不一致性。因此,需要通过对激光光强进行额外的调制,来保证图像每一行中的不同像素位置处对应的曝光量基本一致,最终得到光强均匀的强度图像。此外,与传统SIM技术相比,该方法采用了聚焦的照明光斑,可以大大提高成像深度(具有和共聚焦显微镜相媲美的成像深度,约200~500μm)。同时,SIM中的相移操作可以进一步抑制离焦背景噪声,因此扫描SIM具有良好的层析能力。
实施例二
在上述实施例的基础上,本实施例提供了一种基于焦点扫描结构光照明的超分辨成像方法。请参见图7,图7是本发明实施例提供的一种基于焦点扫描结构光照明的超分辨成像方法的流程图。所述超分辨成像方法包括:
S1:利用数据采集控制卡产生控制信号,同步控制所述照明及光强调制单元和所述扫描单元,以产生不同方向和相移量的条纹结构光;
本实施例的照明及光强调制单元包括脉冲激光驱动器和脉冲激光器,其中,脉冲驱动器电连接数据采集控制卡,数据采集控制卡能够利用光强调制函数ISIM(x,y)=I0+I0cos(2πxcosθ/Λ+2πysinθ/Λ+φ)产生矩形脉冲序列,脉冲激光驱动器用于在矩形脉冲序列的控制下驱动脉冲激光器产生光脉冲,以对每一帧图像所有像素点上的光强进行配置,其中,x表示扫描单元扫描到的像素点的横坐标,y表示扫描单元扫描到的像素点的纵坐标,I0表示光强的直流分量,Λ表示条纹结构光的周期,θ表示条纹结构光的法线方位角,φ表示条纹结构光的相移量。
进一步地,本实施例的扫描单元102包括沿光路方向依次设置的共振扫描振镜3和线性扫描振镜4,其中,控制单元105能够产生模拟电压信号x(t)=Acos(2πft),用于控制共振扫描振镜3沿第一方向对所述激光光束进行扫描,其中,A表示所述模拟电压信号的幅度,f表示所述模拟电压信号的频率,t表示时间;并且,控制单元105能够产生模拟电压信号y(t)=kt,用于控制线性扫描振镜4沿与所述第一方向垂直的第二方向对所述激光光束进行扫描,从而产生条纹结构光。
S2:对所述条纹结构光进行缩束,以使所述条纹结构光以平行光进入所述显微成像单元;
S3:利用所述不同方向和相移量的条纹结构光照射待测样品,获得不同条纹结构光照射下的光强图像;
S4:根据不同条纹结构光照射下的光强图像,重建所述待测样品的超分辨SIM图像。
在本实施例中,设定所述条纹结构光的法线方位角θ=0°、90°相移量φ=0、π/2、π、3π/2,从而获得8种不同条纹结构光照射下的8幅光强图像。
需要说明的是,本实施例中每一步骤的详细描述,请参见实施例一种的相关记载,这里不再赘述。
本发明实施例的方法利用脉冲编码技术,对扫描中每一个像素的光强进行准确配置,能够产生不同方向和相移量的条纹结构光,有效提高了光强调制速度和条纹对比度。此外,利用焦点扫描和基于脉冲编码的光强调制技术,产生条纹结构光,可以实现两倍的横向分辨率提高。同时,利用聚焦光斑的强汇聚特性,可以得到>100μm的成像深度;扫描聚焦光具有焦深短和纵向发散快的特点;结构光的相移操作还可以进一步抑制离焦背景,其纵向分辨率高达625nm。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于焦点扫描结构光照明的超分辨成像装置,其特征在于,包括照明及光强调制单元、扫描单元、中继单元、显微成像单元和控制单元,其中,
所述扫描单元连接所述控制单元,用于对所述照明及光强调制单元产生的激光光束进行扫描;
所述照明及光强调制单元连接所述控制单元,用于控制激光束的光强,并对每一帧图像像素的光强进行配置,产生不同方向和相移量的条纹结构光;
所述中继单元用于对所述条纹结构光进行缩束,以使所述条纹结构光以平行光进入所述显微成像单元;
所述显微成像单元用于记录待测样品在条纹结构光照明下的强度图像;
所述控制单元用于同步控制所述照明及光强调制单元、所述扫描单元,和所述显微成像单元,通过记录不同条纹结构光照射下的光强图像,重建所述待测样品的超分辨SIM图像。
2.根据权利要求1所述的基于焦点扫描结构光照明的超分辨成像装置,其特征在于,所述扫描单元包括沿光路方向依次设置的共振扫描振镜和第二线性扫描振镜,其中,
所述控制单元能够产生第一模拟电压信号x(t)=Acos(2πft),用于控制所述共振扫描振镜沿第一方向对所述激光光束进行扫描,其中,A表示所述第一模拟电压信号的幅度,f表示所述第一模拟电压信号的频率,t表示时间;并且,
所述控制单元能够产生第二模拟电压信号y(t)=kt,用于控制所述线性扫描振镜沿与所述第一方向垂直的第二方向对所述激光光束进行扫描,从而产生条纹结构光,其中,k表示所述第二模拟电压信号的幅度。
3.根据权利要求1所述的基于焦点扫描结构光照明的超分辨成像装置,其特征在于,所述扫描单元包括沿光路方向依次设置的第一线性扫描振镜和第二线性扫描振镜,其中,
所述控制单元能够产生第三模拟电压信号x(t)=k1t,用于控制所述第一线性扫描振镜沿第一方向对所述激光光束进行扫描,其中,k1表示第三所述模拟电压信号的幅度,t表示时间;并且,
所述控制单元能够产生第四模拟电压信号y(t)=k2t,用于控制所述第二线性扫描振镜沿与所述第一方向垂直的第二方向对所述激光光束进行扫描,从而产生条纹结构光,k2表示所述第四模拟电压信号的幅度。
4.根据权利要求1所述的基于焦点扫描结构光照明的超分辨成像装置,其特征在于,所述照明及光强调制单元包括脉冲激光驱动器和脉冲激光器,其中,所述脉冲驱动器连接所述控制单元,所述控制单元能够利用光强调制函数ISIM(x,y)=I0+I0cos(2πxcosθ/Λ+2πysinθ/Λ+φ)产生矩形脉冲序列,所述脉冲激光驱动器用于在所述矩形脉冲序列的控制下驱动所述脉冲激光器产生光脉冲,以对每一帧图像像素的光强进行配置,其中,x表示所述扫描单元扫描到的像素点的横坐标,y表示所述扫描单元扫描到的像素点的纵坐标,I0表示光强的直流分量,Λ表示条纹结构光的周期,θ表示条纹结构光的法线方位角,φ表示条纹结构光的相移量。
5.根据权利要求1所述的基于焦点扫描结构光照明的超分辨成像装置,其特征在于,所述中继单元包括沿光路方向依次设置的第一薄透镜和第二薄透镜。
6.根据权利要求1所述的基于焦点扫描结构光照明的超分辨成像装置,其特征在于,所述显微成像单元包括二向色镜、显微物镜、第三薄透镜和CCD相机,其中,
所述显微物镜设置在所述二向色镜的第一侧,所述第三薄透镜和所述CCD相机依次设置在所述二向色镜的第二侧,所述待测样品放置在所述显微物镜远离所述二向色镜的一端;
所述二向色镜用于根据激光光束的波段对入射的条纹结构光和所述待测样品的反射光进行过滤分离;
所述CCD相机用于在不同方位角和相移量的条纹结构光的照射下采集所述待测样品的光强图像。
7.根据权利要求6所述的基于焦点扫描结构光照明的超分辨成像装置,其特征在于,所述第三薄透镜与所述CCD相机之间设置有带通滤光片,用于对所述待测样品反射的光进行带通滤波以滤除噪声。
8.根据权利要求1所述的基于焦点扫描结构光照明的超分辨成像装置,其特征在于,所述控制单元包括数据采集控制卡和计算机,其中,所述数据采集控制卡用于产生控制信号,用于同步控制所述照明及光强调制单元和所述扫描单元,以产生不同方向和相移量的条纹结构光;所述计算机用于根据不同条纹结构光照射下的光强图像,重建所述待测样品的超分辨SIM图像。
9.一种基于焦点扫描结构光照明的超分辨成像方法,其特征在于,利用权利要求1至8中任一项所述的基于焦点扫描结构光照明的超分辨成像装置执行,所述方法包括:
利用数据采集控制卡产生控制信号,同步控制所述照明及光强调制单元和所述扫描单元,以产生不同方向和相移量的条纹结构光;
对所述条纹结构光进行缩束,以使所述条纹结构光以平行光进入所述显微成像单元;
利用所述不同方向和相移量的条纹结构光照射待测样品,获得不同条纹结构光照射下的光强图像;
根据不同条纹结构光照射下的光强图像,重建所述待测样品的超分辨SIM图像。
10.根据权利要求9所述的基于焦点扫描结构光照明的超分辨成像方法,其特征在于,设定所述条纹结构光的法线方位角θ=0°、90°,相移量φ=0、π/2、π、3π/2,从而获得8种不同条纹结构光照射下的8幅光强图像。
CN202110114091.1A 2021-01-27 2021-01-27 一种基于焦点扫描结构光照明的超分辨成像装置及方法 Active CN112986237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110114091.1A CN112986237B (zh) 2021-01-27 2021-01-27 一种基于焦点扫描结构光照明的超分辨成像装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110114091.1A CN112986237B (zh) 2021-01-27 2021-01-27 一种基于焦点扫描结构光照明的超分辨成像装置及方法

Publications (2)

Publication Number Publication Date
CN112986237A true CN112986237A (zh) 2021-06-18
CN112986237B CN112986237B (zh) 2022-04-15

Family

ID=76345615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110114091.1A Active CN112986237B (zh) 2021-01-27 2021-01-27 一种基于焦点扫描结构光照明的超分辨成像装置及方法

Country Status (1)

Country Link
CN (1) CN112986237B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113484296A (zh) * 2021-09-02 2021-10-08 清华大学 基于结构光照明的超分辨扫描光场成像系统和方法
CN113953659A (zh) * 2021-11-09 2022-01-21 西安电子科技大学 一种基于脉冲交替法的激光加工实时成像装置及方法
WO2023222139A1 (zh) * 2022-05-18 2023-11-23 上海图漾信息科技有限公司 深度数据测量头、测量装置和测量方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110954524A (zh) * 2019-12-18 2020-04-03 深圳大学 一种非线性结构光超分辨显微成像装置及方法
CN110954522A (zh) * 2019-12-18 2020-04-03 深圳大学 一种多焦点超分辨光学显微成像方法及装置
CN112204451A (zh) * 2018-05-29 2021-01-08 溥美系统公司 具有多束扫描器的显示系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112204451A (zh) * 2018-05-29 2021-01-08 溥美系统公司 具有多束扫描器的显示系统
CN110954524A (zh) * 2019-12-18 2020-04-03 深圳大学 一种非线性结构光超分辨显微成像装置及方法
CN110954522A (zh) * 2019-12-18 2020-04-03 深圳大学 一种多焦点超分辨光学显微成像方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113484296A (zh) * 2021-09-02 2021-10-08 清华大学 基于结构光照明的超分辨扫描光场成像系统和方法
CN113953659A (zh) * 2021-11-09 2022-01-21 西安电子科技大学 一种基于脉冲交替法的激光加工实时成像装置及方法
WO2023222139A1 (zh) * 2022-05-18 2023-11-23 上海图漾信息科技有限公司 深度数据测量头、测量装置和测量方法

Also Published As

Publication number Publication date
CN112986237B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN112986237B (zh) 一种基于焦点扫描结构光照明的超分辨成像装置及方法
US8705172B2 (en) Microscopy method and microscope with enhanced resolution
Allen et al. Structured illumination microscopy for superresolution
CN110954523B (zh) 一种双光子扫描结构光显微成像方法及装置
Chen et al. Superresolution structured illumination microscopy reconstruction algorithms: a review
WO2022028291A1 (zh) 一种扫描结构光超分辨显微成像装置及方法
CN104515759A (zh) 非线性结构光照明显微成像方法及系统
CN110954522B (zh) 一种多焦点超分辨光学显微成像方法及装置
CN110954524B (zh) 一种非线性结构光超分辨显微成像装置及方法
CN102540446A (zh) 一种基于数字微镜器件的高速结构照明光学显微系统及方法
WO2010101894A2 (en) High resolution laser scanning microscopy imaging system and method using spatially patterned cumulative illumination of detection fields
CN114594588B (zh) 基于光栅投影和slm相移的结构光照明显微装置及方法
Huttunen et al. Label-free super-resolution with coherent nonlinear structured-illumination microscopy
US11860349B2 (en) Programmable multiple-point illuminator, confocal filter, confocal microscope and method to operate said confocal microscope
US11947098B2 (en) Multi-focal light-sheet structured illumination fluorescence microscopy system
NL2008873C2 (en) Method and apparatus for multiple points of view three-dimensional microscopy.
CN109870441B (zh) 基于移频的三维超分辨光切片荧光显微成像方法和装置
Stemmer et al. Widefield fluorescence microscopy with extended resolution
CN110954520B (zh) 一种扫描结构光显微成像方法及装置
Wicker Super-resolution fluorescence microscopy using structured illumination
CN112114422A (zh) 基于并行STED和4Pi的三维超分辨显微成像方法和装置
CN113946044B (zh) 基于点扩散函数工程的多焦点多光子显微成像系统及方法
CN113568294A (zh) 一种全息光镊融合结构光照明显微系统和方法
Fiolka Seeing more with structured illumination microscopy
Reddy et al. Random-access multiphoton microscopy for fast three-dimensional imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230922

Address after: 710086 room 042, F2001, 20 / F, block 4-A, Xixian financial port, Fengdong new city, energy gold trade zone, Xixian New District, Xi'an City, Shaanxi Province

Patentee after: Shaanxi faner Photoelectric Technology Co.,Ltd.

Address before: No.2, Taibai South Road, Yanta District, Xi'an City, Shaanxi Province

Patentee before: XIDIAN University