CN114967092B - 基于压缩感知的超高速结构光照明超分辨显微成像装置 - Google Patents

基于压缩感知的超高速结构光照明超分辨显微成像装置 Download PDF

Info

Publication number
CN114967092B
CN114967092B CN202210678165.9A CN202210678165A CN114967092B CN 114967092 B CN114967092 B CN 114967092B CN 202210678165 A CN202210678165 A CN 202210678165A CN 114967092 B CN114967092 B CN 114967092B
Authority
CN
China
Prior art keywords
super
lens
mirror
structured light
micro
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210678165.9A
Other languages
English (en)
Other versions
CN114967092A (zh
Inventor
黄正齐
张诗按
何一林
何宇
姚云华
齐大龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN202210678165.9A priority Critical patent/CN114967092B/zh
Publication of CN114967092A publication Critical patent/CN114967092A/zh
Application granted granted Critical
Publication of CN114967092B publication Critical patent/CN114967092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明公开了一种基于压缩感知的超高速结构光照明超分辨显微成像装置，本发明由光源与扩束系统、偏振调制与结构光照明显微系统、编码孔径时域压缩成像系统、时序控制系统及数据处理与重构系统构成；本发明将压缩感知原理引入传统结构光照明显微系统，通过对结构光照明下样品的荧光图像进行超高速编码并叠加采集获得压缩图像，最后通过数据处理系统进行图像重构获得超分辨图像序列。本发明能够从单帧压缩图像中还原出多帧超分辨图像，克服了相机的硬件速度限制，大幅度提升了结构光照明超分辨显微成像系统的成像速度，能够实现对超高速动态场景的超分辨成像，在生物医学等领域超高速动力学的精细观测方面有广泛的应用前景。

Description

基于压缩感知的超高速结构光照明超分辨显微成像装置
技术领域
本发明涉及结构光照明超分辨显微、压缩感知、孔径编码压缩时域成像领域，尤其是一种基于压缩感知的超高速结构光照明超分辨显微成像装置。通过本发明可以大幅提高超分辨显微系统对动态场景的成像速度，找到一种缓和信噪比和采集速度之间最佳方式。除此之外，这种方式将有望适用于其他超分辨显微技术的高速成像领域，为生物医疗研究者研究和解析复杂的高速生物过程带来全新的帮助。
背景技术
光学显微技术为一种重要的成像技术，把人类的观察能力拓展到微观尺度，实现了对生物医学等领域的准确观测，促进了诸多领域的发展。然而由于受到光学衍射极限的限制，光学显微镜的空间分辨率极限只能达到大约200纳米左右，而生物细胞中大部分亚细胞结构的尺寸都在100纳米左右，所以常规的光学显微镜很难获得细胞内的精细结构。在可视化亚细胞器结构细节的迫切需求的驱动下，各种超分辨率显微技术已经被开发出来，从而打破了常规光学衍射极限的限制。例如，受激发射耗损显微技术将荧光团的受激发射损耗现象引入扫描共聚焦显微镜中，并通过抑制光斑周围环形区域的荧光同时保留一个中心点来发射荧光，来最小化扫描点的大小，在生物样品中实现了约20纳米的空间分辨率。然而，基于逐点扫描的数据采集方式大大限制了受激发射损耗显微镜的成像速度。此外，利用高功率的激光来诱导荧光物质的受激发射损耗，也加剧了光毒性和光漂白。另外单分子定位显微技术是通过对单分子进行定位而不是记录荧光分布的方式来提取荧光团的位置，从而规避了光学衍射极限的限制。然而在单分子定位显微技术中，需要获取数千张稀疏分布的荧光图像来提取单张超分辨率图像，因此成像速度很低，难以观察到生物动态过程。
结构光照明显微镜(SIM)利用一系列结构化的激发光来照明激发生物样本，通过摩尔纹效应将受到衍射限制的高频信息搬移到低频图像信息中，再通过图像频率分量的分离和调制，最终从采集到的多张SIM图像中重构出超分辨率图像。受激发射耗损显微需要逐进行点扫描，单分子定位显微需要采集大量稀疏照明图像，这两种方法都相当耗时。而SIM的成像速度相较于其他几种典型的超分辨技术的成像速度要高许多，因为只需9张宽场图像来重构一帧超分辨图像。所有这些优点使SIM成为动态超分辨率显微成像的杰出工具。然而由于受到SIM中不同结构光模式的多次测量以及采样相机的帧率限制，现有的SIM技术仍然难以实现对生物样品中细小结构的超高速动态观察。
发明内容
本发明的目的是针对现有结构光照明超分辨显微技术的成像速度不足而提供的一种基于压缩感知的超高速结构光照明超分辨显微成像装置，通过将压缩感知原理引入结构光照明超分辨显微成像技术中，从单次压缩采集图像重构出多帧超分辨图像，实现了对结构光照明超分辨显微成像技术采样速度的大幅度提高，达到了常规SIM所不能达到的采样速度。
实现本发明目的的具体技术方案是：
一种基于压缩感知的超高速结构光照明超分辨显微成像装置，它包括：
一个由连续激光器、扩束镜、四分之一波片、第一反射镜及第二反射镜组成的光源与扩束系统；
所述光源与扩束系统的连续激光器、扩束镜、四分之一波片、第一反射镜及第二反射镜依次光路连接；
一个由第一数字微镜器件、第一透镜、线偏振片、半波片、小孔滤波器、分区半波片、第二透镜、第三透镜、二相色镜、物镜及样品台构成的偏振调制与结构光照明显微系统；
所述偏振调制与结构光照明显微系统的第一数字微镜器件、第一透镜、线偏振片、半波片、小孔滤波器、分区半波片、第二透镜、第三透镜、二相色镜反射一路、物镜及样品台依次光路连接；
一个由第三反射镜、第四透镜、分束立方、第五透镜、第六透镜、第二数字微镜器件及CMOS相机构成的编码孔径时域压缩成像系统；
所述编码孔径时域压缩成像系统的第三反射镜、第四透镜、分束立方依次光路连接；分束立方透射的一路与第五透镜、第六透镜、第二数字微镜器件依次光路连接；分束立方反射的一路与CMOS相机光路连接；
一个由FPGA现场可编程阵列构成的同步控制系统；
一个由计算机构成的数据处理与重构系统；
所述光源与扩束系统的第二反射镜与偏振调制与结构光照明显微系统的第一数字微镜器件光路连接；
偏振调制与结构光照明显微系统的二相色镜透射一路与第三反射镜光路连接；
同步控制系统的FPGA现场可编程阵列分别与偏振调制与结构光照明显微系统的第一数字微镜器件、编码孔径时域压缩成像系统的第二数字微镜器件及CMOS相机数据线连接；
数据处理与重构系统的计算机分别与编码孔径时域压缩成像系统的CMOS相机及同步控制系统的FPGA现场可编程阵列数据线连接。
所述光源与扩束系统产生激光并对其进行扩束，由偏振调制与结构光照明显微系统对激光进行偏振态调制并依次产生三个不同方向、每个方向三个不同相位的九束结构光对样品台上的待测样品进行九次连续激发照明,产生9T张加载结构光的样品信息图像。
所述编码孔径时域压缩成像系统中的透射一路将偏振调制与结构光照明显微系统产生的9T张加载结构光的样品信息图像经过二相色镜投射一路传递到第二数字微镜器件上分别进行编码调制，再反向进入CMOS相机，被CMOS相机单次曝光接收。
所述同步控制系统对第一数字微镜器件、第二数字微镜器件和CMOS相机输入触发信号进行控制，以达到对样品进行结构光照明、空间编码与时域压缩接收的同步；最后由数据重构系统对CMOS相机采集到的数据，通过CISIM算法进行处理和重构，即得到T张超分辨图像。
本发明包括光学采样和图像重构算法。光学采样负责对动态目标高分辨信息的高速压缩采集，而图像重构算法负责对采集到的压缩图像进行解码重构获得超分辨图像序列。
在光学采样中，样品的荧光团浓度空间分布动态场景d(x,y,t)分别在9种模式的照明光场p(x,y,t,n)下被激发后，由于物镜数值孔径所带来的衍射效应而与光学系统点扩散函数h(x,y)进行卷积，得到9T张SIM的条纹图像s(x,y,t,n)。利用高速DMD模块，可以对着条纹图像s(x,y,t,n)进行加载不同模式空间随机编码c(x,y,t,n)。最后，通过单次CMOS曝光，将所有的信息累积压缩在单张压缩采集的图像m(x,y)中。本发明的光学传递过程可以简单表示为
Figure BDA0003697250670000031
通过对信息进行离散化，本发明的光学传递过程可以用矩阵形式表示。
Figure BDA0003697250670000032
上式中，
Figure BDA0003697250670000033
荧光团浓度空间分布d(x,y,t)的列向量化，/>
Figure BDA0003697250670000034
为条纹图像s(x,y,t,n)的列向量化，/>
Figure BDA0003697250670000035
为压缩采集的图像m(x,y,t,n)的列向量化，/>
Figure BDA0003697250670000036
表示样品在照明光场p(x,y,t,n)激发下的荧光发射算子，/>
Figure BDA0003697250670000037
表示荧光信息在物镜数值孔径约束下的图像模糊算子，/>
Figure BDA0003697250670000038
表示时空孔径编码算子，/>
Figure BDA0003697250670000039
表示整个光学传递过程算子。
本发明的图像重构算法为一种基于即插即用框架的迭代搜寻CISIM算法,通过该算法对采集到的单张压缩图像进行重构可获得9T张超分辨图像。该算法的优势在于能够快速方便地切换不同的图像和视频降噪器，如传统图像降噪器TV降噪器、BM3D降噪器、WNNM降噪器，甚至深度学习降噪器FFD-Net，在不同的稀疏先验条件下对目标信息进行重构还原。从数值优化的角度，这个图像重构的逆向数学问题可以被描述为下式
Figure BDA0003697250670000041
上式表示，在满足
Figure BDA0003697250670000042
的情况下，达到/>
Figure BDA0003697250670000043
达到最小值时的/>
Figure BDA0003697250670000044
即为所求变量，其中‖‖2、‖‖0分别为向量的L2和L0范数算子。利用交叉迭代乘子法ADMM(Alternating direction method of multipliers)，可以将上式分解为如下迭代求解公式
Figure BDA0003697250670000045
在上式中，
Figure BDA0003697250670000046
为引入的迭代变量，便于该优化问题的求解，DenoiserΦ表示稀疏约束图像降噪器，降噪器与稀疏变换算子/>
Figure BDA0003697250670000047
有关。图像恢复过程中当迭代结果达到预设残差阈值，即/>
Figure BDA0003697250670000048
约等于/>
Figure BDA0003697250670000049
时结束迭代，可获得T帧恢复的超分辨图像。
本发明采用基于压缩感知和即插即用框架的CISIM图像重构算法。通过CISIM算法可以将采集到的包含9T张结构光照明样品图像的单张时域编码压缩图像重构出T帧超分辨图像。
本发明具有如下技术优势：
不同时刻的场景图像先后被SIM中的结构光图案和编码孔径压缩时域成像系统中的随机编码所调制，在单次曝光情况下可以获得多帧超分辨图像的信息。本发明通过基于压缩感知和即插即用框架的图像重建算法，可以从采集到的一张压缩图像中恢复出多帧连续的超分辨率图像，这与传统的SIM从多帧图像中恢复出单帧超分辨率图像不同，后者是从多个记录的图像中恢复一帧超分辨率的图像。因此本发明的超分辨成像速度得到大幅度提高。根据模拟结果，与传统的SIM相比，本发明可以提高两个数量级的成像速度。
附图说明
图1为本发明的结构图；
图2为本发明的工作流程图；
图3为CISIM算法的框架流程图；
图4为偏振调制过程结构光偏振态变换示意图；
图5为偏振调制与结构光照明显微系统采样图像经过第二数字微镜器件在时域上进行压缩采样示意图；
图6为使用本发明进行的生物样本超分辨成像结果图。
具体实施方式
参阅图1，本发明为一种基于压缩感知的超高速结构光照明超分辨显微成像装置，它包括：一个由连续激光器101、扩束镜102、四分之一波片103、第一反射镜104及第二反射镜105组成的光源与扩束系统100。
所述光源与扩束系统100的连续激光器101、扩束镜102、四分之一波片103、第一反射镜104及第二反射镜105依次光路连接。
一个由第一数字微镜器件201、第一透镜202、线偏振片203、半波片204、小孔滤波器205、分区半波片206、第二透镜207、第三透镜208、二相色镜209、物镜210及样品台211构成的偏振调制与结构光照明显微系统200。
所述偏振调制与结构光照明显微系统200的第一数字微镜器件201、第一透镜202、线偏振片203、半波片204、小孔滤波器205、分区半波片206、第二透镜207、第三透镜208、二相色镜209反射一路、物镜210及样品台211依次光路连接。
一个由第三反射镜301、第四透镜302、分束立方303、第五透镜304、第六透镜305、第二数字微镜器件306依次光路连接及CMOS相机307构成的编码孔径时域压缩成像系统300。
所述编码孔径时域压缩成像系统300由第三反射镜301、第四透镜302、分束立方303依次光路连接；分束立方303透射的一路与第五透镜304、第六透镜305、第二数字微镜器件306依次光路连接；分束立方303反射的一路与CMOS相机307依次光路连接。
一个由FPGA现场可编程阵列401构成的同步控制系统400。
一个由计算机501构成的数据处理与重构系统500。
所述光源与扩束系统100的第二反射镜105与偏振调制与结构光照明显微系统200的第一数字微镜器件201光路连接。
偏振调制与结构光照明显微系统200的二相色镜209透射一路与第三反射镜301光路连接。
同步控制系统400的FPGA现场可编程阵列401分别与偏振调制与结构光照明显微系统200的第一数字微镜器件201、编码孔径时域压缩成像系统300的第二数字微镜器件306及CMOS相机307数据线连接。
数据处理与重构系统500的计算机501分别与编码孔径时域压缩成像系统300的CMOS相机307及同步控制系统400的FPGA现场可编程阵列400数据线连接。
本发明是这样工作的：
参阅图1及图2：本发明由光源与扩束系统100的单频连续激光器101产生的线偏振激光依次经过扩束镜102、四分之一波片103、第一反射镜104、第二反射镜105转换成圆偏振光后照射到偏振调制与结构光照明显微系统200的第一微镜器件201上，由于数字微镜器件上每个镜片都可以发生±12°的偏转，表示打开和关闭的状态，并与加载的编码相对应，经过第一数字微镜器件201调制后的荧光动态场景会分别沿+12°与-12°方向出射。通过时序控制系统400的FPGA 401连续触发在第一微镜器件上预先加载9张特定的编码图片使得微镜芯片表面成为闪耀光栅，出射为光栅衍射的正1级和负1级主极大两束光线，通过使该两束光线依次经过第一透镜202、线偏振片203、四分之一波片204、小孔滤波器205、分区半波片206、第二透镜207、第三透镜208、二相色镜209反射一路及物镜210打在样品台211上，形成特定方向、特定相位的干涉光条纹对样品进行照明激发；获得的9T张带有SIM条纹的图像s(x,y,t,n)反向通过物镜210、二项色镜209透射一路进入编码孔径时域压缩成像系统300。
参阅图1、图2、图3及图5，进入编码孔径时域压缩成像系统300的9T张图像经过第三反射镜301、第四透镜302将相进行适度放大，再经过分束立方303透射一路，通过由第五透镜304和第六透镜305组成的光学4f系统将像传递到第二数字微镜器件306表面，分别经过第二数字微镜器件306同步加载的9T张二元伪随机编码图片进行编码调制后，反向经过第六透镜305、第五透镜304、分束立方303反射一路传递到CMOS相机307上并被单次曝光接收；后续利用CISIM算法通过对采集到的张压缩图像重构，可获得T帧超分辨图像，使得该图像具有比常规宽场成像更高的空间分辨率。
参阅图5，SIM的条纹图像s(x,y,t,n)经过第二数字微镜器件306按时序加载的二元伪随机编码图像c(x,y,t,n)调制、通过单次CMOS曝光，将所有的信息累积压缩在单张压缩采集的图像m(x,y)中。
参阅图1，在数据采集的过程中，由同步控制系统400中的FPGA401对第一数字微镜器件201、第二数字微镜器件306和CMOS相机307输入触发信号进行时序控制，若需要设置图像压缩比为N，若相机曝光时间为Δt，则每当同步控制系统400给CMOS相机307一个触发信号，则在Δt时间段内，分别给第一数字微镜器件201和第二数字微镜器件306触发9T次触发信号，使两个微镜器件每隔Δt/9时间段切换一次编码，最后在CMOS相机307上时域压缩接收，以达到时间上压缩的目的。
参阅图1、图2及图3，数据重构系统500的计算机501会对CMOS相机307采集到的数据进行处理和重构，利用基于压缩感知和即插即用框架的CISIM图像重构算法进行重构，在算法中，将要恢复重构的目标信息作为迭代变量，利用硬件标定得到的光学传递函数，可以正向估计出压缩采样的数学期望。算法将基于这个测量期望和测量值之间的误差对迭代变量先进行梯度下降迭代收敛，然后通过用户所选的指定稀疏图像降噪器滤波后的得到新的迭代变量。不断更新迭代变量继续搜寻，直到新的迭代变量于旧的迭代变量之间的差异低于迭代阈值时，跳出迭代停止搜寻，处理输出数据后即可得到T张超分辨图像。
参阅图1，本发明同步控制系统400选用的FPGA现场可编程阵列401能多路同步控制，能按预设规则触发第一数字微镜器件201和第二数字微镜器件306切换编码、触发CMOS相机307进行曝光，能控制触发时序及延时。
参阅图1，本发明所用第一数字微镜器件201和第二数字微镜器件306支持2000Hz以上高速刷新，且dark time为80～200us。
参阅图1，本发明所选用CMOS相机307为全局快门相机，支持外触发模式，在选择区域为512*512时，采样帧率为100～300帧每秒。
参阅图1及图2，本发明充分利用了第一数字微镜器件201和第二数字微镜器件306的结构特点，数字微镜器件201和306上每个镜片都可以±12°偏转，其调制后的场景会分别沿+12°与-12°方向出射。偏振调制与结构光照明显微系统200中的第一数字微镜器件201通过加载预设的特殊编码图片以形成闪耀光栅，使入射光反射后形成多级次衍射光线，实验中采用±1级光线最终在样品台211的样品表面形成干涉条纹、编码孔径时域压缩成像系统300的第二数字微镜器件306对得到的9T张SIM图片进行编码、调制以实现稀疏压缩采样。
参阅图1、图2及图4，本发明的偏振调制与结构光照明显微系统200中，将来自光源与扩束系统100中第二反射镜105的圆偏振光路经过第一数字微镜器件201衍射后形成的两束±1级次的光，再依次经过第一透镜202、线偏振片203、半波片204、小孔滤波器205、分区半波片206后被调制成偏振方向平行的角向偏振态，再依次通过由第二透镜207和第三透镜208组成的光学4f系统、二相色镜209透射一路及物镜210后在样品台211的样品表面上干涉形成结构光条纹并激发样品得到9T张带有结构光信息的样品图像。
参阅图1及图4，本发明采用三个方向的双光束进行干涉产生结构光，当入射光线为线偏振光，且偏振方向与分区半波片0°透振方向平行时，可以使得处于分区半波片每组对角位置的两束出射光具有完全平行的偏振态，这样在三个方向的双光束干涉时都可以获得最大的干涉条纹对比度，从而提高SIM图像的调制度和最终重构效果。
参阅图2及图3，本发明成像所用的图像数据流为偏振调制与结构光照明显微系统200中设于样品台211上的待测样品经结构光照明形成的9T张SIM图像，通过编码孔径时域压缩成像系统300的第二数字微镜器件306的编码调制后最终被CMOS相机307接收为单帧图像、最后利用时序控制系统400及数据处理与重构系统500进行计算重构，具体过程为将CMOS采集到的单帧图像，其本质为数字矩阵，将其列向量化后作为输入进入到CISIM算法中，根据CISIM的算法过程迭代结束后，最终输出T帧超分辨图像。
参阅图1，本发明所选用的分束立方303的透射反射之比为1∶1。
参阅图6，采用本发明装置，选择活体生物样品的图像进行模拟重建结果。(a)，(d)为原图，(b)，(e)为宽场测量图像和(c)，(f)为CISIM重建图像。分别为活体昆虫精母细胞的减数分裂和线粒体运动过程，以及带有标记的选定区域强度曲线(g)和(h)。

Claims (4)

1.一种基于压缩感知的超高速结构光照明超分辨显微成像装置，其特征在于，它包括：
一个由连续激光器（101）、扩束镜（102）、四分之一波片（103）、第一反射镜（104）及第二反射镜（105）组成的光源与扩束系统（100）；
所述光源与扩束系统（100）的连续激光器（101）、扩束镜（102）、四分之一波片（103）、第一反射镜（104）及第二反射镜（105）依次光路连接；
一个由第一数字微镜器件（201）、第一透镜（202）、线偏振片（203）、半波片（204）、小孔滤波器（205）、分区半波片（206）、第二透镜（207）、第三透镜（208）、二相色镜（209）、物镜（210）及样品台（211）构成的偏振调制与结构光照明显微系统（200）；
所述偏振调制与结构光照明显微系统（200）的第一数字微镜器件（201）、第一透镜（202）、线偏振片（203）、半波片（204）、小孔滤波器（205）、分区半波片（206）、第二透镜（207）、第三透镜（208）、二相色镜（209）反射一路、物镜（210）及样品台（211）依次光路连接；
一个由第三反射镜（301）、第四透镜（302）、分束立方（303）、第五透镜（304）、第六透镜（305）、第二数字微镜器件（306）及CMOS相机（307）构成的编码孔径时域压缩成像系统（300）；
所述编码孔径时域压缩成像系统（300）的第三反射镜（301）、第四透镜（302）、分束立方（303）依次光路连接；分束立方（303）透射的一路与第五透镜（304）、第六透镜（305）、第二数字微镜器件（306）依次光路连接；分束立方（303）反射的一路与CMOS相机（307）光路连接；
一个由FPGA现场可编程阵列(401)构成的同步控制系统（400）；
一个由计算机(501)构成的数据处理与重构系统（500）；
所述光源与扩束系统（100）的第二反射镜（105）与偏振调制与结构光照明显微系统（200）的第一数字微镜器件（201）光路连接；
偏振调制与结构光照明显微系统（200）的二相色镜（209）透射一路与第三反射镜（301）光路连接；
同步控制系统(400)的FPGA现场可编程阵列（401）分别与偏振调制与结构光照明显微系统（200）的第一数字微镜器件（201）、编码孔径时域压缩成像系统（300）的第二数字微镜器件（306）及CMOS相机（307）数据线连接；
数据处理与重构系统（500）的计算机（501）分别与编码孔径时域压缩成像系统（300）的CMOS相机（307）及同步控制系统（400）的FPGA现场可编程阵列（401）数据线连接。
2.根据权利要求1所述的基于压缩感知的超高速结构光照明超分辨显微成像装置，其特征在于，所述光源与扩束系统（100）产生激光并对其进行扩束，由偏振调制与结构光照明显微系统（200）对激光进行偏振态调制并依次产生三个不同方向、每个方向三个不同相位的九束结构光对样品台上的待测样品进行九次连续激发照明,产生9T张加载结构光的样品信息图像。
3.根据权利要求1所述的基于压缩感知的超高速结构光照明超分辨显微成像装置，其特征在于，所述编码孔径时域压缩成像系统（300）中的透射一路将偏振调制与结构光照明显微系统（200）产生的9T张加载结构光的样品信息图像经过二相色镜（209）投射一路传递到第二数字微镜器件（306）上分别进行编码调制，再反向进入CMOS相机（307），被CMOS相机（307）单次曝光接收。
4.根据权利要求1所述的基于压缩感知的超高速结构光照明超分辨显微成像装置，其特征在于，所述同步控制系统（400）对第一数字微镜器件（201）、第二数字微镜器件（306）和CMOS相机（307）输入触发信号进行控制，以达到对样品进行结构光照明、空间编码与时域压缩接收的同步；最后由数据重构系统(500)对CMOS相机(307)采集到的数据，通过CISIM算法进行处理和重构，即得到T张超分辨图像。
CN202210678165.9A 2022-06-16 2022-06-16 基于压缩感知的超高速结构光照明超分辨显微成像装置 Active CN114967092B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210678165.9A CN114967092B (zh) 2022-06-16 2022-06-16 基于压缩感知的超高速结构光照明超分辨显微成像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210678165.9A CN114967092B (zh) 2022-06-16 2022-06-16 基于压缩感知的超高速结构光照明超分辨显微成像装置

Publications (2)

Publication Number Publication Date
CN114967092A CN114967092A (zh) 2022-08-30
CN114967092B true CN114967092B (zh) 2023-06-23

Family

ID=82963336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210678165.9A Active CN114967092B (zh) 2022-06-16 2022-06-16 基于压缩感知的超高速结构光照明超分辨显微成像装置

Country Status (1)

Country Link
CN (1) CN114967092B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115580762B (zh) * 2022-09-15 2023-07-25 华东师范大学 一种多通道耦合压缩超快成像装置
CN116973347B (zh) * 2023-07-19 2024-02-09 哈尔滨工业大学 一种基于slipi-3dlif的激发测量装置及应用

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015077926A1 (zh) * 2013-11-27 2015-06-04 苏州大学 连续可调结构光照明的超分辨显微成像方法与系统
CN110824681A (zh) * 2019-11-04 2020-02-21 哈尔滨工业大学 一种无扫描高超分辨光学三维显微成像方法
CN111537477A (zh) * 2020-04-23 2020-08-14 华东师范大学 一种超快时间分辨率和低激发阈值多光子荧光显微成像系统
CN112444506A (zh) * 2019-09-04 2021-03-05 复旦大学 显微成像的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015077926A1 (zh) * 2013-11-27 2015-06-04 苏州大学 连续可调结构光照明的超分辨显微成像方法与系统
CN112444506A (zh) * 2019-09-04 2021-03-05 复旦大学 显微成像的方法及装置
CN110824681A (zh) * 2019-11-04 2020-02-21 哈尔滨工业大学 一种无扫描高超分辨光学三维显微成像方法
CN111537477A (zh) * 2020-04-23 2020-08-14 华东师范大学 一种超快时间分辨率和低激发阈值多光子荧光显微成像系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
结构光照明荧光显微镜突破衍射极限的原理和在生命科学中的应用;吴美瑞;杨西斌;熊大曦;李辉;武晓东;;激光与光电子学进展(第01期);全文 *

Also Published As

Publication number Publication date
CN114967092A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN114967092B (zh) 基于压缩感知的超高速结构光照明超分辨显微成像装置
Calisesi et al. Compressed sensing in fluorescence microscopy
Boniface et al. Non-invasive focusing and imaging in scattering media with a fluorescence-based transmission matrix
US6909105B1 (en) Method and device for representing an object
Studer et al. Compressive fluorescence microscopy for biological and hyperspectral imaging
US11656447B2 (en) Apparatus and method for fast volumetric fluorescence microscopy using temporally multiplexed light sheets
CN110954521B (zh) 一种宽场超分辨显微成像方法及其系统
CN110132910B (zh) 基于光场多维信息融合显微超分辨成像装置和成像方法
Rodríguez et al. Dual-mode optical microscope based on single-pixel imaging
CN111077121A (zh) 空域中直接重构结构光照明超分辨图像的快速方法及系统
CN108121059B (zh) 一种基于结构光照明的sted并行显微成像系统
CN110954523A (zh) 一种双光子扫描结构光显微成像方法及装置
CN116183568B (zh) 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置
Cao et al. Dynamic structured illumination microscopy with a neural space-time model
WO2021122471A1 (en) Imaging system
KR101479249B1 (ko) 간섭성 구조조명 이미징 방법 및 간섭성 구조조명 현미경 시스템
CN113702288A (zh) 一种双模态显微成像系统及其成像方法
Maalouf Contribution to fluorescence microscopy, 3D thick samples deconvolution and depth-variant PSF
CN117007187A (zh) 基于结构光照明的宽谱段显微拉曼鬼成像装置和成像方法
Liu et al. Fourier Single-Pixel Imaging Via Arbitrary Illumination Patterns
Marar et al. Three-dimensional localization microscopy by incoherent holography
Zheng et al. 3D super-resolved multi-angle TIRF via polarization modulation
Liu Statistical and numerical optimization for speckle blind structured illumination microscopy
Aflalo et al. Optical super-resolution imaging: A review and perspective
Song et al. Ptychographic non-line-of-sight imaging for depth-resolved visualization of hidden objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant