CN115184317B - 一种点扩散函数可编程的3d荧光成像方法和系统 - Google Patents
一种点扩散函数可编程的3d荧光成像方法和系统 Download PDFInfo
- Publication number
- CN115184317B CN115184317B CN202210685840.0A CN202210685840A CN115184317B CN 115184317 B CN115184317 B CN 115184317B CN 202210685840 A CN202210685840 A CN 202210685840A CN 115184317 B CN115184317 B CN 115184317B
- Authority
- CN
- China
- Prior art keywords
- point spread
- spread function
- sample
- imaging
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000000799 fluorescence microscopy Methods 0.000 title claims abstract description 17
- 238000003384 imaging method Methods 0.000 claims abstract description 197
- 230000008859 change Effects 0.000 claims abstract description 28
- 230000000694 effects Effects 0.000 claims abstract description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 29
- 230000015572 biosynthetic process Effects 0.000 claims description 21
- 238000003786 synthesis reaction Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 19
- 238000005286 illumination Methods 0.000 claims description 17
- 230000010287 polarization Effects 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000005284 excitation Effects 0.000 claims description 7
- 230000001268 conjugating effect Effects 0.000 claims description 6
- 230000014509 gene expression Effects 0.000 claims description 5
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 238000005728 strengthening Methods 0.000 claims description 3
- 230000003313 weakening effect Effects 0.000 claims description 3
- 238000009792 diffusion process Methods 0.000 abstract description 2
- 239000000523 sample Substances 0.000 description 139
- 238000010586 diagram Methods 0.000 description 7
- 239000008188 pellet Substances 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000012472 biological sample Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000021615 conjugation Effects 0.000 description 3
- 238000012632 fluorescent imaging Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 229920000936 Agarose Polymers 0.000 description 2
- 230000004323 axial length Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000002844 melting Methods 0.000 description 2
- 230000008018 melting Effects 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
- G01N2021/0106—General arrangement of respective parts
- G01N2021/0112—Apparatus in one mechanical, optical or electronic block
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明属于显微成像领域，涉及一种点扩散函数可编程的3D荧光成像方法和系统，包括在成像物镜和荧光相机之间，引入均与物镜后焦面共轭的可调孔径光阑和相位调制器件，改变物镜有效数值孔径和物镜后焦面相位分布，改变成像物镜的点扩散函数；孔径光阑位于物镜后方，且与物镜后焦面共轭，用于改变物镜有效数值孔径，从而根据需求改变点扩散函数的轴向覆盖范围；相位调制器件位于孔径光阑后方且同时与物镜后焦面和可调孔径光阑共轭，用来改变物镜后焦面相位分布，以根据需求改变点扩散函数形状；利用被调制成特定形状的点扩散函数进行三维重建得到样本三维结构。本发明解决了成像端点扩散函数形状无法改变导致成像分辨率、3D重建效果无法改变的问题。
Description
技术领域
本发明属于显微成像技术领域，更具体地，涉及一种点扩散函数可编程的3D荧光成像方法和系统。
背景技术
身处在一个3D的世界中，人们身边所有的生物样本也都具有独特的3D空间信息。因此，相对于2D荧光成像，快速准确的3D荧光成像，可以使实验者更加全面的了解样本的空间信息。在显微成像技术领域，传统的获取样本3D空间结构的方法主要包括两种，具有层析能力的宽场荧光显微镜可以单次获得样本位于物镜焦平面的结构(2D)，通过轴向逐层的扫描待成像样本，可以逐张地得到不同深度的2D结构，再将得到的不同深度2D结构进行堆叠，可以最终获得样本的3D空间信息。
然而这种方式明显的缺点是，获得3D空间信息的速度受限于轴向扫描样本的速度和层数，无法试用于需要快速的获得3D空间信息的成像场景。为了可以更加快速的获得样本的3D空间信息，光场荧光显微镜在成像端的相机前面插入了一个微透镜阵列，用来调制成像端的点扩散函数(PSF)。插入微透镜阵列后，成像端的PSF随样本的位置、深度而改变，这样建立了样本3D空间信息和投影在相机上PSF形状之间的独特对应关系。如果实验前期测量或者仿真得到样本3D空间上不同位置在相机上PSF的形状矩阵，就可以利用3D反卷积算法，从相机采集到的单张图像重建出原始的3D空间信息。该方法中无需轴向扫描样本即可得到样本的3D空间结构，非常适合需要快速获取3D结构的应用场景。
然而，基于微透镜阵列的荧光光场显微镜也有一个明显的缺点：利用微透镜阵列产生的PSF显然是固定、无法灵活改变的。例如针对轴向分布比较广的样本，往往需要低数值孔径(NA)，PSF在更广的轴向保持高频信息，以保证有效的重建样本的所有深度；轴向分布较短的样本，往往需要高NA，PSF在较短的轴向保持高频信息，以保证更高的空间分辨率重建样本的所有深度。更普遍的情况是，研究者所感兴趣样本的位置，并非连续的分布在不同深度，而很有可能是非连续的分布在不同深度区间。例如，研究者所感兴趣样本的深度位于，-300到-200微米和+200到+300微米的两个区间(不包括中间-200到+200微米)，此时应将PSF的高频信息仅在这感兴趣的两个区间保持，以获得最佳的3D重建效果。但在基于微透镜阵列的光场显微镜中，改变PSF的形状，必须重新加工新的微透镜阵列，一方面很不方便，另一方面每次替换新的微透镜阵列都需要耗费大量的时间、精力重新校准探测端的系统。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种点扩散函数可编程的3D荧光成像方法和系统，其目的在于解决传统宽场荧光显微镜或者基于微透镜阵列的光场荧光显微镜中，无法根据待测样本情况，灵活改变成像端PSF形状，来达到最优的3D成像效果的问题。
为实现上述目的，按照本发明的一个方面，提供了一种点扩散函数可编程的3D荧光成像方法，包括：
产生从上到下照射到样本不同深度的激发光光束，以同时激发样本不同深度位置的荧光；
通过在成像物镜和荧光相机之间，引入均与成像物镜后焦面共轭的可调孔径光阑和相位调制器件，分别来改变所述成像物镜的有效数值孔径和物镜后焦面的相位分布，进而改变成像物镜的点扩散函数；其中，所述可调孔径光阑位于所述成像物镜后方，且与成像物镜的后焦面共轭，用于改变所述成像物镜的有效数值孔径，从而根据所需探测位置改变点扩散函数的轴向连续覆盖范围；所述相位调制器件位于所述可调孔径光阑的后方，且同时与所述成像物镜的后焦面和可调孔径光阑共轭，用来改变成像物镜后焦面的相位分布，从而根据所需探测位置强化或弱化点扩散函数的部分轴向覆盖范围；所述成像物镜位于样本上方，用于收集荧光信号；
根据被调制成的特定的点扩散函数，以及相机上收集到的来自样本不同深度荧光信号的叠加图像，进行三维重建，得到样本的原始三维结构。
进一步，所述相位调制器件具体为空间光调制器或可变形镜。
进一步，所述改变成像物镜后焦面的相位分布，具体实现方式为：
根据所需探测的样本深度范围，得到所需的具有多个子焦点的点扩散函数，其中，所述多个子焦点均匀分布于所述深度范围内；所述具有多个子焦点的点扩散函数中每个子焦点i对应的特征为：
PSFi＝Wx-倾斜PSFx-倾斜+Wy-倾斜PSFy-倾斜+Wz-离焦PSFz-离焦；
其中，Wx-倾斜和Wy-倾斜分别为控制子焦点在x,y轴方向倾斜程度PSFx-倾斜、PSFy-倾斜的权重；Wz-离焦为控制子焦点在z轴方向离焦程度PSFz-离焦的权重；改变权重Wx-倾斜和Wy-倾斜，以改变子焦点倾斜程度，捕获样本角空间信息；改变权重Wz-离焦，以针对所需探测的样本深度范围，灵活配置子焦点位置，优化三维重建效果；
利用傅里叶光学理论，通过为相位调制器件上每个子孔径区域分配不同的权重，进行区域子孔径相位合成，最终生成相位调制器件上所需的相位分布，以用于实现所述所需的具有多个子焦点的点扩散函数，其中，每个子孔径区域相位表示为其中，和分别为控制每个子孔径区域中两个维度倾斜项和以及离焦项的相位所占的权重大小，和为泽尼克多项式中n和m取不同数值情况下的表达式；
根据所述所需的相位分布，改变加载到空间光调制器上面每个像素上的电压，进而改变该像素对入射光的相位延迟，从而调制成像物镜后焦面的相位分布。
进一步，利用三维的图像反卷积算法和对应的不同深度成像点扩散函数，对样本不同深度的荧光信号进行重建，得到样本的三维结构。
本发明还提供一种点扩散函数可编程的3D荧光成像系统，包括：样本照明装置，点扩散函数可编程的成像装置，以及成像结果处理装置；
所述样本照明装置用于产生从上到下照射到样本不同深度的激发光光束，以同时激发样本不同位置的荧光；
所述点扩散函数可编程的成像装置包括成像物镜、可调孔径光阑和相位调制器件；所述可调孔径光阑位于成像物镜和相位调制器件的中间，并与成像物镜后焦面和相位调制器件表面共轭，用于调节成像物镜的有效数值孔径，从而根据所需探测位置改变点扩散函数的轴向覆盖范围；所述相位调制器件位于成像物镜和孔径光阑之后，并与成像物镜后焦面和可调孔径光阑共轭，用于可编程的调制物镜后焦面的相位分布，从而根据所需探测位置强化或弱化点扩散函数的部分轴向覆盖范围；所述成像物镜位于样本的上方，用于收集样本发射出来的荧光信号；
所述成像结果处理装置用于结合点扩散函数的三维空间分布信息，以及相机上收集到的来自样本不同深度荧光信号的叠加图像，重建样本三维结构。
进一步，所述样本照明装置包括：光源和照明镜筒透镜；
所述光源，用于激发样本产生荧光；
所述照明镜筒透镜，和所述点扩散函数可编程的成像装置中的成像物镜组成4f系统，用于将入射光源以平行光的状态送入样本空间，照亮整个样本。
进一步，所述点扩散函数可编程的成像装置包括：成像物镜，中继透镜组1，可调孔径光阑，偏振片，中继透镜组2，相位调制器件，以及相机；
所述成像物镜，用于收集样本被激发的、来自不同深度的荧光；
所述中继透镜组1，用于将成像物镜的后焦面共轭到可调孔径光阑表面，并提供放大倍数，使得物镜后焦面的尺寸在可调孔径光阑的有效范围内；
所述偏振片，用于将不具有偏振态的荧光，变成具有单一偏振态的偏振光，并使得其偏振方向平行于相位调制器件的光轴，从而可以被相位调制器件进行相位调制；
所述中继透镜组2，用于将共轭与有效孔径光阑的平面进一步共轭到相位调制器件表面，从而使得三个平面互相共轭；通过改变加载到相位调制器件上每个像素的电压，对成像物镜的后焦面进行相位调制，从而改变成像物镜点成像函数的形状；
所述相机，用来接收最终来自样本不同深度且卷积了不同形状点扩散函数的荧光信号。
进一步，所述相位调制器件具体为空间光调制器或可变形镜。
进一步，所述点扩散函数可编程的成像装置包括点扩散函数计算装置；
用于根据所需探测的样本深度范围，得到所需的具有多个子焦点的点扩散函数，其中，所述多个子焦点均匀分布于所述深度范围内；所述具有多个子焦点的点扩散函数中每个子焦点i对应的特征为：PSFi＝Wx-倾斜PSFx-倾斜+Wy-倾斜PSFy-倾斜+Wz-离焦PSFz-离焦；
其中，Wx-倾斜和Wy-倾斜分别为控制子焦点在x,y轴方向倾斜程度的权重；Wz-离焦为控制子焦点在z轴方向离焦程度的权重；改变Wx-倾斜和Wy-倾斜的权重，以改变子焦点倾斜程度，捕获样本角空间信息；改变Wz-离焦权重，以针对所需探测的样本深度范围，配置子焦点位置；
利用傅里叶光学理论，通过为相位调制器件上每个子孔径区域分配不同的权重，进行区域子孔径相位合成，最终生成相位调制器件上所需的相位分布，以用于实现所述所需的具有多个子焦点的点扩散函数，其中，每个子孔径区域相位表示为其中，和分别为控制每个子孔径区域中两个维度倾斜项和以及离焦项的相位所占的权重大小，和为泽尼克多项式中n和m取不同数值情况下的表达式。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明提供的点扩散函数可编程的3D荧光成像方法和系统，相较于传统的宽场荧光显微镜或者基于微透镜阵列的光场荧光显微镜，在成像系统中引入了可以灵活改变成像系统有效数值孔径的可调孔径光阑和对物镜后焦面进行相位调制的空间光调制器，进一步结合新的区域子孔径的相位合成算法，用于生成空间光调制器上所需的相位分布，从而可编程的改变成像系统的点扩散函数。生成的特定的点扩散函数，卷积上样本不同深度的结构，被荧光相机收集，利用三维重建算法，将叠加在一起的二维图像重建出样本的三维结构。
(2)本发明通过可编程化地改变成像系统的点扩散函数，实现可以根据研究者所感兴趣的深度范围，定制化的生成特定的点扩散函数形状，以获得更佳的3D成像效果。
附图说明
图1为本发明实施例提供的点扩散函数可编程的3D荧光成像系统示意图；
图2为本发明实施例提供的点扩散函数可编程的3D荧光成像系统实现荧光成像的流程图；
图3为本发明实施例提供的通过改变孔径光阑通光孔径和加载到空间光调制器上面的图案得到特定形状的点扩散函数示意图；
图4为本发明实施例提供的区域子孔径相位合成算法示意图；
图5为本发明实施例提供的保持空间光调制器上面的相位不变，改变孔径光阑的同光孔径，对点扩散函数形状和三维重建效果的影响示意图；
图6为本发明实施例提供的保持孔径光阑的通光孔径，改变空间光调制器上面的相位，对点扩散函数形状和三维重建效果的影响示意图。
在所有附图中，相同的附图标记用来表示相同的元件或者结构，其中：
1为平行入射的激光，2为照明镜筒透镜，3为二向色镜，4为成像物镜，5为样本，6为中继透镜组1，7位可调孔径光阑，8为偏振片，9为中继透镜组2，10为空间光调制器，11为成像镜筒透镜，12为荧光相机。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例一
一种点扩散函数可编程的3D荧光成像方法，包括：
产生从上到下照射到样本不同深度的激发光光束，以同时激发样本不同深度位置的荧光；
通过在成像物镜和荧光相机之间，引入均与成像物镜后焦面共轭的可调孔径光阑和相位调制器件，分别来改变所述成像物镜的有效数值孔径和物镜后焦面的相位分布，进而改变成像物镜的点扩散函数；其中，所述可调孔径光阑位于所述成像物镜后方，且与成像物镜的后焦面共轭，用于改变所述成像物镜的有效数值孔径，从而根据所需探测位置改变点扩散函数的轴向连续覆盖范围；所述相位调制器件位于所述可调孔径光阑的后方，且同时与所述成像物镜的后焦面和可调孔径光阑共轭，用来改变成像物镜后焦面的相位分布，从而根据所需探测位置强化或弱化点扩散函数的部分轴向覆盖范围；所述成像物镜位于样本上方，用于收集荧光信号；
根据被调制成的特定的点扩散函数，以及相机上收集到的来自样本不同深度荧光信号的叠加图像，进行三维重建，得到样本的原始三维结构。
根据点扩散函数的产生的物理模型(成像光路中的波动光学理论)，若想调制点扩散函数的形状，可以用两种方法。第一、改变成像系统的有效数值孔径(NA)；第二、改变成像物镜后焦平面的相位分布(样本的傅里叶平面)。因此根据这两个理论，在传统的荧光成像光路中，在成像物镜后焦面的共轭面引入了一个可调孔径光阑和空间光调制器。其中可以改变可调孔径光阑的大小，来改变成像系统的有效数值孔径。通过在空间光调制器上面加载不同的电压，可以改变物镜后焦面的相位分布，进而影响成像系统的点扩散函数形状。
优选地，改变成像物镜后焦面的相位分布的途径可以为：
根据所需探测的样本深度范围，得到所需的具有多个子焦点的点扩散函数，其中，多个子焦点均匀分布于所述深度范围内；所述具有多个子焦点的点扩散函数中每个子焦点i对应的特征为：
PSFi＝Wx-倾斜PSFx-倾斜+Wy-倾斜PSFy-倾斜+Wz-离焦PSFz-离焦；
其中，Wx-倾斜和Wy-倾斜分别为控制子焦点在x,y轴方向倾斜程度PSFx-倾斜、PSFy-倾斜的权重；Wz-离焦为控制子焦点在z轴方向离焦程度PSFz-离焦的权重；改变权重Wx-倾斜和Wy-倾斜，以改变子焦点倾斜程度，捕获样本角空间信息；改变权重Wz-离焦，以针对所需探测的样本深度范围，灵活配置子焦点位置，优化三维重建效果；
利用傅里叶光学理论，通过为相位调制器件上每个子孔径区域分配不同的权重，进行区域子孔径相位合成，最终生成相位调制器件上所需的相位分布，以用于实现所述所需的具有多个子焦点的点扩散函数，其中，每个子孔径区域相位表示为其中，和分别为控制每个子孔径区域中两个维度倾斜项和以及离焦项的相位所占的权重大小，和为泽尼克多项式中n和m取不同数值情况下的表达式；
根据所需的相位分布，改变加载到空间光调制器上面每个像素上的电压，进而改变该像素对入射光的相位延迟，从而调制成像物镜后焦面的相位分布。
关于所需的具有多个子焦点的点扩散函数，说明如下：
一个显微系统点扩散函数的三维分布可以表示为PSF(x,y,z)，根据傅里叶光学理论，从样本空间发出的荧光最终传播到相机表面的过程可以表示为一个离散的卷积过程：
其中，Imgcamera为相机拍摄得到的不同深度(Z)样本的叠加图像；Samplez为深度为Z处的样本二维平面；PSFz为点扩散函数在深度为Z处的二维函数，N为所需拍摄深度范围内的二维平面个数；为卷积运算符。根据傅里叶变换性质可知，公式(1)可以写成如下乘积的形式：
即，相机所拍摄图像的傅里叶变换为样本在深度为Z处的傅里叶变换和点扩散函数在深度Z处的傅里叶变换乘积叠加。故，三维显微成像的过程相当于样本的每一深度Z的原始信息通过了一个具有不同带宽的低通滤波器最终传播到相机。因此当深度为Z处的低通滤波器的截止频率越大，相机所采集到图像所能携带的高频信号才越大(高频信号越大，系统成像分辨率越高)。故，为了保证目标深度Z的成像分辨率水平，保持该深度低通滤波器具有较高的截止频率至关重要。再次根据傅里叶变换理论可知，若某一深度的PSFz具有很集中的能量分布(即该深度具有子焦点且子焦点尺寸小)，则该深度的截止频率会很大。故，根据感兴趣深度范围产生多焦点点扩散函数原则为：
(1)需保证在所感兴趣深度范围内有若干足够小的子焦点，以提供该深度范围较高的截止频率，保证成像分辨率；
(2)根据实验可知，所感兴趣深度范围内子焦点个数越多，对于该深度范围内的三维重建效果越好。
(3)本实施例所提出的多焦点点扩散函数中的每一个子焦点相对于传统的高斯型点扩散函数具有一定的倾斜度，且不同子焦点的倾斜角度不同。子焦点的倾斜会使得不同深度样本在相机表面的投影位置不同，相当于相机捕获了来自样本不同角度的信息。该角空间信息的获取更有利于后期样本的三维重建。
举例说明：假设研究者所关心三维样本处于-200到-100微米和+100到+150微米范围内，则可生成一个具有3×3＝9个子焦点的点扩散函数。其中，为-200到-100微米范围设置6个子焦点，每个子焦点轴向长度应大于且该6个焦点应均匀分布于-200到-100微米范围内；为+100到+150微米范围设置3个子焦点，每个子焦点轴向长度应大于且该3个子焦点应均匀分布于+100到+150微米范围内；根据该多焦点点扩散函数的要求，则可以利用本发明提出的区域子孔径相位合成算法，计算所需要加载到空间光调制器上的相位分布，从而实际得到目标点扩散函数。
关于区域子孔径相位合成算法，说明如下：
泽尼克多项式是一种由无穷多个互相正交的完备集组成，其在光学的像差分析方面有重要作用。例如和控制PSF的x和y轴方向的倾斜，项控制着PSF的离焦大小。因此通过将一系列不同泽尼克多项式线性叠加，可以灵活的改变PSF的形状和分布。例如，本实施例中，为了可以生成具有不同深度的多焦点PSF，首先将可以调制物镜的后瞳相位的SLM表面分割为N×N个正方形子区域。假设其中的一个子区域(第j行k列)相位可以表示为：其中和分别为控制每个子区域中倾斜项和离焦项相位所占的权重大小。假设和均为0时，子区域相位没有被调制，故此时的PSF只有一个焦点。当对每一个子区域赋予和合适的非0权重时(由于和的权重和控制PSF产生倾斜)故子区域的PSF产生倾斜(权重越大，倾斜程度越大)，则原始的单个焦点变为N×N个多焦点。然而，此时由于每一个子区域的仍为0(控制PSF的离焦程度)，故所有多焦点均位于同一个深度。假设需要其中第j行第k列的焦点沿轴向移动，则应该赋予该子区域合适的非0值(权重越大，离焦正度越大，的正负影响焦点向上或向下移动的方向)。因此，根据所需成像样本的目标深度范围，利用 公式，既可以精准控制每一个子焦点的倾斜程度和离焦程度，从而影响探测光路所探测的荧光深度范围。值得注意的是：在本实施例中，由于更加关心样本的不同深度范围，故本实施例中一般会为每一个SLM子区域固定一个合适大小(经验值)的非零倾斜项权重和而只改变的权重，从而改变子焦点在轴向的位置。
另外，关于影响成像系统PSF形状的因素，影响成像系统PSF形状的因素主要有两个：物镜的有效数值孔径(NAeffective)和物镜后焦面相位分布。
一个商业物镜被加工好之后，其最大的数值孔径(NAmax)已经确定(一般标注于物镜的镜筒表面)。然而，在物镜后焦平面的共轭面引入一个直径可调的圆形光阑，利用光阑对物镜后焦面部分光的遮挡，可以减小物镜的有效数值孔径(光阑直径越小、被遮挡的光愈多，物镜的有效数值孔径越小)。而减小物镜的有效数值孔径后，会使得成像系统PSF被轴向拉长。因此当需要同时探测样本的深度范围较大时，可以通过减小物镜的有效数值孔径，轴向拉长PSF，使相机可以同时探测到更大深度范围的荧光，增加被重建的深度范围。故，可以通过改变物镜的有效数值孔径(NAeffective)改变探测样本的深度范围。假设关心的样本深度范围较小，应该增大光阑直径，从而增大有效数值孔径，减小PSF的轴向覆盖范围；关心的样本深度较大，应该减小光阑直径，从而减小有效数值孔径，增大PSF的轴向覆盖范围。
然而，如果只是减小物镜的有效数值孔径，只可以将PSF沿轴向连续的拉长。一方面无法产生多焦点的PSF，另一方面无法非连续地改变探测深度。例如：跳跃式的探测样本不同深度，假设观测者只想成像样本中的-200到-100微米和+100到+200微米两个深度范围，而完全不关心-100到+100微米的样本。这种情况下，缩小物镜有效数值孔径则无能为力。于是本发明提出的改变物镜后焦面的相位分布的技术(区域子孔径相位合成算法)则可以解决该问题。该算法主要有两个优势：第一，可以生成具有N×N个多焦点的PSF(否则的话将只存在单个焦点)。本发明中所使用的多焦点PSF中的每一个子焦点相对于传统的高斯型点扩散函数具有一定的倾斜度，且不同子焦点的倾斜角度不同。子焦点的倾斜会使得不同深度样本在相机表面的投影位置不同，相当于相机捕获了来自样本不同角度的信息。该角空间信息的获取更有利于后期样本的三维重建；第二，改变区域子孔径相位中的权重，允许根据所感兴趣样本的深度范围，将子区域产生的焦点移动到感兴趣的范围内，避免了对非感兴趣深度荧光的收集，从而避免了非感兴趣信号对图像重建的干扰。
因此，上述两种改变多焦点PSF形状的方法均可以利用本实施例实现，将二者合理搭配，即可针对所感兴趣样本的不同深度范围提供最优的多焦点PSF形状，提高三维重建的质量。
综上，本实施例在成像系统中引入了可以灵活改变成像系统有效数值孔径的可调孔径光阑和对物镜后焦面进行相位调制的空间光调制器，进一步结合本实施例提出的区域子孔径的相位合成算法，用于生成空间光调制器上所需的相位分布，从而可编程的改变成像系统的点扩散函数。生成的特定的点扩散函数，卷积上样本不同深度的结构，被荧光相机收集，利用三维重建算法，将叠加在一起的二维图像重建出样本的三维结构。
进一步，需要说明的是，可编程化地改变成像系统点扩散函数可以应对不同稀疏程度样本，具体地，可编程化地改变成像系统的点扩散函数，赋予了该系统针对不同三维成像场景下极大的灵活性。例如：当研究者所需成像的样本为密集样本时，倘若直接轴向拉长点扩散函数以覆盖整个样本进行成像和三维重建，来自样本不同深度的荧光信号投影在相机上的图像相互叠加严重，具有稀疏约束的三维重建算法(例如本发明采用的三维反卷积算法)很难收敛，往往使三维重建的效果很差。此时，为了获得更清晰的三维重建效果，则可以将密集样本分为若干深度范围，并为该深度范围设计相应的多焦点点扩散函数，依次成像。例如：研究者需成像一个-200到+200微米范围内的密集标记样本，假设同时成像整个样本，则导致重建效果很差。利用本发明，则可以将上述体积划分为-200到-100微米、-100到0微米、0到+100微米和+100到+200微米四个子区域，依次生成相应的多焦点点扩散函数。利用该种方法，可以人为的降低投影在相机表面的密集程度，提高三维重建效果。应当注意的是，这只是本发明的一个应用实例，具体划分子区域的数量可以由实验人员依据所需要的三维成像效果设定。
实施例二
一种点扩散函数可编程的3D荧光成像系统，包括：样本照明装置、点扩散函数可编程的成像装置、点扩散函数计算装置、成像结果处理装置。样本照明装置中到照明镜筒透镜和点扩散函数可编程的成像装置中的成像物镜构成4f系统，其对入射的平行光束缩小至合适倍数，之后上至下照明全部样本，以激发样本所有深度的荧光；点扩散函数可编程的成像装置利用与成像物镜后焦面共轭的孔径光阑和空间光调制器，来分别改变系统的有效数值孔径和相位分布，进而改变成像系统的点扩散函数形状，从而可以根据样本情况，产生针对特定感兴趣区域的荧光信号的收集。点扩散函数计算装置会根据感兴趣样本的深度，利用傅里叶光学理论和区域子孔径的相位合成算法，用于生成空间光调制器上所需的相位分布，进而得到相应的点扩散函数。成像结果处理装置，结合点扩散函数的三维空间分布信息，利用三维重建算法将相机上捕捉到的不同深度样本叠加后的二维信息，来重建样本的三维结构。
也就是，本实施例的一种点扩散函数可编程的3D荧光成像系统，包括将落射式的激发光束耦合进成像物镜，从上至下的照亮样本。样本的不同深度会被激发出荧光，该荧光被上方的成像物镜收集后，一个具有合适放大倍数的透镜组将物镜后焦面共轭到探测光路的一个尺寸可调的圆形光阑上。光阑所在的平面被另外一组透镜共轭到一个可以进行任意相位调制的相位调制器件上。为使得相位调制器件对无特定偏振方向的荧光进行有效的调制，一个平行于相位调制器件主轴的偏振片需要被放置在相位调制器件前，以形成具有和相位调制器件主轴平行的偏振光。该设置状态下，可满足相位调制器件的液晶平面，可调光阑平面和探测物镜后焦面(样本的傅里叶平面)三者共轭：即SLM可以对物镜的后焦面进行相位调制，光阑的大小可以改变成像系统的有效数值孔径(NA)，进而改变探测光路点扩散函数(PSF)的形状。最后，被改变的PSF卷积上原始样本的结构，产生的荧光被相机捕捉到。被捕捉到的图像经过后期的3D重建算法，可以成功的重建出原始样本的3D结构。
本实施例主要解决了传统的宽场荧光显微镜或者基于微透镜阵列的光场荧光显微镜无法改变成像端PSF形状，进而导致的成像分辨率、3D重建效果无法改变的问题；另外结合傅里叶光学理论，提出了区域子孔径的相位合成算法，用于根据待求的PSF形状计算所需加载到空间光调制器上的相位。
本实施例可以灵活地根据感兴趣的样本空间分布，生成最佳的点扩散函数形状，使重建得到的三维结构效果最佳。
优选地，样本照明装置装置主要包括：照明模块和照明镜筒透镜，其中，照明镜筒透镜和点扩散函数可编程的成像装置中的成像物镜组成4f系统。照明模块主要用于产生用来产生均匀的平行光，激发样本上的荧光标记物并产生荧光。4f系统(也即光束整形模块)主要用于将原始的平行入射光缩小合适的倍数，可以完整的照亮样本所有深度。
优选地，照明模块包括激光器，主要用于提供激发荧光所需的光源。
优选地，光束整形模块主要用于将入射的激光束缩小合适的倍数共轭到样本室中，均匀的照亮样本。
优选地，通常照明镜筒透镜是一个焦距较长的凸透镜，放置在距离成像物镜两倍焦距的位置组成4f系统。
点扩散函数可编程的成像装置主要包括：点扩散函数调制单元和荧光信号收集单元。点扩散函数调制单元用于改变成像系统的点扩散函数，从而得到只会收集感兴趣深度处荧光的点扩散函数。荧光信号收集单元用于收集被激发出的荧光进行成像。
优选地，点扩散函数调制单元主要包括成像物镜，可调孔径光阑和空间光调制器。其中，成像物镜用于收集来自不同深度的荧光信号，共轭于成像物镜后焦面的可调孔径的光阑用于改变成像系统的有效数值孔径，同样共轭于成像物镜后焦面的空间光调制器用于改变物镜后焦面的相位分布，二者联合起来，可以影响整个成像系统的点扩散函数形状。另一方面收集样本产生的荧光传递给荧光信号收集单元。
优选地，荧光信号收集单元包括：成像镜筒透镜，荧光相机。成像镜筒透镜主要用于配合成像系统提供合适的放大倍数，将被空间光调制器调制后的荧光共轭成像到荧光相机。荧光相机用来收集荧光信号，转化为图像。
点扩散函数计算装置主要是指利用傅里叶光学理论，结合区域子孔径的相位合成算法，用于生成空间光调制器上所需的相位分布，进而影响成像系统的点扩散函数形状。
具体的，点扩散函数计算装置用于根据所需探测的样本深度范围，得到所需的具有多个子焦点的点扩散函数，其中，多个子焦点均匀分布于上述深度范围内；具有多个子焦点的点扩散函数中每个子焦点i对应的特征为：PSFi＝Wx-倾斜PSFx-倾斜+Wy-倾斜PSFy-倾斜+Wz-离焦PSFz-离焦；其中，Wx-倾斜和Wy-倾斜分别为控制子焦点在x,y轴方向倾斜程度的权重；Wz-离焦为控制子焦点在z轴方向离焦程度的权重；改变Wx-倾斜和Wy-倾斜的权重，以改变子焦点倾斜程度，捕获样本角空间信息；改变Wz-离焦权重，以针对所需探测的样本深度范围，灵活配置子焦点位置，优化三维重建效果；利用傅里叶光学理论，通过为相位调制器件上每个子孔径区域分配不同的权重，进行区域子孔径相位合成，最终生成相位调制器件上所需的相位分布，以用于实现所述所需的具有多个子焦点的点扩散函数，其中，每个子孔径区域相位表示为其中，和分别为控制每个子孔径区域中两个维度倾斜项和以及离焦项的相位所占的权重大小。
成像结果处理装置主要指利用三维图像重建算法，根据所利用上述理论所设计的点扩散函数的形状，对样本的不同深度二维投影进行三维重建，重构出样本原始的三维结构。由于其中的点扩散函数仅仅只在感兴趣的深度保留高频信息，所以重建出的三维结构会在感兴趣深度保持很高的质量。
在一个具体的实例中，图1为本发明提供的点扩散函数(PSF)可编程的3D荧光成像系统，如图1所示，包括：样本照明装置、点扩散函数可编程的成像装置、点扩散函数计算装置、成像结果处理装置。
样本照明装置是将平行入射到照明镜筒透镜2和成像物镜4上的平行光束1进行合适倍数的缩小之后，上至下照明全部样本5，以激发样本5所有深度的荧光；点扩散函数可编程的成像装置利用与成像物镜4后焦面共轭的孔径光阑7和空间光调制器10，来分别改变系统的有效数值孔径和相位分布，进而改变成像系统的点扩散函数形状，从而可以根据样本情况，产生针对特定感兴趣区域的荧光信号的收集。点扩散函数计算装置会根据感兴趣样本的深度，利用傅里叶光学理论和区域子孔径的相位合成算法，用于生成空间光调制器上所需的相位分布，进而得到相应的点扩散函数。成像结果处理装置，结合点扩散函数的三维空间分布信息，利用三维重建算法将相机上捕捉到的不同深度样本叠加后的二维信息，来重建样本的三维结构。
如图1所示，样本照明装置包括：1平行入射的激光光束、照明镜筒透镜2，成像物镜4；点扩散函数可编程的成像装置包括：成像物镜4用来收集从样本5中的荧光；二向色镜3用来通过入射到成像物镜中的激发光并反射成像物镜收集到样本的荧光到中继透镜组6；中继透镜组6将物镜后焦面共轭到可调的孔径光阑7上；改变孔径光阑7的尺寸可以改变成像系统的有效数值孔径，从而影响点扩散函数的形状；非偏振态的荧光通过偏振片8之后被调制成具有和空间光调制器10主轴平行偏振态的光。经过中继透镜组9后，光阑上的光被共轭到空间光调制器上。通过改变加载到空间光调制器上每个像素的电压，进而改变通过它的光电的相位；被调制后的荧光通过成像镜筒透镜11之后被成像到荧光相机12上，得到样本不同深度的二维投影图像。
图2为点扩散函数(PSF)可编程的3D荧光成像系统的流程图，主要流程包括：
S101：从上至下照亮样本的全部深度，以激发所有位置的荧光信号；
S102：根据样本稀疏程度、所感兴趣的待成像深度范围，利用区域子孔径的相位合成算法，生成空间光调制器上所需的相位分布，从而可编程的改变成像系统的点扩散函数；同时可以改变可调孔径光阑的大小，从而改变成像系统的有效数值孔径，进一步改变成像点扩散函数的形状；两者结合在一起，得到该样本最为合适的三维成像点扩散函数；
S103：结合上述设计点扩散函数的形状和相机收集到的不同深度样本荧光信号叠加在一起的二维图像，对其进行三维重建，得到样本原始的三维结构。
具体地，各个步骤的实施流程可参见前述方法和系统实施例中的介绍，在此不做赘述。
如图3所示，通过改变可调孔径光阑的孔径大小，并利用区域子孔径的相位合成算法(如图4所示的区域子孔径相位合成算法示意图)，可以生成特定分布的相位图用于加载于空间光调制器上。被调制后的荧光经过空间光调制器后，产生了主要分布在中间深度的具有九个焦点的点扩散函数。该特殊的点扩散函数，卷积上样本的不同深度，被成像镜筒透镜汇聚到相机上时，会得到原始的多个不同深度样本的二维投影。该二维投影和具有九个焦点的点扩散函数，将被用来进行后续的三维结构重建。
如图5所示，通过保持加载到空间光调制器上面的相位不变，只改变可调孔径光阑的通光孔径(第一行)，对于成像系统点扩散函数形状(第二行)、相机上得到的原始样本二维投影(第三行)、三维重建得到的原始样本在xy面上的最大值投影(第四行)和zy面上的最大值投影(第五行)均会产生影响。由图5可知，在此情况下，孔径光阑的尺寸越小(第一行)，得到的点扩散函数在轴向的跨度越广(第二行)，可以重建出来的轴向范围越广(第五行)。该图可以证明改变通光孔径的尺寸可以有效的影响成像系统的点扩散函数形状，进而影响后期三维重建的效果。本图使用的样本为40度低熔点琼脂糖来包埋10um荧光小球，但实际操作中不限于荧光小球，也可以是任何具有三维结构的荧光生物样本。
如图6所示，保持可调孔径光阑的通光孔径不变，只改变加载到空间光调制器上的相位分布(第一行)，可以使成像系统的点扩散函数在轴向分布的位置发生改变(第二行)，被轴向改变位置分布后的点扩散函数用来成像相同的10微米直径的荧光小球时，在荧光相机上面得到的二维投影(第三行)也会不同。利用已知的点扩散函数的三维空间分布、相机上面的二维投影和三维重建算法，可以得到三种效果不同的原始样本在xy面上的最大值投影(第四行)和在xz面上的最大值投影(第五行)。被重建出来的xz面上的最大值投影(第五行)可知，改变多焦点点扩散函数的轴向分布后，会使得被重建出来的样本最清晰的位置发生变化。如果所有的多焦点点扩散函数均分布于轴向范围的中间，则被重建出来的样本也是整个轴向范围的中间最为清晰；如果有些轴向的多焦点分布在轴向范围的上方另一些分布在下方，而中间没有分布(第二行)，则会导致被重建出来的原始样本最清晰的地方也会分布在最上方和最下方，中间不清晰(第五行)。图6充分的证明了，改变加载到空间光调制器上面的相位，可以有效的改变成像系统的点扩散函数形状，从而影响被三维重建出来的不同深度样本的清晰程度。举例说明：假设只关心一个三维样本中的中间深度部分，则此时使用图6第一列的点扩散函数可以得到最佳的三维重建效果；假设此时只关心一个三维样本中的上半部分和下半部分深度范围，但不关心中间部分，则使用图6中第3列的点扩散函数得到的三维重建效果最佳。同样的，本图使用的样本为40度低熔点琼脂糖来包埋10um荧光小球，但实际操作中不限于荧光小球，也可以是任何具有三维结构的荧光生物样本。
综上，本发明公开了一种点扩散函数可编程的3D荧光成像方法和系统，包括将落射式的激发光束耦合进成像物镜，从上至下的照亮样本。样本的不同深度会被激发出荧光，该荧光被上方的成像物镜收集后，一个具有合适放大倍数的透镜组将物镜后焦面共轭到探测光路的一个尺寸可调的圆形光阑上。光阑所在的平面被另外一组透镜共轭到一个可以进行任意相位调制的相位调制器件上。为使得相位调制器件对无特定偏振方向的荧光进行有效的调制，一个平行于相位调制器件主轴的偏振片需要被放置在相位调制器件前，以形成具有和相位调制器件主轴平行的偏振光。该设置状态下，可满足相位调制器件的液晶平面，可调光阑平面和探测物镜后焦面(样本的傅里叶平面)三者共轭：即相位调制器件可以对物镜的后焦面进行相位调制，光阑的大小可以改变成像系统的有效数值孔径(NA)，进而改变探测光路点扩散函数(PSF)的形状。最后，被改变的PSF卷积上原始样本的结构，产生的荧光被相机捕捉到。被捕捉到的图像经过后期的3D重建算法，可以成功的重建出原始样本的3D结构。本发明主要解决了传统的宽场荧光显微镜或者基于微透镜阵列的光场荧光显微镜无法改变成像端PSF形状，进而导致的成像分辨率、3D重建效果无法改变的问题；另外结合傅里叶光学理论，提出了区域子孔径的相位合成算法，用于根据待求的PSF形状计算所需加载到空间光调制器上的相位。
总体而言，本发明提供的点扩散函数可编程的3D荧光成像方法及系统，在3D荧光成像端引入可以灵活改变成像光路点扩散函数(PSF)的技术，具体在成像光路中引入可调孔径光阑、空间光调制器，并提出一种新的区域子孔径相位合成算法，可以使得成像物镜产生一种多焦点点扩散函数，并使其多焦点正好处于3D样本所感兴趣的深度位置，以保证对感兴趣位置的荧光信号有最大的收集效率，从而避免了其他非感兴趣位置荧光信号对于后期三维重建的干扰。该发的核心创新点即为：在传统3D荧光显微镜成像端可以根据所需成像样本感兴趣的深度、稀疏程度，可编程化的产生不同形状的点扩散函数，来减小其他非必要区域荧光信号的干扰，使得后期的三维重建效果最佳。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种点扩散函数可编程的3D荧光成像方法，其特征在于，包括：
产生从上到下照射到样本不同深度的激发光光束，以同时激发样本不同深度位置的荧光；
通过在成像物镜和荧光相机之间，引入均与成像物镜后焦面共轭的可调孔径光阑和相位调制器件，分别来改变所述成像物镜的有效数值孔径和物镜后焦面的相位分布，进而改变成像物镜的点扩散函数；其中，所述可调孔径光阑位于所述成像物镜后方，且与成像物镜的后焦面共轭，用于改变所述成像物镜的有效数值孔径，从而根据所需探测位置改变点扩散函数的轴向连续覆盖范围；所述相位调制器件位于所述可调孔径光阑的后方，且同时与所述成像物镜的后焦面和可调孔径光阑共轭，用来改变成像物镜后焦面的相位分布，从而根据所需探测位置强化或弱化点扩散函数的部分轴向覆盖范围；所述成像物镜位于样本上方，用于收集荧光信号；
根据被调制成的特定的点扩散函数，以及相机上收集到的来自样本不同深度荧光信号的叠加图像，进行三维重建，得到样本的原始三维结构。
2.根据权利要求1所述的一种点扩散函数可编程的3D荧光成像方法，其特征在于，所述相位调制器件具体为空间光调制器或可变形镜。
3.根据权利要求1所述的一种点扩散函数可编程的3D荧光成像方法，其特征在于，所述改变成像物镜后焦面的相位分布，具体实现方式为：
根据所需探测的样本深度范围，得到所需的具有多个子焦点的点扩散函数，其中，所述多个子焦点均匀分布于所述深度范围内；所述具有多个子焦点的点扩散函数中每个子焦点i对应的特征为：
PSFi＝Wx-倾斜PSFx-倾斜+Wy-倾斜PSFy-倾斜+Wz-离焦PSFz-离焦；
其中，Wx-倾斜和Wy-倾斜分别为控制子焦点在x,y轴方向倾斜程度PSFx-倾斜、PSFy-倾斜的权重；Wz-离焦为控制子焦点在z轴方向离焦程度PSFz-离焦的权重；改变权重Wx-倾斜和Wy-倾斜，以改变子焦点倾斜程度，捕获样本角空间信息；改变权重Wz-离焦，以针对所需探测的样本深度范围，灵活配置子焦点位置，优化三维重建效果；
利用傅里叶光学理论，通过为相位调制器件上每个子孔径区域分配不同的权重，进行区域子孔径相位合成，最终生成相位调制器件上所需的相位分布，以用于实现所述所需的具有多个子焦点的点扩散函数，其中，每个子孔径区域相位表示为其中，和分别为控制每个子孔径区域中两个维度倾斜项和以及离焦项的相位所占的权重大小，和为泽尼克多项式中n和m取不同数值情况下的表达式；
根据所述所需的相位分布，改变加载到空间光调制器上面每个像素上的电压，进而改变该像素对入射光的相位延迟，从而调制成像物镜后焦面的相位分布。
4.根据权利要求1所述的一种点扩散函数可编程的3D荧光成像方法，其特征在于，利用三维的图像反卷积算法和对应的不同深度成像点扩散函数，对样本不同深度的荧光信号进行重建，得到样本的三维结构。
5.一种点扩散函数可编程的3D荧光成像系统，其特征在于，包括：样本照明装置，点扩散函数可编程的成像装置，以及成像结果处理装置；
所述样本照明装置用于产生从上到下照射到样本不同深度的激发光光束，以同时激发样本不同位置的荧光；
所述点扩散函数可编程的成像装置包括成像物镜、可调孔径光阑和相位调制器件；所述可调孔径光阑位于成像物镜和相位调制器件的中间，并与成像物镜后焦面和相位调制器件表面共轭，用于调节成像物镜的有效数值孔径，从而根据所需探测位置改变点扩散函数的轴向覆盖范围；所述相位调制器件位于成像物镜和孔径光阑之后，并与成像物镜后焦面和可调孔径光阑共轭，用于可编程的调制物镜后焦面的相位分布，从而根据所需探测位置强化或弱化点扩散函数的部分轴向覆盖范围；所述成像物镜位于样本的上方，用于收集样本发射出来的荧光信号；
所述成像结果处理装置用于结合点扩散函数的三维空间分布信息，以及相机上收集到的来自样本不同深度荧光信号的叠加图像，重建样本三维结构。
6.根据权利要求5所述的一种点扩散函数可编程的3D荧光成像系统，其特征在于，所述样本照明装置包括：光源和照明镜筒透镜；
所述光源，用于激发样本产生荧光；
所述照明镜筒透镜，和所述点扩散函数可编程的成像装置中的成像物镜组成4f系统，用于将入射光源以平行光的状态送入样本空间，照亮整个样本。
7.根据权利要求5所述的一种点扩散函数可编程的3D荧光成像系统，其特征在于，所述点扩散函数可编程的成像装置包括：成像物镜，中继透镜组1，可调孔径光阑，偏振片，中继透镜组2，相位调制器件，以及相机；
所述成像物镜，用于收集样本被激发的、来自不同深度的荧光；
所述中继透镜组1，用于将成像物镜的后焦面共轭到可调孔径光阑表面，并提供放大倍数，使得物镜后焦面的尺寸在可调孔径光阑的有效范围内；
所述偏振片，用于将不具有偏振态的荧光，变成具有单一偏振态的偏振光，并使得其偏振方向平行于相位调制器件的光轴，从而可以被相位调制器件进行相位调制；
所述中继透镜组2，用于将与物镜后焦面共轭的可调孔径光阑的平面进一步共轭到相位调制器件表面，从而使得三个平面互相共轭；通过改变加载到相位调制器件上每个像素的电压，对成像物镜的后焦面进行相位调制，从而改变成像物镜点扩散函数的形状；
所述相机，用来接收最终来自样本不同深度且卷积了各深度对应点扩散函数的荧光信号。
8.根据权利要求5所述的一种点扩散函数可编程的3D荧光成像系统，其特征在于，所述相位调制器件具体为空间光调制器或可变形镜。
9.根据权利要求5所述的一种点扩散函数可编程的3D荧光成像系统，其特征在于，所述点扩散函数可编程的成像装置包括点扩散函数计算装置；
用于根据所需探测的样本深度范围，得到所需的具有多个子焦点的点扩散函数，其中，所述多个子焦点均匀分布于所述深度范围内；所述具有多个子焦点的点扩散函数中每个子焦点i对应的特征为：PSFi＝Wx-倾斜PSFx-倾斜+Wy-倾斜PSFy-倾斜+Wz-离焦PSFz-离焦；
其中，Wx-倾斜和Wy-倾斜分别为控制子焦点在x,y轴方向倾斜程度的权重；Wz-离焦为控制子焦点在z轴方向离焦程度的权重；改变Wx-倾斜和Wy-倾斜的权重，以改变子焦点倾斜程度，捕获样本角空间信息；改变Wz-离焦权重，以针对所需探测的样本深度范围，配置子焦点位置；
利用傅里叶光学理论，通过为相位调制器件上每个子孔径区域分配不同的权重，进行区域子孔径相位合成，最终生成相位调制器件上所需的相位分布，以用于实现所述所需的具有多个子焦点的点扩散函数，其中，每个子孔径区域相位表示为其中，和分别为控制每个子孔径区域中两个维度倾斜项和以及离焦项的相位所占的权重大小，和为泽尼克多项式中n和m取不同数值情况下的表达式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210685840.0A CN115184317B (zh) | 2022-06-16 | 2022-06-16 | 一种点扩散函数可编程的3d荧光成像方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210685840.0A CN115184317B (zh) | 2022-06-16 | 2022-06-16 | 一种点扩散函数可编程的3d荧光成像方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115184317A CN115184317A (zh) | 2022-10-14 |
| CN115184317B true CN115184317B (zh) | 2024-08-27 |
Family
ID=83513066
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210685840.0A Active CN115184317B (zh) | 2022-06-16 | 2022-06-16 | 一种点扩散函数可编程的3d荧光成像方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115184317B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115184318A (zh) * | 2022-06-16 | 2022-10-14 | 华中科技大学 | 选择性照明和探测任意深度范围的3d荧光成像方法和系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019518242A (ja) * | 2016-05-30 | 2019-06-27 | ザ トラスティース オブ コロンビア ユニバーシティ イン ザ シティ オブ ニューヨーク | 位相変調素子および像再構成部を用いるｓｃａｐｅ顕微鏡法 |
| CN113946044B (zh) * | 2021-09-09 | 2024-02-20 | 深圳大学 | 基于点扩散函数工程的多焦点多光子显微成像系统及方法 |
-
2022
- 2022-06-16 CN CN202210685840.0A patent/CN115184317B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115184318A (zh) * | 2022-06-16 | 2022-10-14 | 华中科技大学 | 选择性照明和探测任意深度范围的3d荧光成像方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| Simultaneous multi-plane imaging light-sheet fluorescence microscopy for simultaneously acquiring neuronal activity at varying depths;Zhenfei Jiao 等;Optica;20230228;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115184317A (zh) | 2022-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10419665B2 (en) | Variable-illumination fourier ptychographic imaging devices, systems, and methods | |
| CN110262026B (zh) | 孔径扫描傅立叶重叠关联成像 | |
| US8946619B2 (en) | Talbot-illuminated imaging devices, systems, and methods for focal plane tuning | |
| US8570650B2 (en) | Method and system for fast three-dimensional structured-illumination-microscopy imaging | |
| CN108982452B (zh) | 基于双螺旋点扩散函数的多焦点扫描三维成像方法及系统 | |
| CN111307772B (zh) | 基于微镜阵列的单物镜光片荧光显微成像装置及方法 | |
| JP2015092253A (ja) | 適応光学系を有する顕微鏡検査法 | |
| JP6708667B2 (ja) | ビーム整形及び光シート顕微鏡検査のためのアセンブリ及び方法 | |
| CN109477954A (zh) | 具有相位调制元件的scape显微术和图像重构 | |
| JP2018055082A (ja) | 変換装置、照明装置および光シート蛍光顕微鏡 | |
| CN111175259A (zh) | 具有结构化照明的三维显微术的加速的方法和设备 | |
| CN109870441B (zh) | 基于移频的三维超分辨光切片荧光显微成像方法和装置 | |
| CN110927945A (zh) | 三维宽视场和高分辨层析成像方法及装置 | |
| CN110220875B (zh) | 一种基于荧光差分法的晶格光切片荧光显微成像装备及方法 | |
| CN108196357A (zh) | 一种多角度照明光源及基于此光源的傅立叶层叠成像系统 | |
| CN114965405B (zh) | 超分辨单物镜光片显微成像系统 | |
| CN110320654A (zh) | 基于多角度4Pi显微镜的快速三维体成像系统及方法 | |
| EP3729161A1 (en) | Method and apparatus for optical confocal imaging, using a programmable array microscope | |
| CN108982455A (zh) | 一种多焦点光切片荧光显微成像方法和装置 | |
| CN115184318A (zh) | 选择性照明和探测任意深度范围的3d荧光成像方法和系统 | |
| CN115184317B (zh) | 一种点扩散函数可编程的3d荧光成像方法和系统 | |
| WO2023060091A1 (en) | Enhanced resolution imaging | |
| CN112986195B (zh) | 一种显微层析成像方法与装置 | |
| CN208766383U (zh) | 一种多角度照明光源及基于此光源的傅立叶层叠成像系统 | |
| CN117369106B (zh) | 一种多点共聚焦图像扫描显微镜及成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |