CN115965703A - 一种高保真结构光照明光切片三维显微图像的重构方法 - Google Patents
一种高保真结构光照明光切片三维显微图像的重构方法 Download PDFInfo
- Publication number
- CN115965703A CN115965703A CN202211684132.1A CN202211684132A CN115965703A CN 115965703 A CN115965703 A CN 115965703A CN 202211684132 A CN202211684132 A CN 202211684132A CN 115965703 A CN115965703 A CN 115965703A
- Authority
- CN
- China
- Prior art keywords
- light
- image
- structured light
- dimensional
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000003384 imaging method Methods 0.000 claims abstract description 51
- 230000010363 phase shift Effects 0.000 claims abstract description 31
- 230000003287 optical effect Effects 0.000 claims abstract description 24
- 238000009877 rendering Methods 0.000 claims abstract description 6
- 238000001914 filtration Methods 0.000 claims description 10
- 238000003672 processing method Methods 0.000 claims description 8
- 238000012417 linear regression Methods 0.000 claims description 5
- 238000005096 rolling process Methods 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 17
- 210000003292 kidney cell Anatomy 0.000 description 9
- 238000005315 distribution function Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000000386 microscopy Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 210000003463 organelle Anatomy 0.000 description 3
- 238000004624 confocal microscopy Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012014 optical coherence tomography Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000007578 phototoxic dermatitis Diseases 0.000 description 1
- 231100000018 phototoxicity Toxicity 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Landscapes
- Microscoopes, Condenser (AREA)
Abstract
本发明公开了一种高保真结构光照明光切片三维显微图像的重构方法，应用于光学三维显微成像技术领域。包括以下步骤：S1：将光源出射的光束经过光场调制器件调制，形成结构光照明光场照射在样品上；S2：被结构光照明的样品，经光学显微系统成像在面阵数字相机靶面，记录得到结构光照明的原始相移图像；S3：对每幅相移图像依次进行去背景处理和去卷积处理后进行光切片重构；S4：对样品所处的每个轴向位置上重复S1‑S3，重构得到每个轴向位置的光切片图像；对每个轴向位置重构的光切片图像进行三维渲染，得到三维图像。本发明通过去背景算法进行预处理，利用去卷积算法增强原始结构光图像质量，可以重构出传统方法不能恢复的样品细节结构。
Description
技术领域
本发明涉及显微成像技术领域，更具体的说是涉及一种高保真结构光照明光切片三维显微图像的重构方法。
背景技术
传统的光学显微镜存在一定成像景深，不具有直接三维显微能力。在景深范围内，焦面光线能对目标清晰成像，但离焦光线也能参与成像，形成模糊背景。在焦信息和离焦信息糅合在一起，往往难以区分，严重影响目标的分辨。目前有一些实现光切片的显微技术：光学相干断层层析(Optical Coherence Tomography)、激光扫描共聚焦显微(LaserScanning Confocal Microscopy)、光片显微(Light Sheet Microscopy)、结构光照明光切片显微(Structured Illumination Microscopy for Optical Sectioning，简称OS-SIM)。其中，OS-SIM技术光路结构简单紧凑、成像速度快、光漂白和光毒性小，在活体细胞成像领域有显著优势，受到生物医学研究者广泛关注。1997年，Neil等人首次提出OS-SIM技术原理，抑制了传统显微图像的离焦背景，重构出光切片图像。他们将一定频率的空间条纹投射到样品上，只有焦面附近的区域才能承载该条纹，而远离焦面的区域则不会受影响，依此可以实现在焦目标和离焦背景的区分。一般情况下，分别在样品上投射三个不同相位的结构条纹，对应采集三幅图像，再对这三幅图像进行快速的RMS(Root-Mean-Square，平方根)重构处理，就可以得到光切片图像。然而RMS算法存在明显的缺点：它需要三步相移图像之间两两相减。在条纹对比度低或图像信噪比低的情况下，会明显放大随机噪声，导致重构出的光切片图像质量较差，或者出现严重的残余条纹，甚至完全掩盖样品细节；由于RMS算法完全忽略了图像背景噪声随时间的起伏和系统PSF的调制，不可避免地带来了成像偏差。这些缺点使得OS-SIM的应用场景受到限制，特别是难以在通常显微场景，如随机噪声和背景光都较强的环境下使用。因此如何提供一种能够得到更高质量光切片图像的重构方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种高保真结构光照明光切片三维显微图像的重构方法，减少图像背景噪声和系统PSF调制对重构的影响，重构出传统方法不能恢复的样品细节结构。
为了实现上述目的，本发明提供如下技术方案：
一种高保真结构光照明光切片三维显微图像的重构方法，包括以下步骤：
S1、将光源出射的光束经过光场调制器件调制，形成结构光照明光场照射在样品上；
S2、被结构光照明的样品，经光学显微系统成像在面阵数字相机靶面，记录得到结构光照明的原始相移图像；
S3、对每幅相移图像依次进行去背景处理和去卷积处理后进行光切片重构；
S4、对样品所处的每个轴向位置上重复S1-S3，重构得到每个轴向位置的光切片图像，对每个轴向位置重构后的光切片图像进行三维渲染，得到样品的三维图像。
可选的，S1中的结构光照明光场的光强分布满足一维余弦函数分布、二维正方形点阵列函数分布、环形函数分布中的一种。
可选的，结构光照明光场的光强分布满足一维余弦函数分布时，S1中光源光束经过光场调制器件的调制后，形成结构光场照明样品，在样品上以相移量
产生3个不同相移的结构光场，其初相位分别为
和
成像后得到3幅相移图像；
结构光照明光场的光强分布满足二维正方形点阵列函数分布时，在样品上以二维正方形点阵的1/3周期作为位移量
先后沿x和y方向各移动3次，产生9个不同位置的结构光场，其初相位分别为
成像后得到9幅相移图像；
结构光照明光场的光强分布满足环形函数分布时，在样品上以径向相移量
产生3个不同相移的结构光场，其初相位分别为
和
成像后得到3幅相移图像。
可选的，结构光照明光场的光强分布满足一维余弦函数分布时，重构公式为：
其中，
式中，Dcg(r)为重构后的图像，r为平面一维坐标，D'1(r)、D'2(r)、D'3(r分别表示3幅光强分布满足一维余弦函数分布的结构光照明相移图像经去背景和去卷积处理后的图像，其初相位分别为
结构光照明光场的光强分布满足二维正方形点阵列函数分布时，重构公式为：
其中，
式中，Dcg(x,y)为重构后的图像，x,y为平面二维坐标，Dm,n'(x,y)表示9幅光强分布满足二维正方形点阵列函数分布的结构光照明相移图像经去背景和去卷积处理后的图像，其初相位分别为
结构光照明光场的光强分布满足环形函数分布时，重构公式为：
其中，
式中，Dcg(x,y)为重构后的图像，(x,y)为平面二维坐标，D'1(x,y)、D'2(x,y)、D'3(x,y)分别表示3幅满足环形函数分布的结构光照明相移图像经去背景和去卷积处理后的图像，其初相位分别为
可选的，S2中获得的结构光照明相移图像由被调制的在焦成分和未调制的离焦成分组成。
可选的，S3中的去背景处理为祛除离焦成分，去背景处理方法采用低通滤波、滚球去背景、样条曲面线性回归中的一种。
可选的，S3中的去卷积处理方法为Lucy-Richardson算法、Wiener滤波算法、盲去卷积算法中的一种。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种高保真结构光照明光切片三维显微图像的重构方法，具有以下有益效果：
1、使用了去背景算法对原始结构光图像进行预处理，显著缓解了离焦背景噪声对成像的干扰，有效提升了光切片图像的重构质量；
2、将系统点扩散函数PSF对成像的影响考虑在内，利用去卷积算法增强原始结构光图像质量，突出样品细节结构；
3、对去背景和去卷积处理后的原始结构光图像进行光切片重构，重构方式有别于传统算法，可以重构出传统方法不能恢复的样品细节结构。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明的重构方法流程图；
图2为本发明的显微成像系统结构图；
图3为本发明的全内反射TIR棱镜示意图；
图4为本发明的道威棱镜示意图；
图5为余弦条纹结构光照明光切片显微图像，其中，5.1为普通宽场图像，5.2为传统算法重构图像，5.3为本发明重构图像；
图6为余弦条纹结构光照明光切片显微图像中标记直线强度分布图，其中，6.1为普通宽场图像强度分布图，6.2为传统算法重构图像强度分布图，6.3为本发明重构图像强度分布图；
图7为二维正方形点阵列结构光照明光切片显微图像，其中，7.1为普通宽场图像，7.2为传统算法重构图像，7.3为本发明重构图像；
图8为二维正方形点阵列结构光照明光切片显微图像中标记直线强度分布图，其中，8.1为普通宽场图像强度分布图，8.2为传统算法重构图像强度分布图，8.3为本发明重构图像强度分布图；
图9为环形条纹结构光照明光切片显微图像，其中，9.1为普通宽场图像，9.2为传统算法重构图像，9.3为本发明重构图像；
图10为环形条纹结构光照明光切片显微图像中标记直线强度分布图，其中，10.1为普通宽场图像强度分布图，10.2为传统算法重构图像强度分布图，10.3为本发明重构图像强度分布图；
图中：1-光源、2耦合光纤、3-准直透镜、4-光场调制器件、5-全内反射TIR棱镜、6-第一筒镜、7-道威棱镜、8-二向色镜，9-显微物镜、10-样品、11-反射镜、12-滤光片、13-第二筒镜、14-面阵数字相机。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种高保真结构光照明光切片三维显微图像的重构方法，如图1所示，包括以下步骤：
S1、将光源1出射的光束经过光场调制器件4调制，形成结构光照明光场照射在样品10上；
S2、被结构光照明的样品，经光学显微系统成像在面阵数字相机14靶面，记录得到结构光照明的原始相移图像；
S3、对每幅相移图像依次进行去背景处理和去卷积处理后进行光切片重构；
S4、对样品所处的每个轴向位置上重复S1-S3，重构得到每个轴向位置的光切片图像，对每个轴向位置重构的光切片图像进行三维渲染，得到样品10的三维图像。
进一步的，S1中的结构光照明光场的光强分布满足一维余弦函数分布、二维正方形点阵列函数分布、环形函数分布中的一种。
进一步的，结构光照明光场的光强分布满足一维余弦函数分布时：
S1中光源光束经过光场调制器件4的调制后，形成结构光场照明样品，在样品10上以相移量
产生3个不同相移的结构光场，其初相位分别为
成像后得到3幅相移图像；
光强分布满足一维余弦函数分布具体为：
式中，r表示平面一维坐标，I0表示结构光场的光强平均值，m表示调制度，k0表示空间频率，
表示初相位。
更进一步的，S2中获得的相移图像由被调制的在焦成分Din(r)和未调制的离焦成分Dout(r)组成。对应于3个相移结构照明光场，经光学显微系统成像后，在成像系统的像面上由面阵数字相机14CMOS或CCD依次记录共获得3幅结构光照明的图像，分别记为D1(r')，D2(r')和D3(r')，其中r'代表像平面一维像坐标；在物镜焦场，结构照明光场只调制在焦成分Din(r)，而对离焦成分Dout(r)没有影响，因此面阵数字相机14记录的图像可由受调制的在焦成分和未调制的离焦成分组成，其中受调制的在焦成分表示为在焦成分Din(r)与结构光分布函数的乘积，同时考虑到物面成像到面阵数字相机14的过程，即受调制的在焦成分与图像采集光路点扩散函数的卷积过程，可得：
式中，PSF是物面成像到面阵数字相机14过程的点扩散函数。
更进一步的，S3中的去背景处理为祛除离焦成分，采集到的图像由于背景光和环境噪声的干扰，常常导致图像对比度和信噪比较差，给后续的光切片图像重构带来挑战，若预先祛除离焦背景Dout(r)，则可以有效重构光切片图像，去背景具体过程为：
去背景处理方法采用低通滤波、滚球去背景、样条曲面线性回归中的一种。
更进一步的，物面成像到面阵数字相机14过程中，点扩散函数PSF会对物分布函数进行卷积调制，导致成像模糊，为了消除点扩散函数PSF的调制，使成像清晰，采用去卷积图像操作，通过对去背景图像进行去卷积处理，得到去卷积图像D'1(r)，D'2(r)和D'3(r)：
S3中的去卷积处理方法为Lucy-Richardson算法、Wiener滤波算法、盲去卷积算法中的一种。
更进一步的，结构光照明光场的光强分布满足一维余弦函数分布时，重构公式为：
其中，
式中，Dcg(r)为重构后的图像。r为平面一维坐标，D1'(r)、D2'(r)、D3'(r)表示相移图像经去背景和去卷积处理后的图像。
在本实施例中，使用余弦条纹结构光照明、基于数字微镜器件DMD调制和LED照明的SIM光切片显微成像系统，以470nm波长光束入射，由耦合光纤2出射，并经由准直透镜3进行准直后入射全内反射TIR棱镜5，经由全内反射TIR棱镜5照射数字微镜器件DMD，受数字微镜器件DMD调制后产生的结构光透过全内反射TIR棱镜5出射，经筒镜收集后，入射道威棱镜7横平面旋转像面，再经过二向色镜8的反射进入显微物镜9，显微物镜9将结构光条纹微缩并投影在其焦平面上；将小鼠肾脏细胞切片样品10置于载物台并调整至显微物镜9焦平面上，微缩投影产生的结构光对样品10进行照明，激发标记细胞器的荧光分子发光；控制数字微镜器件DMD先后加载三步相移结构条纹，小鼠肾脏细胞切片样品的光切片显微图像如图5所示，本发明的小鼠肾脏细胞切片样品10的光切片显微图像的重构结果如图5.3所示，作为对比，普通宽场图像和传统算法重构结果如图5.1和图5.2所示，5.1左下角插图是余弦条纹结构照明光场的强度分布；图像中直线标记处的强度分布如图6所示，图6.1、图6.2、图6.3分别为普通宽场图像、传统算法重构图、本发明重构图的强度分布图。
进一步的，结构光照明光场的光强分布满足二维正方形点阵列函数分布时：
在样品10上以二维正方形点阵的1/3周期作为位移量
先后沿x和y方向各移动3次，产生9个不同位置的结构光场，其初相位分别为
成像后得到9幅相移图像；
光强分布满足二维正方形点阵列函数分布具体为：
式中，x,y表示平面二维坐标，δ表示高斯分布的标准差，δ(x,y)为冲激函数，k0表示空间频率，
和
表示条纹的初始位置，M和N分别表示沿x方向和y方向的条纹周期数的半数。
更进一步的，S2中获得的相移图像由被调制的在焦成分Din(x,y)和未调制的离焦成分Dout(x,y)组成，对应于9个位置的结构照明光场，经光学显微系统成像后，在成像系统的像面上由面阵数字相机14CMOS或CCD依次记录共获得9幅结构光照明的图像，记为Dm,n(x',y')，其中m,n＝1,2,3。其中(x',y'代表像平面二维像坐标；在物镜焦平面，结构照明光场只调制在焦成分Din(x,y)，而对离焦成分Dout(x,y)没有影响，其中受调制的在焦成分表示为在焦成分Din(x,y)与结构光分布函数的乘积，同时考虑到物面成像到面阵数字相机14的过程，即受调制的在焦成分与图像采集光路点扩散函数的卷积过程，可得：
式中，PSF是物面成像到面阵数字相机14过程的点扩散函数。
更进一步的，S3中的去背景处理为祛除离焦成分，采集到的图像由于背景光和环境噪声的干扰，常常导致图像对比度和信噪比较差，给后续的光切片图像重构带来挑战，若预先祛除离焦背景Dout(x,y)，则可以有效重构光切片图像，去背景具体过程为：
去背景处理方法采用低通滤波、滚球去背景、样条曲面线性回归中的一种。
更进一步的，物面成像到面阵数字相机14过程中，点扩散函数PSF会对物分布函数进行卷积调制，导致成像模糊，为了消除点扩散函数PSF的调制，使成像清晰，采用去卷积图像操作，通过对去背景图像进行去卷积处理，得到去卷积图像Dm,n'(x,y)：
其中，m，n＝1，2，3；S3中的去卷积处理方法为Lucy-Richardson算法、Wiener滤波算法、盲去卷积算法中的一种。
更进一步的，结构光照明光场的光强分布满足二维正方形点阵列函数分布时，重构公式为：
其中，
式中，Dcg(x,y)为重构后的图像，x,y为平面二维坐标，Dm,n'(x,y)表示相移图像经去背景和去卷积处理后的图像。
在本实施例中，使用二维正方形点阵列结构光照明、基于数字微镜器件DMD调制和LED照明的SIM光切片显微成像系统，以470nm波长光束入射，由耦合光纤2出射，并经由准直透镜3进行准直后入射全内反射TIR棱镜5，经由全内反射TIR棱镜5照射数字微镜器件DMD，受数字微镜器件DMD调制后产生的结构光透过全内反射TIR棱镜5出射，经筒镜收集后，入射道威棱镜7横平面旋转像面，再经过二向色镜8的反射进入显微物镜9，显微物镜9将结构光条纹微缩并投影在其焦平面上；将小鼠肾脏细胞切片样品10置于载物台并调整至显微物镜9焦平面上，微缩投影产生的结构光对样品10进行照明，激发标记细胞器的荧光分子发光；小鼠肾脏细胞切片样品的光切片显微图像如图5所示，本发明的小鼠肾脏细胞切片样品10的光切片显微图像的重构结果如图7.3所示，作为对比，普通宽场图像和传统算法重构结果如图7.1和7.2所示，7.1左下角插图是二维正方形点阵列结构照明光场的强度分布；图像中直线标记处的强度分布如图8所示，图8.1、图8.2、图8.3分别为普通宽场图像、传统算法重构图、本发明重构图的强度分布图。
进一步的，结构光照明光场的光强分布满足环形函数分布时：
在样品10平面内以径向相移量
产生3个不同相移的结构光场，其初相位分别为
和
成像后得到3幅相移图像；
光强分布满足环形函数分布具体为：
式中，x,y表示平面二维坐标，I0表示结构光场的光强平均值，m表示调制度，k0表示空间频率，
表示初相位。
更进一步的，S2中获得的相移图像由被调制的在焦成分Din(x,y)和未调制的离焦成分Dout(x,y)组成，对应于3个相移结构照明光场，经光学显微系统成像后，在成像系统的像面上由面阵数字相机14CMOS或CCD依次记录共获得3幅结构光照明的图像，分别记为D1(x',y')，D2(x',y')和D3(x',y')，其中(x',y')代表像平面二维像坐标；在物镜焦场，结构照明光场只调制在焦成分Din(x,y)，而对离焦成分Dout(x,y)没有影响，受调制的在焦成分Din(x,y)表示为在焦成分Din(x,y)与结构光分布函数的乘积，同时考虑到物面成像到面阵数字相机14的过程，即受调制的在焦成分与图像采集光路点扩散函数的卷积过程，可得：
式中，PSF是物面成像到面阵数字相机14过程的点扩散函数。
更进一步的，S3中的去背景处理为祛除离焦成分，采集到的图像由于背景光和环境噪声的干扰，常常导致图像对比度和信噪比较差，给后续的光切片图像重构带来挑战，若预先祛除离焦背景Dout(x,y)，则可以有效重构光切片图像，去背景具体过程为：
去背景处理方法采用低通滤波、滚球去背景、样条曲面线性回归中的一种。
更进一步的，物面成像到面阵数字相机14过程中，点扩散函数PSF会对物分布函数进行卷积调制，导致成像模糊，为了消除点扩散函数PSF的调制，使成像清晰，采用去卷积图像操作，通过对去背景图像进行去卷积处理，得到去卷积图像D'1(x,y)，D'2(x,y)和D'3(x,y)：
去卷积处理方法为Lucy-Richardson算法、Wiener滤波算法、盲去卷积算法中的一种。
更进一步的，结构光照明光场的光强分布满足环形函数分布时，重构公式为：
其中，
式中，Dcg(x,y)为重构后的图像，(x,y)为平面二维坐标，D'1(x,y)、D'2(x,y)、D'3(x,y)分别表示3幅相移图像经去背景和去卷积处理后的图像。
在本实施例中，使用环形条纹结构光照明、基于数字微镜器件DMD调制和LED照明的SIM光切片显微成像系统，以470nm波长光束入射，由耦合光纤2出射，并经由准直透镜3进行准直后入射全内反射TIR棱镜5，经由全内反射TIR棱镜5照射数字微镜器件DMD，受数字微镜器件DMD调制后产生的结构光透过全内反射TIR棱镜5出射，经筒镜收集后，入射道威棱镜7横平面旋转像面，再经过二向色镜8的反射进入显微物镜9，显微物镜9将结构光条纹微缩并投影在其焦平面上；将小鼠肾脏细胞切片样品10置于载物台并调整至显微物镜9焦平面上，微缩投影产生的结构光对样品10进行照明，激发标记细胞器的荧光分子发光；小鼠肾脏细胞切片样品的光切片显微图像如图5所示，本发明的小鼠肾脏细胞切片样品10的光切片显微图像的重构结果如图9.3所示，作为对比，普通宽场图像和传统算法重构结果如图9.1和图9.2所示，9.1左下角插图是环形条纹结构照明光场的强度分布；图像中直线标记处的强度分布如图10所示，10.1、10.2、10.3分别为普通宽场图像、传统算法重构图、本发明重构图的强度分布图。
与图1所述的方法相对应，本发明实施例还提供了一种高保真结构光照明光切片三维显微图像的重构系统，用于对图1中方法的具体实现，包括：调制模块、成像模块、重构模块、渲染模块；其中，调制模块和成像模块组成显微成像系统，其结构如图2所示；
调制模块用于对光源1射出的光束进行调制，照射在样品10上形成结构光照明光场；成像模块用于在结构光照明光场经光学显微系统成像后，记录得到结构光照明的相移图像；重构模块用于对相移图像依次进行去背景处理和去卷积处理后进行重构；渲染模块用于对每个轴向重构后的光切片显微图像进行渲染，得到样品10的三维图像。
可选的，调制模块包括：依次设置的光源1、耦合光纤2、准直透镜3、全内反射TIR棱镜5，设置在全内反射TIR棱镜5侧面的光场调制器件4。
结构光经由准直透镜3进行准直后入射全内反射TIR棱镜5，经由全内反射TIR棱镜5照射光场调制器件4，全内反射TIR棱镜5如图3所示。
可选的，成像模块包括：依次设置的第一筒镜6、道威棱镜7、二向色镜8，设置在二向色镜8上方的显微物镜9，设置在显微物镜9上方的样品10，依次设置在二向色镜8下方的反射镜11、滤光片12、第二筒镜13、面阵数字相机14。
结构光入射道威棱镜7横平面旋转像面，再经过二向色镜8的反射进入显微物镜9，道威棱镜7如图4所示。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (7)
1.一种高保真结构光照明光切片三维显微图像的重构方法，其特征在于，包括以下步骤：
S1、将光源出射的光束经过光场调制器件调制，形成结构光照明光场照射在样品上；
S2、被结构光照明的样品，经光学显微系统成像在面阵数字相机靶面，记录得到结构光照明的原始相移图像；
S3、对每幅相移图像依次进行去背景处理和去卷积处理后进行光切片重构；
S4、对样品所处的每个轴向位置上重复S1-S3，重构得到每个轴向位置的光切片图像；对每个轴向位置重构后的光切片图像进行三维渲染，得到样品的三维图像。
2.根据权利要求1所述的一种高保真结构光照明光切片三维显微图像的重构方法，其特征在于，S1中的结构光照明光场的光强分布满足一维余弦函数分布、二维正方形点阵列函数分布、环形函数分布中的一种。
3.根据权利要求2所述的一种高保真结构光照明光切片三维显微图像的重构方法，其特征在于，结构光照明光场的光强分布满足一维余弦函数分布时，S1中光源光束经过光场调制器件的调制后，形成结构光场照明样品，在样品上以相移量
产生3个不同相移的结构光场，其初相位分别为
和
成像后得到3幅相移图像；
结构光照明光场的光强分布满足二维正方形点阵列函数分布时，在样品上以二维正方形点阵的1/3周期作为位移量
先后沿x和y方向各移动3次，产生9个不同位置的结构光场，其初相位分别为
成像后得到9幅相移图像；
结构光照明光场的光强分布满足环形函数分布时，在样品上以径向相移量
产生3个不同相移的结构光场，其初相位分别为
和
成像后得到3幅相移图像。
4.根据权利要求3所述的一种高保真结构光照明光切片三维显微图像的重构方法，其特征在于，结构光照明光场的光强分布满足一维余弦函数分布时，重构公式为：
其中，
式中，Dcg(r)为重构后的图像，r为平面一维坐标，D'1(r)、D'2(r)、D'3(r)分别表示3幅光强分布满足一维余弦函数分布的结构光照明的相移图像经去背景和去卷积处理后的图像，其初相位分别为
和
结构光照明光场的光强分布满足二维正方形点阵列函数分布时，重构公式为：
其中，
式中，Dcg(x,y)为重构后的图像，x,y为平面二维坐标，Dm,n'(x,y)表示9幅光强分布满足二维正方形点阵列函数分布的结构光照明相移图像经去背景和去卷积处理后的图像，其初相位分别为
结构光照明光场的光强分布满足环形函数分布时，重构公式为：
其中，
式中，Dcg(x,y)为重构后的图像，(x,y)为平面二维坐标，D'1(x,y)、D'2(x,y)、D'3(x,y)分别表示3幅满足环形函数分布的结构光照明相移图像经去背景和去卷积处理后的图像，其初相位分别为
和
5.根据权利要求1所述的一种高保真结构光照明光切片三维显微图像的重构方法，其特征在于，S2中获得的结构光照明相移图像由被调制的在焦成分和未调制的离焦成分组成。
6.根据权利要求5所述的一种高保真结构光照明光切片三维显微图像的重构方法，其特征在于，S3中的去背景处理为祛除离焦成分，去背景处理方法采用低通滤波、滚球去背景、样条曲面线性回归中的一种。
7.根据权利要求5所述的一种高保真结构光照明光切片三维显微图像的重构方法，其特征在于，S3中的去卷积处理方法为Lucy-Richardson算法、Wiener滤波算法、盲去卷积算法中的一种。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211684132.1A CN115965703B (zh) | 2022-12-27 | 2022-12-27 | 一种高保真结构光照明光切片三维显微图像的重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211684132.1A CN115965703B (zh) | 2022-12-27 | 2022-12-27 | 一种高保真结构光照明光切片三维显微图像的重构方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115965703A true CN115965703A (zh) | 2023-04-14 |
| CN115965703B CN115965703B (zh) | 2023-07-25 |
Family
ID=85900840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211684132.1A Active CN115965703B (zh) | 2022-12-27 | 2022-12-27 | 一种高保真结构光照明光切片三维显微图像的重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115965703B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080069467A1 (en) * | 2006-09-20 | 2008-03-20 | Carl Zeiss Imaging Solutions Gmbh A Corporation Of Germany | Methods and devices for miages processing with higher harmonics of an illumination grating |
| US20150185460A1 (en) * | 2013-12-26 | 2015-07-02 | Olympus Corporation | Image forming method and image forming apparatus |
| WO2016107334A1 (zh) * | 2014-12-30 | 2016-07-07 | 中国科学院西安光学精密机械研究所 | 一种基于结构照明的彩色三维层析显微成像系统及方法 |
| US20180239946A1 (en) * | 2017-02-03 | 2018-08-23 | Northeastern University | Methods, Systems, and Devices for Optical Sectioning |
| CN110954522A (zh) * | 2019-12-18 | 2020-04-03 | 深圳大学 | 一种多焦点超分辨光学显微成像方法及装置 |
| CN111145089A (zh) * | 2019-11-18 | 2020-05-12 | 中国科学院苏州生物医学工程技术研究所 | 高保真图像重构方法、系统、计算机设备和存储介质 |
| US20220076379A1 (en) * | 2020-09-10 | 2022-03-10 | Carl Zeiss Microscopy Gmbh | Method for super-resolution evaluation of microscope images illuminated in a structured manner and microscope having structured illumination |
| CN114202478A (zh) * | 2021-12-09 | 2022-03-18 | 南昌大学 | 一种基于数字全息显微成像技术的离焦像噪声抑制方法 |
-
2022
- 2022-12-27 CN CN202211684132.1A patent/CN115965703B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080069467A1 (en) * | 2006-09-20 | 2008-03-20 | Carl Zeiss Imaging Solutions Gmbh A Corporation Of Germany | Methods and devices for miages processing with higher harmonics of an illumination grating |
| US20150185460A1 (en) * | 2013-12-26 | 2015-07-02 | Olympus Corporation | Image forming method and image forming apparatus |
| WO2016107334A1 (zh) * | 2014-12-30 | 2016-07-07 | 中国科学院西安光学精密机械研究所 | 一种基于结构照明的彩色三维层析显微成像系统及方法 |
| US20180239946A1 (en) * | 2017-02-03 | 2018-08-23 | Northeastern University | Methods, Systems, and Devices for Optical Sectioning |
| CN111145089A (zh) * | 2019-11-18 | 2020-05-12 | 中国科学院苏州生物医学工程技术研究所 | 高保真图像重构方法、系统、计算机设备和存储介质 |
| CN110954522A (zh) * | 2019-12-18 | 2020-04-03 | 深圳大学 | 一种多焦点超分辨光学显微成像方法及装置 |
| US20220076379A1 (en) * | 2020-09-10 | 2022-03-10 | Carl Zeiss Microscopy Gmbh | Method for super-resolution evaluation of microscope images illuminated in a structured manner and microscope having structured illumination |
| CN114202478A (zh) * | 2021-12-09 | 2022-03-18 | 南昌大学 | 一种基于数字全息显微成像技术的离焦像噪声抑制方法 |
Non-Patent Citations (6)
| Title |
|---|
| AMIT LAL: "Structured illumination microscopy image reconstruction algorithm", IEEE JOURNAL OF SELECTED TOPICS IN QUANTUM ELECTRONICS, vol. 22, no. 4, pages 50 - 63 * |
| DAN DAN ET AL.: "Super-resolution and optical sectioning integrated structured illumination microscopy", JOURNAL OF PHYSICS D: APPLIED PHYSICS, vol. 54, no. 7, pages 074004 * |
| DANG SP ET AL: "Background Noise Suppression of Optical Sectioning Structured Illumination Microscopy via Fourier Domain Reconstruction", FRONTIERS IN PHYSICS, vol. 10, pages 1 - 7 * |
| 但旦: "结构照明光学超分辨与光切片显微技术的理论和实验研究", 中国博士学位论文全文数据库 工程科技II辑, no. 6, pages 030 - 5 * |
| 赵天宇等: "高速超分辨结构光照明显微的关键技术及应用", 激光与光电子学进展, vol. 57, no. 24, pages 9 - 26 * |
| 郝建坤;黄玮;刘军;何阳;: "空间变化PSF非盲去卷积图像复原法综述", 中国光学, no. 01, pages 47 - 56 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115965703B (zh) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5412394B2 (ja) | 標本観察装置 | |
| US8019136B2 (en) | Optical sectioning microscopy | |
| CN108680544B (zh) | 一种结构化照明的光切片荧光显微成像方法和装置 | |
| US6376818B1 (en) | Microscopy imaging apparatus and method | |
| WO2017152702A1 (zh) | 一种结构光照明显微镜的成像方法及装置 | |
| US20110267688A1 (en) | Microscopy Method and Microscope With Enhanced Resolution | |
| CN112505044B (zh) | 一种宽场照明共焦显微成像系统及方法 | |
| CN109870441B (zh) | 基于移频的三维超分辨光切片荧光显微成像方法和装置 | |
| Heintzmann | Structured illumination methods | |
| US9729800B2 (en) | Image generation system | |
| CN115965703B (zh) | 一种高保真结构光照明光切片三维显微图像的重构方法 | |
| WO2016010860A1 (en) | System and method for holographic imaging of a single plane of an object | |
| CN111650739B (zh) | 基于dmd的单帧曝光快速三维荧光成像系统及方法 | |
| Jiang et al. | Speckle-illuminated fluorescence confocal microscopy, using a digital micro-mirror device | |
| US20220244516A1 (en) | Microscope device and data generation method using microscope | |
| CN114740008A (zh) | 一种超分辨晶圆缺陷检测系统 | |
| KR102593252B1 (ko) | 고플럭스 광학 단층촬영 이미징 방법 및 이미징 시스템 | |
| CN111580260A (zh) | 一种高速光学三维光切片显微系统及方法 | |
| CN118688172B (zh) | 基于dmd和led的三维光切片显微成像系统及成像方法 | |
| JP2019204026A (ja) | 顕微鏡システム | |
| CN117369106B (zh) | 一种多点共聚焦图像扫描显微镜及成像方法 | |
| JP5765569B2 (ja) | 顕微鏡装置 | |
| Chen et al. | Advanced Wide‐Field Fluorescent Microscopy for Biomedicine | |
| CN116320355A (zh) | 散射成像系统和散射成像方法 | |
| CN115272504A (zh) | 一种用于宽场照明共焦显微成像系统的信号提取和重建图像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |