CN116402678B - 超分辨结构光照明显微镜的频谱优化直接重建方法 - Google Patents
超分辨结构光照明显微镜的频谱优化直接重建方法 Download PDFInfo
- Publication number
- CN116402678B CN116402678B CN202211633195.4A CN202211633195A CN116402678B CN 116402678 B CN116402678 B CN 116402678B CN 202211633195 A CN202211633195 A CN 202211633195A CN 116402678 B CN116402678 B CN 116402678B
- Authority
- CN
- China
- Prior art keywords
- image
- super
- sim
- resolution
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000005457 optimization Methods 0.000 title claims abstract description 37
- 238000005286 illumination Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 2
- 230000001747 exhibiting effect Effects 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 26
- 238000003384 imaging method Methods 0.000 description 20
- 238000000386 microscopy Methods 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 238000001215 fluorescent labelling Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000004005 microsphere Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明公开了一种超分辨结构光照明显微镜的频谱优化直接重建方法(direct‑SIM)，方法包括：读取原始SIM图像；生成或读取测量的PSF；原始数据预处理增强等效调制深度；图像域直接重建初始超分辨图像；频率域频谱优化；去卷积获得最终超分辨图像。与大多数基于Wiener‑SIM架构的SIM算法不同，本发明的direct‑SIM采用图像域初始重建与频率域频谱优化的联合策略，在没有任何照明条纹先验知识并绕过伪影敏感的Wiener去卷积流程的情况下，可获得具有最少化伪影且分辨率加倍的超分辨图像。本发明可应用于实验室自主搭建SIM系统和商业化SIM系统的数据处理。并且，本发明可应用于现有重建算法难以处理的许多场景，可重建高质量超分辨图像。
Description
技术领域
本发明属于荧光显微成像技术领域，特别是一种超分辨结构光照明显微镜的频谱优化直接重建方法。
背景技术
超分辨结构化照明显微镜(super-resolution structured illuminationmicroscopy,SR-SIM)因其快速多色采集、高效光子预算以及与一般荧光标记协议的兼容性，从当前的超分辨率(SR)光学纳米显微镜方法中脱颖而出。通过使用余弦照明条纹和后处理重建算法，SIM可以实现阿贝衍射极限两倍的空间分辨率。目前，大多数SIM算法都遵循流行的线性维纳反卷积框架(简称Wiener-SIM)，其涉及照明条纹参数精确估计、复杂的傅立叶域Wiener反卷积，以及系统点扩散函数(PSF)的专业化校准等流程。然而，这三个过程中的很小的参数误差已被证明会导致大量伪影。特别地，利用采集的原始数据估计照明条纹参数不仅会带来繁重的计算负担，而且在许多成像场景中并不可靠。例如，当样本过于稀疏或具有明显的周期性结构时，现有的基于交叉关联策略SIM算法往往无法确定准确的条纹参数。更棘手的是，实际的成像参数(包括照明条纹和优选的PSF)通常在成像全视场上不均匀，然而Wiener-SIM假设这些参数在成像全视场中是均匀常数，通常会导致不合理的SIM重建频谱，最终造成严重的SIM图像伪影。
为获得高保真SR-SIM图像，SIM成像领域的大量研究长期以来一直专注于满足Wiener-SIM架构的基本假设。其中包括改进实验采集、从原始采集数据估计准确的条纹参数、优化反卷积模型以及精细化调节算法参数。然而，这些方法仍需要知道全局的照明条纹先验知识，因此仍面临上述的Wiener-SIM架构相同的技术挑战。尽管一些研究提出了迭代反卷积技术和深度学习方法来减少低信噪比(SNR)数据的随机非连续伪影，但用于迭代反卷积的初始SIM超分辨图像和用于深度学习网络训练的ground truth数据集同样依赖于Wiener-SIM算法。此外，还有一些研究聚焦于采用空间域中的重建策略来减轻算法的计算负担。如SDR-SIM和JSFR-SIM通过将主要算法程序转换到空间域来提高重建速度，但构建结构化系数矩阵仍需使用传统互相关方法预先估计条纹参数，因此这类方法仍面临与Wiener-SIM相同的参数估计挑战。SP-SIM算法允许在空间域中快速重建SR图像而无需估计照明条纹，然而因为非线性重建造成了SR图像的异常对比度，并未应用于生物样本成像。截止目前，在没有照明条纹或样本内容的先验知识情况下，尚未有方法可以实现经典SR-SIM的高质量超分辨图像重建。
发明内容
本发明的目的在于针对上述SR-SIM图像重建中面临的技术难题，提出一种无需估计照明结构光条纹参数和无需Wiener去卷积流程的直接重建SIM算法，并将其命名为直接重建SIM算法(direct reconstruction SIM algorithm,direct-SIM)。
实现本发明目的的技术解决方案为：一种超分辨结构光照明显微镜的频谱优化直接重建方法，所述方法包括以下步骤：
步骤1，采集原始SIM图像；
步骤2，生成或获取已测量的系统点扩散函数PSF；
步骤3，基于步骤2的PSF对原始SIM图像进行预处理，实现等效调制深度增强；
步骤4，在图像域重建初始超分辨图像；
步骤5，在频率域对初始超分辨图像进行频谱优化；
步骤6，对步骤5处理后的初始超分辨图像进行去卷积处理，获得最终的超分辨图像。
进一步地，步骤1所述采集原始SIM图像，具体包括：
利用结构光照明光场照明样本，对于N个方向角的每个方向角，以2π/L的相位步长采集L个不同相位图像，共获得N*L张原始SIM图像。
进一步地，步骤3所述基于步骤2的PSF对原始SIM图像进行预处理，具体过程包括：
步骤3-1，对原始SIM图像数据进行傅里叶变换，获得对应的频谱图像；
步骤3-2，通过倒置的高斯函数对频谱图像低频区域的离焦信号频谱进行陷波处理；
步骤3-3，对步骤3-2得到的频谱图像进行傅里叶逆变换；
步骤3-4，通过步骤2的系统点扩散函数PSF对步骤3-3傅里叶逆变换后的图像进行Richardson-Lucy去卷积，得到预处理后的SIM图像。
进一步地，步骤4所述在图像域重建初始超分辨图像，具体为：
建立均方根形式的图像重建模型对步骤3得到的SIM图像进行处理，具体公式为：
式中，SRinitial(r)为重建的初始超分辨图像，Dn,l(r)为步骤3预处理后的SIM图像；SRn,0(r)为方向角n下通过均方根RMS形式的图像重建模型获得的初始超分辨图像；代表方向角n下的等效宽场图像；参数α为一个用于平衡重建的初始超分辨图像SRinitial(r)的信噪比和对比度的经验常数。
进一步地，步骤5所述在频率域对初始超分辨图像进行频谱优化，具体为：
步骤5-1，构建频谱优化函数
式中，参数β为用于调节频谱优化强度的经验常数，为显微镜系统的光学传递函数；
步骤5-2，通过频谱优化函数和一个呈现Gaussian型或OTF形状分布的低通滤波器/>对初始超分辨图像进行频谱优化：
式中，F-1{·}符号表示傅里叶逆变换，为SRinitial(r)的傅里叶变换频谱，即/>SRdirect-SIM(r)为频谱优化后的初始超分辨图像。
进一步地，步骤6所述对步骤5处理后的初始超分辨图像进行去卷积处理，获得最终的超分辨图像，具体为：
采用步骤2中所述PSF对应的两倍数值孔径的PSF，对步骤5处理后的初始超分辨图像进行去卷积处理，获得最终的超分辨图像。在本发明中，默认采用Richardson-Lucy去卷积，也可以采用其他去卷积。
本发明与现有技术相比，其显著优点为：
(1)本发明提出的direct-SIM算法不会损失SR-SIM图像的分辨率增益，可获得与各种基于Wiener-SIM架构的SIM算法相当甚至更优的空间分辨率。
(2)direct-SIM绕过了Wiener-SIM架构中极易产生旁瓣伪影和蜂巢伪影的维纳去卷积过程，实现了具有最小化伪影的高质量SR重建。
(3)direct-SIM无需从原始数据估计照明条纹参数，对于Wiener-SIM架构难以估计准确结构光参数的成像场景(如非常稀疏的样本、明显周期性的样本，以及成像视场非常小)，仍可获得高质量SR图像。
(4)与Wiener-SIM架构采用全局性统一条纹参数的重建机制不同，direct-SIM采用局部独立的非均匀照明条纹参数的新型重建机制，因此对于原始数据包含多组不同条纹的成像场景(如拼接的大视场原始SIM数据)，仍可重建高质量超分辨图像。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为本发明超分辨结构光照明显微镜的频谱优化直接重建方法即direct-SIM算法的流程图。
图2为一个实施例中通过direct-SIM算法处理的示例图。
图3为一个实施例中direct-SIM的图像域初始重建与频率域频谱优化重建结果对比图，其中图3中的(a)为常规宽场成像结果，图3中的(b)为本发明图像域初始重建图像，图3中的(c)为频域频谱优化重建结果，图3中的(d)为去卷积获得的最终的超分辨图像。
图4为一个实施例中direct-SIM算法与常规宽场成像WF、GE公司商业化2D-SIM显微镜、以及HiFi-SIM算法等典型SIM算法的计算结果对比图，其中图4中的(a)至图4中的(d)分别为常规宽场成像WF、GE公司商业化2D-SIM显微镜、HiFi-SIM算法以及本发明direct-SIM算法对同一SIM图像的处理结果图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
需要说明，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
在一个实施例中，结合图1，提供了一种超分辨结构光照明显微镜的频谱优化直接重建方法，所述方法包括以下步骤：
步骤1，采集原始SIM图像：利用结构光照明光场照明样本，对于N个方向角的每个方向角，以2π/L的相位步长采集L个不同相位图像，共获得N*L张原始SIM图像(对于2D-SIM：一般N＝3个方向角，每个方向角以2π/3相位步长采集L＝3帧图像，共9张图)。特别地，N和L可为满足上述相位步长的任意整数搭配。
步骤2，生成或获取已测量的系统点扩散函数PSF。
步骤3，基于步骤2的PSF对原始SIM图像进行预处理，实现等效调制深度增强。具体包括：
步骤3-1，对原始SIM图像数据进行傅里叶变换，获得对应的频谱图像；
步骤3-2，通过倒置的高斯函数对频谱图像低频区域的离焦信号频谱进行陷波处理；
步骤3-3，对步骤3-2得到的频谱图像进行傅里叶逆变换；
步骤3-4，通过步骤2的系统点扩散函数PSF对步骤3-3傅里叶逆变换后的图像进行Richardson-Lucy去卷积，得到预处理后的SIM图像，以提高处理后数据的等效调制深度。
步骤4，在图像域重建初始超分辨图像。具体为：
建立均方根形式的图像重建模型对步骤3得到的SIM图像进行处理，具体公式为：
式中，SRinitial(r)为重建的初始超分辨图像，Dn,l(r)为步骤3预处理后的SIM图像；SRn,0(r)为方向角n下通过均方根RMS形式的图像重建模型获得的初始超分辨图像，n＝1,2,…,N；代表方向角n下的等效宽场图像，l＝1,2,…,L；参数α为一个用于平衡重建的初始超分辨图像SRinitial(r)的信噪比和对比度的经验常数。
为了便于直观理解公式(1)所示图像模型的超分辨机理，对SRn,0(r)进行傅里叶变换：
式中，符号F{·}代表傅里叶变换操作；为样本频谱；/>为显微镜系统的光学传递函数；md,ex和kd,ex分别表示方向角d下的照明条纹的调制深度和波矢量；/>为被照明条纹调制的±1阶频谱；符号/>代表卷积运算。公式(2)的右侧第一项是0级频谱自卷积运算的结果，代表低频信号；第二项是-1级频谱和﹢1级频谱进行卷积运算的结果，包含了提高重建图像分辨率的高频信号。需要指出的是，得益于卷积运算的平移积分和展宽效应属性，通过公式(1,2)即可获得有效空间频谱被拓展到(|kem+kn,ex|-1)像素的高频信号，而不再需要遵循传统Wiener-SIM架构从原始数据估计条纹参数、求解线性方程组分离出0阶、±1阶频谱，再将各分离频谱部件平移回正确位置来获得初始SIM重建频谱的流程。
步骤5，在频率域对初始超分辨图像进行频谱优化。需要说明的是，方程(1)获得的初始重建图像SRinitial(r)在低频区域的相对强度远远高于高频区域的，限制了超分辨图像的最优对比度和视觉可见性。为了解决这个问题，具体执行下述过程：
步骤5-1，构建频谱优化函数
式中，参数β为用于调节频谱优化强度的经验常数，为显微镜系统的光学传递函数；
步骤5-2，通过频谱优化函数和一个呈现Gaussian型或OTF形状分布的低通滤波器/>(用于抑制高频噪声)，对初始超分辨图像进行频谱优化：
式中，F-1{·}符号表示傅里叶逆变换，为SRinitial(r)的傅里叶变换频谱，即/>SRdirect-SIM(r)为频谱优化后的初始超分辨图像。
步骤6，采用步骤2中所述PSF对应的两倍数值孔径的PSF(这里，也可以使用其他形式的PSF)，对步骤5处理后的初始超分辨图像进行去卷积处理获得最终的超分辨图像。这里采用Richardson-Lucy去卷积，也可以是使用其他去卷积方法。
direct-SIM算法利用原始SIM数据重建超分辨图像的主要处理步骤示例如图2所示，其中，2D-SIM的原始数据为3个方向角-每个方向角3个相位的9张原始图像构成，预处理步骤所用的PSF为根据成像条件利用理论模型生成或使用荧光微球测量获得；通过步骤3对原始数据预处理，增强了数据的等效调制深度；步骤4利用公式(1)在图像域重建获得初始超分辨图像；步骤5利用公式(4)在频率域对步骤4的结果进行频谱优化，提高了重建图像的对比度；步骤6使用数值孔径为宽场成像2倍数值孔径的PSF对步骤5获得的重建图像进一步去卷积，从而获得direct-SIM最终的超分辨图像。可以看出，与等效宽场图像相比，direct-SIM获得的重建图像的分辨率显著提高。
在一个实施例中，提供了一种超分辨结构光照明显微镜的频谱优化直接重建系统，所述系统包括：
第一模块，用于采集原始SIM图像；
第二模块，用于生成或获取已测量的系统点扩散函数PSF；
第三模块，用于基于第二模块的PSF对原始SIM图像进行预处理，实现等效调制深度增强；
第四模块，用于在图像域重建初始超分辨图像；
第五模块，用于在频率域对初始超分辨图像进行频谱优化；
第六模块，用于对第五模块处理后的初始超分辨图像进行去卷积处理，获得最终的超分辨图像。
关于超分辨结构光照明显微镜的频谱优化直接重建系统的具体限定可以参见上文中对于超分辨结构光照明显微镜的频谱优化直接重建方法的限定，在此不再赘述。上述超分辨结构光照明显微镜的频谱优化直接重建系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
步骤1，采集原始SIM图像；
步骤2，生成或获取已测量的系统点扩散函数PSF；
步骤3，基于步骤2的PSF对原始SIM图像进行预处理，实现等效调制深度增强；
步骤4，在图像域重建初始超分辨图像；
步骤5，在频率域对初始超分辨图像进行频谱优化；
步骤6，对步骤5处理后的初始超分辨图像进行去卷积处理，获得最终的超分辨图像。
关于每一步的具体限定可以参见上文中对于超分辨结构光照明显微镜的频谱优化直接重建方法的限定，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
步骤1，采集原始SIM图像；
步骤2，生成或获取已测量的系统点扩散函数PSF；
步骤3，基于步骤2的PSF对原始SIM图像进行预处理，实现等效调制深度增强；
步骤4，在图像域重建初始超分辨图像；
步骤5，在频率域对初始超分辨图像进行频谱优化；
步骤6，对步骤5处理后的初始超分辨图像进行去卷积处理，获得最终的超分辨图像。
关于每一步的具体限定可以参见上文中对于超分辨结构光照明显微镜的频谱优化直接重建方法的限定，在此不再赘述。
作为一种具体示例，在其中一个实施例中，对本发明进行进一步验证说明。direct-SIM的图像域初始重建与频率域频谱优化重建结果对比如图3所示，由图可以看出，与宽场成像结果相比，direct-SIM利用公式(1)获得的初始重建图像的分辨率有明显的提高，进一步通过公式(4)实施频谱优化后，有效改善了重建图像对比度和分辨率。
direct-SIM算法与常规宽场成像(WF)、GE公司商业化2D-SIM显微镜、以及HiFi-SIM算法等典型SIM算法的计算结果对比如图4所示。由图可以看出，与宽场成像结果相比，direct-SIM获得的超分辨图像的分辨率明显增强，与GE的2D-SIM成像相比，direct-SIM有更好的光学层切性能，其重建结果与最先进的HiFi-SIM算法相当。
需要说明的是，本发明direct-SIM的直接重建方法不仅适用于2D-SIM数据，也同样适用于3D-SIM数据、随机散斑照明的blind-SIM数据，以及结构光照明数据全息显微成像数据的处理。
本发明的direct-SIM采用图像域初始重建与频率域频谱优化的联合策略。在没有任何照明条纹先验知识并绕过伪影敏感的Wiener去卷积流程的情况下，direct-SIM可获得具有最少化伪影且分辨率加倍的超分辨图像。Direct-SIM可应用于基于Wiener-SIM架构的重建算法前难以处理的场景，例如非常稀疏的样本、周期性样本、非常小的成像视场或拼接的大视场成像。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种超分辨结构光照明显微镜的频谱优化直接重建方法，其特征在于，所述方法包括以下步骤：
步骤1，采集原始SIM图像；
步骤2，生成或获取已测量的系统点扩散函数PSF；
步骤3，基于步骤2的PSF对原始SIM图像进行预处理，实现等效调制深度增强；具体过程包括：
步骤3-1，对原始SIM图像数据进行傅里叶变换，获得对应的频谱图像；
步骤3-2，通过倒置的高斯函数对频谱图像低频区域的离焦信号频谱进行陷波处理；
步骤3-3，对步骤3-2得到的频谱图像进行傅里叶逆变换；
步骤3-4，通过步骤2的系统点扩散函数PSF对步骤3-3傅里叶逆变换后的图像进行Richardson-Lucy去卷积，得到预处理后的原始SIM图像；
步骤4，在图像域重建初始超分辨图像；
步骤5，在频率域对初始超分辨图像进行频谱优化；具体为：
步骤5-1，构建频谱优化函数
式中，参数β为用于调节频谱优化强度的经验常数，为显微镜系统的光学传递函数；
步骤5-2，通过频谱优化函数和一个呈现Gaussian型或OTF形状分布的低通滤波器对初始超分辨图像进行频谱优化：
式中，F-1{·}符号表示傅里叶逆变换，为SRinitial(r)的傅里叶变换频谱，即SRdirect-SIM(r)为频谱优化后的初始超分辨图像；
步骤6，对步骤5处理后的初始超分辨图像进行去卷积处理，获得最终的超分辨图像；具体为：
采用步骤2中所述PSF对应的两倍数值孔径的PSF，对步骤5处理后的初始超分辨图像进行处理以获得最终的超分辨图像。
2.根据权利要求1所述的超分辨结构光照明显微镜的频谱优化直接重建方法，其特征在于，步骤1所述采集原始SIM图像，具体包括：
利用结构光照明光场照明样本，对于N个方向角的每个方向角，以2π/L的相位步长采集L个不同相位图像，共获得N*L张原始SIM图像。
3.根据权利要求1所述的超分辨结构光照明显微镜的频谱优化直接重建方法，其特征在于，步骤4所述在图像域重建初始超分辨图像，具体为：
建立均方根形式的图像重建模型对步骤3得到的原始SIM图像处理，具体公式为：
式中，SRinitial(r)为重建的初始超分辨图像，Dn,l(r)为步骤3预处理后的原始SIM图像；SRn,0(r)为方向角n下通过均方根RMS形式的图像重建模型获得的初始超分辨图像，n＝1,2,…,N；代表方向角n下的等效宽场图像，l＝1,2,…,L；参数α为一个用于平衡重建的初始超分辨图像SRinitial(r)的结构连续性、空间分辨率、信噪比和对比度的经验常数权重。
4.基于权利要求1至3任意一项所述方法的超分辨结构光照明显微镜的频谱优化直接重建系统，其特征在于，所述系统包括：
第一模块，用于采集原始SIM图像；
第二模块，用于生成或获取已测量的系统点扩散函数PSF；
第三模块，用于基于第二模块的PSF对原始SIM图像进行预处理，实现等效调制深度增强；
第四模块，用于在图像域重建初始超分辨图像；
第五模块，用于在频率域对初始超分辨图像进行频谱优化；
第六模块，用于对第五模块处理后的初始超分辨图像进行去卷积处理，获得最终的超分辨图像。
5.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述方法的步骤。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211633195.4A CN116402678B (zh) | 2022-12-19 | 2022-12-19 | 超分辨结构光照明显微镜的频谱优化直接重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211633195.4A CN116402678B (zh) | 2022-12-19 | 2022-12-19 | 超分辨结构光照明显微镜的频谱优化直接重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116402678A CN116402678A (zh) | 2023-07-07 |
| CN116402678B true CN116402678B (zh) | 2023-10-20 |
Family
ID=87018527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211633195.4A Active CN116402678B (zh) | 2022-12-19 | 2022-12-19 | 超分辨结构光照明显微镜的频谱优化直接重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116402678B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011121523A2 (en) * | 2010-03-28 | 2011-10-06 | Ecole Polytechnique Federale De Lausanne (Epfl) | Complex index refraction tomography with sub √6-resolution |
| WO2017152702A1 (zh) * | 2016-03-10 | 2017-09-14 | 清华大学 | 一种结构光照明显微镜的成像方法及装置 |
| CN107180411A (zh) * | 2017-05-19 | 2017-09-19 | 中国科学院苏州生物医学工程技术研究所 | 一种图像重构方法及系统 |
| CN111145089A (zh) * | 2019-11-18 | 2020-05-12 | 中国科学院苏州生物医学工程技术研究所 | 高保真图像重构方法、系统、计算机设备和存储介质 |
| CN113670878A (zh) * | 2021-08-25 | 2021-11-19 | 西安交通大学 | 基于空频域混合式重建的超分辨结构光照明显微成像方法 |
| WO2022028291A1 (zh) * | 2020-08-07 | 2022-02-10 | 深圳大学 | 一种扫描结构光超分辨显微成像装置及方法 |
| DE102020211380A1 (de) * | 2020-09-10 | 2022-03-10 | Carl Zeiss Microscopy Gmbh | Verfahren zum superauflösenden Auswerten von strukturiert beleuchteten Mikroskopbildern und Mikroskop mit strukturierter Beleuchtung |
| CN115308185A (zh) * | 2022-09-15 | 2022-11-08 | 西安交通大学 | 高速无伪影超分辨结构光照明显微成像方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11222415B2 (en) * | 2018-04-26 | 2022-01-11 | The Regents Of The University Of California | Systems and methods for deep learning microscopy |
-
2022
- 2022-12-19 CN CN202211633195.4A patent/CN116402678B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011121523A2 (en) * | 2010-03-28 | 2011-10-06 | Ecole Polytechnique Federale De Lausanne (Epfl) | Complex index refraction tomography with sub √6-resolution |
| WO2017152702A1 (zh) * | 2016-03-10 | 2017-09-14 | 清华大学 | 一种结构光照明显微镜的成像方法及装置 |
| CN107180411A (zh) * | 2017-05-19 | 2017-09-19 | 中国科学院苏州生物医学工程技术研究所 | 一种图像重构方法及系统 |
| CN111145089A (zh) * | 2019-11-18 | 2020-05-12 | 中国科学院苏州生物医学工程技术研究所 | 高保真图像重构方法、系统、计算机设备和存储介质 |
| WO2022028291A1 (zh) * | 2020-08-07 | 2022-02-10 | 深圳大学 | 一种扫描结构光超分辨显微成像装置及方法 |
| DE102020211380A1 (de) * | 2020-09-10 | 2022-03-10 | Carl Zeiss Microscopy Gmbh | Verfahren zum superauflösenden Auswerten von strukturiert beleuchteten Mikroskopbildern und Mikroskop mit strukturierter Beleuchtung |
| CN113670878A (zh) * | 2021-08-25 | 2021-11-19 | 西安交通大学 | 基于空频域混合式重建的超分辨结构光照明显微成像方法 |
| CN115308185A (zh) * | 2022-09-15 | 2022-11-08 | 西安交通大学 | 高速无伪影超分辨结构光照明显微成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116402678A (zh) | 2023-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145089B (zh) | 高保真图像重构方法、系统、计算机设备和存储介质 | |
| CN111308682B (zh) | 基于结构光照明的超分辨重构方法 | |
| US20050259864A1 (en) | Four-dimensional imaging of periodically moving objects via post-acquisition synchronization of nongated slice-sequences | |
| Cannell et al. | Image enhancement by deconvolution | |
| CN107180411B (zh) | 一种图像重构方法及系统 | |
| JP6112872B2 (ja) | 撮像システム、画像処理方法、および撮像装置 | |
| US20220253983A1 (en) | Signal processing apparatus and method for enhancing a digital input signal | |
| Zhou et al. | W2S: microscopy data with joint denoising and super-resolution for widefield to SIM mapping | |
| Dan et al. | Rapid image reconstruction of structured illumination microscopy directly in the spatial domain | |
| WO2021227292A1 (zh) | 一种直接结构光照明超分辨显微重建方法 | |
| Forster et al. | Extended depth-of-focus for multi-channel microscopy images: a complex wavelet approach | |
| Cidade et al. | A generalized approach for atomic force microscopy image restoration with Bregman distances as Tikhonov regularization terms | |
| Li et al. | PURE-LET deconvolution of 3D fluorescence microscopy images | |
| Ruan et al. | Adaptive total variation based autofocusing strategy in ptychography | |
| CN116402678B (zh) | 超分辨结构光照明显微镜的频谱优化直接重建方法 | |
| Liu et al. | Spectral Bayesian uncertainty for image super-resolution | |
| CN113313696A (zh) | 一种用于结构光照明显微成像中结构光初相位的提取方法 | |
| WO2024082607A1 (zh) | 基于主成分分析的结构光照明显微成像方法 | |
| Maalouf | Contribution to fluorescence microscopy, 3D thick samples deconvolution and depth-variant PSF | |
| CN115839936B (zh) | 一种基于锁相探测的结构光照明超分辨显微成像重构方法 | |
| CN115841423B (zh) | 一种基于深度学习的宽场照明荧光超分辨显微成像方法 | |
| Rooms et al. | Simultaneous degradation estimation and restoration of confocal images and performance evaluation by colocalization analysis | |
| Orieux et al. | Fast myopic 2D-SIM super resolution microscopy with joint modulation pattern estimation | |
| CN112767242B (zh) | 一种基于频域去卷积的图像处理方法、装置及电子设备 | |
| Bezzubik et al. | Optimization-based image reconstruction method for super-resolution structured-illumination microscopy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |