CN111145089B - 高保真图像重构方法、系统、计算机设备和存储介质 - Google Patents

高保真图像重构方法、系统、计算机设备和存储介质 Download PDF

Info

Publication number
CN111145089B
CN111145089B CN201911129196.3A CN201911129196A CN111145089B CN 111145089 B CN111145089 B CN 111145089B CN 201911129196 A CN201911129196 A CN 201911129196A CN 111145089 B CN111145089 B CN 111145089B
Authority
CN
China
Prior art keywords
level
spectrum
sim
image
spectra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911129196.3A
Other languages
English (en)
Other versions
CN111145089A (zh
Inventor
文刚
李辉
李思黾
王林波
梁永
金鑫
陈晓虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Biomedical Engineering and Technology of CAS
Original Assignee
Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Biomedical Engineering and Technology of CAS filed Critical Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority to CN201911129196.3A priority Critical patent/CN111145089B/zh
Priority to PCT/CN2019/122740 priority patent/WO2021097916A1/zh
Publication of CN111145089A publication Critical patent/CN111145089A/zh
Application granted granted Critical
Publication of CN111145089B publication Critical patent/CN111145089B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种高保真图像重构方法、系统、计算机设备和存储介质，方法包括：读取SIM图像；生成或读取测量PSF；估计结构光条纹参数；利用频谱优化方法重构高保真SIM超分辨率图像。系统包括：图像采集模块、参数估计模块、(PSF生成模块)、图像重构模块。计算机设备和存储介质通过执行计算机程序能够实现上述方法过程。本发明能有效解决SIM超分辨图像的伪影问题，实现SIM超分辨图像的高保真重构，也可极大提高2D‑SIM技术的轴向层切能力，使2D‑SIM技术获得可媲美3D‑SIM技术的层切能力，有效拓展2D‑SIM技术的应用场景。此外，本发明使用理论生成PSF替代复杂的PSF测量过程，仍能重构出高保真SR‑SIM超分辨图像。本发明适用于几乎所有的基于结构光照明技术原理SIM系统的数据处理。

Description

高保真图像重构方法、系统、计算机设备和存储介质
技术领域
本发明涉及使用结构光照明技术的超分辨显微成像领域和三维面型测量领域，特别涉及一种超分辨结构光照明显微镜的高保真图像重构方法、系统、计算机设备和存储介质。
背景技术
超分辨结构光照明荧光显微(Super-resolution Structured IlluminationMicroscopy，SR-SIM)是一种可突破阿贝衍射极限的宽场显微成像技术，因其非侵入、成像速度快及光损伤小等优点已经被广泛应用于生物医学研究中。SIM技术利用强度正弦分布的结构光照明被观测样本产生“莫尔效应”，可将显微物镜光学传递函数范围内无法直接探测的高频信息编码到探测物镜的低频区域被采集下来，然后通过图像重构算法从采集的多张原始图像中解码出高频成分信息，重构出最终的超分辨图像(如图1所示)。理论上，线性SIM(Linear SIM，L-SIM)可以实现约2倍的分辨率提高，而非线性SIM(Nonlinear SIM，NL-SIM)可在L-SIM的基础上进一步提高分辨率。
特别强调的是，SIM显微镜获得的最终的超分辨图像严重依赖于后处理图像重构算法。当前，虽然包括商用SIM系统(Ge、Nikon和Zeiss)和实验室自己搭建的SIM系统都开发了各种版本的SIM算法，但几乎所有的SIM算法仍遵循Gustafsson等人提出的经典Wiener-SIM重构算法的两步流程：Step1：从采集的原始数据中估计结构光条纹参数(包括照明条纹的空间频率(条纹波矢量)kθ、初始相位
Figure GDA0004139544480000011
和调制m)；Step2：利用估计出的条纹参数从原始图像中分离提取出0级频谱和高级次频谱(2D-SIM：±1级；3D-SIM和NL-SIM：±1级和±2级)，并将高级次频谱平移到正确位置，利用Wiener滤波去卷积算法实现频谱融合，从而获得最终的超分辨图像。
然而，SIM的超分辨图像重构的过程本质上是一个极易产生伪影(artifacts)的病态逆问题。自SIM技术发明以来至今，由于SIM超分辨图像中包含的典型伪影使得SIM技术的保真度受到挑战。许多已发表文章的SIM超分辨图像中经常被发现存在伪影，且超分辨图中的这些伪影使得一些高水平的研究成果都受到质疑。SIM图像中常见的典型伪影有蜂巢状伪影(“honeycomb”artifacts)、旁瓣伪影(“sidelobe”artifacts)、雪花状伪影(“snowflake”artifacts)、锤形伪影(“hammerstroke”artifacts)等等。目前，虽然这些典型伪影来源大都已经被研究清楚，但仍然没有一种有效的SIM算法能够彻底的消除这些伪影。
目前，SIM技术的发展正朝着追求最小化伪影甚至无伪影方向发展。早期，研究者们大多聚焦于SIM重构流程的步骤1——优化结构光参数估计算法实现从原始图像中确定准确的照明条纹参数，以减少重构伪影。然而，即使照明参数被准确的估计，仍然无法有效避免重构的超分辨图像中的伪影。近年来，也有一些去卷积算法，包括RL-SIM，TV-SIM以及Hession-SIM等，被开发出来用于抑制伪影，但这些方法仅对特定类型的数据(如高调制度和低信噪比原始数据)效果明显，对一些强背景或调制度次优的原始数据仍然无法有效抑制伪影。截止到目前，没有一种通用的算法能够有效的去除SIM重构图像中的典型伪影。
同时，常规的二维SIM(2D-SIM)的轴向光学层切能力较差，导致当前所有的2D-SIM的超分辨图像中通常包含明显的残留离焦背景以及与离焦信号相关的伪影。此外，轴向层切能力差还会造成2D-SIM技术对强背景样品或厚样品成像时，算法重构出的超分辨图像中伪影会加重，且重构图像的空间分辨率和对比度也较低。因此，2D-SIM的轴向层切能力弱的问题已局限了SIM技术在更多领域的应用。
此外，现有的SIM算法大多对算法使用的点扩散函数(PSF)非常敏感。为了确保算法重构出具有最小伪影的SIM超分辨图像，SIM算法通常要求使用与原始图像采集时的成像条件匹配的真实PSF。然而，实际成像过程中，同步的测量与成像条件匹配的PSF非常困难。一方面，测量匹配的PSF通常需要非常复杂的步骤，需要专业人员才能完成；另一方面，真实PSF的测量过程增加了使用SIM技术的难度，这会让一些普通用户无法接受。目前，大多数文献中使用荧光微球(beads)测量的PSF作为真实的PSF用于算法重构。然而，使用荧光微球测量的PSF也只是一种近似的PSF，仍然不能做到与成像条件严格匹配。
发明内容
基于此，有必要针对上述技术问题，提供一种能够兼顾去除伪影和提高层切能力，降低SIM技术使用难度的实现SIM超分辨图像的高保真重构方法。
实现本发明目的的技术解决方案为：一种高保真图像重构方法，所述方法包括：
读取通过SIM成像系统采集的多帧原始图像；
估计结构光条纹参数，包括估计结构光条纹波矢量kθ、估计条纹调制度m和初始相位
Figure GDA0004139544480000031
基于所述结构光条纹参数估计结果，利用频谱优化方法重构高保真SIM超分辨率图像。
进一步地，该方法在所述利用频谱优化方法重构高保真SIM超分辨率图像之前还包括：基于理论模型生成点扩散函数PSF，具体包括：
利用SIM成像系统的光学参数生成光学传递函数OTF：
Figure GDA0004139544480000032
式中，kc为成像物镜的截止频率；
对所述光学传递函数
Figure GDA0004139544480000033
进行傅里叶逆变换生成点扩散函数PSF(r)。
进一步地，所述估计结构光条纹波矢量kθ，具体包括：
对所述原始图像进行预处理，以消除离焦信号、0级频谱信号以及
Figure GDA0004139544480000034
对原始图像中高频信号衰减作用对估计结构光条纹波矢量kθ的影响；
基于预处理后的原始图像，进行交叉关联以估计结构光条纹波矢量kθ。
进一步地，所述对原始图像进行预处理，具体包括：
对读取到的多帧原始图像Dθ，n(r)进行求和取平均，获得等效宽场图像DEWF，θ(r)；
引入常数权重因子αθ，并结合等效宽场图像DEWF，θ(r)对单帧原始图像Dθ，n(r)进行处理，获得新的单帧原始图像D′θ，n(r)，所用公式为：
D′θ，n(r)＝Dθ，n(r)-αθ·DEWF，θ(r) (2)
式中，αθ∈[0，1]，θ表示方向角，n表示相位；
取αθ＝1，则上式(2)变为：
D′θ，n(r)＝Dθ，n(r)-DEWF，θ(r) (3)
对上式(3)进行去卷积处理，获得最终的预处理后新的单帧原始图像D′θ，n(r)。
进一步地，所述基于预处理后的原始图像，进行交叉关联以估计结构光条纹波矢量kθ，具体包括：
对所述预处理后新的单帧原始图像D′θ，n(r)进行SIM频谱分离计算，获得分离的多级频谱，包括0级频谱、1级频谱、...、L级频谱，每一级频谱表示为
Figure GDA0004139544480000041
其中，
Figure GDA0004139544480000042
分别表示+l级、-l级频谱，l的取值为0～L，kθ表示结构光的周期；
对所述等效宽场图像DEWF，θ(r)进行傅里叶变换，获得等效宽场图像频谱
Figure GDA0004139544480000043
对除0级频谱之外的所有频谱以及等效宽场图像频谱
Figure GDA0004139544480000044
均进行频谱振幅归一化处理；
利用高斯函数对所述归一化后的所有频谱的中心区域均进行陷波处理；
对所述陷波处理后的等效宽场图像频谱
Figure GDA0004139544480000045
和L级频谱/>
Figure GDA0004139544480000046
或/>
Figure GDA0004139544480000047
进行交叉关联计算，获得结构光条纹波矢量的峰值位置；
在所述峰值位置附近进行亚像素精度的拟合定位，完成结构光条纹波矢量kθ的估计。
进一步地，所述估计条纹调制度m和初始相位
Figure GDA0004139544480000048
具体包括：
对所述原始图像进行去卷积预处理，获得图像D″θ，n(r)；
对所述图像D″θ，n(r)进行SIM频谱分离计算，获得分离的多级频谱，包括0级频谱、1级频谱、...、L′级频谱，每一级频谱表示为
Figure GDA0004139544480000049
其中，/>
Figure GDA00041395444800000410
分别表示+l′级、-l′级频谱，l′的取值为0～L′，kθ表示结构光的周期；
对所有频谱均进行频谱振幅归一化处理，并利用高斯函数对所述归一化后的所有频谱的中心区域均进行陷波处理；
对所述陷波处理后的所有频谱进行平移，直至每一级频谱的零频与所述0级频谱的零频一致；其中，平移后的l′级频谱记为
Figure GDA00041395444800000411
对所述等效宽场图像频谱
Figure GDA00041395444800000412
进行频谱振幅归一化处理，并利用高斯函数对所述归一化后的等效宽场图像频谱的中心区域进行陷波处理，记为/>
Figure GDA00041395444800000413
针对平移后的每一个频谱
Figure GDA00041395444800000414
或/>
Figure GDA00041395444800000415
对其与所述/>
Figure GDA00041395444800000416
的重叠区域进行交叉关联计算，获得相对应的条纹调制度ml；对平移后的1级频谱/>
Figure GDA0004139544480000051
或/>
Figure GDA0004139544480000052
与所述/>
Figure GDA0004139544480000053
的重叠区域进行交叉关联计算，获得初始相位/>
Figure GDA0004139544480000054
进一步地，所述基于结构光条纹参数估计结果，利用频谱优化方法重构高保真SIM超分辨率图像，具体包括：
基于所述结构光条纹参数估计结果，重构初始SIM图像频谱
Figure GDA0004139544480000055
利用高斯函数对所述初始SIM图像频谱
Figure GDA0004139544480000056
的中心区域进行陷波处理，获得频谱/>
Figure GDA0004139544480000057
构造复合滤波器
Figure GDA0004139544480000058
将所述频谱
Figure GDA0004139544480000059
与所述复合滤波器/>
Figure GDA00041395444800000510
相乘，并进行傅里叶逆变换获得最终的高保真SIM超分辨率图像。
进一步地，所述基于结构光条纹参数估计结果，重构初始SIM图像频谱，具体包括：
对所述原始图像进行去卷积预处理，获得图像D″′θ，n(r)；
基于结构光条纹参数估计结果，对所述图像D″′θ，n(r)进行SIM频谱分离计算，获得分离的多级频谱，包括0级频谱、1级频谱、...、L″级频谱，每一级频谱表示为
Figure GDA00041395444800000511
其中，/>
Figure GDA00041395444800000512
分别表示+l″级、-l″级频谱，l″的取值为0～L″，kθ表示结构光的周期；
对除0级频谱之外的所有频谱进行平移，直至每一级频谱的零频与所述0级频谱的零频一致；其中，平移后的l″级频谱记为
Figure GDA00041395444800000513
将平移后的每一级频谱与其相对应的OTF的复共轭相乘并求和，重构初始SIM图像频谱为
Figure GDA00041395444800000514
Figure GDA00041395444800000515
式中，
Figure GDA00041395444800000516
表示平移后的l″级频谱对应OTF，“*”表示共轭；
所述利用高斯函数对所述初始SIM图像频谱
Figure GDA00041395444800000517
的中心区域进行陷波处理，获得频谱/>
Figure GDA00041395444800000518
所用公式为：
Figure GDA0004139544480000061
式中，
Figure GDA0004139544480000062
表示高斯函数。
进一步地，所述构造复合滤波器
Figure GDA0004139544480000063
所用公式为：
Figure GDA0004139544480000064
式中，
Figure GDA0004139544480000065
为第一复合子滤波器或第一单子滤波器，用于初步恢复陷波及平移处理后塌陷的0级频谱、1级频谱、...、L″级频谱；/>
Figure GDA0004139544480000066
为第二复合子滤波器或第二单子滤波器，用于进一步恢复初步恢复后的1级频谱、...、L″级频谱，同时用于降低初步恢复后的0级频谱的幅值。
一种高保真图像重构系统，所述系统包括：
图像采集模块，用于读取通过SIM成像系统采集的多帧原始图像；
参数估计模块，用于估计结构光条纹参数，包括估计结构光条纹波矢量kθ、估计条纹调制度m和初始相位
Figure GDA0004139544480000067
图像重构模块，用于基于所述结构光条纹参数估计结果，利用频谱优化方法重构高保真SIM超分辨率图像。
进一步地，所述系统还包括：
点扩散函数PSF生成模块，用于基于理论模型生成点扩散函数PSF；该模块具体包括：
OTF生成单元，用于利用SIM成像系统的光学参数生成光学传递函数OTF，所用公式为：
Figure GDA0004139544480000068
式中，kc为成像物镜的截止频率；
PSF生成单元，用于对所述光学传递函数
Figure GDA0004139544480000069
进行傅里叶逆变换生成点扩散函数PSF(r)。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
读取通过SIM成像系统采集的多帧原始图像；
估计结构光条纹参数，包括估计结构光条纹波矢量kθ、估计条纹调制度m和初始相位
Figure GDA0004139544480000071
基于所述结构光条纹参数估计结果，利用频谱优化方法重构高保真SIM超分辨率图像。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
读取通过SIM成像系统采集的多帧原始图像；
估计结构光条纹参数，包括估计结构光条纹波矢量kθ、估计条纹调制度m和初始相位
Figure GDA0004139544480000072
基于所述结构光条纹参数估计结果，利用频谱优化方法重构高保真SIM超分辨率图像。
本发明与现有技术相比，其显著优点为：1)有效解决SIM超分辨图像中极易产生的多种典型伪影，实现SIM超分辨图像的高保真重构；2)有效解决二维SIM技术(2D-SIM)轴向层切能力差的问题，使得2D-SIM技术具备可媲美3D-SIM技术的层切能力，以改善当前2D-SIM超分辨图像的质量，从而拓展SIM技术的应用场景；3)有效解决当前SIM重构算法对使用的PSF敏感的问题，使用理论模型生成的PSF替代复杂的测量真实PSF的过程，利用生成的粗糙PSF仍能够重构出高保真的SIM超分辨图像，在一定程度上降低了SIM技术的使用难度。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为线性SIM技术原理示意图，其中图1中的(a)为莫尔效应产生的莫尔条纹示意图，图1中的(b)为传统宽场成像技术探测图像频谱范围示意图；图1中的(c)为单方向照明的SIM图像频谱范围示意图；图1中的(d)为三方向角照明的SIM频谱范围示意图。
图2为一个实施例中超分辨结构光照明显微镜的高保真图像重构方法流程图。
图3为一个实施例中结构光条纹参数估计原理示意图，其中图3中的(a)～图3中的(b)为结构光条纹波矢量kθ估计原理示意图，在图3中的(a)、图3中的(b)的基础上结合图3中的(c)为条纹调制度m和初始相位
Figure GDA0004139544480000084
估计原理示意图。
图4为一个实施例中频谱优化示意图，其中图4中的(a)为SIM的理论等效OTF，图4中的(b)高斯陷波调制度的OTF，图4中的(c)～图4中的(e)依次为第一子滤波器
Figure GDA0004139544480000081
第二子滤波器/>
Figure GDA0004139544480000082
复合滤波器/>
Figure GDA0004139544480000083
的示意图。
图5为一个实施例中利用频谱优化方法重构高保真SIM超分辨率图像的结果示意图，其中图5中的(a1)～图5中的(a3)分别为重构的初始SR-SIM频谱示意图、对初始频谱实施高斯陷波调制示意图、实施频谱优化示意图，图5中的(b1)～图5中的(b3)分别为图5中的(a1)～图5中的(a3)对应的SR-SIM图像，图5中的(c1)～图5中的(c4)分别为宽场图像的放大图，以及图5中的(b1)～图5中的(b3)中矩形方框区域的子图放大示意图。
图6为一个实施例中超分辨结构光照明显微镜的高保真图像重构系统结构图。
图7为一个实施例中HiFi-SIM算法与常规Wiener-SIM算法重构图像结果比较示意图，其中图7中的(a1)～图7中的(a3)分别为宽场等效图像、常规Wiener-SIM算法重构的SIM图像和本发明方法HiFi-SIM算法重构的SIM图像，图7中的(b1)～图7中的(b3)分别为宽场等效图像频谱、常规Wiener-SIM算法重构频谱和HiFi-SIM算法重构频谱。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本发明提供的超分辨结构光照明显微镜的高保真图像重构方法，不仅适用于对2D-SIM和3D-SIM数据的重构，也同样适用于非线性结构光照明显微镜(NL-SIM)的超分辨图像重建，即适用于几乎所有的基于结构光照明技术原理SIM系统的数据处理。
在一个实施例中，如图2所示，提供了一种超分辨结构光照明显微镜的高保真图像重构方法(HiFi-SIM)，该方法包括：
步骤S101、读取通过SIM成像系统采集的多帧原始图像；
这里，针对不同的SIM技术，采集原始图像的方式不相同。对于2D-SIM，通常在3个不同照明方向角下分别采集3个不同相位的共9帧原始图像；对于单层3D-SIM，通常3个不同照明方向角下采集5个不同相位的共15帧图像。
步骤S103、估计结构光条纹参数，包括估计结构光条纹波矢量kθ、估计条纹调制度m和初始相位
Figure GDA0004139544480000091
步骤S104、基于结构光条纹参数估计结果，利用频谱优化方法重构高保真SIM超分辨率图像。
上述超分辨结构光照明显微镜的高保真图像重构方法，是通过读取通过SIM成像系统采集的多帧原始图像估计结构光条纹参数，包括估计结构光条纹波矢量kθ、估计条纹调制度m和初始相位
Figure GDA0004139544480000092
基于结构光条纹参数估计结果，利用频谱优化方法重构高保真SIM超分辨率图像。如此，可以实现SIM超分辨图像的高保真重构，且能够兼顾去除伪影和提高层切能力。
进一步地，在其中一个实施例中，该方法在上述利用频谱优化方法重构高保真SIM超分辨率图像之前还包括：
步骤S102、基于理论模型生成点扩散函数PSF；
这里，理论模型生成点扩散函数PSF可以基于SIM成像系统的光学参数实现，光学参数可以包括但不限于显微镜放大倍数、显微物镜数值孔径和荧光发射波长等。
采用本实施例的方案，不仅可以直接采用测量的PSF，还可以采用基于理论模型生成的PSF，灵活性更高。PSF的偏离容易造成明显的伪影，本实施例的方案克服了常规的SIM算法对PSF比较敏感的问题，此外，即使非专业人员无法完成PSF的测量，也可以采用本发明的方案实现SIM超分辨图像的高保真重构，克服了PSF测量过程复杂、困难等问题，降低了SIM技术使用难度。
需要说明的是，步骤S102与步骤S103，也可以不限于上述先后顺序执行，也可以同时执行。
进一步地，在其中一个实施例中，上述基于理论模型生成点扩散函数PSF，具体包括：
利用SIM成像系统的光学参数生成光学传递函数OTF：
Figure GDA0004139544480000093
式中，kc为成像物镜的截止频率；
对光学传递函数
Figure GDA0004139544480000101
进行傅里叶逆变换生成点扩散函数PSF(r)。
进一步地，在其中一个实施例中，上述估计结构光条纹波矢量kθ，具体包括：
步骤S201、对原始图像进行预处理，以消除离焦信号、0级频谱信号以及
Figure GDA0004139544480000102
对原始图像中高频信号衰减作用对估计结构光条纹波矢量kθ的影响；
这里，以2D-SIM为例对提出预处理进行描述分析：
对于2D-SIM，其单帧原始图像可表示为：
Figure GDA0004139544480000103
式中，Sin(r)为真实的样品，mθ为照明条纹调制度，kθ为照明条纹波矢量，
Figure GDA0004139544480000104
为照明条纹初始相位，PSF(r)为显微镜的点扩散函数，Sout(r)为离焦信号，N(r)为噪声。
在频率域空间，对式(2)进行傅里叶变换即可获得SIM原始图像的频谱：
Figure GDA0004139544480000105
式中，
Figure GDA0004139544480000106
为显微系统的光学传递函数，是PSF(r)的傅里叶变换的结果；/>
Figure GDA0004139544480000107
为显微镜焦平面处的样品的频谱，对应0级频谱；/>
Figure GDA0004139544480000108
为被结构光编码到显微物镜OTF低频区域的未解码高频信息，对应±1级频谱；/>
Figure GDA0004139544480000109
为离焦信号频谱；/>
Figure GDA00041395444800001010
为噪声频谱。
对于传统的SIM算法，通常直接从原始图像中分离0级和±1级频谱，并直接利用0级和1级频谱的交叉关键估计照明条纹的关键参数，包括条纹波矢量kθ、调制度m和初始相位
Figure GDA00041395444800001011
等。然而，从公式1所示的SIM显微成像过程可知：探测物镜的PSF的卷积作用、离焦信号以及噪声等因素都会造成采集到的SIM原始数据的调制度比物镜焦平面处(公式1中
Figure GDA00041395444800001012
)要低。因此本发明提出基于显微成像逆过程的原始图像预处理方法。
步骤S202、基于预处理后的原始图像，进行交叉关联以估计结构光条纹波矢量kθ。
进一步地，在其中一个实施例中，上述对原始图像进行预处理，具体包括：
步骤S301、对读取到的多帧原始图像Dθ，n(r)进行求和取平均，获得等效宽场图像DEWF，θ(r)；
这里，以2D-SIM为例，获得的等效宽场图像DEWF，θ(r)为：
Figure GDA0004139544480000111
式中，N′(r)为平均降噪后的残留噪声。上述求和步骤有利于降噪。
对比公式2和4可知：采集的SIM原始图像Dθ，n(r)和等效宽场图像DEWF，θ(r)中包含了近似相等同的离焦背景信号和0级频谱部件。因此，为了去除离焦信号和0级频谱部件的影响，执行步骤S302。
步骤S302、引入常数权重因子αθ，并结合等效宽场图像DEWF，θ(r)对单帧原始图像Dθ，n(r)进行处理，获得新的单帧原始图像D′θ，n(r)，所用公式为：
D′θ，n(r)＝Dθ，n(r)-αθ·DEWF，θ(r) (5)
式中，αθ∈[0，1]，θ表示方向角，n表示相位；
这里，以2D-SIM为例，获得新的单帧原始图像D′θ，n(r)为：
Figure GDA0004139544480000112
式中，N″(r)为残留离焦信号。对比公式2和6可知：处理后的图像中包含的0级频谱信号和离焦被衰减了1-αθ倍，而±1级信号频谱保持不变。
步骤S303、取αθ＝1，则上式(5)变为：
D′θ，n(r)＝Dθ，n(r)-DEWF，θ(r) (7)
这里，以2D-SIM为例，则上式(6)变为：
Figure GDA0004139544480000113
由上式8可知，预处理后的图像中仅包含±1级频谱信号和残留噪声信号。然而，±1级频谱中的高频信号仍然因PSF的卷积作用而被衰减，这不利于结构光条纹波矢量kθ的峰值位置的估计，因此，执行步骤S304。
步骤S304、对上式(7)进行去卷积处理，获得最终的预处理后新的单帧原始图像D′θ，n(r)。
这里，以2D-SIM为例，上式(8)去卷积后变为：
Figure GDA0004139544480000121
式中，N″′(r)为去卷积后的残留离焦信号。
采用本实施例的方案，能够消除离焦信号、0级频谱信号以及
Figure GDA0004139544480000122
对原始图像中高频信号衰减作用对估计结构光条纹波矢量kθ的影响，提高结构光条纹波矢量kθ的估计精度。
进一步地，在其中一个实施例中，结合图3，上述基于预处理后的原始图像，进行交叉关联以估计结构光条纹波矢量kθ，具体包括：
步骤S401、对预处理后新的单帧原始图像D′θ，n(r)进行SIM频谱分离计算，获得分离的多级频谱，包括0级频谱、1级频谱、...、L级频谱，每一级频谱表示为
Figure GDA0004139544480000123
其中，
Figure GDA0004139544480000124
分别表示+l级、-l级频谱，l的取值为0～L，kθ表示结构光的周期；
这里，以2D-SIM为例，对预处理后新的单帧原始图像D′θ，n(r)进行SIM频谱分离计算，获得分离的2级频谱，包括0级频谱、1级频谱，分别为
Figure GDA0004139544480000125
这里，以3D-SIM为例，对预处理后新的单帧原始图像D′θ，n(r)进行SIM频谱分离计算，获得分离的3级频谱，包括0级频谱、1级频谱和2级频谱，分别为
Figure GDA0004139544480000126
Figure GDA0004139544480000127
步骤S402、对等效宽场图像DEWF，θ(r)进行傅里叶变换，获得等效宽场图像频谱
Figure GDA0004139544480000128
步骤S403、对除0级频谱之外的所有频谱以及等效宽场图像频谱
Figure GDA0004139544480000129
均进行频谱振幅归一化处理；
步骤S404、利用高斯函数对归一化后的所有频谱的中心区域均进行陷波处理；
步骤S405、对陷波处理后的等效宽场图像频谱
Figure GDA0004139544480000131
和L级频谱/>
Figure GDA0004139544480000132
或
Figure GDA0004139544480000133
进行交叉关联计算，获得结构光条纹波矢量的峰值位置；
这里，以2D-SIM为例，对陷波处理后的等效宽场图像频谱
Figure GDA0004139544480000134
和1级频谱
Figure GDA0004139544480000135
或/>
Figure GDA0004139544480000136
进行交叉关联计算。
这里，以3D-SIM为例，对陷波处理后的等效宽场图像频谱
Figure GDA0004139544480000137
和2级频谱
Figure GDA0004139544480000138
或/>
Figure GDA0004139544480000139
进行交叉关联计算。
步骤S406、在峰值位置附近进行亚像素精度的拟合定位，完成结构光条纹波矢量kθ的估计。
采用本实施例的方案，可以进一步提高结构光条纹波矢量kθ的估计精度。
进一步地，在其中一个实施例中，结合图3，上述估计条纹调制度m和初始相位
Figure GDA00041395444800001310
具体包括：
步骤S501、对原始图像进行去卷积预处理，获得图像D″θ，n(r)；
步骤S502、对图像D″θ，n(r)进行SIM频谱分离计算，获得分离的多级频谱，包括0级频谱、1级频谱、...、L′级频谱，每一级频谱表示为
Figure GDA00041395444800001311
其中，/>
Figure GDA00041395444800001312
Figure GDA00041395444800001313
分别表示+l′级、-l′级频谱，l′的取值为0～L′，kθ表示结构光的周期；
这里，以2D-SIM为例，对图像D″θ，n(r)进行SIM频谱分离计算，获得分离的2级频谱，包括0级频谱、1级频谱，分别为
Figure GDA00041395444800001314
这里，以3D-SIM为例，对图像D″θ，n(r)进行SIM频谱分离计算，获得分离的3级频谱，包括0级频谱、1级频谱和2级频谱，分别为
Figure GDA00041395444800001315
步骤S503、对所有频谱均进行频谱振幅归一化处理，并利用高斯函数对归一化后的所有频谱的中心区域均进行陷波处理；
步骤S504、对陷波处理后的所有频谱进行平移，直至每一级频谱的零频与0级频谱的零频一致；其中，平移后的l′级频谱记为
Figure GDA0004139544480000141
步骤S505、对等效宽场图像频谱
Figure GDA0004139544480000142
进行频谱振幅归一化处理，并利用高斯函数对归一化后的等效宽场图像频谱的中心区域进行陷波处理，记为/>
Figure GDA0004139544480000143
步骤S506、针对平移后的每一个频谱
Figure GDA0004139544480000144
或/>
Figure GDA0004139544480000145
对其与/>
Figure GDA0004139544480000146
的重叠区域进行交叉关联计算，获得相对应的条纹调制度ml；对平移后的1级频谱/>
Figure GDA0004139544480000147
或
Figure GDA0004139544480000148
与/>
Figure GDA0004139544480000149
的重叠区域进行交叉关联计算，获得初始相位/>
Figure GDA00041395444800001410
这里，以2D-SIM为例，将
Figure GDA00041395444800001411
或/>
Figure GDA00041395444800001412
与/>
Figure GDA00041395444800001413
的重叠区域进行交叉关联计算，获得条纹调制度m和初始相位/>
Figure GDA00041395444800001414
这里，以3D-SIM为例，将
Figure GDA00041395444800001415
或/>
Figure GDA00041395444800001416
与/>
Figure GDA00041395444800001417
的重叠区域进行交叉关联计算，获得条纹调制度m1和初始相位/>
Figure GDA00041395444800001418
将/>
Figure GDA00041395444800001419
或/>
Figure GDA00041395444800001420
与/>
Figure GDA00041395444800001421
的重叠区域进行交叉关联计算，获得条纹调制度m2。
采用本实施例的方案，可以提高条纹调制度m和初始相位
Figure GDA00041395444800001422
的估计精度。
进一步地，在其中一个实施例中，结合图4，上述基于结构光条纹参数估计结果，利用频谱优化方法重构高保真SIM超分辨率图像，具体包括：
步骤S601、基于结构光条纹参数估计结果，重构初始SIM图像频谱
Figure GDA00041395444800001423
/>
步骤S602、利用高斯函数对初始SIM图像频谱
Figure GDA00041395444800001424
的中心区域进行陷波处理，获得频谱/>
Figure GDA00041395444800001425
通过陷波消除位于频谱中心的残留离焦信号频谱；
然而，高斯陷波会造成对应频谱部件中心位置处的频谱凹陷，这会导致了与这些频谱区域对应的真实信号在重构图像中丢失。此外，重构频谱中可能因“类六边形”的非自然结构导致重构图像中产生明显的旁瓣伪影和雪花状伪影。此外，现有的大多数SIM算法采用的Wiener滤波步骤无法有效平衡“去除残留离焦信号”和“保留真实样本信号”之间的权衡(trade-off)，因此执行步骤S603。
步骤S603、构造复合滤波器
Figure GDA00041395444800001426
步骤S604、将频谱
Figure GDA00041395444800001427
与复合滤波器/>
Figure GDA00041395444800001428
相乘，并进行傅里叶逆变换获得最终的高保真SIM超分辨率图像。
采用本实施例的方案，结合图5，可以看出本发明能够兼顾去除伪影和提高层切能力，实现SIM超分辨图像的高保真重构。
进一步地，在其中一个实施例中，结合图4，上述步骤S601基于结构光条纹参数估计结果，重构初始SIM图像频谱，具体包括：
步骤S701、对原始图像进行去卷积预处理，获得图像D″′θ，n(r)；
步骤S702、基于结构光条纹参数估计结果，对图像D″′θ，m(r)进行SIM频谱分离计算，获得分离的多级频谱，包括0级频谱、1级频谱、...、L″级频谱，每一级频谱表示为
Figure GDA0004139544480000151
其中，/>
Figure GDA0004139544480000152
分别表示+l″级、-l″级频谱，l″的取值为0～L″，kθ表示结构光的周期；
步骤S703、对除0级频谱之外的所有频谱进行平移，直至每一级频谱的零频与0级频谱的零频一致；其中，平移后的l″级频谱记为
Figure GDA0004139544480000153
步骤S704、将平移后的每一级频谱与其相对应的OTF的复共轭相乘并求和，重构初始SIM图像频谱为
Figure GDA0004139544480000154
Figure GDA0004139544480000155
式中，
Figure GDA0004139544480000156
表示平移后的l″级频谱对应OTF，“*”表示共轭。
进一步地，在其中一个实施例中，上述步骤S602中利用高斯函数对初始SIM图像频谱
Figure GDA0004139544480000157
的中心区域进行陷波处理，获得频谱/>
Figure GDA0004139544480000158
所用公式为：
Figure GDA0004139544480000159
式中，
Figure GDA00041395444800001510
表示高斯函数，具体为：
Figure GDA00041395444800001511
式中，A′为高斯陷波的强度，B′为陷波区域宽度。
进一步地，在其中一个实施例中，上述构造复合滤波器
Figure GDA00041395444800001512
所用公式为：/>
Figure GDA00041395444800001513
式中，
Figure GDA0004139544480000161
为第一复合子滤波器或第一单子滤波器，用于初步恢复陷波及平移处理后塌陷的0级频谱、1级频谱、...、L″级频谱；/>
Figure GDA0004139544480000162
为第二复合子滤波器或第二单子滤波器，用于进一步恢复初步恢复后的1级频谱、...、L″级频谱，同时用于降低初步恢复后的0级频谱的幅值。
对该实施例的分析如下：
设计的复合滤波器主要用于解决以下三个问题：
1、因高斯陷波或造成平移后的0级和±1”级次的频谱中的相关区域产生频谱凹陷，从而造成与这些凹陷区域的频谱对应的真实样本信号被衰减甚至从图像中丢失；
2、在常规Wiener-SIM算法获得的SR-SIM的频谱的中心存在一个很强的频谱峰，该频谱峰导致重构出的SR图像中的残留离焦背景信号及其相关伪影进行放大，导致图像质量变差。这局限了常规2D-SIM的轴向层切能力，使得2D-SIM的层切能力较差。此外，常规Wiener-SIM不能有效平衡去除离焦信号和保留真实样品信号之间的trade-off。因此，若要保留多一些真实样品信号，则重构图像中的伪影会加重；若要尽可能的去除伪影，会导致部分真实样品信号被衰减甚至丢失；
3、在常规Wiener-SIM获得的重构频谱中，对于2D-SIM，0级频谱和±1频谱的重叠区域经常容易出现“类六边形”的不自然频谱结构，以及造成“旁瓣伪影”或“雪花状伪影”。
采用本实施例方案的复合滤波器，兼顾了恢复公式(11)中因高斯陷波造成的塌陷的频谱区域，抑制常规Wiener-SIM获得的频谱中心较强的频谱峰以提高2D-SIM的层切能力，且校正重构频谱中的不自然频谱结构以消除对于的伪影。这里，复合滤波器的子滤波器
Figure GDA0004139544480000163
的特征为：与0级和平移后±1级中心的被陷波区域对应的位置产生向上凸起的峰，用于恢复塌陷的频谱区域，以防止真实信号丢失；子滤波器/>
Figure GDA0004139544480000164
的特征为：与平移后的±1级中心的被陷波区域对应的位置产生向上凸起的峰，用于进一步恢复套现的频谱区域；而与0级频谱中心塌陷区域对应的位置则产生一个向下凹陷的峰，用于调节/>
Figure GDA0004139544480000165
中0级中心区域的峰值的强度，从而实现调节SIM层切能力的作用。此外，/>
Figure GDA0004139544480000166
和/>
Figure GDA0004139544480000167
相乘后的复合滤波器/>
Figure GDA0004139544480000168
还可以实现对初始重构频谱中的“类六边形”的不自然结构进行校正，从而抑制甚至消除对应的伪影。总之，本发明频谱优化生成复合滤波器的思想围绕解决上述几个问题，且同时具备上述特征。
这里，以2D-SIM为例，第一子滤波器
Figure GDA0004139544480000171
为：/>
Figure GDA0004139544480000172
第二子滤波器
Figure GDA0004139544480000173
具体为：
Figure GDA0004139544480000174
这里，以3D-SIM为例，第一子滤波器
Figure GDA0004139544480000175
为：
Figure GDA0004139544480000176
第二子滤波器
Figure GDA0004139544480000177
具体为：
Figure GDA0004139544480000178
其中，
Figure GDA0004139544480000181
Figure GDA0004139544480000182
Figure GDA0004139544480000183
/>
Figure GDA0004139544480000184
式中，α、β、α′、β′均为常数；w1、w2均为维纳常数；
Figure GDA0004139544480000185
和/>
Figure GDA0004139544480000186
均为高斯陷波函数，A1(k)为OTF形状的切趾函数，A2(k)为高斯型切趾函数；A、B、C、D均为常数，rapo为切趾半径，ApoFWHM为高斯型切趾函数A2(k)的常数参数。
在一个实施例中，结合图6，提供了一种超分辨结构光照明显微镜的高保真图像重构系统，包括：
图像采集模块101，用于读取通过SIM成像系统采集的多帧原始图像；
参数估计模块103，用于估计结构光条纹参数，包括估计结构光条纹波矢量kθ、估计条纹调制度m和初始相位
Figure GDA0004139544480000187
图像重构模块104，用于基于结构光条纹参数估计结果，利用频谱优化方法重构高保真SIM超分辨率图像。
进一步地，在其中一个实施例中，系统还包括：
点扩散函数PSF生成模块102，用于基于理论模型生成点扩散函数PSF；该模块具体包括：
OTF生成单元，用于利用SIM成像系统的光学参数生成光学传递函数OTF，所用公式为：
Figure GDA0004139544480000188
式中，kc为成像物镜的截止频率；
PSF生成单元，用于对光学传递函数
Figure GDA0004139544480000191
进行傅里叶逆变换生成点扩散函数PSF(r)。
关于超分辨结构光照明显微镜的高保真图像重构系统的具体限定可以参见上文中对于超分辨结构光照明显微镜的高保真图像重构方法的限定，在此不再赘述。上述超分辨结构光照明显微镜的高保真图像重构系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
读取通过SIM成像系统采集的多帧原始图像；
估计结构光条纹参数，包括估计结构光条纹波矢量kθ、估计条纹调制度m和初始相位
Figure GDA0004139544480000193
基于结构光条纹参数估计结果，利用频谱优化方法重构高保真SIM超分辨率图像。
关于每一步的具体限定可以参见上文中对于超分辨结构光照明显微镜的高保真图像重构方法的限定，在此不再赘述。
进一步地，在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：
基于理论模型生成点扩散函数PSF，具体包括：
该步骤的具体限定可以参见上文中对于超分辨结构光照明显微镜的高保真图像重构方法的限定，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
读取通过SIM成像系统采集的多帧原始图像；
估计结构光条纹参数，包括估计结构光条纹波矢量kθ、估计条纹调制度m和初始相位
Figure GDA0004139544480000192
基于结构光条纹参数估计结果，利用频谱优化方法重构高保真SIM超分辨率图像。
关于每一步的具体限定可以参见上文中对于超分辨结构光照明显微镜的高保真图像重构方法的限定，在此不再赘述。
进一步地，在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：
基于理论模型生成点扩散函数PSF，具体包括：
该步骤的具体限定可以参见上文中对于超分辨结构光照明显微镜的高保真图像重构方法的限定，在此不再赘述。
利用本发明的HiFi-SIM算法与常规Wiener-SIM算法分别对同一宽场等效图像进行重构，结果如图7所示，由图可知：常规Wiener-SIM重构频谱中存在呈现“类六边形”特征的非自然频谱结构，导致重构图像中存下明显的旁瓣伪影，重构图像中的锤形伪影也更严重，而本发明的方法能有效解决SIM超分辨图像中极易产生的多种典型伪影，实现SIM超分辨图像的高保真重构。
本发明能有效解决长期困扰SIM超分辨图像的保真度和可信度的伪影问题，实现SIM超分辨图像的高保真重构(HiFi-SIM)。此外，本发明可极大提高2D-SIM技术的轴向层切能力，使2D-SIM技术获得可媲美3D-SIM技术的层切能力，有效拓展2D-SIM技术的应用场景。此外，HiFi-SIM使用理论生成PSF替代复杂的测量真实PSF的过程，仍能够重构出高保真的SR-SIM超分辨图像。
本发明提供的超分辨结构光照明显微镜的高保真图像重构方法，不仅适用于对2D-SIM和3D-SIM数据的重构，也同样适用于非线性结构光照明显微镜(NL-SIM)的超分辨图像重建，即适用于几乎所有的基于结构光照明技术原理SIM系统的数据处理。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种高保真图像重构方法，其特征在于，所述方法包括：
读取通过SIM成像系统采集的多帧原始图像；
估计结构光条纹参数，包括估计结构光条纹波矢量kθ、估计条纹调制度m和初始相位
Figure QLYQS_1
基于所述结构光条纹参数估计结果，利用频谱优化方法重构高保真SIM超分辨率图像；
该方法在所述利用频谱优化方法重构高保真SIM超分辨率图像之前还包括：基于理论模型生成点扩散函数PSF，具体包括：
利用SIM成像系统的光学参数生成光学传递函数OTF：
Figure QLYQS_2
式中，kc为成像物镜的截止频率；
对所述光学传递函数
Figure QLYQS_3
进行傅里叶逆变换生成点扩散函数PSF(r)；
所述估计结构光条纹波矢量kθ，具体包括：
对所述原始图像进行预处理，以消除离焦信号、0级频谱信号以及
Figure QLYQS_4
对原始图像中高频信号衰减作用对估计结构光条纹波矢量kθ的影响；
基于预处理后的原始图像，进行交叉关联以估计结构光条纹波矢量kθ；
所述对原始图像进行预处理，具体包括：
对读取到的多帧原始图像Dθ，n(r)进行求和取平均，获得等效宽场图像DEWF，θ(r)；
引入常数权重因子αθ，并结合等效宽场图像DEWF，θ(r)对单帧原始图像Dθ，n(r)进行处理，获得新的单帧原始图像D′θ，n(r)，所用公式为：
D′θ，n(r)＝Dθ，n(r)-αθ·DEWF，θ(r) (2)
式中，αθ∈[0，1]，θ表示方向角，n表示相位；
取αθ＝1，则上式(2)变为：
D′θ，n(r)＝Dθ，n(r)-DEWF，θ(r) (3)
对上式(3)进行去卷积处理，获得最终的预处理后新的单帧原始图像D′θ，n(r)；
所述基于预处理后的原始图像，进行交叉关联以估计结构光条纹波矢量kθ，具体包括：
对所述预处理后新的单帧原始图像D′θ，n(r)进行SIM频谱分离计算，获得分离的多级频谱，包括0级频谱、1级频谱、...、L级频谱，每一级频谱表示为
Figure QLYQS_5
其中，
Figure QLYQS_6
分别表示+l级、-l级频谱，l的取值为0～L，kθ表示结构光的周期；
对所述等效宽场图像DEWF，θ(r)进行傅里叶变换，获得等效宽场图像频谱
Figure QLYQS_7
对除0级频谱之外的所有频谱以及等效宽场图像频谱
Figure QLYQS_8
均进行频谱振幅归一化处理；
利用高斯函数对所述归一化后的所有频谱的中心区域均进行陷波处理；
对所述陷波处理后的等效宽场图像频谱
Figure QLYQS_9
和L级频谱/>
Figure QLYQS_10
或/>
Figure QLYQS_11
进行交叉关联计算，获得结构光条纹波矢量的峰值位置；
在所述峰值位置附近进行亚像素精度的拟合定位，完成结构光条纹波矢量kθ的估计；
所述估计条纹调制度m和初始相位
Figure QLYQS_12
具体包括：
对所述原始图像进行去卷积预处理，获得图像D″θ，n(r)；
对所述图像D″θ，n(r)进行SIM频谱分离计算，获得分离的多级频谱，包括0级频谱、1级频谱、...、L′级频谱，每一级频谱表示为
Figure QLYQS_13
其中，/>
Figure QLYQS_14
分别表示+l′级、-l′级频谱，l′的取值为0～L′，kθ表示结构光的周期；
对所有频谱均进行频谱振幅归一化处理，并利用高斯函数对所述归一化后的所有频谱的中心区域均进行陷波处理；
对所述陷波处理后的所有频谱进行平移，直至每一级频谱的零频与所述0级频谱的零频一致；其中，平移后的l′级频谱记为
Figure QLYQS_15
对所述等效宽场图像频谱
Figure QLYQS_16
进行频谱振幅归一化处理，并利用高斯函数对所述归一化后的等效宽场图像频谱的中心区域进行陷波处理，记为/>
Figure QLYQS_17
针对平移后的每一个频谱
Figure QLYQS_18
或/>
Figure QLYQS_19
对其与所述/>
Figure QLYQS_20
的重叠区域进行交叉关联计算，获得相对应的条纹调制度ml；对平移后的1级频谱/>
Figure QLYQS_21
或/>
Figure QLYQS_22
与所述
Figure QLYQS_23
的重叠区域进行交叉关联计算，获得初始相位/>
Figure QLYQS_24
所述基于结构光条纹参数估计结果，利用频谱优化方法重构高保真SIM超分辨率图像，具体包括：
基于所述结构光条纹参数估计结果，重构初始SIM图像频谱
Figure QLYQS_25
利用高斯函数对所述初始SIM图像频谱
Figure QLYQS_26
的中心区域进行陷波处理，获得频谱
Figure QLYQS_27
构造复合滤波器
Figure QLYQS_28
将所述频谱
Figure QLYQS_29
与所述复合滤波器/>
Figure QLYQS_30
相乘，并进行傅里叶逆变换获得最终的高保真SIM超分辨率图像；
所述基于结构光条纹参数估计结果，重构初始SIM图像频谱，具体包括：
对所述原始图像进行去卷积预处理，获得图像D″′θ，n(r)；
基于结构光条纹参数估计结果，对所述图像D″′θ，n(r)进行SIM频谱分离计算，获得分离的多级频谱，包括0级频谱、1级频谱、...、L″级频谱，每一级频谱表示为
Figure QLYQS_31
其中，
Figure QLYQS_32
分别表示+l″级、-l″级频谱，l″的取值为0～L″，kθ表示结构光的周期；
对除0级频谱之外的所有频谱进行平移，直至每一级频谱的零频与所述0级频谱的零频一致；其中，平移后的l″级频谱记为
Figure QLYQS_33
将平移后的每一级频谱与其相对应的OTF的复共轭相乘并求和，重构初始SIM图像频谱为
Figure QLYQS_34
Figure QLYQS_35
式中，
Figure QLYQS_36
表示平移后的l″级频谱对应OTF，“*”表示共轭；
所述利用高斯函数对所述初始SIM图像频谱
Figure QLYQS_37
的中心区域进行陷波处理，获得频谱/>
Figure QLYQS_38
所用公式为：
Figure QLYQS_39
式中，
Figure QLYQS_40
表示高斯函数；
所述构造复合滤波器
Figure QLYQS_41
所用公式为：
Figure QLYQS_42
式中，
Figure QLYQS_43
为第一复合子滤波器或第一单子滤波器，用于初步恢复陷波及平移处理后塌陷的0级频谱、1级频谱、...、L″级频谱；/>
Figure QLYQS_44
为第二复合子滤波器或第二单子滤波器，用于进一步恢复初步恢复后的1级频谱、...、L″级频谱，同时用于降低初步恢复后的0级频谱的幅值。
2.根据权利要求1所述的高保真图像重构方法，其特征在于，所述第一复合子滤波器
Figure QLYQS_45
具体为：
(1)针对2D-SIM：
Figure QLYQS_46
(2)针对3D-SIM：
Figure QLYQS_47
所述第二复合子滤波器
Figure QLYQS_48
具体为：
(1)针对2D-SIM：
Figure QLYQS_49
(2)针对3D-SIM：
Figure QLYQS_50
其中，
Figure QLYQS_51
Figure QLYQS_52
Figure QLYQS_53
Figure QLYQS_54
式中，α、β、α′、β′均为常数；w1、w2均为维纳常数；
Figure QLYQS_55
和/>
Figure QLYQS_56
均为高斯陷波函数，A1(k)为OTF形状的切趾函数，A2(k)为高斯型切趾函数；A、B、C、D均为常数，rapo为切趾半径，ApoFWHM为高斯型切趾函数A2(k)的常数参数。
3.一种高保真图像重构系统，其特征在于，所述系统包括：
图像采集模块，用于读取通过SIM成像系统采集的多帧原始图像；
参数估计模块，用于估计结构光条纹参数，包括估计结构光条纹波矢量kθ、估计条纹调制度m和初始相位
Figure QLYQS_57
图像重构模块，用于基于所述结构光条纹参数估计结果，利用频谱优化方法重构高保真SIM超分辨率图像；
所述估计结构光条纹波矢量kθ，具体包括：
对所述原始图像进行预处理，以消除离焦信号、0级频谱信号以及
Figure QLYQS_58
对原始图像中高频信号衰减作用对估计结构光条纹波矢量kθ的影响；
基于预处理后的原始图像，进行交叉关联以估计结构光条纹波矢量kθ；
所述对原始图像进行预处理，具体包括：
对读取到的多帧原始图像Dθ，n(r)进行求和取平均，获得等效宽场图像DEWF，θ(r)；
引入常数权重因子αθ，并结合等效宽场图像DEWF，θ(r)对单帧原始图像Dθ，n(r)进行处理，获得新的单帧原始图像D′θ，n(r)，所用公式为：
D′θ，n(r)＝Dθ，n(r)-αθ·DEWF，θ(r) (15)
式中，αθ∈[0，1]，θ表示方向角，n表示相位；
取αθ＝1，则上式(15)变为：
D′θ，n(r)＝Dθ，n(r)-DEWF，θ(r) (16)
对上式(16)进行去卷积处理，获得最终的预处理后新的单帧原始图像D′θ，n(r)；
所述基于预处理后的原始图像，进行交叉关联以估计结构光条纹波矢量kθ，具体包括：
对所述预处理后新的单帧原始图像D′θ，n(r)进行SIM频谱分离计算，获得分离的多级频谱，包括0级频谱、1级频谱、...、L级频谱，每一级频谱表示为
Figure QLYQS_59
其中，
Figure QLYQS_60
分别表示+l级、-l级频谱，l的取值为0～L，kθ表示结构光的周期；
对所述等效宽场图像DEWF，θ(r)进行傅里叶变换，获得等效宽场图像频谱
Figure QLYQS_61
对除0级频谱之外的所有频谱以及等效宽场图像频谱
Figure QLYQS_62
均进行频谱振幅归一化处理；
利用高斯函数对所述归一化后的所有频谱的中心区域均进行陷波处理；
对所述陷波处理后的等效宽场图像频谱
Figure QLYQS_63
和L级频谱/>
Figure QLYQS_64
或/>
Figure QLYQS_65
进行交叉关联计算，获得结构光条纹波矢量的峰值位置；
在所述峰值位置附近进行亚像素精度的拟合定位，完成结构光条纹波矢量kθ的估计；
所述估计条纹调制度m和初始相位
Figure QLYQS_66
具体包括：
对所述原始图像进行去卷积预处理，获得图像D″θ，n(r)；
对所述图像D″θ，n(r)进行SIM频谱分离计算，获得分离的多级频谱，包括0级频谱、1级频谱、...、L′级频谱，每一级频谱表示为
Figure QLYQS_67
其中，/>
Figure QLYQS_68
分别表示+l′级、-l′级频谱，l′的取值为0～L′，kθ表示结构光的周期；
对所有频谱均进行频谱振幅归一化处理，并利用高斯函数对所述归一化后的所有频谱的中心区域均进行陷波处理；
对所述陷波处理后的所有频谱进行平移，直至每一级频谱的零频与所述0级频谱的零频一致；其中，平移后的l′级频谱记为
Figure QLYQS_69
对所述等效宽场图像频谱
Figure QLYQS_70
进行频谱振幅归一化处理，并利用高斯函数对所述归一化后的等效宽场图像频谱的中心区域进行陷波处理，记为/>
Figure QLYQS_71
针对平移后的每一个频谱
Figure QLYQS_72
或/>
Figure QLYQS_73
对其与所述/>
Figure QLYQS_74
的重叠区域进行交叉关联计算，获得相对应的条纹调制度ml；对平移后的1级频谱/>
Figure QLYQS_75
或/>
Figure QLYQS_76
与所述
Figure QLYQS_77
的重叠区域进行交叉关联计算，获得初始相位/>
Figure QLYQS_78
所述基于结构光条纹参数估计结果，利用频谱优化方法重构高保真SIM超分辨率图像，具体包括：
基于所述结构光条纹参数估计结果，重构初始SIM图像频谱
Figure QLYQS_79
利用高斯函数对所述初始SIM图像频谱
Figure QLYQS_80
的中心区域进行陷波处理，获得频谱
Figure QLYQS_81
构造复合滤波器
Figure QLYQS_82
将所述频谱
Figure QLYQS_83
与所述复合滤波器/>
Figure QLYQS_84
相乘，并进行傅里叶逆变换获得最终的高保真SIM超分辨率图像。
4.根据权利要求3所述的高保真图像重构系统，其特征在于，所述系统还包括：
点扩散函数PSF生成模块，用于基于理论模型生成点扩散函数PSF；该模块具体包括：
OTF生成单元，用于利用SIM成像系统的光学参数生成光学传递函数OTF，所用公式为：
Figure QLYQS_85
式中，kc为成像物镜的截止频率；
PSF生成单元，用于对所述光学传递函数
Figure QLYQS_86
进行傅里叶逆变换生成点扩散函数PSF(r)。
5.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至2中任一项所述方法的步骤。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至2中任一项所述的方法的步骤。
CN201911129196.3A 2019-11-18 2019-11-18 高保真图像重构方法、系统、计算机设备和存储介质 Active CN111145089B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911129196.3A CN111145089B (zh) 2019-11-18 2019-11-18 高保真图像重构方法、系统、计算机设备和存储介质
PCT/CN2019/122740 WO2021097916A1 (zh) 2019-11-18 2019-12-03 高保真图像重构方法、系统、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911129196.3A CN111145089B (zh) 2019-11-18 2019-11-18 高保真图像重构方法、系统、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111145089A CN111145089A (zh) 2020-05-12
CN111145089B true CN111145089B (zh) 2023-06-16

Family

ID=70517093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911129196.3A Active CN111145089B (zh) 2019-11-18 2019-11-18 高保真图像重构方法、系统、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN111145089B (zh)
WO (1) WO2021097916A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111650739B (zh) * 2020-05-21 2022-06-03 中国科学院苏州生物医学工程技术研究所 基于dmd的单帧曝光快速三维荧光成像系统及方法
CN113112405B (zh) * 2021-04-12 2022-04-12 广州超视计生物科技有限公司 超分辨率显微镜图像的自适应校正方法及sim-odt双模态系统
CN114092325B (zh) * 2021-09-24 2022-08-16 熵智科技(深圳)有限公司 一种荧光图像超分辨重建方法、装置、计算机设备及介质
CN114140525B (zh) * 2021-11-15 2023-02-28 武汉高德智感科技有限公司 一种利用多帧图像重建提升红外测温距离的方法及系统
CN114219715B (zh) * 2021-12-17 2022-07-08 广州超视计生物科技有限公司 一种结构照明光超分辨显微镜图像的质量增强方法及系统
CN114399442B (zh) * 2022-01-15 2023-09-12 石坚 基于参数自适应的非线性图像增强方法及系统
CN115541550A (zh) * 2022-10-21 2022-12-30 南京理工大学 基于主成分分析的结构光照明显微成像方法
CN116402678B (zh) * 2022-12-19 2023-10-20 中国科学院苏州生物医学工程技术研究所 超分辨结构光照明显微镜的频谱优化直接重建方法
CN115953297B (zh) * 2022-12-27 2023-12-22 二十一世纪空间技术应用股份有限公司 一种遥感图像超分辨率重建和增强方法及装置
CN115965703B (zh) * 2022-12-27 2023-07-25 中国科学院西安光学精密机械研究所 一种高保真结构光照明光切片三维显微图像的重构方法
CN116681595B (zh) * 2023-08-01 2023-11-03 长春理工大学 一种基于多峰psf的远距离计算超分辨率成像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10051240B2 (en) * 2010-06-14 2018-08-14 Howard Hughes Medical Institute Structured plane illumination microscopy
KR102074279B1 (ko) * 2013-11-27 2020-02-06 쑤저우 유니버시티 구조광 조명을 연속적으로 조절 가능한 초고해상도 현미경 이미징 방법 및 시스템
CN105825477B (zh) * 2015-01-06 2019-04-16 南京理工大学 基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法
WO2017070146A1 (en) * 2015-10-19 2017-04-27 William Marsh Rice University High resolution microendoscope employing differential structured illumination and method of using same
EP3403126B1 (en) * 2016-08-23 2020-12-30 The United States Of America, As Represented By The Sectretary, Department Of Health And Human Services Systems and methods for instant total internal reflection fluorescence/structured illumination microscopy
CN108319009B (zh) * 2018-04-11 2020-07-17 中国科学院光电技术研究所 基于结构光调制的快速超分辨成像方法

Also Published As

Publication number Publication date
WO2021097916A1 (zh) 2021-05-27
CN111145089A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN111145089B (zh) 高保真图像重构方法、系统、计算机设备和存储介质
Aguet et al. Model-based 2.5-D deconvolution for extended depth of field in brightfield microscopy
US11189016B1 (en) Systems and methods for image processing
Chen et al. Superresolution structured illumination microscopy reconstruction algorithms: a review
Zhi-guo et al. A wavelet based algorithm for multi-focus micro-image fusion
Forster et al. Extended depth-of-focus for multi-channel microscopy images: a complex wavelet approach
Bradley et al. A one-pass extended depth of field algorithm based on the over-complete discrete wavelet transform
US9942534B2 (en) Image processing system and microscope system including the same
Li et al. PURE-LET deconvolution of 3D fluorescence microscopy images
WO2021227292A1 (zh) 一种直接结构光照明超分辨显微重建方法
CN108717685B (zh) 一种增强图像分辨率的方法及系统
CN115839936A (zh) 一种基于锁相探测的结构光照明超分辨显微成像重构方法
Chaux et al. Wavelet-based restoration methods: application to 3D confocal microscopy images
CN116402678B (zh) 超分辨结构光照明显微镜的频谱优化直接重建方法
CN114219715B (zh) 一种结构照明光超分辨显微镜图像的质量增强方法及系统
Beckers et al. Real-time, extended depth DIC microscopy
Hu et al. HiLo Microscopy with Caustic Illumination
Li et al. Speckle reduction for long distance Fourier ptychography using truncated amplitude flow and filtering
CN117011136A (zh) 一种基于自监督学习的结构光照明显微镜重建方法及系统
Kavitha et al. Survey on wavelet based image fusion techniques
NL2010512C2 (en) Image filtering for microscopy.
CN114004904A (zh) 一种基于虚拟HiLo算法的宽场光学切片快速成像方法
Mir et al. Embedded Architecture-Based Computational Microscopy using Fourier Ptychography
CN117474777A (zh) 一种面向手术显微镜的图像融合方法
CN116109762A (zh) 自适应低伪影的多层三维结构光超分辨显微成像重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant