CN113658056A - 一种基于图像梯度方差分析的序列图像超分辨修正方法 - Google Patents

一种基于图像梯度方差分析的序列图像超分辨修正方法 Download PDF

Info

Publication number
CN113658056A
CN113658056A CN202110792583.6A CN202110792583A CN113658056A CN 113658056 A CN113658056 A CN 113658056A CN 202110792583 A CN202110792583 A CN 202110792583A CN 113658056 A CN113658056 A CN 113658056A
Authority
CN
China
Prior art keywords
image
sequence
gradient
fluorescence intensity
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110792583.6A
Other languages
English (en)
Other versions
CN113658056B (zh
Inventor
马炯
巩星宇
王保举
糜岚
费义艳
周黎
姚龙芳
张丽
陈丽雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202110792583.6A priority Critical patent/CN113658056B/zh
Publication of CN113658056A publication Critical patent/CN113658056A/zh
Priority to PCT/CN2022/104555 priority patent/WO2023284637A1/zh
Application granted granted Critical
Publication of CN113658056B publication Critical patent/CN113658056B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4053Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T5/80
    • G06T5/90
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image

Abstract

本发明公开了一种基于图像梯度方差分析的序列图像超分辨修正方法。本发明用于处理光学显微镜拍摄的荧光序列图像,图像的灰度值分布反映了荧光信号强度的分布,其随时间变化记录了时序波动特征。本发明首先分析序列图像两种信息:其一为,针对荧光强度分布,分析每个像素点自身荧光强度随时间变化的方差;其二为,计算荧光强度梯度场,并分析每个像素点的荧光强度梯度随时间变化的方差,然后用两种方差定义权重函数,对原始序列图像进行加权修正。最后对修正后图像序列进行SRRF分析,得到背景噪声小,伪影减弱,分辨能力增强的超分辨样品荧光图像。本方法适用性广泛,可以用于普通宽场、共聚焦成像,结构光照明成像等。

Description

一种基于图像梯度方差分析的序列图像超分辨修正方法
技术领域
本发明属于光学显微技术领域,具体涉及一种基于图像梯度方差分析的序列图像超分辨修正方法。
背景技术
德国科学家Ernst Abbe提出传统的光学显微镜不能区分距离小于200nm的物体,这大约是可见光最短波长的一半。在这个尺度下,科学家可以成功观察单个的细胞,但是无法分辨200 nm以下的细胞器等结构。因此,需要寻找突破衍射极限的方法实现分辨率的突破,即超分辨技术。
近20年,科学家通过巧妙的设计,已经研究出多种突破光学衍射极限的超分辨技术。有基于单分子定位的显微技术,包括光激活定位显微镜(PALM)和随机光学重构显微镜(STORM)。还有点扩散函数调制技术,受激发射损耗(STED)显微镜,还有使用特殊的照明方式实现超分辨的结构光照明显微镜(SIM)。不过,上述技术或需要复杂的样品制备过程,或需要长时间的拍摄,或需要搭建复杂的显微成像系统。随后,一些不需要特殊样品和复杂装置的超分辨图像算法开始被提出,通过对图像进行空间域或频域的处理、分析、重构,从而实现超分辨效果,典型的算法有SOFI、SRRF。这些超分辨算法基于生物荧光的涨落特性,提取出更高分辨率或对比度的特征。SOFI基于强度的涨落的像光亮累积可以缩小PSF,但是需要数千帧的累积;SRRF通过梯度收敛性逼近单个荧光点位置,但是无法分辨重叠程度过大的两个荧光点,因此会产生伪影,降低分辨率。
发明内容
本发明针对SRRF算法不能很好的分辨重叠荧光点的问题,提出了一种将图像荧光强度梯度涨落的分析,与SOFI所提出的强度涨落的分析以及SRRF算法相结合,从而实现更高质量超分辨图像的图像处理方法。
本方法用于处理光学显微镜拍摄的荧光序列图像,图像的灰度值分布反映了荧光信号强度的分布,每一帧图像可以描述为真实荧光点的分布函数与光学系统的点扩散函数(PSF),形成序列的图像随时间的变化记录了时序波动特征,像素点强度具有随时间波动的涨落特性,通过对荧光涨落的分析,将强度梯度矢量的涨落特性作为新的涨落特征参数,最终得到分辨率高于原始序列图像的特征图像。本发明的技术方案具体介绍如下。
一种基于图像梯度方差分析的序列图像超分辨修正方法,其具体分析方法的流程图如图1所示,具体步骤如下:
(1)以通过光学成像系统获得的原始序列图像为分析对象,对原始序列图像的两种信息进行分析:其一为,针对荧光强度分布,分析每个像素点自身荧光强度随时间变化的方差;其二为,计算荧光强度梯度场,并分析每个像素点的荧光强度梯度随时间变化的方差;
(2)用上述两种方差定义权重函数,对原始图像进行加权修正,得到修正图像序列;
(3)对修正图像序列进行重构算法处理,得到超分辨样品荧光图像。
上述步骤(1)中,对原始序列图像的两种信息进行分析是指对原始序列图像的荧光强度(U(r,t))涨落和梯度(G(r,t))涨落进行分析,进而分别计算每个像素点自身荧光强度随时间变化的方差D[I(r)]、每个像素点的荧光强度梯度随时间变化的方差D[G(r)];具体方法如下:
将原始序列图像的荧光强度(U(r,t))分布描述为一系列计算两个时间序列的方差D[I(r)]和D[G(r)]单个荧光点PSF的非相干叠加:
Figure 38188DEST_PATH_IMAGE002
U()代表PSF,PSF表示了一个物点经过光学系统衍射后在像平面的强度分布函数,a i 表示荧光点最大亮度,f i (t) 表示荧光强度的涨落函数;
用高斯型函数对PSF函数进行近似,则某个坐标为ri的荧光点的PSF表示为:
Figure 283093DEST_PATH_IMAGE004
接下来计算原始图像各像素点的强度序列和梯度序列的方差,得到两个时间序列的方差D[I(r)]和D[G(r)]。
上述步骤(2)中,权重函数用
Figure 748709DEST_PATH_IMAGE006
表示,其定义为:
Figure 804390DEST_PATH_IMAGE008
其中:D[I(r)]为每个像素点自身荧光强度随时间变化的方差,D[G(r)]为每个像素点的荧光强度梯度随时间变化的方差;
权重函数
Figure DEST_PATH_IMAGE009
即为原始序列图像的时间涨落特征图像;与原始强度序列相比,权重函数所代表的涨落特征图像,比原始的强度图像具有更高的分辨重叠点扩散信号的能力。相比于影响的原始强度图像分辨率的PSF,涨落特征图像进一步缩小了单个真实荧光点,以及重合的荧光点可能的分布范围。
上述步骤(3)中,对原始序列图像进行加权修正的方法如下两种:
方法
Figure DEST_PATH_IMAGE010
:将原始序列计算得到的二维的权重函数的函数值进行归一化,作为加权系数直接与原始序列图像对应像素位置的强度相乘进行强度修正,得到修正后的原始序列图像荧光强度分布;
方法
Figure 480091DEST_PATH_IMAGE011
:以权重函数为时间涨落特征图像,将原始图像和时间涨落特征图像转换为x和y方向的梯度矩阵,将各像素点梯度矢量归一化为单位矢量后,将原始图像和时间涨落特征图像进行梯度矢量的叠加,对原始序列图像荧光梯度场进行修正,最后将调制后的荧光梯度场进行积分,得到修正后的原始序列图像荧光强度分布。此方法通过梯度而非强度修正,对于亮度均匀性较差,或存在个别亮点的原始荧光图像,此方法更加合适。
本发明选择上述两种修正方法的任意一种,使用更高分辨的权重函数将原始图像向涨落特征进行修正,可以提高原始图像的分辨率。修正后的序列图像经过SRRF算法分析,可以得到分辨率、背景噪声等性能得到综合提升和优化的超分辨图像。
上述步骤(3)中,重构算法为超分辨径向涨落SRRF算法。
本发明原创性地引入了荧光强度梯度的涨落特性作为荧光涨落分析地新参数指标。将梯度的涨落与真实荧光信号分布建立相关性,以及量化的分析指标。梯度涨落的引入可以更进一步将原始序列中的两个独立荧光点,从由光学衍射导致的,强度分布重叠而无法分辨的情况中恢复出来,从而实现分辨率的恢复和伪影的消除,最后输出基础分辨率和信噪比等得到提高的修正图像。本发明与现有技术相比,具有以下几点优势:
1、与SOFI 相比,引入了图像强度梯度的涨落作为新的分析指标,与强度涨落结合,可以使对重叠荧光点分辨能力进一步提高。
2、本发明弥补了SRRF对原始图像中重叠荧光点分辨能力有限的缺陷,经过本发明算法修正后的图像,经过SRRF处理可以分辨出更精细的结构,图像伪影和背景噪声得到有效改善。
3、本发明可以得到背景噪声小,伪影减弱,分辨能力增强的超分辨生物样品荧光图像。本算法适用性广泛,可以用于普通宽场、共聚焦成像,结构光照明成像等。
附图说明
图1为图像梯度方差分析的序列图像超分辨修正方法的流程图。
图2(a)为示例原始序列图片的单帧展示。宽场条件下拍摄的荧光标记的细胞微管蛋白。
图2(b)为采用修正方法
Figure 13840DEST_PATH_IMAGE010
处理后的修正序列图像。
图2(c)为采用修正方法
Figure 84696DEST_PATH_IMAGE011
处理后的修正序列图像。
图3为 SRRF程序界面。
图4(a)为原始序列图像经过SRRF处理的结果。
图4(b)为采用方法
Figure 576857DEST_PATH_IMAGE010
修正的序列图像经过SRRF处理的结果。
图4(c)为采用方法
Figure 615220DEST_PATH_IMAGE011
修正的序列图像经过SRRF处理的结果。
具体实施方式
下面结合附图和实施例对本发明的技术方案进行详细阐述。
图像处理实例
本发明的相关算法基于MATLAB(R2020a)编写,可以直接建立工作文件夹运行。运行程序,输入如图2(a)的序列图像,输出的经过修正方法
Figure 936349DEST_PATH_IMAGE010
、方法
Figure 376558DEST_PATH_IMAGE011
修正后的序列图像如图2(b)、(c)所示。相比于原始图像,修正图像中,两个并排的微光蛋白结构的基础分辨率得到提高,这意味着修正后的序列图像重构后将得到分辨率更高的图片。
在重构方法上,以SRRF算法为例。图像处理使用科研图像处理软件ImageJ(官网下载地址见附录1)。SRRF作为ImageJ的插件可以通过Github下载(附录2)。SRRF软件为一系列的java包,以jar格式文件存在,根据Github提供的安装指南,将下载的SRRF软件包和相关jar包添加到ImageJ的解压目录下的plugins文件夹中。运行ImageJ,在plugins菜单下可以找到二级菜单“Nanoj-SRRF”,点击“SRRF Analysis”打开SRRF程序界面(图3)。
对于原始序列图像,Radiality magnification参数设置为6,点击OK运行,可以得到图4(a)所示的图像;对于图2(b)、(c)所示的修正序列图像,Radiality magnification参数设置为3,点击OK运行,可以得到图4(b)、(c)所示的图像。通过对比可以看出,原始图像直接进行SRRF处理,由于荧光信号的重叠,并列的微管蛋白结构出现了缺失,只能分辨出一条。序列图像经过修正后,荧光信号重叠的现象得到有效改善,恢复为可辨认的两条微管蛋白。经过SRRF处理后,可以获得清晰的双线结构。
上述方法同样适用于除宽场之外的其他方法如共聚焦、SIM、STORM等拍摄的序列图像。修正图像可以有效地恢复分辨率,消除图像伪影和背景噪声,实现高质量的超分辨图像重构。
附录
1、Fiji官网:https://fiji.sc/
2、SRRF Github:https://github.com/henriqueslab/nanoj-srrf。

Claims (6)

1.一种基于图像梯度方差分析的序列图像超分辨修正方法,其特征在于,具体步骤如下:
(1)以通过光学成像系统获得的原始序列图像为分析对象,对原始序列图像的两种信息进行分析:其一为,针对荧光强度分布,分析每个像素点自身荧光强度随时间变化的方差;其二为,计算荧光强度梯度场,并分析每个像素点的荧光强度梯度随时间变化的方差;
(2)用上述两种方差定义权重函数,对原始序列图像进行加权修正,得到修正图像序列;
(3) 对修正图像序列进行后续重构算法处理,得到超分辨样品荧光图像。
2.根据权利要求1所述的序列图像超分辨修正方法,其特征在于,步骤(1)中,对原始序列图像的两种信息进行分析是指对原始序列图像的荧光强度(U(r,t))涨落和梯度(G(r,t))涨落进行分析,进而分别计算每个像素点自身荧光强度随时间变化的方差D[I(r)]、每个像素点的荧光强度梯度随时间变化的方差D[G(r)];具体方法如下:
将原始序列图像的荧光强度(U(r,t))分布描述为一系列计算两个时间序列的方差D[I(r)]和D[G(r)]单个荧光点PSF的非相干叠加:
Figure DEST_PATH_IMAGE002
U()代表PSF,PSF表示了一个物点经过光学系统衍射后在像平面的强度分布函数,a i 表示荧光点最大亮度,f i (t) 表示荧光强度的涨落函数;
用高斯型函数对PSF函数进行近似,则某个坐标为ri的荧光点的PSF表示为:
Figure DEST_PATH_IMAGE004
接下来计算原始图像各像素点的强度序列和梯度序列的方差,得到两个时间序列的方差D[I(r)]和D[G(r)]。
3.根据权利要求1所述的序列图像超分辨修正方法,其特征在于,步骤(2)中,权重函数用
Figure DEST_PATH_IMAGE006
表示,其定义为:
Figure DEST_PATH_IMAGE008
其中:D[I(r)]为每个像素点自身荧光强度随时间变化的方差,D[G(r)]为每个像素点的荧光强度梯度随时间变化的方差;
权重函数
Figure DEST_PATH_IMAGE006A
即为原始序列图像的时间涨落特征图像。
4.根据权利要求1所述的序列图像超分辨修正方法,其特征在于,步骤(3)中,对原始序列图像进行加权修正的方法如下:对原始序列图像荧光强度赋予加权系数进行大小修正。
5.根据权利要求1所述的序列图像超分辨修正方法,其特征在于,步骤(3)中,对原始序列图像进行加权修正的方法如下:以权重函数为时间涨落特征图像,将原始图像和时间涨落特征图像转换为x和y方向的梯度矩阵,将各像素点梯度矢量归一化为单位矢量后,将原始图像和时间涨落特征图像进行梯度矢量的叠加,对原始序列图像荧光梯度场进行修正,最后将调制后的荧光梯度场进行积分。
6.根据权利要求1所述的序列图像超分辨修正方法,其特征在于,步骤(3)中,重构算法为超分辨径向涨落SRRF算法。
CN202110792583.6A 2021-07-14 2021-07-14 一种基于图像梯度方差分析的序列图像超分辨修正方法 Active CN113658056B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110792583.6A CN113658056B (zh) 2021-07-14 2021-07-14 一种基于图像梯度方差分析的序列图像超分辨修正方法
PCT/CN2022/104555 WO2023284637A1 (zh) 2021-07-14 2022-07-08 一种基于图像梯度方差分析的序列图像超分辨修正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110792583.6A CN113658056B (zh) 2021-07-14 2021-07-14 一种基于图像梯度方差分析的序列图像超分辨修正方法

Publications (2)

Publication Number Publication Date
CN113658056A true CN113658056A (zh) 2021-11-16
CN113658056B CN113658056B (zh) 2024-04-26

Family

ID=78477335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110792583.6A Active CN113658056B (zh) 2021-07-14 2021-07-14 一种基于图像梯度方差分析的序列图像超分辨修正方法

Country Status (2)

Country Link
CN (1) CN113658056B (zh)
WO (1) WO2023284637A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100033A (zh) * 2022-05-20 2022-09-23 浙江大学 一种荧光显微图像超分辨重建方法和装置以及计算设备
WO2023284637A1 (zh) * 2021-07-14 2023-01-19 复旦大学 一种基于图像梯度方差分析的序列图像超分辨修正方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100303386A1 (en) * 2009-06-02 2010-12-02 Enderlein Joerg Superresolution Optical Fluctuation Imaging (SOFI)
CN102436648A (zh) * 2011-08-11 2012-05-02 上海交通大学 基于背景荧光消除的目标荧光光谱解混方法
CN107202780A (zh) * 2017-04-28 2017-09-26 浙江大学 一种基于散斑照明的超分辨显微方法和装置
CN108665411A (zh) * 2018-03-09 2018-10-16 北京超维景生物科技有限公司 一种图像重建的方法和系统
CN109035143A (zh) * 2018-07-17 2018-12-18 华中科技大学 一种基于贝塞尔光片成像的三维超分辨方法
CN110246083A (zh) * 2019-05-10 2019-09-17 杭州电子科技大学 一种荧光显微图像超分辨率成像方法
CN111007046A (zh) * 2019-12-07 2020-04-14 复旦大学 基于主动随机调制激发光的超分辨显微成像方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019145767A1 (en) * 2018-01-25 2019-08-01 King Abdullah University Of Science And Technology Deep-learning based structure reconstruction method and apparatus
CN111402210B (zh) * 2020-03-03 2022-11-11 山东师范大学 一种单分子荧光信号图像的超分辨定位方法及系统
CN111524064B (zh) * 2020-03-11 2022-04-29 浙江大学 基于深度学习的荧光显微图像超分辨重建方法
CN111474150B (zh) * 2020-04-08 2022-03-22 华南师范大学 一种sted超分辨图像背景噪声差分抑制方法
CN113658056B (zh) * 2021-07-14 2024-04-26 复旦大学 一种基于图像梯度方差分析的序列图像超分辨修正方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100303386A1 (en) * 2009-06-02 2010-12-02 Enderlein Joerg Superresolution Optical Fluctuation Imaging (SOFI)
CN102436648A (zh) * 2011-08-11 2012-05-02 上海交通大学 基于背景荧光消除的目标荧光光谱解混方法
CN107202780A (zh) * 2017-04-28 2017-09-26 浙江大学 一种基于散斑照明的超分辨显微方法和装置
CN108665411A (zh) * 2018-03-09 2018-10-16 北京超维景生物科技有限公司 一种图像重建的方法和系统
CN109035143A (zh) * 2018-07-17 2018-12-18 华中科技大学 一种基于贝塞尔光片成像的三维超分辨方法
CN110246083A (zh) * 2019-05-10 2019-09-17 杭州电子科技大学 一种荧光显微图像超分辨率成像方法
CN111007046A (zh) * 2019-12-07 2020-04-14 复旦大学 基于主动随机调制激发光的超分辨显微成像方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘广 等: "强荧光背景环境中荧光涨落谱-蒙特卡罗模拟研究", 光谱学与光谱分析, vol. 24, no. 11, 30 November 2004 (2004-11-30) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023284637A1 (zh) * 2021-07-14 2023-01-19 复旦大学 一种基于图像梯度方差分析的序列图像超分辨修正方法
CN115100033A (zh) * 2022-05-20 2022-09-23 浙江大学 一种荧光显微图像超分辨重建方法和装置以及计算设备
CN115100033B (zh) * 2022-05-20 2023-09-08 浙江大学 一种荧光显微图像超分辨重建方法和装置以及计算设备

Also Published As

Publication number Publication date
WO2023284637A1 (zh) 2023-01-19
CN113658056B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
US20220114711A1 (en) Systems and methods for deep learning microscopy
AU2014292179B2 (en) Auto-focus methods and systems for multi-spectral imaging
WO2023284637A1 (zh) 一种基于图像梯度方差分析的序列图像超分辨修正方法
US8041142B2 (en) Method and device for reconstructing images
WO2013164103A1 (en) Method and apparatus for single-particle localization using wavelet analysis
CN114757832B (zh) 基于交叉卷积注意力对抗学习的人脸超分辨方法和装置
KR20140093237A (ko) 화상 합성 장치, 화상 합성 방법 및 기록 매체
CN101727663B (zh) 用于图像去模糊的方法和系统
US20220198611A1 (en) Microscopy with Near-Ideal sCMOS Camera
JP6099477B2 (ja) 撮像装置、顕微鏡システム及び撮像方法
Bai et al. Imaging enhancement of light-sheet fluorescence microscopy via deep learning
CN108537862B (zh) 一种自适应降噪的傅里叶衍射扫描显微镜成像方法
CN107667310B (zh) 荧光成像系统
Zhang et al. Correction of out-of-focus microscopic images by deep learning
CN110852947B (zh) 一种基于边缘锐化的红外图像超分辨方法
Wu et al. Algorithm Development of Cloud Removal from Solar Images Based on Pix2Pix Network.
CN111402210B (zh) 一种单分子荧光信号图像的超分辨定位方法及系统
CN111524079B (zh) 基于分量替换和低通滤波的多光谱遥感图像全色锐化方法
US10795140B2 (en) Method, device and laser scanning microscope for generating rasterized images
WO2022113367A1 (ja) 画像変換方法、プログラム、画像処理装置
CN111656246B (zh) 用于定位显微的方法和系统、计算机可读存储介质
CN115100033B (zh) 一种荧光显微图像超分辨重建方法和装置以及计算设备
Fersini et al. Direct access to optical aberration information in fluorescence laser scanning microscopy using detector arrays
Habeeb et al. Solar Line-of-Sight Magnetograms Super-Resolution Using Deep Neural Networks
CN117173055A (zh) 一种利用深度学习的去噪神经网络进行二次电子图像去噪的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant