CN102288589A - 单个荧光探针的定位方法、装置及超分辨成像方法、系统 - Google Patents
单个荧光探针的定位方法、装置及超分辨成像方法、系统 Download PDFInfo
- Publication number
- CN102288589A CN102288589A CN2011101716481A CN201110171648A CN102288589A CN 102288589 A CN102288589 A CN 102288589A CN 2011101716481 A CN2011101716481 A CN 2011101716481A CN 201110171648 A CN201110171648 A CN 201110171648A CN 102288589 A CN102288589 A CN 102288589A
- Authority
- CN
- China
- Prior art keywords
- image
- fluorescence probe
- fluoroscopic image
- rectangular area
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明适用于显微成像领域,提供了一种单个荧光探针的定位方法、装置及超分辨成像方法、系统,该定位方法包括下述步骤:以单个荧光探针的荧光图像的极大值点为中心,选取一矩形区域;对矩形区域内的荧光图像进行傅里叶变换,获得所述荧光图像的傅里叶频谱;获得荧光图像的傅里叶频谱的相移;对相移进行梯度运算,获得单个荧光探针的二维位置坐标。该定位方法是一种噪声自由的频率域非迭代的定位方法,对运算初始值的选取及噪声的评估没有依赖性,可实现快速、精确定位。基于该定位方法的超分辨荧光显微成像方法可以对探测物品中的多个荧光探针进行快速定位。该定位方法及成像方法在活体细胞三维纳米成像和单分子追踪等方面具有广阔的应用前景。
Description
技术领域
本发明属于显微成像领域,尤其涉及一种单个荧光探针的定位方法、装置及超分辨成像方法、系统。
背景技术
荧光显微成像由于受光学衍射极限的限制,其空间分辨率只能达到横向约200nm、轴向约600nm。对于尺度小于衍射极限的单个荧光探针来说,探测到荧光图像的大小是由显微光学系统的艾里斑确定的,而该荧光探针的实际空间位置可由该弥散斑的质心确定,其定位精度可达纳米级。单个荧光探针的定位和探测为监测蛋白质及生物大分子的动力学过程提供了强大的工具,成为细胞生物学最重要的研究领域之一,如在感染过程中的流感病毒的运动,分子马达的运动等。超分辨荧光成像可以以纳米级的空间分辨率直观地显示被标记分子在被标记物内的空间分布,并能用来研究被标记分子之间的相互作用过程,可用于生物领域研究细胞内DNA、RNA与蛋白质分子之间的相互作用和运动规律。目前常用的荧光成像方法是利用荧光标记物本身的开关效应来进行定位的显微成像技术,通过时分复用、质心定位以及图像复合来进行纳米分辨成像。例如,光敏定位显微(PALM)、随机光学重建显微(STORM)等等,它们在每个时刻获取稀疏分布的荧光标记物的定位信息,然后将不同时刻获得的定位信息叠加,最终实现高横向纳米分辨。结合轴向分辨辅助元件或方法,可进行三维纳米显微成像。根据基于单分子定位方法的超分辨荧光显微的原理可知,单分子定位方法的优劣对超分辨图像质量和数据处理速度都有重要的影响,提高荧光分子的定位速度是进行实时成像的重要途经。
目前,单个荧光探针定位方法主要有质心法、高斯拟合法、极大似然法,解线性方程组法,马良算法等。在这些方法中,质心法速度快,但定位精度较低。高斯拟合法在弱信号水平下能保持较高的定位精度,从而成为超分辨成像中应用最广泛的一种定位方法,然而该方法需要进行迭代拟合运算,收敛速度和精度对初始值的选取有很强的依赖性,并且非常耗时。极大似然法也是一个迭代优化方法,与高斯拟合法存在同样的问题。解线性方程组法是在知道荧光分子成像模型与背景噪声强度的情况下,导出一个线性方程组,通过求解线性方程组获得荧光分子的精确位置,该算法速度很快,但对噪声评估有很强的依赖性。马良算法将极大似然估计和图形处理单元(graphics processing unit,GPU)并行计算相组合,实现了单分子定位的快速运算,但算法的本质还是一种迭代优化算法。并且,对厚样品成像来说,精确估计噪声是非常困难的,非焦面荧光在不同的获取时刻在空间和时间上都是变化的,即使是在均匀光照明下,CCD中不同的像素也具有不同的噪声和背景标准,因此该方法受噪声的影响仍然很大。
发明内容
本发明的目的在于提供一种单个荧光探针的定位方法,旨在解决传统定位方法定位速度慢及受噪声影响大的问题。
本发明是这样实现的,一种单个荧光探针的定位方法,所述方法包括下述步骤:
以所述单个荧光探针的荧光图像的极大值点为中心,选取一矩形区域;
对所述矩形区域内的荧光图像进行傅里叶变换,获得所述荧光图像的傅里叶频谱:
其中,I′(k,l)为频率域中像元(k,l)处的荧光强度的傅里叶变换,H(k,l)为光学系统在像元(k,l)处的光学传递函数,B(k,l)为像元(k,l)处的噪声的傅里叶变换,M,N为矩形区域内的像元数,x0,y0为单个荧光探针的二维位置坐标;
其中,arctan(·)为反正切三角运算,Re(·)和Im(·)分别表示求实部和虚部;
基于方程 进行梯度运算,获得所述单个荧光探针的二维位置坐标;
其中,mean(·)表示对所述矩形区域内的所有像元求平均。
本发明的另一目的在于提供一种超分辨荧光显微成像方法,所述方法包括下述步骤:
采集多幅荧光图像;
在每幅荧光图像中搜索极大值点;
采用上述的单个荧光探针的定位方法对每幅图像的每个极大值点对应的图像区域进行分析,获取全部荧光探针的位置信息;
根据全部荧光探针的位置信息描绘出超分辨荧光图像。
本发明的另一目的在于提供一种单个荧光探针的定位装置,所述定位装置包括:
区域选取单元,用于以单个荧光探针的荧光图像的极大值点为中心,选取一矩形区域;
傅里叶变换单元,用于对所述矩形区域内的荧光图像进行傅里叶变换,获得所述荧光图像的傅里叶频谱:
其中,I′(k,l)为频率域中像元(k,l)处的荧光强度的傅里叶变换,H(k,l)为光学系统在像元(k,l)处的光学传递函数,B(k,l)为像元(k,l)处的噪声的傅里叶变换,M,N为矩形区域内的像元数,x0,y0为单个荧光探针的二维位置坐标;
其中,arctan(·)为反正切三角运算,Re(·)和Im(·)分别表示求实部和虚部;
坐标获取单元,用于根据方程 进行梯度运算,获得所述单个荧光探针的二维位置坐标;
其中,mean(·)表示对所述矩形区域内的所有像元求平均。
本发明的另一目的在于提供一种超分辨荧光显微成像系统,所述系统包括:
用于采集多幅荧光图像的图像采集器,以及与所述图像采集器相连接、用于获取超分辨荧光图像的图像处理器;
所述图像处理器包括上述的单个荧光探针的定位装置。
本发明提供的单个荧光探针的定位方法是一种噪声自由的频率域非迭代的定位方法,该方法通过对单分子荧光图像进行傅里叶变换,并根据变换获得的傅里叶谱的相移来确定单个荧光探针的二维位置,不需要迭代运算过程,对运算初始值的选取及噪声的评估没有依赖性,可实现快速、精确定位。基于上述定位方法的超分辨荧光显微成像方法可以对探测物品中的多个荧光探针进行精确、快速的纳米级定位。上述的定位方法及成像方法在活体细胞三维纳米成像和单分子追踪等方面具有广阔的应用前景。
附图说明
图1是本发明第一实施例提供的单个荧光探针的定位方法的流程图;
图2a是本发明第一实施例提供的单个荧光探针的定位方法的模拟验证示意图(一);
图2b是本发明第一实施例提供的单个荧光探针的定位方法的模拟验证示意图(二);
图3是本发明第二实施例提供的单个荧光探针的定位方法的流程图;
图4是本发明第二实施例提供的轴向定位的光学系统示意图;
图5是本发明第二实施例提供的轴向定位步骤的流程图;
图6是本发明第三实施例提供的超分辨荧光显微成像方法的流程图;
图7a是本发明第三实施例提供的超分辨荧光显微成像方法的模拟验证示意图(一);
图7b是本发明第三实施例提供的超分辨荧光显微成像方法的模拟验证示意图(二);
图7c是本发明第三实施例提供的超分辨荧光显微成像方法的模拟验证示意图(三);
图8a是采用本发明第三实施例提供的超分辨荧光显微成像方法对HeLa细胞突起中微丝束进行超分辨荧光成像的示意图(一);
图8b是采用本发明第三实施例提供的超分辨荧光显微成像方法对HeLa细胞突起中微丝束进行超分辨荧光成像的示意图(二);
图8c是采用本发明第三实施例提供的超分辨荧光显微成像方法对HeLa细胞突起中微丝束进行超分辨荧光成像的示意图(三)。
图9是本发明第四实施例提供的单个荧光探针的定位装置示意图;
图10是本发明第五实施例提供的超分辨荧光成像系统示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种噪声自由的频率域非迭代的定位方法,对运算初始值的选取及噪声的评估没有依赖性,可实现快速、精确的单个荧光探针的定位。
本发明提供了一种单个荧光探针的定位方法,包括下述步骤:
以单个荧光探针的荧光图像的极大值点为中心,选取一矩形区域;
对矩形区域内的荧光图像进行傅里叶变换,获得荧光图像的傅里叶频谱:
其中,I′(k,l)为频率域中像元(k,l)处的荧光强度的傅里叶变换,H(k,l)为光学系统在像元(k,l)处的光学传递函数,B(k,l)为像元(k,l)处的噪声的傅里叶变换,M,N为矩形区域内的像元数,x0,y0为单个荧光探针的二维位置坐标;
其中,arctan(·)为反正切三角运算,Re(·)和Im(·)分别表示求实部和虚部;
基于方程 进行梯度运算,获得单个荧光探针的二维位置坐标;
其中,mean(·)表示对矩形区域内的所有像元求平均。
基于上述定位方法,本发明还提供了一种超分辨荧光显微成像方法,包括下述步骤:
采集多幅荧光图像;
在每幅荧光图像中搜索极大值点;
采用上述的单个荧光探针的定位方法对每幅图像的每个极大值点对应的图像区域进行分析,获取全部荧光探针的位置信息;
根据全部荧光探针的位置信息描绘出超分辨荧光图像。
本发明还提供一种单个荧光探针的定位装置,所述定位装置包括:
区域选取单元,用于以单个荧光探针的荧光图像的极大值点为中心,选取一矩形区域;
傅里叶变换单元,用于对所述矩形区域内的荧光图像进行傅里叶变换,获得所述荧光图像的傅里叶频谱:
其中,I′(k,l)为频率域中像元(k,l)处的荧光强度的傅里叶变换,H(k,l)为光学系统在像元(k,l)处的光学传递函数,B(k,l)为像元(k,l)处的噪声的傅里叶变换,M,N为矩形区域内的像元数,x0,y0为单个荧光探针的二维位置坐标;
其中,arctan(·)为反正切三角运算,Re(·)和Im(·)分别表示求实部和虚部;
坐标获取单元,用于根据方程 进行梯度运算,获得所述单个荧光探针的二维位置坐标;
其中,mean(·)表示对所述矩形区域内的所有像元求平均。
本发明还提供一种超分辨荧光显微成像系统,所述系统包括:
用于采集多幅荧光图像的图像采集器,以及与所述图像采集器相连接、用于获取超分辨荧光图像的图像处理器;
所述图像处理器包括上述的单个荧光探针的定位装置。
以下结合具体实施例对本发明的具体实现进行详细描述:
实施例一:
图1示出了本发明第一实施例提供的单个荧光探针的定位方法的流程图,图2示出了本发明第一实施例提供的单个荧光探针的定位方法的模拟验证示意图,为了便于说明,仅示出了与本实施例相关的部分。
在步骤S101中,以单个荧光探针的荧光图像的极大值点为中心,选取一矩形区域。
在此步骤中,该矩形区域宽度主要根据对频率域信号采样率的要求合理的确定,可以为光学成像系统的点扩散函数的半高全宽的2~5倍,优选为3倍。
在步骤S102中,对上述的矩形区域内的荧光图像进行傅里叶变换,以获得该荧光图像的傅里叶频谱:
其中,I′(k,l)为频率域中像元(k,l)处的荧光强度的傅里叶变换,H(k,l)为光学系统在像元(k,l)处的光学传递函数,B(k,l)是像元(k,l)处的噪声的傅里叶变换,M,N表示矩形区域内的像元数,x0,y0为单个荧光探针的二维位置坐标。
其中,arctan(·)为反正切三角运算,Re(·)和Im(·)分别表示求实部和虚部。
在步骤S104中,基于方程: 进行梯度运算,以获得单个荧光探针的二维位置坐标。
其中,mean(·)表示对矩形区域内的所有像元求平均。
通过上述四个步骤,可以获得单个荧光探针的二维坐标,进而确定单个荧光探针的横向位置,应当理解,该二维坐标是在与焦平面平行的平面上的二维位置坐标(x0,y0)。在实际定位过程中,可以采集多幅荧光图像并通过上述的步骤进行定位分析,获得多个定位结果,最终选取这多个定位结果的平均值作为单个荧光探针的定位结果。
以下对本实施例提供的单个荧光探针的定位方法进行进一步的解释说明:
对于单个荧光探针的荧光显微成像来说,探测到的单个荧光探针的荧光图像是由成像系统的点扩散函数(PSF)h决定的衍射斑,即艾里(Airy)斑。因此,考虑到噪声,对于位于坐标(x0,y0)处的单个荧光探针,在探测器上(m,n)像元处的强度分布可以描述为:
I(m,n)=h(m-x0,n-y0)+b(m,n) (1)
其中,b表示噪声的强度,主要包括探测器噪声和背景噪声,应当理解,b(m,n)即表示(m,n)像元处的噪声强度。
对上式进行离散傅里叶变换(discrete Fourier transform,DFT),得到:
(0≤m,k≤M-1,0≤n,l≤N-1)
其中,M,N表示矩形区域内的像元数。
这样可得到频域中像元(k,l)处单个荧光探针的荧光强度的傅里叶谱分布:
式中,H为系统的光学传递函数,B是噪声的傅里叶变换,M,N表示矩形区域内的像元数,x0,y0为单个荧光探针的二维位置坐标。
由上式可知,在信噪比较高的时候,对于图像的傅里叶谱,第二项的贡献小于第一项,而且对于像差校正完善的光学系统,H(k,l)是实函数。因此相位贡献主要来自于如果能精确计算出该项的相位,就能估计出荧光分子的位置(x0,y0)。因此,由方程(2)可知,单个荧光探针的荧光图像的傅里叶谱的相移可以用以下方程近似给出:
其中arctan(·)是反正切三角运算,Re(·)和Im(·)分别表示求实部和虚部。
从上式可以看出,计算相位需要进行反正切三角函数运算,其复角主值范围为再根据公式(3)中分子和分母数值的符号,可以将相位延拓至[-π,π)(或者换算为[0,2π))之间,这样就造成在实际相位值为2nπ的地方将会出现间断点或称为跳变点,即折叠相位。但折叠相位并不会影响相位的梯度(微分),微分只是会在间断点处产生一些突变点,通过设置阈值可以非常容易的排除这些点,因此,对上述折叠相位进行梯度运算,就可确定单分子的坐标(x0,y0),其值如下:
(4)
式中mean(·)表示对所有像元求平均(排除间断点)。由于噪声的存在,肯定会产生一些起伏,而在方程(4)中对所有像元进行了平均运算,这样便可以尽量减少噪声的影响。
本实施例提供的单个荧光单针的定位方法是一种噪声自由的频率域非迭代的定位方法,该方法首先对单分子荧光图像进行傅里叶变换,根据变换获得的傅里叶谱的相移来确定单个荧光探针的二维位置,不需要迭代运算过程,并且对运算初始值的选取没有依赖性,可以大幅度地提高数据处理速度及运算精度,可以快速、精确的纳米级定位;并且,该方法对噪声评估的依赖性很小,可以避免噪声的影响,使定位精度进一步提高。该方法在活体细胞三维纳米成像和单分子追踪等方面具有广阔的应用前景。
在本实施例中,需要选择一个矩形的局域图像来进行运算。考虑到采样率的因素,具体的,该矩形区域的宽度大约为系统点扩散函数(PSF)的半高全宽(FWHM)的2~5倍大小,优选为3倍。假如像元数为7×7,对如此小的区域进行傅里叶变换,导致频率域信号的采样率非常低,将影响相位的计算精度,为了提高算法的精度和运算速度,我们可以进一步利用信号处理中常用的技术-补零(Zero-padding)技术来增加频谱的采样密度,即在原图像的周围填充零使得图像变为一幅像元数为2的整数次幂的更大的图像,如32×32,这样,在做傅里叶变换时,可利用补零快速傅里叶变换算法(ZP-FFT)提高算法的精度和运算速度。
参考附图2a~2b,在本实施例中,为了验证本实施例提供的单个荧光探针的定位方法的精确性,进行了以下模拟验证。
首先对位于坐标(0,0)点的单个荧光探针进行模拟定位分析。模拟参数如下:光学系统物镜放大倍率为100,数值孔径为1.4,探测器像元大小为16μm,像元数为13×13。探测到的光子数假设为一个确定的值2000。叠加的噪声分为泊松分布的信号噪声和高斯分布的背景噪声,背景噪声均值为20e-,标准差为10e-,相当于目前使用的EMCCD参数。首先,根据光学系统PSF获得单个探针的荧光图像,再根据像元大小对上述图像进行像素化采样;最后加上泊淞分布的光子计数噪声和高斯分布的背景噪声。对该分子进行重复成像2000次,获得2000幅单分子荧光图像。基于这些模拟单分子荧光图像,对每一幅图像,根据上述步骤S101~S104对该探针进行定位,共获得2000个定位点,如图2a所示,分析这些定位点的坐标分布。由于图像是中心对称的,图2b只给出x坐标直方图分布(如图2b中的竖条部分),并通过高斯函数拟合,根据该高斯拟合曲线(如图2b中实线部分)可以确定定位点位置坐标分布的标准差为5.07nm,相应的半高全宽为11.93nm。因此,该定位方法的定位精度可以达到5nm左右。
实施例二:
图3示出了本发明第二实施例提供的单个荧光探针的定位方法的流程图,图4示出了本发明第二实施例提供的轴向定位的光学系统示意图,图5示出了本发明第二实施例提供的轴向定位步骤的流程图,为了便于说明,仅示出了与本实施例相关的部分。
在本实施例中,可以在上述实施例提供的定位方法的基础上增加轴向定位步骤,获取轴向坐标,以实现单个荧光探针的三维定位。具体参考附图3,本实施例提供的单个荧光探针的定位方法包括步骤S301~S306,其中,步骤S301~S304采用同上述步骤S101~S104相同的操作,以获得荧光探针的横向位置坐标。
在步骤S305中,对单个荧光探针进行轴向定位,获取轴向位置坐标;
在步骤S306中,将轴向位置坐标与二维位置坐标相结合,获得单个荧光探针的三维位置坐标。
应当理解,在该定位方法中,步骤S305所述的轴向定位步骤不必严格在步骤S301至S304后进行。
在本实施例中,步骤S305具体可以采用双焦平面差动探测方法。适用于该方法的成像系统如附图4所示,两个探测器(第一探测器401、第二探测器402)分别对称地位于系统的像焦平面的上方和下方等间距的位置。当被探测物面位于焦平面时,两探测器上的单分子弥散光斑大小相等,光强相等,两探测器输出信号之差为零;当被探测物面偏离物方焦平面一点位移时,两探测器上的单分子光斑大小不再相等,探测器输出信号也不同。利用这两个探测器探测到的单分子荧光强度信号差动相减后得到的探测信号可以定位轴向位置。具体的,光源403发出激发光,激发光照射在样品池404中的物品上,激发物品中的荧光探针发光,发出的荧光被接收装置405接收并对其进行调整后输出,输出的荧光光束被半反射镜406分为两束,即反射光束和透射光束,反射光束被第一探测器401采集,透射光束被第二探测器402采集。将这两个探测器探测到的单分子荧光强度信号进行差动相减便可以定位轴向位置。因此,该双焦平面差动探测方法具体可以包括下述步骤:
在步骤S501中,分别在成像系统的像焦平面的前方和后方相同距离处采集所述单个荧光探针的荧光图像;
在步骤S502中,将采集的两幅荧光图像的荧光强度信号差动相减,根据相减后得到的探测信号确定荧光标记物的轴向位置。
该轴向定位方法可以有效改善轴向定位精度,可实现20-30nm的定位精度,进而获取高精度的三维纳米定位信息。
实施例三:
图6示出了本发明第三实施例提供的超分辨荧光显微成像方法的流程图,图7a-7c示出了本发明第三实施例提供的超分辨荧光显微成像方法的模拟验证示意图(一)、(二)、(三),图8a-8c示出了采用本发明第三实施例提供的超分辨荧光显微成像方法对HeLa细胞突起中微丝束进行超分辨荧光成像的示意图(一)、(二)、(三),为了便于说明,仅示出了与本实施例相关的部分。
本实施例提供一种超分辨荧光显微成像方法,适用于对探测物品中的多个荧光探针进行二维或三维定位。具体的,该方法包括下述步骤:
在步骤S601中,采集多幅荧光图像;
在步骤S602中,在每幅荧光图像中搜索极大值点;
在步骤S603中,采用上述实施例一或二所述的定位方法对每幅图像的每个极大值点对应的图像区域进行分析,获取全部荧光探针的位置信息;
在步骤S604中,根据全部荧光探针的位置信息描绘出超分辨图像。
在本实施例中,需要在采集图像之前预先设定荧光图像的荧光强度阈值,在采集图像后,首先对荧光图像的强度进行分析,只有当荧光强度大于该阈值时,才作为可用的极大值点。
应当理解,若步骤S603采用实施例一所述的定位方法进行定位,则可以实现全部荧光探针的二维定位,若采用实施例二所述的定位方法进行定位,则可以实现全部荧光探针的三维定位。
本实施例提供的方法可以快速、精确的获取待测物品中的荧光标记物的定位信息,在活体细胞三维纳米成像方面具有广阔的应用前景。
参考附图7a,基于Matlab编程环境,产生一个1×1μm2样品,该样品为沿y方向排列的4对细丝,从下而上两对细丝间距分别为20nm、30nm、50nm、100nm,每对细丝间的距离为100nm、200nm、300nm。每条细丝上每隔10nm标记一个荧光分子(如Alexa647,忽略荧光分子本身的大小),产生的荧光波长为670nm(为Alexa647的发射峰波长)。假定探测过程中,分子处于荧光态的概率为p=0.001,模拟采用的光学系统参数如下:物镜放大倍率为100,数值孔径为1.4,探测器像元大小为16μm。探测到的单荧光分子发出的光子数假设为一个确定的值2000。叠加的噪声分为泊松分布的信号噪声和高斯分布的背景噪声。用于重构的源图像为3000幅。首先,根据概率统计随机采样,并在用于重构的每幅源图像中每一弥散斑内最多只能包含一个发光荧光分子,再形成由成像光路点扩散函数导致的模糊图像;然后根据像元大小对上述模糊图像进行像素化采样;最后加上泊淞分布的光子计数噪声和高斯分布的背景噪声。背景噪声均值为20e-,标准差为10e-,相当于目前使用的EMCCD参数。通过该方法对模拟的样品进行成像并按上述方法进行重构,得到图像如图7b所示。同时,四对直线沿y轴方向的横截面荧光强度分布如图7c所示。从图7c中可以看出间距为30nm的一对直线可以分辨,和图7b所示的理论模拟结果相一致,进而证明了本实施例提供的超分辨荧光显微成像方法的定位的准确性。
根据上述的模拟验证结果可以看出该方法的分辨率可以达到30nm,本实施例为了进一步验证上述方法的实用性和精确性,还将该方法用于HeLa细胞突起中的微丝束的超分辨成像重构。首先,用荧光分子Alexa647耦连的鬼笔环肽(phalloidin)(Invitrigen,USA)对细胞中的微丝进行荧光标记。实验系统以倒置荧光显微镜IX71为基础,物镜放大倍率为100,数值孔径为1.4;640nm的激光同时作为激活光和去激活光;采用电子倍增CCD(EMCCD,DU897D,Andor)作为探测器,探测器有效像元大小为16μm,制冷温度-80℃。源图像采集时,单幅曝光时间为20ms,图像采集频率约为46Hz。图8a为采集的荧光图像,通过本实施例中的成像方法对20000幅荧光图像进行重构,得到如图8b所示的荧光重构图像。图8b中箭头所指为细胞突起结构,沿着垂直于细胞突起结构走向的方向分析它的强度分布,如图8c所示,测得到相应细胞突起结构的直径为80nm。并且经过分析多幅强度分布示意图,可以得知多条细胞突起结构的直径均处于75-200nm的范围内,这一结果与电镜测量结果是一致的,该实验成功的验证了本实施例中的成像方法可实现几十纳米的分辨率,这是传统定位方法所做不到的,其具有很高的精确性和实用性。
本发明提供了一种单个荧光单针的定位方法,该方法是一种噪声自由的频率域非迭代的定位方法,对运算初始值的选取及噪声的评估没有依赖性,可实现快速、精确的单个荧光探针的定位。本发明还在该方法的基础上增加了轴向定位步骤,实现了荧光探针的三维纳米定位。并且,本发明还提供了一种基于该方法的超分辨荧光纳米显微成像方法,可以对探测物品中的多个荧光探针进行精确、快速的纳米级定位。本发明提供的定位方法及成像方法在活体细胞三维纳米成像和单分子追踪等方面具有广阔的应用前景。
实施例四:
参考附图9,本实施例基于上述的定位方法提供了一种单个荧光探针的定位装置,该定位装置包括区域选取单元901、傅里叶变换单元902、相移获取单元903及坐标获取单元904。区域选取单元901以单个荧光探针的荧光图像的极大值点为中心,选取一矩形区域;傅里叶变换单元902对该矩形区域内的荧光图像进行傅里叶变换,获得所述荧光图像的傅里叶频谱:
其中,I′(k,l)为频率域中像元(k,l)处的荧光强度的傅里叶变换,H(k,l)为光学系统在像元(k,l)处的光学传递函数,B(k,l)为像元(k,l)处的噪声的傅里叶变换,M,N为矩形区域内的像元数,x0,y0为单个荧光探针的二维位置坐标;相移获取单元903根据方程获得所述荧光图像的傅里叶频谱的相移,其中,arctan(·)为反正切三角运算,Re(·)和Im(·)分别表示求实部和虚部;坐标获取单元904根据方程 进行梯度运算,获得单个荧光探针的二维位置坐标;其中,mean(·)表示对矩形区域内的所有像元求平均。
在本实施例中,该装置还可以进一步包括轴向定位单元905和三维坐标获取单元906,轴向定位单元根据荧光图像对单个荧光探针进行轴向定位,获取轴向位置坐标;三维坐标获取单元将轴向位置坐标与二维位置坐标相结合,获得单个荧光探针的三维位置坐标。
实施例五:
结合图10,本实施例提供一种超分辨荧光显微成像系统,该系统包括图像采集器1001和图像处理器1002,该图像采集器1001采集多幅荧光图像,将图像输出给图像处理器1002通过图像处理器获取超分辨荧光图像,图像处理器包括上述的单个荧光探针的定位装置10021,以对每个荧光探针进行精确的纳米级定位。
在本实施例中,图像处理器1002还包括搜索装置10022,其输入端与图像采集器1001相连接、输出端与定位装置10021相连接,用以接收多幅荧光图像,并且搜索每幅荧光图像的极大值点,然后将相应信息输出给定位装置10021。图像处理器1002还包括重构装置10023,其与定位装置10021相连接,以根据定位装置输出的每个荧光探针的位置信息重构超分辨荧光图像。该系统可以实现快速、精确的二维或者三维荧光纳米显微成像。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种单个荧光探针的定位方法,其特征在于,所述方法包括下述步骤:
以所述单个荧光探针的荧光图像的极大值点为中心,选取一矩形区域;
对所述矩形区域内的荧光图像进行傅里叶变换,获得所述荧光图像的傅里叶频谱:
其中,I′(k,l)为频率域中像元(k,l)处的荧光强度的傅里叶变换,H(k,l)为光学系统在像元(k,l)处的光学传递函数,B(k,l)为像元(k,l)处的噪声的傅里叶变换,M,N为矩形区域内的像元数,x0,y0为单个荧光探针的二维位置坐标;
其中,arctan(·)为反正切三角运算,Re(·)和Im(·)分别表示求实部和虚部;
基于方程 进行梯度运算,获得所述单个荧光探针的二维位置坐标;
其中,mean(·)表示对所述矩形区域内的所有像元求平均。
2.如权利要求1所述的方法,其特征在于,所述的矩形区域的宽度为成像系统的点扩散函数的半高全宽的2~5倍。
3.如权利要求1所述的方法,其特征在于,对所述矩形区域内的荧光图像进行傅里叶变换,获得所述荧光图像的傅里叶频谱的步骤具体为:
采用补零快速傅里叶变换算法对所述矩形区域内的荧光图像进行傅里叶变换,获得所述荧光图像的傅里叶频谱。
4.如权利要求1所述的方法,其特征在于,所述方法还包括下述步骤:
对单个荧光探针进行轴向定位,获取轴向位置坐标;
将所述轴向位置坐标与所述二维位置坐标相结合,获得所述单个荧光探针的三维位置坐标。
5.如权利要求4所述的方法,其特征在于,所述对单个荧光探针进行轴向定位,获取轴向位置坐标的步骤具体为:
分别在成像系统的像焦平面的前方和后方相同距离处采集所述单个荧光探针的荧光图像;
将采集的两幅荧光图像的荧光强度信号差动相减,根据相减后得到的探测信号确定荧光标记物的轴向位置。
6.一种超分辨荧光显微成像方法,其特征在于,所述方法包括下述步骤:
采集多幅荧光图像;
在每幅荧光图像中搜索极大值点;
采用权利要求1至5任一项所述的单个荧光探针的定位方法对每幅图像的每个极大值点对应的图像区域进行分析,获取全部荧光探针的位置信息;
根据全部荧光探针的位置信息描绘出超分辨荧光图像。
7.如权利要求6所述的方法,其特征在于,所述在每幅荧光图像中搜索极大值点的步骤具体为:
将每幅荧光图像的强度与预设强度阈值进行比较,选取所述强度大于所述阈值的点作为所述极大值点。
8.一种单个荧光探针的定位装置,其特征在于,所述定位装置包括:
区域选取单元,用于以单个荧光探针的荧光图像的极大值点为中心,选取一矩形区域;
傅里叶变换单元,用于对所述矩形区域内的荧光图像进行傅里叶变换,获得所述荧光图像的傅里叶频谱:
其中,I′(k,l)为频率域中像元(k,l)处的荧光强度的傅里叶变换,H(k,l)为光学系统在像元(k,l)处的光学传递函数,B(k,l)为像元(k,l)处的噪声的傅里叶变换,M,N为矩形区域内的像元数,x0,y0为单个荧光探针的二维位置坐标;
其中,arctan(·)为反正切三角运算,Re(·)和Im(·)分别表示求实部和虚部;
坐标获取单元,用于根据方程 进行梯度运算,获得所述单个荧光探针的二维位置坐标;
其中,mean(·)表示对所述矩形区域内的所有像元求平均。
9.如权利要求8所述的装置,其特征在于,所述装置还包括:
轴向定位单元,用于根据荧光图像对单个荧光探针进行轴向定位,获取轴向位置坐标;
三维坐标获取单元,用于将所述轴向位置坐标与所述二维位置坐标相结合,获得所述单个荧光探针的三维位置坐标。
10.一种超分辨荧光显微成像系统,其特征在于,所述系统包括:
用于采集多幅荧光图像的图像采集器,以及与所述图像采集器相连接、用于获取超分辨荧光图像的图像处理器;
所述图像处理器包括权利要求8或9所述的单个荧光探针的定位装置;以及
输入端与所述图像采集器相连接、输出端与所述定位装置相连接的搜索装置,用于搜索每幅荧光图像的极大值点;
与所述定位装置相连接的重构装置,用于根据所述定位装置输出的每个荧光探针的位置信息重构超分辨荧光图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110171648 CN102288589B (zh) | 2011-06-23 | 2011-06-23 | 单个荧光探针的定位方法、装置及超分辨成像方法、系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110171648 CN102288589B (zh) | 2011-06-23 | 2011-06-23 | 单个荧光探针的定位方法、装置及超分辨成像方法、系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102288589A true CN102288589A (zh) | 2011-12-21 |
CN102288589B CN102288589B (zh) | 2013-05-08 |
Family
ID=45335185
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110171648 Expired - Fee Related CN102288589B (zh) | 2011-06-23 | 2011-06-23 | 单个荧光探针的定位方法、装置及超分辨成像方法、系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102288589B (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102538683A (zh) * | 2012-01-11 | 2012-07-04 | 徐州师范大学 | 一种测量小于衍射极限距离的光学成像方法 |
CN103592278A (zh) * | 2013-11-21 | 2014-02-19 | 中国计量学院 | 基于荧光发射抑制机理的随机定位超分辨显微方法及装置 |
CN104024833A (zh) * | 2011-12-28 | 2014-09-03 | 浜松光子学株式会社 | 图像处理装置、摄像装置、显微镜装置、图像处理方法以及图像处理程序 |
CN104458683A (zh) * | 2013-12-18 | 2015-03-25 | 香港科技大学 | 深层细胞超分辨率成像的方法、系统及棱镜光薄片装置 |
WO2016041155A1 (zh) * | 2014-09-16 | 2016-03-24 | 中国科学院自动化研究所 | 三维光学分子影像导航系统和方法 |
CN105823765A (zh) * | 2016-03-21 | 2016-08-03 | 天津大学 | 可扩展荧光寿命探测范围的质心算法cmm |
CN106952233A (zh) * | 2017-03-24 | 2017-07-14 | 深圳大学 | 荧光多分子定位方法、装置以及超分辨成像方法、系统 |
CN107209118A (zh) * | 2014-09-29 | 2017-09-26 | 诺瓦达克技术公司 | 在自体荧光存在下生物材料中目标荧光团的成像 |
CN108318464A (zh) * | 2018-01-23 | 2018-07-24 | 深圳大学 | 一种超分辨荧光波动显微成像方法、装置及存储介质 |
CN108765283A (zh) * | 2018-05-02 | 2018-11-06 | 华中科技大学 | 用于超分辨定位显微成像混合密度数据处理的装置及方法 |
CN111044498A (zh) * | 2019-12-26 | 2020-04-21 | 华中科技大学 | 一种荧光探针识别方法、多色超分辨定位成像方法及系统 |
US10631746B2 (en) | 2014-10-09 | 2020-04-28 | Novadaq Technologies ULC | Quantification of absolute blood flow in tissue using fluorescence-mediated photoplethysmography |
US10835138B2 (en) | 2008-01-25 | 2020-11-17 | Stryker European Operations Limited | Method for evaluating blush in myocardial tissue |
US10992848B2 (en) | 2017-02-10 | 2021-04-27 | Novadaq Technologies ULC | Open-field handheld fluorescence imaging systems and methods |
US11284801B2 (en) | 2012-06-21 | 2022-03-29 | Stryker European Operations Limited | Quantification and analysis of angiography and perfusion |
CN116823836A (zh) * | 2023-08-30 | 2023-09-29 | 南京诺源医疗器械有限公司 | 适用于细胞核靶向上转换荧光探针的数据处理方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02191079A (ja) * | 1989-01-05 | 1990-07-26 | Univ California | 体積分解能の損失を伴わずに、3d構造体を傾斜又は輪郭スライス体に設定する3dイメージ再構成装置及び方法 |
US20070076208A1 (en) * | 2005-09-30 | 2007-04-05 | Intel Corporation | Method and instrument for collecting fourier transform (FT) Raman spectra for imaging applications |
CN101655359A (zh) * | 2009-07-01 | 2010-02-24 | 四川大学 | 用非等步相移正交光栅实现实时三维面形测量的方法 |
CN101930600A (zh) * | 2010-08-31 | 2010-12-29 | 南京航空航天大学 | 一种基于复合二阶分数阶次信号处理的边缘检测方法 |
CN101963582A (zh) * | 2010-09-13 | 2011-02-02 | 深圳大学 | 一种三维荧光纳米显微成像方法、系统及成像设备 |
-
2011
- 2011-06-23 CN CN 201110171648 patent/CN102288589B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02191079A (ja) * | 1989-01-05 | 1990-07-26 | Univ California | 体積分解能の損失を伴わずに、3d構造体を傾斜又は輪郭スライス体に設定する3dイメージ再構成装置及び方法 |
US20070076208A1 (en) * | 2005-09-30 | 2007-04-05 | Intel Corporation | Method and instrument for collecting fourier transform (FT) Raman spectra for imaging applications |
CN101655359A (zh) * | 2009-07-01 | 2010-02-24 | 四川大学 | 用非等步相移正交光栅实现实时三维面形测量的方法 |
CN101930600A (zh) * | 2010-08-31 | 2010-12-29 | 南京航空航天大学 | 一种基于复合二阶分数阶次信号处理的边缘检测方法 |
CN101963582A (zh) * | 2010-09-13 | 2011-02-02 | 深圳大学 | 一种三维荧光纳米显微成像方法、系统及成像设备 |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10835138B2 (en) | 2008-01-25 | 2020-11-17 | Stryker European Operations Limited | Method for evaluating blush in myocardial tissue |
US11564583B2 (en) | 2008-01-25 | 2023-01-31 | Stryker European Operations Limited | Method for evaluating blush in myocardial tissue |
US10055638B2 (en) | 2011-12-28 | 2018-08-21 | Hamamatsu Photonics K.K. | Image processing device, imaging device, microscope device, image processing method, and image processing program |
CN104024833B (zh) * | 2011-12-28 | 2016-03-16 | 浜松光子学株式会社 | 图像处理装置、摄像装置、显微镜装置、图像处理方法以及图像处理程序 |
CN104024833A (zh) * | 2011-12-28 | 2014-09-03 | 浜松光子学株式会社 | 图像处理装置、摄像装置、显微镜装置、图像处理方法以及图像处理程序 |
CN102538683B (zh) * | 2012-01-11 | 2013-11-06 | 徐州师范大学 | 一种测量小于衍射极限距离的光学成像方法 |
CN102538683A (zh) * | 2012-01-11 | 2012-07-04 | 徐州师范大学 | 一种测量小于衍射极限距离的光学成像方法 |
US11284801B2 (en) | 2012-06-21 | 2022-03-29 | Stryker European Operations Limited | Quantification and analysis of angiography and perfusion |
CN103592278A (zh) * | 2013-11-21 | 2014-02-19 | 中国计量学院 | 基于荧光发射抑制机理的随机定位超分辨显微方法及装置 |
CN104458683B (zh) * | 2013-12-18 | 2018-02-02 | 香港科技大学 | 深层细胞超分辨率成像的方法、系统及棱镜光薄片装置 |
CN104458683A (zh) * | 2013-12-18 | 2015-03-25 | 香港科技大学 | 深层细胞超分辨率成像的方法、系统及棱镜光薄片装置 |
WO2016041155A1 (zh) * | 2014-09-16 | 2016-03-24 | 中国科学院自动化研究所 | 三维光学分子影像导航系统和方法 |
CN107209118A (zh) * | 2014-09-29 | 2017-09-26 | 诺瓦达克技术公司 | 在自体荧光存在下生物材料中目标荧光团的成像 |
US10488340B2 (en) | 2014-09-29 | 2019-11-26 | Novadaq Technologies ULC | Imaging a target fluorophore in a biological material in the presence of autofluorescence |
US10631746B2 (en) | 2014-10-09 | 2020-04-28 | Novadaq Technologies ULC | Quantification of absolute blood flow in tissue using fluorescence-mediated photoplethysmography |
CN105823765A (zh) * | 2016-03-21 | 2016-08-03 | 天津大学 | 可扩展荧光寿命探测范围的质心算法cmm |
US11140305B2 (en) | 2017-02-10 | 2021-10-05 | Stryker European Operations Limited | Open-field handheld fluorescence imaging systems and methods |
US10992848B2 (en) | 2017-02-10 | 2021-04-27 | Novadaq Technologies ULC | Open-field handheld fluorescence imaging systems and methods |
US12028600B2 (en) | 2017-02-10 | 2024-07-02 | Stryker Corporation | Open-field handheld fluorescence imaging systems and methods |
CN106952233A (zh) * | 2017-03-24 | 2017-07-14 | 深圳大学 | 荧光多分子定位方法、装置以及超分辨成像方法、系统 |
CN106952233B (zh) * | 2017-03-24 | 2020-03-31 | 深圳大学 | 荧光多分子定位方法、装置以及超分辨成像方法、系统 |
CN108318464A (zh) * | 2018-01-23 | 2018-07-24 | 深圳大学 | 一种超分辨荧光波动显微成像方法、装置及存储介质 |
CN108765283A (zh) * | 2018-05-02 | 2018-11-06 | 华中科技大学 | 用于超分辨定位显微成像混合密度数据处理的装置及方法 |
CN108765283B (zh) * | 2018-05-02 | 2020-11-24 | 华中科技大学 | 用于超分辨定位显微成像混合密度数据处理的装置及方法 |
CN111044498A (zh) * | 2019-12-26 | 2020-04-21 | 华中科技大学 | 一种荧光探针识别方法、多色超分辨定位成像方法及系统 |
CN116823836A (zh) * | 2023-08-30 | 2023-09-29 | 南京诺源医疗器械有限公司 | 适用于细胞核靶向上转换荧光探针的数据处理方法 |
CN116823836B (zh) * | 2023-08-30 | 2023-11-07 | 南京诺源医疗器械有限公司 | 适用于细胞核靶向上转换荧光探针的数据处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102288589B (zh) | 2013-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102288589B (zh) | 单个荧光探针的定位方法、装置及超分辨成像方法、系统 | |
CN103503022B (zh) | 提供构建目标物体的区域的图像的图像数据的方法和装置 | |
US9538157B2 (en) | Methods and systems for three dimensional optical imaging, sensing, particle localization and manipulation | |
CN103201648B (zh) | 重叠关联成像术中探测的校准 | |
US20160266057A1 (en) | System and method for phase retrieval in lensless imaging | |
CN104834015A (zh) | 基于光偏折层析的脉动火焰四维测量方法 | |
CN105319195A (zh) | 一种超分辨结构探测阵列共焦荧光成像装置及其成像方法 | |
JP2013519087A (ja) | ラベル付けされた細胞試料のデジタルホログラフィー顕微鏡検査及び像形成の方法及び使用 | |
CN105466895A (zh) | 一种基于虚拟波矢调制的荧光超分辨显微装置及方法 | |
US20240272449A1 (en) | Pinpointing single molecule positions with in situ point spread function retrieval for three dimensional nanoscopy of whole cells and tissues | |
Hugelier et al. | Quantitative single-molecule localization microscopy | |
Elíasson et al. | Spatial tomography of individual atoms in a quantum gas microscope | |
CN103411936A (zh) | 一种三维纳米分辨定位方法及装置 | |
CN102494614A (zh) | 一种高精度数字散斑相关测量方法 | |
Lambrick et al. | True-to-size surface mapping with neutral helium atoms | |
Sousa et al. | Reprint of “On the feasibility of visualizing ultrasmall gold labels in biological specimens by STEM tomography”[J. Struct. Biol. 159 (2007) 507–522] | |
CN105547145A (zh) | 一种超分辨结构探测共焦相干成像装置及其成像方法 | |
CN106952233A (zh) | 荧光多分子定位方法、装置以及超分辨成像方法、系统 | |
CN105319196A (zh) | 一种超分辨结构探测共焦荧光成像装置及其成像方法 | |
Zhang et al. | LIM-CD: A LARGE-SCALE REMOTE SENSING CHANGE DETECTION DATASET FOR INCREMENTAL MONITORING | |
CN109765405A (zh) | 一种原子力显微镜快速成像方法 | |
CN109087372A (zh) | 基于迭代测量的光学断层重建方法 | |
CN104949940A (zh) | 一种测量散射物体散射函数实部和虚部的装置和方法 | |
CN104605823A (zh) | 一种基于pfMC模型的荧光扩散光学断层图像重建方法 | |
Nicolas et al. | 3D reconstruction of compressible flow by synchronized multi camera BOS |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130508 Termination date: 20180623 |
|
CF01 | Termination of patent right due to non-payment of annual fee |