CN116029901A - 一种高精度自动化单分子定位重构算法 - Google Patents
一种高精度自动化单分子定位重构算法 Download PDFInfo
- Publication number
- CN116029901A CN116029901A CN202310054250.2A CN202310054250A CN116029901A CN 116029901 A CN116029901 A CN 116029901A CN 202310054250 A CN202310054250 A CN 202310054250A CN 116029901 A CN116029901 A CN 116029901A
- Authority
- CN
- China
- Prior art keywords
- molecule
- precision
- reconstruction algorithm
- image
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种高精度自动化单分子定位重构算法,属于单分子定位超分辨成像的图像处理技术领域。所述单分子定位重构算法包括以下步骤:采集原始图像序列,对每一帧原始图像使用分片线性小波框架进行多层变换,将第二层变换后的高频系数保留作为待处理图像;寻找待处理图像中单分子信号的候选区域,使用神经网络对候选区域分类,保留的含有单分子信号的区域像素位置应用到原始图像上;高斯拟合输出单分子荧光光子数、精细位置和单分子荧光背景强度并漂移矫正;将时间维上相邻帧重复出现的单分子进行平均;滤除定位精度低的单分子点;将每一个位置上的单分子考虑成一个给定精度的高斯函数,并在离散像素上进行渲染,输出最终的超分辨图。
Description
技术领域
本发明属于单分子定位超分辨成像,图像处理技术领域,具体涉及一种高精度自动化单分子定位重构算法。
背景技术
单分子定位成像(Single-molecule localization microscopy,SMLM)是一种重要的超分辨成像技术,能提供亚衍射极限尺度(约20nm)的空间分辨率。SMLM需要特殊设计的荧光探针、光学成像系统以及后期重构算法,这三个环节都对SMLM的实验通量和呈现效果有显著影响。随着对生物医学问题研究深入到亚细胞和分子水平,对细胞精细结构的大规模解析对基础和临床研究具有重要的价值,因此有必要发展高质量的高通量的SMLM技术。一方面,高通量单分子显微镜的一个先行步骤就是数据分析自动化。另一方面,要获得高质量的超分辨数据,需要准确区分真实单分子信号和背景噪声的SMLM算法。不同的算法使用了多种方法计算这些特性,如小波滤波器、高斯滤波器或中值滤波器等等,而在大多数情况下,这些算法会让用户选择自己的阈值,这一选择即使对于具有适当专业知识的专家用户来说也是困难和耗时的,因为所发现的真实单分子信号的可靠性和质量受这些特征所选阈值的影响极大。使用错误的阈值可能导致低估或高估真实单分子信号的数量,并可能导致后期重构时超分辨结构中精细细节的的错误,如人为丢失或人为强化。阈值的选择依赖人的主观判断,并缺乏合理的标准。因此,发展准确的、全自动的分析方法对于改善高通量SMLM的数据质量意义重大。
目前有许多方法被提出用于单分子数据的自动化分析,比如基于贝叶斯框架的Auto-Bayes,基于统计显著性的SimpleSTORM以及基于机器学习的SVM、DeepSinse等方法,这些方法都能自动识别单分子信号而无需用户输入参数,从而实现自动化分析。然而,从现有的结果来看,这些方法的识别精度仍然较低,因此需要开发单分子识别精度更高的方法。
发明内容
为了解决目前单分子数据的自动化分析精度不高的技术问题,本发明提供一种高精度自动化单分子定位重构算法,包括以下步骤:
(1)采集原始图像序列,对每一帧原始图像使用分片线性小波框架进行多层变换,将第二层变换后的高频系数保留作为待处理图像;
(2)使用基于局部极大值的寻峰算法寻找待处理图像中单分子信号的候选区域,输出ROI及其像素位置;
(3)使用DeepWaveNet对候选区域进行分类,如果判断候选区域中含有单分子信号则保留,否则丢弃;
(4)将保留的含有单分子信号的区域像素位置应用到原始图像上,提取相应的ROI并使用非线性最小二乘法进行高斯拟合,输出单分子荧光光子数spsf,单分子精细位置x0,y0,单分子荧光背景强度nb;
(5)对x0,y0进行漂移矫正;
(6)将时间维上相邻帧重复出现的单分子进行平均,滤除定位精度低的单分子点;
(7)将每一个位置上的单分子考虑成一个给定精度的高斯函数,并在离散像素上进行积分,输出最终得到的二维图像作为最终的超分辨图。
其中,,所述步骤(4)包括:
采用非线性最小二乘法拟合的方法来做单分子的位置拟合,其中点扩散函数模型近似为形状固定的2维高斯函数,如下式所示,
其中hpsf表示PSF的光电子数;x0和y0分别代表和x和y方向上的中心位置;nb代表局部背景;s0代表PSF的理论高斯峰宽。
其中,所述步骤(6)包括:计算每个单分子定位相应的CRLB,计算公式为:
其中a表示相机像素的尺寸,其他参数由步骤(4)拟合得到。
其中,所述ROI尺寸为2*FWHM+1,2*FWHM+1。
其中,所述DeepWaveNet是将小波框架分析与深度学习结合,通过小波框架变换加强单分子信号的特征并提取出相应的ROI,再通过优化后的卷积神经网络鉴定ROI中是否包含真实的单分子点。
其中,使用Cramer-Rao下界、拟合参数生成的点扩散函数与原图相似度滤除定位精度低的单分子点。
有益效果:
本发明的DeepWaveNet精度高、自动化。被广泛使用的传统处理方法ThunderSTORM等通常需要人为设置参数,且该参数需要谨慎使用才能得到较好的结果,这通常会耗费分析人员数小时的时间去试错和优化。DeepWaveNet与ThunderSTORM的处理结果对比如(图10)所示。结果表明,两者能较好的吻合。此外,DeepWaveNet还可以清晰的看见核孔结构(图11),该结构被广泛认为是检验超分辨分析算法的金标准。
图10将DeepWaveNet应用于真实微管数据中,并与ThunderSTORM的分析结果作对比(a)DeepWaveNet重构的单分子定位超分辨成像(b)使用ThunderSTORM对相同微管数据重构的超分辨结果(c)将(a)结果与(b)结果叠加,红色通道为(a),绿色通道为(b)。(d)DeepWaveNet重构的单分子定位超分辨成像分辨率约在70nm左右。
本技术成果通过整合小波框架分析与深度学习,巧妙的结合了小波方法的背景提取能力与深度学习方法的强大的识别性能,从而使得该方法能应用于各种场景并大幅提高了自动化单分子识别效率。经测验,相较于传统的自动化分析软件,召回率提高了5%-10%;雅卡尔系数提高了3%-7%。本技术通过自动识别图像中的单分子,实现了多种场景下的自动化单分子定位显微成像数据分析。
附图说明:
图1:DeepWaveNet设计的卷积神经网络架构示意图。
图2:自动化单分子定位成像算法流程图。
图3:实施例2输入的微管数据图。
图4:实施例2输出的微管数据图。
图5:实施例2最大寻峰算法流程图。
图6:实施例2单分子候选区域提取结果图。
图7:实施例2单分子感知网络架构图。
图8:实施例2经过单分子感知网络进一步筛选后的结果图。
图9:DeepWaveNet与其他自动化单分子信号识别效果的对比图。
图10:DeepWaveNet应用于真实微管数据的对比图。
图11:DeepWaveNet方法分析核孔复合物的结果。
具体实施方式
以下结合实例对本发明进行详细说明。所有方法及技术,如无特别说明,均为常规方法和技术。
实施例1
本实施例提供一种高精度自动化单分子定位重构算法。包括以下步骤:
(1)采集原始图像序列,对每一帧原始图像使用分片线性小波框架进行多层变换,将第二层变换后的高频系数保留作为待处理图像;
(2)使用基于局部极大值的寻峰算法寻找待处理图像中单分子信号的候选区域(ROI),输出ROI及其像素位置,ROI尺寸为(2*FWHM+1,2*FWHM+1);
(3)使用DeepWaveNet法对候选区域进行分类,如果判断候选区域中含有单分子信号则保留,否则丢弃;
(4)将保留的含有单分子信号的区域像素位置应用到原始图像上,提取相应的ROI并使用非线性最小二乘法进行高斯拟合,输出单分子荧光光子数spsf,单分子精细位置x0,y0,单分子荧光背景强度nb;
(5)对x0,y0进行漂移矫正;
(6)将时间维上相邻帧重复出现的单分子进行平均;使用Cramer-Rao下界(CRLB)、拟合参数生成的点扩散函数(PSF)与原图相似度等指标滤除定位精度低的单分子点;
(7)将每一个位置上的单分子考虑成一个给定精度的高斯函数,并在离散像素上进行积分,输出最终得到的二维图像作为最终的超分辨图。
所述步骤(1)中:
表1:à trou小波分解算法
所述步骤(3)包括模型的设计与训练:
我们使用一个浅层的卷积神经网络,其架构如图1(a)所示:
DeepWaveNet是将小波框架分析与深度学习结合,通过小波框架变换加强单分子信号的特征并提取出相应的ROI,再通过优化后的卷积神经网络鉴定ROI中是否包含真实的单分子点。本实施例设计的卷积神经网络中Convolution层包含有100个6×6的卷积滤波器,ReLu层为线性整流函数。训练网络时候使用交叉熵函数,并使用Adam优化方法更新网络参数。训练完成后,将训练好的模型部署到单分子识别中,如图1(b),输出含有单分子的ROI的中心位置(即网络输出=1),进行后续定位分析。
所述步骤(4)包括:
采用非线性最小二乘法拟合的方法来做单分子的位置拟合,其中点扩散函数模型可近似为形状固定的2维高斯函数,如式(1)所示。其中hpsf表示PSF的光电子数;x0和y0分别代表和x和y方向上的中心位置;nb代表局部背景;s0代表PSF的理论高斯峰宽。
我们需要为要处理的每个图像区域的参数x0、y0、nb和hpsf确定合理的起始值,对于x0和y0,选取局部最亮像素位置(ipeak,jpeak),相应位置的光子数即为hpsf初始值。nb的初始值选择为原始图像经过高斯滤波后生成的背景图像中的像素值。使用Levenberg-Marquardt算法来求解(1)中的参数。
所述步骤(6)包括:
计算每个单分子定位相应的CRLB,计算公式为:
其中a表示相机像素的尺寸,其他参数由步骤(4)拟合得到。通过该公式过滤掉定位精度低的点,输出余下的点。
实施例2
本实施例提供一种具体的操作实例,小波神经网络主要通过小波框架变换提取背景,而后使用深度学习方法进行单分子信号判定的综合性单分子识别方法。现以输入的微管数据(图3)为例,对方法进行描述:
1.该方法首先要对输入图片进行小波框架变换,变换涉及的步骤和方法如下
表2:小波框架背景提取算法
1.2得到图4之后,使用局部极大值搜索的方法来找到单分子信号候选区域。局部极大值搜索的流程见图5。
1.3单分子候选区域提取结果如图6所示。
2.第一步的输出结果需要人工调节阈值,输出的结果既包含真信号也包含假信号,较为粗糙。为了实现自动化高精度单分子识别,我们在第一步输出结果之上(图6),使用我们设计的神经网络对提取出来的单分子区域进行了进一步分类,输出真实信号,主要方法和步骤如下:
2.1构建模拟数据集
神经网络是数据驱动型方法,需要大量的数据。在单分子识别的任务中,难以构建真实的数据集,因此我们构建一套模拟的训练数据集。为了构建训练数据集,我们在一个200×200的图像上随机散步若干个粒子(依研究情形定,这里我们取200)。每个粒子卷积上一个高斯核,粒子的强度和高斯核的大小均满足某种程度的高斯分布,以模拟真实成像系统的点扩散函数。最后我们考虑光电子数的泊松统计特性,相机暗电流以及相机上的gamma噪声,得到的图像光电子数如下等式:
Ie=P(Ic)+b+g
其中Ic为随机放置的单分子点,P表示泊松光电子噪声,b表示由暗电流等引入的非结构形背景,g表示读出噪声等高斯形噪声,G表示相机增益,O代表相机偏移误差。可通过控制这些模拟参数,生成多种信背比以及信噪比情形下的单分子图像。从这些图像中挑选出预注释的单分子区域,其中一半为真实模拟单分子,一半是随机挑选的假信号。将图像强度进行归一化,将其打乱并输入神经网络进行训练。
2.2设计神经网络
我们构建了一组含有10万张图(5万为真信号,5万为假信号)的模拟数据集,并设计如下的神经网络(图7),并将之命名为单分子感知网络。单分子感知网络是一种简单的双层卷积神经网络架构,参数量和网络规模相对较少,它分别由两个卷积层(convolution),每个卷积层含有100个6×6的卷积滤波器,以及两个线性整流层(Relu)和一个SoftMax(分类)层组成。训练网络时候使用交叉熵损失函数,并使用Adam优化器进行参数更新。我们先将模拟数据分成训练集以及验证集,在训练集上训练神经网络,通过观察损失函数的变化来判别单分子感知网络的训练情况,当损失函数的数值满足收敛条件时,完成训练,然后使用训练模型在无预标记的验证集上验证效果。我们挑选出在验证集上表现最好的模型,将之部署到单分子定位系统中。
经过单分子感知神经网络的进一步筛选,将假信号过滤,保留真实信号,得到的结果图8所示
将1和2综合起来,将方法命名为DeepWaveNet,总的流程图如图1所示:
DeepWaveNet将小波框架分析与深度学习结合,通过小波框架变换加强单分子信号的特征并提取出相应的单分子区域,再通过单分子感知神经网络对鉴定候选区域进行筛选,去除假信号,保留真信号。该方法具有自动化、识别精度高的特点,通过实现自动化单分子定位显微成像数据分析,为发展高通量的STORM\(f)PALM奠定基础。
我们在三套公开对比数据集上(2013isbi grand challenge localizationmicroscopy,”http://bigwww.epfl.ch/smlm/challenge2013/index.html),将我们的方法与其他已发表的工作进行了对比。这三套数据均为合成数据,模拟的形态结构为微管,并涵盖了从低信噪比到高信噪比的情形。对比结果如表格所示,从雅卡尔系数来看,我们的方法在三套数据集均大幅领先深度感知(DeepSinse)、支持向量机(SVM)、自动贝叶斯(Auto-bayes)等方法。通过设计精确度与召回率之间的平衡关系,我们的算法实现了保证一个极高精确度的前提下,大大提升对真实单分子信号的识别能力,由此确保在单分子定位程序中准确的识别出真实的单分子信号,降低图像识别过程中可能出现的假象。该方法主要基于小波框架分析以及结合物理先验的深度学习方法,先通过小波框架分析增强单分子信号特征同时抑制背景噪声,而后通过我们设计并调优的深度学习模型识别出相应的单分子信号。从表格的各项参数来看,我们设计的方法实现了最强的识别效果,显著优于其他同类型自动化识别方法,与基于深度学习的深度感知效果直观对比如图9所示,可见我们的方法相较于深度感知网络能在保证精确度的情况下检测到更多的单分子点。
为了将本专利算法与领域内广泛使用的ThunderSTORM算法进行对比,我们在业内公开数据集上验证了DeepWaveNet和ThunderSTORM的可行性与效率,并进一步将之应用在了真实微管以及核孔复合物的单分子超分辨成像的数据分析中。
我们从Jaacard index(雅卡尔指数),Precision(精确度),Recall(召回率)分别对比了我们的方法与已经发表的其他的自动化单分子识别的方法。
雅卡尔系数(Jaccard)综合考虑模型的精确度和召回率,是一个整体指标。
精确度(Precision)是指模型方法预测为正的样本中占真实样本的比率,常用于描述模型对正样本结果中的预测准确程度。
召回率(Recall)表示被模型预测为真的个数占所有的真实样本的比率,常用于描述模型对正样本结果中的识别能力。
表一:不同模型在不同数据集上的综合对比
因此,从上述表格可以得出,本专利开发的DeepWaveNet算法具有更高的对正确样本的识别能力(召回率);同时,具有较高的预测准确度(精确度);并最终呈现出最高的雅卡尔系数,这说明DeepWaveNet算法是综合评价最好的一种自动化STORM成像分析算法。
上述表格用到的Bundled、Tubulins1、Tubulins2数据集,是单分子识别竞赛网站提供的三套对比数据集(“2013isbi grand challenge localization microscopy,”
http://bigwww.epfl.ch/smlm/challenge2013/index.html)。该系列数据描述如下:
表:评价数据集的说明
本发明的DeepWaveNet是自动化的,无需人为设置参数,ThunderSTORM的结果则需要人为设置参数,且该参数需要谨慎使用才能得到较好的结果,通常会耗费分析人员5-10小时的时间去试错和优化。两种方法的结果对比如(图10)所示。,以经过手动优化的ThunderSTORM的结果做为参照,DeepWaveNet处理得到的结果能与之较好的吻合,这验证了DeepWaveNet方法的真实有效性。此外,我们还使用核孔数据对DeepWaveNet进行了测试,结果显示我们可以清晰的看见核孔结构(图11),该结构是检验单分子定位超分辨算法的金标准。
图10将DeepWaveNet应用于真实微管数据中,并与ThunderSTORM的分析结果作对比(a)DeepWaveNet重构的单分子定位超分辨成像(b)使用ThunderSTORM对相同微管数据重构的超分辨结果(c)将(a)结果与(b)结果叠加,红色通道为(a),绿色通道为(b)。(d)DeepWaveNet重构的单分子定位超分辨成像分辨率约在70nm左右。
本技术成果通过整合小波框架分析与深度学习,大幅提高了自动化单分子识别效率。本技术通过自动识别图像中的单分子,可以实现自动化单分子定位显微成像数据分析,为发展高通量的STORM\(f)PALM奠定基础。
Claims (7)
1.一种高精度自动化单分子定位重构算法,其特征在于,包括以下步骤:
(1) 采集原始图像序列,对每一帧原始图像使用分片线性小波框架进行多层变换,将第二层变换后的高频系数保留作为待处理图像;
(2) 使用基于局部极大值的寻峰算法寻找待处理图像中单分子信号的候选区域,输出ROI及其像素位置;
(3) 使用DeepWaveNet对候选区域进行分类,如果判断候选区域中含有单分子信号则保留,否则丢弃;
(4) 将保留的含有单分子信号的区域像素位置应用到原始图像上,提取相应的ROI并使用非线性最小二乘法进行高斯拟合,输出单分子荧光光子数,单分子精细位置,单分子荧光背景强度;
(5) 对进行漂移矫正;
(6) 将时间维上相邻帧重复出现的单分子进行平均,滤除定位精度低的单分子点;
(7) 将每一个位置上的单分子考虑成一个给定精度的高斯函数,并在离散像素上进行积分,输出最终得到的二维图像作为最终的超分辨图。
2. 根据权利要求1所述的高精度自动化单分子定位重构算法,其特征在于,所述步骤(1)包括:使用分片线性小波框架作为变换基,其中D1 = [1 2 1]*, D2 =[1 0 2 0 1]*。
3.根据权利要求1所述的高精度自动化单分子定位重构算法,其特征在于,所述步骤(4)包括:
采用非线性最小二乘法拟合的方法来做单分子的位置拟合,其中点扩散函数模型近似为形状固定的2维高斯函数,如下式所示,
,
其中表示PSF的光电子数;和分别代表和x和y方向上的中心位置;代表局部背景;代表PSF的理论高斯峰宽。
4. 根据权利要求1所述的高精度自动化单分子定位重构算法,其特征在于,所述步骤(6)包括:计算每个单分子定位相应的CRLB,计算公式为:
,
其中a表示相机像素的尺寸,其他参数由步骤(4)拟合得到。
5.根据权利要求1所述的高精度自动化单分子定位重构算法,其特征在于,所述ROI尺寸为2*FWHM+1,2*FWHM+1。
6.根据权利要求1所述的高精度自动化单分子定位重构算法,其特征在于,所述DeepWaveNet是将小波框架分析与深度学习结合,通过小波框架变换加强单分子信号的特征并提取出相应的ROI,再通过优化后的卷积神经网络鉴定ROI中是否包含真实的单分子点。
7.根据权利要求1所述的高精度自动化单分子定位重构算法,其特征在于,使用Cramer-Rao下界、拟合参数生成的点扩散函数与原图相似度滤除定位精度低的单分子点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310054250.2A CN116029901A (zh) | 2023-02-03 | 2023-02-03 | 一种高精度自动化单分子定位重构算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310054250.2A CN116029901A (zh) | 2023-02-03 | 2023-02-03 | 一种高精度自动化单分子定位重构算法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116029901A true CN116029901A (zh) | 2023-04-28 |
Family
ID=86072240
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310054250.2A Pending CN116029901A (zh) | 2023-02-03 | 2023-02-03 | 一种高精度自动化单分子定位重构算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116029901A (zh) |
-
2023
- 2023-02-03 CN CN202310054250.2A patent/CN116029901A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7422825B2 (ja) | 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測 | |
US10755406B2 (en) | Systems and methods for co-expression analysis in immunoscore computation | |
CN110889853B (zh) | 基于残差-注意力深度神经网络的肿瘤分割方法 | |
CN110889852B (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
CN106886977B (zh) | 一种多图自动配准及融合拼接方法 | |
CN111798464A (zh) | 基于深度学习的淋巴瘤病理图像智能识别方法 | |
CN107665492B (zh) | 基于深度网络的结直肠全景数字病理图像组织分割方法 | |
WO2021139258A1 (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
CN111583285B (zh) | 一种基于边缘关注策略的肝脏影像语义分割方法 | |
CN111784671A (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
CN108960404B (zh) | 一种基于图像的人群计数方法及设备 | |
CN108133481A (zh) | 一种针对荧光免疫层析试条成像系统的图像处理算法 | |
CN113781455B (zh) | 宫颈细胞图像异常检测方法、装置、设备及介质 | |
CN110021019B (zh) | 一种aga临床图像的ai辅助毛发的粗细分布分析方法 | |
CN115909006B (zh) | 基于卷积Transformer的乳腺组织图像分类方法及系统 | |
CN116612472B (zh) | 基于图像的单分子免疫阵列分析仪及其方法 | |
CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
CN114596316A (zh) | 一种基于语义分割的道路图像细节抓取方法 | |
CN112330613A (zh) | 一种细胞病理数字图像质量的评价方法及系统 | |
CN118229548A (zh) | 基于渐进多分支和改进UNet3+深监督的红外与可见光图像融合方法 | |
Singh et al. | Multi-exposure microscopic image fusion-based detail enhancement algorithm | |
CN117409407A (zh) | 一种多层次感知注意力机制的细胞微核分类方法 | |
CN104992426B (zh) | 一种用于明场显微成像的多层图像融合算法 | |
CN116029901A (zh) | 一种高精度自动化单分子定位重构算法 | |
Qu et al. | Method of feature pyramid and attention enhancement network for pavement crack detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |