CN105243677B - 一种保证精度的实时单分子定位方法及系统 - Google Patents
一种保证精度的实时单分子定位方法及系统 Download PDFInfo
- Publication number
- CN105243677B CN105243677B CN201510560412.5A CN201510560412A CN105243677B CN 105243677 B CN105243677 B CN 105243677B CN 201510560412 A CN201510560412 A CN 201510560412A CN 105243677 B CN105243677 B CN 105243677B
- Authority
- CN
- China
- Prior art keywords
- pixel
- value
- image
- coordinate
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明公开了一种保证精度的实时单分子定位方法及系统。其中，该方法包括：先基于像素级定位参数对待处理图像进行区域提取；再对提取到的图像进行粗定位，得到提取到的图像的亚像素级定位参数；接着基于提取到的图像的亚像素级定位参数对提取到的图像进行精定位。由于经过粗定位得到的初始值(亚像素级定位参数)更接近于真实值，再据此进行精定位计算，因而减少了在精定位时的迭代次数，从而加快了超分辨图像的定位速度。这样，本发明在保证定位精度的情况下，加快了超分辨图像的定位速度。
Description
技术领域
本发明涉及超分辨定位成像技术领域，尤其涉及一种保证精度的实时单分子定位方法及系统。
背景技术
在荧光显微镜领域，超分辨显微成像技术由于突破了衍射极限，达到了数十纳米的分辨率，因而为生物学家提供了一种研究微小结构的有效方法，并被广泛应用。光激活定位显微技术(Photo Activated Localization Microscopy,PALM)和随机光学重建显微法(Stochastic Optical Reconstruction Microscopy,STORM)是超分辨显微成像技术中的一类，它们基于全内反射的光学成像系统，加之软件算法，实现超分辨成像的纳米分辨率，并被统称为超分辨定位成像技术。
超分辨定位成像技术利用时间换取空间分辨率，一般由上千乃至上万帧的原始图像得到一幅超分辨图像。这样，图像处理速度就成了限制该技术发展的重要因素。正因如此，众多科学家们开始寻找在不牺牲空间分辨率的前提下能够提高图像处理速度的方法。
同时，科研级互补金属氧化物半导体传感器(Scientific-grade ComplementaryMetal Oxide Semiconductor,sCMOS)由于其并行读出的优势，弥补了常用的探测器——电子倍增耦合器件(Electron Multiplying Charge Coupled Device,EMCCD)串行读出速度慢的缺点，并逐渐应用于超分辨定位成像技术中。但是，这同时也带来了另一项挑战——由于全速率sCMOS的探测速度约是EMCCD的探测速度的47倍，因而sCMOS一秒钟能够采集到的图像数据量更多，这便为提高超分辨图像的定位速度增加了难度。
发明内容
本发明实施例通过提供一种保证精度的实时单分子定位方法及系统，在保证定位精度的情况下，加快了超分辨图像的定位速度的技术效果。
本发明实施例提供了一种保证精度的实时单分子定位方法，包括：
基于像素级定位参数对待处理图像进行区域提取；
对提取到的图像进行粗定位，得到所述提取到的图像的亚像素级定位参数；
基于所述提取到的图像的亚像素级定位参数对所述提取到的图像进行精定位。
进一步地，所述基于像素级定位参数对待处理图像进行区域提取，包括：
获取所述待处理图像中每个像素点的像素值；
判断所述获取到的像素值是否大于预设阈值；
若是，获取最大像素值所对应的像素点的坐标，所述最大像素值所对应的像素点的坐标为所述像素级定位参数；
提取出以所述获取到的最大像素值所对应的像素点的坐标为中心的一定区域的图像；
其中，所述一定区域由所述待处理图像而定。
进一步地，所述对提取到的图像进行粗定位，得到所述提取到的图像的亚像素级定位参数，包括：
通过公式和得
到所述提取到的图像中像素点的X坐标Cx和Y坐标Cy；其中，Ii,j表示像素点(i，j)处的灰度
值，xi表示像素点(i，j)在x轴方向的坐标，yi表示像素点(i，j)在y轴方向的坐标，n表示所述
提取到的图像的像素的个数；
获取所述提取到的图像的外围像素点的像素值的平均值，将所述平均值作为背景估计值b0；
获取所述最大像素值，将所述最大像素值减去所述背景估计值b0，得到信号亮度的估计值A0；
通过公式s0＝0.21*λ/(NA*pixelsize)计算得到荧光点扩散函数的估计标准差s0；
其中，λ为全内反射的光学成像系统的光的波长，NA为数值孔径，pixelsize为像素尺寸的大小。
进一步地，所述对提取到的图像进行粗定位，得到所述提取到的图像的亚像素级定位参数，包括：
将所述提取到的图像与X轴的梯度算子进行卷积运算，得到x
轴的梯度分布Gx；
将所述提取到的图像与Y轴的梯度算子进行卷积运算，得到y轴的
梯度分布Gy；
通过公式Θ(i,j)＝arctan2(Gy(i,j)/Gx(i,j))，计算得到像素梯度方向Θ(i,j)；
通过公式Cy＝K(i,j)*Cx+C(i,j)计算得到平行于所述像素梯度方向Θ(i,j)的直线，即辐射线；
其中，K(i,j)为所述辐射线的斜率，由所述像素梯度方向Θ(i,j)决定；C(i,j)为所述辐射线在y轴上的截距；
通过求解方程和得到与所述辐射线之间的
距离的平方和最小的像素点的X坐标Cx和Y坐标Cy；
获取所述提取到的图像的外围像素点的像素值的平均值，将所述平均值作为背景估计值b0；
获取所述最大像素值，将所述最大像素值减去所述背景估计值b0，得到信号亮度的估计值A0；
通过公式s0＝0.21*λ/(NA*pixelsize)计算得到荧光点扩散函数的估计标准差s0；
其中，λ为全内反射的光学成像系统的光的波长，NA为数值孔径，pixelsize为像素尺寸的大小。
进一步地，所述基于所述提取到的图像的亚像素级定位参数对所述提取到的图像进行精定位，包括：
建立计算模型：
其中，为像素点(i,j)处的理论光强，A为所述信号亮度的估计值A0，i为所述提取到的区域的x轴坐标，j为所述提取到的区域的y轴坐标，x0为所述提取到的图像中像素点的X坐标Cx，y0为所述提取到的图像中像素点的Y坐标Cy，s为所述荧光点扩散函数的估计标准差s0，b为所述背景估计值b0；
对所述计算模型进行估计，即以所述信号亮度的估计值A0、所述提取到的图像中像素点的X坐标Cx、所述提取到的图像中像素点的Y坐标Cy、所述荧光点扩散函数的估计标准差s0和所述背景估计值b0作为初值代入所述计算模型进行迭代计算直至与观测值的差值在误差阈值之内，将此时的所述信号亮度的估计值A0记作信号亮度的精确值A，所述提取到的图像中像素点的X坐标Cx记作像素点精度的X坐标x0、所述提取到的图像中像素点的Y坐标Cy记作像素点精度的Y坐标y0、所述荧光点扩散函数的估计标准差s0记作荧光点扩散函数精确的标准差s，所述背景估计值b0记作背景精确值b。
本发明实施例提供的保证精度的实时单分子定位系统，包括：
区域提取模块，用于基于像素级定位参数对待处理图像进行区域提取；
粗定位模块，用于对提取到的图像进行粗定位，得到所述提取到的图像的亚像素级定位参数；
精定位模块，用于基于所述提取到的图像的亚像素级定位参数对所述提取到的图像进行精定位。
进一步地，所述区域提取模块，具体包括：
像素值获取单元，用于获取所述待处理图像中每个像素点的像素值；
判断单元，用于判断所述获取到的像素值是否大于预设阈值；
像素点获取单元，用于若所述判断单元的判断结果为是，获取最大像素值所对应的像素点的坐标，所述最大像素值所对应的像素点的坐标为所述像素级定位参数；
区域提取执行单元，用于提取出以所述获取到的最大像素值所对应的像素点的坐标为中心的一定区域的图像；其中，所述一定区域由所述待处理图像而定。
进一步地，所述粗定位模块，具体包括：
第一计算单元，用于通过公式和得到所述提取到的图像中像素点的X坐标Cx和Y坐标Cy；其中，Ii,j表示像素点(i，j)处的灰度值，xi表示像素点(i，j)在x轴方向的坐标，yi表示像素点(i，j)在y轴方向的坐标，n表示所述提取到的图像的像素的个数；
第二计算单元，用于计算所述提取到的图像的外围像素点的像素值的平均值，将所述平均值作为背景估计值b0；
第三计算单元，用于获取所述最大像素值，将所述最大像素值减去所述背景估计值b0，得到信号亮度的估计值A0；
第四计算单元，用于通过公式s0＝0.21*λ/(NA*pixelsize)计算得到荧光点扩散函数的估计标准差s0；其中，λ为全内反射的光学成像系统的光的波长，NA为数值孔径，pixelsize为像素尺寸的大小。
进一步地，所述粗定位模块，具体包括：
第一运算单元，用于将所述提取到的图像与X轴的梯度算子
进行卷积运算，得到x轴的梯度分布Gx；
第二运算单元，用于将所述提取到的图像与Y轴的梯度算子进行
卷积运算，得到y轴的梯度分布Gy；
第三运算单元，用于通过公式Θ(i,j)＝arctan2(Gy(i,j)/Gx(i,j))，计算得到像素梯度方向Θ(i,j)；
第四运算单元，用于通过公式Cy＝K(i,j)*Cx+C(i,j)计算得到平行于所述像素梯度方向Θ(i,j)的直线，即辐射线；其中，K(i,j)为所述辐射线的斜率，由所述像素梯度方向Θ(i,j)决定；C(i,j)为所述辐射线在y轴上的截距；
第五运算单元，用于通过求解方程和得到
与所述辐射线之间的距离的平方和最小的像素点的X坐标Cx和Y坐标Cy；
第六运算单元，用于获取所述提取到的图像的外围像素点的像素值的平均值，将所述平均值作为背景估计值b0；
第七运算单元，用于获取所述最大像素值，将所述最大像素值减去所述背景估计值b0，得到信号亮度的估计值A0；
第八运算单元，用于通过公式s0＝0.21*λ/(NA*pixelsize)计算得到荧光点扩散函数的估计标准差s0；其中，λ为全内反射的光学成像系统的光的波长，NA为数值孔径，pixelsize为像素尺寸的大小。
进一步地，所述精定位模块，具体包括：
计算模型建立单元，用于建立计算模型：其中，为像素点(i,j)处的理论光强，
A为所述信号亮度的估计值A0，i为所述提取到的区域的x轴坐标，j为所述提取到的区域的y
轴坐标，x0为所述提取到的图像中像素点的X坐标Cx，y0为所述提取到的图像中像素点的Y坐
标Cy，s为所述荧光点扩散函数的估计标准差s0，b为所述背景估计值b0；
精定位执行单元，用于对所述计算模型进行估计，即以所述信号亮度的估计值A0、所述提取到的图像中像素点的X坐标Cx、所述提取到的图像中像素点的Y坐标Cy、所述荧光点扩散函数的估计标准差s0和所述背景估计值b0作为初值代入所述计算模型进行迭代计算直至与观测值的差值在误差阈值之内，将此时的所述信号亮度的估计值A0记作信号亮度的精确值A，所述提取到的图像中像素点的X坐标Cx记作像素点精度的X坐标x0、所述提取到的图像中像素点的Y坐标Cy记作像素点精度的Y坐标y0、所述荧光点扩散函数的估计标准差s0记作荧光点扩散函数精确的标准差s，所述背景估计值b0记作背景精确值b。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
1、先基于像素级定位参数对待处理图像进行区域提取；再对提取到的图像进行粗定位，得到提取到的图像的亚像素级定位参数；接着基于提取到的图像的亚像素级定位参数对提取到的图像进行精定位。由于经过粗定位得到的初始值(亚像素级定位参数)更接近于真实值，再据此进行精定位计算，因而减少了在精定位时的迭代次数，从而加快了超分辨图像的定位速度。这样，本发明实施例在保证定位精度的情况下，加快了超分辨图像的定位速度。
2、若将区域提取、粗定位和精定位的步骤在具有并行处理能力和流处理能力的硬件(如FPGA(Programmable Gate Array，现场可编程门阵列)或ASIC(ApplicationSpecific Integrated Circuit，特定用途集成电路)等)中进行，由于在具有并行处理能力的硬件中处理数据，待处理的数据之间的操作属于并行操作，因而进一步加快了超分辨图像的定位速度。同时，每个硬件时钟内，数据都会向前传输，这样，来一个数据就可以处理一个数据，数据处理就处于流水线处理(流处理)的状态，这样，就可以做超分辨图像的实时处理，更进一步地加快了超分辨图像的定位速度。
3、若将粗定位模块和精定位模块配置在具有并行处理能力和流处理能力的硬件上，粗定位模块和精定位模块就可以配置在不同的硬件单元上，使粗定位模块和精定位模块能够相互独立地工作。这样，粗定位模块就不占用精定位模块的资源，从而缩短了超分辨图像定位的时间。
附图说明
图1为本发明实施例一提供的保证精度的实时单分子定位方法的流程图；
图2为本发明实施例二提供的保证精度的实时单分子定位系统的模块图；
图3为通过本发明实施例二提供的系统对超分辨图像进行定位的流程图。
具体实施方式
本发明实施例通过提供一种保证精度的实时单分子定位方法及系统，在保证定位精度的情况下，加快了超分辨图像的定位速度的技术效果。
本发明实施例中的技术方案为解决上述技术问题，总体思路如下：
先基于像素级定位参数对待处理图像进行区域提取；再对提取到的图像进行粗定位，得到提取到的图像的亚像素级定位参数；接着基于提取到的图像的亚像素级定位参数对提取到的图像进行精定位。由于经过粗定位得到的初始值(亚像素级定位参数)更接近于真实值，再据此进行精定位计算，因而减少了在精定位时的迭代次数，从而加快了超分辨图像的定位速度。这样，本发明实施例在保证定位精度的情况下，加快了超分辨图像的定位速度。
为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例一
参见图1，本发明实施例提供的保证精度的实时单分子定位方法，包括：
步骤S110：基于像素级定位参数对待处理图像进行区域提取；
对本步骤进行说明，步骤S110具体包括：
获取待处理图像中每个像素点的像素值；
判断获取到的像素值是否大于预设阈值；
若是，获取其中的最大像素值B所对应的像素点的坐标，最大像素值B所对应的像素点的坐标为像素级定位参数；
提取出以获取到的最大像素值B所对应的像素点的坐标为中心的一定区域的图像；
其中，一定区域由待处理图像而定。
为了提高本发明实施例的超分辨图像的定位精度，在步骤S110之前，还包括：
对待处理图像进行去噪处理；
在本实施例中，对待处理图像进行去噪处理的步骤具体包括：
将待处理图像与均值模板进行卷积运算，得到去噪后的待处理图像，即对待处理图像进行去噪处理。
步骤S120：对提取到的图像进行粗定位，得到提取到的图像的亚像素级定位参数；
本发明实施例至少提出了两种对提取到的图像进行粗定位的方法，具体地，第一种粗定位的方法包括：
通过公式和得
到提取到的图像中像素点的X坐标Cx和Y坐标Cy；其中，Ii,j表示像素点(i，j)处的灰度值，xi
表示像素点(i，j)在x轴方向的坐标，yi表示像素点(i，j)在y轴方向的坐标，n表示提取到的
图像的像素的个数。
获取提取到的图像的外围像素点的像素值的平均值，将平均值作为背景估计值b0；
获取最大像素值B，将最大像素值B减去背景估计值b0，得到信号亮度的估计值A0；
通过公式s0＝0.21*λ/(NA*pixelsize)计算得到荧光点扩散函数的估计标准差s0；
其中，λ为全内反射的光学成像系统的光的波长，由全内反射的光学成像系统中使用的光源与滤光片决定；NA为数值孔径，由全内反射的光学成像系统中使用的物镜决定；pixelsize为像素尺寸的大小，由全内反射的光学成像系统的放大倍数和探测器的像素大小决定。
第二种粗定位的方法包括：
将提取到的图像与X轴的梯度算子进行卷积运算，得到x轴的
梯度分布Gx；
将提取到的图像与Y轴的梯度算子进行卷积运算，得到y轴的梯度
分布Gy；
通过公式Θ(i,j)＝arctan2(Gy(i,j)/Gx(i,j))，计算得到像素梯度方向Θ(i,j)；
通过公式Cy＝K(i,j)*Cx+C(i,j)计算得到平行于像素梯度方向Θ(i,j)的直线，即辐射线；
其中，K(i,j)为辐射线的斜率，由像素梯度方向Θ(i,j)决定，即K(i，j)＝tanΘ(i,j)；C(i,j)为辐射线在y轴上的截距；
通过求解方程和得到与辐射线之间的距离
的平方和最小的像素点的X坐标Cx和Y坐标Cy；
在本实施例中，求解得到的该像素点为最大辐射对称中心点。
获取提取到的图像的外围像素点的像素值的平均值，将平均值作为背景估计值b0；
获取最大像素值B，将最大像素值B减去背景估计值b0，得到信号亮度的估计值A0；
通过公式s0＝0.21*λ/(NA*pixelsize)计算得到荧光点扩散函数的估计标准差s0；
其中，λ为全内反射的光学成像系统的光的波长，由全内反射的光学成像系统中使用的光源与滤光片决定；NA为数值孔径，由全内反射的光学成像系统中使用的物镜决定；pixelsize为像素尺寸的大小，由全内反射的光学成像系统的放大倍数和探测器的像素大小决定。
步骤S130：基于提取到的图像的亚像素级定位参数对提取到的图像进行精定位。
对本步骤进行说明，步骤S130具体包括：
建立计算模型：
其中，为像素点(i,j)处的理论光强，A为信号亮度的估计值A0，i为提取到的区域的x轴坐标，j为提取到的区域的y轴坐标，x0为提取到的图像中像素点的X坐标Cx，y0为提取到的图像中像素点的Y坐标Cy，s为荧光点扩散函数的估计标准差s0，b为背景估计值b0；
对计算模型进行估计，即以信号亮度的估计值A0、提取到的图像中像素点的X坐标Cx、提取到的图像中像素点的Y坐标Cy、荧光点扩散函数的估计标准差s0和背景估计值b0作为初值代入计算模型进行迭代计算直至与观测值的差值在误差阈值之内，将此时的信号亮度的估计值A0记作信号亮度的精确值A，提取到的图像中像素点的X坐标Cx记作像素点精度的X坐标x0、提取到的图像中像素点的Y坐标Cy记作像素点精度的Y坐标y0、荧光点扩散函数的估计标准差s0记作荧光点扩散函数精确的标准差s，背景估计值b0记作背景精确值b。
具体地，在本实施例中，采用极大似然法对上述计算模型进行估计，即调整参数A,xo,yo,s,b使理论光强(即理论灰度值)逼近观测值I(xi,j)(即实际灰度值)，得到的估计方程如下：
为了得到精定位之后的图像，在步骤S130之后，还包括：
基于得到的精确的像素点的X坐标x0和Y坐标y0、背景估计值A、信号亮度的估计值b和荧光点PSF标准差估计值s0，进行图像渲染，得到最终的图像。
这里需要说明的是，对待处理图像进行去噪处理的步骤、步骤S110和步骤S120均在FPGA中完成，步骤S130在电脑的GPU(Graphics Processing Unit，图形处理器)中完成，得到最终的图像的步骤在电脑的CPU(Central Processing Unit，中央处理器)中完成。
实施例二
参见图2，本发明实施例提供的保证精度的实时单分子定位系统，包括：
区域提取模块100，用于基于像素级定位参数对待处理图像进行区域提取；
在本实施例中，区域提取模块100，具体包括：
像素值获取单元，用于获取待处理图像中每个像素点的像素值；
判断单元，用于判断获取到的像素值是否大于预设阈值；
像素点获取单元，用于若判断单元的判断结果为是，获取其中的最大像素值B所对应的像素点的坐标，最大像素值B所对应的像素点的坐标为像素级定位参数；
区域提取执行单元，用于提取出以获取到的最大像素值B所对应的像素点的坐标为中心的一定区域的图像；其中，一定区域由待处理图像而定。
为了提高本发明实施例的超分辨图像的定位精度，还包括：
去噪模块，用于对待处理图像进行去噪处理；
在本实施例中，去噪模块，具体用于将待处理图像与均值模板进行卷积运算，得到去噪后的待处理图像，即对待处理图像进行去噪处理。
粗定位模块200，用于对提取到的图像进行粗定位，得到提取到的图像的亚像素级定位参数；
本发明实施例至少提出了两种粗定位模块200，具体地，第一种粗定位模块200，具体包括：
第一计算单元，用于通过公式和得到提取到的图像中像素点的X坐标Cx和Y坐标Cy；其中，Ii,j表示像素点(i，j)处的灰度值，xi表示像素点(i，j)在x轴方向的坐标，yi表示像素点(i，j)在y轴方向的坐标，n表示提取到的图像的像素的个数。
第二计算单元，用于计算提取到的图像的外围像素点的像素值的平均值，将平均值作为背景估计值b0；
第三计算单元，用于获取最大像素值B，将最大像素值B减去背景估计值b0，得到信号亮度的估计值A0；
第四计算单元，用于通过公式s0＝0.21*λ/(NA*pixelsize)计算得到荧光点扩散函数的估计标准差s0；其中，λ为全内反射的光学成像系统的光的波长，NA为数值孔径，pixelsize为像素尺寸的大小。
在本实施例中，λ由全内反射的光学成像系统中使用的光源与滤光片决定，NA由全内反射的光学成像系统中使用的物镜决定，pixelsize由全内反射的光学成像系统的放大倍数和探测器的像素大小决定。
第二种粗定位模块200，具体包括：
第一运算单元，用于将提取到的图像与X轴的梯度算子进行卷
积运算，得到x轴的梯度分布Gx；
第二运算单元，用于将提取到的图像与Y轴的梯度算子进行卷积
运算，得到y轴的梯度分布Gy；
第三运算单元，用于通过公式Θ(i,j)＝arctan2(Gy(i,j)/Gx(i,j))，计算得到像素梯度方向Θ(i,j)；
第四运算单元，用于通过公式Cy＝K(i,j)*Cx+C(i,j)计算得到平行于像素梯度方向Θ(i,j)的直线，即辐射线；其中，K(i,j)为辐射线的斜率，由像素梯度方向Θ(i,j)决定，即K(i，j)＝tanΘ(i,j)；C(i,j)为辐射线在y轴上的截距；
第五运算单元，用于通过求解方程和得到
与辐射线之间的距离的平方和最小的像素点的X坐标Cx和Y坐标Cy；
第六运算单元，用于计算提取到的图像的外围像素点的像素值的平均值，将平均值作为背景估计值b0；
第七运算单元，用于获取最大像素值B，将最大像素值B减去背景估计值b0，得到信号亮度的估计值A0；
第八运算单元，用于通过公式s0＝0.21*λ/(NA*pixelsize)计算得到荧光点扩散函数的估计标准差s0；其中，λ为全内反射的光学成像系统的光的波长，NA为数值孔径，pixelsize为像素尺寸的大小。
在本实施例中，λ由全内反射的光学成像系统中使用的光源与滤光片决定，NA由全内反射的光学成像系统中使用的物镜决定，pixelsize由全内反射的光学成像系统的放大倍数和探测器的像素大小决定。
精定位模块300，用于基于提取到的图像的亚像素级定位参数对提取到的图像进行精定位。
在本实施例中，精定位模块300，具体包括：
计算模型建立单元，用于建立计算模型：其中，为像素点(i,j)处的理论光强，
A为信号亮度的估计值A0，i为提取到的区域的x轴坐标，j为提取到的区域的y轴坐标，x0为提
取到的图像中像素点的X坐标Cx，y0为提取到的图像中像素点的Y坐标Cy，s为荧光点扩散函
数的估计标准差s0，b为背景估计值b0；
精定位执行单元，用于对计算模型进行估计，即以信号亮度的估计值A0、提取到的图像中像素点的X坐标Cx、提取到的图像中像素点的Y坐标Cy、荧光点扩散函数的估计标准差s0和背景估计值b0作为初值代入计算模型进行迭代计算直至与观测值的差值在误差阈值之内，将此时的信号亮度的估计值A0记作信号亮度的精确值A，提取到的图像中像素点的X坐标Cx记作像素点精度的X坐标x0、提取到的图像中像素点的Y坐标Cy记作像素点精度的Y坐标y0、荧光点扩散函数的估计标准差s0记作荧光点扩散函数精确的标准差s，背景估计值b0记作背景精确值b。
具体地，在本实施例中，采用极大似然法对上述计算模型进行估计，即调整参数A,xo,yo,s,b使理论光强(即理论灰度值)逼近观测值I(xi,j)(即实际灰度值)，得到的估计方程如下：
为了得到精定位之后的图像，还包括：
显示模块，用于基于得到的精确的像素点的X坐标x0和Y坐标y0、背景估计值A、信号亮度的估计值b和荧光点PSF标准差估计值s0，进行图像渲染，得到最终的图像。
这里需要说明的是，去噪模块、区域提取模块100和粗定位模块200均在FPGA中，精定位模块300在电脑的GPU中，显示模块在电脑的CPU中。
实施例三
通过上述实施例二提供的系统对超分辨图像进行定位的具体步骤包括：
参见图3，先通过探测器对原始图像数据进行探测，并将获得的原始图像数据通过
一分二的Camera Link子卡，一路传输到电脑端，进行传统的控制与数据传输，另一路将图
像数据传输到FPGA板卡上，并在FPGA板卡上的DRAM缓存区中进行缓存。再将DRAM缓存区中
的图像数据读出到行缓存区中，得到3x3的待处理图像像素。去噪模块使用3x3的均值模板
与得到的3x3待处理图像像素进行卷积，得到滤波后的图像。去噪模块将滤波后的图像传入
到区域提取模块100，进行荧光点的判断。其判断方法为先求得一列滤波后图像的灰度值的
标准差，并以该标准差的5倍作为预设阈值。再判断滤波后的图像的像素点的像素值是否大
于该预设阈值，同时判断其是否为其3x3像素临域中的最大值。若是，则将由原始图像的行
缓存区扫描到的像素以该像素坐标为中心的7x7区域提取出来，得到区域提取后的图像数
据；若不是，则不对该区域做任何处理。接着，求得区域提取的图像数据的最外围一周的24
个像素的平均值作为背景估计值b0，以中心像素值减去背景估计值b0作为信号亮度的估计
值A0，荧光点扩散函数(PSF)标准差估计值使用固定的常数s0进行估计，通过公式和计算出提取到的图像
中像素点的X坐标Cx和Y坐标Cy，完成粗定位。再将粗定位得到的背景估计值b0、信号亮度的
估计值A0、荧光点PSF标准差估计值s0、XY坐标估计值Cx、Cy和区域提取得到的7x7区域通过
通用接口(PCIE或者以太网，USB)传输到电脑端，并通过电脑内存传输给GPU进行精定位。最
后，将精定位得到的精确的像素点的X坐标x0和Y坐标y0、背景估计值A、信号亮度的估计值b
和荧光点扩散函数PSF传入到CPU中，调用系统渲染函数进行图像渲染，得到最终的图像。
【技术效果】
1、先基于像素级别的分子定位坐标对待处理图像进行区域提取；再对提取到的图像进行粗定位，得到提取到的图像的亚像素级别的分子定位坐标Cx和Cy、信号亮度的估计值A0、荧光点扩散函数的估计标准差s0和背景估计值b0；接着基于提取到的图像的亚像素级别的分子定位坐标Cx和Cy、信号亮度的估计值A0、荧光点扩散函数的估计标准差s0和背景估计值b0对提取到的图像进行精定位，得到精确定位的像素点的X坐标x0和Y坐标y0、背景估计值A、信号亮度的估计值b和荧光点PSF标准差估计值s0。由于经过粗定位得到的初始值(亚像素级定位参数)更接近于真实值，再据此进行精定位计算，因而减少了在精定位时的迭代次数，从而加快了超分辨图像的定位速度。这样，本发明实施例在保证定位精度的情况下，加快了超分辨图像的定位速度。
2、在对待处理图像进行区域提取之前，对待处理图像进行去噪处理，进一步地保证了本发明实施例的定位精度。
3、在本发明实施例中，去噪、区域提取、粗定位的步骤在FPGA中完成，精定位和显示的步骤在电脑上的GPU中完成，由于FPGA和GPU均具有数据并行处理的能力，而在FPGA中可以将同一功能配置多个，将数据拆分成多份，分别进行处理，因而可进一步加快超分辨图像的定位速度。同时，每个硬件时钟内，数据都会向前传输，这样，来一个数据就可以处理一个数据，数据处理就处于流水线处理(流处理)的状态，这样，就可以做超分辨图像的实时处理，更进一步地加快了超分辨图像的定位速度。
4、在本发明实施例中，若将粗定位模块和精定位模块配置在具有并行处理能力和流处理能力的硬件上，粗定位模块和精定位模块就可以配置在不同的硬件单元上，使粗定位模块和精定位模块能够相互独立地工作。这样，粗定位模块就不占用精定位模块的资源，从而缩短了超分辨图像定位的时间。
本发明实施例中的硬件的加速时钟可以达到150MHz，这相对于现有的探测器的速度来说，已经完全能满足超分辨图像实时定位的要求。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种保证精度的实时单分子定位方法，其特征在于，包括：
基于像素级定位参数对待处理图像进行区域提取；
对提取到的图像进行粗定位，得到所述提取到的图像的亚像素级定位参数；
基于所述提取到的图像的亚像素级定位参数对所述提取到的图像进行精定位；经过粗定位得到的亚像素级定位参数更接近于真实值，再据此进行精定位计算，减少了在精定位时的迭代次数，加快了超分辨图像的定位速度，在保证定位精度的情况下，加快了超分辨图像的定位速度；
基于提取到的图像的亚像素级定位参数对提取到的图像进行精定位，具体包括：
建立计算模型：
其中，为像素点(i,j)处的理论光强，A为信号亮度的估计值A0，i为提取到的区域的x轴坐标，j为提取到的区域的y轴坐标，x0为提取到的图像中像素点的X坐标Cx，y0为提取到的图像中像素点的Y坐标Cy，s为荧光点扩散函数的估计标准差s0，b为背景估计值b0；
对计算模型进行估计，即以信号亮度的估计值A0、提取到的图像中像素点的X坐标Cx、提取到的图像中像素点的Y坐标Cy、荧光点扩散函数的估计标准差s0和背景估计值b0作为初值代入计算模型进行迭代计算直至与观测值的差值在误差阈值之内，将此时的信号亮度的估计值A0记作信号亮度的精确值A，提取到的图像中像素点的X坐标Cx记作像素点精度的X坐标x0、提取到的图像中像素点的Y坐标Cy记作像素点精度的Y坐标y0、荧光点扩散函数的估计标准差s0记作荧光点扩散函数精确的标准差s，背景估计值b0记作背景精确值b；
具体地，采用极大似然法对上述计算模型进行估计，即调整参数A,xo,yo,s,b使理论光强逼近观测值I(xi,j)，得到的估计方程如下：
2.如权利要求1所述的方法，其特征在于，所述基于像素级定位参数对待处理图像进行区域提取，包括：
获取所述待处理图像中每个像素点的像素值；
判断所述获取到的像素值是否大于预设阈值；
若是，获取最大像素值所对应的像素点的坐标，所述最大像素值所对应的像素点的坐标为所述像素级定位参数；
提取出以所述获取到的最大像素值所对应的像素点的坐标为中心的一定区域的图像；
其中，所述一定区域由所述待处理图像而定。
3.如权利要求2所述的方法，其特征在于，所述对提取到的图像进行粗定位，得到所述提取到的图像的亚像素级定位参数，包括：
通过公式和得到所述提取到的图像中像素点的X坐标Cx和Y坐标Cy；其中，Ii,j表示像素点(i，j)处的灰度值，xi表示像素点(i，j)在x轴方向的坐标，yi表示像素点(i，j)在y轴方向的坐标，n表示所述提取到的图像的像素的个数；
获取所述提取到的图像的外围像素点的像素值的平均值，将所述平均值作为背景估计值b0；
获取所述最大像素值，将所述最大像素值减去所述背景估计值b0，得到信号亮度的估计值A0；
通过公式s0＝0.21*λ/(NA*pixelsize)计算得到荧光点扩散函数的估计标准差s0；
其中，λ为全内反射的光学成像系统的光的波长，NA为数值孔径，pixelsize为像素尺寸的大小。
4.如权利要求2所述的方法，其特征在于，所述对提取到的图像进行粗定位，得到所述提取到的图像的亚像素级定位参数，包括：
将所述提取到的图像与X轴的梯度算子进行卷积运算，得到x轴的梯度分布Gx；
将所述提取到的图像与Y轴的梯度算子进行卷积运算，得到y轴的梯度分布Gy；
通过公式Θ(i,j)＝arctan2(Gy(i,j)/Gx(i,j))，计算得到像素梯度方向Θ(i,j)；
通过公式Cy＝K(i,j)*Cx+C(i,j)计算得到平行于所述像素梯度方向Θ(i,j)的直线，即辐射线；
其中，K(i,j)为所述辐射线的斜率，由所述像素梯度方向Θ(i,j)决定；C(i,j)为所述辐射线在y轴上的截距；
通过求解方程和得到与所述辐射线之间的距离的平方和最小的像素点的X坐标Cx和Y坐标Cy；
获取所述提取到的图像的外围像素点的像素值的平均值，将所述平均值作为背景估计值b0；
获取所述最大像素值，将所述最大像素值减去所述背景估计值b0，得到信号亮度的估计值A0；
通过公式s0＝0.21*λ/(NA*pixelsize)计算得到荧光点扩散函数的估计标准差s0；
其中，λ为全内反射的光学成像系统的光的波长，NA为数值孔径，pixelsize为像素尺寸的大小。
5.一种保证精度的实时单分子定位系统，其特征在于，包括：
区域提取模块，用于基于像素级定位参数对待处理图像进行区域提取；
粗定位模块，用于对提取到的图像进行粗定位，得到所述提取到的图像的亚像素级定位参数；
精定位模块，用于基于所述提取到的图像的亚像素级定位参数对所述提取到的图像进行精定位，减少了在精定位时的迭代次数，加快了超分辨图像的定位速度，在保证定位精度的情况下，加快了超分辨图像的定位速度；
精定位模块，具体包括：
计算模型建立单元，用于建立计算模型：其中，为像素点(i,j)处的理论光强，A为信号亮度的估计值A0，i为提取到的区域的x轴坐标，j为提取到的区域的y轴坐标，x0为提取到的图像中像素点的X坐标Cx，y0为提取到的图像中像素点的Y坐标Cy，s为荧光点扩散函数的估计标准差s0，b为背景估计值b0；
精定位执行单元，用于对计算模型进行估计，即以信号亮度的估计值A0、提取到的图像中像素点的X坐标Cx、提取到的图像中像素点的Y坐标Cy、荧光点扩散函数的估计标准差s0和背景估计值b0作为初值代入计算模型进行迭代计算直至与观测值的差值在误差阈值之内，将此时的信号亮度的估计值A0记作信号亮度的精确值A，提取到的图像中像素点的X坐标Cx记作像素点精度的X坐标x0、提取到的图像中像素点的Y坐标Cy记作像素点精度的Y坐标y0、荧光点扩散函数的估计标准差s0记作荧光点扩散函数精确的标准差s，背景估计值b0记作背景精确值b；
具体地，采用极大似然法对上述计算模型进行估计，即调整参数A,xo,yo,s,b使理论光强逼近观测值I(xi,j)，得到的估计方程如下：
6.如权利要求5所述的系统，其特征在于，所述区域提取模块，具体包括：
像素值获取单元，用于获取所述待处理图像中每个像素点的像素值；
判断单元，用于判断所述获取到的像素值是否大于预设阈值；
像素点获取单元，用于若所述判断单元的判断结果为是，获取最大像素值所对应的像素点的坐标，所述最大像素值所对应的像素点的坐标为所述像素级定位参数；
区域提取执行单元，用于提取出以所述获取到的最大像素值所对应的像素点的坐标为中心的一定区域的图像；其中，所述一定区域由所述待处理图像而定。
7.如权利要求6所述的系统，其特征在于，所述粗定位模块，具体包括：
第一计算单元，用于通过公式和得到所述提取到的图像中像素点的X坐标Cx和Y坐标Cy；其中，Ii,j表示像素点(i，j)处的灰度值，xi表示像素点(i，j)在x轴方向的坐标，yi表示像素点(i，j)在y轴方向的坐标，n表示所述提取到的图像的像素的个数；
第二计算单元，用于计算所述提取到的图像的外围像素点的像素值的平均值，将所述平均值作为背景估计值b0；
第三计算单元，用于获取所述最大像素值，将所述最大像素值减去所述背景估计值b0，得到信号亮度的估计值A0；
第四计算单元，用于通过公式s0＝0.21*λ/(NA*pixelsize)计算得到荧光点扩散函数的估计标准差s0；其中，λ为全内反射的光学成像系统的光的波长，NA为数值孔径，pixelsize为像素尺寸的大小。
8.如权利要求6所述的系统，其特征在于，所述粗定位模块，具体包括：
第一运算单元，用于将所述提取到的图像与X轴的梯度算子进行卷积运算，得到x轴的梯度分布Gx；
第二运算单元，用于将所述提取到的图像与Y轴的梯度算子进行卷积运算，得到y轴的梯度分布Gy；
第三运算单元，用于通过公式Θ(i,j)＝arctan2(Gy(i,j)/Gx(i,j))，计算得到像素梯度方向Θ(i,j)；
第四运算单元，用于通过公式Cy＝K(i,j)*Cx+C(i,j)计算得到平行于所述像素梯度方向Θ(i,j)的直线，即辐射线；其中，K(i,j)为所述辐射线的斜率，由所述像素梯度方向Θ(i,j)决定；C(i,j)为所述辐射线在y轴上的截距；
第五运算单元，用于通过求解方程和得到与所述辐射线之间的距离的平方和最小的像素点的X坐标Cx和Y坐标Cy；
第六运算单元，用于获取所述提取到的图像的外围像素点的像素值的平均值，将所述平均值作为背景估计值b0；
第七运算单元，用于获取所述最大像素值，将所述最大像素值减去所述背景估计值b0，得到信号亮度的估计值A0；
第八运算单元，用于通过公式s0＝0.21*λ/(NA*pixelsize)计算得到荧光点扩散函数的估计标准差s0；其中，λ为全内反射的光学成像系统的光的波长，NA为数值孔径，pixelsize为像素尺寸的大小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510560412.5A CN105243677B (zh) | 2015-09-02 | 2015-09-02 | 一种保证精度的实时单分子定位方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510560412.5A CN105243677B (zh) | 2015-09-02 | 2015-09-02 | 一种保证精度的实时单分子定位方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105243677A CN105243677A (zh) | 2016-01-13 |
| CN105243677B true CN105243677B (zh) | 2019-10-01 |
Family
ID=55041309
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510560412.5A Active CN105243677B (zh) | 2015-09-02 | 2015-09-02 | 一种保证精度的实时单分子定位方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105243677B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10303847B2 (en) | 2016-12-09 | 2019-05-28 | Direct Genomics Co., Ltd. | Single molecule identification using intensity time sequencing, line charting and run-length coding |
| CN108229097A (zh) * | 2016-12-09 | 2018-06-29 | 深圳市瀚海基因生物科技有限公司 | 单分子的识别、计数方法及装置 |
| CN108229098A (zh) * | 2016-12-09 | 2018-06-29 | 深圳市瀚海基因生物科技有限公司 | 单分子的识别、计数方法及装置 |
| CN108168439B (zh) * | 2017-12-29 | 2019-11-19 | 北京理工大学 | 一种基于亚像素的裂缝宽度检测方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1793862A (zh) * | 2005-12-16 | 2006-06-28 | 中国科学院上海光学精密机械研究所 | 膜蛋白分子相互作用的光学探测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007114130A (ja) * | 2005-10-24 | 2007-05-10 | Tohoku Univ | 位置解析方法及び位置解析装置 |
-
2015
- 2015-09-02 CN CN201510560412.5A patent/CN105243677B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1793862A (zh) * | 2005-12-16 | 2006-06-28 | 中国科学院上海光学精密机械研究所 | 膜蛋白分子相互作用的光学探测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Single-molecule studies of DNA by molecular combing;Liu Yuying等;《Progress in Natural Science》;20070515;第17卷(第5期);第493-499页 * |
| 超分辨定位成像中的快速数据处理方法研究;马洪强;《中国博士学位论文全文数据库医药卫生科技辑》;20150715(第07期);第17-84页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105243677A (zh) | 2016-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108229497B (zh) | 图像处理方法、装置、存储介质、计算机程序和电子设备 | |
| Zhuo et al. | Defocus map estimation from a single image | |
| CN105243677B (zh) | 一种保证精度的实时单分子定位方法及系统 | |
| JP5315157B2 (ja) | 情報処理装置、ライン状ノイズ低減処理方法、及びプログラム | |
| Wasza et al. | Real-time preprocessing for dense 3-D range imaging on the GPU: Defect interpolation, bilateral temporal averaging and guided filtering | |
| CN104899888B (zh) | 一种基于Legendre矩的图像亚像素边缘检测方法 | |
| Sun | A new single-image fog removal algorithm based on physical model | |
| JP2013069288A (ja) | 反射除去システム | |
| Temerinac-Ott et al. | Spatially-variant Lucy-Richardson deconvolution for multiview fusion of microscopical 3D images | |
| CN107993201B (zh) | 一种保留边界特征的深度图像增强方法 | |
| Lee et al. | Improving focus measurement via variable window shape on surface radiance distribution for 3D shape reconstruction | |
| CN112200848A (zh) | 低光照弱对比复杂环境下的深度相机视觉增强方法及系统 | |
| Hansen et al. | Super resolution digital image correlation (SR-DIC): an alternative to image stitching at high magnifications | |
| CN105491269A (zh) | 基于反卷积图像复原的高保真视频放大方法 | |
| CN105791635B (zh) | 基于gpu的视频增强去噪方法及装置 | |
| Zhang et al. | Construction of fractional differential masks based on Riemann-Liouville definition | |
| Frommer et al. | Shape from Focus with Adaptive Focus Measure and High Order Derivatives. | |
| CN108364274B (zh) | 微纳米尺度下光学图像的无损清晰重构方法 | |
| CN102930595B (zh) | 基于单幅扫描电子显微镜图像的样品表面三维重建方法 | |
| CN110599510A (zh) | 一种图片特征提取方法 | |
| CN113763380B (zh) | 基于矢量梯度的无参考图像清晰度评价方法 | |
| CN112146834B (zh) | 结构振动位移测量方法及装置 | |
| JP2006208340A (ja) | 欠陥検査装置 | |
| Inzerillo | Super-resolution images on mobile smartphone aimed at 3D modeling | |
| Xu et al. | A multistaged automatic restoration of noisy microscopy cell images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |