CN102063730B - 基于单分子定位的快速超分辨成像方法及系统 - Google Patents

Abstract

本发明公开了一种基于单分子定位的快速超分辨成像方法及系统，该方法包括：设置图像采集参数、硬件调控参数、超分辨图像处理和重建参数；根据所述硬件调控参数进行硬件调控；根据所述采集参数进行图像采集，并根据所述采集的图像反馈调控所述硬件；及根据所述超分辨图像处理和重建参数对所述采集的图像进行超分辨图像处理和重建，并根据超分辨图像处理和重建的结果反馈调控所述硬件。本发明提供的基于光激活单分子定位的超分辨成像方法所用算法精度高，能够用图形处理器GPU并行运算实现的，可以达到更快的图像处理的处理，和重建速度，并且可以自动调控整个成像系统，包括快门、电动台及步进电机，从而实现了快速的超分辨成像。

Description

基于单分子定位的快速超分辨成像方法及系统

技术领域

 本发明属于超分辨成像技术领域，特别是涉及一种基于单分子定位的快速超分辨成像方法及系统。

背景技术

对基于单分子定位的超分辨成像系统而言，现在业界普遍认为，EMCCD是系统必备的探测器。EMCCD的控制主要通过生产商提供的配套软件实现，但存在的主要问题是：

    在硬件调控方面，配套的软件仅考虑了EMCCD的控制，并没有考虑其他设备的控制，例如：超分辨成像过程中激发光、激活光的切换及光强控制，全内反射荧光（TIRF）成像所用平移台的控制，快门的控制（用来开关激光）等。所以，基于配套软件的超分辨成像系统，实验效率低、耗时大、各种设备之间的同步性差，限制了快速超分辨成像的实现。

在图像处理方面，配套软件没有提供超分辨图像处理及重建的功能。其次，目前超分辨图像处理常用的算法主要有高斯拟合法、解线性方程法、质心法，但这些算法的缺点是不能同时实现高处理速度和高定位精度。另外，目前超分辨图像处理使用的计算技术是基于CPU的单线程或多线程，导致处理和重建速度慢，很难实现快速超分辨成像。

发明内容

本发明的目的之一提供图像处理和重建速度快、定位精度高的一种基于单分子定位的超分辨成像方法和系统。

根据本发明的一个方面，提供一种基于单分子定位的快速超分辨成像方法，包括：

设置图像采集参数、硬件调控参数、超分辨图像处理和重建参数；

根据所述硬件调控参数进行硬件调控；

根据所述采集参数进行图像采集，并根据所述采集的图像反馈调控所述硬件；及

根据所述超分辨图像处理和重建参数对所述采集的图像进行超分辨图像处理和重建，并根据超分辨图像处理和重建的结果反馈调控所述硬件。

    根据本发明的另一个方面，提供一种基于单分子定位的快速超分辨成像系统，包括：

参数设置单元，设置图像采集参数、硬件调控参数和超分辨图像处理和重建参数；

硬件调控单元，根据所述硬件调控参数进行硬件调控；

图像采集单元，根据所述采集参数进行图像采集，并根据所述采集的图像反馈调控所述硬件；

图形处理单元，根据所述超分辨图像处理和重建参数对所述采集的图像进行超分辨图像处理和重建，并根据超分辨图像处理和重建的结果反馈调控所述硬件。

本发明提供的基于单分子定位的超分辨成像方法和系统能实现实时、快速的超分辨成像。

附图说明

图1 是本发明实施例提供的基于单分子定位的快速超分辨成像方法的流程图；

图2是图1所示流程中根据超分辨图像处理和重建参数对采集的图像进行超分辨图像处理和重建的流程图；

图3 是本发明实施例提供的基于单分子定位的快速超分辨成像系统的结构框图；

图4是图1提供的基于单分子定位的快速超分辨成像方法的具体工作流程图。

具体实施方式

如图1所示，本发明实施例提供的基于单分子定位的快速超分辨成像方法包括：

步骤S101、设置图像采集参数、硬件调控参数、超分辨图像处理和重建参数。其中，设置图像采集参数具体可是设置图像传感器EMCCD的采集参数，例如，曝光时间、采集周期、采集帧数、图像区域、制冷温度和电子倍增EMGain等。硬件的调控参数，即设置开关信号的周期、占空比、延迟时间及电机的位置等。超分辨图像处理和重建参数可包括每次处理和重建的帧数、放大倍数、系统放大率及电子倍增EMGain等。

步骤S102、根据硬件调控参数进行硬件调控。硬件的调控会实时反映在图像传感器EMCCD上面。

步骤S103、根据采集参数进行图像采集，并根据采集的图像反馈调控硬件；及

步骤S104、根据超分辨图像处理和重建参数对采集的图像进行超分辨图像处理和重建，并根据超分辨图像处理和重建的结果反馈调控硬件。该步骤将结合图2所示流程进行详细说明。

以上调控硬件包括：控制激发光、激活光光强以及激发时间的电机，反馈补偿样品漂移的平移台等。

如图2所示，根据超分辨图像处理和重建参数对采集的图像进行超分辨图像处理和重建包括：

步骤S1041、将采集的图像进行卷积去噪；

步骤S1042、根据设定超分辨图像处理和重建参数的阈值对去噪后的图像数据进行计算，根据计算结果标记单分子位置信息；

步骤S1043、根据标记的单分子位置信息进行次像素级定位，确定单分子定位信息；次像素级定位是采用最大似然法进行高精度定位。

步骤S1044、叠加渲染单分子定位信息成最终的超分辨结果图。

作为本发明实施例的一优选方案，步骤S104采集的图像进行超分辨图像处理和重建之前还包括：

设置用于将采集的图像读取到内存的触发，即如果有了新的图像会触发程序将新采集的图像数据读取到内存里面。

设置用于一面将内存存取的采集图像存到硬盘、另一面从内存读取预定数目的采集图像以进行图像超分辨图像处理和重建的触发。

作为本发明实施例的一优选方案，步骤S104对采集的图像进行超分辨图像处理和重建之后还包括：

设置对超分辨重建图像进行实时显示的触发。

如图3所示，本发明实施例提供的基于单分子定位的超分辨成像系统包括参数设置单元21、硬件调控单元22、图像采集单元23、图形处理单元24、触发设置单元25。该系统可运行在计算机上。其中，参数设置单元21设置图像采集参数、硬件调控参数和超分辨图像处理和重建参数。硬件调控单元22根据硬件调控参数进行硬件调控。图像采集单元23根据采集参数进行图像采集，并根据采集的图像反馈调控硬件。图形处理单元24根据超分辨图像处理和重建参数对采集的图像进行超分辨图像处理和重建，并根据超分辨图像处理和重建的结果反馈调控硬件。图形处理单元24可用GPU来实现。触发设置单元25设置用于将采集的图像读取到内存的触发，及设置用于一面将内存存取的采集图像存到硬盘、另一面从内存读取预定数目的采集图像以进行图像超分辨图像处理和重建的触发。例如，可设置触发事件，一方面将采集到的图像存到硬盘上，另一方面如果采集到预订数目的图像就送到GPU处理，另外，在GPU处理结束后，将超分辨图像分析及处理和重建结果写到硬盘上面，同时触发UI 线程显示超分辨图像分析及处理和重建结果。

参数设置单元21包括图像采集参数设置模块211、硬件调控参数设置模块212及超分辨处理和重建参数设置模块213。其中，图像采集参数设置模块211设置图像传感器的采集参数；采集参数包括曝光时间、采集周期、采集帧数、图像区域、制冷温度和EMGain。硬件调控参数设置模块212设置调控硬件所需的参数，包括开关信号的周期，占空比，延迟时间及电机的位置。超分辨处理和重建参数设置模块213用于设置图像超分辨处理和重建的参数，包括每次处理和重建的帧数，放大倍数，系统放大率及EMGain。

图像处理单元24包括卷积去噪模块241、子区域提取模块242、定位模块243及成像模块244。其中，卷积去噪模块241将采集的图像进行卷积去噪，去噪后将图像存储在内存中。子区域提取模块242根据设定超分辨图像处理和重建参数的阈值对去噪后的图像数据进行计算，根据计算结果标记单分子位置信息，并将标记的单分子位置信息传到显存中。定位模块243根据标记的单分子位置信息进行次像素级定位，确定单分子定位信息，并将定位结果传送给内存。成像模块244叠加渲染单分子定位信息成最终的超分辨结果图。

在本发明实施例中，针对图像重建部分的大运算量，可利用Main Thread线程处理用户的请求（如各种硬件设备的设置和同步调控、图像处理请求等），利用新开辟的Work Thread线程处理CPU内存和显存之间的数据交换、GPU重建结果的分析和显示。

本发明实施例解决了手动硬件调控的问题。Main Thread线程可以实现硬件设备的同步调控。本发明实施例采用最大似然法进行高精度定位，同时利用GPU进行高速并行计算，定位精度高、处理速度快。

下面结合图4所示的一具体流程对本发明超分辨成像过程进行具体说明：

系统硬件和样品准备就绪后，首先会进行系统初始化，包括各硬件（如EMCCD、快门 和电机等）的初始化。系统初始化结束后，设置采集参数，主要包括EMCCD参数，超分辨重建参数，快门和电机的开关、位移参数等。EMCCD的参数主要包括：曝光时间、采集周期、采集帧数、图像区域、制冷温度和EMGain等。快门和电机的参数主要包括开关信号的周期、占空比、延迟时间和电机的位置等。超分辨重建的参数主要包括每次处理的帧数、放大倍数、系统放大率和EMGain等。设置好上述参数后开始图像采集，同时开辟Work Thread来负责运算任务。

作为本发明实施的一优选方案，在图像采集的时间段内，实现了并行的图像采集、超分辨图像处理和重建、及硬件设备的同步控制。

在此时间段内有两个循环同时执行：

循环一在Main Thread内设置，其任务包括：（1）设置触发事件(Trigger Event)，其作用是将采集到的图像读取到内存；（2）根据循环二的分析结果，反馈控制硬件设备的工作状态。采集到预定数目的图像后（可根据实际需要进行预设，例如预定数目可设置为20），循环一结束。

循环二在 Work Thread内设置，其任务包括：（1）将采集到的图像存到硬盘上；（2）将内存中的图像送到GPU，进行超分辨图像处理，处理结束将结果写到硬盘；（3）触发Main Thread，显示超分辨图像分析及重建结果。处理完预订数目图像后，循环二结束。

本发明实施例采用Spooling存储模式。

本发明实施例的数据流框图如图3所示。Main Thread将新采集到的图像保存到内存，Work Thread将内存中的图像保存到硬盘。内存中的图像达到预设的处理帧数（可根据实际需要进行预设，例如预设的处理帧数为5000帧）后，Work Thread将其传送到GPU，进行单分子定位处理。GPU处理结束后，Work Thread将结果回传到内存，进行超分辨图像分析。图像分析完毕后，Work Thread将结果保存到硬盘，并触发Main Thread显示超分辨分析和重建结果。

本发明实施例提供的基于单分子定位的快速超分辨成像方法和系统定位精度高、处理速度快，可以解决设备间的同步调控问题，从而实现了快速的超分辨成像。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于单分子定位的快速超分辨成像方法，其特征在于，包括：

设置图像采集参数、硬件调控参数、超分辨图像处理和重建参数；

根据所述硬件调控参数进行硬件调控；

根据所述采集参数进行图像采集，并根据所述采集的图像反馈调控硬件；及

根据所述超分辨图像处理和重建参数对所述采集的图像进行超分辨图像处理和重建，并根据超分辨图像处理和重建的结果反馈调控硬件；

所述采集参数包括曝光时间、采集周期、采集帧数、图像区域、制冷温度和电子倍增；

所述硬件调控参数包括开关信号的周期、占空比、延迟时间及电机的位置；

所述超分辨图像处理和重建参数包括每次处理和重建的帧数、放大倍数、系统放大率及电子倍增。

2.根据权利要求1所述的方法，其特征在于，所述根据所述超分辨图像处理和重建参数对所述采集的图像进行超分辨图像处理和重建包括：

将采集的图像进行卷积去噪；

根据设定所述超分辨图像处理和重建参数的阈值对所述去噪后的图像数据进行计算，根据计算结果标记单分子位置信息；

根据所述标记的单分子位置信息进行次像素级定位，确定单分子定位信息；

叠加渲染所述单分子定位信息成最终的超分辨重建图。

3.根据权利要求2所述的方法，其特征在于：

所述次像素级定位是采用最大似然法进行定位。

4.根据权利要求1所述的方法，其特征在于，所述对采集的图像进行超分辨图像处理和重建之前还包括：

设置用于将采集的图像读取到内存的触发；

设置用于一面将所述内存存取的采集图像存到硬盘、另一面从所述内存读取预定数目的采集图像以进行图像超分辨图像处理和重建的触发。

5.根据权利要求1所述的方法，其特征在于，所述对所述采集的图像进行超分辨图像处理和重建之后还包括：

设置对超分辨的重建图像进行实时显示的触发。

6.一种基于单分子定位的快速超分辨成像系统，其特征在于，包括：

参数设置单元，设置图像采集参数、硬件调控参数、超分辨图像处理和重建参数；

硬件调控单元，根据所述硬件调控参数进行硬件调控；

图像采集单元，根据所述采集参数进行图像采集，并根据所述采集的图像反馈调控硬件；

图像处理单元，根据所述超分辨图像处理和重建参数对所述采集的图像进行超分辨图像处理和重建，并根据超分辨图像处理和重建的结果反馈调控硬件；

所述参数设置单元包括：

图像采集参数设置模块，设置图像传感器的采集参数；所述采集参数包括曝光时间、采集周期、采集帧数、图像区域、制冷温度和电子倍增；

硬件调控参数设置模块，设置调控硬件所需的参数，包括开关信号的周期，占空比，延迟时间及电机的位置；

超分辨处理和重建参数设置模块，用于设置图像超分辨处理和重建的参数，包括每次处理和重建的帧数，放大倍数，系统放大率及电子倍增。

7.根据权利要求6所述的系统，其特征在于，所述图像处理单元包括：

卷积去噪模块，将采集的图像进行卷积去噪；

子区域提取模块，根据设定所述超分辨图像处理和重建参数的阈值对所述去噪后的图像数据进行计算，根据计算结果标记单分子位置信息；

定位模块，根据所述标记的单分子位置信息进行次像素级定位，确定单分子定位信息；

成像模块，叠加渲染所述单分子定位信息成最终的超分辨结果图。

8.根据权利要求6所述的系统，其特征在于，还包括：

触发设置单元，设置用于将采集的图像读取到内存的触发，及设置用于一面将所述内存存取的采集图像存到硬盘、另一面从所述内存读取预定数目的采集图像以进行超分辨图像处理和重建的触发。

Images