CN102063730A - 基于单分子定位的快速超分辨成像方法及系统 - Google Patents
基于单分子定位的快速超分辨成像方法及系统 Download PDFInfo
- Publication number
- CN102063730A CN102063730A CN 201110007997 CN201110007997A CN102063730A CN 102063730 A CN102063730 A CN 102063730A CN 201110007997 CN201110007997 CN 201110007997 CN 201110007997 A CN201110007997 A CN 201110007997A CN 102063730 A CN102063730 A CN 102063730A
- Authority
- CN
- China
- Prior art keywords
- image
- super
- parameter
- reconstruction
- hardware
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 29
- 230000033228 biological regulation Effects 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000009123 feedback regulation Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004087 circulation Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于单分子定位的快速超分辨成像方法及系统,该方法包括:设置图像采集参数、硬件调控参数、超分辨图像处理和重建参数;根据所述硬件调控参数进行硬件调控;根据所述采集参数进行图像采集,并根据所述采集的图像反馈调控所述硬件;及根据所述超分辨图像处理和重建参数对所述采集的图像进行超分辨图像处理和重建,并根据超分辨图像处理和重建的结果反馈调控所述硬件。本发明提供的基于光激活单分子定位的超分辨成像方法所用算法精度高,能够用图形处理器GPU并行运算实现的,可以达到更快的图像处理的处理,和重建速度,并且可以自动调控整个成像系统,包括快门、电动台及步进电机,从而实现了快速的超分辨成像。
Description
技术领域
本发明属于超分辨成像技术领域,特别是涉及一种基于单分子定位的快速超分辨成像方法及系统。
背景技术
对基于单分子定位的超分辨成像系统而言,现在业界普遍认为,EMCCD是系统必备的探测器。EMCCD的控制主要通过生产商提供的配套软件实现,但存在的主要问题是:
在硬件调控方面,配套的软件仅考虑了EMCCD的控制,并没有考虑其他设备的控制,例如:超分辨成像过程中激发光、激活光的切换及光强控制,全内反射荧光(TIRF)成像所用平移台的控制,快门的控制(用来开关激光)等。所以,基于配套软件的超分辨成像系统,实验效率低、耗时大、各种设备之间的同步性差,限制了快速超分辨成像的实现。
在图像处理方面,配套软件没有提供超分辨图像处理及重建的功能。其次,目前超分辨图像处理常用的算法主要有高斯拟合法、解线性方程法、质心法,但这些算法的缺点是不能同时实现高处理速度和高定位精度。另外,目前超分辨图像处理使用的计算技术是基于CPU的单线程或多线程,导致处理和重建速度慢,很难实现快速超分辨成像。
发明内容
本发明的目的之一提供图像处理和重建速度快、定位精度高的一种基于单分子定位的超分辨成像方法和系统。
根据本发明的一个方面,提供一种基于单分子定位的快速超分辨成像方法,包括:
设置图像采集参数、硬件调控参数、超分辨图像处理和重建参数;
根据所述硬件调控参数进行硬件调控;
根据所述采集参数进行图像采集,并根据所述采集的图像反馈调控所述硬件;及
根据所述超分辨图像处理和重建参数对所述采集的图像进行超分辨图像处理和重建,并根据超分辨图像处理和重建的结果反馈调控所述硬件。
根据本发明的另一个方面,提供一种基于单分子定位的快速超分辨成像系统,包括:
参数设置单元,设置图像采集参数、硬件调控参数和超分辨图像处理和重建参数;
硬件调控单元,根据所述硬件调控参数进行硬件调控;
图像采集单元,根据所述采集参数进行图像采集,并根据所述采集的图像反馈调控所述硬件;
图形处理单元,根据所述超分辨图像处理和重建参数对所述采集的图像进行超分辨图像处理和重建,并根据超分辨图像处理和重建的结果反馈调控所述硬件。
本发明提供的基于单分子定位的超分辨成像方法和系统能实现实时、快速的超分辨成像。
附图说明
图1 是本发明实施例提供的基于单分子定位的快速超分辨成像方法的流程图;
图2是图1所示流程中根据超分辨图像处理和重建参数对采集的图像进行超分辨图像处理和重建的流程图;
图3 是本发明实施例提供的基于单分子定位的快速超分辨成像系统的结构框图;
图4是图1提供的基于单分子定位的快速超分辨成像方法的具体工作流程图。
具体实施方式
如图1所示,本发明实施例提供的基于单分子定位的快速超分辨成像方法包括:
步骤S101、设置图像采集参数、硬件调控参数、超分辨图像处理和重建参数。其中,设置图像采集参数具体可是设置图像传感器EMCCD的采集参数,例如,曝光时间、采集周期、采集帧数、图像区域、制冷温度和电子倍增EMGain等。硬件的调控参数,即设置开关信号的周期、占空比、延迟时间及电机的位置等。超分辨图像处理和重建参数可包括每次处理和重建的帧数、放大倍数、系统放大率及电子倍增EMGain等。
步骤S102、根据硬件调控参数进行硬件调控。硬件的调控会实时反映在图像传感器EMCCD上面。
步骤S103、根据采集参数进行图像采集,并根据采集的图像反馈调控硬件;及
步骤S104、根据超分辨图像处理和重建参数对采集的图像进行超分辨图像处理和重建,并根据超分辨图像处理和重建的结果反馈调控硬件。该步骤将结合图2所示流程进行详细说明。
以上调控硬件包括:控制激发光、激活光光强以及激发时间的电机,反馈补偿样品漂移的平移台等。
如图2所示,根据超分辨图像处理和重建参数对采集的图像进行超分辨图像处理和重建包括:
步骤S1041、将采集的图像进行卷积去噪;
步骤S1042、根据设定超分辨图像处理和重建参数的阈值对去噪后的图像数据进行计算,根据计算结果标记单分子位置信息;
步骤S1043、根据标记的单分子位置信息进行次像素级定位,确定单分子定位信息;次像素级定位是采用最大似然法进行高精度定位。
步骤S1044、叠加渲染单分子定位信息成最终的超分辨结果图。
作为本发明实施例的一优选方案,步骤S104采集的图像进行超分辨图像处理和重建之前还包括:
设置用于将采集的图像读取到内存的触发,即如果有了新的图像会触发程序将新采集的图像数据读取到内存里面。
设置用于一面将内存存取的采集图像存到硬盘、另一面从内存读取预定数目的采集图像以进行图像超分辨图像处理和重建的触发。
作为本发明实施例的一优选方案,步骤S104对采集的图像进行超分辨图像处理和重建之后还包括:
设置对超分辨重建图像进行实时显示的触发。
如图3所示,本发明实施例提供的基于单分子定位的超分辨成像系统包括参数设置单元21、硬件调控单元22、图像采集单元23、图形处理单元24、触发设置单元25。该系统可运行在计算机上。其中,参数设置单元21设置图像采集参数、硬件调控参数和超分辨图像处理和重建参数。硬件调控单元22根据硬件调控参数进行硬件调控。图像采集单元23根据采集参数进行图像采集,并根据采集的图像反馈调控硬件。图形处理单元24根据超分辨图像处理和重建参数对采集的图像进行超分辨图像处理和重建,并根据超分辨图像处理和重建的结果反馈调控硬件。图形处理单元24可用GPU来实现。触发设置单元25设置用于将采集的图像读取到内存的触发,及设置用于一面将内存存取的采集图像存到硬盘、另一面从内存读取预定数目的采集图像以进行图像超分辨图像处理和重建的触发。例如,可设置触发事件,一方面将采集到的图像存到硬盘上,另一方面如果采集到预订数目的图像就送到GPU处理,另外,在GPU处理结束后,将超分辨图像分析及处理和重建结果写到硬盘上面,同时触发UI 线程显示超分辨图像分析及处理和重建结果。
参数设置单元21包括图像采集参数设置模块211、硬件调控参数设置模块212及超分辨处理和重建参数设置模块213。其中,图像采集参数设置模块211设置图像传感器的采集参数;采集参数包括曝光时间、采集周期、采集帧数、图像区域、制冷温度和EMGain。硬件调控参数设置模块212设置调控硬件所需的参数,包括开关信号的周期,占空比,延迟时间及电机的位置。超分辨处理和重建参数设置模块213用于设置图像超分辨处理和重建的参数,包括每次处理和重建的帧数,放大倍数,系统放大率及EMGain。
图像处理单元24包括卷积去噪模块241、子区域提取模块242、定位模块243及成像模块244。其中,卷积去噪模块241将采集的图像进行卷积去噪,去噪后将图像存储在内存中。子区域提取模块242根据设定超分辨图像处理和重建参数的阈值对去噪后的图像数据进行计算,根据计算结果标记单分子位置信息,并将标记的单分子位置信息传到显存中。定位模块243根据标记的单分子位置信息进行次像素级定位,确定单分子定位信息,并将定位结果传送给内存。成像模块244叠加渲染单分子定位信息成最终的超分辨结果图。
在本发明实施例中,针对图像重建部分的大运算量,可利用Main Thread线程处理用户的请求(如各种硬件设备的设置和同步调控、图像处理请求等),利用新开辟的Work Thread线程处理CPU内存和显存之间的数据交换、GPU重建结果的分析和显示。
本发明实施例解决了手动硬件调控的问题。Main Thread线程可以实现硬件设备的同步调控。本发明实施例采用最大似然法进行高精度定位,同时利用GPU进行高速并行计算,定位精度高、处理速度快。
下面结合图4所示的一具体流程对本发明超分辨成像过程进行具体说明:
系统硬件和样品准备就绪后,首先会进行系统初始化,包括各硬件(如EMCCD、快门 和电机等)的初始化。系统初始化结束后,设置采集参数,主要包括EMCCD参数,超分辨重建参数,快门和电机的开关、位移参数等。EMCCD的参数主要包括:曝光时间、采集周期、采集帧数、图像区域、制冷温度和EMGain等。快门和电机的参数主要包括开关信号的周期、占空比、延迟时间和电机的位置等。超分辨重建的参数主要包括每次处理的帧数、放大倍数、系统放大率和EMGain等。设置好上述参数后开始图像采集,同时开辟Work Thread来负责运算任务。
作为本发明实施的一优选方案,在图像采集的时间段内,实现了并行的图像采集、超分辨图像处理和重建、及硬件设备的同步控制。
在此时间段内有两个循环同时执行:
循环一在Main Thread内设置,其任务包括:(1)设置触发事件(Trigger Event),其作用是将采集到的图像读取到内存;(2)根据循环二的分析结果,反馈控制硬件设备的工作状态。采集到预定数目的图像后(可根据实际需要进行预设,例如预定数目可设置为20),循环一结束。
循环二在 Work Thread内设置,其任务包括:(1)将采集到的图像存到硬盘上;(2)将内存中的图像送到GPU,进行超分辨图像处理,处理结束将结果写到硬盘;(3)触发Main Thread,显示超分辨图像分析及重建结果。处理完预订数目图像后,循环二结束。
本发明实施例采用Spooling存储模式。
本发明实施例的数据流框图如图3所示。Main Thread将新采集到的图像保存到内存,Work Thread将内存中的图像保存到硬盘。内存中的图像达到预设的处理帧数(可根据实际需要进行预设,例如预设的处理帧数为5000帧)后,Work Thread将其传送到GPU,进行单分子定位处理。GPU处理结束后,Work Thread将结果回传到内存,进行超分辨图像分析。图像分析完毕后,Work Thread将结果保存到硬盘,并触发Main Thread显示超分辨分析和重建结果。
本发明实施例提供的基于单分子定位的快速超分辨成像方法和系统定位精度高、处理速度快,可以解决设备间的同步调控问题,从而实现了快速的超分辨成像。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (10)
1.一种基于单分子定位的快速超分辨成像方法,其特征在于,包括:
设置图像采集参数、硬件调控参数、超分辨图像处理和重建参数;
根据所述硬件调控参数进行硬件调控;
根据所述采集参数进行图像采集,并根据所述采集的图像反馈调控硬件;及
根据所述超分辨图像处理和重建参数对所述采集的图像进行超分辨图像处理和重建,并根据超分辨图像处理和重建的结果反馈调控硬件。
2.根据权利要求1所述的方法,其特征在于,所述根据所述超分辨图像处理和重建参数对所述采集的图像进行超分辨图像处理和重建包括:
将采集的图像进行卷积去噪;
根据设定所述超分辨图像处理和重建参数的阈值对所述去噪后的图像数据进行计算,根据计算结果标记单分子位置信息;
根据所述标记的单分子位置信息进行次像素级定位,确定单分子定位信息;
叠加渲染所述单分子定位信息成最终的超分辨重建图。
3.根据权利要求2所述的方法,其特征在于:
所述次像素级定位是采用最大似然法进行定位。
4.根据权利要求1所述的方法,其特征在于,所述对采集的图像进行超分辨图像处理和重建之前还包括:
设置用于将采集的图像读取到内存的触发;
设置用于一面将所述内存存取的采集图像存到硬盘、另一面从所述内存读取预定数目的采集图像以进行图像超分辨图像处理和重建的触发。
5.根据权利要求1所述的方法,其特征在于,所述对所述采集的图像进行超分辨图像处理和重建之后还包括:
设置对超分辨的重建图像进行实时显示的触发。
6.根据权利要求1至5任一项所述的方法,其特征在于:
所述采集参数包括曝光时间、采集周期、采集帧数、图像区域、制冷温度和电子倍增;
所述硬件调控参数包括开关信号的周期、占空比、延迟时间及电机的位置;
所述超分辨图像处理和重建参数包括每次处理和重建的帧数、放大倍数、系统放大率及电子倍增。
7.一种基于单分子定位的快速超分辨成像系统,其特征在于,包括:
参数设置单元,设置图像采集参数、硬件调控参数、超分辨图像处理和重建参数;
硬件调控单元,根据所述硬件调控参数进行硬件调控;
图像采集单元,根据所述采集参数进行图像采集,并根据所述采集的图像反馈调控硬件;
图像处理单元,根据所述超分辨图像处理和重建参数对所述采集的图像进行超分辨图像处理和重建,并根据超分辨图像处理和重建的结果反馈调控硬件。
8.根据权利要求7所述的系统,其特征在于,所述图像处理单元包括:
卷积去噪模块,将采集的图像进行卷积去噪;
子区域提取模块,根据设定所述超分辨图像处理和重建参数的阈值对所述去噪后的图像数据进行计算,根据计算结果标记单分子位置信息;
定位模块,根据所述标记的单分子位置信息进行次像素级定位,确定单分子定位信息;
成像模块,叠加渲染所述单分子定位信息成最终的超分辨结果图。
9.根据权利要求7所述的系统,其特征在于,还包括:
触发设置单元,设置用于将采集的图像读取到内存的触发,及设置用于一面将所述内存存取的采集图像存到硬盘、另一面从所述内存读取预定数目的采集图像以进行超分辨图像处理和重建的触发。
10.根据权利要求7所述的系统,其特征在于,所述参数设置单元包括:
图像采集参数设置模块,设置图像传感器的采集参数;所述采集参数包括曝光时间、采集周期、采集帧数、图像区域、制冷温度和电子倍增;
硬件调控参数设置模块,设置调控硬件所需的参数,包括开关信号的周期,占空比,延迟时间及电机的位置;
超分辨处理和重建参数设置模块,用于设置图像超分辨处理和重建的参数,包括每次处理和重建的帧数,放大倍数,系统放大率及电子倍增。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110007997A CN102063730B (zh) | 2011-01-14 | 2011-01-14 | 基于单分子定位的快速超分辨成像方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110007997A CN102063730B (zh) | 2011-01-14 | 2011-01-14 | 基于单分子定位的快速超分辨成像方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102063730A true CN102063730A (zh) | 2011-05-18 |
CN102063730B CN102063730B (zh) | 2012-09-12 |
Family
ID=43998994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110007997A Expired - Fee Related CN102063730B (zh) | 2011-01-14 | 2011-01-14 | 基于单分子定位的快速超分辨成像方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102063730B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102739948A (zh) * | 2012-07-16 | 2012-10-17 | 华中科技大学 | 基于数据削减的超分辨定位成像系统及方法 |
CN108628267A (zh) * | 2018-04-26 | 2018-10-09 | 北京大学 | 一种物方扫描成像系统的分离式、分布式操控方法 |
CN111310903A (zh) * | 2020-02-24 | 2020-06-19 | 清华大学 | 基于卷积神经网络的三维单分子定位系统 |
CN111314741A (zh) * | 2020-05-15 | 2020-06-19 | 腾讯科技(深圳)有限公司 | 视频超分处理方法、装置、电子设备及存储介质 |
CN111402210A (zh) * | 2020-03-03 | 2020-07-10 | 山东师范大学 | 一种单分子荧光信号图像的超分辨定位方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1874499A (zh) * | 2006-05-12 | 2006-12-06 | 北京理工大学 | 一种高动态、超分辨率图像重建装置 |
CN101527033A (zh) * | 2008-03-04 | 2009-09-09 | 河海大学 | 超分辨率重建和自动配准的工业ccd彩色成像系统 |
US20090232213A1 (en) * | 2008-03-17 | 2009-09-17 | Ati Technologies, Ulc. | Method and apparatus for super-resolution of images |
CN101930150A (zh) * | 2009-06-18 | 2010-12-29 | 三洋电机株式会社 | 聚焦控制电路 |
-
2011
- 2011-01-14 CN CN201110007997A patent/CN102063730B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1874499A (zh) * | 2006-05-12 | 2006-12-06 | 北京理工大学 | 一种高动态、超分辨率图像重建装置 |
CN101527033A (zh) * | 2008-03-04 | 2009-09-09 | 河海大学 | 超分辨率重建和自动配准的工业ccd彩色成像系统 |
US20090232213A1 (en) * | 2008-03-17 | 2009-09-17 | Ati Technologies, Ulc. | Method and apparatus for super-resolution of images |
CN101930150A (zh) * | 2009-06-18 | 2010-12-29 | 三洋电机株式会社 | 聚焦控制电路 |
Non-Patent Citations (2)
Title |
---|
《OPTICS EXPRESS》 20100524 Tingwei Quan,et al Ultra-fast, high-precision image analysis for localization-based super resolution microscopy 全文 1-10 第18卷, 第11期 * |
《天文研究与技术(国家天文台台刊)》 20061231 段帷,赵昭旺 基于EMCCD的成像系统的构建 387-393 1-10 第3卷, 第4期 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102739948A (zh) * | 2012-07-16 | 2012-10-17 | 华中科技大学 | 基于数据削减的超分辨定位成像系统及方法 |
CN108628267A (zh) * | 2018-04-26 | 2018-10-09 | 北京大学 | 一种物方扫描成像系统的分离式、分布式操控方法 |
CN111310903A (zh) * | 2020-02-24 | 2020-06-19 | 清华大学 | 基于卷积神经网络的三维单分子定位系统 |
CN111402210A (zh) * | 2020-03-03 | 2020-07-10 | 山东师范大学 | 一种单分子荧光信号图像的超分辨定位方法及系统 |
CN111314741A (zh) * | 2020-05-15 | 2020-06-19 | 腾讯科技(深圳)有限公司 | 视频超分处理方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN102063730B (zh) | 2012-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102063730B (zh) | 基于单分子定位的快速超分辨成像方法及系统 | |
KR102480245B1 (ko) | 패닝 샷들의 자동 생성 | |
US10643396B2 (en) | Methods and software for creating a 3D image from images of multiple histological sections and for mapping anatomical information from a reference atlas to a histological image | |
JP6035716B2 (ja) | 情報処理システム及び情報処理方法 | |
US20160337593A1 (en) | Image presentation method, terminal device and computer storage medium | |
US20190072751A1 (en) | Systems and methods for detection of blank fields in digital microscopes | |
US20130077892A1 (en) | Scan Order Optimization and Virtual Slide Stitching | |
US10169891B2 (en) | Producing three-dimensional representation based on images of a person | |
JP2011050518A5 (ja) | 撮影制御装置、撮影制御方法、放射線撮影装置、放射線撮影システムおよびプログラム | |
CN106576159A (zh) | 一种获取深度信息的拍照设备和方法 | |
JP2016181068A (ja) | 学習サンプル撮影装置 | |
CN109299634A (zh) | 斑检测方法、系统、设备及存储介质 | |
CN115989522A (zh) | 处理电子图像以提供组织病理学切片的改进的可视化和渲染的系统和方法 | |
JP2013025466A (ja) | 画像処理装置、画像処理システム及び画像処理プログラム | |
CN102572391A (zh) | 一种摄像头视频帧的精灵化方法和装置 | |
JP6329262B2 (ja) | 対象物の全体像の作成方法及び顕微鏡画像の作成方法 | |
CN106101578A (zh) | 图像合成方法和设备 | |
JP6702360B2 (ja) | 情報処理方法、情報処理システム及び情報処理装置 | |
Pintus et al. | Techniques for seamless color registration and mapping on dense 3D models | |
DE202013012450U1 (de) | System für die Identifizierung von Tiefendaten, die mit einem Objekt verbunden sind | |
CN109978810A (zh) | 痣的检测方法、系统、设备及存储介质 | |
Hänel et al. | Interactive volume rendering for immersive virtual environments | |
KR20140095359A (ko) | 공유 메모리를 이용한 영상 처리 방법 및 장치 | |
CN110086994A (zh) | 一种基于相机阵列的全景光场的综合系统 | |
US9082217B1 (en) | Avoidance-based ray tracing for volume rendering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120912 |