CN109724951A - 一种动态超分辨荧光成像技术 - Google Patents
一种动态超分辨荧光成像技术 Download PDFInfo
- Publication number
- CN109724951A CN109724951A CN201711037935.7A CN201711037935A CN109724951A CN 109724951 A CN109724951 A CN 109724951A CN 201711037935 A CN201711037935 A CN 201711037935A CN 109724951 A CN109724951 A CN 109724951A
- Authority
- CN
- China
- Prior art keywords
- image
- super
- frame
- resolution
- resolution image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 109
- 238000000799 fluorescence microscopy Methods 0.000 title abstract description 7
- 238000003384 imaging method Methods 0.000 claims abstract description 183
- 238000012546 transfer Methods 0.000 claims abstract description 30
- 238000003672 processing method Methods 0.000 claims abstract description 17
- 101100117236 Drosophila melanogaster speck gene Proteins 0.000 claims description 62
- 230000011218 segmentation Effects 0.000 claims description 53
- 238000006243 chemical reaction Methods 0.000 claims description 46
- 238000012545 processing Methods 0.000 claims description 28
- 238000007781 pre-processing Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 24
- 230000003287 optical effect Effects 0.000 claims description 19
- 230000000007 visual effect Effects 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 17
- 230000002441 reversible effect Effects 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 13
- 239000007844 bleaching agent Substances 0.000 claims description 12
- 238000005286 illumination Methods 0.000 claims description 11
- 230000033001 locomotion Effects 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000002360 preparation method Methods 0.000 claims description 6
- 206010034972 Photosensitivity reaction Diseases 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 208000007578 phototoxic dermatitis Diseases 0.000 claims description 4
- 231100000018 phototoxicity Toxicity 0.000 claims description 4
- 239000000729 antidote Substances 0.000 claims description 3
- 230000002146 bilateral effect Effects 0.000 claims description 2
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 238000003706 image smoothing Methods 0.000 claims description 2
- 239000004576 sand Substances 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 claims 1
- 230000004913 activation Effects 0.000 claims 1
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000002035 prolonged effect Effects 0.000 abstract description 2
- 150000001875 compounds Chemical class 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000013307 optical fiber Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012632 fluorescent imaging Methods 0.000 description 2
- 239000002105 nanoparticle Substances 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 238000007334 copolymerization reaction Methods 0.000 description 1
- -1 detector Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002186 photoactivation Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
一种动态超分辨荧光成像技术。本发明涉及一种能拍摄动态图像的超分辨荧光成像技术，包括：(1)一种荧光显微成像装置，能进行超分辨成像和低分辨成像，两种成像方式观察的视场区域、物平面相同；对于相同的观察对象，超分辨图像和转换函数卷积后得到的图像等同于低分辨图像，转换函数由测量得到；(2)相应于装置的一种动态图像拍摄与图像处理方法，包括：通过时序控制交替使用超分辨和低分辨两个模块进行连续拍摄，记录图像并保存为视频；然后进行图像处理，以原视频中占少数比例的超分辨图像为先验知识，结合测得的转换函数，用推测计算的方法将原视频中的低分辨图像转换为超分辨图像。本发明用于获取高时间分辨率、长时间的动态超分辨图像。
Description
技术领域
本发明涉及超分辨荧光成像技术领域，特别是涉及一种能拍摄动态图像、具有时间分辨能力的超分辨荧光成像方法。
背景技术
荧光显微成像因其远场、非侵入性的特点而非常适用于对生物分子、细胞等进行成像。传统荧光显微镜(如宽场照明、扫描共聚焦、全内反射照明等荧光显微镜)受限于阿贝衍射极限，其空间分辨率不能优于200nm，无法分辨更为精细的结构。近十几年来已经发展出了多种突破衍射极限的荧光成像方法，称为超分辨成像，如受激发射损耗成像(STED)、可逆饱和/开关光跃迁成像(RESOLFT)、光激活定位显微成像(PALM/FPALM)、随机光学重构显微成像(STORM)、结构照明显微成像(SIM、饱和结构照明SSIM、非线性结构照明NSIM)等。
STED、SSIM/NSIM等方法比传统荧光成像方法需要更高强度的激光照明，相比与传统荧光成像时的弱光照明，严重加剧了对样品的荧光漂白和光毒性；RESOLFT/PALM/FPALM/STORM等方法需要反复地开/关荧光分子，在多次开关循环后，荧光分子也会被漂白；此外，PALM/FPALM/STORM等分子定位的方法，采集一幅完整图像的耗时也相对较长。因此，这些具有空间超分辨能力的成像方法应用于活细胞动态过程的成像时，能连续拍摄的图像帧数远少于传统荧光成像方法，即面临着无法以高时间分辨率进行长时间成像的问题。
发明内容
针对上述问题，本发明提供了一种能拍摄动态图像、具有时间分辨能力的超分辨荧光成像技术，其目的是为了在连续拍摄过程中对样品造成尽量低的荧光漂白和光毒性，延长观察动态过程的时间，以高时间分辨率拍摄长时间的动态超分辨图像。
为了实现上述目的，本发明采取了以下技术方案：
一种荧光显微成像装置，所述荧光显微成像装置从功能上划分为如下几部分：
样品台，用于承载被观测样品；
超分辨成像模块，该模块包括一系列光学元件、成像器件及光源，使用超分辨成像模块进行成像时，图像具有高空间分辨率，能突破阿贝衍射极限；
低分辨成像模块，该模块包括一系列光学元件、成像器件及光源，使用低分辨成像模块进行成像时，图像具有低空间分辨率，不能突破阿贝衍射极限；
控制模块，用于控制超分辨成像模块和低分辨成像模块进行拍摄，包括控制两个模块内的光源和光学元件；
图像记录和图像处理模块，用于记录图像并进行图像处理。
所述超分辨成像模块和低分辨成像模块，两者成像时共用同一个显微物镜，并且所观察的视场区域相同、所观察的物平面在样品内的位置也相同；
所述超分辨成像模块和低分辨成像模块，低分辨成像时样品上的曝光剂量远弱于超分辨成像时样品上的曝光剂量，对样品所造成的荧光漂白和光毒性更小；
所述超分辨成像模块和低分辨成像模块，两者能够独立进行成像。
相应于所述荧光显微成像装置的一种动态图像拍摄与图像处理方法，其基本概念如下：
对样品进行成像时，以设置的时序交替使用超分辨成像和低分辨成像两个模块进行连续拍摄，图像记录后保存为视频，整个拍摄过程中，大部分的原始图像使用低分辨成像模块以较低的曝光剂量进行照明和成像，少部分的原始图像使用超分辨成像模块进行照明和成像；拍摄完成后，由低分辨成像模块拍摄的图像经过图像记录和图像处理模块进行图像处理后，最终会转换为超分辨图像。在本发明的描述中，由超分辨成像模块采集的超分辨图像称为真实超分辨图像，由低分辨图像转换而来的超分辨图像称为计算超分辨图像；在进行低分辨图像至超分辨图像的转换时，会以真实超分辨图像作为先验知识，采用推测计算的方式进行转换。
所述原始图像是指成像器件接收来自样品的荧光信号后，直接采集记录的图像，未经过图像处理；
所述大部分的原始图像，其中“大部分”的意义是指，拍摄的视频中的大部分数量的图像帧采用低分辨成像模块成像；同理，所述小部分的原始图像，其中“小部分”的意义是指，拍摄的视频中的小部分数量的图像帧采用超分辨成像模块成像。
进一步，所述动态图像拍摄与图像处理方法，其实现过程需要以下几个环节：(1)拍摄前对成像装置的调节、矫正和准备工作；(2)拍摄过程中的时序控制；(3)拍摄完成后的图像处理；具体如下：
1.拍摄前对成像装置的调节、矫正和准备工作
1.1调节校准超分辨成像模块和低分辨成像模块内的光路，使两者观察的视场区域相同、所观察的物平面在样品内的位置也相同。
1.2超分辨成像模块和低分辨成像模块所采集到的原始图像在做进一步使用前需要先经过图像预处理步骤，在图像记录和图像处理模块中设置图像预处理每个步骤会用到的方法，每个预处理步骤及其方法如下：
1.2.1低分辨图像像素插值
低分辨图像和超分辨图像必须有相同的尺寸(横向像素数*纵向像素数)，根据Nyquist采样定理，超分辨成像时原始图像具有较高的采样率，因此其原始图像的尺寸不会小于低分辨原始图像的尺寸。当低分辨原始图像的尺寸(横向像素数、纵向像素数)小于超分辨原始图像的尺寸时，需要对其插入像素以达到和超分辨图像尺寸相同(横向像素数、纵向像素数都相同)，并在新填入的像素位置进行插值，使插值后的图像平滑。
1.2.2超分辨图像和低分辨图像配准
超分辨成像模块和低分辨成像模块观察的视场区域相同，在样品内的物平面相同，但是由于各自独立成像，两个成像模块的透镜畸变、物与像的几何映射等参数各不相同，两个模块所成的图像有可能没有配准。这里所述配准，是指在超分辨图像和低分辨图像尺寸相同的情况下，样品物平面上任意一点，成像时映射至图像上的像素位置在超分辨图像和低分辨图像中的坐标相同，并且映射后的相对位置与在样品上原本的相对位置相同。使用棋盘格图案，或包含大量已知参考点坐标的样品作为标准样品，对超分辨图像和低分辨图像分别进行标定，矫正各自的图像畸变，并最终使两个成像模块“物-像”的映射关系一致，完成图像配准；对标准样品完成配准后得到映射矫正函数，正式拍摄所采集的图像便使用该映射矫正函数进行图像配准。
1.2.3像素值矫正
照明的空间非均匀性、成像光路收集样品荧光的空间非均匀性、成像器件响应的空间非均匀性等因素，使样品内物面上荧光亮度和所成图像上像素值的对应关系并不一致，像素值矫正的目的就是通过调整图像上各个位置的像素值，使物面上荧光亮度和图像上像素值的对应关系在各个像素位置均匀一致；使用已知荧光亮度的标准样品来进行像素值矫正，对超分辨图像和低分辨图像各自分别进行像素值矫正；对标准样品完成矫正后得到像素值矫正函数，正式拍摄所采集的图像便使用该像素值矫正函数进行矫正。
1.2.4滤除噪声
噪声的来源有多种，比如照明光源的噪声、荧光弱光发射时固有的散粒噪声、荧光分子的闪烁、CCD/CMOS/APD/PMT等成像元件的电子噪声等。使用均值滤波、高斯滤波、中值滤波、双边滤波等方法对超分辨图像和低分辨图像滤除噪声。
1.3测量转换函数
当超分辨成像和低分辨成像的物平面相同，且视场相同时，经过图像预处理步骤后，超分辨图像和转换函数卷积后得到的图像与低分辨图像相同。在建立成像装置时，已经将超分辨成像和低分辨成像的物平面和视场调节为相同，所以接下来便需要测量出转换函数；测量转换函数的方法有如下两种：
方法一：使用纳米颗粒等样品作为标准样品，以超分辨成像模块和低分辨成像模块分别对标准样品进行成像，并完成图像预处理步骤，再由图像记录和图像处理模块计算出超分辨成像和低分辨成像各自的点扩散函数，分别表示为<点扩散函数_超分>和<点扩散函数_低分>。再用<点扩散函数_超分>对<点扩散函数_低分>进行退卷积处理得到转换函数；或者在先假定了转换函数形式的情况下，通过参数拟合的方法，也能由<点扩散函数_超分>和<点扩散函数_低分>拟合出转换函数。
方法二：在不测量<点扩散函数_超分>和<点扩散函数_低分>的情况下也能获得转换函数，具体为：超分辨成像模块和低分辨成像模块同时对样品进行成像，或者在样品不随时间变化的情况下，依次进行成像，经图像预处理步骤后，得到超分辨图像<图像_超分>和低分辨图像<图像_低分>。以<图像_超分>为卷积核对<图像_低分>进行退卷积得到转换函数；或者在先假定转换函数形式的情况下，通过参数拟合的方法，也能由<图像_超分>和<图像_低分>拟合出转换函数。
将测量出的转换函数保存在图像记录和图像处理模块中，在后续的环节会使用到转换函数。
2.拍摄过程中的时序控制
由控制模块对超分辨成像模块和低分辨成像模块进行控制，来达到时序控制的目的；具体的拍摄时序如下：
需要连续拍摄的图像共N帧，其中首帧的编号定为0。以固定的时间间隔t1，使用超分辨成像模块对样品进行成像，即真实超分辨图像的采样帧率为1/t1；以固定的时间间隔t2＝t1/K，使用低分辨成像模块对样品进行成像，其中K为正整数，即低分辨原始图像的采样帧率为K/t1；
首帧图像使用超分辨成像模块采集，待时间间隔t2后，使用低分辨成像模块采集第二帧图像，接下来便以上述的两个采样帧率交替使用两个成像模块进行拍摄；相邻的每两帧超分辨图像之间夹杂着K-1帧低分辨图像；连续拍摄的图像以视频文件的形式保存在图像记录和图像处理模块中，所保存的视频文件的首帧和末帧图像都由超分辨成像模块所采集。
3.拍摄完成后的图像处理
拍摄完成后，需要对记录的原始视频做图像处理，图像处理的目的是将所有的低分辨图像都转换为超分辨图像，图像处理包括以下内容：(1)图像预处理；(2)荧光漂白矫正；(3)低分辨图像转换为超分辨图像；(4)物体分割；具体如下：
3.1图像预处理
如前文所述，拍摄前已经在图像记录和图像处理模块中设置了图像预处理每个步骤的处理方法，拍摄完成后使用所述的方法进行图像预处理。
3.2荧光漂白矫正
在连续拍摄的过程中，荧光分子会被漂白，图像会变得越来越暗，图像记录和图像处理模块会将采集到的图像做亮度标准化处理，即荧光漂白矫正；超分辨图像和低分辨图像都需要经过荧光漂白矫正，然后才能用于下一步的处理，其矫正方法为：将每一帧超分辨图像的亮度做标准化处理，使非0像素区域内单位面积上的像素值和视频中首次采集的超分辨图像中非0像素区域内单位面积上的像素值相同；将每一帧低分辨图像的亮度做标准化处理，使非0像素区域内单位面积上的像素值和视频中首次采集的低分辨图像中非0像素区域内单位面积上的像素值相同。
3.3低分辨图像转换为超分辨图像
在完成前述图像预处理、荧光漂白矫正、并且已对前一帧超分辨图像进行了物体分割并建立了亮斑库的基础上进行低分辨图像至超分辨图像的转换，其中与所述物体分割、建立亮斑库有关的内容将在3.4节详细介绍；低分辨图像转换为超分辨图像的步骤如下：
(1)正向转换
以原视频的首帧真实超分辨图像为先验知识，采用双层迭代退卷积方法，将原视频第二帧的低分辨图像转换为超分辨图像，即得到第二帧图像的计算超分辨图像；继续以第二帧的计算超分辨图像为先验知识，采用双层迭代退卷积方法将原视频第三帧的低分辨图像转换为超分辨图像，即得到第三帧图像的计算超分辨图像；以此类推，以第k帧的超分辨图像(真实超分辨图像或计算超分辨图像)为先验知识，采用双层迭代退卷积方法将原视频第k+1帧的低分辨图像转换为超分辨图像；转换完成后所有的超分辨图像另存为新视频；
(2)反向转换
以原视频的末帧真实超分辨图像为先验知识，采用双层迭代退卷积方法，将原视频倒数第二帧的低分辨图像转换为超分辨图像，即得到倒数第二帧图像的计算超分辨图像；继续以倒数第二帧的计算超分辨图像为先验知识，采用双层迭代退卷积方法将原视频倒数第三帧的低分辨图像转换为超分辨图像，即得到倒数第三帧图像的计算超分辨图像；以此类推，以第k帧的超分辨图像(真实超分辨图像或计算超分辨图像)为先验知识，采用双层迭代退卷积方法将原视频第k-1帧的低分辨图像转换为超分辨图像；转换完成后所有的超分辨图像另存为新视频；
(3)双向转换图像加权求和
将正向转换和反向转换得到的两个视频中，帧号对应的超分辨图像进行加权求和，得到最终的超分辨图像，权重设置方法如下：
视频的第I帧和第I+K帧表示相邻两帧使用超分辨成像模块采集的真实超分辨图像，第I+F帧图像位于第I和第I+K帧之间，令Pf表示正向转换得到的视频中第I+F帧图像，令Pb表示反向转换得到的视频中第I+F帧图像，Wf表示图像Pf的权重，Wb表示图像Pb的权重，Wf≥0，Wb≥0，且Wf+Wb＝1；设置权重Wf，使Wf随着F的增加而单调递减，并且Wf满足以下条件：当F＝0时，Wf＝1；当F＝K时，Wf＝0；当F＝K/2时，Wf＝0.5；Wf的取值以K/2为中点呈中心对称。
上述步骤(1)正向转换和步骤(2)反向转换中所述的双层迭代退卷积方法，其输入和输出变量如下：
低分辨图像作为被退卷积的图像、转换函数作为卷积核，以已知的超分辨图像作为迭代初值，并且对作为迭代初值的超分辨图像建立了亮斑库，以上四者为双层迭代退卷积方法的输入变量，其中，被退卷积的低分辨图像命名为<原图>，作为迭代初值的超分辨图像命名为<先验图>；双层迭代退卷积方法的输出变量为图像<原图>退卷积后得到的图像，命名为<退卷积图>。
所述低分辨图像<原图>和超分辨图像<先验图>的时间间隔是紧密的，所述时间间隔的紧密，必须符合以下要求：
(1)图像<原图>所对应的时刻为ts，图像<先验图>所对应的时刻为tp，当ts＜tp时，ts时刻出现在视场内的物体在tp时刻仍有大部分留在视场内，并且在tp时刻没有大量新物体出现在视场内；当tp＜ts时，tp时刻出现在视场内的物体在ts时刻仍有大部分留在视场内，并且在ts时刻没有大量新物体出现在视场内；
(2)物体运动使物体分割后的亮斑发生了位移，亮斑在ts和tp两个时刻之间的位移量不能过大，所述位移量不能过大，即要求可以用光流来表示亮斑的位移。
所述双层迭代退卷积方法的内层迭代为理查森-露西(Richardson-Lucy)退卷积方法，整个双层迭代退卷积方法包括如下步骤：
(1)以转换函数为卷积核，以超分辨图像<先验图>为迭代初值，使用Richardson-Lucy方法对低分辨图像<原图>进行退卷积，得到退卷积后的图像命名为<中间图1>；
(2)图像<先验图>和图像<中间图1>进行比较，计算出光流；
(3)根据步骤(2)得到的光流，确定每个亮斑移动后新的覆盖范围，并计算每个亮斑新的覆盖范围在图像<中间图1>内所对应区域的亮度平均值，再将亮度平均值与亮斑原有亮度比较，然后在图像<先验图>内调节亮斑亮度，使其亮度与在图像<中间图1>内新的覆盖范围所对应区域的亮度平均值一致；
(4)调节每个亮斑亮度后，重新比较图像<先验图>和图像<中间图1>，计算出光流；
(5)根据步骤(4)得到的光流，在图像<先验图>上移动亮斑至新位置，更新图像<先验图>；
(6)亮斑移动后，再以图像<先验图>为Richardson-Lucy方法的迭代初值，以转换函数为卷积核，使用Richardson-Lucy方法对低分辨图像<原图>进行退卷积，得到退卷积后的图像命名为<中间图2>；
(7)设置权重系数，将图像<中间图1>和图像<中间图2>做加权求和，所得结果覆盖图像<中间图1>；所述加权求和，即图像<中间图1>和图像<中间图2>每个位置对应的像素做加权求和，权重系数对每个像素都是相同的；
(8)重复步骤(2)～(7)，共N次，N为设置的外层迭代次数；
(9)完成N次外层迭代后，将最后一次迭代完成时的图像<中间图1>和此时的图像<先验图>做加权求和，所得图像<退卷积图>即双层迭代退卷积方法得到的最终结果。
3.4物体分割
所述物体分割是针对超分辨图像进行的，包括真实超分辨图像和计算超分辨图像；当视频中某一帧为真实超分辨图像时，直接对其进行物体分割；而当某一帧为低分辨图像时，先对其进行正向转换(或反向转换)得到该帧的计算超分辨图像，再对其进行物体分割；物体分割为亮斑后建立亮斑库；所建立的亮斑库，将在下一帧低分辨图像转换为超分辨图像时使用。
所述物体是指成像视场内被荧光标记的物体，对应于图像上的非0像素，所拍摄的图像发生变化反映了物体的运动及荧光分子亮度的变化；物体分割不仅用于区分不同物体，还用于分解物体的复杂运动；物体分割方法步骤如下：
(1)粗略分割
粗略分割的目的是将每个物体与邻近的物体区分开，并从整幅图像中提取出来；将物体与邻近物体区分开的方法为：将被分割的图像视为地形面，像素值代表地形高度，以地形面上的山谷线作为物体分割线，每条封闭的山谷线所包围的非0像素值的区域即分割出的一个物体。
(2)细致分割
细致分割的目的是将由步骤(1)所分割出的物体作进一步分割，物体经过细致分割后，被分割为一系列亮斑，每个亮斑都具有较好的旋转对称性；所述亮斑的旋转对称性，由其轮廓边框的长宽比来度量，当长宽比小于某个设定值时，认为亮斑的旋转对称性较好。
(3)建立亮斑库保存所有分割出的亮斑，并记录每个亮斑在原图像中的位置。
完成分割后的亮斑具有较好的旋转对称性，这样仅需考虑每个亮斑的平移运动，便能够组合出整个物体的复杂运动。
以上所述便是实现动态图像拍摄与图像处理方法所需的各个环节。本发明技术方案中所述的超分辨成像模块，可以使用STED、RESOLFT、PALM、FPALM、STORM、SIM、SSIM、NSIM等多种公开发表的超分辨成像方法；本发明技术方案中所述的低分辨成像模块，可以使用宽场照明显微成像、全内反射照明(TIRF)显微成像、扫描共聚焦显微成像、激光层照显微(light sheet/SPIM)成像等成像方法，并且所用的低分辨成像方法具备高速的采样帧率。
由于采用了上述的技术方案，本发明具有以下优点：
(1)拍摄过程中，大部分的原始图像使用具有高速采样帧率的低分辨成像模块进行拍摄，因此使拍摄得到的视频具有较高的时间分辨率，可观察样品快速的动态过程；
(2)拍摄过程中，大部分的原始图像使用低分辨成像模块以较低的曝光剂量进行照明和成像，少部分的原始图像使用超分辨成像模块进行照明和成像，与每一帧都使用超分辨成像的拍摄方法相比，本发明的拍摄方案能降低曝光剂量，延长观察动态过程的时间；
(3)超分辨成像模块能使用STED、RESOLFT、PALM、FPALM、STORM、SIM、SSIM、NSIM等多种超分辨成像方法，使方案的兼容性好；
(4)低分辨图像转换至超分辨图像的步骤在拍摄过程完成后进行，不需要图像记录和图像处理模块具有实时计算的能力，使方案便于在普通的计算设备上实现。
附图说明
图1是本发明所述荧光显微成像装置的结构框图；
图2是本发明所述成像方法的原理基础，该图表示经过图像预处理步骤后，超分辨图像和转换函数卷积后，得到的图像与低分辨图像相同；
图3是本发明所述拍摄过程中超分辨成像模块和低分辨成像模块交替拍摄的时序图；
图4是本发明所述将低分辨图像转换为超分辨图像的图像处理步骤的流程图；
图5是本发明所述双层迭代退卷积方法将低分辨图像转换为超分辨图像的流程图；
图6是本发明提供的第一个实施例的光路示意图；
图7是本发明提供的第二个实施例的光路示意图；
图8显示了使用本发明技术方案中的双层迭代退卷积方法，将一幅低分辨图像转换为超分辨图像的效果，图像为一段视频中一帧；a)原低分辨图像，b)转换后的超分辨图像。
具体实施方式
为了使本领域技术人员更好地理解本发明的技术方案，下面将结合实施例并参照附图对本发明作进一步详细说明。应当理解，此处所描述的实施例仅用于解释本发明的技术方案，所描述实施例仅仅是本发明一部分实施例，基于本发明的技术方案，本领域技术人员在没有做出创造性劳动的前提下所获得的其它实施例，都应当属于本发明保护范围之内。
实施例一的光路的大致结构如图6所示，在该实施例中，使用STED进行超分辨成像，使用普通的扫描共聚焦方法进行低分辨成像。超分辨成像模块和低分辨成像模块共用了光路中的多个元件，包括：物镜、透镜组、光斑扫描模块、反射镜、二色镜1/2、带通滤光片、光纤、探测器、激发光；损耗光属于超分辨成像模块。虽然超分辨成像模块和低分辨成像模块共用了大部分的光路元件，但是从功能上来说，由控制模块关闭或打开损耗光，可以在超分辨成像和低分辨成像之间作切换，因此符合图1所示的结构框图；并且，由于共用了成像光路，使超分辨成像和低分辨成像的视场相同、物平面重合。激发光照射在样品上产生荧光，相位片调节损耗光的波前，使之成为空心光斑，用于压缩点扩散函数；压电位移台由控制模块控制，用于调整光斑焦点在样品内的深度，可用于三维成像；光斑扫描模块使激发光和损耗光的光斑在样品上逐点扫描，然后收集荧光，最终构成整幅图像；光纤作为小孔可抑制样品物平面以外的荧光，并将荧光信号耦合至探测器。
实施例二的光路的大致结构如图7所示，在该实施例中，使用STED进行超分辨成像，使用全内反射照明进行低分辨成像。超分辨成像模块包括的元件有：透镜组、光斑扫描模块、反射镜、二色镜1/2、带通滤光片、光纤、探测器、相位片、激发光、损耗光；低分辨成像模块包括的元件有：棱镜、带通滤光片、CCD相机、TIRF激发光；两个模块共用的元件为：物镜、分束片。通过分束片隔开了超分辨成像模块和低分辨成像模块。由控制模块控制激发光、损耗光、TIRF激发光的打开和关闭，可在超分辨成像和低分辨成像之间作切换。低分辨成像时，TIRF激发光通过棱镜耦合至样品，通过全内反射效应产生倏逝波，仅激发靠近棱镜表面几十纳米薄层内的荧光分子；并且TIRF激发光为宽场照明，所以用CCD对整个视场成像，具有高速的采样帧率。超分辨成像时需要激发光和损耗光的光斑在样品上逐点扫描，然后收集荧光，最终构成整幅图像。该实施例的光路经过调节，使超分辨成像与低分辨成像的物平面重合，并且两者视场区域相同，这样才能满足如图2所示的原理基础，即经过图像预处理步骤后，超分辨图像和转换函数卷积后，得到的图像与低分辨图像相同。
实施例一和实施例二仅在光路结构上有所不同，在执行技术方案中的其它环节时，两个实施例都相同，这些环节包括：(1)拍摄前对成像装置的调节、矫正和准备工作；(2)拍摄过程中的时序控制；(3)拍摄完成后的图像处理。下面将详细介绍这些环节：
1.拍摄前对成像装置的调节、矫正和准备工作
1.1调节校准超分辨成像模块和低分辨成像模块内的光路，使两者观察的视场区域相同、所观察的物平面在样品内的位置也相同；对于实施例一来说，可以省略此步骤。
1.2在图像记录和图像处理模块中设置图像预处理的方法
图像预处理的各个步骤包括：(1)低分辨图像像素插值，(2)超分辨图像和低分辨图像配准，(3)像素值矫正，(4)滤除噪声。
1.3测量转换函数
方法一：使用纳米颗粒等样品作为标准样品，以超分辨成像模块和低分辨成像模块分别对标准样品进行成像，并完成图像预处理步骤，再由图像记录和图像处理模块计算出超分辨成像和低分辨成像各自的点扩散函数，分别表示为<点扩散函数_超分>和<点扩散函数_低分>。再用<点扩散函数_超分>对<点扩散函数_低分>进行退卷积处理得到转换函数；或者在先假定了转换函数形式(比如高斯函数)的情况下，通过参数拟合的方法，也能由<点扩散函数_超分>和<点扩散函数_低分>拟合出转换函数。
方法二：超分辨成像模块和低分辨成像模块同时对样品进行成像，或者在样品不随时间变化的情况下，依次进行成像，经图像预处理步骤后，得到超分辨图像<图像_超分>和低分辨图像<图像_低分>。以<图像_超分>为卷积核对<图像_低分>进行退卷积得到转换函数；或者在先假定转换函数形式(比如高斯函数)的情况下，通过参数拟合的方法，也能由<图像_超分>和<图像_低分>拟合出转换函数。
测量得到的转换函数保存在图像记录和图像处理模块中。
2.拍摄过程中的时序控制
由控制模块对超分辨成像模块和低分辨成像模块进行控制，来达到时序控制的目的；具体的拍摄时序如下：
如图3所示，需要连续拍摄的图像共N帧，其中首帧的编号定为0。以固定的时间间隔t1，使用超分辨成像模块对样品进行成像，即真实超分辨图像的采样帧率为1/t1；以固定的时间间隔t2＝t1/K，使用低分辨成像模块对样品进行成像，其中K为正整数，即低分辨原始图像的采样帧率为K/t1。
首帧图像使用超分辨成像模块采集，待时间间隔t2后，使用低分辨成像模块采集第二帧图像，接下来便以上述的两个采样帧率交替使用两个成像模块进行拍摄；相邻的每两帧超分辨图像之间夹杂着K-1帧低分辨图像；连续拍摄的图像以视频文件的形式保存在图像记录和图像处理模块中，所保存的视频文件的首帧和末帧图像都由超分辨成像模块所采集。
3.拍摄完成后的图像处理
3.1图像预处理
如前文所述，拍摄前已经在图像记录和图像处理模块中设置了图像预处理每个步骤的处理方法，拍摄完成后使用所述的方法进行图像预处理。
3.2荧光漂白矫正
超分辨图像和低分辨图像都需要经过荧光漂白矫正，其矫正方法为：将每一帧超分辨图像的亮度做标准化处理，使非0像素区域内单位面积上的像素值和视频中首次采集的超分辨图像中非0像素区域内单位面积上的像素值相同；将每一帧低分辨图像的亮度做标准化处理，使非0像素区域内单位面积上的像素值和视频中首次采集的低分辨图像中非0像素区域内单位面积上的像素值相同。
3.3低分辨图像转换为超分辨图像
如图4所示，在完成前述图像预处理、荧光漂白矫正、并且已对前一帧超分辨图像进行了物体分割并建立了亮斑库的基础上，进行低分辨图像至超分辨图像的转换，转换过程中使用的双层迭代退卷积方法的流程如图5所示，具体的转换过程包括如下步骤：
(1)正向转换
以原视频的首帧真实超分辨图像为先验知识，采用双层迭代退卷积方法，将原视频第二帧的低分辨图像转换为超分辨图像，即得到第二帧图像的计算超分辨图像；继续以第二帧的计算超分辨图像为先验知识，采用双层迭代退卷积方法将原视频第三帧的低分辨图像转换为超分辨图像，即得到第三帧图像的计算超分辨图像；以此类推，以第k帧的超分辨图像(真实超分辨图像或计算超分辨图像)为先验知识，采用双层迭代退卷积方法将原视频第k+1帧的低分辨图像转换为超分辨图像；转换完成后所有的超分辨图像另存为新视频<视频_正向转换>；
(2)反向转换
以原视频的末帧真实超分辨图像为先验知识，采用双层迭代退卷积方法，将原视频倒数第二帧的低分辨图像转换为超分辨图像，即得到倒数第二帧图像的计算超分辨图像；继续以倒数第二帧的计算超分辨图像为先验知识，采用双层迭代退卷积方法将原视频倒数第三帧的低分辨图像转换为超分辨图像，即得到倒数第三帧图像的计算超分辨图像；以此类推，以第k帧的超分辨图像(真实超分辨图像或计算超分辨图像)为先验知识，采用双层迭代退卷积方法将原视频第k-1帧的低分辨图像转换为超分辨图像；转换完成后所有的超分辨图像另存为新视频<视频_反向转换>；
(3)双向转换图像加权求和
将<视频_正向转换>和<视频_反向转换>两个视频中，帧号对应的超分辨图像进行加权求和，得到最终的超分辨图像。
3.4物体分割
对每一帧超分辨图像(真实超分辨图像或计算超分辨图像)都需要做物体分割；当视频中某一帧为真实超分辨图像时，直接对其进行物体分割；而当某一帧为低分辨图像时，由步骤3.3中(1)正向转换或(2)反向转换得到该帧的计算超分辨图像，再对其进行物体分割；物体分割为亮斑后建立亮斑库；所建立的亮斑库，将在下一帧低分辨图像转换为超分辨图像时使用；物体分割不仅用于区分不同物体，还用于分解物体的复杂运动；本发明所述的两个实施例中物体分割的具体步骤如下：
(1)粗略分割
将图像视为地形面，像素值即代表了所在位置的地形高度，设置一虚拟的粒子，粒子可放置在地形面上任意位置，再设置一爬山算法，根据该爬山算法，初始位于任意位置的粒子都能沿着最快上升路径移动至地形面上的某个山峰位置，所述路径是由一系列像素组成；将粒子依次置于每个像素位置，执行前述爬山算法，记录其最终达到的山峰位置；将终点为同一山峰的各个路径上的像素归为同一个集合，像素值为0的像素不能归入任何集合；完成所有像素的集合归类，每个集合即分割出的物体；此方法分割出的各个物体的分界线为山谷线。
(2)细致分割
完成上述粗略分割后，需要对分割出的物体做进一步的细致分割，细致分割对每个已粗略分割出的物体逐一进行，细致分割的目的是将每个物体分割为一系列更小的子物体，在本发明的描述中将这些子物体称为亮斑，分割后的亮斑具有较好的旋转对称性；细致分割时，先要复制原物体图像，接下来的步骤在复制的物体图像上继续操作；二值化复制后的物体图像，使所有非0像素为常数A(A＞0)，原本为0的像素仍保持为0；使用图像形态算法，找出物体的骨架，骨架由贯穿物体的一系列直线段组成；定义参数unit_length，称为单元长度，以单元长度切分物体骨架，并在物体图像上标记出每个切分点的位置，切分骨架时，长度小于单元长度的骨架线段不需要切分，以该线段的两个端点为切分点；将各个切分点的像素值设为常数B，且B＞A；固定物体轮廓上的像素值为A，固定骨架上切分点的像素值为B，固定相邻切分点之间中点的像素值为A，使用插值的方法调整其余的非0像素的值，使轮廓上的点至邻近的切分点的路径上的像素值为单调上升，并且任意两个相邻切分点的中点至邻近切分点的路径上的像素值也为单调上升；调整像素值后，在物体图像上制造了新的地形面，再使用前述粗略分割所述的方法分割物体。
(3)重复细致分割
步骤(2)对粗略分割出的物体执行了一次细致分割后，物体分割为许多亮斑，对于其中旋转对称性较差的亮斑，重复使用步骤(2)的方法继续做细致分割，直至分割出的所有亮斑都有较好的旋转对称性；所述旋转对称性较差的亮斑，用亮斑轮廓边框的长宽比来度量其旋转对称性，长宽比大于某个设定值时，认为其旋转对称性较差。
(4)建立亮斑库
以亮斑为模版，从原本的物体图像中提取出对应区域的图像作为最终要保存的亮斑，并建立亮斑库保存亮斑，记录每个亮斑在原图像中的位置。
完成分割后的亮斑具有较好的旋转对称性，这样仅需考虑每个亮斑的平移运动，便能够组合出整个物体的复杂运动。
Claims (10)
1.一种荧光显微成像装置，其特征在于，所述荧光显微成像装置从功能上划分为如下几部分：
(1)样品台，用于承载被观测样品；
(2)超分辨成像模块，该模块包括一系列光学元件、成像器件及光源，使用超分辨成像模块进行成像时，图像具有高空间分辨率，能突破阿贝衍射极限；
(3)低分辨成像模块，该模块包括一系列光学元件、成像器件及光源，使用低分辨成像模块进行成像时，图像具有低空间分辨率，不能突破阿贝衍射极限；
(4)控制模块，用于控制超分辨成像模块和低分辨成像模块进行拍摄，包括控制两个模块内的光源和光学元件；
(5)图像记录和图像处理模块，用于记录图像并进行图像处理；
所述超分辨成像模块和低分辨成像模块共用同一个显微物镜，并且光路经过调节后，两个模块成像的视场相同、样品内物平面位置相同；整个荧光显微成像装置内的其它部件，包括：光学元件、成像器件、光源等也可以被两个模块所共用；
所述超分辨成像模块和低分辨成像模块，各自能独立对样品进行成像；两个模块进行成像时都需要用光源激发样品内的荧光分子，低分辨成像时样品上的曝光剂量远弱于超分辨成像时样品上的曝光剂量，使低分辨成像对样品所造成的荧光漂白和光毒性更小。
2.一种使用荧光显微成像装置的动态图像拍摄与图像处理方法，其特征在于，所述动态图像拍摄与图像处理方法如下：
对样品进行成像时，以设置的时序交替使用超分辨成像和低分辨成像两个模块进行连续拍摄，图像记录后保存为视频，整个拍摄过程中，大部分的原始图像使用低分辨成像模块以较低的曝光剂量进行照明和成像，少部分的原始图像使用超分辨成像模块进行照明和成像；拍摄完成后，由低分辨成像模块拍摄的图像经过图像记录和图像处理模块进行图像处理后，最终会转换为超分辨图像；在本发明的描述中，由超分辨成像模块采集的超分辨图像称为真实超分辨图像，由低分辨图像转换而来的超分辨图像称为计算超分辨图像；在进行低分辨图像至超分辨图像的转换时，会以真实超分辨图像作为先验知识，采用推测计算的方式进行转换；
所述原始图像是指成像器件接收来自样品的荧光信号后，直接采集记录的图像，未经过图像处理；
所述大部分的原始图像，其中“大部分”的意义是指，拍摄的视频中的大部分数量的图像帧采用低分辨成像模块成像；同理，所述小部分的原始图像，其中“小部分”的意义是指，拍摄的视频中的小部分数量的图像帧采用超分辨成像模块成像。
3.一种使用荧光显微成像装置的动态图像拍摄与图像处理方法，其特征在于，实现所述动态图像拍摄与图像处理方法需要以下几个环节：
(1)拍摄前对成像装置的调节、矫正和准备工作
1.1)调节校准超分辨成像模块和低分辨成像模块内的光路，使两者观察的视场区域相同、所观察的物平面在样品内的位置也相同；
1.2)在荧光显微成像装置的图像记录和图像处理模块中设置图像预处理每个步骤会用到的方法；
1.3)测量转换函数，保存在图像记录和图像处理模块中；
以上步骤1.1)、1.2)、1.3)按顺序执行；
(2)拍摄过程中的时序控制
以固定的时间间隔t1，使用超分辨成像模块对样品进行成像，即超分辨原始图像的采样帧率为1/t1；以固定的时间间隔t2＝t1/K，使用低分辨成像模块对样品进行成像，其中K为正整数，即低分辨原始图像的采样帧率为K/t1；
首帧图像使用超分辨成像模块采集，待时间间隔t2后，使用低分辨成像模块采集第二帧图像，接下来便以上述的两个采样帧率交替使用两个成像模块进行拍摄；相邻的每两帧超分辨图像之间夹杂着K-1帧低分辨图像；连续拍摄的图像以视频文件的形式保存在图像记录和图像处理模块中，所保存的视频文件的首帧和末帧图像都由超分辨成像模块所采集；
由荧光显微成像装置中的控制模块对超分辨成像模块和低分辨成像模块进行控制，来达到成像过程中时序控制的目的；
(3)拍摄完成后的图像处理
使用荧光显微成像装置中的图像记录和图像处理模块对所记录视频的每帧图像进行处理，包括如下内容：
3.1)图像预处理
使用图像记录和图像处理模块中预先设置的方法进行图像预处理，拍摄完成后所记录的视频，每帧图像必须先进行图像预处理；
3.2)荧光漂白矫正
每帧图像经过图像预处理后再做荧光漂白矫正，矫正方法为：将每一帧超分辨图像的亮度做标准化处理，使非0像素区域内单位面积上的像素值和视频中首次采集的超分辨图像中非0像素区域内单位面积上的像素值相同；将每一帧低分辨图像的亮度做标准化处理，使非0像素区域内单位面积上的像素值和视频中首次采集的低分辨图像中非0像素区域内单位面积上的像素值相同；
3.3)低分辨图像转换为超分辨图像
对于所记录的原视频中的低分辨图像，将其转换为超分辨图像；对于所记录的原视频中的超分辨图像，不需要进行转换；
3.4)物体分割
对于所记录的原视频中的低分辨图像，需要先将其转换为超分辨图像，再进行物体分割；对于所记录的原视频中的超分辨图像，直接进行物体分割；
所述物体分割的目的是为了将超分辨图像分割为一系列亮斑，并建立亮斑库，所建立的亮斑库在进行3.3)所述的低分辨图像转换为超分辨图像的过程中使用。
4.如权利要求3所述的动态图像拍摄与图像处理方法，其特征在于，所述步骤1.2)和步骤3.1)中的图像预处理，包括如下步骤：
(1)低分辨图像像素插值
当低分辨原始图像的尺寸(横向像素数、纵向像素数)小于超分辨原始图像的尺寸时，需要对其插入像素以达到和超分辨图像尺寸相同(横向像素数、纵向像素数都相同)，并在新填入的像素位置进行插值，使插值后的图像平滑；
(2)超分辨图像和低分辨图像配准
所述配准，是指在超分辨图像和低分辨图像尺寸相同的情况下，样品物平面上任意一点，成像时映射至图像上的像素位置在超分辨图像和低分辨图像中的坐标相同，并且映射后的相对位置与在样品上原本的相对位置相同；使用棋盘格图案，或包含大量已知参考点坐标的样品作为标准样品，对超分辨图像和低分辨图像分别进行标定，矫正各自的图像畸变，并最终使两个成像模块“物-像”的映射关系一致，完成图像配准；对标准样品完成配准后得到映射矫正函数，正式拍摄所采集的图像便使用该映射矫正函数进行图像配准；
(3)像素值矫正
所述像素值矫正，其目的是通过调整图像上各个位置的像素值，使物面上荧光亮度和图像上像素值的对应关系在各个像素位置均匀一致；使用已知荧光亮度的标准样品来进行像素值矫正，对超分辨图像和低分辨图像各自分别进行像素值矫正；对标准样品完成矫正后得到像素值矫正函数，正式拍摄所采集的图像便使用该像素值矫正函数进行矫正；
(4)滤除噪声
所述滤除噪声，目的是滤除包括：照明光源的噪声、荧光弱光发射时固有的散粒噪声、荧光分子的闪烁、CCD/CMOS/APD/PMT等成像元件的电子噪声等引起的图像噪声；使用均值滤波、高斯滤波、中值滤波、双边滤波等方法对超分辨图像和低分辨图像滤除噪声。
5.如权利要求3所述的动态图像拍摄与图像处理方法，其特征在于，所述步骤1.3)测量转换函数，所述转换函数具有如下性质：
(1)对相同的对象成像时，超分辨成像模块采集的图像和低分辨成像模块采集的图像各自经过图像预处理后，超分辨图像与转换函数进行卷积所得的结果，与低分辨图像相同；
(2)测量超分辨成像模块的点扩散函数，再测量低分辨成像模块的点扩散函数，所测得的点扩散函数以图像的形式保存，两个模块的点扩散函数图像经过图像预处理步骤后，超分辨成像模块的点扩散函数与转换函数卷积所得的结果，与低分辨成像模块的点扩散函数相同。
6.如权利要求3所述的动态图像拍摄与图像处理方法，其特征在于，所述3.4)物体分割是针对超分辨图像进行的，包括真实超分辨图像和计算超分辨图像；所述物体是指成像视场内被荧光标记的物体，对应于图像上的非0像素，所拍摄的图像发生变化反映了物体的运动及荧光分子亮度的变化；
所述物体分割，目的是将图像分割为一系列亮斑，每个亮斑都具有较好的旋转对称性；所述亮斑的旋转对称性，由其轮廓边框的长宽比来度量，当长宽比小于某个设定值时，认为亮斑的旋转对称性较好；每帧超分辨图像经物体分割后所建立的亮斑库，将在下一帧低分辨图像转换为超分辨图像时使用；
所述物体分割的步骤如下：
(1)粗略分割
粗略分割的目的是将每个物体与邻近的物体区分开，并从整幅图像中提取出来；将物体与邻近物体区分开的方法为：将被分割的图像视为地形面，像素值代表地形高度，以地形面上的山谷线作为物体分割线，每条封闭的山谷线所包围的非0像素值的区域即分割出的一个物体；
(2)细致分割
细致分割的目的是将由步骤(1)所分割出的物体作进一步分割，物体经过细致分割后，被分割为一系列亮斑，每个亮斑都具有较好的旋转对称性；
(3)建立亮斑库保存所有分割出的亮斑，并记录每个亮斑在原图像中的位置。
7.如权利要求3所述的动态图像拍摄与图像处理方法，其特征在于，所述3.3)低分辨图像转换为超分辨图像的过程如下：
(1)正向转换
以原视频的首帧真实超分辨图像为先验知识，采用双层迭代退卷积方法，将原视频第二帧的低分辨图像转换为超分辨图像，即得到第二帧图像的计算超分辨图像；继续以第二帧的计算超分辨图像为先验知识，采用双层迭代退卷积方法，将原视频第三帧的低分辨图像转换为超分辨图像，即得到第三帧图像的计算超分辨图像；以此类推，以第k帧的超分辨图像(真实超分辨图像或计算超分辨图像)为先验知识，采用双层迭代退卷积方法，将原视频第k+1帧的低分辨图像转换为超分辨图像；转换完成后所有的超分辨图像另存为新视频；
(2)反向转换
以原视频的末帧真实超分辨图像为先验知识，采用双层迭代退卷积方法，将原视频倒数第二帧的低分辨图像转换为超分辨图像，即得到倒数第二帧图像的计算超分辨图像；继续以倒数第二帧的计算超分辨图像为先验知识，采用双层迭代退卷积方法，将原视频倒数第三帧的低分辨图像转换为超分辨图像，即得到倒数第三帧图像的计算超分辨图像；以此类推，以第k帧的超分辨图像(真实超分辨图像或计算超分辨图像)为先验知识，采用双层迭代退卷积方法，将原视频第k-1帧的低分辨图像转换为超分辨图像；转换完成后所有的超分辨图像另存为新视频，该视频不同于步骤(1)所述的新视频；
(3)双向转换图像加权求和
将由步骤(1)和(2)得到的两个新视频中，帧号对应的超分辨图像进行加权求和，得到最终的超分辨图像，所有图像都完成加权求和后保存为视频，即拍摄完成后图像处理的最终结果；所述加权求和的权重设置方法如下：
视频的第I帧和第I+K帧表示相邻两帧使用超分辨成像模块采集的真实超分辨图像，第I+F帧图像位于第I和第I+K帧之间，令Pf表示正向转换得到的视频中第I+F帧图像，令Pb表示反向转换得到的视频中第I+F帧图像，Wf表示图像Pf的权重，Wb表示图像Pb的权重，Wf≥0，Wb≥0，且Wf+Wb＝1；设置权重Wf，使Wf随着F的增加而单调递减，并且Wf满足以下条件：当F＝0时，Wf＝1；当F＝K时，Wf＝0；当F＝K/2时，Wf＝0.5；Wf的取值以K/2为中点呈中心对称。
8.如权利要求7所述的动态图像拍摄与图像处理方法，其特征在于，所述双层迭代退卷积方法，以低分辨图像作为被退卷积的图像，以转换函数作为卷积核，以已知的超分辨图像作为迭代初值，并且对作为迭代初值的超分辨图像建立了亮斑库，以上四者为双层迭代退卷积方法的输入变量，其中，被退卷积的低分辨图像命名为<原图>，作为迭代初值的超分辨图像命名为<先验图>；双层迭代退卷积方法的输出变量为图像<原图>退卷积后得到的图像，命名为<退卷积图>；
所述低分辨图像<原图>和超分辨图像<先验图>的时间间隔是紧密的，所述时间间隔的紧密，必须符合以下要求：
(1)图像<原图>所对应的时刻为ts，图像<先验图>所对应的时刻为tp，当ts＜tp时，ts时刻出现在视场内的物体在tp时刻仍有大部分留在视场内，并且在tp时刻没有大量新物体出现在视场内；当tp＜ts时，tp时刻出现在视场内的物体在ts时刻仍有大部分留在视场内，并且在ts时刻没有大量新物体出现在视场内；
(2)物体运动使物体分割后的亮斑发生了位移，亮斑在ts和tp两个时刻之间的位移量不能过大，所述位移量不能过大，即要求可以用光流来表示亮斑的位移。
9.如权利要求7所述的动态图像拍摄与图像处理方法，其特征在于，所述双层迭代退卷积方法包括如下步骤：
(1)以转换函数为卷积核，以超分辨图像<先验图>为迭代初值，使用理查森-露西(Richardson-Lucy)方法对低分辨图像<原图>进行退卷积，得到退卷积后的图像命名为<中间图1>；
(2)图像<先验图>和图像<中间图1>进行比较，计算出光流；
(3)根据步骤(2)得到的光流，确定每个亮斑移动后新的覆盖范围，并计算每个亮斑新的覆盖范围在图像<中间图1>内所对应区域的亮度平均值，再将亮度平均值与亮斑原有亮度比较，然后在图像<先验图>内调节亮斑亮度，使其亮度与在图像<中间图1>内新的覆盖范围所对应区域的亮度平均值一致；
(4)调节每个亮斑亮度后，重新比较图像<先验图>和图像<中间图1>，计算出光流；
(5)根据步骤(4)得到的光流，在图像<先验图>上移动亮斑至新位置，更新图像<先验图>；
(6)亮斑移动后，再以图像<先验图>为Richardson-Lucy方法的迭代初值，以转换函数为卷积核，使用Richardson-Lucy方法对低分辨图像<原图>进行退卷积，得到退卷积后的图像命名为<中间图2>；其中Richardson-Lucy方法退卷积的过程即双层迭代退卷积方法中的内层迭代；
(7)设置权重系数，将图像<中间图1>和图像<中间图2>做加权求和，所得结果覆盖图像<中间图1>；所述加权求和，即图像<中间图1>和图像<中间图2>每个位置对应的像素做加权求和，权重系数对每个像素都是相同的；
(8)重复步骤(2)～(7)，共N次，N为设置的外层迭代次数；
(9)完成N次外层迭代后，将最后一次迭代完成时的图像<中间图1>和此时的图像<先验图>做加权求和，所得图像<退卷积图>即双层迭代退卷积方法得到的最终结果。
10.如权利要求3所述的动态图像拍摄与图像处理方法，其特征在于，其中3.3)低分辨图像转换为超分辨图像和3.4)物体分割的使用方式如下：
对原视频进行正向转换；当第k帧为真实超分辨图像时，不需要做转换，直接进行物体分割，建立亮斑库；当第k帧为低分辨图像时，使用双层迭代退卷积方法，先将其转换为超分辨图像，在转换的过程中会用到第k-1帧的超分辨图像及第k-1帧超分辨图像所建立的亮斑库，待第k帧转换完成后得到其计算超分辨图像，再对其进行物体分割，所建立的亮斑库将在第k+1帧低分辨图像转换为超分辨图像时使用；上述过程从原视频首帧开始依次进行，完成正向转换；
再对原视频进行反向转换，转换从原视频末帧开始依次进行，转换过程与正向转换相同；
原视频完成正向转换和反向转换后，再使用权利要求7中所述的步骤(3)双向转换图像加权求和，得到拍摄完成后图像处理的最终结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711037935.7A CN109724951A (zh) | 2017-10-27 | 2017-10-27 | 一种动态超分辨荧光成像技术 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711037935.7A CN109724951A (zh) | 2017-10-27 | 2017-10-27 | 一种动态超分辨荧光成像技术 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109724951A true CN109724951A (zh) | 2019-05-07 |
Family
ID=66292391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711037935.7A Pending CN109724951A (zh) | 2017-10-27 | 2017-10-27 | 一种动态超分辨荧光成像技术 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109724951A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112261390A (zh) * | 2020-08-20 | 2021-01-22 | 深圳市豪恩汽车电子装备股份有限公司 | 车载摄像设备及其图像优化装置和优化方法 |
| WO2022237891A1 (zh) * | 2021-05-13 | 2022-11-17 | 南京大学 | 用于成像的方法、装置和计算机可读介质 |
| CN115420721A (zh) * | 2022-08-29 | 2022-12-02 | 华南师范大学 | 一种基于荧光径向涨落算法的三维光片超分辨成像方法与装置 |
| CN117237198A (zh) * | 2023-11-10 | 2023-12-15 | 深圳赛陆医疗科技有限公司 | 基于深度学习的超分辨测序方法及装置、测序仪及介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1994017493A1 (en) * | 1993-01-29 | 1994-08-04 | Q-Dot Photonics, Inc. | Methods and apparatus for image processing |
| CN101339129A (zh) * | 2007-09-03 | 2009-01-07 | 深圳大学 | 基于固定光路系统的变视场扫描显微的方法及其装置 |
| WO2010088418A1 (en) * | 2009-01-29 | 2010-08-05 | The Regents Of The University Of California | High resolution structured illumination microscopy |
| US20110017915A1 (en) * | 2009-07-23 | 2011-01-27 | Palo Alto Research Center Incorporated | Drift scanner for rare cell detection |
| US20110284767A1 (en) * | 2008-11-03 | 2011-11-24 | Carl Zeiss Microimaging Gmbh | Combination microscopy |
| US20120281883A1 (en) * | 2011-02-28 | 2012-11-08 | Hurley Neil F | Methods to build 3d digital models of porous media using a combination of high- and low-resolution data and multi-point statistics |
| CN103136728A (zh) * | 2012-12-14 | 2013-06-05 | 西安电子科技大学 | 基于字典学习和非局部总变差的图像超分辨方法 |
| CN103150713A (zh) * | 2013-01-29 | 2013-06-12 | 南京理工大学 | 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法 |
| CN105911680A (zh) * | 2010-10-22 | 2016-08-31 | 徕卡显微系统复合显微镜有限公司 | 具有连续片光源的spim显微镜 |
| WO2017152702A1 (zh) * | 2016-03-10 | 2017-09-14 | 清华大学 | 一种结构光照明显微镜的成像方法及装置 |
-
2017
- 2017-10-27 CN CN201711037935.7A patent/CN109724951A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1994017493A1 (en) * | 1993-01-29 | 1994-08-04 | Q-Dot Photonics, Inc. | Methods and apparatus for image processing |
| CN101339129A (zh) * | 2007-09-03 | 2009-01-07 | 深圳大学 | 基于固定光路系统的变视场扫描显微的方法及其装置 |
| US20110284767A1 (en) * | 2008-11-03 | 2011-11-24 | Carl Zeiss Microimaging Gmbh | Combination microscopy |
| WO2010088418A1 (en) * | 2009-01-29 | 2010-08-05 | The Regents Of The University Of California | High resolution structured illumination microscopy |
| US20110017915A1 (en) * | 2009-07-23 | 2011-01-27 | Palo Alto Research Center Incorporated | Drift scanner for rare cell detection |
| CN105911680A (zh) * | 2010-10-22 | 2016-08-31 | 徕卡显微系统复合显微镜有限公司 | 具有连续片光源的spim显微镜 |
| US20120281883A1 (en) * | 2011-02-28 | 2012-11-08 | Hurley Neil F | Methods to build 3d digital models of porous media using a combination of high- and low-resolution data and multi-point statistics |
| CN103136728A (zh) * | 2012-12-14 | 2013-06-05 | 西安电子科技大学 | 基于字典学习和非局部总变差的图像超分辨方法 |
| CN103150713A (zh) * | 2013-01-29 | 2013-06-12 | 南京理工大学 | 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法 |
| WO2017152702A1 (zh) * | 2016-03-10 | 2017-09-14 | 清华大学 | 一种结构光照明显微镜的成像方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| YOSHINORI IKETAKI 等: "Construction of super-resolution microscope based on cw laser light source", 《REVIEW OF SCIENTIFIC INSTRUMENTS》 * |
| ZHAOSHUAI GAO 等: "Sub-diffraction-limit cell imaging using a super-resolution microscope with simplified pulse synchronization", 《SCIENCE CHINA CHEMISTRY》 * |
| 林丹樱等: "超分辨成像及超分辨关联显微技术研究进展", 《物理学报》 * |
| 王嫣然等: "一种监控视频人脸图像超分辨技术", 《光学学报》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112261390A (zh) * | 2020-08-20 | 2021-01-22 | 深圳市豪恩汽车电子装备股份有限公司 | 车载摄像设备及其图像优化装置和优化方法 |
| CN112261390B (zh) * | 2020-08-20 | 2022-02-11 | 深圳市豪恩汽车电子装备股份有限公司 | 车载摄像设备及其图像优化装置和优化方法 |
| WO2022237891A1 (zh) * | 2021-05-13 | 2022-11-17 | 南京大学 | 用于成像的方法、装置和计算机可读介质 |
| CN115420721A (zh) * | 2022-08-29 | 2022-12-02 | 华南师范大学 | 一种基于荧光径向涨落算法的三维光片超分辨成像方法与装置 |
| CN117237198A (zh) * | 2023-11-10 | 2023-12-15 | 深圳赛陆医疗科技有限公司 | 基于深度学习的超分辨测序方法及装置、测序仪及介质 |
| CN117237198B (zh) * | 2023-11-10 | 2024-03-12 | 深圳赛陆医疗科技有限公司 | 基于深度学习的超分辨测序方法及装置、测序仪及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200393793A1 (en) | Method and system for pixel super-resolution of multiplexed holographic color images | |
| CA2877902C (en) | Pathology slide scanners for fluorescence and brightfield imaging and method of operation | |
| CN109724951A (zh) | 一种动态超分辨荧光成像技术 | |
| CN106896489B (zh) | 基于波长复用的频域拼贴显微系统及其方法 | |
| US8743195B2 (en) | Whole slide fluorescence scanner | |
| US9088729B2 (en) | Imaging apparatus and method of controlling same | |
| JP3191928B2 (ja) | 画像入出力装置 | |
| CN109724950A (zh) | 具有自适应采样帧率的动态超分辨荧光成像技术 | |
| CA2912401A1 (en) | Microscopy of a tissue sample using structured illumination | |
| US11854162B2 (en) | Microscopy with near-ideal sCMOS camera | |
| CN114424102A (zh) | 用于在自动聚焦系统中使用的图像处理装置和方法 | |
| CN111429562B (zh) | 基于深度学习的宽场彩色光切片显微成像方法 | |
| EP3642601A1 (en) | Msia scanning instrument with increased dynamic range | |
| CN111679418B (zh) | 基于激光图像的显微镜自动聚焦方法、系统及计算机设备 | |
| US6590612B1 (en) | Optical system and method for composing color images from chromatically non-compensated optics | |
| JP6968357B2 (ja) | 画像取得方法および画像取得装置 | |
| CN213364570U (zh) | 一种用于物联网应用的高光谱视频监测相机 | |
| US11256078B2 (en) | Continuous scanning for localization microscopy | |
| CN111007020B (zh) | 双帧四光谱成像方法及应用 | |
| CN114387387A (zh) | 高反射率表面彩色三维重建方法、系统、终端及介质 | |
| JPH02192276A (ja) | 画像入出力装置 | |
| CN117434707A (zh) | 一种显微光学系统的快速对焦方法及装置 | |
| CN116893501A (zh) | 图像获取装置及图像获取方法 | |
| JP2018163249A (ja) | 領域判定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190507 |