CN104111242B - 一种三维像素超分辨显微成像方法 - Google Patents

Abstract

一种三维像素超分辨显微成像方法，其特征在于，沿与图像采集装置传感器平面水平方向x、竖直方向y和显微镜的z轴方向各均成非直角空间偏转角的空间矢量扫描样品，以能够使每两张相邻的图像切片之间沿着x,y,z方向均有亚像素位移的步长进行扫描，通过图像采集装置采集得到原始三维图像序列A，将原始图像序列A根据无损采样原则分割成多组三维图像序列Bi，对Bi进行超分辨处理，生成三维高分辨图像E，再对E进行去模糊处理，得到清晰的高分辨图像F。扫描矢量与水平方向、竖直方向和显微镜的z轴所成的空间偏转角可以相同，也可以不同。

Description

一种三维像素超分辨显微成像方法

技术领域

本发明涉及一种显微成像方法，特别涉及一种三维像素超分辨显微成像方法。

背景技术

荧光显微成像作为对微观世界里发生的特异性事件的一种观察手段，长久以来对于现代生命科学研究具有重大意义。特别是在发育生物学，再生医学，组织工程等需要对多细胞样品进行观察、分析的领域里，进行三维度、全方位的成像对于分析样品的结构，生物学特性非常重要。然而，无论是倒置显微镜还是共聚焦显微镜，均无法在低倍率，大视场下提供轴向分辨率足够好的三维图像。近年来新发展出来的切片光显微成像系统提供了一种新型的三维显微图像的获取手段，有别于传统的光路显微手段，切片光显微成像系统增加了额外的照明光路来提供厚度极薄的线聚焦切片光照明，当染色样品放置于激光光片焦点处附近时，将被该激光光片穿透照明，有如被一把虚拟激光刀片切过，同时每次仅有被照明的薄切面会发射荧光，形成图像。通过在z方向的扫描样品或切片光产生一系列的切面荧光图像，最终堆叠重构出样品的三维结构。由于使用单独的切片光照明，三维成像的的轴向分辨率获得提升，不再受物镜景深的影响，而由光片的厚度决定。但是与此同时，高斯型切片光的可用范围（瑞利范围）与光片厚度的平方成正比。在切片光成像系统中，通常会产生一个2-8微米厚的光片，用来提供几十到数百微米范围的照明，与此照明范围匹配的成像物镜通常是10倍镜或者20倍镜，即高轴向分辨率与大照明范围不可兼得。当需要提供大视场、高分辨的图像时，通常使用中高倍物镜分块采集多张高分辨率图像，再将多幅图像对齐，拼接出一张大视野、高分辨率的图像。进行三维成像时，图像拼接需要对样品在x,y,z轴分别进行扫描，然后使用计算机运算进行拼接处理。这种方法需要进行耗时的x,y,z轴扫描，不但增加了前端系统的硬件复杂度，而且需要后期图像处理的支持。此外，图像拼接相对于原成像系统并没有光学原理上的实质改变，对于一些高倍率成像设置下所固有的缺陷，如低照度，短工作距离带来的操作不便和低兼容性等并无改善。

此外，为实现更高的空间分辨率和动态分辨率，国际上对于切片光成像系统进行了多种改良，比如扫描式切片光成像技术，贝塞尔切片光成像技术，X型双路照明双路采集切片光成像技术正在蓬勃发展。这些改良技术均采用更多的高精度光学元件和自控设备来搭建更为复杂的成像系统。硬件的堆叠、复杂的系统增加了操作难度和成本，对技术的普及并无裨益。更重要的是，即使是使用切片光显微成像技术，目前的主流手段依旧不能完全满足大视场与高分辨兼备的三维成像需求。

发明内容

针对上述倒置显微镜，共聚焦荧光显微镜，切片光等三维显微成像技术共同面临的大视场和高分辨率难以兼容的问题，本发明提供了一种新型的三维像素超分辨显微成像方法。发明的核心内容为：在做三维成像时使用一种偏转型线性扫描方式取代常规的纯Z轴线性扫描，进而通过深度过扫描使获得的多张图像间在x,y,z三个方向均有亚像素的位移。再使用计算机算法对多帧图像进行亚像素高分辨率信息的拼接、融合，最终实现三个维度上的图像分辨率倍增。本发明的方法只需将倒置显微镜，共聚焦荧光显微镜，切片光显微成像技术中的Z轴扫描装置进行小的改装，把扫描方向偏转，即可实现通过线性过扫描将得到的亚像素高分辨率信息分配到x，y，z三个方向，进而仅仅通过一个方向的线性扫描就实现了三个维度的分辨率提升。更重要的是，在获得同等分辨率的情况下，三维像素超分辨成像技术能够较传统的三维显微成像技术使用倍率更低，价格更便宜的物镜。这样不仅获得了更大视场范围的成像，还进一步改善了高倍率成像设置下导致的动态范围不足，操作不便和兼容性低等固有问题。而在使用同样倍率的物镜时，本发明的方法能够将分辨率进一步提升。图像的三维像素超分辨处理目前是可以在Matlab的环境下实现，也可在更高效的编程环境下执行，如使用C，C++, CUDA及任何可用的通用计算资源，以期达到准实时的三维超分辨处理。

本发明提供了一种三维像素超分辨显微成像方法，该方法沿与图像采集装置传感器平面水平方向x、竖直方向y和显微镜的z轴方向均成非直角空间偏转角的空间矢量扫描样品，以能够使每两张相邻的图像之间沿着x,y,z方向均有亚像素位移的步长进行扫描，通过图像采集装置采集得到原始三维图像序列A，将原始图像序列A根据无损采样原则分割成多组三维图像序列Bi，对Bi进行超分辨处理，生成三维高分辨图像E，再对E进行去模糊处理，得到清晰的高分辨图像F。

本发明的三维像素超分辨显微成像方法可以与任何扫描式三维显微成像方式集成，优选倒置显微镜成像，共聚焦荧光显微镜成像或切片光显微成像。

扫描矢量与水平方向x、竖直方向y和显微镜的z轴所成的空间偏转角可以相同，也可以不同。该偏转角的大小优选由成像系统的单个空间体像素的形状决定，而单个空间体像素的形状进一步由采集物镜的放大倍率、相机像素大小或放大倍率，以及光学系统的轴向分辨率决定。在几种常见的扫描式三维显微成像方式中，对于倒置显微镜成像，轴向分辨率的大小由瑞利范围决定， 侧向向分辨率由放大倍率与相机像素大小决定，对于共聚焦荧光显微镜成像，轴向分辨率的大小由瑞利范围和艾利单位决定，侧向分辨率由放大倍率和选择的图像分辨率决定，对于切片光显微成像，轴向分辨率的大小由光片厚度决定，侧向分辨率由放大倍率与相机像素大小决定。侧向分辨率决定了低分辨体像素在x和y方向的大小，而轴向分辨率决定了体像素在Z方向的大小。扫描矢量的基本要求为：每一步扫描在x,y,z方向均产生比例近似的亚像素位移(比例的定义为在该维度的亚像素位移量除以该维度的像素大小)。 扫描矢量的方向优选为体像素的体对角线方向，如图4所示。三维扫描过程上，本发明的方法使用深度过扫描，过扫描的扫描方式和前述的非z轴偏转型扫描方向相结合，能够确保在扫描过程中每两帧图像之间在x,y,z三个维度都有亚像素级的微位移，从而使图像序列中具有足够多的用于后期重构超分辨图像的亚像素信息。过扫描的步长可根据样品的尺寸、成像的设置以及需要实现的三维超分辨倍数选择。进一步的，空间偏转角优选为75-85度，过扫描步长优选为50纳米到500纳米之间。

当本发明的三维像素超分辨显微成像方法与切片光显微成像技术集成时，可实现切片光照明光路的进一步简化。切片光照明光路使用激光发生装置、空间滤波装置、切片光产生装置产生光片。优选的激发光产生装置为激光二极管或激光器（产生窄带激发光），空间滤波装置为圆形光阑或方形挡光狭缝，切片光产生装置为柱面镜或柱面镜加物镜的组合。首先我们将三路不同波长（405nm, 473nm,532nm）的激光对齐并汇合，以满足生物实验多类荧光激发的需求，例如DAPI,FITC,ALEXA488，GFP, dsRED等。一个圆形或方形光阑被放置在对齐的激光光路后，用于将光斑整形成理想的形状。接下来，使用一个柱面镜对整形的光斑进行一维的线聚焦，进而在激光传播方向上形成一个高斯型的极薄激光切片。在常规的切片光成像系统中，为实现高分辨成像，通常会产生一个2-8微米厚的光片，用来提供几十到数百微米范围的照明，与此照明范围匹配的成像物镜通常是10倍镜或者20倍镜。为产生该厚度的光片，需使用柱面镜加物镜的组合以消除光片的色差，畸变等不利因素（如图1所示）。与此设置不同的是，本发明使用厚度在5微米以上、优选10微米以上的厚但较均匀的切片光，用来提供显著更大范围的样品照明（1到3mm），同时使用与此照明范围匹配的低倍率物镜，如2X或4X物镜进行图像采集。产生厚激光光片一方面能够提供大范围的照明，另一方面随着折射角的减小，以及光片瑞利范围的增加，色差和畸变的影响大幅减小，也降低了对高精度光学元件的要求，例如不再需要在柱面镜后增加一个额外的照明物镜，进而有利于实现系统的精简。图2为结合了三维像素超分辨技术的切片光显微成像装置示意图。

根据不同的样品及染色质量，我们使用图像采集装置以20-400fps、优选100-400fps的速率连续采集超分辨扫描的图像序列。图像采集装置可以为sCMOS、CCD、PMT等。整个扫描过程通常在一分钟内完成，产生一组包含1000-10000张图像的序列（图像张数由样品尺寸决定），我们定义它为原始的大视场图像序列A 。图像序列A被实时地写入计算机的高速固态硬盘阵列中，用以进行后期的三维像素超分辨处理。

多类像素超分辨算法主要被用于无镜显微成像和全息显微成像技术，通过多帧互相关联的低分辨率图像重构出一张高分辨二维图像。理论上多类像素超分辨处理的方法均可用于本发明，优选移位-叠加法。

本发明的三维像素超分辨显微成像方法中，超分辨处理的方法还可以为Papoulis-Gerchberg方法、Iterated Back Projection方法、Robust Super Resolution方法或Structure-Adaptive Normalized Convolution方法。

本发明的三维像素超分辨显微成像方法中，进一步优选的超分辨处理的具体过程为，将Bi按照三个维度的超分辨增强因子Ex, Ey, Ez插值到高分辨率的图像栅格中，生成Ci，将多组Ci按照各自的亚像素位移矢量shifti移回参考原位，生成Di，并将Di叠加和平均生成三维高分辨图像E，对E进行去模糊处理，最终获得清晰的高分辨率输出图像F。

本发明的后期三维像素超分辨处理包含3个关键步骤：

1）将原始图像序列A根据恩奎斯特采样原则分割成低分辨、轴向信息无损的三维图像序列Bi，i = 1,2,3,4,…,n，B1-Bn为n组三维图像，而每组图像Bi均为三维的，包含多张二维图像。其中n = l/s，l为z轴分辨率，s为过扫描步长，即产生多少组低分辨序列B由z轴分辨率和过扫描步长决定。例如，当采用切片光显微成像时，对于光片厚度为10微米条件下，用4倍镜以及滨松flash 4.0 sCMOS相机采集的1000张图像的序列，为实现20倍的超分辨因子（Ex*Ey*Ez = 2*2*5 = 20），我们通常选择扫描步长为约500纳米。接下来通常把获取的原始过扫描图像A分成20组Bi，B1为第1张，第 11张， 第21张，…，第981张， B2 为第2张，第12张，…，第982张，B20为第20张，第30张，…，第1000张。根据恩奎斯特无损采样原则，每组Bi中的的张数间隔至多为20/2=10张，对应距离间隔最多为光片厚度的一半5微米。至此把一组1000张图像的序列分成20组、每组100张切片的三维图像序列Bi。每组Bi中的x, y方向像素分辨率为resx = resy = Pitch / Mag, 其中pitch代表相机每个像素的大小，Mag为使用物镜的放大倍率，z方向像素分辨率为resz = l/2，其中l为光片厚度（当采用切片光显微成像时，以光片Z轴方向半高宽FWHM定义）。而根据恩奎斯特采样原理，x, y, z方向的光学分辨率对应分别为 2*resx， 2*resy，2*resz。在我们所举的这个例子里，Bi的像素分辨率分别为为1.6微米、1.6、5微米，光学分辨率则分别为3.2微米、3.2微米、10微米。

2）对Bi进行移位-叠加的超分辨处理，生成三维高分辨图像E，超分辨处理的具体过程为：（a）将Bi按照三个维度的超分辨增强因子Ex, Ey, Ez插值到高分辨率的图像栅格中，生成Ci，插值方法优选双三次方插值，Ci中的Ex*Ey*Ez个体像素对应于Bi中的单个体像素，但Ci仅具有高的像素密度，图像的实际光学分辨率并没有获得提高。Ex, Ey, Ez的选择遵循以下原则：第一，根据样品在各个维度上的原始分辨率（resx，resy，resz），以及所要达到的最终分辨率选择所需的Ex, Ey, Ez；第二，因为x、y方向原始分辨率相同，因此通常最终x、y方向的超分辨率也会相同，所以Ex通常会设置为等于Ey；第三，Ex*Ey*Ez应设置为不大于前述的n，否则计算得到的图像伪信号过多。通常，实现本方法时先确定要实现的Ex，Ey，Ez，然后确定n值，再根据n值确定扫描步长s，（b）将Ci按照各自已知的亚像素位移矢量shifti移回参考位，生成Di，并将Di叠加和平均生成单个高分辨率图像E。E既融合了高光学分辨率的信息，也包含由系统点扩散函数导致的像素模糊。将Ci移回参考位的具体过程为，使用C1作为参考图像，将C2到Cn按各自的亚像素位移矢量与C1对齐。每组图像的亚像素位移矢量由空间偏转角和扫描步长决定。所有的位移矢量均为沿着与图像扫描相同的方向。移动后留下的空位像素在程序里被自动填为零。例如，对于图像Ci，每个轴上被移动的像素可以被定义为：

其中Ex，Ey，Ez三个维度的超分辨增强因子，Sx，Sy，Sz为在各个维度的扫描步长，其计算方法为Sx = S*sinα,Sy =S*sinβ,Sz =S*sinγ，其中α, β, γ分别为扫描矢量相对于x，y，z方向的夹角，也即三个方向的空间偏转角。这样就得到了多组经过移动补偿操作后的图像 Di：

每组Di均做一个平均然后相加获得单个三维图像E。E与Ci，Di具有相同的维度，但包含有大量高光学分辨率的信息，同时也包含图像融合后由于PSF导致的模糊。

3）E进行去模糊处理，最终获得清晰的高分辨率输出图像F。根据样品特性不同，去模糊处理方法为去卷积方法或者其他图像去模糊方法。去模糊方法可选用wiener，lucy，wolfe等现有的多类去卷积技术去除像素模糊。具体实施方法为：将E与超分辨系统的PSF进行去卷积。PSF为使用matlab程序产生的三维的高斯分布图像，图像分布于高分辨率的图像栅格上（像素密度与E相同），高斯分布具体设定为在每个维度上的高斯FWHM展宽为系统原始低光学分辨率2*resx，2*resy，2*resz。（在此例中，即使用切片光显微成像+10微米光片+4倍物镜+6.5微米像素相机+2*2*5的超分辨因子设定下，每个高分辨率栅格在x，y，z方向上分别代表0.8微米，0.8微米，1微米，高斯展宽分别为3.2微米，3.2微米， 10微米）。 最终清晰的高分辨率图像F在三个维度的像素分辨率分别为resx/Ex, resy/Ey, resz/Ez（0.8微米，0.8微米，1微米），光学分辨率分别为2*resx/Ex，2*resy/Ey，2*resz/Ez（1.6微米，1.6微米，2微米）。相对于低分辨图像Bi，在x，y，z三个方向分别提高了Ex，Ey，Ez倍。通过三维超分辨处理，在F中既实现了大视场体积（通过使用低分辨物镜+厚光片成像实现），又实现了三维度增强的高分辨率（通过使用三维像素超分辨率处理实现）。

本发明的有益效果是，（1）大范围与高分辨率兼备的成像；（2）易于与各种主流的扫描式三维显微成像技术集成；（3）在获得同样分辨率图像的情况下，能够采用更低倍率、更长工作距离的物镜成像，具有的更大动态范围，对厚组织成像中比较容易产生的球面像差很不敏感，无需使用水镜成像的设置，操作更加方便；（4）能够使用更低倍率、更长工作距离的物镜在空气环境下成像，使得系统能更好地与其他技术兼容，比如微流控芯片技术；（5）使用部件简化的成像光路，价格更低的光学元件，降低了成本。

附图说明

以下结合附图及具体实施方式对本发明作进一步的详细描述。

图1为传统的切片光显微成像装置示意图，使用中高倍镜+薄光片在水下对微小样品成像。

图2为本发明的结合了三维像素超分辨技术的切片光显微成像装置示意图，使用低倍镜+厚光片对大样品进行大视野成像。

图3为由原始图像序列通过后期三维像素超分辨处理获得大视野、超分辨的三维图像的示意图。

图4为本发明的偏转型线性扫描，以及原始低分辨体像素和超分辨处理后的对应同等尺寸体像素的示意图。

图5为集成了三维像素超分辨技术的切片光显微成像系统对体外培养的肺细胞三维结构进行成像的结果图。

具体实施方式

使用本发明的三维像素超分辨显微成像方法与切片光显微成像技术对体外培养的肺细胞三维结构进行成像。成像设置为4倍采集物镜+ 10微米厚照明光片。据此设置，在获得的低分辨三维图像Bi中，在x-y方向，单个像素的尺寸为相机像素大小6.45微米/4 =1.61微米，在z方向，单个像素的尺寸为光片厚度的一半即5微米。根据恩奎斯特采样原理，图像对应的原始侧向和轴向分辨率分别为~3.2微米，以及~10微米。在图像采集中我们为实现 Ex=5，Ey=5，Ez=10的超分辨比，在生成250组低分辨图像时，选用成10000nm/250=40nm的过扫描步长。接着，将原始图像序列沿Z轴根据恩奎斯特采样原则分割成低分辨、轴向信息无损的三维图像序列Bi。图5a）为低分辨率三维图像（对应于前述的Bi），左栏为x-y平面图像，右栏为堆叠的x-z平面图像，细胞仅大致的位置和粗略的结构信息被解析。接下来我们对图像进行移位-叠加的超分辨处理，先将Bi按照三个维度的超分辨增强因子Ex, Ey, Ez插值到高分辨率的图像栅格中，生成Ci，再将多组Ci按照各自已知的亚像素位移矢量shifti移回并叠加成单个高分辨率图像E，图5b）为经过移位-叠加处理后的超分辨图像（对应于前述的E），x, y, z方向的超分辨比率为5*5*10。隐约可见的高分辨率的信息被淹没在像素模糊中。接着使用三维去卷积方法移除掉E中的图像模糊，最终获得清晰的高分辨率输出图像F，图5c）为经过进一步去模糊处理的最终超分辨图像（对应于前述的F）。除位置和结构外，细胞的细节信息清晰可见。超分辨图像的理论x, y方向（侧向）和z向（轴向）分辨率分别为3.2/5= 0.64微米，10/10=1微米。图5d）为一组仅经过双三次方插值的“高分辨率”图像（对应于前述的Ci），插值倍率与超分辨倍率相同。图像的光学分辨率并没有随着像素密度增加而获得实质提高。从各组图中裁剪出一个单细胞核进行放大观察，可以明显判断出使用三维像素超分辨可获取显著增强的细节分辨能力。图5e)为渲染的大范围超分辨三维细胞图。

Claims (11)

1.一种三维像素超分辨显微成像方法，其特征在于，沿与图像采集装置传感器平面水平方向x、竖直方向y和显微镜的z轴方向各均成非直角空间偏转角的空间矢量扫描样品，以能够使每两张相邻的图像切片之间沿着x,y,z方向均有亚像素位移的步长进行扫描，通过图像采集装置采集得到原始三维图像序列A，将原始图像序列A根据无损采样原则分割成多组三维图像序列Bi，对Bi进行超分辨处理，生成三维高分辨图像E，再对E进行去模糊处理，得到清晰的高分辨图像F。扫描矢量与水平方向、竖直方向和显微镜的z轴所成的空间偏转角可以相同，也可以不同。

2.根据权利要求1所述的三维像素超分辨显微成像方法，其特征在于，该方法可与倒置显微镜成像，共聚焦荧光显微镜成像或切片光显微成像集成。

3.根据权利要求1所述的三维像素超分辨显微成像方法，其特征在于，所述的超分辨处理的方法优选移位-叠加法。

4.根据权利要求3所述的三维像素超分辨显微成像方法，其特征在于，所述超分辨处理的具体过程为，将Bi按照三个维度的超分辨增强因子Ex,Ey,Ez插值到高分辨率的图像栅格中，生成Ci，将多组Ci按照各自的亚像素位移矢量shifti移回参考原位，生成Di，并将Di叠加和平均生成三维高分辨图像E，再对E进行去模糊处理，得到清晰的高分辨图像F。

5.根据权利要求1所述的三维像素超分辨显微成像方法，其特征在于，所述的空间偏转角的大小优选由成像系统的单个空间体像素的形状决定，单个空间体像素的形状由成像系统的原始侧向分辨率和原始轴向分辨率决定。

6.根据权利要求1所述的三维像素超分辨显微成像方法，其特征在于，所述的扫描矢量的方向优选为体像素的体对角线方向。

7.根据权利要求4所述的三维像素超分辨显微成像方法，其特征在于，所述的步长由Ex,Ey,Ez的乘积和光学系统的z轴分辨率决定。

8.根据权利要求1所述的三维像素超分辨显微成像方法，其特征在于，该方法与切片光显微成像系统集成，切片光显微成像系统的照明光路包括激光发生装置、空间滤波装置、切片光产生装置，其中切片光产生装置为柱面镜，无需使用物镜。

9.根据权利要求1所述的三维像素超分辨显微成像方法，其特征在于，所述的超分辨处理的方法为Papoulis-Gerchberg方法、Iterated Back Projection方法、Robust SuperResolution方法或Structure-Adaptive Normalized Convolution方法。

10.根据权利要求4所述的三维像素超分辨显微成像方法，其特征在于，所述插值为双三次方插值。

11.根据权利要求1所述的三维像素超分辨显微成像方法，其特征在于，通过去卷积的方法进行去模糊处理。