CN1265228C - 生物显微镜影像技术达到增加3维景深及解析度的方法 - Google Patents

Abstract

本发明提供一种生物显微镜影像技术以正反扫描与3维影像套合达到增加景深及解析度的方法，其目的是为了得到景深更深的立体影像而使显微镜立体影像厚度加大以提高影像的解析度。其做法是先利用样本包埋凝胶将样本固定在三维空间后，将样本分别从正、反面进行扫描，然后进行立体影像套合，以得到景深更深的显微镜立体影像。立体影像套合方法为结合快速傅利叶转换、Sobel边缘检测、与相关匹配等方法来判定正面与反面扫图所得影像组在Z轴上的重叠位置，再使用快速傅利叶转换方法找出X、Y方向的平移及以Z轴旋转的角度，以调整上下层影像组的位置，使得出的影像为完整的立体影像。

Description

生物显微镜影像技术达到增加3维景深及解析度的方法

技术领域

本发明涉及一种方法，尤其是生物显微镜影像技术达到增加3维景深及解析度的方法。

背景技术

公知的共轭焦显微镜是通过去除非焦面所产生的杂讯，以取得在样本中不同深度的高解析度显微影像。其主要原理可分为三个步骤来说明：首先激光可以经由物镜聚焦成单一的光点，来照射样品单点的特定深度；另外，由焦点反射或发散的光线还可经由物镜聚焦成单一的光束，完全通过影像检测器前的针孔(pinhole aperture)；最后，其他在焦点的上及的下非焦点所产生的杂讯光子则在此针孔周围被阻挡下来，因而确保检测器获取焦面讯号的准确性，进而达到所欲得到的不同深度高解析度的显微影像(如图1所示)。因此，针孔越小，便能去掉越多的杂讯，而得到专一且清晰的显微影像了。

比较共轭焦显微镜与传统式的显微镜，前者明显地具有较多的优点：在传统式的萤光显微镜中，若要观察厚片生物组织在Z轴方向的影像，仅能局限地观察到所使用物镜景深的内的有限焦面范围，超出了这个范围，非焦面的光线将会严重影响焦面的光线，致使对比消弱与影像模糊，并且，若观察的样本同时会散发多种萤光，则欲得到的各种单一萤光的影像都将混杂有其他光谱萤光的杂讯；而共轭焦显微镜则是专对这些厚片萤光样本(如生物细胞组织)所设计的，它光学截面的功能可以大幅减低传统显微镜所无法去除的非焦面性杂讯，在多重萤光的样本上，也能确切地分开不同光谱范围的萤光讯息，而得到多重萤光厚片组织的不同深度的清晰显微影像。

目前为增加显微镜扫图的景深，所使用的方法有二种，一为利用二台显微镜架设于样本的正面及反面的位置，计算好相对位置后，分别从正面与反面做共轭取像，所得的影像厚度大约是单台显微镜所能得到的影像组厚度的两倍，但此做法却大大地增加所需的硬件成本。其二为利用多光子显微镜的技术来增加影像组的厚度，其硬件成本亦会较高，且若将本发明配合多光子显微镜使用，可得到的景深约为单独使用多光子显微镜景深的2倍。

发明内容

本发明是配合样本包埋凝胶的使用，做正、反扫图后将两影像组做影像套合，增加可取像范围的景深以达到提高显微镜影像解析度的方法。本发明主要但不限于生物显微影像的立体影像套合。

为实现上述目的，本发明提供一种生物显微镜影像技术达到增加3维景深及解析度的方法，是从样品正面扫描一组或多组3维影像再从反面扫描一组或多组3维影像，配合X、Y方向平移、Z轴旋转而将正反扫描的两组或多组的3维影像套合成完整的一组加倍深度且大体积的3维影像技术，以达到减少厚生物组织切片数并增加生物影像景深及解析度，该方法通过以下步骤实现：

1.判断正反扫图在Z轴上的重叠位置；

a.利用快速傅立叶转换方法缩小所要寻找Z轴上的重叠位置的范围；

b.使用Sobel边缘检测找出影像中边缘变化最大的区域；

c.利用此区域使用相关匹配方法判断反面扫图中与正面扫图中选定的影像最相似的影像；

2.以正面扫图的影像组为参考，调整反面扫图的Z轴坐标、XY平面的平移量，以Z轴为轴心的旋转量。

所述的生物显微镜影像技术达到增加3维景深及解析度的方法，其可以使用单一或多波长激发光辅助显微镜取像，以改善立体影像的解析度。

所述的生物显微镜影像技术达到增加3维景深及解析度的方法，其可以搭配多光子显微镜使用以提高其立体影像的解析度。

所述的生物显微镜影像技术达到增加3维景深及解析度的方法，其可以应用于但不限于共轭焦显微影像的组合而达到增加厚组织清晰度及深度。

具体而言：

本发明为了得到厚度更深的立体影像，是将样本做正面扫图与反面扫图，由于样本在三维空间是被样本包埋凝胶固定住的，所以正、反扫图翻转前与翻转后所取得的影像只会发生在XY平面上的平移，与以Z轴为轴心旋转的差异，不会发生在三维空间中ψ角的转动；找到Z轴上的重叠位置后，取翻转前与翻转后重叠部份中的各一片影像，计算翻转前与翻转后所取得的影像在XY平面上的平移量，与以Z轴为轴心的旋转量，再以正面扫图的影像组当做参考，调整反面扫图影像的Z轴座标、XY平面的平移量，与以Z轴为轴心的旋转量，即可将两组连续影像重建成为一组完整的立体影像。其确定正、反面扫图影像组在Z轴上的重叠位置，是利用快速傅利叶转换方法缩小所要寻找Z轴上的重叠位置的范围，使用Sobel边缘检测的概念，找出影像中边缘变化最大的区域，再利用此区域使用相关匹配的方法，判断出反面扫图内，与正面扫图中被选定的影像A最相似的影像(其流程如图8所示)，以判断正、反扫图Z轴上的重叠位置。一旦决定正、反面扫图影像组在Z轴上的重叠位置，再使用快速傅利叶转换方法找出X、Y方向的平移及以Z轴旋转的角度，以调整上、下层影像组的位置，使得出的影像为完整的立体影像。

本发明为了得到厚度更深的立体影像，乃将样本做正面扫图与反面扫图；如图2所示，其中粗线矩形框为正、反扫图影像组重叠的区域，由于样本被包埋凝胶固定在三维空间中，使得正、反扫图翻转前与翻转后所取得的影像只会发生在XY平面上的平移，与以Z轴为轴心旋转的差异，利用正、反扫图立体影像重叠部份找出Z轴上的重叠位置，取正面扫图与反面扫图重叠区域内各一片影像，计算正面扫图与反面扫图所取得的影像在XY平面上的平移量，与以Z轴为轴心的旋转量，以正面扫图的影像组当做参考，调整反面扫图影像的Z轴座标、XY平面的平移量，与以Z轴为轴心的旋转量，如此便可得到一组完整的立体影像。整个显微镜正、反扫图影像套合系统流程图如图3所示。

以下介绍本发明中所使用到的技术与技巧：

1、快速傅利叶转换应用于影像套合

使用快速傅利叶转换于影像套合是利用傅利叶转换的相位关系。若两影像仅有平移的差异，即如影像f₂是f₁平移(x₀，y₀)的结果，则两影像关系如式(1)。

式(1)做傅氏转换后得式(2)，其中两者之间的位移关系(x₀，y₀)，

f₂(x，y)＝f₁(x-x₀，y-y₀)                  (1)

$F_2(\mathrm{\ξ},\mathrm{\η})=e^{-j2\mathrm{\π}(\mathrm{\ξ}{x}_0+\mathrm{\η}{y}_0)}\×F_1(\mathrm{\ξ},\mathrm{\η})---\left(2\right)$

仅出现在相位项e-j2π(ξx₀+ηy₀) 中。

相位项可由式(3)计算得的，其中F^*为F的共轭复数。

将式(3)中的相位项e-j2π(ξx₀+ηy₀) 做反傅氏转换后，由反傅式转换的计算结果，其脉冲位置即可决定(x₀，y₀)。式(4)为傅氏转换与反傅氏转换对的关系。

$\frac{F_2(\mathrm{\ξ},\mathrm{\η}){F_1}^{*}(\mathrm{\ξ},\mathrm{\η})}{\left|F_2(\mathrm{\ξ},\mathrm{\η}){F_1}^{*}(\mathrm{\ξ},\mathrm{\η})\right|}=e^{-j2\mathrm{\π}(\mathrm{\ξ}{x}_0+\mathrm{\η}{y}_0)}---\left(3\right)$

$\mathrm{\δ}(x-x_0,y-y_0)\⇔e^{-j2\mathrm{\π}(\mathrm{\ξ}{x}_0+\mathrm{\η}{y}_0)}---\left(4\right)$

当两张影像同时发生旋转与平移时如式(5)。

f₂(x，y)＝f₁(xcosθ₀+ysinθ₀-x₀，-xsinθ₀+ycosθ₀-y)    (5)

式(5)取快速傅利叶转换后，两影像在频域的相对关系如式(6)。

$F_2(\mathrm{\ξ},\mathrm{\η})=e^{-j2\mathrm{\π}(\mathrm{\ξ}{x}_0+\mathrm{\η}{y}_0)}\×---\left(6\right)$

$F_1(\mathrm{\ξ}\cos {\mathrm{\θ}}_0+\mathrm{\η}\sin {\mathrm{\θ}}_0,-\mathrm{\ξ}\sin {\mathrm{\θ}}_0+\mathrm{\η}\cos {\mathrm{\θ}}_0)$

式(6)取其振幅M1、M2如式(7)所示，其中M₁、M₂分别为F₁、F₂的振幅。观察式(7)，M₂是M₁旋转了θ₀度的结果，对M₁、M₂做极座标转换后得式(8)。

M₂(ξ，η)＝M₁(ξcosθ₀+ηsinθ₀，-ξsinθ₀+ηcosθ₀)    (7)

M₁(ρ，θ)＝M₂(ρ，θ-θ₀)                               (8)

观察式(8)，M1与M2之间变成平移的关系，其平移量为θ₀，利用上述傅利叶转换的相位关系就可解得θ₀。接下来将f1旋转θ₀后得f″₁，f″₁与f₂之间就只剩平移的关系，再利用傅利叶转换的相位关系就可得知(x₀，y₀)，整个执行的过程请参照图4所示。影像做傅氏转换后的高频部份包含原始图形的重要特征，所以在做极座标转换前加入高通滤波器，提高角度评估的准确度，其规格如式(9)，其中D₀＝0.3。

$H(u,v)=\left\{\begin{array}{cc}0\mathrm{if}& D(u,v)\≤D_0\\ 1\mathrm{if}& D(u,v)>D_0\end{array}\right.---\left(9\right)$

2.Sobel边缘检测

本发明使用Sobel运算子做边缘检测，在Sobel运算子对影像f做完边缘检测后，影像f上的每个像素点会得到梯度强度大小|f|，图5(B)为Sobel运算子对图5(A)做完边缘检测后的梯度强度影像，其梯度强度值越大(影像上越亮)，代表该处是越明显的边缘，即影像明亮变化大的地方，本发明利用影像f完成边缘检测后的梯度强度影像，寻找影像f内有明显边缘变化的区域。设定一适当大小的区块，寻找影像f的梯度强度图中在区块内|f|总和最大的位置，此位置为影像f内有明显边缘变化的区域如图5(C)，利用此区域当做样板，突显其余待比对的影像与样板间的差异性，以利后续做相关匹配使用。

3.相关匹配方法

利用相关匹配的方法如式(10)所得的相关系数r(s，t)，可在影像f中找出与样板w最相似的区域。w(x，y)样板(template)在M×N的影像f(x，y)内由左而右，由上而下移动使用式(10)得到r(s，t)相关系数，其中s＝0，1，2，…M-1，t＝0，1，2，…N-1，T为影像f与样板w重叠的区域，即式(2-1)只在重叠区域进行， f(x，y)代表影像f与样板w重叠的区域亮度平均值， w代表样板w亮度平均值。

如图6，其中f(x，y)的原点位于左上角，w(x，y)的原点位于它的中心，位于f(x，y)内的任何位置(s，t)都使用式(10)得到一相关系数r(s，t)，而相似度数值最高的位置即是f(x，y)中与w(x，y)最相似的区域，相关系数r(s，t)的取值范围为-1≤r(s，t)≤1。

$r(s,t)=\frac{\underset{\mathrm{xy}\∈T}{\mathrm{\Σ}}\mathrm{\Σ}[f(x,y)-\stackrel{\‾}{f}(x,y)][w(x-s,y-t)-\stackrel{\‾}{w}]}{\left\{\underset{\mathrm{xy}\∈T}{\mathrm{\Σ}}\mathrm{\Σ}\right[f(x,y)-\stackrel{\‾}{f}(x,y){]}^2\underset{\mathrm{xy}\∈T}{\mathrm{\Σ}}\mathrm{\Σ}[w(x-s,y-t)-\stackrel{\‾}{w}{]}^2{\}}^{y_2}}---\left(10\right)$

4.确定正、反面扫图影像组在Z轴上的重叠位置

确定Z轴上的重叠位置就是要找到两影像组中相同的影像，以确定重叠区域的位置。第一步是利用上述快速傅利叶转换方法计算两影像间旋转角度的过程中所得到的峰值(peak)来做判断，因为当两张极相似的影像(例如：影像A与影像B极相似)之间的差异为旋转与平移，所得到的峰值会比将影像B换成影像C时(影像A与影像C不相似)做相同的运算所得的峰值要来得高许多，所以在反面扫图影像组中与正面扫图影像A较相似的几片影像位于最突出峰值的附近，如图7最突出峰值位于粗线矩形框内，所以与影像A较相似的几片影像位于反面扫图的第11片附近(此处定义这几片影像为「影像群K」，以方便后文述叙)，利用此观念找出粗略的定位Z轴上的重叠位置，缩小所要比对的影像片数，以减少后序的计算量。然而这几片影像都有可能是反面扫图中与正面扫图的影像A最相似的影像。计算从反面扫图中所选取的影像群K每一张影像与影像A在XY平面上的平移量与以Z轴旋转的角度，调整其平移量与旋转的角度，再利用上述所提的Sobel边缘检测的概念，找出影像中边缘变化最大的区域，利用此区域使用相关匹配的方法，判断出反面扫图内与正面扫图中的影像A最相似的影像，决定正、反面扫图影像组在Z轴上的重叠位置，其过程如图8所示。最后，定位了Z轴上的重叠位置后，取正面扫图与反面扫图重叠区域内各一片影像，计算正面扫图与反面扫图所取得的影像在XY平面上的平移量与以Z轴的旋转量，以正面扫图的影像组当做参考，调整反面扫图影像的Z轴座标、XY平面的平移量，与以Z轴为轴心的旋转量。

附图说明

图1显示本发明利用激光经由物镜聚焦成单一的光点，来照射样品单点的特定深度；

图2显示本发明将样本做正面扫图与反面扫图的示意图；

图3显示本发明整个显微镜正、反扫图影像套合系统流程图；

图4为显示本发明做傅氏转换整个执行的过程；

图5(A)为显示本发明做边缘检测的影像；

图5(B)为显示Sobel运算子对图5(A)做完边缘检测后的梯度强度影像；

图5(C)为显示Sobel运算子做完边缘检测后影像f内有明显边缘变化的区域；

图6为显示本发明利用相关匹配的方法所得的相关系数，可在影像f中找出与样板w最相似的区域；

图7为显示本发明在反面扫图影像组中最突出峰值的位置；

图8显示本发明确定正、反面扫图影像组在Z轴上的重叠位置的流程图；

图9为显示生物样本正、反面扫图的表面图；

图10为显示生物样本正、反扫图做影像套合后的完整立体影像。

具体实施方式

第一实施例

图9为生物样本正、反面扫图的表面图，取正面扫图的最下面一张影像与反面扫图的每一张影像，利用快速傅利叶转换方法计算两影像间旋转角度的过程中所得到的峰值(peak)来做判断，找出正面扫图的最下面一张影像相对于反面扫图影像组在Z轴上的大致位置(如图7所示)。再利用上述所提的Sobel边缘检测的概念，找出影像中边缘变化较大的区域如图5(C)的粗线矩形框即为影像中边缘变化较大的区域。利用此区域使用相关匹配的方法，判断出反面扫图内与正面扫图中的影像A最相似的影像。决定正、反面扫图影像组在Z轴上的重叠位置。整个确定Z轴上的重叠位置流程系如图8所示。在确定Z轴上的重叠位置后，取正面扫图与反面扫图重叠区域内各一片影像，计算正面扫图与反面扫图所取得的影像在XY平面上的平移量，与以Z轴为轴心的旋转量(如图4所示)，再以正面扫图的影像组当做参考，调整反面扫图影像的Z轴座标、XY平面的平移量，与以Z轴为轴心的旋转量，如此便可得到一组完整的立体影像。图10为此生物样本正、反扫图做影像套合后的完整立体影像，其厚度约为正面扫图的2倍。

第二实施例

果蝇的大脑厚度约160μm，将脑神经细胞标示绿色莹光蛋白，利用488nm激光去激发它可得到完整的3D大脑影像。但我们可清楚的发现激光扫描所得的影像越到底部就越模糊了。其主要原因为生物样本具有吸光性，激发光的能量或放射光的能量被样本吸收，而导致所取得的立体影像在某个深度以下是非常不清楚的。利用本发明所提的方法，仅需扫描至稍微超过一半脑的深度得到正面扫图与反面扫图的清晰立体影像组后再做影像套合即可得到完整而清晰的3D大脑影像。

第三实施例

一般作共轭焦显微影像扫描是将生物组织薄片包埋于甘油中去进行显微影像扫描及记录。配合本发明的方法，可描扫的生物组织薄片厚度可提高至接近原先生物组织厚度的二倍，即先将生物组织用样本包埋凝胶固定于三维空间后，利用共轭焦显微镜扫描至稍微超过一半脑的深度得到正面扫图与反面扫图的清晰立体影像组后再做影像套合即可得到完整而清晰的3D生物组织影像，其立体影像厚度约为一般包埋于甘油中进行显微影像扫描所得影像厚度的二倍。

第四实施例

一般作共轭焦显微影像扫描是将生物组织薄片包埋于甘油中去进行显微影像扫描及记录。若改使用FocusClear澄清组织再包埋于MountClear^TM则可大大加深可描扫的景深。若再配合本发明的方法，所得的立体影像厚度可再提高一倍，为单配合FocusClear澄清组织再包埋于MountClear^TM的方法的二倍。

第五实施例

为取得老鼠全脑的影像必需先将成鼠的大脑做震动切片，传统的作法为将约4mm厚的成鼠的脑切成100-200片10-20μm的薄片包埋于甘油中去进行显微影像扫描及记录。如果使用FocusClear澄清组织再包埋于MountClear^TM，则可扫描约200μm的厚片。若再利用本发明的方法则可得到400μm厚片组织内的清楚影像，而一个完整成鼠脑则仅需切成约10片400μm厚的组织片，故利用本发明的方法不但可以有效的增加立体影像的景深，且在厚度大的生物组织如成鼠的全脑可以有效的减少切片数。

第六实施例

配合多光子显微镜的使用，利用本发明所提的方法，先利用多光子显微镜做正面扫图与反面扫图再做影像套合，即可得到立体影像的厚度(景深)约为单使用多光子显微镜的两倍。也就是说，一个完整成鼠脑约4mm仅需切成5片800μm的厚片，包埋于MountClear^TM中，正、反面扫图后再利用本发明做影像套合，即可得到完整大脑的显微影像。

Claims (4)

1、一种生物显微镜影像技术达到增加3维景深及解析度的方法，其特征在于，是从样品正面扫描一组或多组3维影像再从反面扫描一组或多组3维影像，配合X、Y方向平移、Z轴旋转而将正反扫描的两组或多组的3维影像套合成完整的一组加倍深度且大体积的3维影像技术，以达到减少厚生物组织切片数并增加生物影像景深及解析度，该方法通过以下步骤实现：

(1)判断正反扫图在Z轴上的重叠位置，包括：

a.利用快速傅立叶转换方法缩小所要寻找Z轴上的重叠位置的范围；

b.使用Sobel边缘检测找出影像中边缘变化最大的区域；

c.利用此区域使用相关匹配方法判断反面扫图中与正面扫图中选定的影像最相似的影像；

(2)以正面扫图的影像组为参考，调整反面扫图的Z轴坐标、XY平面的平移量，以Z轴为轴心的旋转量。

2、根据权利要求1所述的生物显微镜影像技术达到增加3维景深及解析度的方法，其特征在于，其可以使用单一或多波长激发光辅助显微镜取像，以改善立体影像的解析度。

3、根据权利要求1所述的生物显微镜影像技术达到增加3维景深及解析度的方法，其特征在于，其可以搭配多光子显微镜使用以提高其立体影像的解析度。

4、根据权利要求1所述的生物显微镜影像技术达到增加3维景深及解析度的方法，其特征在于，其可以应用于但不限于共轭焦显微影像的组合而达到增加厚组织清晰度及深度。

Images