CN101436313B - 一种抗干扰的三维虚拟切片的制作方法 - Google Patents

Abstract

一种抗干扰的三维虚拟切片的制作方法，包括：用计算机建模的方法得到整个切片的表面数学模型，利用此数学模型估计出每个视场图像z轴的大致位置；采用显微镜的自动聚焦算法精确得到每个视场图像的最佳聚焦位置，以此最佳聚焦位置作为三维平面的参考面；其余各z轴视场图像根据参考面依次排列得到三维聚焦平面图像序列，制作出最终的三维虚拟切片。本发明可有效抵抗切片本身不平整和切片上的组织高低不平、全自动显微镜机械精度、环境扰动等干扰因素，从而形成连续平滑、清晰的虚拟切片图像。

Description

一种抗干扰的三维虚拟切片的制作方法 

技术领域

本发明涉及虚拟显微镜技术，具体地说是指一种抗干扰的三维虚拟切片的制作方法，尤其适用于自动显微镜对全切片的三维扫描、拼接、存储和浏览。 

背景技术

通过全自动显微镜对z轴的控制，可以将多个聚焦平面的视场图像组成一个多焦面三维图像序列。通过全自动显微镜对x、y轴的控制可以将多个显微镜视场图像拼接成一幅大图。更进一步，通过全自动显微镜对x、y、z轴的控制可以将多个聚焦平面和多个显微镜视场图像拼接成多聚焦平面的大图，形成一个具有各个焦面的多焦面三维拼接大图。通过对多焦面三维拼接大图来扩大观察的范围能够完整地在计算机上模拟复现显微镜x、y、z轴操作，得到在显微镜下观察的相同效果。这种扩展不光克服了显微镜的有限视场观察的局限性，而且从根本上克服了常规虚拟切片不能观察显微镜的不同焦面，从而制作的三维虚拟切片能够完全替代常规显微镜的所有功能，是提升显微镜应用的有效方法。 

采集三维虚拟切片的典型方法是在每一个聚焦平面，在设定的聚焦位置上采集一个全切片的二维虚拟切片，二维虚拟切片在各个聚焦层面的结合从而组成一个三维虚拟切片。但目前由于各种局限性，如全自动显微镜机械精度问题，环境扰动，x、y轴移动震动等，使捕获的各视场的图像z位置会有一定程度的上下错位，且误差随机，这样采集的每一个聚焦平面的二维虚拟切片中的各个视场子图像有可能不是在一个聚焦平面上。特别是在高倍物镜下扫描非常明显。如在40X下需要至少0.5个微米的扫描分辨率，但上下错位有可能高达1-5个微米。因此必须对图像之间的相对z位置进行调整才能获得连续平滑的聚焦平面的拼接图像。 

一般来说，全自动显微图像三维扫描拼接具有以下问题需要解决：一，切片不平整和切片上的组织高低不平，完全按绝对聚焦平面扫描有可能造成太多的焦面层数，否则会导致组织的某些聚焦平面部位在焦面层数之外漏掉。二，扫描扰动，在扫描过程中全自动显微镜机械精度问题，环境扰动，x、y轴移动震动会使各视场的图像z位置会有一定程度 的上下错位。 

发明内容

本发明提供一种抗干扰的三维虚拟切片的制作方法，其主要目的在于克服现有全自动显微图像三维扫描拼接技术受切片本身不平整和切片上的组织高低不平、全自动显微镜机械精度、环境扰动等因素影响，难以形成连续平滑、清晰的虚拟切片图像的缺点。 

本发明采用如下技术方案：一种抗干扰的三维虚拟切片的制作方法，包括：用计算机建模的方法得到整个切片的表面数学模型，利用此数学模型估计出每个视场图像z轴的大致位置；采用显微镜的自动聚焦算法精确得到每个视场图像的最佳聚焦位置，以此最佳聚焦位置作为三维平面的参考面；其余各z轴视场图像根据参考面依次排列得到三维聚焦平面图像序列，制作出最终的三维虚拟切片。 

前述一种抗干扰的三维虚拟切片的制作方法，其特征在于进一步包括：1)建立切片组织表面数学模型：通过全自动显微镜在低倍下快速扫描一个切片的全图，通过计算机识别的方法找到切片上的组织部分及分布，在有组织的部分均匀选取若干个控制点，通过全自动显微镜依次在扫描倍数下自动聚焦这些点，得到其聚焦位置的x、y、z值，用这些点建立一个切片组织表面上的x、y、z的二阶以上的非线性数学模型；2)对切片进行扫描，得到切片的三维数据：控制显微镜载物台，按照预设的重叠率逐一遍历x、y轴拼接范围内的所有视野位置和每个位置的若干个不同焦面的视场图像，到达一个新的位置后，按照建立的切片组织表面数学模型计算出当前x、y轴位置对应的z轴估计值，以z轴估计值为中心按预设的聚焦层数和间隔依次移动采集z轴各层的图像，将捕获每个视场里每个层面的图像保存；3)制作多焦面的三维虚拟切片：依次评估每个视场中的每个层面的图像，得到每个视场中的最佳聚焦的图像层面，以此最佳聚焦的图像层面作为对应视场的聚焦中心位置，该图像作为对应视场的聚焦中心参考图像，将所有聚焦中心参考图拼接成一个大的二维虚拟切片图像，以每个视场中的聚焦中心位置为参考点，依次向上和向下取出对应位置的图像，按聚焦中心参考图拼接图像的拼接参数拼接各聚焦位置的二维虚拟切片，将拼接的各个二维虚拟切片图按相对应于聚焦中心参考位置组合成一个三维虚拟切片。 

所述步骤1)进一步包括：1)自动显微镜在2X物镜下对整个物理切片做一个快速扫描，建立一个全景的2倍的切片扫描地图；2)对全景的2倍下的切片扫描地图进行分析，区分出有组织的地方和没有组织的地方；3)在有组织的地方均匀地选取6-20个点，记忆其x、y坐标；4)全自动显微镜依次在扫描倍数下自动聚焦每个x、y坐标点，得到聚焦面的z位置，并记忆该点的x、y、z值；5)用这些点的x、y、z值建立一个切片组织表面上的x、y、z的二阶的非线性数学模型。 

进一步地，所述建立一个切片组织表面上的x、y、z的二阶的非线性数学模型包括以下步骤：建立方程z＝Ax²+By²+Cxy+Dx+Ey+F，其中，x、y、z分别表示任意一点的载物台坐标系x、y、z轴的坐标值，A、B、C、D、E、F为方程系数，把上述方程写为矩阵形式： Ax＝b，其中： 

$\underset{\‾}{A}=\left|\begin{array}{cccccc}{x_1}^2& {y_1}^2& x_1{y}_1& x_1& y_1& 1\\ {x_2}^2& {y_2}^2& x_2{y}_2& x_2& y_2& 1\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ {x_n}^2& {y_n}^2& x_n{y}_n& x_n& y_n& 1\end{array}\right|,$ $x=\left|\begin{array}{c}A\\ B\\ C\\ D\\ E\\ F\end{array}\right|,$ $b=\left|\begin{array}{c}{z}_1\\ z_2\\ z_3\\ \·\·\·\\ \·\·\·\\ z_n\end{array}\right|,$

其中(x₁，y₁，z₁)，(x₂，y₂，z₂)，…，(x_n，y_n，z_n)为切片组织表面上记忆的n个x、y、z轴的坐标值，求方程组Ax＝b得到最小二乘解，x＝(A ^T A)^-1 A ^Tb。 

所述步骤3)中的保存图像的步骤为：每一层图像保存若干比例的拷贝图像，将一比例图像分解为若干小图保存，同时保存一个索引数据对应每一个小图的位置，每一层图像分开保存，同时保存一个索引数据对应每一层图像保存的位置，同时对最清晰的一层和其他层的图做上位置的标记。 

由上述对本发明的描述可知，和现有技术相比，本发明具有如下优点：可有效抵抗切片本身不平整和切片上的组织高低不平、全自动显微镜机械精度、环境扰动等干扰因素，从而形成连续平滑、清晰的虚拟切片图像。 

图1为本发明三维虚拟切片的制作流程图； 

附图说明

图2为本发明扫描切片的流程图； 

图3为本发明制作多焦面的三维虚拟切片的流程图。 

下面参照附图说明本发明的具体实施方式。 

本实例提供一种全自动显微镜抗干扰三维虚拟切片制作方法，整个制作流程可参照图1所示。 

一、建立切片组织表面的数学模型 

首先将一个物理切片放在全自动显微镜下，控制物镜到低倍(如2X或4X物镜)，在低倍下快速扫描一个切片的全图，一般耗时10-60秒。接着，通过计算机识别的方法找到切片上的组织部分及分布，在有组织的部分均匀选取6-20个控制点，记忆这些点的x、y坐标，当然也可以人工手动选取这些点。然后，全自动显微镜切换到扫描物镜，如20X，40X，100X等，依次在扫描倍数下自动聚焦每个记忆的x、y坐标点，得到其聚焦位置的z值，并记录这些x、y、z值。 

最后，用上述得到的这些点建立一个切片组织表面上的x、y、z的二阶的非线性数学模型。建立二阶数学模型z＝Ax²+By²+Cxy+Dx+Ey+F，其中x、y、z分别表示任意一点的载物台坐标系x、y、z轴的坐标值，A、B、C、D、E、F为方程系数。如果A、B、C、D、E、F系数知道，二阶的非线性数学模型就建立了。 

把上述方程写为矩阵形式：Ax＝b 

其中： 

$\underset{\‾}{A}=\left|\begin{array}{cccccc}{x_1}^2& {y_1}^2& x_1{y}_1& x_1& y_1& 1\\ {x_2}^2& {y_2}^2& x_2{y}_2& x_2& y_2& 1\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ {x_n}^2& {y_n}^2& x_n{y}_n& x_n& y_n& 1\end{array}\right|,$ $x=\left|\begin{array}{c}A\\ B\\ C\\ D\\ E\\ F\end{array}\right|,$ $b=\left|\begin{array}{c}{z}_1\\ z_2\\ z_3\\ \·\·\·\\ \·\·\·\\ z_n\end{array}\right|,$

其中：(x₁，y₁，z₁)，(x₂，y₂，z₂)，…，(x_n，y_n，z_n)为切片组织表面上记忆的n个x、y、z轴的坐标值。此问题为求方程组Ax＝b得到最小二乘解，如果A ^T A非奇异，则有唯一最佳估计 解x＝(A ^T A)^-1 A ^Tb，切片组织表面二阶的非线性数学模型就建立了。 

二、扫描切片获得三维数据 

参照图2，首先，控制显微镜载物台，按照预设的重叠率逐一遍历x、y轴拼接范围内的所有视野位置和每个位置的若干个不同焦面的视场图像，到达一个新的位置后，按照建立的切片组织表面数学模型计算出当前x、y轴位置的z轴估计值，z＝Ax²+By²+Cxy+Dx+Ey+F，以z轴估计值为中心采集预设的聚焦层数和间隔依次移动采集z轴各层的图像。 

然后，将捕获每个视场里每个层面的图像按(在z₁，z₂，…，z_n)序列保存在计算机硬盘上，并同时记忆每个视野位置(x，y)和每个层面的z值。 

三、制作多焦面的三维虚拟切片 

参照图3，评估第一个视场中的每个层面的图像，得到一个最佳聚焦的图像层面，以此最佳聚焦的图像层面作为聚焦中心位置，该图像作为聚焦中心参考图像，并记忆聚焦中心位置。依次评估每个视场中的每个层面的图像，用同样的方法得到每个视场中的聚焦中心位置和聚焦中心参考图像，并记忆每个聚焦中心位置。 

然后，将所有聚焦中心参考图拼接成一个大的二维虚拟切片图像。以每个视场中的聚焦中心位置为参考点，所有视场图像都以各自的聚焦中心位置对齐，依次向上和向下取出对应位置的图像，按聚焦中心参考图拼接图像的拼接参考数拼接各聚焦位置的二维虚拟切片。将拼接的各个二维虚拟切片图像按相对应于聚焦中心参考位置组合成一个三维虚拟切片。如果某一个视场在采集的层数中超出要求层数，就去掉；如果某一个视场在采集的层数中的某一层不存在，就以最近的层数替代。 

四、保存和浏览三维虚拟切片图像 

标准图像的保存，将三维虚拟切片按结构化保存，具体保存方法是：每一层图像保存若干比例的拷贝图像。将一比例图像分解为若干m×n大小的小图保存，m和n的值可以指定，同时保存一个索引数据对应每一个小图的位置。每一层图像分开保存，同时保存一个索引数据对应每一层图像保存的位置。同时对最清晰的一层和其他层的图做上位置的标记。 

聚焦中心二维虚拟切片的浏览：打开虚拟切片，默认显示最清晰的那一层图像，根据用户指定的比例、浏览区域获取对应的小图，并将其在屏幕上按顺序显示。三维虚拟切片的浏览：用户可以指定观察的层的位置，每一层的浏览方法与聚焦中心二维虚拟切片的浏览同。 

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。 

Claims (4)

1.一种抗干扰的三维虚拟切片的制作方法，其特征在于包括：用计算机建模的方法得到整个切片的表面数学模型，利用此数学模型估计出每个视场图像z轴的大致位置；采用显微镜的自动聚焦算法精确得到每个视场图像的最佳聚焦位置，以此最佳聚焦位置作为三维平面的参考面；其余各z轴视场图像根据参考面依次排列得到三维聚焦平面图像序列，制作出最终的三维虚拟切片；

进一步包括：

1)建立切片组织表面数学模型：通过全自动显微镜在低倍下快速扫描一个切片的全图，通过计算机识别的方法找到切片上的组织部分及分布，在有组织的部分均匀选取若干个控制点，通过全自动显微镜依次在扫描倍数下自动聚焦这些点，得到其聚焦位置的x、y、z值，用这些点建立一个切片组织表面上的x、y、z的二阶以上的非线性数学模型；

2)对切片进行扫描，得到切片的三维数据：控制显微镜载物台，按照预设的重叠率逐一遍历x、y轴拼接范围内的所有视野位置和每个位置的若干个不同焦面的视场图像，到达一个新的位置后，按照建立的切片组织表面数学模型计算出当前x、y轴位置对应的z轴估计值，以z轴估计值为中心按预设的聚焦层数和间隔依次移动采集z轴各层的图像，将捕获每个视场里每个层面的图像保存；

3)制作多焦面的三维虚拟切片：依次评估每个视场中的每个层面的图像，得到每个视场中的最佳聚焦的图像层面，以此最佳聚焦的图像层面作为对应视场的聚焦中心位置，该图像作为对应视场的聚焦中心参考图像，将所有聚焦中心参考图拼接成一个大的二维虚拟切片图像，以每个视场中的聚焦中心位置为参考点，依次向上和向下取出对应位置的图像，按聚焦中心参考图拼接图像的拼接参数拼接各聚焦位置的二维虚拟切片图像，将拼接的各个二维虚拟切片图像按相对应于聚焦中心参考位置组合成一个三维虚拟切片。

2.如权利要求1所述的一种抗干扰的三维虚拟切片的制作方法，其特征在于所述步骤1)进一步包括：

1)自动显微镜在2X物镜下对整个物理切片做一个快速扫描，建立一个全景的2倍的切片扫描地图；

2)对全景的2倍下的切片扫描地图进行分析，区分出有组织的地方和没有组织的地方；

3)在有组织的地方均匀地选取6-20个点，记忆其x、y坐标；

4)全自动显微镜依次在扫描倍数下自动聚焦每个x、y坐标点，得到聚焦面的z位置，并记忆该点的x、y、z值；

5)用这些点的x、y、z值建立一个切片组织表面上的x、y、z的二阶的非线性数学模型。

3.如权利要求2所述的一种抗干扰的三维虚拟切片的制作方法，其特征在于所述建立一个切片组织表面上的x、y、z的二阶的非线性数学模型包括以下步骤：

建立方程z＝Ax²+By²+Cxy+Dx+Ey+F，其中，x、y、z分别表示任意一点的载物台坐标系x、y、z轴的坐标值，A、B、C、D、E、F为方程系数，把上述方程写为矩阵形式：Ax＝b，其中：

$\underset{\‾}{A}=\left|\begin{array}{cccccc}{x_1}^2& {y_1}^2& x_1{y}_1& x_1& y_1& 1\\ {x_2}^2& {y_2}^2& x_2{y}_2& x_2& y_2& 1\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ {x_n}^2& {y_n}^2& x_n{y}_n& x_n& y_n& 1\end{array}\right|,$ $x=\left|\begin{array}{c}A\\ B\\ C\\ D\\ E\\ F\end{array}\right|,$ $b=\left|\begin{array}{c}{z}_1\\ z_2\\ z_3\\ \·\·\·\\ \·\·\·\\ z_n\end{array}\right|,$

其中(x₁，y₁，z₁)，(x₂，y₂，z₂)，…，(x_n，y_n，z_n)为切片组织表面上记忆的n个x、y、z轴的坐标值，求方程组Ax＝b得到最小二乘解，x＝(A ^T A)^-1 A ^Tb。

4.如权利要求1所述的一种抗干扰的三维虚拟切片的制作方法，其特征在于所述步骤3)中的保存图像的步骤为：每一层图像保存若干比例的拷贝图像，将一比例图像分解为若干小图保存，同时保存一个索引数据对应每一个小图的位置，每一层图像分开保存，同时保存一个索引数据对应每一层图像保存的位置，同时对最清晰的一层和其他层的图做上位置的标记。

Images