CN103323939A - 数字切片实时扫描自动聚焦系统及方法 - Google Patents

Abstract

本发明公开了一种数字切片实时扫描自动聚焦系统及方法，系统包括光学显微装置、分光棱镜、聚焦控制器、位移控制器、第一成像装置以及第二成像装置；聚焦控制器调节两者使其具有共同视场；分光棱镜对来自共同视场的光路切分成第一光路和第二光路；第一成像装置接收第一光路并形成第一图像，第二成像装置接收第二光路并形成第二图像；位移控制器根据聚焦控制器根据上述当前视场的两个图像的聚焦因子分析结果预估下一个视场的聚焦面位置，控制载物台或物镜向下一个视场运动，以使载物台或物镜运动到下一个视场焦面位置。采用上述方案，对传统光学显微装置的兼容性好，不需要重复开发；并且，还可实现快速获取最佳聚焦面，所获得的聚焦面精确度高。

Description

数字切片实时扫描自动聚焦系统及方法

技术领域

本发明涉及一种数字切片实时扫描自动聚焦系统及自动聚焦方法。

背景技术

在用自动显微镜进行数字切片的扫描中，视场的聚焦是一个非常关键的指标，其聚焦效果直接影响图像成像的清晰度，从而也直接影响数字切片的扫描质量。

经典的显微镜自动聚焦采用在一个视场的不同z位置抓取若干幅图像，每幅图像来源于不同的z位置，再计算这若干幅不同z层面图像的纹理清晰度，也叫聚焦因子。计算聚焦因子的常规方法是采用图像边缘检测，边缘变化越大，其图像越锐化，因此聚焦因子越大。最大的聚焦因子对应的那幅图像的平面就是最佳聚焦平面。这种方法简单有效，能得到每个视场的最佳聚焦图像。但缺点是速度慢，因为每个视场要按一定步长移动z轴，每移动一步要抓取一幅图像，一般要抓取至少3幅图像，有时甚至需抓取6到10幅图像或更多。这种对每个视场采集多层图像计算最佳聚焦面的数字切片扫描方式在许多需要快速扫描得到数字切片的场合不被接受。

为提高扫描速度，一种比较普遍的数字切片扫描方法是采用事先根据切片表面的组织凸凹建立切片表面聚焦数学模型，在扫描中根据聚焦模型进行z轴聚焦平面的补偿，因此在每个视场只抓取一幅通过z轴聚焦补偿对应的z平面位置，而不再对每个视场进行多层图像抓取，如此可以极大地提升扫描速度。但这种方法的不足之处在于，每个视场的聚焦面补偿是根据事先建立的聚焦数学模型确定的，如果切片表面复杂，或扫描中机械振动等各种因素导致硬件环境的稍许变化，都会影响该数学模型与实际情况的匹配误差，导致估计的聚焦面出现误差，从而影响聚焦效果和抓取图像的清晰度，使扫描的数字切片质量降低。

发明内容

为解决现有技术中存在的技术问题，本发明提供了一种数字切片实时扫描自动聚焦系统及自动聚焦方法。该系统及方法可以快速获取视场的最佳聚焦面，并且适用于平整或复杂的切片表面；另外，不需要对同一视场进行多次扫描图像，每次扫描的速度快。

本发明解决上述技术问题，所采用的技术方案是：提供一种数字切片实时扫描自动聚焦系统，包括光学显微装置(10)，该光学显微装置(10)包括载物台(12)和物镜(14)，载物台(12)用于承载切片，物镜(14)用于放大切片，该自动聚焦系统还包括一分光棱镜(20)、一聚焦控制器(30)、一位移控制器(40)、第一成像装置(50)以及第二成像装置(60)；聚焦控制器(30)分别与第一成像装置(50)与第二成像装置(60)电连接并调节两者使其具有共同视场；分光棱镜(20)对来自共同视场的光路切分成第一光路和第二光路；第一成像装置(50)接收第一光路并形成第一图像，第二成像装置(60)接收第二光路并形成第二图像，聚焦控制器(30)根据第一图像、第二图像的聚焦因子进行对比分析；位移控制器(40)与聚焦控制器(30)电连接，该位移控制器(40)根据聚焦控制器(30)对上述当前视场的两个图像的聚焦因子分析结果预估下一个视场的聚焦面位置，控制载物台(12)或物镜(14)向下一个视场运动，以使载物台(12)或物镜(14)运动到下一个视场焦面位置。

作为本发明的优选方案，所述第一成像装置(50)与第二成像装置(60)的焦面位于物镜(14)的景深范围内。

作为本发明的优选方案，所述第一光路与第一成像装置(50)垂直；所述第二光路与第二成像装置(60)垂直。

作为本发明的优选方案，所述分光棱镜(20)与来自共同视场的光路成45度角设置，来自共同视场的光路经分光棱镜(20)反射出所述第一光路和第二光路。

作为本发明的优选方案，所述第一成像装置(50)与第二成像装置(60)的焦面差为0.5微米至5.0微米之间，所述物镜(14)移动的步长为0.25微米至2.50微米之间。

作为本发明的优选方案，所述第一成像装置(50)或第二成像装置(60)的内部设有CCD元件或CMOS元件。

本发明解决现有技术中存在的技术问题，还提供了一种数字切片实时扫描自动聚焦方法，该方法包括以下步骤，步骤A，初始系统，即，将切片放置于载物台(12)上，确定该切片需要进行扫描聚焦的区域；步骤B，调节系统，即，聚焦控制器(30)调节第一成像装置(50)、第二成像装置(60)以使该两个成像装置(50、60)具有共同视场；步骤C，光路成像，即，来自当前共同视场的光路经分光棱镜(20)切分后，分别在第一成像装置(50)形成第一图像，在第二成像装置(60)形成第二图像；步骤D，对比分析，即，聚焦控制器(30)对比分析第一图像及第二图像的聚焦因子以预估下一个视场的聚焦面位置，并根据该分析结果向位移控制器(40)发送指令；步骤E，移动对焦，即，位移控制器(40)根据聚焦控制器(30)的指令控制载物台(12)或物镜(14)向下一个视场移动，以使控制载物台(12)或物镜(14)向下一个视场的焦面位置对焦。

作为本发明所述自动聚焦方法的优选方案，进一步包括以下步骤：步骤F，当前共同视场是否是数字切片在该当前视场所在行的最后一个视场？如果不是，则进入步骤G，否则跳至步骤H；步骤G，行上平移，即，位移控制器(40)控制载物台(12)或物镜(14)在行上移动，使上述两个成像装置(50、60)向下一个视场移动，并转至步骤B；步骤H，当前共同视场是否是数字切片在该当前视场所在列的最后一个视场？如果是，则结束扫描，否则进入步骤I；步骤I，列上平移，即，位移控制器(40)控制载物台(12)或物镜(14)在列上移动，使上述两个成像装置(50、60)向下一个视场移动，并转至步骤B。

作为本发明所述自动聚焦方法的优选方案，所述步骤D进一步包括以下步骤：步骤D1，第一图像的聚焦因子F1大于第二图像的聚焦因子F2吗？如果是，聚焦控制器(30)向位移控制器(40)发送向第一成像装置(50)所在焦面位置方向移动的指令并结束，否则进入步骤D2；步骤D2，聚焦控制器(30)向位移控制器(40)发送向第二成像装置(60)所在焦面位置方向移动的指令并结束。

本发明的技术方案相对于现有技术取得的有益效果是：

(1)本发明所述的数字切片实时扫描自动聚焦系统，基于传统的光学显微装置(如显微镜)，并在该光学显微镜上配置光学分光装置、聚焦控制器、位移控制器、第一成像装置以及第二成像装置，对传统光学显微装置的兼容性好，不需要重复开发，从而节约成本；并且，还可实现快速获取最佳聚焦面。

(2)通过聚焦控制器对第一图像及第二图像的聚焦因子进行对比分析，其算法简单，不需要进行复杂的运算，是本发明所述的自动聚焦系统能快速确定最佳聚焦面的因素之一。

(3)两个成像装置完成对当前视场的聚焦因子的分析计算后，并根据该分析结果以预估出下一个视场聚焦面所在的位置，可以快速获取最佳聚焦面，而无需每次进入下一个视场时对两个成像装置进行初始复位。

(4)第一光路与第一成像装置垂直，第二光路与第二成像装置垂直，省去了由于倾斜角度的存在而对角度的复杂运算，进一步提高了最佳聚焦面的运算速度。

(5)本发明所述的第一成像装置、第二成像装置之间的焦面差值以物镜的倍率进行预先设定，如20X物镜，则相邻两个焦面的焦面距离则为1微米，并且物镜移动的步长则为0.5微米；上述焦面差、物镜移动步长以相关联的方式进行预先设定，可以简化运算方式，进一步提高运算速度。

(6)本发明所述的数字切片实时扫描自动聚焦方法，是采用上述数字切片实时扫描自动聚焦系统进行操作，因此数字切片实时扫描自动聚焦系统相对于现有技术的有益效果，同样适用于自动聚焦方法。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明所述的数字切片实时扫描自动聚焦系统示意图；

图2是本发明所述的数字切片实时扫描自动聚焦方法流程图；

图3是本发明所述的数字切片实时扫描自动聚焦方法另一流程图；

图4是20X物镜的聚焦因子-距离的聚焦曲线图；

图5是40X物镜的聚焦因子-距离的聚焦曲线图；

图6A是本发明所述的两个成像装置焦面位置的示意图一；

图6B是本发明所述的两个成像装置焦面位置的示意图二；

图6C是本发明所述的两个成像装置焦面位置的示意图三；

图6D是本发明所述的两个成像装置焦面位置的示意图四。

在图6A至图6D中，

“◇”表示第一成像装置焦面位置；

“△”表示第二成像装置焦面位置；

表示初始自动聚焦的聚焦面曲线示意图；

“——”表示景深分割线；

“↑”表示当前视场沿Z轴向上移动；

“↓”表示当前视场沿Z轴向下移动。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

为了能清楚说明本发明的技术方案，下面对专业术语进行解释：

视场：指成像装置能够观察到的最大范围，通常以角度来表示；视场越大，观测范围越大。

共同视场：指多个成像装置同时可以观察到的视场范围。

景深：指在成像装置前沿着能够取得清晰图像的成像景深相机轴线所测定的物体距离范围；在聚焦完成后，在聚焦面前后的范围内都能形成清晰的像，这一前一后的距离范围，便叫做景深。

如图1所示，本发明所述的数字切片实时扫描自动聚焦系统，包括光学显微装置10、分光棱镜20、聚焦控制器30、位移控制器40、第一成像装置50以及第二成像装置60；光学显微装置10包括载物台12和物镜14，载物台12用于承载切片S，物镜14用于放大切片S，切片S设置于载物台12上，位于载物台12下方的光源11经过聚光棱镜13的聚光作用，在光学显微装置10上形成了光路S。载物台12可以沿X轴方向(纸面的横向)与Y轴方向(垂直于纸面方向)移动，物镜14可以沿Z轴方向移动(纸面的纵向)，而载物台12与物镜14的移动受移动控制器40的控制。

如图1所示，聚焦控制器30分别与第一成像装置50、第二成像装置60电连接，并且调节第一成像装置50与第二成像装置60使其具有共同视场，并且上述两个成像装置50、60的焦面可以位于物镜14的景深范围内或接近景深范围内，上述每个成像装置50或60按一定的焦面差进行设置，移动每个视场时，上述两个成像装置同时对当前视场进行成像，因此可以得到同一视场但清晰度不同的纹理图像。对于第一成像装置50与第二成像装置60，既可以是相同参数的成像装置，也可以是不同参数的成像装置；既可以是彩色成像装置，也可以是单独的灰度成像装置；既可以是相同分辨率的成像装置，也可以是不同分辨率的成像装置(其分辨率通过空间校正得到对应关系)，本发明并不限制。另外，第一成像装置50或第二成像装置60的内部设有CCD元件或CMOS元件。

如图1所示，分光棱镜20对来自共同视场的光路S切分成第一光路S1和第二光路S2；第一成像装置50接收第一光路S1并形成第一图像，第二成像装置60接收第二光路S2并形成第二图像，聚焦控制器30根据第一图像、第二图像聚焦因子进行对比分析，位移控制器40与聚焦控制器50电连接，该位移控制器40根据聚焦控制器50对上述两个图像的聚焦因子对比分析结果以预估下一个视场的聚焦面位置，控制载物台12或物镜14向下一个视场运动，以使载物台12或物镜14运动到下一个视场焦面位置。也即是，第一图像的聚焦因子F1大于第二图像的聚焦因子F2时，聚焦控制器30向位移控制器40发送向第一成像装置50所在焦面位置方向移动指令；第一图像的聚焦因子F1小于第二图像的聚焦因子F2时，聚焦控制器30向位移控制器40发送向第二成像装置60所在焦面位置方向移动的指令。

采用上述技术方案，本发明所述的实时扫描自动聚焦系统对传统光学显微装置的兼容性好，不需要重复开发，从而节约成本；并且，还可实现快速获取最佳聚焦面。当两个成像装置50、60完成当前视场的聚焦后，并据以预估出下一个视场聚焦面所在位置，位移控制器40将两个成像装置50、60平移至下一个视场，可以快速获取最佳聚焦面的效果，而无需每次进入下一个视场时对两个成像装置50、60进行初始复位。

如图1所示，第一光路S1与第一成像装置50垂直，第二光路S2与第二成像装置60垂直，也即是第一光路S1与第一成像装置50之间的夹角β为90度角，第二光路S2与第二成像装置60之间的夹角β为90度角。相对于其他的倾斜角度，省去了由于倾斜角度的存在而对角度的复杂运算，进一步提高了获取最佳聚焦面的运算速度。作为优选方案，来自共同视场的光路S经分光棱镜20反射出第一光路S1和第二光路S2，分光棱镜20与来自共同视场的光路S成45度角设置，也即是图中所示的α角为45度。

如图4所示，20X物镜的聚焦曲线示意图，A线与B线之间为景深距离约在3微米左右。如图5所示，40X物镜的聚焦曲线示意图，A线与B线之间为景深距离约在2微米左右。物镜的倍率越高，景深距离越短，因此在一合理的范围内进行取值。作为优选方案，第一成像装置50与第二成像装置60的焦面差为0.5微米至5.0微米之间，第一成像装置50与第二成像装置60的相对位置可以是第一成像装置50位于第二成像装置60上方，也可以是第一成像装置50位于第二成像装置60下方；而物镜14移动的步长为0.25微米至2.50微米之间。

如图2所示，本发明解决现有技术中存在的技术问题，还提供了一种数字切片实时扫描自动聚焦方法，该方法包括以下步骤：

步骤A，对系统进行初始化。即，将切片S放置于载物台12上，确定该切片S需要进行扫描聚焦的区域。在这一过程中，第一成像装置50和第二成像装置60进行比例校正、空间校正、区域配准、相互之间的Z轴位置偏移校准等，从而确定需要进行扫描聚焦的区域。

步骤B，对系统进行调节。即，聚焦控制器30调节第一成像装置50、第二成像装置60以使两个成像装置50、60具有共同视场，并且该两个成像装置50、60的焦面可以位于共同视场的景深范围内或接近景深范围内，从而使第一成像装置50、第二成像装置60可以对同一视场进行成像。

步骤C，光路形成图像。即，来自当前共同视场的光路S经分光棱镜20切分后，分别在第一成像装置50形成第一图像，在第二成像装置60形成第二图像。

步骤D，对比分析。即，聚焦控制器30对比第一图像及第二图像的聚焦因子以预估下一个视场的聚焦面位置，并根据该分析结果向位移控制器40发送指令。

步骤E，移动对焦。即，位移控制器40根据聚焦控制器30的指令，控制载物台12或物镜(14)向下一个视场移动，以使载物台12或物镜14向下一个视场的焦面位置对焦。

经步骤A至步骤E，完成了对一个共同视场下的切片S的扫描。对于步骤D还可以进一步包括以下步骤：

步骤D1，第一图像的聚焦因子F1大于第二图像的聚焦因子F2吗？如果是，聚焦控制器30向位移控制器40发送向第一成像装置50所在焦面位置方向移动的指令并结束，此时可以取第一图像的聚焦因子F1作为下一个视场聚焦因子；否则进入步骤D2；

如图6A、图6B所示，第一图像的聚焦因子F1大于第二图像的聚焦因子F2有两种情况：其一，第一成像装置50的聚焦面位于最佳景深线的下方，第二成像装置60的取焦面位于最佳景深线的下方(图6A所示)；其二，第一成像装置50的聚焦面位于最佳景深线的上方，第二成像装置60的取焦面位于最佳景深线的下方(图6B所示)。

因此，对于图6B所示的情况，第一图像的聚焦因子F1大于第二图像的聚焦因子F2，会导致z轴调节向聚焦面反方向移动，但由于这是微调节，调节后也能保证在物镜的景深范围之内，保证图像聚焦清楚。这种调节不会持续，因为第二成像装置60的聚焦因子会因微调节而提升，达到超过第一成像装置50的聚焦因子，因而将使z轴调节再次向下调节，将z轴调节方向又拉回来到聚焦面的方向。正是通过此动态微调节的方式，使z轴调节后的图像始终会在聚焦景深范围内，达到动态自动聚焦跟踪的目的。

步骤D2，聚焦控制器30向位移控制器40发送向第二成像装置60所在焦面位置方向移动的指令并结束，此时，可以将第二图像的聚焦因子F2当作下一个视场的聚焦因子。

如图6C、图6D所示，第一图像的聚焦因子F1不大于第二图像的聚焦因子F2有两种情况：其一，第一成像装置50的聚焦面位于最佳景深线的上方，第二成像装置60的取焦面位于最佳景深线的下方(图6C所示)；其二，第一成像装置50的聚焦面位于最佳景深线的上方，第二成像装置60的取焦面位于最佳景深线的上方(图6D所示)。

同理，对于图6C所示的情况，第一图像的聚焦因子F1不大于第二图像的聚焦因子F2，会导致z轴调节向聚焦面反方向移动，但由于这是微调节，调节后也能保证在物镜的景深范围之内，保证图像聚焦清楚。这种调节不会持续，因为第一成像装置50的聚焦因子会因微调节而提升，达到超过第二成像装置60的聚焦因子，因而将使z轴调节再次向下调节，将z轴调节方向又拉回来到聚焦面的方向。正是通过此动态微调节的方式，使z轴调节后的图像始终会在聚焦景深范围内，达到动态自动聚焦跟踪的目的。

综上所述，当切片S较为均匀且平整地放置在载物台13上时，对下一视场的聚焦面位置实质上已在其前一个视场得到了准确预测，从而大大提高了实时扫描自动聚焦的效率。

如图3所示，由于切片S上可以有多行多列的视场，由于在完成对某一视场的扫描后，需要对下一个视场进行扫描。因此，本发明所述的数字切片实时扫描自动聚焦方法在完成步骤A至步骤E后，进一步包括以下步骤：

步骤F，当前共同视场是否是数字切片S在该当前视场所在行的最后一个视场？如果不是，则进入步骤G，否则跳至步骤H；

步骤G，行上平移，即，位移控制器40控制载物台12或物镜14在行上移动，使上述两个成像装置向当前共同视场所在行的下一个共同视场移动，并转至步骤B；

步骤H，当前共同视场是否是数字切片S在该当前视场所在列的最后一个视场？如果是，则结束扫描，否则进入步骤I；

步骤I，列上平移，即，位移控制器40控制载物台12或物镜14在列上移动，使上述两个成像装置向当前共同视场所在列的下一列共同视场移动，并转至步骤B。

上述说明示出并描述了本发明的优选实施例，如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (9)

1.数字切片实时扫描自动聚焦系统，包括光学显微装置(10)，该光学显微装置(10)包括载物台(12)和物镜(14)，载物台(12)用于承载切片，物镜(14)用于放大切片，其特征在于，该自动聚焦系统还包括一分光棱镜(20)、一聚焦控制器(30)、一位移控制器(40)、第一成像装置(50)以及第二成像装置(60)；

聚焦控制器(30)分别与第一成像装置(50)与第二成像装置(60)电连接并调节两者使其具有共同视场；

分光棱镜(20)对来自共同视场的光路切分成第一光路和第二光路；

第一成像装置(50)接收第一光路并形成第一图像，第二成像装置(60)接收第二光路并形成第二图像，聚焦控制器(30)根据第一图像、第二图像的聚焦因子进行对比分析；

位移控制器(40)与聚焦控制器(30)电连接，该位移控制器(40)根据聚焦控制器(30)对上述当前视场的两个图像的聚焦因子分析结果预估下一个视场的聚焦面位置，控制载物台(12)或物镜(14)向下一个视场运动，以使载物台(12)或物镜(14)运动到下一个视场焦面位置。

2.根据权利要求1所述的数字切片实时扫描自动聚焦系统，其特征在于，所述第一成像装置(50)与第二成像装置(60)的焦面位于物镜(14)的景深范围内。

3.根据权利要求1所述的数字切片实时扫描自动聚焦系统，其特征在于，所述第一光路与第一成像装置(50)垂直；所述第二光路与第二成像装置(60)垂直。

4.根据权利要求1所述的数字切片实时扫描自动聚焦系统，其特征在于，所述分光棱镜(20)与来自共同视场的光路成45度角设置，来自共同视场的光路经分光棱镜(20)反射出所述第一光路和第二光路。

5.根据权利要求1所述的数字切片实时扫描自动聚焦系统，其特征在于，所述第一成像装置(50)与第二成像装置(60)的焦面差为0.5微米至5.0微米之间，所述物镜(14)移动的步长为0.25微米至2.50微米之间。

6.根据权利要求1所述的数字切片实时扫描自动聚焦系统，其特征在于，所述第一成像装置(50)或第二成像装置(60)的内部设有CCD元件或CMOS元件。

7.一种采用如权利要求1所述的自动聚焦系统实现的数字切片实时扫描自动聚焦方法，其特征在于，包括以下步骤，

步骤A，初始系统，即，将切片放置于载物台(12)上，确定该切片需要进行扫描聚焦的区域；

步骤B，调节系统，即，聚焦控制器(30)调节第一成像装置(50)、第二成像装置(60)以使该两个成像装置(50、60)具有共同视场；

步骤C，光路成像，即，来自当前共同视场的光路经分光棱镜(20)切分后，分别在第一成像装置(50)形成第一图像，在第二成像装置(60)形成第二图像；

步骤D，对比分析，即，聚焦控制器(30)对比分析第一图像及第二图像的聚焦因子以预估下一个视场的聚焦面位置，并根据该分析结果向位移控制器(40)发送指令；

步骤E，移动对焦，即，位移控制器(40)根据聚焦控制器(30)的指令控制载物台(12)或物镜(14)向下一个视场移动，以使控制载物台(12)或物镜(14)向下一个视场的焦面位置对焦。

8.根据权利要求7所述的数字切片实时扫描自动聚焦方法，其特征在于，进一步包括以下步骤：

步骤F，当前共同视场是否是切片在该当前视场所在行的最后一个视场？如果不是，则进入步骤G，否则跳至步骤H；

步骤G，行上平移，即，位移控制器(40)控制载物台(12)或物镜(14)在行上移动，使上述两个成像装置(50、60)向下一个视场移动，并转至步骤B；

步骤H，当前共同视场是否是切片在该当前视场所在列的最后一个视场？如果是，则结束扫描，否则进入步骤I；

步骤I，列上平移，即，位移控制器(40)控制载物台(12)或物镜(14)在列上移动，使上述两个成像装置(50、60)向下一个视场移动，并转至步骤B。

9.根据权利要求7所述的数字切片实时扫描自动聚焦方法，其特征在于，所述步骤D进一步包括以下步骤：

步骤D1，第一图像的聚焦因子F1大于第二图像的聚焦因子F2吗？如果是，聚焦控制器(30)向位移控制器(40)发送向第一成像装置(50)所在焦面位置方向移动的指令并结束，否则进入步骤D2；

步骤D2，聚焦控制器(30)向位移控制器(40)发送向第二成像装置(60)所在焦面位置方向移动的指令并结束。

Images