CN112505910B - 用显微镜拍摄试样图像的方法、系统、设备及介质 - Google Patents

Abstract

本申请涉及一种用显微镜拍摄试样图像的方法，包括，生成控制命令并发送给显微镜，以控制显微镜的物镜扫描成像区域至一成像子区，并执行：使显微镜的物镜以参考高度为基准相对于试样上下移动，其中，参考高度为扫描上一成像子区时记录的拍摄的多个图像中清晰度满足要求的图像所对应的物镜高度；在上下移动过程中对试样在成像子区中的部分拍摄多个图像；接收显微镜拍摄的多个图像，记录拍摄的多个图像中清晰度满足要求的图像所对应的物镜高度作为待扫描的下一成像子区的参考高度。本申请能够在快速拍摄的同时得到更多的试样信息。此外本申请还提供了一种数字显微镜系统、设备及介质。

Description

用显微镜拍摄试样图像的方法、系统、设备及介质

技术领域

本申请涉及一种用显微镜拍摄试样图像的方法、系统、设备及介质，属于显微成像领域。

背景技术

随着计算机视觉技术的发展，显微镜已成为现代科学技术中不可缺少的重要工具。目前，由于光学显微镜的景深限制，在拍摄试样时并不能得到丰富的细节信息，特别是在物体表面高低不同时，取任何一个焦距都难以得到全清晰的图像。在需要快速拍摄试样全图的情况下，更无法照顾到试样的各个细节。

发明内容

本申请的目的在于提供一种在显微镜快速拍摄时能够得到更多的试样信息的方案。

本申请的第一方面提供了一种控制显微镜拍摄试样图像的方法，包括，

生成控制命令并发送给显微镜，以控制显微镜的物镜扫描成像区域至一成像子区，其中，成像区域为显微镜的物镜对试样进行扫描的区域，成像子区是通过将成像区域划分得到的，并执行：使显微镜的物镜以参考高度为基准相对于试样上下移动，其中，参考高度为扫描上一成像子区时记录的拍摄的多个图像中清晰度满足要求的图像所对应的物镜高度；在上下移动过程中对试样在成像子区中的部分拍摄多个图像；接收显微镜拍摄的多个图像，记录拍摄的多个图像中清晰度满足要求的图像所对应的物镜高度作为待扫描的下一成像子区的参考高度。

在上述第一方面的一种可能实现中，控制命令还包括显微镜的物镜应扫描的成像子区的位置。

在上述第一方面的一种可能实现中，控制命令控制显微镜的载物台和/或显微镜的物镜水平移动，使显微镜的物镜扫描成像区域中的多个成像子区。

在上述第一方面的一种可能实现中，控制命令控制显微镜的载物台和/或显微镜的物镜上下移动，使显微镜的物镜相对于试样上下移动。

在上述第一方面的一种可能实现中，还包括：将对应于各个成像子区的清晰度在预设阈值以上的图像拼合成完整图像。

在上述第一方面的一种可能实现中，还包括：接收拍摄的试样的图像，从拍摄的每个成像子区的多个图像，以一个或多个像素点的清晰度为基准，进行各个成像子区的图像的拼合，并利用各个成像子区的图像形成完整图像。

在上述第一方面的一种可能实现中，以一个或多个像素的清晰度为基准，进行各个成像子区的图像的拼合，包括：拼合后的成像子区的图像中，各个像素点的清晰度是拍摄的每个成像子区的多个图像中，相同的位置上的各个像素点的清晰度中最高的。

在上述第一方面的一种可能实现中，拍摄的多个图像中清晰度满足要求的图像包括图像中感兴趣区域的清晰度满足要求的图像。

在上述第一方面的一种可能实现中，从拍摄的每个成像子区的多个图像中选择清晰度满足要求的图像时，采用无参考清晰度评估算法。

在上述第一方面的一种可能实现中，所扫描的第一个成像子区的参考高度通过以下方式得到：控制显微镜的物镜在第一个成像子区相对于试样上下移动，并在上下移动过程中对试样在第一个成像子区中的部分拍摄多个图像，将拍摄的第一个成像子区的多个图像中最清晰的图像所对应的物镜高度标记为参考高度。

与现有技术相比，本申请能够在快速拍摄的同时得到不同拍摄高度的图像，尽可能的保留更多信息，并且通过实时调整参考高度，防止拍摄的子区图像因偏离焦平面而模糊。

本申请的第二方面提供了一种数字显微镜系统，包括控制设备和显微镜，控制设备和显微镜之间建立通信连接，

控制设备，用于生成控制命令，发送给显微镜；

显微镜，用于接收控制命令，并使显微镜的物镜扫描成像区域至一成像子区，其中，成像区域为显微镜的物镜对试样进行扫描的区域，成像子区是通过将成像区域划分得到的，并执行：使显微镜的物镜以参考高度为基准相对于试样上下移动，其中，参考高度为扫描上一成像子区时记录的拍摄的多个图像中清晰度满足要求的图像所对应的物镜高度；在上下移动过程中对试样在成像子区中的部分拍摄多个图像；

控制设备，用于接收显微镜拍摄的多个图像，记录拍摄的多个图像中清晰度满足要求的图像所对应的物镜高度作为待扫描的下一成像子区的参考高度。

在上述第二方面的一种可能实现中，控制设备，还用于将对应于各个成像子区的清晰度满足要求的图像拼合成完整图像。

本申请的第三方面提供了一种用显微镜拍摄试样图像的方法，包括：

由显微镜的物镜，扫描成像区域中的多个成像子区，其中，成像区域为显微镜的物镜对试样进行扫描的区域，多个成像子区是通过将成像区域划分得到的；在显微镜的物镜扫描至多个成像子区中的一个成像子区时，使显微镜的物镜以参考高度为基准相对于试样上下移动，其中，参考高度为扫描上一成像子区时记录的拍摄的多个图像中清晰度满足要求的图像所对应的物镜高度；在上下移动过程中对试样在成像子区中的部分拍摄多个图像；保存并处理所拍摄的多个图像，或将所拍摄的多个图像发送到其他处理设备，以记录拍摄的多个图像中清晰度满足要求的图像所对应的物镜高度，作为待扫描的下一成像子区的参考高度。

在上述第三方面的一种可能实现中，显微镜的载物台和/或显微镜的物镜水平移动，使显微镜的物镜扫描成像区域中的多个成像子区。

在上述第三方面的一种可能实现中，显微镜的载物台和/或显微镜的物镜上下移动，使显微镜的物镜相对于试样上下移动。

本申请的第四方面提供了一种试样拍摄方法，分别在多种倍率下多次拍摄试样，其中至少一次拍摄可以采用前述第一方面或第一方面的任一实现方式提供的成像方法。

本申请的第五方面提供了一种设备，该设备包括处理器、存储器，处理器与存储器建立通信连接；处理器，用于读取存储器中的程序，以执行前述第一方面或第一方面的任一实现方式提供的方法。

本申请的第六方面提供了一种机器可读介质，该机器可读介质中存储了程序，该程序被电子设备运行时，电子设备执行前述第一方面或第一方面的任一实现方式提供的方法。

本申请的第七方面提供了一种机器可读介质，该机器可读介质中存储了程序，该程序被电子设备运行时，机器执行以下操作：

生成控制命令并发送给显微镜，以控制显微镜的物镜扫描成像区域至一成像子区，其中，成像区域为显微镜的物镜对试样进行扫描的区域，成像子区是通过将成像区域划分得到的，并执行：

使显微镜的物镜以参考高度为基准相对于试样上下移动，其中，参考高度为扫描上一成像子区时记录的拍摄的多个图像中清晰度满足要求的图像所对应的物镜高度；

在上下移动过程中对试样在成像子区中的部分拍摄多个图像；

接收显微镜拍摄的多个图像，记录拍摄的多个图像中清晰度满足要求的图像所对应的物镜高度作为待扫描的下一成像子区的参考高度。

本申请的第八方面提供了一种设备，该设备包括处理器、存储器，处理器与存储器建立通信连接；处理器，用于读取存储器中的程序，以执行：

生成控制命令并发送给显微镜，以控制显微镜的物镜扫描成像区域至一成像子区，其中，成像区域为显微镜的物镜对试样进行扫描的区域，成像子区是通过将成像区域划分得到的，并执行：

使显微镜的物镜以参考高度为基准相对于试样上下移动，其中，参考高度为扫描上一成像子区时记录的拍摄的多个图像中清晰度满足要求的图像所对应的物镜高度；

在上下移动过程中对试样在成像子区中的部分拍摄多个图像；

接收显微镜拍摄的多个图像，记录拍摄的多个图像中清晰度满足要求的图像所对应的物镜高度作为待扫描的下一成像子区的参考高度。

本申请显著提高了显微镜在拍摄图像序列时的成像清晰度，特别是在物体表面高低不同时，能够在快速批量扫描的同时充分照顾到试样的各个细节，使得通过显微镜所获得的整体图像更为清晰。

附图说明

图1是根据本申请的实施例的用显微镜拍摄试样图像的方法的流程图。

图2是根据本申请的实施例的数字显微镜系统的架构示意图。

图3是根据本申请的实施例的电子设备的硬件装置示意图。

具体实施方式

下面结合具体实施例和附图对本申请做进一步说明。可以理解的是，此处描述的具体实施例仅仅是为了解释本申请，而非对本申请的限定。此外，为了便于描述，附图中仅示出了与本申请相关的部分而非全部的结构或过程。

另外，在以下的说明中所使用的“上”、“下”、“左”、“右”等等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

应注意的是，在本说明书中，相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

术语“试样”涵盖临床样品，例如包括培养的细胞、细胞上清液、细胞溶解产物、血清、血浆、生物流体、和组织样品等，还涵盖各种精密器件，例如光学晶体、半导体器件、精密机械器件等。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。

在显微镜对试样进行扫描成像的过程中，通常在调制焦距找到清晰的图像后，批量扫描，拼合后得到完整图像，或者，为了得到更为清晰的图像，每次都对不同位置的试样图像分别调制焦距而后分别成像，再拼合成完整图像。前者在物体表面高低不同时，难以得到全清晰的图像，而后者则会在调制焦距上耗费大量的时间，导致采集时间很长，工作效率较低。

本申请致力于提供一种在对试样进行快速扫描成像的同时能够得到更多的试样信息的成像方案。如图2所示，根据本申请的一个实施例，提供一种数字显微镜系统，该系统中包括控制设备10和显微镜20，二者之间建立通信连接，控制设备10可以向显微镜20发送各种控制命令，以控制显微镜20执行各种操作，而显微镜20可以向控制设备10反馈信息。

其中，显微镜20包括高精度载物台和可在z方向上竖直移动或x、y、z三个方向均可移动的成像系统。在一个示例中，载物台可在x、y方向上平移，在另一示例中，载物台为多向运动台，可在包括x、y平移方向上的多个方向上进行运动，例如，旋转运动、平移运动、俯仰运动和滚转运动等。成像系统对放置在载物台上的一个或多个试样进行成像。成像系统包括诸如电荷耦合器件(CCD)的图像传感器、自动对焦系统、和多个显微镜组件，每个显微镜组件可以具有不同的光学分辨率和分辨率范围，可选地，显微镜组件的放大倍率为1倍至20倍可调。作为一个示例，显微镜组件可以包括各种物镜，例如，具有2倍、5倍、10倍、15倍等放大倍率的无限远校准类型，这些物镜可以互换，也可以按照需要替换其他物镜或添加更多的物镜。作为另一个示例，成像系统还可以包括超/广角成像组件，该成像组件装备小型图像传感器和广角镜头，具有比显微镜组件更大的成像区域，可实现对大部分或全部的载物台进行成像的功能。显微镜20根据控制设备10输出的命令移动载物台和/或物镜。现有的CCD传感器根据分辨率的不同具有数百万至数亿的感光单元(像素)，对于一般的传感器，典型的像素大小一般在5微米×5微米左右。在光学系统中，物镜的不同放大倍率可以标定在图像中的像素的大小，例如，在1倍至20倍的倍率下，像素的大小可以表示为约5微米/1X至5微米/20X，即，标定系数为5微米至250纳米，例如，放大倍率为2时，像素大小的标定系数为2.5微米，放大倍率为10时，像素大小的标定系数为500纳米。可选地，载物台可以是在x、y方向上行程范围为800mm的电动高精度位移台。

控制设备10中可以包括试样成像装置，具体包括：成像子区划分模块101、控制命令生成模块102和图像保存模块103。其中，成像子区划分模块101可以被配置为将显微镜20的可成像区域按照水平坐标划分为多个成像子区，其中，成像区域指的是显微镜的物镜水平方向上扫描的范围。控制命令生成模块102被配置为生成第一控制命令、第二控制命令和拍摄控制命令，控制设备10可以将这些命令发送给显微镜20，以控制显微镜20的动作。其中第一控制命令用于控制显微镜20的物镜从预设的第一个成像子区开始，以预设的方向遍历所有成像子区；第二控制命令用于控制显微镜20的物镜在每个成像子区上方，以预设的参考高度为中心上下移动；而拍摄控制命令用于控制显微镜20的相机在物镜上下移动的同时拍摄多张试样的图像。图像保存模块103被配置为保存针对每个成像子区拍摄的所述多张试样的图像。

在一种实施方式中，该成像装置还可以包括图像选择模块104和图像合成模块105。其中，图像选择模块104被配置为对于每个成像子区，从拍摄的多个图像中选择清晰度满足要求的图像。图像合成模块105被配置为将选择的各个成像子区的清晰度满足要求的图像按照水平坐标合成为完整图像。

下面结合图1详细说明利用上述系统进行试样成像的方法。根据本申请的一个实施例，用显微镜拍摄试样图像的方法可以包括：

步骤S101，控制设备将显微镜的可成像区域按照水平坐标划分为多个成像子区，一般来说，在不同放大倍率下，划分的成像子区数量不同，拍摄越精细，倍率越高，则划分的拍摄子区越多，拍摄时间也会越长。根据本申请的一些实施例，该步骤可以省略，或者，也可以其他设备来执行。

具体而言，根据图像传感器的规格，可成像区域一般为多边形区域，成像子区的形状和尺寸可根据需要任意设置，例如，正方形、矩形等。此外，根据上述的标定系数可知可成像区域在不同放大倍率下的大小。例如，以正方形成像区域为例，当成像系统通过广角镜头或物镜实时对载物台进行成像时，成像区域中的一个成像子区可以实时显示在显示器中，该成像区域的尺寸是固定的，根据成像区域任意顶点的坐标和已知的标定系数，成像区域内任意点或像素的坐标都可基于顶点的坐标推算出来。

随后，步骤S102，控制设备生成第二控制命令和拍摄控制命令，发送给显微镜，以控制显微镜的物镜在每个成像子区上方，以参考高度Z₁为中心上下移动，并控制显微镜的相机在物镜上下移动的同时拍摄多张试样的图像并保存。通过这种方式，本申请能够在快速拍摄的同时得到不同拍摄高度的图像，从而尽可能的保留更多的试样信息。

在一些实施方式中，可以控制物镜在竖直方向不发生位移，而是使显微镜的载物台沿Z轴运动，同样可以使显微镜的物镜能够相对于载物台上的试样上下移动；或者，也可以同时移动物镜及载物台，使物镜相对成像区产生竖直方向的位移等。

其中，对于初始成像子区，参考高度可以预先设置，例如，可以通过以下方式设置：在控制所述显微镜的相机拍摄前，调整所述显微镜的物镜高度使得所述第一个成像子区的试样图像清晰，将对应的物镜高度标记为Z₁。随后，控制显微镜的Z轴使物镜以固定的运动步长在同一成像子区上下运动，同时拍摄多个图像。其中，拍摄步长与拍摄张数可以是默认项，也可以根据不同的试样特点来预先设置，若试样表面起伏较大，则可以将步长设置的较大，反之，则可以设置一个较小的步长。对于其他成像子区，可以实时记录拍摄上一成像子区时记录的清晰度满足要求的图像所对应的物镜高度Z₁，并将该高度作为当前像子区的参考高度。

由此，对于凹凸不平的试样表面，通过在每个子区上方的不同高度拍摄多个图像，可以有效避免在同一高度拍摄导致的不同子区间的清晰度差异，通过合理设置上下移动的步长，可以尽可能地保证不同子区都可以拍摄到清晰图像。

随后，步骤S103，对于每个成像子区，从拍摄的多个图像中选择清晰度满足要求的图像。例如，清晰度满足要求的图像可以是最清晰的图像，或者清晰度大于预设阈值的图像中的一张。

从上下移动拍摄的多个图像中选择清晰度满足要求的图像时，可以采用无参考清晰度评估算法。

例如，在一个实施例中，可以采用Brenner梯度函数来计算相邻两个像素灰度差的平方，得到清晰度D(f)：

D(f)＝∑_y∑_x|f(x+2，y)-f(x，y)|²

其中：f(x,y)表示图像f对应像素点(x,y)的灰度值。

或者，在另一个实施例中，可以采用Tenengrad梯度函数，利用采用Sobel算子分别提取水平和垂直方向的梯度值：

D(f)＝∑_y∑_x|G(x，y)| (G(x，y)＞T)

其中，G(x,y)的形式如下：

其中：T是给定的边缘检测阈值，Gx和Gy分别是像素点(x,y)处Sobel水平和垂直方向边缘检测算子的卷积，可以使用以下的Sobel算子模板来检测边缘：

或者，在另一实施例中，也可以利用SMD(灰度方差)函数，当完全聚焦时，图像最清晰，图像中的高频分量也最多，故可将灰度变化作为聚焦评价的依据，灰度方差法的公式如下：

D(f)＝∑_y∑_x(|f(x，y)-f(x，y-1)|+|f(x，y)-f(x+1，y)|)

以上清晰度评估算法仅仅是举例说明，并不作为对本申请的限制，在不同实施例中，可以采用各种已有或将来会有的算法来得到清晰度满足要求的图像。

随后，步骤S104，可以实时记录拍摄当前成像子区时记录的清晰度满足要求的图像所对应的物镜高度Z₁，并将该高度作为下一成像子区的参考高度。

随后，步骤S104，控制显微镜的物镜扫描成像区域至下一成像子区。根据本申请的一些实施例，可以以预设的方向移动物镜以遍历所有成像子区。例如，在一种实施方式中，可以以可成像区域的左上角作为坐标0点，将最左上角的子区作为第一个成像子区，随后控制显微镜的物镜按照从左到右，从上到下的方向依次扫描所有子区；或者，在一些实施方式中，也可以以可成像区域的中心点作为坐标0点，将中心点所在的子区作为第一个子区，控制物镜水平移动，使显微镜的物镜可以沿预设方向依次向外扫描过所有子区等。

在一些实施方式中，也可以控制物镜在水平方向不发生位移，而是使显微镜的载物台沿X轴、Y轴运动，同样可以使显微镜的物镜能够依次扫过所有子区；或者，也可以同时移动物镜及载物台，使物镜相对成像区产生水平位移等。在本申请中，并不对上述物镜相对于载物台的水平位移的具体的方向、第一个位置或者位移物等做出具体限制。换句话说，无论物镜相对于载物台的进行怎样的方式的水平位移，都适用于本申请所说明的成像的过程。

随后，步骤S105，控制显微镜的物镜以Z₁为基准相对于试样上下移动，并拍摄多张照片。

随后，步骤S107，判断当前子区是否是最后一个成像子区。

若步骤S107判断为否，则重复步骤S103-S106，这样，参考高度Z₁可以随着试样表面实时调整，尤其是在出现连续缓坡时，Z₁能够随着坡度实时改变，使得可以尽可能的保证拍摄到清晰的图像。

若步骤S107判断为是，则进入步骤S108，将选择的各个成像子区的清晰度满足要求的图像按照水平坐标合成为完整图像，从而得到完整的清晰试样全图。在不同实施例中，每个成像子区的清晰度满足要求的图像可能有多个，此时，可以根据不同需求来挑选一张用于合成完整图像，例如，随机选一张，或者选最清晰的一张。

根据本申请的另一个实施例，在步骤S108中，与以上实施例介绍的以各个成像子区为基准，用于选择适合于最终的图像拼合的对象，以进行用于合成图像的拼合的手段不同，还可以以成像子区中的一个像素或若干个像素为基准，用于选择适合于最终的图像拼合的对象。以下以一个像素为单位作为实例进行说明。

对于一张由多个成像子区构成的成像区域，每个成像子区最后会获得多张成像子区的图像，各张成像子区的图像分别对应不同的成像高度，即物镜与载物台之间的高度。以成像子区中的一个像素或若干个像素为基准，用于选择适合于最终的图像拼合的对象是指，在所获得这多张成像子区的图像中，对于同样位置的一个像素的像素点，选择这多张成像子区的图像中最清晰的一个像素。以此类推，遍历这多张成像子区的图像中的全部像素，最后拼合得到一张最终的成像子区的图像，其中所包括的各个像素点的清晰度是所有的多张成像子区的图像中相同位置处的各相应像素点中最高的。

具体而言，假设对于成像子区a，获得a1至a5共计五张成像子区a的图像A1～A5。对于每张图像(A1～A5)共有500*500个像素。从图像A1的左上角第一个像素开始，确定该像素点的清晰度。并且，确认其他4张图像中左上角第一个像素的清晰度。从中选择清晰度最高的像素点，作为拼合最终的成像子区a的图像Ax的对象点。此后，用同样的方法，以逐行或逐列方式对所有的其他像素点进行同样的操作，最后获得500*500个最终挑选出的像素点，拼合成最后的图像Ax。对于每个成像子区获得的最终图像，再依序拼合成最终的成像区域的图像。

当然，以“一个像素”为基准进行用于拼合的图像的选择只是示例性说明。为了节省计算量，可以以多个像素，例如4个、9个等数量的相邻像素阵列作为基准。也可以以选定像素范围内(例如ROI区域)的各个像素为基准。

根据本申请的一些实施例，通过以参考高度Z₁为中心上下移动，在面对试样的凹凸不平表面时，可以在不论是高点还是低点都尽可能的保证能够采集到清晰的图像。尤其是在试样表面可能具有较大面积的斜坡时，此时，通过使物镜的高度随着拍摄过程实时调整，可以有效防止参考高度逐渐偏离焦平面而导致上下移动拍摄的图像无法满足清晰度要求。

在以上描述中，一些示例性实施例参考流程图描绘对相关处理或方法进行了详细说明。虽然在流程图将各项操作描述成顺序的处理，但是，其中的许多操作可以被并行地、并发地或者同时实施，此外，各项操作的顺序也可以被重新安排，以与示出的顺序不同的其他顺序来执行上述方法。此外，在不同实施方式中，还可以具有未包括在附图中的其他附加步骤。例如，在一种试样拍摄方法中，可以分别在多种倍率下多次拍摄试样，以得到不同精细程度的图像，其中可以至少有一次拍摄采用如图1所示的成像方法。

与现有技术相比，本申请能够在快速批量扫描的同时充分照顾到试样的各个细节，使得通过显微镜所获得的整体图像更为清晰。

此外，试样中可能只有部分区域是值得关注的重点，具体到每个子区，也可能只会对某些特定区域更感兴趣，例如某些颜色、形状、纹理等特征区域，而对于其他区域不太重视，此时，如果对照整个子区选择清晰度满足要求的图像，那么得到的图像中的感兴趣的区域可能并不是最佳效果。因此，在一些实施例中，在图像中存在感兴趣区域(region ofinterest，简称ROI)时，在从上下移动过程中拍摄的多个图像中选择清晰图像时，可以先确定多个图像中每一张图像中的感兴趣区域，随后根据多个感兴趣区域的清晰度，选择出所述感兴趣区域的清晰度满足要求的图像，并将ROI清晰度满足要求的图像保存下来用于合成完整图像。

以上第一控制命令、第二控制命令及拍摄控制命令仅仅是为了区分控制设备控制显微镜进行的各种操作，在一些情况下，这三个命令也可以理解为一个控制命令，包括多个移动参数，分别控制显微镜的物镜执行相应的遍历成像子区、上下移动和拍摄等操作。此外，虽然在这里使用了词语“第一”、“第二”等来描述特征，但是这些特征不应当受这些词语的限制。使用这些词语仅仅是为了将一个特征与另一个特征进行区分，词语第一、第二等的使用不表示任何顺序。

根据本申请的另一个实施例，如图3所示，还提供了一种电子设备30，包括处理器301和存储器302，处理器301和存储器302建立通信连接，存储器302中存储有计算机程序命令，在该计算机程序命令被处理器301运行时，使得处理器301执行图1中所示的用显微镜拍摄试样图像的方法。

进一步地，如图3所示，电子设备还包括网络接口303、输入设备304、硬盘305、和显示设备306。

上述各个接口和设备之间可以通过总线架构互连。总线架构可以是可以包括任意数量的互联的总线和桥。具体由处理器301代表的一个或者多个中央处理器(CPU)，以及由存储器302代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。

所述网络接口303，可以连接至网络(如因特网、局域网等)，从网络中获取相关数据，并可以保存在硬盘305中。

所述输入设备304，可以接收操作人员输入的各种命令，并发送给处理器301以供执行。所述输入设备304可以包括键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。

所述显示设备306，可以将处理器301执行命令获得的结果进行显示。

所述存储器302，用于存储操作系统运行所必须的程序和数据，以及处理器301计算过程中的中间结果等数据。

可以理解，本申请实施例中的存储器302可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。本文描述的装置和方法的存储器302旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器302存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统3021和应用程序3014。

其中，操作系统3021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序3014，包含各种应用程序，例如浏览器(Browser)等，用于实现各种应用业务。实现本申请实施例方法的程序可以包含在应用程序3014中。

上述处理器301，当调用并执行存储器302中所存储的应用程序和数据，具体的，可以是应用程序3014中存储的程序或命令时，可以执行图1中所示的用显微镜拍摄试样图像的方法。

本申请上述实施例揭示的方法可以应用于处理器301中，或者由处理器301实现。处理器301可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器301中的硬件的集成逻辑电路或者软件形式的命令完成。上述的处理器301可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器302，处理器301读取存储器302中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

具体地，处理器301还用于读取所述计算机程序，执行如下步骤：

生成控制命令并发送给显微镜，以控制显微镜的物镜扫描成像区域至一成像子区，其中，成像区域为显微镜的物镜对试样进行扫描的区域，成像子区是通过将成像区域划分得到的，并执行：使显微镜的物镜以参考高度为基准相对于试样上下移动，其中，参考高度为扫描上一成像子区时记录的拍摄的多个图像中清晰度满足要求的图像所对应的物镜高度；在上下移动过程中对试样在成像子区中的部分拍摄多个图像；接收显微镜拍摄的多个图像，记录拍摄的多个图像中清晰度满足要求的图像所对应的物镜高度作为待扫描的下一成像子区的参考高度。

根据本申请的另一个实施例，还提供了一种机器可读介质，所述机器可读介质中存储了程序，该程序被电子设备运行时，所述电子设备执行图1中的成像方法。

在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

上面结合附图对本申请的实施例做了详细说明，但本申请技术方案的使用不仅仅局限于本专利实施例中提及的各种应用，各种结构和变型都可以参考本申请技术方案轻易地实施，以达到本文中提及的各种有益效果。在本领域普通技术人员所具备的知识范围内，在不脱离本申请宗旨的前提下做出的各种变化，均应归属于本申请专利涵盖范围。

Claims (18)

1.一种控制显微镜拍摄试样图像的方法，用于电子设备，所述电子设备与显微镜通信连接，其特征在于，包括：

生成控制命令并发送给所述显微镜，以控制所述显微镜的物镜扫描成像区域至一成像子区，其中，所述成像区域为所述显微镜的物镜对所述试样进行扫描的区域，所述成像子区是通过将所述成像区域划分得到的，并执行：

使所述显微镜的物镜以参考高度为基准相对于所述试样上下移动，其中，所述参考高度为扫描上一成像子区时记录的拍摄的多个图像中清晰度满足要求的图像所对应的物镜高度；

在所述上下移动过程中对所述试样在所述成像子区中的部分拍摄多个图像；

接收所述显微镜拍摄的多个图像，记录拍摄的多个图像中清晰度满足要求的图像所对应的物镜高度作为待扫描的下一成像子区的参考高度；

得到完整的清晰试样全图。

2.根据权利要求1所述的控制显微镜拍摄试样图像的方法，其特征在于，所述控制命令还包括所述显微镜的物镜应扫描的所述成像子区的位置。

3.根据权利要求1所述的控制显微镜拍摄试样图像的方法，其特征在于，所述控制命令控制所述显微镜的载物台和/或所述显微镜的物镜水平移动，使所述显微镜的物镜扫描所述成像区域中的多个成像子区。

4.根据权利要求1所述的控制显微镜拍摄试样图像的方法，其特征在于，所述控制命令控制所述显微镜的载物台和/或所述显微镜的物镜上下移动，使所述显微镜的物镜相对于所述试样上下移动。

5.根据权利要求1所述的控制显微镜拍摄试样图像的方法，其特征在于，还包括：

将对应于各个成像子区的清晰度在预设阈值以上的图像拼合成完整图像。

6.根据权利要求1所述的控制显微镜拍摄试样图像的方法，其特征在于，还包括：

接收拍摄的试样的图像，从拍摄的每个成像子区的多个图像，以一个或多个像素点的清晰度为基准，进行各个成像子区的图像的拼合，并利用各个成像子区的图像形成完整图像。

7.根据权利要求6所述的控制显微镜拍摄试样图像的方法，其特征在于，以一个或多个像素的清晰度为基准，进行各个成像子区的图像的拼合，包括：

拼合后的成像子区的图像中，各个像素点的清晰度是拍摄的每个成像子区的多个图像中，相同的位置上的各个像素点的清晰度中最高的。

8.根据权利要求1所述的控制显微镜拍摄试样图像的方法，其特征在于，拍摄的多个图像中清晰度满足要求的图像包括图像中感兴趣区域的清晰度满足要求的图像。

9.根据权利要求1所述的控制显微镜拍摄试样图像的方法，其特征在于，从拍摄的每个成像子区的多个图像中选择清晰度满足要求的图像时，采用无参考清晰度评估算法。

10.根据权利要求1所述的控制显微镜拍摄试样图像的方法，其特征在于，所扫描的第一个成像子区的参考高度通过以下方式得到：控制所述显微镜的物镜在所述第一个成像子区相对于所述试样上下移动，并在所述上下移动过程中对所述试样在所述第一个成像子区中的部分拍摄多个图像，将拍摄的第一个成像子区的多个图像中最清晰的图像所对应的物镜高度标记为参考高度。

11.一种控制显微镜拍摄试样图像的方法，其特征在于，分别在多种倍率下多次拍摄试样，其中至少一次拍摄采用如权利要求1-10中任意一项所述的方法。

12.一种数字显微镜系统，包括控制设备和显微镜，所述控制设备和所述显微镜之间建立通信连接，其特征在于，

所述控制设备，用于生成控制命令，发送给所述显微镜；

所述显微镜，用于接收所述控制命令，并使所述显微镜的物镜扫描成像区域至一成像子区，其中，所述成像区域为所述显微镜的物镜对试样进行扫描的区域，所述成像子区是通过将所述成像区域划分得到的，并执行：使所述显微镜的物镜以参考高度为基准相对于所述试样上下移动，其中，所述参考高度为扫描上一成像子区时记录的拍摄的多个图像中清晰度满足要求的图像所对应的物镜高度；在所述上下移动过程中对所述试样在所述成像子区中的部分拍摄多个图像；

所述控制设备，用于接收所述显微镜拍摄的多个图像，记录拍摄的多个图像中清晰度满足要求的图像所对应的物镜高度作为待扫描的下一成像子区的参考高度；

得到完整的清晰试样全图。

13.根据权利要求12所述的数字显微镜系统，其特征在于，

所述控制设备，还用于将对应于各个成像子区的清晰度满足要求的图像拼合成完整图像。

14.一种用显微镜拍摄试样图像的方法，其特征在于，包括：

由所述显微镜的物镜，扫描成像区域中的多个成像子区，其中，所述成像区域为所述显微镜的物镜对所述试样进行扫描的区域，所述多个成像子区是通过将所述成像区域划分得到的；

在所述显微镜的所述物镜扫描至所述多个成像子区中的一个成像子区时，使所述显微镜的物镜以参考高度为基准相对于所述试样上下移动，其中，所述参考高度为扫描上一成像子区时记录的拍摄的多个图像中清晰度满足要求的图像所对应的物镜高度；

在所述上下移动过程中对所述试样在所述成像子区中的部分拍摄多个图像；

保存并处理所拍摄的多个图像，或将所拍摄的多个图像发送到其他处理设备，以记录拍摄的多个图像中清晰度满足要求的图像所对应的物镜高度，作为待扫描的下一成像子区的参考高度；

得到完整的清晰试样全图。

15.根据权利要求14所述的用显微镜拍摄试样图像的方法，其特征在于，所述显微镜的载物台和/或所述显微镜的物镜水平移动，使所述显微镜的物镜扫描所述成像区域中的多个成像子区。

16.根据权利要求14所述的用显微镜拍摄试样图像的方法，其特征在于，所述显微镜的载物台和/或所述显微镜的物镜上下移动，使所述显微镜的物镜相对于所述试样上下移动。

17.一种机器可读介质，其特征在于，所述机器可读介质中存储了程序，该程序被机器运行时，所述机器执行以下操作：

生成控制命令并发送给显微镜，以控制所述显微镜的物镜扫描成像区域至一成像子区，其中，所述成像区域为所述显微镜的物镜对试样进行扫描的区域，所述成像子区是通过将所述成像区域划分得到的，并执行：

使所述显微镜的物镜以参考高度为基准相对于所述试样上下移动，其中，所述参考高度为扫描上一成像子区时记录的拍摄的多个图像中清晰度满足要求的图像所对应的物镜高度；

在所述上下移动过程中对所述试样在所述成像子区中的部分拍摄多个图像；

接收所述显微镜拍摄的多个图像，记录拍摄的多个图像中清晰度满足要求的图像所对应的物镜高度作为待扫描的下一成像子区的参考高度；

得到完整的清晰试样全图。

18.一种电子设备，其特征在于，包括处理器、存储器，所述处理器与所述存储器建立通信连接；

所述处理器，用于读取所述存储器中的程序，以执行：

生成控制命令并发送给显微镜，以控制所述显微镜的物镜扫描成像区域至一成像子区，其中，所述成像区域为所述显微镜的物镜对试样进行扫描的区域，所述成像子区是通过将所述成像区域划分得到的，并执行：

使所述显微镜的物镜以参考高度为基准相对于所述试样上下移动，其中，所述参考高度为扫描上一成像子区时记录的拍摄的多个图像中清晰度满足要求的图像所对应的物镜高度；

在所述上下移动过程中对所述试样在所述成像子区中的部分拍摄多个图像；

接收所述显微镜拍摄的多个图像，记录拍摄的多个图像中清晰度满足要求的图像所对应的物镜高度作为待扫描的下一成像子区的参考高度；

得到完整的清晰试样全图。

Images