CN112363309B - 一种用于显微镜下病理图像的自动寻焦方法和系统 - Google Patents

Abstract

本发明提供一种用于显微镜下病理图像的自动寻焦方法，包括：布置设备和采集对象；调整图像的采集位置；病理图像的粗定位；病理图像的细寻焦，获得最终的焦点位置。本发明的自动寻焦方法存在一个初步定位和细定位的过程，这符合了寻焦的逐步清洗过程，同时在初步定位和细定位过程中均通过清晰度算法来进行运算，在不影响处理速度的情况下提升了自动寻焦的准确性。

Description

一种用于显微镜下病理图像的自动寻焦方法和系统

技术领域

本发明涉及检测识别技术领域，更具体的说，它涉及一种用于显微镜下病理图像自动寻焦的方法。

背景技术

病理检查是用以检查机体器官、组织或细胞中的病理改变的病理形态学方法。为探讨器官、组织或细胞所发生的疾病过程，可采用某种病理形态学检查的方法，检查他们所发生的病变，探讨病变产生的原因、发病机理、病变的发生发展过程，最后做出病理诊断。病理形态学的检查方法，首先观察大体标本的病理改变，然后切取一定大小的病变组织，用病理组织学方法制成病理切片，用显微镜进一步检查病变。

数字切片系统能够将整个载玻片全信息、全方位快速扫描，使传统物质化的载玻片变成新一代数字化病理切片，是对病理诊断技术实现划时代的变革。可使病理医生脱离显微镜，随时随地通过网络解决病理诊断，实现全球在线同步远程会诊或离线远程会诊，由于提供全切片信息，使诊断价值等同显微镜观察，其时间空间穿插传递优势具有重大意义。还实现病理切片多层三维重建，病理切片管理数字化。该系统可广泛用于病理临床诊断、病理教学、组织学细胞成像、荧光分析、免疫组化数字成像。且将玻璃切片扫描成数字切片，便于存储和传阅；就像我们把普通冲印好的相片扫描成数码照片一样，这样就可以到电脑上进行阅片看诊，不必再用显微镜单一观察了。

现有的数字病理切片扫描仪内具有切片扫描部分和切片更换部分，但现有的数字病理切片扫描仪基本采用电脑控制扫描仪的工作方式，这种扫描通常是不具备定焦过程的，那么在这种情况下要想获得足够清洗的病理图像则成为数字切片仪的技术瓶颈，目前对定焦过程尚需要通过人工或者预先设定，人工定焦无疑降低工作效率，而预先设定的方式则对病理图像的初始防止位置要求非常高，如果病理图像的放置位置不准确甚至稍有误差则无法准确对焦。

发明内容

本发明所要解决的技术问题是，针对现有技术的不足，提供一种用于显微镜下病理图像的自动寻焦方法，能够对待病理图像进行自动寻焦，处理效率高、扫描快，获取图像清晰。

本发明解决上述技术问题所采用的技术方案是：

一种用于显微镜下病理图像的自动寻焦方法，所述方法能够用于数字切片仪在显微镜下采集病理图像的过程中的自动寻焦，所述方法包括如下步骤：

(1)布置设备和采集对象：将显微镜和摄像头正对采集区域，将载有病理切片的载玻片放置在采集区域，检测设备是否正常运作；

(2)调整图像的采集位置：通过显微镜和摄像头拍摄采集区域的参照照片，根据参照照片调整显微镜和摄像头的拍摄位置和高度；

(3)病理图像的粗定位：拍摄较大范围内载玻片的照片，通过清晰度算法确认病理切片的范围，将范围设定为细寻焦区域；

(4)病理图像的细寻焦：在细寻焦区域内进行较小范围的移动和拍摄，用清晰度算法，找出最清晰的连续3张病理图片，以这3张病理图片对应的位置和清晰度，用二次曲线方法拟合出最终的焦点位置。

进一步地，在调整图像的采集位置时，将参照照片发送给中央处理器，中央处理器根据设定的坐标系统调整显微镜和摄像头在X方向和Y方向上的位置，使参照照片上载玻片的左下角位于坐标系统的原点位置，根据显微镜和摄像头的拍摄范围和参照照片上载玻片的对应位置调整显微镜和摄像头在Z方向上的位置。

进一步地，所述采集区域的范围形状为矩形或者平行四边形。

进一步地，所述的粗定位具体包括以下步骤：

(4.1)手动设定病理图像的寻焦段A-B，其中A和B为坐标中X方向或者Y方向的坐标数值，且A＞B；

(4.2)以较大的步进距离S进行沿A-B的方向进行移动拍摄，获取(A-B)/S+1张病理图像；

(4.3)用Sobel算子处理所采集到的(A-B)/S+1张病理图像，得到每张病理图像在X方向和Y方向上的响应(x,y)，用公式

计算梯度，用梯度的均值表示对应的病理图像的清晰度值，从而获得一个由(A-B)/S+1个清晰度值组成的清晰度向量，找出其中的极大值，将该极大值所对应的病理图像作为清晰度值最高的病理图像；

(4.4)如果上一步骤中的极大值≥2，则通过基于深度学习的算法计算清晰度值，再取其中的最大值，将该最大值所对应的病理图像作为清晰度值最高的病理图像；

(4.5)用基于深度学习的分类算法判断病理图像的内容是否为背景，如果是，则换一个视野，重复上述步骤，直到病理图像内容全为前景，将该全为前景的病理图像内容所在的区域设定为细寻焦区域C。

进一步地，在粗定位步骤中所设定的细寻焦区域C为矩形或者平行四边形，细寻焦区域C为Z方向上的一个位置，在细寻焦区域C内的所有位置Z坐标值都是相同的，下文的公式中的C表示细寻焦区域C所对应的Z坐标值。

进一步地，所述的细寻焦具体包括以下步骤：

(6.1)设定细寻焦区域C的某一边角为基准点；

(6.2)调整显微镜和摄像头沿Z方向移动距离N，以较小的步进距离s，拍摄(C+N-(C-N))/s+1张照片；

(6.3)用传统的Sobel算子清晰度算法，找出最清晰的连续3张照片，以这3张照片对应的位置和清晰度，用二次曲线方法拟合出最终的焦点位置。

进一步地，所述二次曲线拟合的计算公式为y＝ax²+bx+c，参数为a，b，c，其中x为显微镜和摄像头在Z方向的坐标位置，y为清晰度值，以上述找出的最清晰的连续3张照片分别所对应的Z方向的坐标值z作为x，这3张照片分别所对应的清晰度值作为y，这样便有三组输入输出值，用最小二乘法求出a，b，c的值。根据二次曲线的性质，当x＝-b/2a时，y取最大值或最小值。对于本方法，y只可能取最大值。

作为本发明的发明内容之一，本发明还提供一种用于显微镜下病理图像的自动寻焦系统，所述自动寻焦系统包括中央处理器、采集模块和调整模块，所述采集模块用于采集病理图像并发送给中央处理器，中央处理器对采集模块所采集到的病理图像进行图像分析并生成图像分析结果和调整信号，中央处理器将调整信号发送给调整模块，所述调整模块根据调整信号调整采集模块的位置。

作为本发明的发明内容之一，本发明还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器在执行所述计算机程序时能够实现上述的自动寻焦方法的步骤。

作为本发明的发明内容之一，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能够实现上述的自动寻焦方法的步骤。

本发明的有益效果是：

(1)本发明通过传统的Sobel算子和深度学习相结合的算法，弥补了两种算法各自的不足，例如，传统的Sobel算子主要抓取图像中的局部轮廓信息，但不能反映图像内容，比如一张纯噪点的图像，清晰度值极高，但由于不包含用户感兴趣的图像内容，可能会丢失目标图像。深度学习算法则计算相对慢，但能捕捉到较大范围的图像结构信息，对于纯噪点图像，因为没有用户感兴趣的物体，所以能得到较低的清晰度值。

(2)因为寻焦过程一般是一个由模糊到清晰再到模糊的过程，对病理图像的整个寻焦过程中比较清晰的可能是病理条所在的一层，也可能是玻片制作过程中掺杂的杂质层，如果仅用传统算法可能就寻到杂质层，而杂质层不含有细胞等结构，因此可以用深度学习的算法获取较低清晰度值进行过滤。因此，本发明根据寻焦过程在不同阶段的特性采用不同算法进行处理，分别利用了各自的优势将二者有机结合，既能够得到较高的清晰度，又不影响处理速度，实现了病理图像的自动快速寻焦算法。

(3)本发明的自动寻焦方法存在一个初步定位和细定位的过程，这符合了寻焦的逐步清洗过程，同时在初步定位和细定位过程中均通过清晰度算法来进行运算，在不影响处理速度的情况下提升了自动寻焦的准确性。

附图说明

图1是本发明的自动寻焦方法的整体流程图。

图2是本发明的自动训教系统的整体框架图。

图3是本发明的计算机设备的结构框图。

图4是本发明的图片上X和Y方向的标识示意图。

图5是本发明的采集位置简图。

具体实施方式

为了使本技术领域的人员更好的理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。

实施例1，参照附图1。

在一个实施例中，如图1所示，本发明提供一种用于显微镜下病理图像的自动寻焦方法，所述方法能够用于数字切片仪在显微镜下采集病理图像的过程中的自动寻焦，并具体包括如下步骤：

S1，布置设备和采集对象：将显微镜和摄像头正对采集区域，将载有病理切片的载玻片放置在采集区域，检测设备是否正常运作；

设置后的采集简图如图5所示，其中，坐标系按照X轴和Y轴分别对应采集区域所在的平面内的两个相互垂直的方向，Z轴对应采集设备(显微镜和摄像头)所在的并且可移动的垂直于采集区域所在的平面的高度方向，图中M表示被采集区域(其上设有被采集对象——载玻片)，在整个寻焦过程中，采集设备能够在驱动装置的带动下分别沿着X、Y和Z方向移动，直到寻找到最合适的对焦位置。

S2，调整图像的采集位置：通过显微镜和摄像头拍摄采集区域的参照照片，根据参照照片调整显微镜和摄像头的拍摄位置和高度；其中，拍摄位置对应坐标系统中的X轴坐标和Y轴坐标，高度对应坐标系统中的Z轴坐标。

在调整图像的采集位置时，将所拍摄的参照照片发送给中央处理器100，中央处理器100根据设定的坐标系统调整包括显微镜和摄像头的采集模块200在X方向和Y方向上的位置，使参照照片上载玻片的左下角位于坐标系统的原点位置，然后，中央处理器100根据显微镜和摄像头的拍摄范围和参照照片上载玻片的对应位置调整显微镜和摄像头在Z方向上的位置。

作为优选，所述病理图像的采集区域的范围形状为矩形或者平行四边形。

S3，手动设定病理图像的寻焦段A-B，其中A和B为坐标中X方向或者Y方向的坐标数值，且A＞B；

S4，以较大的步进距离S进行沿A-B的方向进行移动拍摄，获取(A-B)/S+1张病理图像；

S5，用Sobel算子处理所采集到的(A-B)/S+1张病理图像，得到每张病理图像在X方向和Y方向上的响应(x,y)，如图4所示，在病理图像中，建立分别对应X方向和Y方向的图像坐标系x/y，每张病理图像P中每个像素点的坐标值用(x，y)表示，按照行→列的顺序，每张病理图像中像素点的坐标依次为(1,1)，(1,2)，……，(1,n)，(2,1)，(2,2)，……，(2,n)，(3,1)，(3,2)，……，(3,n)，……，(n,n)。

用公式

计算上述像素坐标值的梯度，用梯度的均值表示对应的病理图像的清晰度值，从而获得一个由(A-B)/S+1个清晰度值组成的清晰度向量，找出其中的极大值，将该极大值所对应的病理图像作为清晰度值最高的病理图像；

S6，如果上一步骤中的极大值≥2，则通过基于深度学习的算法计算清晰度值，再取其中的最大值，将该最大值所对应的病理图像作为清晰度值最高的病理图像；

S7，用基于深度学习的分类算法判断病理图像的内容是否为背景，如果是，则换一个视野，重复上述步骤，直到病理图像内容全为前景，将该全为前景的病理图像内容所在的区域设定为细寻焦区域C，优选地，所设定的细寻焦区域C为矩形或者平行四边形，细寻焦区域C为Z方向上的一个位置，在细寻焦区域C内的所有位置Z坐标值都是相同的，下文的公式中的C表示细寻焦区域C所对应的Z坐标值。

通过步骤S3-S7实现了病理图像的粗定位。

S8，设定细寻焦区域C的某一边角为基准点，调整显微镜和摄像头沿Z方向移动距离N，以较小的步进距离s，拍摄(C+N-(C-N))/s+1张照片；

S9，用清晰度算法，找出最清晰的连续3张照片，以这3张照片对应的位置和清晰度，用二次曲线方法拟合出最终的焦点位置，所述二次曲线拟合的计算公式为y＝ax²+bx+c，参数为a，b，c，以上述找出的最清晰的连续3张照片分别所对应的Z方向的坐标值z作为x，这3张照片分别所对应的清晰度值作为y，这样便有三组输入输出值，用最小二乘法求出a，b，c的值。

具体来说，在二次曲线拟合的计算公式即二次函数公式中，其中a、b、c为系数参数，需要求解。根据之前的步骤，上面我们已经得到了连续的3个Z轴的坐标值及其对应的清晰度值，假设为分别(z₁,t₁)、(z₂,t₂)和(z₃,t₃)，那么对应到二次函数公式中，将这三组值(x＝z₁,y＝t₁),(x＝z₂,y＝t₂),(x＝z₃,y＝t₃)带入公式，可以得到3组方程，联立可以求得a、b、c这三个未知数。

根据二次曲线的性质，当x＝-b/2a时，y取最大值或最小值。对于本方法，y只可能取最大值。

通过步骤S8-S9实现了病理图像的细寻焦。

实施例2，参照附图2。

在一个实施例中，如图2所示，本发明提供一种用于显微镜下病理图像的自动寻焦系统，所述自动寻焦系统包括中央处理器100、采集模块200和调整模块300，所述采集模块200如前所述地可以包括显微镜和摄像头，本发明对显微镜和摄像头的选型和安装并不需要做出改进，因为具体的安装方式和硬件选配可以采用现有技术中的方案，此外，本发明对显微镜和摄像头的组合使用也不需要做出改进，可以采用现有技术中数字读片技术中的方式，因此本发明对于这一块的技术内容不做赘述。

其中，采集模块200用于采集指定区域的病理图像并发送给中央处理器100，中央处理器100接收采集模块200所采集到的病理图像，进行图像分析，并生成图像分析结果，其中图像分析结果可以包括实施例1的各个步骤中所处理的图像中间结果和图像最终结果，图像中间结果可能会被用于调整采集模块200所在的位置，例如在步骤S2中，图像中间结果也可以被用于后续的继续处理，例如在步骤S3-S9中，当图像中间结果被用于调整采集模块200所在的位置时，中央处理器100可以根据图像中间结果生成调整信号，并将调整信号发送给调整模块300，所述调整模块300此时便可根据调整信号调整采集模块200的位置，调整模块可以是气缸驱动移动模块或者丝杆等电气机械结构。

实施例3，参照附图3。

在本实施例中，提供了一种计算机设备400，该计算机设备400包括存储器401、处理器402及存储在存储器401上并可在处理器402上运行的计算机程序403，处理器402执行计算机程序403时能够实现上述实施例1所提供的自动寻焦方法中的步骤。

此外，在本实施例中的处理器402与实施例1中的中央处理器以及是实施例2中的中央处理器200的关系可以是处理器402包含中央处理器200，或者二者有共同的执行或者功能模块，或者二者是能够互通的两个相互独立的处理器。实际上，本实施例中的处理器402也能够执行实施例1中的中央处理器以及是实施例2中的中央处理器200的功能。

实施例4。

在本实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时能够实现上述各个实施例所提供的自动寻焦方法中的步骤。

在本实施例中，所述计算机程序可以是实施例3中的计算机程序。

在本实施例中，所述计算机可读存储介质可以被实施例3中的计算机设备所运行。

本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例的所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。

Claims (7)

1.一种用于显微镜下病理图像的自动寻焦方法，其特征在于，所述方法能够用于数字切片仪在显微镜下采集病理图像的过程中的自动寻焦，所述方法包括如下步骤：

(1)布置设备和采集对象：将显微镜和摄像头正对采集区域，将载有病理切片的载玻片放置在采集区域，检测设备是否正常运作；

(2)调整图像的采集位置：通过显微镜和摄像头拍摄采集区域的参照照片，根据参照照片调整显微镜和摄像头的拍摄位置和高度；

(3)病理图像的粗定位：拍摄较大范围内载玻片的照片，通过清晰度算法确认病理切片的范围，将范围设定为细寻焦区域；

所述的粗定位具体包括以下步骤：

(3.1)手动设定病理图像的寻焦段A-B，其中A和B为坐标系中Z方向的坐标数值，且A＞B；

(3.2)以较大的步进距离S进行沿A-B的方向进行移动拍摄，获取(A-B)/S+1张病理图像；

(3.3)用Sobel算子处理所采集到的(A-B)/S+1张病理图像，得到每张病理图像在X方向和Y方向上的响应(x,y)，用公式

计算梯度图，用梯度图的均值表示对应的病理图像的清晰度值，从而获得一个由(A-B)/S+1个清晰度值组成的清晰度向量，找出其中的极大值，将该极大值所对应的病理图像作为清晰度值最高的病理图像；

(3.4)如果上一步骤中的极大值≥2，则通过基于深度学习的算法计算清晰度值，再取其中的最大值，将该最大值所对应的病理图像作为清晰度值最高的病理图像；

(3.5)用基于深度学习的分类算法判断病理图像的内容是否为背景，如果是，则换一个视野，重复上述步骤，直到病理图像内容全为前景，将该全为前景的病理图像内容所在的区域设定为细寻焦区域C；

(4)病理图像的细寻焦：在细寻焦区域内进行较小范围的移动和拍摄，用清晰度算法，找出最清晰的连续3张照片，以这3张照片对应的位置和清晰度，用二次曲线方法拟合出最终的焦点位置；

所述的细寻焦具体包括以下步骤：

(4.1)设定细寻焦区域C的某一边角为基准点，在此步骤中，细寻焦区域C是Z方向上的一个位置，C的数值可以用该位置对应的Z方向坐标值来表示；

(4.2)调整显微镜和摄像头沿Z方向移动距离N，以较小的步进距离s，拍摄(C+N-(C-N))/s+1张照片；

(4.3)用清晰度算法，找出最清晰的连续3张病理图片，以这3张病理图片对应的位置和清晰度值，用二次曲线方法拟合出最终的焦点位置。

2.根据权利要求1所述的一种用于显微镜下病理图像的自动寻焦方法，其特征在于，在调整图像的采集位置时，将参照照片发送给中央处理器，中央处理器根据设定的坐标系统调整显微镜和摄像头在X方向和Y方向上的位置，使参照照片上载玻片的左下角位于坐标系统的原点位置，根据显微镜和摄像头的拍摄范围和参照照片上载玻片的对应位置调整显微镜和摄像头在Z方向上的位置。

3.根据权利要求1所述的一种用于显微镜下病理图像的自动寻焦方法，其特征在于，所述采集区域的范围形状为矩形或者平行四边形。

4.根据权利要求1所述的一种用于显微镜下病理图像的自动寻焦方法，其特征在于，在粗定位步骤中所设定的细寻焦区域C为矩形或者平行四边形。

5.根据权利要求1所述的一种用于显微镜下病理图像的自动寻焦方法，其特征在于，所述二次曲线拟合的计算公式为y＝ax²+bx+c，参数为a，b，c，其中x为显微镜和摄像头在z方向的坐标位置，y为每张图片对应的清晰度值。

6.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器在执行所述计算机程序时能够实现如权利要求1至5中任一项所述的自动寻焦方法的步骤。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时能够实现如权利要求1至5中任一项所述的自动寻焦方法的步骤。

Images