CN114815211B - 一种基于图像处理的显微镜自动对焦方法 - Google Patents

Abstract

本发明属于显微镜自动对焦技术领域，公开了一种基于图像处理的显微镜自动对焦方法及系统，利用所获图像被测物表面的点位信息拟合被测物表面的平面位置，进而判断被测样品表面与相机镜头的位置关系，配合硬件系统调整样品位置，为后续的对焦工作做准备。相机再次采集图像后，使用无参考结构清晰度评价函数NRSS对当前对焦量的图像进行清晰度评价，将评价值的大小作为反馈发送给控制器模块，以此控制载物台调节焦距，实现显微镜的自动对焦。本发明的方法及系统能实现显微系统高精度、实时性的自动对焦。

Description

一种基于图像处理的显微镜自动对焦方法

技术领域

本发明属于显微镜自动对焦技术领域，尤其涉及一种基于图像处理的显微镜自动对焦方法及系统。

背景技术

近些年，生物、材料等学科领域迅速发展，其研究过程要大量依赖于显微镜的观察，相关从业人员对于显微镜的功能及应用也提出了更高的要求。目前在许多的科研中，为了连续的、更好的完成对样本材料的采集以及观测，需要一次性持续的使用显微镜工作数小时。在长时间的连续工作中，工作人员会出现不确定人为因素所造成显微镜参数的变化，或由于客观环境温度变化、机械震动及运动偏差所造成的焦点漂移，从而导致显微镜采集或观察图像的过程中出现离焦模糊的现象。

目前自动对焦显微镜解决上述问题的主要方法有以下两种：一种是基于硬件和辅助装置的自动对焦方法，专利CN 106772983 A对其作了详细介绍。该方法通过探测光路获得改变量，使对焦控制模块控制物镜或光电探测器实现对焦，需要在显微系统上进行硬件的改进，其成本较高且应用较为复杂。另一种是被动式的自动对焦技术，其中的离焦深度法是一种从离焦图像中取得深度信息进而完成自动对焦的方法，专利CN 113852761 A对其作了详细介绍。该方法需要事先构建数学模型去描述成像系统，然后依据少量成像位置获取的图像来计算对焦位置，其精度较低。

发明内容

针对上述显微镜自动对焦方法中存在的问题，本发明提供了一种基于图像处理的方式来实现显微镜的自动对焦。随着现代计算机技术的发展和数字图像处理理论的日益成熟，通过对显微镜获取图像有关信息的分析，并结合控制反馈策略驱动电机，使调节系统准确对焦。首先相机将获取图像信息输入到计算机中，经过计算机的运算得到了被测物表面的点位信息并拟合了被测物表面的平面位置进而判断出被测物的表面与相机镜头是否垂直，然后控制模块会控制转动装置，使其带动载物台转动一定的角度以达到被测表面与镜头垂直的位置。基于对焦深度法的对焦过程，利用图像处理理论对图像有关信息进行分析计算，然后根据计算的结果得到图像的清晰度；并以图像清晰度为指标进行反馈，通过控制器驱动硬件调节系统调节焦距，最终实现了显微镜的自动对焦。

本发明的技术方案：

一种基于图像处理的显微镜自动对焦系统，主要由以下机构及装置组成：

工业数码相机，安装于显微镜的扫描目镜处；垂直移动槽开于显微镜镜柱上，转轴固定在步进电机上，其伸出端连接载物台，在步进电机的带动下，沿着垂直移动槽垂直移动；

滚珠丝杠升降装置，位于显微镜镜柱内，通过伺服电机和精密减速器的驱动，使丝杠带动移动滑台的上下移动；

磁粉制动器装置，通过与丝杠上旋转编码器的配合，来实现丝杠停止转动时移动滑台在指定位置也能停止自锁；

转动装置，固定在滚珠丝杠升降装置的步进电机工作平台上，包括步进电机和转轴，通过步进电机的正反转调整与之相连的转轴的转动角度，从而调整与转轴另一端相连接的载物台的角度；

控制器模块，主要控制滚珠丝杠升降装置中移动滑台的升降位移以及转动装置中步进电机的转动角度；

计算机，与工业数码相机、控制器模块相连。

一种图像处理的显微镜自动对焦方法，控制器模块与计算机相连，计算机将指令输送给控制器模块，控制器模块发出控制信号控制滚珠丝杠与转动装置的运动，从而达到在计算机与控制模块的配合下进行显微镜的自动调焦；

包括如下步骤：

步骤一：图像采集，被测物体通过工业数码相机获取图像信息，然后将其输入到计算机中，进行信号的调理和A/D转换，主要是将光信号转换为电信号，然后经过处理转换得到数字图像；

步骤二：获取被测物体表面的三维坐标，利用被测物体的多个控制点在三维场景中的坐标及其在数字图像中的透视投影坐标，计算出相机坐标系与表示三维场景的世界坐标系之间的位姿关系及矩阵，经过计算后得到被测物表面点位的三维坐标；

步骤三：基于被测物表面点位的三维坐标拟合其所在平面，得到若干三维点坐标(X_i，Y_i，Z_i)后，拟合平面方程aX+bY+cZ＝d，又由约束条件a²+b²+c²＝1得到距离所有三维点最小的平面，此平面位置即为所拟合的被测物体表面的位置；

步骤四：计算出被测物体表面是否与工业数码相机的镜头垂直，然后将计算结果输送给控制器模块，从而控制转动装置来调节载物台的角度以达到被测物表面与扫描目镜垂直；

步骤五：位于被测物体正上方的工业数码相机需要采集待评价图像来构造参考图像，选取工业数码相机中心区域的图像；

步骤六：将工业数码相机当前位置设为初始位置，此时采集的图像定义为待评价图像I，而参考图像I_r＝LPF(I)，即对待评价图像I进行低通滤波得到参考图像I_r，提取待评价图像I和参考图像I_r的梯度信息；

步骤七：使用Scharr算子分别提取待评价图像I和参考图像I_r的水平方向和竖直方向的边缘信息，定义待评价图像I和参考图像I_r的梯度图像分别是G和G_r；

步骤八：通过计算方差找出梯度图像G中梯度信息最丰富的N个图像块，记为{x_i▏i＝1,2,…,N}，方差越大说明梯度信息越丰富，根据找到的梯度图像G中的前N个块，找出对应的G_r的前N个块记为{y_i▏i＝1,2,…,N}；

步骤九：先计算每个x_i和y_i的结构相似度SSIM(x_i,y_i)，然后计算结构清晰度NRSS；图像的无参考结构清晰度NRSS定义如下：

步骤十：设此时得出的图像清晰度评价值为N1，然后控制器模块控制滚珠丝杠升降装置，其将带动载物台沿着与被测物平面垂直的方向移动一定的步长L，工业数码相机采集此处的待评价图像后，在计算机中构造参考图像并通过计算方差得到梯度信息最丰富的地方，然后使用无参考结构清晰度评价函数NRSS计算出该位置的清晰度评价值N2；若此时N2>N1，则清晰度变大了说明调焦系统正靠着调焦正确的方向移动，控制器模块继续按当前指令控制滚珠丝杠升降装置带动载物台沿当前方向移动；若此时N2<N1，则清晰度变小了说明调焦系统调焦方向相反，此时应该反方向调焦，即控制器模块发送新的指控制滚珠丝杠升降装置带动载物台沿与刚刚方向相反的方向移动同时步长L应该缩减为原来的一半，直到出现N(k)<N(k-1)时，调焦过程结束。

与之前的相关技术相比，本发明具有以下优势：

为解决显微镜长期使用中出现的焦点漂移现象，本发明公开了一种基于图像处理的显微镜自动对焦方法及系统。首先将相机获取的图像信息输入到计算机中，经过计算机的运算得到了被测物表面的点位信息并拟合了被测物表面的平面位置进而判断出被测物的表面与相机镜头是否垂直，然后控制器模块通过控制转动装置来调节载物台的转动角度，以达到被测物表面与相机镜头垂直的位置；相机再次获取图像后，计算机使用无参考结构清晰度评价函数NRSS对其进行清晰度评价，将评价值的大小作为反馈发送给控制器模块，从而控制载物台在垂直方向的移动来调节焦距以最终实现自动对焦。该方法具备实时性，精度高，稳定性好的优势，能在无人工干预的情况下，通过动态反馈控制硬件调节系统达到显微镜的自动对焦。

附图说明

图1是本发明方法实施过程流程图。

图2是本发明显微镜整体的硬件系统结构图。

图3是本发明自动调焦硬件系统中的滚珠丝杠升降装置示意图。

图中：1显微镜镜柱；2工业数码相机；3扫描目镜；4转轴；5载物台；6垂直移动槽；7丝杠轴；8移动滑台；9步进电机工作平台；10步进电机；11磁粉制动器。

具体实施方式

为了使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是，本发明可以用许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是对发明公开内容的理解更加透彻全面。

除非另有定义，本文所使用的所有结构名词和技术术语均属于本发明技术领域内通用的术语。在本发明的说明书中所使用的术语只是为了描述具体实施例的目的，不是在于限制本发明。

本发明提供了一种基于图像处理的显微镜自动对焦方法及系统，为了更加清晰的介绍下面的实施例。首先，根据实施例中要使用的构件结合附图代号对系统及构件运动进行简单的介绍：

图2中的微镜的镜柱中安装有滚珠丝杠升降装置(图3)所示，其主要负责带动载物台5在垂直方向的上下移动；步进电机10的输出轴通过套筒与连接载物台5的转轴4相连，其正反转一定的角度就能通过转轴带动载物台顺时针或逆时针转动一定的角度。

图2中的工业数码相机2安装在扫描目镜上3，其主要负责图像的采集；转轴4连接载物台5与步进电机工作平台9；垂直移动槽6主要是承载转轴4在其垂直方向的移动。

本发明方法具体实施流程及详细实例作如下所述：

如图1所示，流程S01开始，将被测物放到载物台5上。

流程S02，工业数码相机2的成像模块通过扫描目镜3获取模拟图像信号，并经过信号调理模块将检测到的信号转换为标准信号其主要包括消抖、滤波、隔离、保护等措施；然后送入A/D转换器经过取样、保持、量化及编码4个过程将模拟图像信号转换成计算机可以处理的数字图像信号。将数字图像信号送入计算机中后，利用被测物多个控制点在三维场景中的坐标及其在图像中的透视投影坐标，计算出了相机坐标系与表示三维场景结构的世界坐标系之间的位姿关系及矩阵，经过如下齐次坐标矩阵的转换：

得到了被测物表面点位的三维坐标；然后基于被测物表面的点位信息拟合其所在平面，在得到若干三维点坐标(X_i，Y_i，Z_i)后拟合平面方程aX+bY+cZ＝d，又由约束条件a²+b²+c²＝1便得到距离所有点最小的平面，此平面位置即所拟合的被测物表面的位置。

流程S03，计算机会通过计算两平面法向量的夹角，如下方程：

判定流程S02所确定的被测物平面与镜头是否垂直；假若此时载玻片由于人为失误出现翘片，则显微镜物镜的镜头与被测物表面就不是垂直，其无论是对焦还是后续的采集过程都会出现离焦现象。

流程S04，计算机便会计算出镜头与被测物表面之间相垂直的角度，进而将步进电机要转动的角度及方向的指令发送给控制器，控制器便会控制传动步进电机10旋转指定的角度，其通过与之连接的转轴4带动载物台5转动到被测物表面与扫描目镜3垂直的位置。本发明主要运用的图像处理法是NRSS的图像清晰度评价方法及其算法，接下来对自动对焦中图像处理法及与之协调配合的硬件调焦系统的运行做详细的介绍。

流程S05，位于载物台5上方的工业数码相机2采集待评价图像来构造参考图像，为了达到显微镜实时性的要求，减少参与运算的像素数量，需要进行感兴趣对焦区域的选择。由于相机中心区域的图像没有畸变，且一般都将图像的中心区域作为目标物，因此所述对焦感兴趣区域将图像中心作为研究目标，感兴趣区域的提取采用中央区域对焦法，在原图像取正中间的固定大小区域进行对焦，并通过对感兴趣区域提取，消除图像中非研究目标的干扰，突出研究目标，提高对焦速度与精度。

将相机当前位置设为初始位置，此时采集的图像定义为待评价图像I，而参考图像为I_r＝LPF(I)，即对待评价图像Ⅰ进行低通滤波得到参考图像I_r。提取图像I和I_r的梯度信息。然后使用Scharr算子分别提取水平和竖直方向的边缘信息，定义I和I_r的梯度图像分别是G和G_r。通过计算方差找出梯度图像G中梯度信息最丰富的N个图像块，方差越大说明梯度信息越丰富，根据找到的梯度图像G中的前N个块，记为{X_i▏i＝1,2,…,N},找出对应的G_r的N个块,记为{y_i▏i＝1,2,…,N}。先计算每个x_i和y_i的结构相似度SSIM(x_i,y_i)，然后根据如下定义：

计算出图像I的无参考结构清晰度NRSS，设此时得出的图像清晰度评价值为N1。

控制器模块控制滚珠丝杠升降装置中移动滑台8的升降，其会带动与之相连的载物台5沿着垂直移动槽6(图2)移动一定的步长L，工业数码相机2采集此处的待评价图像后，在计算机中构造参考图像并通过计算方差得到梯度信息最丰富的地方，然后使用无参考结构清晰度评价函数NRSS计算出该位置的清晰度评价值N2。

流程S06中，计算机将进行两图像清晰度的对比：若此时N2>N1，说明清晰度变大了调焦系统正沿着调焦正确的方向移动，控制器继续按原步长控制载物台沿该方向移动，计算机系统进行图像采集并进行清晰度的评价；反之若此时N2<N1，说明清晰度变小了，调焦系统调焦方向与正确对焦方向相反，此时

流程S07，计算机发送指令给控制器模块使传动滑块在垂直移动槽中沿反方向移动，同时控制载物台移动步长L缩减为原来的一半。

流程S08，直到出现N(k)<N(k-1)时计算机则发送停止指令给控制器，控制器就使滚珠丝杠装置停止运动同时控制磁粉制动器11使传动滑块在该位置自锁停止，则整个自动调焦过程结束。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等均应包含在本发明的保护范围内。

Claims (1)

1.一种基于图像处理的显微镜自动对焦系统自动对焦方法，该基于图像处理的显微镜自动对焦系统主要由以下机构及装置组成：

工业数码相机，安装于显微镜的扫描目镜处；垂直移动槽开于显微镜镜柱上，转轴固定在步进电机上，其伸出端连接载物台，沿着垂直移动槽垂直移动；

滚珠丝杠升降装置，位于显微镜镜柱内，通过伺服电机和精密减速器的驱动，使丝杠带动移动滑台的上下移动；

磁粉制动器装置，通过与丝杠上旋转编码器的配合，来实现丝杠停止转动时移动滑台在指定位置也能停止自锁；

转动装置，固定在滚珠丝杠升降装置的步进电机工作平台上，包括步进电机和转轴，通过步进电机的正反转调整与之相连的转轴的转动角度，从而调整与转轴另一端相连接的载物台的角度；

控制器模块，主要控制滚珠丝杠升降装置中移动滑台的升降位移以及转动装置中步进电机的转动角度；

计算机，与工业数码相机、控制器模块相连；

其特征在于，控制器模块与计算机相连，计算机将指令输送给控制器模块，控制器模块发出控制信号控制滚珠丝杠与转动装置的运动，从而达到在计算机与控制模块的配合下进行显微镜的自动调焦；

包括如下步骤：

步骤一：图像采集，被测物体通过工业数码相机获取图像信息，然后将其输入到计算机中，进行信号的调理和A/D转换，主要是将光信号转换为电信号，然后经过处理转换得到数字图像；

步骤二：获取被测物体表面的三维坐标，利用被测物体的多个控制点在三维场景中的坐标及其在数字图像中的透视投影坐标，计算出相机坐标系与表示三维场景的世界坐标系之间的位姿关系及矩阵，经过计算后得到被测物表面点位的三维坐标；

步骤三：基于被测物表面点位的三维坐标拟合其所在平面，得到若干三维点坐标(X_i，Y_i，Z_i)后，拟合平面方程aX+bY+cZ＝d，又由约束条件a²+b²+c²＝1得到距离所有三维点最小的平面，此平面位置即为所拟合的被测物体表面的位置；

步骤四：计算出被测物体表面是否与工业数码相机的镜头垂直，然后将计算结果输送给控制器模块，从而控制转动装置来调节载物台的角度以达到被测物表面与扫描目镜垂直；

步骤五：位于被测物体正上方的工业数码相机需要采集待评价图像来构造参考图像，选取工业数码相机中心区域的图像；

步骤六：将工业数码相机当前位置设为初始位置，此时采集的图像定义为待评价图像I，而参考图像I_r＝LPF(I)，即对待评价图像I进行低通滤波得到参考图像I_r，提取待评价图像I和参考图像I_r的梯度信息；

步骤七：使用Scharr算子分别提取待评价图像I和参考图像I_r的水平方向和竖直方向的边缘信息，定义待评价图像I和参考图像I_r的梯度图像分别是G和G_r；

步骤八：通过计算方差找出梯度图像G中梯度信息最丰富的N个图像块，记为{x_i▏i＝1,2,…,N}，方差越大说明梯度信息越丰富，根据找到的梯度图像G中的前N个块，找出对应的G_r的前N个块记为{y_i▏i＝1,2,…,N}；

步骤九：先计算每个x_i和y_i的结构相似度SSIM(x_i,y_i)，然后计算结构清晰度NRSS；图像的无参考结构清晰度NRSS定义如下：

步骤十：设此时得出的图像清晰度评价值为N1，然后控制器模块控制滚珠丝杠升降装置，其将带动载物台沿着与被测物平面垂直的方向移动一定的步长L，工业数码相机采集此处的待评价图像后，在计算机中构造参考图像并通过计算方差得到梯度信息最丰富的地方，然后使用无参考结构清晰度评价函数NRSS计算出该位置的清晰度评价值N2；若此时N2>N1，则清晰度变大了说明调焦系统正靠着调焦正确的方向移动，控制器模块继续按当前指令控制滚珠丝杠升降装置带动载物台沿当前方向移动；若此时N2<N1，则清晰度变小了说明调焦系统调焦方向相反，此时应该反方向调焦，即控制器模块发送新的指令控制滚珠丝杠升降装置带动载物台沿与刚刚方向相反的方向移动同时步长L应该缩减为原来的一半，直到出现N(k)<N(k-1)时，调焦过程结束。

Images