CN113899698B - 一种面向原位测试平台的实时对焦和居中调整方法及装置 - Google Patents

Abstract

本发明属于显微观察技术领域，公开了一种面向原位测试平台的实时对焦和居中调整方法及装置。本发明将自动聚焦算法和自动追踪算法应用在普通光学显微镜与原位技术的结合中，通过主机中的自动聚焦算法单元实现原位测试过程中自动对焦，通过主机中的跟踪算法单元实现自动跟踪感兴趣区域，能够很好地解决在光学显微镜的原位测试中被测试的样品失焦和观测区域偏离的问题。

Description

一种面向原位测试平台的实时对焦和居中调整方法及装置

技术领域

本发明属于显微观察技术领域，更具体地，涉及一种面向原位测试平台的实时对焦和居中调整方法及装置。

背景技术

传统的材料性能测试，包括拉伸测试、压缩测试、扭转测试、剪切测试、弯曲测试、疲劳测试以及蠕变测试等，都采用的是非原位的测试技术，即在进行材料性能测试之前或性能测试结束后，通过SEM、TEM、EBSD、XRD等观测设备对其断口或表面的微观形貌进行观测与分析，并根据宏观的性能测试数据对材料的变形过程及微观损伤机制进行合理猜测与推理，但缺乏直接有力的图像证明。随着科技发展的需要，人们对材料变形微观过程与运行机理的迫切需求，传统的材料性能测试观测方法已远不能满足，伴随着大尺寸真空腔体和较长的电子枪工作距离的扫描电子显微镜或透射电子显微镜的出现，原位测试技术也应运而生。

原位测试技术即通过扫描电镜或透射电镜等成像设备对材料的微观组织变化和微观损伤破坏过程实时动态观测，并在观测过程中进行在线分析。原位观测技术一般是将材料性能测试设备与扫描电子显微镜或透射电子显微镜结合，对材料进行实时动态在线观察与测试，很好地将材料的力学性能和微观组织放在同一维度进行对应比较。但由于扫描电镜和透射电镜相关设备过于昂贵，对样品质量要求极高，观测环境极为苛刻，测试过程极为繁琐，耗费时间极长，故原位观测技术并未广泛地应用开来。将原位观测与普通的光学显微镜结合起来是原位观测技术发展的一个重要趋势。

普通光学显微镜，普遍只能用来观测静态的样品，当样品台晃动、样品自身变化导致的形变或用光学显微镜来原位观察动态的样品时，样品经常会逐渐模糊失去焦距或样品偏离出观察区域视野消失，此时需要手动调节聚焦旋钮和样品台位置使样品重新聚焦并使样品图像出现在视野中央，这一调节过程浪费了极为宝贵的测试时间，在调节时很可能已经错过了最佳的观测时机，极大影响测试效率和测试结果。

数字显微镜的自动聚焦算法主要采用爬坡搜索算法和遍历搜索算法。爬坡搜索法通常是显微镜以相应步长移动Z轴，获取不同Z轴层面的图像并计算相应图像的清晰度，依次比较相邻两幅Z轴位置图像的清晰度，若清晰度下降则沿Z轴反方向继续搜索，通过多次爬坡搜索找到聚焦位置，这种搜索算法的搜索时间少，但其抗干扰能力极差，容易受到清晰度局部极值的影响导致搜索不到正确的聚焦位置。遍历搜索法通常是显微镜以一定的步长移动Z轴来遍历整个搜索区域，得到若干幅图像，计算并比较各个位置图像的清晰度，清晰度最大的图像位置就是聚焦的最优位置，这种搜索算法虽然能够得到较准确的聚焦位置，但因其需要遍历所有位置，焦点搜索过程需要耗费大量的时间。

发明内容

本发明提供一种面向原位测试平台的实时对焦和居中调整方法及装置，将原位测试技术与光学显微镜结合起来，以解决普通的光学显微镜不能自动聚焦、跟焦和跟踪样品的问题，使得原位测试技术能够很好地应用在光学显微镜中。

本发明提供一种面向原位测试平台的实时对焦和居中调整方法，进行原位测试前，将三维移动台安置在光学显微镜中载物台的位置，在所述三维移动台的上方安装原位测试台和样品，将数字相机与所述光学显微镜的目镜进行相连，将主机分别与显示屏、所述数字相机、所述三维移动台进行连接；

进行原位测试前，通过所述主机执行预测试自动聚焦算法，得到第一控制信息，所述三维移动台根据所述第一控制信息控制所述样品进行移动，得到清晰的样品图像，用户根据样品图像框选样品上的感兴趣区域；

进行原位测试的过程中，通过所述主机执行原位测试自动聚焦算法和跟踪算法，得到第二控制信息，所述三维移动台根据所述第二控制信息控制所述样品进行移动，使得所述感兴趣区域始终处于聚焦状态和对中状态。

优选的，所述预测试自动聚焦算法进行遍历搜索时，采用的遍历区间逐渐减小，采用的遍历步长逐渐减小。

优选的，所述预测试自动聚焦算法包括以下步骤：

步骤101、控制所述三维移动台回到初始位置Z₀，初始化所述三维移动台沿Z轴的移动步长L，初始化聚焦位置所在的聚焦区间(a,b)；

步骤102、以移动步长L遍历聚焦区间(a,b)；

步骤103、计算各遍历点的灰度方差值，记为H₀、H₁、……、H_i、……H_n；

步骤104、比较灰度方差值H₀、H₁、……、H_i、……H_n，得到遍历点中的最大灰度方差值H_i及最大灰度方差值所对应的位置Z_i，将最大灰度方差值所对应的位置Z_i作为聚焦位置；

步骤105、将聚焦位置在两个方向上的各一个移动步长范围定为下一阶段的聚焦区间，令a＝Z_i-L，b＝Z_i+L，更新聚焦区间为(Z_i-L,Z_i+L)；

步骤106、判断移动步长L是否达到最小步长L*，最小步长L*为所述三维移动台的最小移动精度；

若L>L*，则减小移动步长L，再以减小后的移动步长L继续遍历聚焦区间，重复步骤102至步骤106，直至移动步长L减小到最小步长L*后，将得到的聚焦位置作为最佳聚焦位置，将最佳聚焦位置记为Z_i，将最佳聚焦位置Z_i对应的灰度方差值记为H_i，结束预测试自动聚焦算法；

若L≤L*，则将此时得到的聚焦位置作为最佳聚焦位置，将最佳聚焦位置记为Z_i，将最佳聚焦位置Z_i对应的灰度方差值记为H_i，结束预测试自动聚焦算法。

优选的，所述原位测试自动聚焦算法采用最小步长过峰搜索的方式进行，并实时自动调整聚焦阈值。

优选的，所述原位测试自动聚焦算法包括以下步骤：

步骤201、原位测试台开始运转；

步骤202、采集当前位置的图像并计算灰度方差值h₁；

步骤203、比较h₁和H_i-H*的大小；其中，H_i为经预测试自动聚焦算法得到的最佳聚焦位置对应的灰度方差值，H*为聚焦阈值；

若h₁>H_i-H*，则认为当前位置处于聚焦状态；此时再判断原位测试是否结束，若原位测试结束，则结束原位测试自动聚焦算法；若原位测试未结束，则返回至步骤202；

若h₁≤H_i-H*，则认为当前位置处于离焦状态，进入步骤204；

步骤204、控制所述三维移动台沿Z轴移动最小步长L*，采集此位置的图像并计算灰度方差值h2；最小步长L*为所述三维移动台的最小移动精度；

步骤205、比较h₁和h₂的大小；

若h₁＜h₂，则认为移动最小步长后的当前位置采集的图像更清晰，令h₁＝h₂，返回至步骤204；

若h₁≥h₂，则认为移动最小步长后的当前位置已经过了聚焦点，控制所述三维移动台移动反向；

步骤206、比较h₂和H_i-H*的大小；

若h₂≤H_i-H*，则认为当前位置处于离焦状态，返回至步骤204；

若h₂>H_i-H*，则认为当前位置处于聚焦状态，灰度方差值h₂对应的图像为最新的最佳聚焦位置图像，将h₂赋值给H_i；

步骤207、判断原位测试是否结束；

若原位测试结束，则结束原位测试自动聚焦算法；

若原位测试未结束，则比较h₁和H_i的大小；

若h₁>H_i，则图像较最佳聚焦位置图像更清晰，根据h₁调整H*的大小，H*根据公式H*＝(H*+H_i-h₁)计算得到；

若h₁≤H_i，则图像较最佳聚焦位置图像稍微模糊，但还属于可接受的清晰度范围内，根据h₁调整H*的大小，H*根据公式H*＝(H*-H_i+h₁)计算得到；聚焦阈值H*调整后，返回至步骤202；

步骤208、重复执行步骤202至步骤207，直至原位测试结束。

优选的，所述跟踪算法通过分块处理图像以减少特征图像与采集图像的对比次数，在感兴趣区域的跟踪过程中，图像分块数量指数型增长，感兴趣区域搜索范围逐渐缩小。

优选的，所述跟踪算法包括以下步骤：

步骤301、框选样品上的感兴趣区域；

步骤302、通过所述数字相机采集感兴趣区域对应的图像S₀，根据采集的图像S₀提取HOG特征，得到特征图像，并训练具有判别性的滤波器；

步骤303、通过所述数字相机继续采集图像，记为S₁，初始化参数j，令j＝0；

步骤304、将采集到的图像S₁均分成(2^j×P)×(2^j×Q)图像块，均分后的图像块经过所述滤波器处理得到分块特征响应图；其中，P为X方向上图像S₁的分辨率初始值，Q为Y方向上图像S₁的分辨率初始值；

步骤305、将特征图像按图像S₁的图像块尺寸均分为(2^j×p)×(2^j×q)块图像，将特征图像与分块特征响应图进行对比，并计算每个分块特征响应图的特征响应相似度，将特征响应相似度最大的(2^j×p+1)×(2^j×q+1)图像块作为感兴趣区域的待选区域，记为s_j；其中，p为X方向上图像S₀的分辨率初始值，q为Y方向上图像S₀的分辨率初始值，且p<P，q<Q；

步骤306、将s_j中的每个图像块一分为四，使每个图像块的尺寸在X、Y维度上均缩小一半，形成新的分块特征响应图，令j＝j+1；重复步骤305，在新的分块特征响应图中搜索出特征响应相似度最大的(2^j×p+1)×((2^j×q+1)图像块记为s_j，此时的s_j为更接近特征图像的图像块，继续将s_j中的每个图像块一分为四，直到s_j中的每个图像块不可再划分，满足条件“(2^j+1×P)＞P*or(2^j+1×Q)＞Q*”；此时得到的s_j就是搜索到的最优的感兴趣区域；其中，P*为X方向上图像分辨率的极限值，取决于数字相机；Q*为Y方向上图像的极限分辨率，取决于数字相机；P<P*，Q<Q*；

步骤307、计算最优的感兴趣区域在显示屏坐标系中的中心坐标(x,y)；

步骤308、判断坐标(x,y)和坐标(x₀,y₀)之间的距离与距离阈值D的大小；其中，(x₀,y₀)为显示屏坐标系的中心坐标；

若坐标(x,y)和坐标(x₀,y₀)之间的距离＜距离阈值D，则认为此时的最优的感兴趣区域处于显示屏图像可接受的相对中心位置，无需调整；此时若原位测试结束，则结束跟踪算法；若原位测试未结束则返回至步骤303；

若坐标(x,y)和坐标(x₀,y₀)之间的距离≥距离阈值D，则认为此时的最优的感兴趣区域严重偏离显示屏图像中心；根据显示屏坐标系与三维移动台坐标系之间的映射关系：F(x,y)→G(x,y)，计算将s_j图像块移动到显示屏图像中心，在三维移动台坐标系中所述三维移动台需要移动的方向(cosα,sinα)和距离d；

步骤309、所述主机控制所述三维移动台沿方向(cosα,sinα)移动距离d，使得s_j图像块处于显示屏图像中心；

步骤310、根据新对中的感兴趣区域，更新HOG特征和滤波器；

步骤311、重复操作步骤303至步骤310，直至原位测试结束。

优选的，所述预测试自动聚焦算法和所述原位测试自动聚焦算法中描述灰度方差值的评价函数如下：

其中，H(n)表示第n幅图片的灰度方差值，M表示图像在高度方向像素点的个数，N表示图像在宽度方向像素点的个数，(x,y)表示空间中一个像素点的坐标，I(x,y)表示(x,y)处的像素点的灰度值，μ为一幅图像中所有像素点灰度值的平均值。

优选的，通过所述光学显微镜对所述样品成像；通过所述数字相机实时拍摄所述光学显微镜所成的图像，并将图像信息传输至所述主机；通过所述主机将所述图像信息传输至所述显示屏；通过所述显示屏对所述图像信息进行实时显示；通过所述原位测试台对所述样品进行原位测试。

另一方面，本发明提供一种面向原位测试平台的实时对焦和居中调整装置，包括：光学显微镜、数字相机、主机、显示屏、三维移动台和原位测试台；

所述三维移动台安置在所述光学显微镜中载物台的位置，所述三维移动台的上方承载所述原位测试台和样品；所述数字相机与所述光学显微镜的目镜相连，所述主机分别与所述显示屏、所述数字相机、所述三维移动台相连；

所述光学显微镜用于使所述样品通过光学系统成像；

所述数字相机用于实时拍摄所述光学显微镜所成的图像，并将图像信息传输至所述主机；

所述主机包括自动聚焦算法单元和跟踪算法单元，所述自动聚焦算法单元执行上述的预测试自动聚焦算法和原位测试自动聚焦算法，所述跟踪算法单元执行上述的跟踪算法，所述主机用于根据算法处理结果得到第一控制信息、第二控制信息，并将所述第一控制信息、所述第二控制信息传输至所述三维移动台；所述主机用于将所述图像信息传输至所述显示屏；

所述显示屏用于对所述图像信息进行实时显示；

所述三维移动台用于根据所述第一控制信息承载所述样品进行移动，以得到清晰的样品图像；所述三维移动台用于根据所述第二控制信息承载所述样品进行移动，使得所述样品对应的感兴趣区域处于焦平面并处于显示图像中心；

所述原位测试台用于对所述样品进行原位测试。

本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：

在发明中，将自动聚焦算法和自动追踪算法应用在普通光学显微镜与原位技术的结合中，通过主机中的自动聚焦算法单元实现原位测试过程中自动对焦，通过主机中的跟踪算法单元实现自动跟踪感兴趣区域，能够很好地解决在光学显微镜的原位测试中被测试的样品失焦和观测区域偏离的问题。

附图说明

图1为本发明实施例提供的一种面向原位测试平台的实时对焦和居中调整装置的结构示意图；

图2为本发明实施例提供的一种面向原位测试平台的实时对焦和居中调整方法中预测试自动聚焦算法的流程图；

图3为本发明实施例提供的一种面向原位测试平台的实时对焦和居中调整方法中原位测试自动聚焦算法的流程图；

图4为本发明实施例提供的一种面向原位测试平台的实时对焦和居中调整方法中跟踪算法的流程图。

其中，1-光学显微镜、2-数字相机、3-主机、4-显示屏、5-三维移动台、6-原位测试台、7-样品。

具体实施方式

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

实施例1：

实施例1提供了一种面向原位测试平台的实时对焦和居中调整方法，进行原位测试前，将三维移动台安置在光学显微镜中载物台的位置，在所述三维移动台的上方安装原位测试台和样品，将数字相机与所述光学显微镜的目镜进行相连，将主机分别与显示屏、所述数字相机、所述三维移动台进行连接。

进行原位测试前，通过所述主机执行预测试自动聚焦算法，得到第一控制信息，所述三维移动台根据所述第一控制信息控制所述样品进行移动，得到清晰的样品图像，用户根据样品图像框选样品上的感兴趣区域。

进行原位测试的过程中，通过所述主机执行原位测试自动聚焦算法和跟踪算法，得到第二控制信息，所述三维移动台根据所述第二控制信息控制所述样品进行移动，使得所述感兴趣区域始终处于聚焦状态和对中状态。

通过所述光学显微镜对所述样品成像；通过所述数字相机实时拍摄所述光学显微镜所成的图像，并将图像信息传输至所述主机；通过所述主机将所述图像信息传输至所述显示屏；通过所述显示屏对所述图像信息进行实时显示；通过所述原位测试台对所述样品进行原位测试。

其中，所述预测试自动聚焦算法进行遍历搜索时，采用的遍历区间逐渐减小，采用的遍历步长逐渐减小。所述原位测试自动聚焦算法采用最小步长过峰搜索的方式进行，并实时自动调整聚焦阈值。所述跟踪算法通过分块处理图像以减少特征图像与采集图像的对比次数，在感兴趣区域的跟踪过程中，图像分块数量指数型增长，感兴趣区域搜索范围逐渐缩小。

下面对涉及的算法分别进行详细说明。

(一)、预测试自动聚焦算法。

预测试自动聚焦算法就是在原位测试前进行一次静态聚焦。有别于传统的遍历搜索算法，本发明提供的预测试自动聚焦算法采用三点法确定焦点所在区间，遍历的区间逐渐减小，遍历的步长逐渐减小，能够大大缩短聚焦时间，并且可以大大减小清晰度局部峰值对聚焦搜索结果带来的影响。

具体的，如图2所示，本发明提供的预测试自动聚焦算法包括以下步骤：

(1).初始化：控制三维移动台回到初始位置Z₀；初始化三维移动台沿Z轴的移动步长L；初始化聚焦位置所在的聚焦区间(a,b)，初始区间即为三维移动台移动量程。

(2).遍历：以移动步长L遍历聚焦区间(a,b)。

(3).计算各遍历点的灰度方差值，记为H₀、H₁、……、H_i、……H_n。

(4).比较灰度方差值H₀、H₁、……、H_i、……H_n，得到遍历点中的最大灰度方差值Hi及其所对应的位置Z_i，将最大灰度方差值所对应的位置Z_i作为聚焦位置，此时聚焦的最佳位置即在位置Zi附近。

(5).确定聚焦区间：为准确确定聚焦点位置，将聚焦位置(即最大灰度方差值对应的位置)在两个方向上的各一个移动步长范围定为下一阶段的聚焦区间，令a＝Z_i-L，b＝Z_i+L，最佳聚焦位置在(a,b)中，即聚焦区间为(Z_i-L,Z_i+L)。

(6).判断初始化步长L是否达到最小步长L*，最小步长L*为高精度三维移动台的最小移动精度，即判断是否满足L＝L*，有以下两种判断结果。

若L>L*，则减小步长L，再以减小后的移动步长L继续遍历区间(a,b)，即区间(Z_i-L,Z_i+L)。重复步骤(2)～(6)，直至移动步长L减小到最小步长L*后，得到的聚焦位置即为最佳聚焦效果位置，将此时得到的最佳聚焦效果位置记为Z_i，Z_i对应的灰度方差值记为H_i，结束预测试自动聚焦算法。

若L≤L*，此时三维移动台运行步长为最小步长L*，将此时得到的聚焦位置作为最佳聚焦位置，将最佳聚焦位置记为Z_i，将最佳聚焦位置Z_i对应的灰度方差值记为H_i，结束预测试自动聚焦算法。

(二)、原位测试自动聚焦算法。

原位测试自动聚焦算法是在原位测试开始后启用的动态聚焦算法。经过预测试自动聚焦算法已经找到最佳聚焦位置，但在原位测试过程中样品会发生微小变形以及原位台运转使样品失焦，导致最佳聚焦位置发生改变，此时就需要实时自动微调焦距，使样品快速准确对焦。考虑到原位测试过程中焦点位置变化十分缓慢，本发明采用最小步长过峰搜索法以提高焦点搜索的准确性；并且实时自动调整聚焦阈值H*，不仅可以防止画面反复振荡，还可以防止在原位测试过程中可接受聚焦点的误判情况使画面逐步模糊。

具体的，如图3所示，本发明提供的原位测试自动聚焦算法包括以下步骤：

(1).预测试自动聚焦结束，原位测试开始，原位台开始运转。

(2).采集当前位置的图像并计算灰度方差值h₁。

(3).比较h₁和H_i-H*的大小，其中，H_i为经预测试自动聚焦算法得到的最佳聚焦位置图像的灰度方差值，H*为可接受的聚焦阈值，即当当前位置的图像对应的灰度方差值小于H_i-H*时，可认为当前不是聚焦状态。

若h₁>H_i-H*，说明当前位置为聚焦状态无需调整，此时再判断原位测试是否结束。若原位测试结束，则原位测试自动聚焦结束；若原位测试未结束，则返回步骤(2)，继续采集图像、判断是否处于聚焦状态。

若h₁≤H_i-H*，说明当前位置处于离焦状态，进入步骤(4)。

(4).控制三维移动台沿Z轴移动最小步长L*，采集此位置图像并计算灰度方差值h2。

(5).比较h₁和h₂的大小。

若h₁＜h₂，则认为移动最小步长后的当前位置采集的图像比初始位置具有更多的细节、图像更清晰，令此时h₁＝h₂，返回步骤(4)。

若h₁≥h₂，则认为移动最小步长后的当前位置已经过了聚焦点，控制三维移动台移动反向。

(6).比较h₂和H_i-H*的大小。

若h₂≤H_i-H*，说明当前位置处于离焦状态，返回步骤(4)，继续控制三维移动台移动、采集图像、寻找最佳聚焦位置。

若h₂>H_i-H*，说明当前位置为聚焦状态无需调整，灰度方差值h₂处的图像为最新的聚焦图像，将当前最佳聚焦值h₂赋给H_i。

(7).判断原位测试是否结束。

若原位测试结束，则原位测试自动聚焦结束。

若原位测试未结束，则比较h₁和H_i的大小。

若h₁>H_i，则图像较之前最佳聚焦位置图像更清晰，根据h₁增大的程度不同，相应的阈值H*也要随之有不同程度的增大，H*根据公式H*＝(H*+H_i-h₁)计算得到。

若h₁≤H_i，则图像较之前最佳聚焦位置图像稍微模糊，但还属于可接受的清晰度范围内，同时相应的阈值H*也要随h₁的减小也要有不同程度地减小，避免固定阈值情况下，图像清晰度一直下降但不聚焦的问题，H*根据公式H*＝(H*-H_i+h₁)计算得到。清晰度阈值确定后，返回步骤(2)。

(8).重复执行步骤(2)～(7)，直至原位测试结束时终止原位测试自动聚焦算法。

(三)、聚焦步骤(预测试自动聚焦算法和原位测试自动聚焦算法)中的描述灰度方差值的评价函数。

其中，H(n)表示第n幅图片的灰度方差值，M表示图像在高度方向像素点的个数，N表示图像在宽度方向像素点的个数，(x,y)表示空间中一个像素点的坐标，I(x,y)表示(x,y)处的像素点的灰度值，μ为一幅图像中所有像素点灰度值的平均值。

(四)、跟踪算法。

在原位测试过程中，样品会发生缓慢形变使得感兴趣区域偏移视野中心，使得无法全面地观察到感兴趣区域的变化，这时就需要实时跟踪感兴趣区域使得感兴趣区域始终位于视野的中心。

本发明提供的跟踪算法通过减少特征图像与采集图像S₁的对比次数，能够快速搜索到感兴趣区域所在位置，以达到实时跟踪感兴趣区域的目的。

具体的，如图4所示，本发明提供的跟踪算法包括以下步骤：

(1).用户在显示屏的图像上框选出感兴趣区域。

(2).数字相机采集框选区域的图像S₀，根据采集的框选图像提取HOG(Histogramof Oriented Gradient，方向梯度直方图)特征，得到特征图像，并训练具有判别性的滤波器。

(3).数字相机继续采集图像，记为S₁，初始化参数j，令j＝0。

(4).将采集到的图像S₁均分成(2^j×P)×(2^j×Q)块图像，均分后的图像块经过滤波器处理得到分块特征响应图。其中，P为X方向上图像S₁的分辨率初始值，Q为Y方向上图像S₁的分辨率初始值。

(5).将特征图像按图像S₁的图像块尺寸均分为(2^j×p)×(2^j×q)块图像，特征图像与分块特征响应图对比，并计算每个分块特征响应图的特征响应相似度，特征响应相似度最大的(2^j×p+1)×(2^j×q+1)图像块即为感兴趣区域的待选区域，记为s_j，其中p为X方向上图像S₀的分辨率初始值，q为Y方向上图像S₀的分辨率初始值，且p<P，q<Q。

(6)将s_j中的每个图像块均一分为四，即每个图像块的尺寸在X、Y维度上均缩小一半，形成新的分块特征响应图，令j＝j+1。重复步骤(5)，在新的分块特征响应图中搜索出特征响应相似度最大的(2^j×p+1)×((2^j×q+1)图像块记为s_j，此时的s_j为更接近特征图像的图像块组，继续将s_j中的每个图像块一分为四，直到s_j中的每个图像块不可再划分，满足条件“(2^j+1×P)＞P*or(2^j+1×Q)＞Q*”。此时得到的s_j图像块组就是搜索到的最优的感兴趣区域。其中，P*为X方向上图像分辨率的极限值，取决于数字相机；Q*为Y方向上图像分辨率的极限值，取决于数字相机；P<P*，Q<Q*。

(7).计算最优的感兴趣区域s_j图像块组在显示屏坐标系中的中心坐标(x,y)。

(8).判断坐标(x,y)和坐标(x₀,y₀)之间的距离与距离阈值D的大小，其中(x₀,y₀)为显示屏坐标系的中心坐标。判断结果有以下两种情况：

若坐标(x,y)与坐标(x₀,y₀)之间的距离小于距离阈值D，说明此时感兴趣区域图像处于显示屏图像可接受的相对中心位置，无需调整，此时若原位测试结束则结束跟踪算法；若原位测试未结束则返回步骤(3)，继续采集图像跟踪感兴趣区域。

若坐标(x,y)与坐标(x₀,y₀)的距离不小于距离阈值D，说明感兴趣区域图像严重偏离显示屏图像中心。根据显示屏坐标系与三维移动台坐标系之间的映射关系：F(x,y)→G(x,y)，计算将s_j图像块组移动到显示屏图像中心，在三维移动台坐标系中三维移动台需要移动的方向(cosα,sinα)和距离d。

(9).主机控制三维移动台沿方向(cosα,sinα)移动距离d，使得s_j图像块组处于显示屏图像中心。

(10).根据新对中的感兴趣区域，更新HOG特征和滤波器。

(11).重复操作步骤(3)～步骤(10)，直至原位测试结束。

实施例2：

实施例2提供了一种面向原位测试平台的实时对焦和居中调整装置，参见图1，包括：普通的光学显微镜1、数字相机2、主机3、显示屏4、高精度的三维移动台5和原位测试台6。所述三维移动台5安置在所述光学显微镜1中载物台的位置，所述三维移动台5的上方承载所述原位测试台6和样品7；所述数字相机2与所述光学显微镜1的目镜相连，所述主机3分别与所述显示屏4、所述数字相机2、所述三维移动台5相连。

所述光学显微镜1用于使所述样品7通过光学系统成像。所述数字相机2用于实时拍摄所述光学显微镜1所成的图像，并将图像信息传输至所述主机3。所述主机3包括自动聚焦算法单元和跟踪算法单元，所述自动聚焦算法单元执行如实施例1中所述的预测试自动聚焦算法和原位测试自动聚焦算法，所述跟踪算法单元执行如实施例1中所述的跟踪算法，所述主机3用于根据算法处理结果得到第一控制信息、第二控制信息，并将所述第一控制信息、所述第二控制信息传输至所述三维移动台5；所述主机3用于将所述图像信息传输至所述显示屏4。所述显示屏4用于对所述图像信息进行实时显示，方便让用户定义感兴趣的区域。所述三维移动台5用于根据所述第一控制信息承载所述样品7进行移动，以得到清晰的样品图像；所述三维移动台5用于根据所述第二控制信息承载所述样品7进行移动，使得所述样品7对应的感兴趣区域处于焦平面并处于显示图像中心。所述原位测试台6用于对所述样品进行原位测试(包括原位拉伸测试、原位压缩测试、原位剪切测试、原位弯曲测试、原位疲劳测试或其他原位力学测试)。

实施例2提供的一种面向原位测试平台的实时对焦和居中调整装置与实施例1提供的一种面向原位测试平台的实时对焦和居中调整方法相对应，因此，不再一一赘述。

综上，本发明将自动聚焦算法和自动追踪算法应用在普通光学显微镜与原位技术的结合中，通过主机中的自动聚焦算法单元实现原位测试过程中自动对焦，通过主机中的跟踪算法单元实现自动跟踪感兴趣区域，能够很好地解决在光学显微镜的原位测试中被测试的样品失焦和观测区域偏离的问题。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种面向原位测试平台的实时对焦和居中调整方法，其特征在于，进行原位测试前，将三维移动台安置在光学显微镜中载物台的位置，在所述三维移动台的上方安装原位测试台和样品，将数字相机与所述光学显微镜的目镜进行相连，将主机分别与显示屏、所述数字相机、所述三维移动台进行连接；

进行原位测试前，通过所述主机执行预测试自动聚焦算法，得到第一控制信息，所述三维移动台根据所述第一控制信息控制所述样品进行移动，得到清晰的样品图像，用户根据样品图像框选样品上的感兴趣区域；

进行原位测试的过程中，通过所述主机执行原位测试自动聚焦算法和跟踪算法，得到第二控制信息，所述三维移动台根据所述第二控制信息控制所述样品进行移动，使得所述感兴趣区域始终处于聚焦状态和对中状态；

其中，所述跟踪算法通过分块处理图像以减少特征图像与采集图像的对比次数，在感兴趣区域的跟踪过程中，图像分块数量指数型增长，感兴趣区域搜索范围逐渐缩小。

2.根据权利要求1所述的面向原位测试平台的实时对焦和居中调整方法，其特征在于，所述预测试自动聚焦算法进行遍历搜索时，采用的遍历区间逐渐减小，采用的遍历步长逐渐减小。

3.根据权利要求1所述的面向原位测试平台的实时对焦和居中调整方法，其特征在于，所述预测试自动聚焦算法包括以下步骤：

步骤101、控制所述三维移动台回到初始位置Z₀，初始化所述三维移动台沿Z轴的移动步长L，初始化聚焦位置所在的聚焦区间(a,b)；

步骤102、以移动步长L遍历聚焦区间(a,b)；

步骤103、计算各遍历点的灰度方差值，记为H₀、H₁、……、H_i、……H_n；

步骤104、比较灰度方差值H₀、H₁、……、H_i、……H_n，得到遍历点中的最大灰度方差值H_i及最大灰度方差值所对应的位置Z_i，将最大灰度方差值所对应的位置Z_i作为聚焦位置；

步骤105、将聚焦位置在两个方向上的各一个移动步长范围定为下一阶段的聚焦区间，令a＝Z_i-L，b＝Z_i+L，更新聚焦区间为(Z_i-L,Z_i+L)；

步骤106、判断移动步长L是否达到最小步长L*，最小步长L*为所述三维移动台的最小移动精度；

若L>L*，则减小移动步长L，再以减小后的移动步长L继续遍历聚焦区间，重复步骤102至步骤106，直至移动步长L减小到最小步长L*后，将得到的聚焦位置作为最佳聚焦位置，将最佳聚焦位置记为Z_i，将最佳聚焦位置Z_i对应的灰度方差值记为H_i，结束预测试自动聚焦算法；

若L≤L*，则将此时得到的聚焦位置作为最佳聚焦位置，将最佳聚焦位置记为Z_i，将最佳聚焦位置Z_i对应的灰度方差值记为H_i，结束预测试自动聚焦算法。

4.根据权利要求1所述的面向原位测试平台的实时对焦和居中调整方法，其特征在于，所述原位测试自动聚焦算法采用最小步长过峰搜索的方式进行，并实时自动调整聚焦阈值。

5.根据权利要求1所述的面向原位测试平台的实时对焦和居中调整方法，其特征在于，所述原位测试自动聚焦算法包括以下步骤：

步骤201、原位测试台开始运转；

步骤202、采集当前位置的图像并计算灰度方差值h₁；

步骤203、比较h₁和H_i-H*的大小；其中，H_i为经预测试自动聚焦算法得到的最佳聚焦位置对应的灰度方差值，H*为聚焦阈值；

若h₁>H_i-H*，则认为当前位置处于聚焦状态；此时再判断原位测试是否结束，若原位测试结束，则结束原位测试自动聚焦算法；若原位测试未结束，则返回至步骤202；

若h₁≤H_i-H*，则认为当前位置处于离焦状态，进入步骤204；

步骤204、控制所述三维移动台沿Z轴移动最小步长L*，采集此位置的图像并计算灰度方差值h2；最小步长L*为所述三维移动台的最小移动精度；

步骤205、比较h₁和h₂的大小；

若h₁＜h₂，则认为移动最小步长后的当前位置采集的图像更清晰，令h₁＝h₂，返回至步骤204；

若h₁≥h₂，则认为移动最小步长后的当前位置已经过了聚焦点，控制所述三维移动台移动反向；

步骤206、比较h₂和H_i-H*的大小；

若h₂≤H_i-H*，则认为当前位置处于离焦状态，返回至步骤204；

若h₂>H_i-H*，则认为当前位置处于聚焦状态，灰度方差值h₂对应的图像为最新的最佳聚焦位置图像，将h₂赋值给H_i；

步骤207、判断原位测试是否结束；

若原位测试结束，则结束原位测试自动聚焦算法；

若原位测试未结束，则比较h₁和H_i的大小；

若h₁>H_i，则图像较最佳聚焦位置图像更清晰，根据h₁调整H*的大小，H*根据公式H*＝(H*+H_i-h₁)计算得到；

若h₁≤H_i，则图像较最佳聚焦位置图像稍微模糊，但还属于可接受的清晰度范围内，根据h₁调整H*的大小，H*根据公式H*＝(H*-H_i+h₁)计算得到；聚焦阈值H*调整后，返回至步骤202；

步骤208、重复执行步骤202至步骤207，直至原位测试结束。

6.根据权利要求1所述的面向原位测试平台的实时对焦和居中调整方法，其特征在于，所述跟踪算法包括以下步骤：

步骤301、框选样品上的感兴趣区域；

步骤302、通过所述数字相机采集感兴趣区域对应的图像S₀，根据采集的图像S₀提取HOG特征，得到特征图像，并训练具有判别性的滤波器；

步骤303、通过所述数字相机继续采集图像，记为S₁，初始化参数j，令j＝0；

步骤304、将采集到的图像S₁均分成(2^j×P)×(2^j×Q)图像块，均分后的图像块经过所述滤波器处理得到分块特征响应图；其中，P为X方向上图像S₁的分辨率初始值，Q为Y方向上图像S₁的分辨率初始值；

步骤305、将特征图像按图像S₁的图像块尺寸均分为(2^j×p)×(2^j×q)块图像，将特征图像与分块特征响应图进行对比，并计算每个分块特征响应图的特征响应相似度，将特征响应相似度最大的(2^j×p+1)×(2^j×q+1)图像块作为感兴趣区域的待选区域，记为s_j；其中，p为X方向上图像S₀的分辨率初始值，q为Y方向上图像S₀的分辨率初始值，且p<P，q<Q；

步骤306、将s_j中的每个图像块一分为四，使每个图像块的尺寸在X、Y维度上均缩小一半，形成新的分块特征响应图，令j＝j+1；重复步骤305，在新的分块特征响应图中搜索出特征响应相似度最大的(2^j×p+1)×(2^j×q+1)图像块记为s_j，此时的s_j为更接近特征图像的图像块，继续将s_j中的每个图像块一分为四，直到s_j中的每个图像块不可再划分，满足条件“(2^j+1×P)＞P*or(2^j+1×Q)＞Q*”；此时得到的s_j就是搜索到的最优的感兴趣区域；其中，P*为X方向上图像分辨率的极限值，取决于数字相机；Q*为Y方向上图像的极限分辨率，取决于数字相机；P<P*，Q<Q*；

步骤307、计算最优的感兴趣区域在显示屏坐标系中的中心坐标(x,y)；

步骤308、判断坐标(x,y)和坐标(x₀,y₀)之间的距离与距离阈值D的大小；其中，(x₀,y₀)为显示屏坐标系的中心坐标；

若坐标(x,y)和坐标(x₀,y₀)之间的距离＜距离阈值D，则认为此时的最优的感兴趣区域处于显示屏图像可接受的相对中心位置，无需调整；此时若原位测试结束，则结束跟踪算法；若原位测试未结束则返回至步骤303；

若坐标(x,y)和坐标(x₀,y₀)之间的距离≥距离阈值D，则认为此时的最优的感兴趣区域严重偏离显示屏图像中心；根据显示屏坐标系与三维移动台坐标系之间的映射关系：F(x,y)→G(x,y)，计算将s_j图像块移动到显示屏图像中心，在三维移动台坐标系中所述三维移动台需要移动的方向(cosα,sinα)和距离d；

步骤309、所述主机控制所述三维移动台沿方向(cosα,sinα)移动距离d，使得s_j图像块处于显示屏图像中心；

步骤310、根据新对中的感兴趣区域，更新HOG特征和滤波器；

步骤311、重复操作步骤303至步骤310，直至原位测试结束。

7.根据权利要求1所述的面向原位测试平台的实时对焦和居中调整方法，其特征在于，所述预测试自动聚焦算法和所述原位测试自动聚焦算法中描述灰度方差值的评价函数如下：

其中，H(n)表示第n幅图片的灰度方差值，M表示图像在高度方向像素点的个数，N表示图像在宽度方向像素点的个数，(x,y)表示空间中一个像素点的坐标，I(x,y)表示(x,y)处的像素点的灰度值，μ为一幅图像中所有像素点灰度值的平均值。

8.根据权利要求1所述的面向原位测试平台的实时对焦和居中调整方法，其特征在于，通过所述光学显微镜对所述样品成像；通过所述数字相机实时拍摄所述光学显微镜所成的图像，并将图像信息传输至所述主机；通过所述主机将所述图像信息传输至所述显示屏；通过所述显示屏对所述图像信息进行实时显示；通过所述原位测试台对所述样品进行原位测试。

9.一种面向原位测试平台的实时对焦和居中调整装置，其特征在于，包括：光学显微镜、数字相机、主机、显示屏、三维移动台和原位测试台；

所述三维移动台安置在所述光学显微镜中载物台的位置，所述三维移动台的上方承载所述原位测试台和样品；所述数字相机与所述光学显微镜的目镜相连，所述主机分别与所述显示屏、所述数字相机、所述三维移动台相连；

所述光学显微镜用于使所述样品通过光学系统成像；

所述数字相机用于实时拍摄所述光学显微镜所成的图像，并将图像信息传输至所述主机；

所述主机包括自动聚焦算法单元和跟踪算法单元，所述自动聚焦算法单元执行如权利要求1-8中任一项所述的预测试自动聚焦算法和原位测试自动聚焦算法，所述跟踪算法单元执行如权利要求1-8中任一项所述的跟踪算法，所述主机用于根据算法处理结果得到第一控制信息、第二控制信息，并将所述第一控制信息、所述第二控制信息传输至所述三维移动台；所述主机用于将所述图像信息传输至所述显示屏；

所述显示屏用于对所述图像信息进行实时显示；

所述三维移动台用于根据所述第一控制信息承载所述样品进行移动，以得到清晰的样品图像；所述三维移动台用于根据所述第二控制信息承载所述样品进行移动，使得所述样品对应的感兴趣区域处于焦平面并处于显示图像中心；

所述原位测试台用于对所述样品进行原位测试。

Images