CN114113112B - 一种基于三光源显微系统的表面微缺陷定位与识别方法 - Google Patents

Abstract

一种基于三光源显微系统的表面微缺陷定位与识别方法，涉及工程光学技术领域，用以解决现有技术对于大口径光学元件表面微缺陷不能准确识别和定位不精确的问题。本发明的技术要点包括：获取元件表面多个缺陷区域的初始位置；对于每个缺陷区域，利用吹尘前后的图像初步排除伪缺陷；对于保留的每个缺陷区域，利用预训练的缺陷预测模型进行预测，二次排除伪缺陷；对于经过二次排除后保留的每个缺陷区域，采用改变物距的自动聚焦方法和基于图像处理的缺陷目标提取方法对缺陷区域的初始位置进行修正，获取多个缺陷区域的精确位置。本发明排除了伪缺陷的干扰，并进一步提升了元件表面缺陷的定位精度，可为后续缺陷修复提供可靠数据支撑。

Description

一种基于三光源显微系统的表面微缺陷定位与识别方法

技术领域

本发明涉及工程光学技术领域，具体涉及一种基于三光源显微系统的表面微缺陷定位与识别方法。

背景技术

大口径光学元件表面损伤问题是制约高功率固体激光装置负载能力提升的主要瓶颈。元件在加工、清洗、转运过程中会不可避免的引入一些凹坑、划痕、微裂纹等表层微缺陷。在高通量激光的连续辐照下，这些表层微缺陷会快速扩展，其扩展过程是一个“自加速”过程。研究表明，随着激光辐照次数的增加，元件表面的缺陷尺寸将呈指数性增长，缺陷数量也会逐渐增加，并最终导致元件报废。由于大口径光学元件加工工艺复杂，成本很高，为节约装置的维护成本必须对受损伤元件进行及时修复。工程上常采用CO₂激光对熔石英元件表面缺陷进行局部修复，通过在缺陷区域刻蚀圆锥体来消除缺陷，该方法能够有效提高元件的损伤阈值延长元件的使用寿命。而采用合适的方法获取元件表面缺陷的准确位置是实现缺陷点激光修复的前提。

基于机器视觉的暗场检测是光学元件表面缺陷检测的常用手段。暗场检测时，只有缺陷点的散射光能够进入相机视野，这样可以获得暗背景下的亮缺陷。为了快速获得元件表面缺陷的分布情况，暗场检测像素分辨率较低，使用该方法获取的坐标只能用于粗定位。由于散射放大效应，暗场检测方法易于观察和检测尺寸较小的表面缺陷，但散射效应也会造成图像尺寸与实际尺寸之间难以标定。除此之外，元件表面的污染物也会通过暗场成像被检测出来干扰缺陷信息的提取。

发明内容

鉴于以上问题，本发明提出一种基于三光源显微系统的表面微缺陷定位与识别方法，用以解决现有技术对于大口径光学元件表面微缺陷不能准确识别和定位不精确的问题。

一种基于三光源显微系统的表面微缺陷定位与识别方法，包括以下步骤：

步骤一、获取元件表面多个缺陷区域的初始位置；所述初始位置包括在机床坐标系下X、Y、Z轴初始坐标；

步骤二、对于每个缺陷区域，利用吹尘前后的图像初步排除伪缺陷；

步骤三、对于保留的每个缺陷区域，利用预训练的缺陷预测模型进行预测，二次排除伪缺陷；

步骤四、对于经过二次排除后保留的每个缺陷区域，采用改变物距的自动聚焦方法和基于图像处理的目标点提取方法对缺陷区域的初始位置进行修正，获取多个缺陷区域的精确位置。

进一步地，步骤一的具体步骤包括：

步骤一一、对元件表面预设扫描区域进行逐行逐列移动扫描，采集获取多个预设拍照位置的多张子图；每张子图的预设拍照位置为：

式中，x_i,j、y_i,j、z_i,j表示机床坐标系下第j行第i列子图的拍照位置；x_o、y_o表示元件几何中心点在相机视野中心时机床坐标系下X、Y轴坐标；Xs、Ys分别表示沿行、沿列方向扫描步进值；S_X、S_Y表示扫描起始点与元件几何中心点的距离；z(.)表示以元件几何中心点为坐标原点的元件表面方程；z_o表示元件几何中心点在相机聚焦清晰时机床坐标系下Z轴坐标；

步骤一二、对多张子图进行处理，获得元件表面多个缺陷区域的初始位置。

进一步地，步骤一二的具体步骤包括：对每张子图进行图像分割处理，获得多个缺陷区域图像；计算包络每个缺陷区域中所有像素点的最小外接圆圆心，将该圆心作为每个缺陷区域对应的像素坐标；然后将像素坐标进行转换，获得每个缺陷区域在机床坐标系下的X、Y轴初始坐标；每个缺陷区域在机床坐标系下的Z轴初始坐标为采集子图时相机的位置。

进一步地，步骤二的具体步骤包括：

步骤二一、对多个缺陷区域进行吹尘处理，并对每个缺陷区域采集吹尘前后的图像；

步骤二二、利用模板匹配方法比较吹尘前后的图像，若匹配程度低则判断该缺陷区域为伪缺陷，否则保留该缺陷区域。

进一步地，步骤二二的具体步骤包括：对吹尘前后的图像进行二值化处理，获取缺陷区域轮廓；计算该缺陷区域轮廓外接矩形并截取该矩形区域图像；将吹尘前的矩形区域图像作为模板，利用下述公式对吹尘前后的矩形区域图像进行模板匹配：

式中，R(x,y)表示吹尘前后矩形区域图像的匹配相关系数；T'(x',y')表示标准化后的吹尘前矩形区域图像在(x',y')坐标位置的值；I'(x+x',y+y')表示标准化后的吹尘后矩形区域图像在(x+x',y+y')坐标位置的值；当匹配相关系数小于预设系数阈值时判断该缺陷区域为伪缺陷。

进一步地，步骤三的具体步骤包括：

步骤三一、对于保留的每个缺陷区域，在背照光源、环形光源和同轴光源下分别采集三个图像，并按照红绿蓝三通道顺序进行RGB合成；

步骤三二、将每个缺陷区域合成后的图像输入基于卷积神经网络的缺陷预测模型进行预测，获取预测结果，所述预测结果包括缺陷区域是否为伪缺陷。

进一步地，步骤四的具体步骤包括：

步骤四一、采用改变物距的自动聚焦方法对缺陷区域在机床坐标系下Z轴初始坐标进行修正，获得Z轴修正坐标；

步骤四二、根据Z轴修正坐标确定物距，采集包含缺陷区域的图像，基于图像处理的目标点提取方法对缺陷区域X、Y轴初始坐标进行修正，获得X、Y轴修正坐标。

进一步地，步骤四一的具体步骤包括：设置搜索步长以改变相机和元件之间的物距，按照搜索步长采集缺陷区域在不同焦平面下的图像；对于每个焦平面下的一个图像，计算其水平和垂直方向的梯度平方和；比较不同焦平面对应的多个水平和垂直方向的梯度平方和，当水平和垂直方向的梯度平方和的值减小时，减小搜索步长以提高聚焦精度，否则按照搜索步长沿反方向进行采集；继续采集包含缺陷区域的图像，重复上述过程，直至搜索步长小于预设步长阈值时停止；此时，缺陷区域在机床坐标系下的Z轴修正坐标为：Z轴初始坐标加上多个焦平面所对应的搜索步长的总和。

进一步地，步骤四二的具体步骤包括：所述Z轴修正坐标对应的物距确定了聚焦清晰时相机和元件的位置，在聚焦清晰后采集包含缺陷区域的图像；对所述图像进行二值化处理；对经过二值化处理的图像提取缺陷区域轮廓，计算缺陷区域的X、Y轴当前坐标和初始坐标在图像坐标系下的像素坐标偏差值；根据像素坐标偏差值计算缺陷区域的X、Y轴当前坐标和初始坐标在机床坐标系下的实际坐标偏差值；根据实际坐标偏差值计算获得X、Y轴修正坐标。

进一步地，步骤四二中根据像素坐标偏差值计算缺陷区域的X、Y轴当前坐标和初始坐标在机床坐标系下的实际坐标偏差值(Δx,Δy)为：

(Δx,Δy)＝(k_pΔx₁,k_pΔy₁)

式中，k_p表示已标定的图像单个像素所代表的实际尺寸；Δx₁,Δy₁表示缺陷区域在X、Y轴方向的像素坐标偏差值；根据实际坐标偏差值计算获得X、Y轴修正坐标(x_P,y_P)为：

(x_P,y_P)＝(x_R+Δx,y_R+Δy)

式中，(x_R,y_R)表示缺陷区域X、Y轴初始坐标。

本发明的有益技术效果是：

本发明利用吹尘处理结合图像匹配实现了伪缺陷的初步剔除；使用基于三光源数据条件下的缺陷识别模型对目标点进行判别，再次消除了伪缺陷的干扰；使用显微检测系统结合图像处理实现了坐标位置修正，提高了元件表面缺陷点定位和尺寸的测量精度，为缺陷点修复提供了可靠的信息。本发明方法无需人工干预，通过硬件系统与工控机相连，可实现元件表面缺陷定位与识别过程的自动化。

附图说明

本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。

图1是本发明实施例一种基于三光源显微系统的表面微缺陷定位与识别方法的流程图；

图2是本发明实施例中三光源显微检测装置结构示意图；

图3是本发明实施例中吹尘前后图像匹配示意图；

图4是本发明实施例中基于卷积神经网络的目标点识别过程示意图；

图5是本发明实施例中使用的控制软件总体界面示例图；

图6是本发明实施例中吹尘前后显微相机采集的图像示例图；其中，图(a)是缺陷编号ID-54吹尘前后图像；图(b)是缺陷编号ID-110吹尘前后图像；图(c)是缺陷编号ID-282吹尘前后图像；

图7是本发明实施例中目标点识别过程示例图；

图8是本发明实施例中缺陷区域精定位效果图；其中，图(a)是缺陷编号ID-282聚焦前图像；图(b)是缺陷编号ID-282聚焦后图像；图(c)是缺陷编号ID-282精定位效果图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，在下文中将结合附图对本发明的示范性实施方式或实施例进行描述。显然，所描述的实施方式或实施例仅仅是本发明一部分的实施方式或实施例，而不是全部的。基于本发明中的实施方式或实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式或实施例，都应当属于本发明保护的范围。

本发明提出一种基于三光源显微系统的表面微缺陷定位与识别方法，借助高分辨率显微装置对暗场检测出的目标点进行逐个检测以提高缺陷的定位和尺寸测量精度，同时借助三光源系统获取不同光照下的目标点显微图像，并以此为依据利用分类模型实现伪缺陷的剔除。

本发明实施例提供一种基于三光源显微系统的表面微缺陷定位与识别方法，如图1所示，该方法包括以下步骤：

步骤一、获取元件表面多个缺陷区域的初始位置；初始位置包括在机床坐标系下X、Y、Z轴初始坐标；

步骤二、对于每个缺陷区域，利用吹尘前后的图像初步排除伪缺陷；

步骤三、对于保留的每个缺陷区域，利用预训练的缺陷预测模型进行预测，二次排除伪缺陷；

步骤四、对于经过二次排除后保留的每个缺陷区域，采用改变物距的自动聚焦方法和基于图像处理的目标点提取方法对缺陷区域的初始位置进行修正，获取多个缺陷区域的精确位置。

本实施例中，可选地，步骤一的具体步骤包括：

步骤一一、对元件表面预设扫描区域进行逐行逐列移动扫描，采集获取多个预设拍照位置的多张子图；每张子图的预设拍照位置为：

式中，x_i,j、y_i,j、z_i,j表示机床坐标系下第j行第i列子图的拍照位置；x_o、y_o表示元件几何中心点在相机视野中心时机床坐标系下X、Y轴坐标；Xs、Ys分别表示沿行、沿列方向扫描步进值；S_X、S_Y表示扫描起始点与元件几何中心点的距离；z(.)表示以元件几何中心点为坐标原点的元件表面方程；z_o表示元件几何中心点在相机聚焦清晰时机床坐标系下Z轴坐标；

步骤一二、对多张子图进行处理，获得元件表面多个缺陷区域的初始位置。

本实施例中，可选地，步骤一二的具体步骤包括：对每张子图进行图像分割处理，获得多个缺陷区域图像；计算包络每个缺陷区域中所有像素点的最小外接圆圆心，将该圆心作为每个缺陷区域对应的像素坐标；然后将像素坐标进行转换，获得每个缺陷区域在机床坐标系下的X、Y轴初始坐标；每个缺陷区域在机床坐标系下的Z轴初始坐标为采集子图时相机的位置。

本实施例中，可选地，步骤二的具体步骤包括：

步骤二一、对多个缺陷区域进行吹尘处理，并对每个缺陷区域采集吹尘前后的图像；

步骤二二、利用模板匹配方法比较吹尘前后的图像，若匹配程度低则判断该缺陷区域为伪缺陷，否则保留该缺陷区域。

本实施例中，可选地，步骤二二的具体步骤包括：对吹尘前后的图像进行二值化处理，获取缺陷区域轮廓；计算该缺陷区域轮廓外接矩形并截取该矩形区域图像；将吹尘前的矩形区域图像作为模板，利用下述公式对吹尘前后的矩形区域图像进行模板匹配：

式中，R(x,y)表示吹尘前后矩形区域图像的匹配相关系数；T'(x',y')表示标准化后的吹尘前矩形区域图像在(x',y')坐标位置的值；I'(x+x',y+y')表示标准化后的吹尘后矩形区域图像在(x+x',y+y')坐标位置的值；当匹配相关系数小于预设系数阈值时判断该缺陷区域为伪缺陷。

本实施例中，可选地，步骤三的具体步骤包括：

步骤三一、对于保留的每个缺陷区域，在背照光源、环形光源和同轴光源下分别采集三个图像，并按照红绿蓝三通道顺序进行RGB合成；

步骤三二、将每个缺陷区域合成后的图像输入基于卷积神经网络的缺陷预测模型进行预测，获取预测结果，预测结果包括缺陷区域是否为伪缺陷。

本实施例中，可选地，步骤四的具体步骤包括：

步骤四一、采用改变物距的自动聚焦方法对缺陷区域在机床坐标系下Z轴初始坐标进行修正，获得Z轴修正坐标；

步骤四二、根据Z轴修正坐标确定物距，采集包含缺陷区域的图像，基于图像处理的目标点提取方法对缺陷区域X、Y轴初始坐标进行修正，获得X、Y轴修正坐标。

本实施例中，可选地，步骤四一的具体步骤包括：设置搜索步长以改变相机和元件之间的物距，按照搜索步长采集缺陷区域在不同焦平面下的图像；对于每个焦平面下的一个图像，计算其水平和垂直方向的梯度平方和；比较不同焦平面对应的多个水平和垂直方向的梯度平方和，当水平和垂直方向的梯度平方和的值减小时，减小搜索步长以提高聚焦精度，否则按照搜索步长沿反方向进行采集；继续采集包含缺陷区域的图像，重复上述过程，直至搜索步长小于预设步长阈值时停止；此时，缺陷区域在机床坐标系下的Z轴修正坐标为：Z轴初始坐标加上多个焦平面所对应的搜索步长的总和。

本实施例中，可选地，步骤四二的具体步骤包括：Z轴修正坐标对应的物距确定了聚焦清晰时相机和元件的位置，在聚焦清晰后采集包含缺陷区域的图像；对图像进行二值化处理；对经过二值化处理的图像提取缺陷区域轮廓，计算缺陷区域的X、Y轴当前坐标和初始坐标在图像坐标系下的像素坐标偏差值；根据像素坐标偏差值计算缺陷区域的X、Y轴当前坐标和初始坐标在机床坐标系下的实际坐标偏差值；根据实际坐标偏差值计算获得X、Y轴修正坐标。

本实施例中，可选地，步骤四二中根据像素坐标偏差值计算缺陷区域的X、Y轴当前坐标和初始坐标在机床坐标系下的实际坐标偏差值(Δx,Δy)为：

(Δx,Δy)＝(k_pΔx₁,k_pΔy₁)

式中，k_p表示已标定的图像单个像素所代表的实际尺寸；Δx₁,Δy₁表示缺陷区域在X、Y轴方向的像素坐标偏差值；根据实际坐标偏差值计算获得X、Y轴修正坐标(x_P,y_P)为：

(x_P,y_P)＝(x_R+Δx,y_R+Δy)

式中，(x_R,y_R)表示缺陷区域X、Y轴初始坐标。

本发明另一实施例提供一种基于三光源显微系统的表面微缺陷定位与识别方法，该方法所对应的三光源显微检测装置示意图如图2所示，包括运动平台和显微检测系统。运动平台包含X、Y、Z三个运动轴，定位精度为±10μm，X、Y、Z运动轴的运动方向分别和机床坐标系的X、Y、Z坐标轴方向一致；运动平台可搭载光学大口径元件实现沿X、Y轴方向的移动，搭载显微检测系统实现沿Z轴方向的移动。显微检测系统由面阵CCD相机、显微镜头、光源、吹尘设备等构成，该系统可以通过工控机实现自动控制。

本发明实施例首先根据暗场检测结果(即已经获得的缺陷区域粗定位结果)将目标点逐个移动到显微检测工位并对其进行吹尘处理，对吹尘前后的图像进行对比；若目标点被去除则该点是污染物不属于缺陷，跳过该点对下一个点进行检测；若目标点未被去除则切换三种光源并采集不同光源照射下的图像，将图像输入到基于卷积神经网络的缺陷预测模型中，若预测为伪缺陷则跳过该点对下一个点进行检测，若预测为缺陷则对其进行精定位以修正暗场检测的坐标误差；最后将元件表面微缺陷定位与识别结果保存到显微检测文件中，该文件可为后续激光修复提供依据。该方法的具体步骤为：

步骤1、将目标点逐个移动到显微检测工位并对其进行吹尘处理。

根据本发明实施例，根据暗场检测结果可以将目标点定位到显微视野内，对其进行自动聚焦并控制显微相机采集吹尘前的图像作为模板。开启电磁阀进行吹尘操作，一段时间后采集吹尘后的图像，通过模板匹配方法比较吹尘前后的两张图像，若匹配程度低则代表该点为伪缺陷可以跳过，反之需要进行进一步的检测。

模板匹配方法是在已知目标点图像的基础上，将目标图像作为模板叠放在待检测图像上并进行平移，通过比较模板与其覆盖区域的相似程度，寻找待检测图像中是否含有目标点图像以及目标点图像的位置。图3是吹尘前后显微图像示意图，对吹尘前图像(如图3(a))进行处理，获取目标点区域图像并将其为目标模板，使用该模板遍历吹尘后的图像(如图3(b))中所有像素位置，通过比较模板与其覆盖区域的相似程度确定吹尘后的图像中是否包含模板以及模板在吹尘后的图像中的位置。模板与其覆盖区域的相似程度通过式(1)～(3)进行评估，通过式(1)、(2)将模板和目标图像标准化，这样可以消除光照不均对于模板匹配的干扰，通过式(3)计算模板与其覆盖区域的相关系数，相关系数越接近1，表明模板与覆盖区域相似度越高。

式中，T、I分别表示模板图像和目标图像；w_T、h_T分别代表模板图像的宽和高；w_I、h_I分别代表模板覆盖区域的宽和高。

该过程的具体步骤为：

步骤1-1：根据暗场检测结果获得目标点坐标并对目标点定位路径进行规划。

通过暗场检测可以获得光学元件表面缺陷点的分布情况，利用这些信息可以确定缺陷点移动到显微视野的机床坐标，但这些点是按照暗场扫描顺序排列的，会使得路径过长。为了缩短定位路程，使用贪心算法对缺陷点进行路径规划，该算法每次寻找未经过点中距离当前点最近的点作为下一步进点，直至遍历所有点形成完整路径，使用该方法可在较短时间内获取一条较优路径。

步骤1-2：按照定位路径将缺陷点逐个定位到显微图像视野进行目标点模板提取。

控制平台运动到目标点坐标位置，待平台各轴停稳后开启同轴和环形光源并控制相机采集显微图像。对显微图像进行二值化处理获取目标点区域，计算该区域外接矩形并截取该区域图像作为目标点模板，图3(a)中的矩形框即为该过程截取的目标模板。

步骤1-3：对目标点进行吹尘并采集吹尘后的图像。

工控机通过控制电磁阀通断电调整电磁阀阀门开闭，通过控制电磁阀通电时间调整电磁阀阀门开启时间，通过上述过程可以实现吹尘的自动控制。对目标区域吹尘一段时间后，控制显微相机采集吹尘后的图像。

步骤1-4：通过对吹尘前后图像进行对比剔除污染物目标。

将步骤1-2获得的模板图像叠放在吹尘后的图像上并进行平移，计算模板与其覆盖区域的相关系数，若相关系数最大值大于设定阈值且相关系数最大时的像素坐标与吹尘前目标点坐标一致，则认为目标点没有被吹尘除去需要进一步的检测。反之，则代表该点为伪缺陷，可将其剔除并开始下一个目标点的检测。

步骤2、使用基于卷积神经网络的缺陷识别模型对目标点进行判别。

根据本发明实施例，若吹尘操作无法去除目标点，则需要对其进行进一步的判断。本发明提出基于卷积神经网络搭建缺陷预测模型，将图像输入预测模型可以获得该目标的种类，包括缺陷和伪缺陷两种，对于缺陷点需要对其进行精定位以保证后续缺陷修复对定位精度的要求，对于伪缺陷则直接舍弃。为提高模型预测的准确率，使用了同轴光、环形光、背照光三种不同光照条件下的缺陷图像作为预测依据。

三种光照条件包括：同轴光、环形光和背照光，可通过光源控制器进行自动切换，其过程为：工控机利用串口通信向光源控制器发送指令，光源控制器根据指令控制相应光源的亮灭。环形光以低角度照射光学元件表面形成暗场环境，该光照条件对表面凹凸表现力强，能够反映缺陷表面的细微特征。背照光发光面是一个漫反射面，均匀性好，通过反方向照射能够反映缺陷的亚表层特征。同轴光能够凸显表面不平整，对划痕、裂纹和异物有较强的表现力。不同光照条件可以反映目标点的不同特征，因此同时使用三种不同光照条件的目标图像作为预测依据，搭建基于卷积神经网络的缺陷预测模型对目标点进行辨别。该过程的具体步骤为：

步骤2-1：依次打开环形光源、同轴光源和背照光源，控制相机采集图像依次记为RL、CL、BL，分别截取三张图像的目标点区域将其按照R、G、B三通道顺序进行合并，如图4中所示，合成后的RGB图像包含三种光照条件下的不同特征。

步骤2-2：将合并后的RGB图像输入到缺陷预测模型中进行预测，判断目标点是缺陷还是伪缺陷，该过程如图4所示。若目标点被预测为伪缺陷则将其剔除并进行下一个点的检测，若目标点被预测为缺陷则进行下一步的精定位过程。

步骤3、对缺陷点进行精确定位。

根据本发明实施例，大口径元件表面缺陷属于随机分布，为获取其分布信息，需要对元件全口径进行检测，因此暗场检测范围大，检测分辨率比较低，暗场检测获得的坐标无法满足激光修复对缺陷定位精度的要求，需要将缺陷点移动到显微工位做进一步修正。由于坐标X、Y的偏差会引起缺陷点偏离显微图像视野中心，Z的偏差会使焦平面偏离表面缺陷造成图像模糊，因而本发明通过测量缺陷中心到显微视野中心的距离来修正X、Y方向的偏差，通过控制显微相机沿Z轴移动，获得聚焦清晰时的Z轴坐标来修正Z轴方向的偏差，通过上述过程实现缺陷点的精定位。

精确定位过程包括：通过自动聚焦实现Z轴坐标的修正，通过计算缺陷偏离显微视野中心的距离实现X、Y轴坐标的修正。该过程的具体步骤为：

步骤3-1：控制运动平台沿Z轴移动改变显微系统物距，在同轴光源和环形光源开启的条件下，采集不同物距下的显微图像，并对图像的清晰度进行评价。获取图像清晰度最高时的Z轴坐标作为修正后的Z轴坐标。

清晰度评价函数用来定量表达图像的清晰程度，理想的评价函数达到最大值时所对应的Z轴坐标位置应为最佳的聚焦位置。使用式(4)所示的Tenengrad函数来评价图像的清晰度，该函数是一种基于梯度的评价函数。

式中，Sobel_x,Sobel_y分别表示水平和垂直方向的梯度算子，例如为：

一般情况下，聚焦越好的图像拥有更加清晰的边缘，因而其边缘的梯度值较大。基于上述原理，Tenengrad函数通过计算图像水平和垂直方向的梯度平方和来对图像的清晰程度进行评估。

步骤3-2：采集聚焦清晰的图像，对图像进行处理获取缺陷点最小外接圆并计算最小外接圆圆心偏离显微视野中心的距离(Δx，Δy)，将偏差值补偿到暗场检测结果中实现X、Y轴坐标的修正。

步骤4、生成显微检测文件。

根据本发明实施例，系统完成表面缺陷的识别与定位后需要将结果保存到显微检测文件中，该文件将为后续缺陷点的定位和修复提供依据。显微检测文件时是在原有暗场检测文件的基础上生成的。暗场检测文件对所有目标点进行了编号，为保证检测结果的可追溯性，显微检测文件的缺陷点编号也沿用这一编号，通过剔除暗场检测文件中的伪缺陷目标并对缺陷目标添加修正结果形成最终的显微检测文件。该文件包含了缺陷点的坐标和尺寸等信息，可以为修复方案制定和后续缺陷点定位提供可靠的依据。

本发明另一实施例提供一种基于三光源显微系统的表面微缺陷定位与识别方法的实例分析，利用上述方法对已经完成暗场检测的某批次元件进行显微定位与识别，该元件口径为430mm×430mm。图5是自主开发的大口径熔石英元件表面缺陷自动化检测与修复控制软件，表面微缺陷定位与识别是整个自动化流程的一部分，使用该软件可自动执行该过程无需人工操作。以暗场检测到的目标点ID-54、ID-110、ID-282为例对本发明实施例进行介绍。

(1)根据暗场检测结果将缺陷点移动显微视野中，控制相机采集吹尘前的图像如图6上半部分所示，对图像进行处理截取目标区域作为模板，如图中矩形框所示。控制电磁阀通电执行吹尘处理并采集吹尘后的显微图像如图6下半部分所示。将矩形框区域图像叠放在吹尘后的图像上并进行平移，计算模板图像与其叠放区域的最大相关系数，表1是三个目标点的最大相关系数及其坐标位置。匹配系数阈值设置为0.75，ID-54最大相关系数小于匹配系数阈值，表明该点是伪缺陷且被吹尘除去，ID-110和ID-282最大相关系数高于匹配系数阈值且吹尘前后目标点位置未发生变动，需要进一步的检测。

表1目标点模板匹配结果

(2)控制光源控制器依次打开环形光、同轴光和背照光光源，采集目标点在不同光源下的显微图像，将其按照RGB三通道顺序合成为彩色图像，合成结果如图7所示。将合成后的图像输入到缺陷预测模型中进行预测，模型将返回预测概率，概率值越接近1代表模型越倾向于将该点预测为缺陷，概率值越接近0代表模型越倾向于将该点预测为伪缺陷，预测概率阈值设为0.5。ID-110预测概率小于阈值，被认定为伪缺陷剔除。ID-282被认定为缺陷进行下一步的精定位。

(3)对缺陷点ID-282的暗场检测坐标进行修正。首先对该缺陷点进行自动聚焦，由图8可知聚焦后的图像清晰度明显提升，记录下此时的Z轴坐标Z＝7.438mm并将该点作为修正后的缺陷Z轴坐标。对聚焦后的图像进行处理，计算缺陷点最小外接圆偏离相机视野中心的距离即图中的(Δx，Δy)，将偏差值补偿到暗场检测结果中获得缺陷的精定位坐标，使用该坐标对缺陷点进行重新定位，定位结果如图8所示。

(4)重复上述过程，直至遍历所有目标点，将最终的检测结果保存到显微检测文件中。

本发明通过以上步骤实现了大口径元件表面微缺陷的定位与识别过程，排除了伪缺陷的干扰，并进一步提升了缺陷点的定位精度，为后续的缺陷定位和激光修复提供了可靠的数据支撑。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (4)

1.一种基于三光源显微系统的表面微缺陷定位与识别方法，其特征在于，包括以下步骤：

步骤一、获取元件表面多个缺陷区域的初始位置；所述初始位置包括在机床坐标系下X、Y、Z轴初始坐标；具体步骤包括：

步骤一一、对元件表面预设扫描区域进行逐行逐列移动扫描，采集获取多个预设拍照位置的多张子图；

步骤一二、对多张子图进行处理，获得元件表面多个缺陷区域的初始位置；

步骤二、对于每个缺陷区域，利用吹尘前后的图像初步排除伪缺陷；具体步骤包括：

步骤二一、对多个缺陷区域进行吹尘处理，并对每个缺陷区域采集吹尘前后的图像；

步骤二二、利用模板匹配方法比较吹尘前后的图像，若匹配程度低则判断该缺陷区域为伪缺陷，否则保留该缺陷区域；

步骤三、对于保留的每个缺陷区域，利用预训练的缺陷预测模型进行预测，二次排除伪缺陷；具体步骤包括：

步骤三一、对于保留的每个缺陷区域，在背照光源、环形光源和同轴光源下分别采集三个图像，并按照红绿蓝三通道顺序进行RGB合成；

步骤三二、将每个缺陷区域合成后的图像输入基于卷积神经网络的缺陷预测模型进行预测，获取预测结果，所述预测结果包括缺陷区域是否为伪缺陷；

步骤四、对于经过二次排除后保留的每个缺陷区域，采用改变物距的自动聚焦方法和基于图像处理的目标点提取方法对缺陷区域的初始位置进行修正，获取多个缺陷区域的精确位置；具体步骤包括：

步骤四一、采用改变物距的自动聚焦方法对缺陷区域在机床坐标系下Z轴初始坐标进行修正，获得Z轴修正坐标；具体步骤包括：设置搜索步长以改变相机和元件之间的物距，按照搜索步长采集缺陷区域在不同焦平面下的图像；对于每个焦平面下的一个图像，计算其水平和垂直方向的梯度平方和；比较不同焦平面对应的多个水平和垂直方向的梯度平方和，当水平和垂直方向的梯度平方和的值减小时，减小搜索步长以提高聚焦精度，否则按照搜索步长沿反方向进行采集；继续采集包含缺陷区域的图像，重复上述过程，直至搜索步长小于预设步长阈值时停止；此时，缺陷区域在机床坐标系下的Z轴修正坐标为：Z轴初始坐标加上多个焦平面所对应的搜索步长的总和；

步骤四二、根据Z轴修正坐标确定物距，采集包含缺陷区域的图像，基于图像处理的目标点提取方法对缺陷区域X、Y轴初始坐标进行修正，获得X、Y轴修正坐标；具体步骤包括：所述Z轴修正坐标对应的物距确定了聚焦清晰时相机和元件的位置，在聚焦清晰后采集包含缺陷区域的图像；对所述图像进行二值化处理；对经过二值化处理的图像提取缺陷区域轮廓，计算缺陷区域的X、Y轴当前坐标和初始坐标在图像坐标系下的像素坐标偏差值；根据像素坐标偏差值计算缺陷区域的X、Y轴当前坐标和初始坐标在机床坐标系下的实际坐标偏差值；根据实际坐标偏差值计算获得X、Y轴修正坐标；其中，根据像素坐标偏差值计算缺陷区域的X、Y轴当前坐标和初始坐标在机床坐标系下的实际坐标偏差值(Δx,Δy)为：

(Δx,Δy)＝(k_pΔx₁,k_pΔy₁)

式中，k_p表示已标定的图像单个像素所代表的实际尺寸；Δx₁,Δy₁表示缺陷区域在X、Y轴方向的像素坐标偏差值；根据实际坐标偏差值计算获得X、Y轴修正坐标(x_P,y_P)为：

(x_P,y_P)＝(x_R+Δx,y_R+Δy)

式中，(x_R,y_R)表示缺陷区域X、Y轴初始坐标。

2.根据权利要求1所述的一种基于三光源显微系统的表面微缺陷定位与识别方法，其特征在于，步骤一一中每张子图的预设拍照位置为：

式中，x_i,j、y_i,j、z_i,j表示机床坐标系下第j行第i列子图的拍照位置；x_o、y_o表示元件几何中心点在相机视野中心时机床坐标系下X、Y轴坐标；Xs、Ys分别表示沿行、沿列方向扫描步进值；S_X、S_Y表示扫描起始点与元件几何中心点的距离；z(.)表示以元件几何中心点为坐标原点的元件表面方程；z_o表示元件几何中心点在相机聚焦清晰时机床坐标系下Z轴坐标。

3.根据权利要求2所述的一种基于三光源显微系统的表面微缺陷定位与识别方法，其特征在于，步骤一二的具体步骤包括：对每张子图进行图像分割处理，获得多个缺陷区域图像；计算包络每个缺陷区域中所有像素点的最小外接圆圆心，将该圆心作为每个缺陷区域对应的像素坐标；然后将像素坐标进行转换，获得每个缺陷区域在机床坐标系下的X、Y轴初始坐标；每个缺陷区域在机床坐标系下的Z轴初始坐标为采集子图时相机的位置。

4.根据权利要求3所述的一种基于三光源显微系统的表面微缺陷定位与识别方法，其特征在于，步骤二二的具体步骤包括：对吹尘前后的图像进行二值化处理，获取缺陷区域轮廓；计算该缺陷区域轮廓外接矩形并截取该矩形区域图像；将吹尘前的矩形区域图像作为模板，利用下述公式对吹尘前后的矩形区域图像进行模板匹配：

式中，R(x,y)表示吹尘前后矩形区域图像的匹配相关系数；T'(x',y')表示标准化后的吹尘前矩形区域图像在(x',y')坐标位置的值；I'(x+x',y+y')表示标准化后的吹尘后矩形区域图像在(x+x',y+y')坐标位置的值；当匹配相关系数小于预设系数阈值时判断该缺陷区域为伪缺陷。