CN114113114A - 一种大口径元件表面微缺陷检测与修复的自动化工艺方法 - Google Patents

一种大口径元件表面微缺陷检测与修复的自动化工艺方法 Download PDF

Info

Publication number
CN114113114A
CN114113114A CN202111428288.9A CN202111428288A CN114113114A CN 114113114 A CN114113114 A CN 114113114A CN 202111428288 A CN202111428288 A CN 202111428288A CN 114113114 A CN114113114 A CN 114113114A
Authority
CN
China
Prior art keywords
defect
repair
repairing
image
defect area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111428288.9A
Other languages
English (en)
Other versions
CN114113114B (zh
Inventor
陈明君
赵林杰
尹朝阳
程健
袁晓东
郑万国
廖威
王海军
张传超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202111428288.9A priority Critical patent/CN114113114B/zh
Publication of CN114113114A publication Critical patent/CN114113114A/zh
Application granted granted Critical
Publication of CN114113114B publication Critical patent/CN114113114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106General arrangement of respective parts
    • G01N2021/0112Apparatus in one mechanical, optical or electronic block
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Abstract

一种大口径元件表面微缺陷检测与修复的自动化工艺方法,涉及工程光学技术领域,用以解决现有技术对于大口径元件表面微缺陷的检测精度低和修复效率低的问题。本发明的技术要点包括:利用暗场相机采集元件表面图像并处理,实现对元件表面多个缺陷区域的粗定位;利用显微相机按照粗定位获得的每个缺陷区域位置采集包含单个缺陷区域的图像并处理,实现对元件表面多个缺陷区域的精定位;利用激光修复装置对多个缺陷区域进行修复;修复完成后对多个修复坑进行修复效果检测。本发明实现了大口径元件表面微缺陷的自动化检测与修复,有效缩短了元件修复时间,减少人工参与程度,为工程上大批量修复光学元件提供了技术支撑。

Description

一种大口径元件表面微缺陷检测与修复的自动化工艺方法
技术领域
本发明涉及工程光学技术领域,具体涉及一种大口径元件表面微缺陷检测与修复的自动化工艺方法。
背景技术
高功率固体激光装置的建造需要大量的光学元件,这些元件在加工、运输过程中会不可避免的引入一些抛光缺陷、划痕、污染物等,导致在高功率激光辐照下引发激光损伤继而产生表面缺陷。缺陷一旦产生将弱化光学元件的材料性能,使损伤过程进一步加剧。如果不及时进行处理,缺陷会灾难性增长并最终导致光学元件报废。除此之外,缺陷的产生会降低光束质量,影响装置输出能力和激光聚焦性能;还会对光场产生调制形成强区对下游元件造成损伤。因此必须采取合适的方式及时对元件表面缺陷进行检测和修复。
目前工程上常用的方法是利用机器视觉检测技术对下架的光学元件表面缺陷进行检测,人工判断和定位需要修复的缺陷点;根据缺陷尺寸设置修复策略,手动控制CO2激光在缺陷部位刻蚀一个圆锥体实现缺陷的修复。但是这种方法需要大量的人工参与,效率低下且容易出错,不能满足当前光学元件大批量修复的工程需要。
发明内容
鉴于以上问题,本发明提出一种大口径元件表面微缺陷检测与修复的自动化工艺方法,用以解决现有技术对于大口径元件表面微缺陷的检测精度低和修复效率低的问题。
一种大口径元件表面微缺陷检测与修复的自动化工艺方法,包括:设置安装工位、暗场检测工位、显微检测工位和激光修复工位,按照下述步骤对大口径元件表面缺陷进行检测和修复:
步骤一、将元件从安装工位移动到暗场检测工位,利用暗场相机采集元件表面图像并处理,实现对元件表面多个缺陷区域的粗定位;
步骤二、将元件从暗场检测工位移动到显微检测工位,利用显微相机按照粗定位获得的每个缺陷区域位置采集包含单个缺陷区域的图像并处理,实现对元件表面多个缺陷区域的精定位;
步骤三、将元件从显微检测工位移动到激光修复工位,利用激光修复装置对多个缺陷区域进行修复。
进一步地,步骤一的具体步骤包括:
步骤一一、对元件表面预设扫描区域进行逐行逐列移动扫描,采集获取多个预设拍照位置的多张子图;每张子图的预设拍照位置为:
Figure BDA0003379305500000021
式中,xi,j、yi,j、zi,j表示机床坐标系下第j行第i列子图的拍照位置;xo、yo表示元件几何中心点在暗场相机视野中心时机床坐标系下X、Y轴坐标;Xs、Ys分别表示沿行、沿列方向扫描步进值;SX、SY分别表示扫描起始点与元件几何中心点在X、Y轴方向的距离;z(.)表示以元件几何中心点为坐标原点的元件标准方程;zo表示元件几何中心点在暗场相机聚焦清晰时机床坐标系下Z轴坐标;
步骤一二、对每张子图进行图像分割处理,获得多个缺陷区域图像;求取每个缺陷区域轮廓的最小外接圆,将其圆心作为该缺陷区域在子图中的像素坐标;通过下式获得每个缺陷区域在工件坐标系下的X、Y轴坐标(xp,yp):
Figure BDA0003379305500000022
式中,kx、ky分别表示单个像素在工件坐标系X、Y轴方向所代表的实际尺寸;m、n表示缺陷区域所对应的子图编号,n代表行号,m代表第n行的第m张子图;LW、LH分别表示子图的像素宽度和高度;LocX、LocY表示缺陷区域在子图中的像素坐标;SW/2、SH/2分别表示预设扫描区域宽度值的一半、高度值的一半。
进一步地,步骤一二中还包括根据缺陷区域的像素坐标提取缺陷区域特征,并将缺陷区域特征输入预训练的集成决策树分类模型对元件表面缺陷区域进行识别,以剔除后表面伪缺陷区域;其中,所述缺陷区域特征包括尺寸特征、灰度特征和梯度特征。
进一步地,步骤二的具体步骤包括:
步骤二一、对于每个缺陷区域,在背照光源、环形光源和同轴光源下分别采集三个图像,并按照红绿蓝三通道顺序进行RGB合成;将每个缺陷区域合成后的图像输入预训练的基于卷积神经网络的缺陷预测模型进行预测,获取预测结果,所述预测结果包括缺陷区域是否为伪缺陷,从而进一步剔除伪缺陷区域;
步骤二二、粗定位时暗场相机采集子图的位置即为每个缺陷区域在机床坐标系下的Z轴初始坐标,采用改变物距的自动聚焦方法对所述Z轴初始坐标进行修正,具体包括:设置搜索步长以改变显微相机和元件之间的物距,按照搜索步长采集缺陷区域在不同焦平面下的图像;对于每个焦平面下的一个图像,计算其水平和垂直方向的梯度平方和;比较不同焦平面对应的多个水平和垂直方向的梯度平方和,当水平和垂直方向的梯度平方和的值减小时,减小搜索步长以提高聚焦精度,否则按照搜索步长沿反方向进行采集;继续采集包含缺陷区域的图像,重复上述过程,直至搜索步长小于预设步长阈值时停止;此时,缺陷区域在机床坐标系下的Z轴修正坐标为:Z轴初始坐标加上多个焦平面所对应的搜索步长的总和;
步骤二三、所述Z轴修正坐标对应的物距确定了聚焦清晰时显微相机和元件的位置,在聚焦清晰后采集包含单个缺陷区域的图像;对所述图像进行二值化处理;对经过二值化处理的图像提取缺陷区域轮廓,计算缺陷区域的X、Y轴当前坐标和初始坐标在图像坐标系下的像素坐标偏差值;根据像素坐标偏差值计算在机床坐标系下的实际坐标偏差值;根据实际坐标偏差值计算获得X、Y轴修正坐标;其中,每个缺陷区域X、Y轴初始坐标是粗定位时已经获得的坐标;X、Y、Z轴修正坐标即为每个缺陷区域的精定位结果。
进一步地,步骤三的具体步骤包括:
步骤三一、判断各个缺陷区域之间的交联程度以确定修复策略,交联程度小的缺陷区域采用单缺陷修复策略,交联程度大的缺陷区域采用多缺陷修复策略;其中,单缺陷修复策略包括依据缺陷区域尺寸确定修复坑尺寸和激光修复参数;多缺陷修复策略包括计算获取包络相互交联的多个缺陷区域的最小外接圆直径,依据该直径确定修复坑尺寸和激光修复参数;所述激光修复参数包括激光的功率、频率、脉宽和扫描路径;
步骤三二、依据修复策略,利用激光修复装置按照精定位结果中缺陷区域坐标位置对元件表面多个缺陷区域进行修复。
进一步地,步骤三一中通过修复坑间允许的最小距离来判断各个缺陷区域之间的交联程度;所述缺陷区域尺寸的获取方法为:步骤二三中提取每个缺陷区域轮廓后,求取缺陷区域轮廓的最小外接圆,以最小外接圆半径作为该缺陷区域像素尺寸,并根据已标定的图像单个像素所代表的实际尺寸乘以所述像素尺寸获得缺陷区域尺寸。
进一步地,步骤三二中所述激光修复装置包括信号发生器、CO2激光器、声光调制器、振镜系统和扩束镜;利用所述激光修复装置对元件表面缺陷区域进行修复的具体过程包括:依据修复策略确定的激光修复参数,信号发生器产生脉冲信号,该信号作用于CO2激光器和声光调制器,用于产生相应功率、频率、脉宽的脉冲激光;产生的脉冲激光经过扩束镜产生准直激光,该激光经过振镜系统输出激光,对缺陷区域进行螺旋扫描,并在缺陷区域位置刻蚀一个圆锥体实现缺陷区域的修复。
进一步地,在步骤三之后还包括步骤四:修复完成后将元件的多个修复坑移动到显微检测工位进行修复效果检测,具体过程包括:对于元件的每个修复坑,改变显微相机和元件之间的距离,采集对应不同聚焦状态下包含修复坑的多个图像;对不同聚焦状态下的多个图像进行景深融合,所述景深融合的过程为:将不同聚焦状态下的多个图像中的每个包含修复坑的图像划分为多个图像子区域,对于多个图像中位置对应相同的图像子区域,计算每个图像子区域中像素点梯度值,选择提取像素点梯度值最大的图像子区域;将提取的不同位置的多个图像子区域组合成一个新的全景深图像,从而获取包含修复坑的清晰图像;将包含修复坑的清晰图像输入预训练的残余损伤检测模型,获取检测结果;其中,所述检测结果包括元件表面存在或不存在残余损伤。
进一步地,步骤四中当修复坑尺寸不在显微相机视野范围内时,对包含该修复坑的元件部分区域进行阵列扫描采集,获取包含该修复坑的多个子图,相邻的两个子图具有重叠区域;采用基于模板匹配的方法计算多个子图之间的平移错位量,具体包括:将相邻两个子图的重叠区域作为模板,利用模板遍历相邻两个子图所有像素位置,通过比较模板与相邻子图多个区域的相似程度确定模板在相邻子图中的位置,进而计算相邻子图的平移错位量;然后通过加权融合的方式对相邻两个子图的重叠区域进行处理,从而将多个子图进行图像拼接。
进一步地,按照下述方法确定元件表面每个缺陷区域在暗场检测工位、显微检测工位和激光修复工位的机床坐标系下坐标位置:
首先,标定各工位之间的距离,包括显微检测工位与暗场检测工位的工位差、显微检测工位与激光修复工位的工位差;
然后,获取机床坐标系下元件上任意点移动到显微检测工位时,相对于其标定位姿的平移误差和偏转误差,所述平移误差包括X、Y、Z轴平移误差;所述偏转误差包括X、Y轴偏转误差;获取所述平移误差的步骤包括:将元件的多个边缘部位分别移动到相机采集范围内,采集多个边缘部位对应的多个边缘图像;对多个边缘图像分别进行图像处理和坐标转换处理,获取元件多个边缘中点在机床坐标系下的坐标;根据多个边缘中点在机床坐标系下的坐标计算获得元件几何中心点坐标,即为X、Y轴平移误差;通过测距仪对元件几何中心点进行测距,获得Z轴平移误差;获取所述偏转误差的步骤包括:通过测距仪对元件的多个边缘角点进行测距,获得多个边缘角点测距值;根据多个边缘角点测距值,采用最小二乘法拟合获得元件上任意点相对于其标定位姿X轴的偏转误差θ、Y轴的偏转误差
Figure BDA0003379305500000042
然后,根据所述平移误差和偏转误差计算获得元件上任意点在显微检测工位的标定位姿:
Figure BDA0003379305500000041
式中,(xB,yB,zB)表示元件上任意点在显微检测工位的机床坐标下标定坐标;(xp,yp)表示元件在标准坐标系下的坐标;(x0,y0)表示元件上任意点相对于机床坐标系下其标定位姿的X、Y轴平移误差;z0表示元件上任意点相对于机床坐标系下其标定位姿的Z轴平移误差;f(xp,yp)表示元件的标准方程;
最后,将元件上任意点在显微检测工位的标定坐标加上显微检测工位与暗场检测工位的工位差得到元件上任意点在暗场检测工位的标定位姿;将元件上任意点在显微检测工位的标定坐标加上显微检测工位与激光修复工位的工位差得到元件上任意点在激光修复工位的标定位姿。
本发明的有益技术效果是:
(1)建立了工控机与运动系统、缺陷检测系统、激光修复系统的互联互通,实现了硬件系统的集成控制;
(2)建立了表面缺陷检测与修复数据库,实现了装置各系统、各工位间的信息共享;
(3)采用显微相机寻边与光谱共焦测距拟合相结合的方法实现了元件表面位置的自动化确定;
(4)通过暗场扫描拍照与显微检测相结合的方法实现了大口径光学元件表面缺陷点的高精度自动检测;
(5)实现了缺陷点修复方案的自动制定以及修复参数的自动输出;
(6)设计了修复坑图像采集与残余损伤识别方法,实现了激光修复质量的自动化检测与控制;
(7)实现了大口径元件表面微缺陷的自动化检测与修复,可有效缩短元件修复时间,减少人工参与程度,为工程上大批量修复光学元件提供了技术支撑。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解,所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分,而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。
图1是本发明实施例一种大口径元件表面微缺陷检测与修复的自动化工艺方法的流程图;
图2是本发明另一实施例一种大口径元件表面微缺陷检测与修复的自动化工艺方法的流程图;
图3是本发明实施例中大口径光学元件表面缺陷检测与修复装置结构示意图;
图4是本发明实施例中大口径光学元件表面缺陷检测与修复装置的集成控制原理示意图;
图5是本发明实施例中元件表面缺陷位置确定过程示意图;
图6是本发明实施例中寻边与测距拟合过程示意图;
图7是本发明实施例中暗场检测工位工作原理图;
图8是本发明实施例中大口径元件表面缺陷检测与修复数据库示例图;
图9是本发明实施例中精定位中使用的三光源定位与识别装置示意图;
图10是本发明实施例中激光修复装置结构示意图;
图11是本发明实施例中自动化控制软件总体界面示例图;
图12是本发明实施例中缺陷编号ID-46和ID-55的检测和修复过程效果图;其中,图(a)为粗定位结果;图(b)为精定位结果;图(c)为修复后结果。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,在下文中将结合附图对本发明的示范性实施方式或实施例进行描述。显然,所描述的实施方式或实施例仅仅是本发明一部分的实施方式或实施例,而不是全部的。基于本发明中的实施方式或实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式或实施例,都应当属于本发明保护的范围。
本发明实施例提供一种大口径元件表面微缺陷检测与修复的自动化工艺方法,包括:设置安装工位、暗场检测工位、显微检测工位和激光修复工位,如图1所示,按照下述步骤对大口径元件表面缺陷进行检测和修复:
步骤一、将元件从安装工位移动到暗场检测工位,利用暗场相机采集元件表面图像并处理,实现对元件表面多个缺陷区域的粗定位;
步骤二、将元件从暗场检测工位移动到显微检测工位,利用显微相机按照粗定位获得的每个缺陷区域位置采集包含单个缺陷区域的图像并处理,实现对元件表面多个缺陷区域的精定位;
步骤三、将元件从显微检测工位移动到激光修复工位,利用激光修复装置对多个缺陷区域进行修复。
本实施例中,可选地,步骤一的具体步骤包括:
步骤一一、对元件表面预设扫描区域进行逐行逐列移动扫描,采集获取多个预设拍照位置的多张子图;每张子图的预设拍照位置为:
Figure BDA0003379305500000071
式中,xi,j、yi,j、zi,j表示机床坐标系下第j行第i列子图的拍照位置;xo、yo表示元件几何中心点在暗场相机视野中心时机床坐标系下X、Y轴坐标;Xs、Ys分别表示沿行、沿列方向扫描步进值;SX、SY分别表示扫描起始点与元件几何中心点在X、Y轴方向的距离;z(.)表示以元件几何中心点为坐标原点的元件标准方程;zo表示元件几何中心点在暗场相机聚焦清晰时机床坐标系下Z轴坐标;
步骤一二、对每张子图进行图像分割处理,获得多个缺陷区域图像;求取每个缺陷区域轮廓的最小外接圆,将其圆心作为该缺陷区域在子图中的像素坐标;并通过下式获得每个缺陷区域在工件坐标系下的X、Y轴坐标(xp,yp):
Figure BDA0003379305500000072
式中,kx、ky分别表示单个像素在工件坐标系X、Y轴方向所代表的实际尺寸;子图以格式“Xm-Yn”命名,m、n表示缺陷区域所对应的子图编号,n代表行号,m代表第n行的第m张图像;LW、LH分别表示子图的像素宽度和高度;LocX、LocY表示缺陷区域在子图中的像素坐标;SW/2、SH/2分别表示预设扫描区域宽度值的一半、高度值的一半。
本实施例中,可选地,步骤一二中还包括根据缺陷区域的像素坐标提取缺陷区域特征,并将缺陷区域特征输入预训练的集成决策树分类模型对元件表面缺陷区域进行识别,以剔除后表面伪缺陷区域;其中,缺陷区域特征包括尺寸特征、灰度特征和梯度特征;尺寸特征包括缺陷区域的长、宽和长宽比,灰度特征包括缺陷区域的最大灰度值、最小灰度值及二者比值、灰度均值和方差,梯度特征包括缺陷区域的平均梯度和轮廓平均梯度。
本实施例中,可选地,步骤二的具体步骤包括:
步骤二一、对于每个缺陷区域,在背照光源、环形光源和同轴光源下分别采集三个图像,并按照红绿蓝三通道顺序进行RGB合成;将每个缺陷区域合成后的图像输入预训练的基于卷积神经网络的缺陷预测模型进行预测,获取预测结果,预测结果包括缺陷区域是否为伪缺陷,从而进一步剔除伪缺陷区域;
步骤二二、粗定位时暗场相机采集子图的位置即为每个缺陷区域在机床坐标系下的Z轴初始坐标,采用改变物距的自动聚焦方法对Z轴初始坐标进行修正,具体包括:设置搜索步长以改变显微相机和元件之间的物距,按照搜索步长采集缺陷区域在不同焦平面下的图像;对于每个焦平面下的一个图像,计算其水平和垂直方向的梯度平方和;比较不同焦平面对应的多个水平和垂直方向的梯度平方和,当水平和垂直方向的梯度平方和的值减小时,减小搜索步长以提高聚焦精度,否则按照搜索步长沿反方向进行采集;继续采集包含缺陷区域的图像,重复上述过程,直至搜索步长小于预设步长阈值时停止;此时,缺陷区域在机床坐标系下的Z轴修正坐标为:缺陷区域在机床坐标系下的Z轴初始坐标加上多个焦平面所对应的搜索步长的总和;
步骤二三、Z轴修正坐标对应的物距确定了聚焦清晰时显微相机和元件的位置,在聚焦清晰后采集包含单个缺陷区域的图像;对图像进行二值化处理;对经过二值化处理的图像提取缺陷区域轮廓,计算缺陷区域的X、Y轴当前坐标和初始坐标在图像坐标系下的像素坐标偏差值,其中,每个缺陷区域X、Y轴初始坐标是粗定位时已经获得的像素坐标;根据像素坐标偏差值按照下述公式计算在机床坐标系下的实际坐标偏差值:
(Δx,Δy)=(kpΔx1,kpΔy1)
式中,kp表示已标定的图像单个像素所代表的实际尺寸;Δx1,Δy1表示缺陷区域在X、Y轴方向的像素坐标偏差值;
根据实际坐标偏差值按照下述公式计算获得X、Y轴修正坐标(xP,yP):
(xP,yP)=(xR+Δx,yR+Δy)
式中,(xR,yR)表示缺陷区域X、Y轴初始坐标;X、Y、Z轴修正坐标即为每个缺陷区域的精定位结果。
本实施例中,可选地,步骤三的具体步骤包括:
步骤三一、判断各个缺陷区域之间的交联程度以确定修复策略,交联程度小的缺陷区域采用单缺陷修复策略,交联程度大的缺陷区域采用多缺陷修复策略;其中,单缺陷修复策略包括依据缺陷区域尺寸确定修复坑尺寸和激光修复参数;多缺陷修复策略包括计算获取包络相互交联的多个缺陷区域的最小外接圆直径,依据该直径确定修复坑尺寸和激光修复参数;激光修复参数包括激光的功率、频率、脉宽和扫描路径;
步骤三二、依据修复策略,利用激光修复装置按照精定位结果中缺陷区域坐标位置对元件表面多个缺陷区域进行修复。
本实施例中,可选地,步骤三一中通过修复坑间允许的最小距离来判断各个缺陷区域之间的交联程度;缺陷区域尺寸的获取方法为:步骤二三中提取每个缺陷区域轮廓后,求取缺陷区域轮廓的最小外接圆,以最小外接圆半径作为该缺陷区域像素尺寸,并根据已标定的图像单个像素所代表的实际尺寸乘以所述像素尺寸获得缺陷区域尺寸。
本实施例中,可选地,步骤三二中激光修复装置包括信号发生器、CO2激光器、声光调制器、振镜系统和扩束镜;利用激光修复装置对元件表面缺陷区域进行修复的具体过程包括:依据修复策略确定的激光修复参数,信号发生器产生脉冲信号,该信号作用于CO2激光器和声光调制器,用于产生相应功率、频率、脉宽的脉冲激光;产生的脉冲激光经过扩束镜产生准直激光,该激光经过振镜系统输出激光,对缺陷区域进行螺旋扫描,并在缺陷区域位置刻蚀一个圆锥体实现缺陷区域的修复。
本实施例中,可选地,在步骤三之后还包括步骤四:修复完成后将元件的多个修复坑移动到显微检测工位进行修复效果检测,具体过程包括:对于元件的每个修复坑,改变显微相机和元件之间的距离,采集对应不同聚焦状态下包含修复坑的多个图像;对不同聚焦状态下的多个图像进行景深融合,景深融合的过程为:将不同聚焦状态下的多个图像中的每个包含修复坑的图像划分为多个图像子区域,对于多个图像中位置对应相同的图像子区域,计算每个图像子区域中像素点梯度值,选择提取像素点梯度值最大的图像子区域;将提取的不同位置的多个图像子区域组合成一个新的全景深图像,从而获取包含修复坑的清晰图像;将包含修复坑的清晰图像输入预训练的残余损伤检测模型,获取检测结果;其中,检测结果包括元件表面存在或不存在残余损伤。
本实施例中,可选地,步骤四中当修复坑尺寸不在显微相机视野范围内时,对包含该修复坑的元件部分区域进行阵列扫描采集,获取包含该修复坑的多个子图,相邻的两个子图具有重叠区域;采用基于模板匹配的方法计算多个子图之间的平移错位量,具体包括:将相邻两个子图的重叠区域作为模板,利用模板遍历相邻两个子图所有像素位置,通过比较模板与相邻子图多个区域的相似程度确定模板在相邻子图中的位置,进而计算相邻子图的平移错位量;然后通过加权融合的方式对相邻两个子图的重叠区域进行处理,从而将多个子图进行图像拼接。
本实施例中,可选地,按照下述方法确定元件表面每个缺陷区域在暗场检测工位、显微检测工位和激光修复工位的机床坐标系下坐标位置:
首先,标定各工位之间的距离,包括显微检测工位与暗场检测工位的工位差、显微检测工位与激光修复工位的工位差;
然后,获取机床坐标系下元件上任意点移动到显微检测工位时,相对于其标定位姿的平移误差和偏转误差,平移误差包括X、Y、Z轴的平移误差;偏转误差包括X、Y轴的偏转误差;获取平移误差的步骤包括:将元件的多个边缘部位分别移动到相机采集范围内,采集多个边缘部位对应的多个边缘图像;对多个边缘图像分别进行图像处理和坐标转换处理,获取元件多个边缘中点在机床坐标系下的坐标;根据多个边缘中点在机床坐标系下的坐标计算获得元件几何中心点坐标,即为X、Y轴的平移误差;通过测距仪对元件几何中心点进行测距,获得Z轴的平移误差;获取偏转误差的步骤包括:通过测距仪对元件的多个边缘角点进行测距,获得多个边缘角点测距值;根据多个边缘角点测距值,采用最小二乘法拟合获得元件上任意点相对于其标定位姿X轴的偏转误差θ、Y轴的偏转误差
Figure BDA0003379305500000102
然后,根据平移误差和偏转误差计算获得元件上任意点在显微检测工位的标定位姿:
Figure BDA0003379305500000101
式中,(xB,yB,zB)表示元件上任意点在显微检测工位的机床坐标下标定坐标;(xp,yp)表示元件在标准坐标系下的坐标;(x0,y0)表示元件上任意点相对于机床坐标系下其标定位姿的X、Y轴的平移误差;z0表示元件上任意点相对于机床坐标系下其标定位姿的Z轴的平移误差;f(xp,yp)表示元件的标准方程;
最后,将元件上任意点在显微检测工位的标定坐标加上显微检测工位与暗场检测工位的工位差得到元件上任意点在暗场检测工位的标定位姿;将元件上任意点在显微检测工位的标定坐标加上显微检测工位与激光修复工位的工位差得到元件上任意点在激光修复工位的标定位姿。
本发明另一实施例提供一种大口径元件表面微缺陷检测与修复的自动化工艺方法,该方法通过硬件集成控制、装置自动初始化、元件表面位置自动确定、缺陷点暗场检测与显微检测相结合、缺陷点自动修复以及修复效果自动监测等一系列过程,实现了表面缺陷检测与修复全流程的自动化。本发明提升了检测修复装置的自动化水平,能够有效缩短元件修复时间,降低人工参与程度,为大口径光学元件的循环利用提供了技术支持。
该自动化工艺方法流程图如图2所示,依次为准备工作、元件表面位置的自动化确定、自动化暗场检测、自动化显微检测、缺陷点自动修复以及修复效果的自动检测。根据该自动化工艺流程搭建的元件表面缺陷检测与修复系统的简图如图3所示,该系统由安装工位、面阵相机暗场扫描子系统、显微检测子系统、光谱测距子系统和激光修复子系统组成。自动化工艺流程的具体步骤为:
步骤1、系统启动后对硬件设备进行连接。硬件设备主要包括运动系统、显微检测子系统、光谱测距子系统和激光修复子系统,系统启动后首先要建立控制系统与各硬件间的通讯,这是实现检测、修复自动化的前提。
根据本发明实施例,运动系统包括多轴控制器、驱动器、伺服电机、光栅尺等,检测系统包括暗场相机、显微相机、监测相机、相机光源、光谱共焦测距仪等,激光修复系统包括激光器、声光调制器、振镜系统、信号发生器、功率计等。硬件设备通过工控机进行集成控制,其控制图如图4所示。工控机通过以太网、RS-232/485、USB、控制板卡接口等通信端口与各硬件建立通讯,工控机通过向指定端口发送指令实现硬件的自动控制,硬件的反馈信息也会通过相应端口传回工控机。用户可以通过人机交互系统与工控机进行信息交互,经由工控机实现各硬件设备的控制、硬件状态监测、运行结果获取等任务。
步骤2、运动平台进行初始化。运动平台的初始化主要指运动平台X、Y、Z1、Z2四个运动轴的回零和误差补偿操作。
根据本发明实施例,运动平台的运动方向和机床坐标系的坐标轴方向一致,包含X、Y、Z1、Z2四个运动轴,运动轴的定位精度为±10μm;其中,X、Y运动轴的运动方向和机床坐标系的X、Y坐标轴方向一致,Z1、Z2运动轴的运动方向和机床坐标系的Z坐标轴方向一致。X、Y运动轴可搭载光学元件实现二维高精度移动,Z1运动轴搭载暗场检测系统、显微检测系统和光谱共焦测距仪,可满足上述硬件设施对Z轴方向的定位要求,Z2轴搭载振镜系统和吸气装置,元件移动时退至安全位置,元件修复时再自动移动到修复工作位置。
运动平台启动后需要自动确定机床原点并对各轴进行误差补偿,其具体过程为:运动平台首先按照特定的速度和加速度沿指定方向进行寻零,当各轴均运动到原点开关位置后将机床坐标归零,完成寻零操作;寻零完毕自动运动到指定坐标位置进行误差补偿,最后运动到安装工位等待光学元件安装。
步骤3、由于装配调整精度有限,元件安装时会存在偏转,需要对元件表面位置进行自动化确定。
根据本发明实施例,利用显微检测子系统对光学元件进行自动寻边操作,通过获得边缘位置来计算元件几何中心坐标;利用光谱共焦测距仪对元件表面进行测距,通过测距值拟合元件表面方程。根据元件几何中心坐标和元件表面方程即可确定元件上任意点移到指定工位的机床坐标。
使用的显微检测子系统由面阵CCD相机、显微镜头和相机光源组成。显微相机分辨率为2456×2056,检测精度为0.63μm/pixel,检测范围为1.5mm×1.3mm。在完成元件安装后需要对元件表面位置进行自动化确定,从而获取元件表面上的目标点定位到机床各工位的坐标。元件表面位置的自动化确定过程如图5所示,首先通过暗场检测获得目标点的X、Y坐标(xp,yp)。之后借助元件表面方程对目标点Z坐标进行计算,元件加工精度很高,平面元件和楔形元件表面都具有标准方程,如式(1)所示。
平面:z=0,非球面:
Figure BDA0003379305500000121
由于元件装夹精度有限,元件安装过程不可避免会出现偏移和旋转误差,因此需要在标准方程基础上对安装后的元件表面方程进行重新拟合。最后通过标定各工位之间的距离即可获取元件上的目标点移动到相应工位的机床坐标。该过程的具体步骤为:
步骤3-1:标定各工位之间的距离。以显微检测视野中心为基准,测量目标点从显微检测工位移至各工位中心点的位移。显微检测工位与暗场检测工位的工位差记为(Δx1,Δy1,Δz1),与光谱共焦测距工位的工位差记为(Δx2,Δy2,Δz2),与激光修复工位的工位差记为(Δx3,Δy3,Δz3)。
步骤3-2:使用显微相机采集元件上、下、左、右四个边缘的清晰图像,通过对边缘图像的分析获取元件四个边缘移动到显微视野中心的机床坐标YT、YD、XL、XR,该过程如图6中的寻边部分所示。通过式(2)计算元件中心点移动到显微视野中心的机床坐标从而获取元件在X、Y方向的偏移。
Figure BDA0003379305500000122
步骤3-3:按照坐标(x0-Δx2,y0-Δy2)将元件中心移至光谱共焦测距工位,如图6中的测距拟合部分所示。通过对该点进行测距获取元件安装时Z方向偏移z0;通过对以该点为中心的矩形的四个角点进行测距拟合出元件安装时沿X、Y轴的偏转角度θ、
Figure BDA0003379305500000123
由于Z轴旋转方向由平面定位,该方向偏转很小可以忽略不计,测距过程如图6所示。通过上述过程可以获得元件上的点移动到显微视野中心的机床坐标,如式(3)所示。
Figure BDA0003379305500000124
步骤3-4:以显微视野为基准,通过步骤3-1标定的各工位之间的距离可以计算目标点移动到暗场和修复工位的坐标为式(4)、式(5)。上述过程获得目标点移动到各工位的机床坐标,实现了元件表面位置的自动确定。
Figure BDA0003379305500000125
Figure BDA0003379305500000126
步骤4、利用自动化暗场检测获取元件表面的缺陷点信息。
根据本发明实施例,通过面阵相机扫描拍照方式获取光学元件全口径的暗场图像,并利用图像处理技术提取暗场图像目标点的位置信息,该位置信息用于将目标点定位到显微检测工位。
暗场检测工位由面阵CMOS相机、双远心镜头和环形光源组成,如图7所示。面阵相机分辨率为5120×5120,可检测视野为50mm×50mm。为避免镜头视差对检测精度产生影响,使用双远心镜头,该镜头放大倍率为0.46。为形成暗场环境,使用环形光源低角度照射元件表面。采用扫描拍照方式获取光学元件表面的暗场图像,通过对暗场图像的处理可以获得暗场检测出的目标点信息,具体过程如下:
步骤4-1:确定拍照点位置。元件尺寸为430mm×430mm,相机视野为50mm×50mm,共需要9×9张子图才能使检测区域覆盖整个元件表面,由此可以确定拍照点的X、Y坐标,其位置如图7所示。为使暗场图像清晰,需要对Z轴坐标进行调整使拍摄区域处在相机景深范围,该值可通过式(4)获得。
步骤4-2:按照图7所示S形扫描路径对元件进行扫描拍照。为提高采集效率,平台以较大速度运动到拍照点;为获取清晰稳定的图像,相机运动到拍照点时减速到0再进行拍照。
步骤4-3:对采集到的子图进行图像处理。使用顶帽变换、阈值分割、聚类等处理方法提取目标点区域,采用集成决策树剔除后表面缺陷和尺寸较大的伪缺陷目标,通过计算目标点区域的最小外接圆获得目标点在子图的位置(LocX,LocY),使用式(6)将其转化为元件坐标系下的实际坐标,将上述信息以暗场检测文件形式上传到数据库中。该数据库结构图如图8所示,数据库以元件为存储单元,每个元件拥有唯一的编号,可根据编号访问相应数据。元件的数据按检测和修复次数划分为多组,每组数据中包含了采集数据、检测结果和修复结果。每个缺陷都有相应的编号,可以通过缺陷编号查看其暗场图像、显微图像、修复坑图像并获取位置和尺寸信息。
Figure BDA0003379305500000131
式中,m/n为目标点所在子图编号,SW/SH为扫描区域实际尺寸,kx/ky为单个像素在x/y方向所代表的实际尺寸。
步骤4-4:为提高暗场检测效率,采用多线程编程技术对图像采集与图像处理进行多任务并行设计,在扫描拍照的同时完成暗场图像的处理。
步骤5、将暗场检测到的目标点逐个移动至显微检测工位进行精定位和识别。
根据本发明实施例,暗场图像像素分辨率较低,只能用于缺陷的粗定位,无法满足激光修复对缺陷坐标和尺寸的精度要求,且光学元件表面的微小污染物很难通过暗场图像分辨出来,干扰了缺陷信息的提取。因此,利用高分辨率显微镜对暗场检测出的目标点进行逐个检查,剔除目标点中的伪缺陷并对缺陷点的位置和尺寸信息进行修正。
缺陷精定位和识别过程是使用显微检测系统在三光源光照条件下实现的,图9是该系统示意图,包括:面阵CCD相机、镜头、光源和吹尘设备。光源包含同轴光、环形光和背照光三种,可由光源控制器进行自动控制。显微检测的具体过程如下:
步骤5-1:对显微检测路径进行规划,将目标点逐个移动到显微视野进行检测。通过步骤4已经获得元件表面目标点粗略的位置和尺寸信息,这些信息可以通过数据库进行调用,利用该信息可将目标点移至显微视野范围内进行精确检测。由于目标点数量较多,按照暗场检测获得的目标点顺序进行定位,路径过长,因此使用贪心算法对路径进行规划以缩短检测时间。
步骤5-2:对暗场检测获得的坐标进行修正。X、Y轴坐标的偏差会使缺陷点偏离显微视野中心,Z轴坐标的偏差会使焦平面偏离目标点造成图像模糊,基于上述特点通过控制Z轴移动,获得聚焦清晰时的Z轴坐标来修正Z轴方向的偏差,通过测量缺陷中心到显微视野中心的距离(Δx,Δy)来修正X、Y轴方向的偏差。
步骤5-3:对目标点进行识别,剔除伪缺陷目标。除缺陷点外,暗场检测到的目标还包含一些伪缺陷点,会对后续修复工作产生干扰,必须将其剔除。基于卷积神经网络搭建缺陷预测模型,通过将目标点图像输入到预测模型对缺陷和伪缺陷进行判别。为提高模型预测的准确率,使用背照光、环形光和同轴光分别照射目标区域,将三种光照条件下的图像作为预测依据。
步骤5-4:根据识别结果剔除暗场检测文件中的伪缺陷,根据精定位结果对暗场检测获得的缺陷坐标和尺寸进行修正,并将最终结果以显微检测文件的形式保存到数据库相应位置。
步骤6、将缺陷点逐个移动到激光修复工位进行激光修复。
根据本发明实施例,根据显微检测获得的缺陷位置和尺寸信息自动制定修复策略,包括缺陷点的修复方案和修复路径。运动平台按照规划的修复路径将缺陷点逐个定位到激光修复工位,激光系统将按照预先制定的修复方案自动输出满足要求的激光完成缺陷点的修复。缺陷修复过程通过功率计和修复监视系统进行实时监视。
激光修复装置示意图如图10所示,该装置由信号发生器、CO2激光器、声光调制器、振镜系统、激光功率计、光学元器件等构成。工控机控制信号发生器产生脉冲信号,该信号作用于激光器和声光调制器用于产生相应功率、频率、脉宽的脉冲激光;脉冲激光经过扩束镜产生满足要求的准直激光,该激光经过振镜系统输出相应扫描速度和扫描轨迹的激光,这样就可以对缺陷点进行激光螺旋扫描并在缺陷位置刻蚀一个圆锥体实现缺陷点的修复。同时,监视相机通过实时采集图像对缺陷点的激光修复过程进行监测,激光功率计通过在线测量分光镜截取的部分激光的功率对激光工作状态进行监测。工控机通过通信端口与信号发生器、振镜系统、功率计、监视相机建立通讯,从而实现激光修复的自动控制和监测。缺陷点激光修复的具体过程如下:
步骤6-1:根据显微检测结果生成激光修复文件。缺陷点修复策略的制定不仅与缺陷尺寸有关还与缺陷的相对位置有关。对于孤立存在的缺陷点,可以依据显微检测获得的缺陷尺寸设置修复方案;对于修复坑相互交联的缺陷点则要求取包络所有点的最小外接圆直径,以该直径作为依据设置修复方案。缺陷点修复方案制定后,使用贪心算法对修复点定位路径进行规划,获取遍历所有修复点的较短路径,按照该路径进行排序将修复方案保存到激光修复文件中。
步骤6-2:控制运动平台和激光修复系统自动执行激光修复文件。按照修复文件中的修复点位置坐标进行逐个定位,控制激光系统自动输出满足修复方案要求的激光完成缺陷点的修复。
步骤7、修复完成后需要将修复坑移动到显微检测工位进行修复效果检测。
根据本发明实施例,由于极个别的缺陷拥有比预期更深的亚表面裂纹形态,在少数情况下自动制定的修复方案无法对缺陷进行完全修复,修复坑存在残余损伤,未完全修复的缺陷一旦重新安装到激光光路中会对光学元件使用寿命产生不利影响。因此,利用显微相机结合散射光源获取修复坑图像,通过搭建的残余损伤预测模型对修复坑图像进行检测,从而将未完全修复的缺陷点筛选出来进行二次修复。
残余损伤检测是在显微检测工位上完成的,检测时使用图9中的背照光源作为照明光源,由于修复坑修复完全的部位比包含残余损伤的部位有更好的透光性,在背照光照射下两者拥有不同的成像特点。采集背照光照射下的修复坑图像,将其输入到残余损伤预测模型中实现残余损伤检测,其具体过程如下:
步骤7-1:根据激光修复文件中的修复点坐标将修复坑逐个移动到显微视野中。
步骤7-2:根据修复坑的尺寸确定显微图像采集参数。显微相机成像范围为1.5mm×1.3mm,而修复坑尺寸范围为0.5mm~3mm,对于尺寸较小的修复坑可直接进行采集;对于尺寸较大的修复坑,单幅拍照无法获得修复坑的完整形貌,需要对其进行扫描拍照和拼接。由于显微检测系统的景深小于修复坑的深度,使用固定的Z轴坐标值对修复坑进行扫描拍照无法获得全局清晰的图像,因此通过采集不同Z坐标值下的图像进行景深融合来获取修复坑清晰图像。
步骤7-3:对采集的修复坑图像进行残余损伤检测。基于卷积神经网络搭建了目标检测模型,该模型可判断输入图像中是否存在残余损伤,若存在则使用矩形框将残余损伤区域标记出来以便对其进行二次修复。
步骤7-4:生成残余损伤检测文件并将检测结果上传到数据库中。残余损伤检测文件包括:存在残余损伤的修复坑编号、残余损伤的位置、标记出残余损伤区域的修复坑图像等信息。
进一步通过实验验证本发明的技术效果。
使用某批次430mm×430mm的大口径光学元件进行测试,按照图2所示的自动化工艺流程对其表面缺陷进行自动化检测和修复。图11是自主开发的大口径元件表面缺陷自动化检测与修复控制软件,使用该软件可自动执行上述自动化工艺流程,无需人工干预。软件的信息输出栏可以显示自动化进程和各项操作的时间点,列表窗口可以显示当前目标点的详细信息,图像显示窗口可以显示目标点暗场和显微图像,相机窗口则可显示显微相机和监视相机的实时图像。检测和修复的具体过程为:
(1)对机床硬件连接状态进行检测,并自动进行机床回零和误差补偿;
(2)平台自动运动至安装工位,将该元件安装到机床上;
(3)对元件进行寻边和表面测距拟合,确定元件的表面位置;
(4)对元件表面缺陷进行自动检测。以该元件上的ID-46和ID-55缺陷点为例对检测过程进行叙述。首先对整个元件进行暗场扫描拍照,ID-46和ID-55分别位于子图X03-Y02和X04-Y02中,其暗场图像如图12(a)所示,通过图像处理和坐标变换可以获取目标点移动至显微工位和修复工位的机床坐标。根据暗场检测获得的坐标将目标点移至明场视野对其进行精定位和识别,精定位后两个目标点的显微图像如图12(b)所示,目标点均定位到显微视野中心,其尺寸分别为402μm和99μm,经缺陷分类模型判断上述两个目标点均为缺陷点;
(5)对元件表面缺陷进行自动修复并对修复效果进行自动检测。根据显微检测获得的缺陷信息对ID-46和ID-55缺陷自动设置修复策略,并按照修正后的坐标移动到激光修复工位进行自动修复,修复完成后移至显微工位对修复坑进行检测。图12(c)是两个缺陷的修复坑显微图像,使用残余损伤检测模型对其进行检测:ID-46缺陷尺寸较大,修复后存在残余损伤,损伤区域由红色矩形框框处;ID-55缺陷经检测不存在残余损伤,已修复完全。
本发明通过上述过程实现了大口径光学元件表面微缺陷的自动化检测和修复,该方法为工程上进行光学元件大批量修复提供了有效手段。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。

Claims (10)

1.一种大口径元件表面微缺陷检测与修复的自动化工艺方法,其特征在于,设置安装工位、暗场检测工位、显微检测工位和激光修复工位,按照下述步骤对大口径元件表面缺陷进行检测和修复:
步骤一、将元件从安装工位移动到暗场检测工位,利用暗场相机采集元件表面图像并处理,实现对元件表面多个缺陷区域的粗定位;
步骤二、将元件从暗场检测工位移动到显微检测工位,利用显微相机按照粗定位获得的每个缺陷区域位置采集包含单个缺陷区域的图像并处理,实现对元件表面多个缺陷区域的精定位;
步骤三、将元件从显微检测工位移动到激光修复工位,利用激光修复装置对多个缺陷区域进行修复。
2.根据权利要求1所述的一种大口径元件表面微缺陷检测与修复的自动化工艺方法,其特征在于,步骤一的具体步骤包括:
步骤一一、对元件表面预设扫描区域进行逐行逐列移动扫描,采集获取多个预设拍照位置的多张子图;每张子图的预设拍照位置为:
Figure FDA0003379305490000011
式中,xi,j、yi,j、zi,j表示机床坐标系下第j行第i列子图的拍照位置;xo、yo表示元件几何中心点在暗场相机视野中心时机床坐标系下X、Y轴坐标;Xs、Ys分别表示沿行、沿列方向扫描步进值;SX、SY分别表示扫描起始点与元件几何中心点在X、Y轴方向的距离;z(.)表示以元件几何中心点为坐标原点的元件标准方程;zo表示元件几何中心点在暗场相机聚焦清晰时机床坐标系下Z轴坐标;
步骤一二、对每张子图进行图像分割处理,获得多个缺陷区域图像;求取每个缺陷区域轮廓的最小外接圆,将其圆心作为该缺陷区域在子图中的像素坐标;通过下式获得每个缺陷区域在工件坐标系下的X、Y轴坐标(xp,yp):
Figure FDA0003379305490000012
式中,kx、ky分别表示单个像素在工件坐标系X、Y轴方向所代表的实际尺寸;m、n表示缺陷区域所对应的子图编号,n代表行号,m代表第n行的第m张子图;LW、LH分别表示子图的像素宽度和高度;LocX、LocY表示缺陷区域在子图中的像素坐标;SW/2、SH/2分别表示预设扫描区域宽度值的一半、高度值的一半。
3.根据权利要求2所述的一种大口径元件表面微缺陷检测与修复的自动化工艺方法,其特征在于,步骤一二中还包括根据缺陷区域的像素坐标提取缺陷区域特征,并将缺陷区域特征输入预训练的集成决策树分类模型对元件表面缺陷区域进行识别,以剔除后表面伪缺陷区域;其中,所述缺陷区域特征包括尺寸特征、灰度特征和梯度特征。
4.根据权利要求3所述的一种大口径元件表面微缺陷检测与修复的自动化工艺方法,其特征在于,步骤二的具体步骤包括:
步骤二一、对于每个缺陷区域,在背照光源、环形光源和同轴光源下分别采集三个图像,并按照红绿蓝三通道顺序进行RGB合成;将每个缺陷区域合成后的图像输入预训练的基于卷积神经网络的缺陷预测模型进行预测,获取预测结果,所述预测结果包括缺陷区域是否为伪缺陷,从而进一步剔除伪缺陷区域;
步骤二二、粗定位时暗场相机采集子图的位置即为每个缺陷区域在机床坐标系下的Z轴初始坐标,采用改变物距的自动聚焦方法对所述Z轴初始坐标进行修正,具体包括:设置搜索步长以改变显微相机和元件之间的物距,按照搜索步长采集缺陷区域在不同焦平面下的图像;对于每个焦平面下的一个图像,计算其水平和垂直方向的梯度平方和;比较不同焦平面对应的多个水平和垂直方向的梯度平方和,当水平和垂直方向的梯度平方和的值减小时,减小搜索步长以提高聚焦精度,否则按照搜索步长沿反方向进行采集;继续采集包含缺陷区域的图像,重复上述过程,直至搜索步长小于预设步长阈值时停止;此时,缺陷区域在机床坐标系下的Z轴修正坐标为:Z轴初始坐标加上多个焦平面所对应的搜索步长的总和;
步骤二三、所述Z轴修正坐标对应的物距确定了聚焦清晰时显微相机和元件的位置,在聚焦清晰后采集包含单个缺陷区域的图像;对所述图像进行二值化处理;对经过二值化处理的图像提取缺陷区域轮廓,计算缺陷区域的X、Y轴当前坐标和初始坐标在图像坐标系下的像素坐标偏差值;根据像素坐标偏差值计算在机床坐标系下的实际坐标偏差值;根据实际坐标偏差值计算获得X、Y轴修正坐标;其中,每个缺陷区域X、Y轴初始坐标是粗定位时已经获得的坐标;X、Y、Z轴修正坐标即为每个缺陷区域的精定位结果。
5.根据权利要求4所述的一种大口径元件表面微缺陷检测与修复的自动化工艺方法,其特征在于,步骤三的具体步骤包括:
步骤三一、判断各个缺陷区域之间的交联程度以确定修复策略,交联程度小的缺陷区域采用单缺陷修复策略,交联程度大的缺陷区域采用多缺陷修复策略;其中,单缺陷修复策略包括依据缺陷区域尺寸确定修复坑尺寸和激光修复参数;多缺陷修复策略包括计算获取包络相互交联的多个缺陷区域的最小外接圆直径,依据该直径确定修复坑尺寸和激光修复参数;所述激光修复参数包括激光的功率、频率、脉宽和扫描路径;
步骤三二、依据修复策略,利用激光修复装置按照精定位结果中缺陷区域坐标位置对元件表面多个缺陷区域进行修复。
6.根据权利要求5所述的一种大口径元件表面微缺陷检测与修复的自动化工艺方法,其特征在于,步骤三一中通过修复坑间允许的最小距离来判断各个缺陷区域之间的交联程度;所述缺陷区域尺寸的获取方法为:步骤二三中提取每个缺陷区域轮廓后,求取缺陷区域轮廓的最小外接圆,以最小外接圆半径作为该缺陷区域像素尺寸,并根据已标定的图像单个像素所代表的实际尺寸乘以所述像素尺寸获得缺陷区域尺寸。
7.根据权利要求6所述的一种大口径元件表面微缺陷检测与修复的自动化工艺方法,其特征在于,步骤三二中所述激光修复装置包括信号发生器、CO2激光器、声光调制器、振镜系统和扩束镜;利用所述激光修复装置对元件表面缺陷区域进行修复的具体过程包括:依据修复策略确定的激光修复参数,信号发生器产生脉冲信号,该信号作用于CO2激光器和声光调制器,用于产生相应功率、频率、脉宽的脉冲激光;产生的脉冲激光经过扩束镜产生准直激光,该激光经过振镜系统输出激光,对缺陷区域进行螺旋扫描,并在缺陷区域位置刻蚀一个圆锥体实现缺陷区域的修复。
8.根据权利要求7所述的一种大口径元件表面微缺陷检测与修复的自动化工艺方法,其特征在于,在步骤三之后还包括步骤四:修复完成后将元件的多个修复坑移动到显微检测工位进行修复效果检测,具体过程包括:对于元件的每个修复坑,改变显微相机和元件之间的距离,采集对应不同聚焦状态下包含修复坑的多个图像;对不同聚焦状态下的多个图像进行景深融合,所述景深融合的过程为:将不同聚焦状态下的多个图像中的每个包含修复坑的图像划分为多个图像子区域,对于多个图像中位置对应相同的图像子区域,计算每个图像子区域中像素点梯度值,选择提取像素点梯度值最大的图像子区域;将提取的不同位置的多个图像子区域组合成一个新的全景深图像,从而获取包含修复坑的清晰图像;将包含修复坑的清晰图像输入预训练的残余损伤检测模型,获取检测结果;其中,所述检测结果包括元件表面存在或不存在残余损伤。
9.根据权利要求8所述的一种大口径元件表面微缺陷检测与修复的自动化工艺方法,其特征在于,步骤四中当修复坑尺寸不在显微相机视野范围内时,对包含该修复坑的元件部分区域进行阵列扫描采集,获取包含该修复坑的多个子图,相邻的两个子图具有重叠区域;采用基于模板匹配的方法计算多个子图之间的平移错位量,具体包括:将相邻两个子图的重叠区域作为模板,利用模板遍历相邻两个子图所有像素位置,通过比较模板与相邻子图多个区域的相似程度确定模板在相邻子图中的位置,进而计算相邻子图的平移错位量;然后通过加权融合的方式对相邻两个子图的重叠区域进行处理,从而将多个子图进行图像拼接。
10.根据权利要求1-9中任一项所述的一种大口径元件表面微缺陷检测与修复的自动化工艺方法,其特征在于,按照下述方法确定元件表面每个缺陷区域在暗场检测工位、显微检测工位和激光修复工位的机床坐标系下坐标位置:
首先,标定各工位之间的距离,包括显微检测工位与暗场检测工位的工位差、显微检测工位与激光修复工位的工位差;
然后,获取机床坐标系下元件上任意点移动到显微检测工位时,相对于其标定位姿的平移误差和偏转误差,所述平移误差包括X、Y、Z轴平移误差;所述偏转误差包括X、Y轴偏转误差;获取所述平移误差的步骤包括:将元件的多个边缘部位分别移动到相机采集范围内,采集多个边缘部位对应的多个边缘图像;对多个边缘图像分别进行图像处理和坐标转换处理,获取元件多个边缘中点在机床坐标系下的坐标;根据多个边缘中点在机床坐标系下的坐标计算获得元件几何中心点坐标,即为X、Y轴平移误差;通过测距仪对元件几何中心点进行测距,获得Z轴平移误差;获取所述偏转误差的步骤包括:通过测距仪对元件的多个边缘角点进行测距,获得多个边缘角点测距值;根据多个边缘角点测距值,采用最小二乘法拟合获得元件上任意点相对于其标定位姿X轴的偏转误差θ、Y轴的偏转误差
Figure FDA0003379305490000042
然后,根据所述平移误差和偏转误差计算获得元件上任意点在显微检测工位的标定位姿:
Figure FDA0003379305490000041
式中,(xB,yB,zB)表示元件上任意点在显微检测工位的机床坐标下标定坐标;(xp,yp)表示元件在标准坐标系下的坐标;(x0,y0)表示元件上任意点相对于机床坐标系下其标定位姿的X、Y轴平移误差;z0表示元件上任意点相对于机床坐标系下其标定位姿的Z轴平移误差;f(xp,yp)表示元件的标准方程;
最后,将元件上任意点在显微检测工位的标定坐标加上显微检测工位与暗场检测工位的工位差得到元件上任意点在暗场检测工位的标定位姿;将元件上任意点在显微检测工位的标定坐标加上显微检测工位与激光修复工位的工位差得到元件上任意点在激光修复工位的标定位姿。
CN202111428288.9A 2021-11-29 2021-11-29 一种大口径元件表面微缺陷检测与修复的自动化工艺方法 Active CN114113114B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111428288.9A CN114113114B (zh) 2021-11-29 2021-11-29 一种大口径元件表面微缺陷检测与修复的自动化工艺方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111428288.9A CN114113114B (zh) 2021-11-29 2021-11-29 一种大口径元件表面微缺陷检测与修复的自动化工艺方法

Publications (2)

Publication Number Publication Date
CN114113114A true CN114113114A (zh) 2022-03-01
CN114113114B CN114113114B (zh) 2023-08-18

Family

ID=80370697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111428288.9A Active CN114113114B (zh) 2021-11-29 2021-11-29 一种大口径元件表面微缺陷检测与修复的自动化工艺方法

Country Status (1)

Country Link
CN (1) CN114113114B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332078A (zh) * 2022-03-02 2022-04-12 山东华硕汽车配件科技有限公司 一种汽车发动机金属磨损智能修复控制方法
CN116358842A (zh) * 2023-06-02 2023-06-30 中国科学院长春光学精密机械与物理研究所 基于机械臂的大口径光学元件表面缺陷检测方法及装置
CN117117049A (zh) * 2023-10-17 2023-11-24 迈为技术(珠海)有限公司 晶元修复方法、装置、设备、介质和程序产品
CN117347383A (zh) * 2023-12-06 2024-01-05 中材新材料装备科技(天津)有限公司 一种硅酸钙板表面缺陷检测与自动修复系统及方法
WO2024026932A1 (en) * 2022-08-02 2024-02-08 Hong Kong Applied Science And Technology Research Institute Co., Ltd Optimized Path Planning for Defect Inspection based on Effective Region Coverage

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105181601A (zh) * 2015-09-02 2015-12-23 哈尔滨工业大学 大口径曲面光学元件微缺陷修复用可微调显微检测装置
CN107356608A (zh) * 2017-07-21 2017-11-17 中国工程物理研究院激光聚变研究中心 大口径熔石英光学元件表面微缺陷快速暗场检测方法
CN107389688A (zh) * 2017-07-21 2017-11-24 中国工程物理研究院激光聚变研究中心 大口径熔石英光学元件表面微缺陷多工位集成修复方法
CN110411346A (zh) * 2019-08-12 2019-11-05 哈尔滨工业大学 一种非球面熔石英元件表面微缺陷快速定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105181601A (zh) * 2015-09-02 2015-12-23 哈尔滨工业大学 大口径曲面光学元件微缺陷修复用可微调显微检测装置
CN107356608A (zh) * 2017-07-21 2017-11-17 中国工程物理研究院激光聚变研究中心 大口径熔石英光学元件表面微缺陷快速暗场检测方法
CN107389688A (zh) * 2017-07-21 2017-11-24 中国工程物理研究院激光聚变研究中心 大口径熔石英光学元件表面微缺陷多工位集成修复方法
CN110411346A (zh) * 2019-08-12 2019-11-05 哈尔滨工业大学 一种非球面熔石英元件表面微缺陷快速定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙志刚;赵毅;刘传水;于振宁;张恕孝;蓝梦莹;刘晶晶;王艳云;: "基于深度学习的金属焊接管道内壁缺陷检测方法研究", 焊管, no. 07 *
朱兰斌,周欣荣,宋立新: "水轮机转轮叶片表面缺陷的检测方法", 哈尔滨理工大学学报, no. 03 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332078A (zh) * 2022-03-02 2022-04-12 山东华硕汽车配件科技有限公司 一种汽车发动机金属磨损智能修复控制方法
CN114332078B (zh) * 2022-03-02 2022-06-10 山东华硕汽车配件科技有限公司 一种汽车发动机金属磨损智能修复控制方法
WO2024026932A1 (en) * 2022-08-02 2024-02-08 Hong Kong Applied Science And Technology Research Institute Co., Ltd Optimized Path Planning for Defect Inspection based on Effective Region Coverage
CN116358842A (zh) * 2023-06-02 2023-06-30 中国科学院长春光学精密机械与物理研究所 基于机械臂的大口径光学元件表面缺陷检测方法及装置
CN116358842B (zh) * 2023-06-02 2023-08-01 中国科学院长春光学精密机械与物理研究所 基于机械臂的大口径光学元件表面缺陷检测方法及装置
CN117117049A (zh) * 2023-10-17 2023-11-24 迈为技术(珠海)有限公司 晶元修复方法、装置、设备、介质和程序产品
CN117117049B (zh) * 2023-10-17 2024-02-13 迈为技术(珠海)有限公司 晶元修复方法、装置、设备、介质和程序产品
CN117347383A (zh) * 2023-12-06 2024-01-05 中材新材料装备科技(天津)有限公司 一种硅酸钙板表面缺陷检测与自动修复系统及方法

Also Published As

Publication number Publication date
CN114113114B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN114113114B (zh) 一种大口径元件表面微缺陷检测与修复的自动化工艺方法
CN107356608B (zh) 大口径熔石英光学元件表面微缺陷快速暗场检测方法
CN110006905B (zh) 一种线面阵相机结合的大口径超净光滑表面缺陷检测装置
CN108760766B (zh) 一种大口径光学晶体表面微缺陷检测用的图像拼接方法
CN108645867B (zh) 大口径光学晶体表面微缺陷的快速寻位与批量检测方法
US5943551A (en) Apparatus and method for detecting defects on silicon dies on a silicon wafer
JP5982144B2 (ja) 落射照明画像用のエッジ位置測定値補正
CN110411346B (zh) 一种非球面熔石英元件表面微缺陷快速定位方法
US9983145B1 (en) Test probe card detection method and system thereof
CN101107558A (zh) 自动聚焦跟踪系统
CN105021628A (zh) 一种用于光纤倒像器表面缺陷的检测方法
CN109840900A (zh) 一种应用于智能制造车间的故障在线检测系统及检测方法
US7636466B2 (en) System and method for inspecting workpieces having microscopic features
CN209992407U (zh) 线面阵相机结合的大口径超净光滑表面缺陷检测装置
CN114113112B (zh) 一种基于三光源显微系统的表面微缺陷定位与识别方法
CN114113116B (zh) 一种大口径元件表面微缺陷精确检测工艺方法
CN110238520B (zh) 一种基于ccd视觉检测的自动精密激光焊接方法
CN112767494A (zh) 基于标定算法的精确测量定位方法
CN114113115B (zh) 一种大口径元件表面微缺陷高精度自动定位方法
CN108705689A (zh) 大口径精密光学晶体表面微缺陷修复用自动对刀工艺方法
CN114111578A (zh) 一种大口径元件的位姿自动确定方法
US20220238396A1 (en) Laser repair method and laser repair device
CN116879166A (zh) 一种基于机械臂的大口径平面光学元件表面缺陷扫描方法
Moru Improving the pipeline of an optical metrology system.
CN116908183A (zh) 基于变倍环倍数变换的大口径kdp晶体微缺陷快速检测与寻位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant