CN114120318A - 一种基于集成决策树的暗场图像目标点精确提取方法 - Google Patents

一种基于集成决策树的暗场图像目标点精确提取方法 Download PDF

Info

Publication number
CN114120318A
CN114120318A CN202111428201.8A CN202111428201A CN114120318A CN 114120318 A CN114120318 A CN 114120318A CN 202111428201 A CN202111428201 A CN 202111428201A CN 114120318 A CN114120318 A CN 114120318A
Authority
CN
China
Prior art keywords
defect
image
decision tree
target point
dark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111428201.8A
Other languages
English (en)
Other versions
CN114120318B (zh
Inventor
陈明君
尹朝阳
赵林杰
程健
袁晓东
郑万国
廖威
王海军
张传超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202111428201.8A priority Critical patent/CN114120318B/zh
Priority claimed from CN202111428201.8A external-priority patent/CN114120318B/zh
Publication of CN114120318A publication Critical patent/CN114120318A/zh
Application granted granted Critical
Publication of CN114120318B publication Critical patent/CN114120318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning

Abstract

一种基于集成决策树的暗场图像目标点精确提取方法,涉及图像处理技术领域,用以解决现有技术中对于大口径光学元件表面缺陷不能有效提取的问题。本发明的技术要点包括:在暗场环境下对元件表面进行全方位扫描采集,获取元件表面暗场图像;对暗场图像进行预处理和分割,获得多个缺陷区域的图像坐标;根据图像坐标提取缺陷区域特征,利用预训练的集成决策树分类模型对元件表面缺陷区域进行识别,剔除后表面伪缺陷区域,获得前表面缺陷区域图像集;对前表面缺陷区域图像集进行聚类处理,根据聚类结果计算获得多个缺陷区域的位置和尺寸。本发明提高了大口径元件表面缺陷的检测效率和准确率,提高了缺陷区域位置和尺寸的测量精度。

Description

一种基于集成决策树的暗场图像目标点精确提取方法
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于集成决策树的暗场图像目标点精确提取方法。
背景技术
大口径光学元件是高功率固体激光装置的重要组件,在强激光频繁照射下,其表面容易出现微裂纹、凹坑等缺陷。缺陷会弱化元件的材料性能,使损伤更易发生,在后续激光辐照下缺陷点会加速扩展。有研究表明,缺陷点产生后如果不及时对其采取激光微修复等措施,缺陷尺寸将呈指数增长。这不仅会降低光学元件使用寿命,还会影响元件通光性能并对下游元件产生影响。因此,采用合适的方式对元件表面缺陷进行及时的检测和修复对于提高光学元件使用寿命,保障激光装置稳定运行具有重要的作用。目前,工程上广泛采用基于机器视觉的暗场检测方法检测元件表面的微小缺陷,通过该方式获取缺陷点的位置和尺寸信息,从而制定合理的修复方案对缺陷点进行定位与修复。
大口径光学元件表面缺陷检测属于宏观条件下的微观检测,既需要获得元件全口径上的缺陷分布情况又需要获得微观缺陷的位置、尺寸信息。由于元件尺寸较大,通过一次成像很难实现元件表面缺陷暗场图像的采集,且该方式分辨率较低不利于缺陷的精确测量。工业上常采用扫描拍照的方式获取元件表面子区域的图像,通过子图拼接得到全口径的暗场图像。通过对暗场图像进行处理即可获取缺陷点的信息。由于光学元件是透明元件,在检测时容易受到背景干扰,且后表面缺陷也会成像在感光元件上影响前表面的缺陷检测。除此之外,由于子图拼接、光照不均等因素的影响,进行图像处理时单个缺陷点容易被分割为多个目标从而影响缺陷点定位和尺寸测量。
发明内容
鉴于以上问题,本发明提出一种基于集成决策树的暗场图像目标点精确提取方法,用以解决现有技术中对于大口径光学元件表面缺陷区域不能有效提取的问题。
一种基于集成决策树的暗场图像目标点精确提取方法,包括以下步骤:
步骤一、在暗场环境下对元件表面进行全方位扫描采集,获取元件表面暗场图像;
步骤二、对所述暗场图像进行预处理和分割,获得多个缺陷区域的图像坐标;
步骤三、根据缺陷区域的图像坐标提取缺陷区域特征,并利用预训练的集成决策树分类模型对元件表面缺陷区域进行识别,剔除后表面伪缺陷区域,获得前表面缺陷区域图像集;
步骤四、以目标点间距离作为聚类依据,对前表面缺陷区域图像集进行聚类处理;根据聚类结果计算获得多个缺陷区域的位置和尺寸。
进一步地,步骤一中所述元件表面暗场图像包括元件表面不同区域的多个子图,多个子图拼接成一个全图。
进一步地,步骤一中采用环形光源低角度照射元件表面形成暗场环境。
进一步地,步骤二中采用顶帽变换对各个子图进行预处理,然后进行阈值分割,提取缺陷区域并计算缺陷区域轮廓;然后求取缺陷区域轮廓的最小外接圆,将其圆心作为缺陷区域在子图中的坐标;最后通过下式将缺陷区域在子图中的坐标转化为在全图中的坐标(x,y):
Figure BDA0003379247350000021
式中,(LocX,LocY)是缺陷区域在子图中的坐标;m和n代表子图的序号,n代表子图所在行数,m代表子图所在列数;Lw和LH代表子图的宽和高。
进一步地,步骤三中所述缺陷区域特征包括尺寸特征、灰度特征和梯度特征;其中,尺寸特征包括缺陷区域的长、宽和长宽比,灰度特征包括缺陷区域的最大灰度值、最小灰度值及二者比值、灰度均值和方差,梯度特征包括缺陷区域的平均梯度和轮廓平均梯度。
进一步地,步骤三中所述集成决策树分类模型的预训练过程包括:训练样本集包括被标注为正样本的前表面目标缺陷点和负样本的后表面目标缺陷点,提取训练样本的特征并输入集成决策树模型,采用网格搜索方法对模型中超参数进行优化,按照优化后的超参数对模型进行重新训练,获得前后表面目标点分类模型,即训练好的集成决策树分类模型。
进一步地,步骤四的具体步骤包括:
步骤四一、对前表面缺陷区域图像集中的所有缺陷区域,计算各个缺陷区域之间的相关系数;
步骤四二、将相关系数大于预设系数阈值的缺陷区域归属为同一类,将归属于同一类的缺陷区域整合为一个集合,获得归属不同类的多个缺陷区域集合;
步骤四三、对于多个缺陷区域集合中的每个缺陷区域,计算包络缺陷区域内所有像素点的最小外接圆,以最小外接圆圆心作为该缺陷区域的中心位置,以最小外接圆半径作为该缺陷区域尺寸。
进一步地,步骤四一中根据下述公式计算各个缺陷区域之间的相关系数rA,B
Figure BDA0003379247350000022
Figure BDA0003379247350000031
式中,lAB表示两个缺陷区域A和B分别对应的最小外接圆圆心(xA,yA)、(xB,yB)之间的距离;RA、RB表示两个缺陷区域A和B分别对应的最小外接圆半径。
进一步地,还包括步骤五:将包含元件表面缺陷区域编号、子图序号、中心位置坐标和尺寸信息形成检测结果文件并保存。
本发明的有益技术效果是:
本发明首先采用顶帽变换消除了背景信息和光照不均等因素对目标检测的影响;然后采用基于集成决策树的方法剔除了元件后表面缺陷点的干扰,提高了目标检测的效率和准确率;进一步地采用目标点聚类解决了单个目标被多次检测的问题,提高了目标点位置和尺寸的测量精度。本发明方法实现了暗场图像目标点的精确提取,为后续缺陷点的定位和激光修复策略的制定提供了准确的信息。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解,所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分,而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。
图1是本发明实施例中目标点精确提取方法整体流程图;
图2是本发明另一实施例中目标点精确提取方法整体流程示意图;
图3是本发明实施例中大口径元件表面目标点暗场检测装置结构示意图;
图4是本发明实施例中目标点聚类过程示意图;
图5是本发明实施例中暗场图像缺陷提取过程图;其中,图(a)为原图像;图(b)为顶帽变换后效果图;图(c)为二值化后效果图;
图6是本发明实施例中前后表面目标点识别结果对比图;其中,图(a)为原图像;图(b)为其他算法识别结果图;图(c)为本发明集成决策树算法识别结果图;
图7是本发明实施例中暗场图像聚类提取结果对比图;其中,图(a)为原图像;图(b)为其他算法聚类结果图;图(c)为本发明聚类结果图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,在下文中将结合附图对本发明的示范性实施方式或实施例进行描述。显然,所描述的实施方式或实施例仅仅是本发明一部分的实施方式或实施例,而不是全部的。基于本发明中的实施方式或实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式或实施例,都应当属于本发明保护的范围。
本发明提出一种基于集成决策树的暗场图像目标点精确提取方法,通过图像预处理消除背景和光照不均的影响;通过集成决策树对前后表面目标进行判别,剔除后表面的干扰;通过聚类解决单个目标被多次检出的问题。本发明方法提高了暗场检测准确率,实现了缺陷信息的精确量化,为后续对缺陷点的处理提供了依据。
本发明实施例提供一种基于集成决策树的暗场图像目标点精确提取方法,如图1所示,该方法包括以下步骤:
步骤一、在暗场环境下对元件表面进行全方位扫描采集,获取元件表面暗场图像;
步骤二、对暗场图像进行预处理和分割,获得多个缺陷区域的图像坐标;
步骤三、根据缺陷区域的图像坐标提取缺陷区域特征,并利用预训练的集成决策树分类模型对元件表面缺陷区域进行识别,剔除后表面伪缺陷区域,获得前表面缺陷区域图像集;
步骤四、以目标点间距离作为聚类依据,对前表面缺陷区域图像集进行聚类处理;根据聚类结果计算获得多个缺陷区域的位置和尺寸。
本实施例中,可选地,步骤一中元件表面暗场图像包括元件表面不同区域的多个子图,多个子图拼接成一个全图。
本实施例中,可选地,步骤一中采用环形光源低角度照射元件表面形成暗场环境。
本实施例中,可选地,步骤二中采用顶帽变换对各个子图进行预处理,然后进行阈值分割,提取缺陷区域并计算缺陷区域轮廓;然后求取缺陷区域轮廓的最小外接圆,将其圆心作为缺陷区域在子图中的坐标;最后通过下式将缺陷区域在子图中的坐标转化为在全图中的坐标(x,y):
Figure BDA0003379247350000041
式中,(LocX,LocY)是缺陷区域在子图中的坐标;m和n代表子图的序号,n代表子图所在行数,m代表子图所在列数;Lw和LH代表子图的宽和高。
本实施例中,可选地,步骤三中缺陷区域特征包括尺寸特征、灰度特征和梯度特征;其中,尺寸特征包括缺陷区域的长、宽和长宽比,灰度特征包括缺陷区域的最大灰度值、最小灰度值及二者比值、灰度均值和方差,梯度特征包括缺陷区域的平均梯度和轮廓平均梯度。
本实施例中,可选地,步骤三中集成决策树分类模型的预训练过程包括:训练样本集包括被标注为正样本的前表面目标缺陷点和负样本的后表面目标缺陷点,提取训练样本的特征并输入集成决策树模型,采用网格搜索方法对模型中超参数进行优化,按照优化后的超参数对模型进行重新训练,获得前后表面目标点分类模型,即训练好的集成决策树分类模型。
本实施例中,可选地,步骤四的具体步骤包括:
步骤四一、对前表面缺陷区域图像集中的所有缺陷区域,计算各个缺陷区域之间的相关系数;
步骤四二、将相关系数大于预设系数阈值的缺陷区域归属为同一类,将归属于同一类的缺陷区域整合为一个集合,获得归属不同类的多个缺陷区域集合;
步骤四三、对于多个缺陷区域集合中的每个缺陷区域,计算包络缺陷区域内所有像素点的最小外接圆,以最小外接圆圆心作为该缺陷区域的中心位置,以最小外接圆半径作为该缺陷区域尺寸。
本实施例中,可选地,步骤四一中根据下述公式计算各个缺陷区域之间的相关系数rA,B
Figure BDA0003379247350000051
Figure BDA0003379247350000052
式中,lAB表示两个缺陷区域A和B分别对应的最小外接圆圆心(xA,yA)、(xB,yB)之间的距离;RA、RB表示两个缺陷区域A和B分别对应的最小外接圆半径。
本实施例中,可选地,还包括步骤五:将包含元件表面缺陷区域编号、子图序号、中心位置坐标和尺寸信息形成检测结果文件并保存。
本发明另一实施例提供一种基于集成决策树的暗场图像目标点精确提取方法,该方法的整体流程示意如图2所示,包括暗场图像采集、图像预处理、目标点轮廓提取、前后表面缺陷识别、目标点聚类和结果输出等过程。首先利用暗场检测装置获取元件表面的暗场图像,之后对图像进行预处理以消除光照不均与背景信息的干扰,通过图像分割获取目标点区域并计算其轮廓,提取目标点特征利用集成决策树剔除后表面缺陷,最后对获得的前表面目标进行聚类,从而获得元件表面缺陷点准确的位置和尺寸信息。具体步骤如下:
步骤1、获取元件表面暗场图像。
根据本发明实施例,由于光学元件尺寸较大,本发明使用暗场检测装置采集元件子区域以提高暗场检测的分辨率,通过控制运动平台移动对元件进行扫描拍照,将获得的子图进行拼接得到元件全口径暗场图像。暗场扫描拍照与图像预处理、目标点轮廓提取和前后表面识别同步进行,在扫描获得子图后即可对其进行相应处理以缩短检测时间提高效率。
暗场检测装置示意图如图3所示,包括运动平台和暗场检测系统。运动平台包含X、Y、Z三个运动轴,X、Y、Z运动轴的运动方向分别和机床坐标系的X、Y、Z坐标轴方向一致;运动平台X、Y运动轴可搭载光学元件进行二维高精度运动以实现元件的扫描拍照,Z运动轴可搭载暗场检测系统进行物距调整以获取聚焦清晰的暗场图像。暗场检测系统包括面阵相机、双远心镜头和环形光源,该系统可检测的缺陷分辨率为9.78μm,可实现50mm×50mm范围的无畸变检测。光学元件尺寸为430mm×430mm,需要采集9×9张子图才能实现全口径暗场图像的采集。为提高检测效率,在检测装置进行扫描采集的同时对获得的子图进行处理。
步骤2、对图像进行预处理和分割,提取目标点轮廓。
根据本发明实施例,在元件表面成像过程中,由于光照不均和背景干扰,采集的暗场图像的灰度值存在波动,不利于图像分割。采用顶帽变换对图像进行预处理以削弱背景灰度的不均匀性,突出目标区域。之后通过二值化算法提取目标区域并计算目标区域的轮廓。
顶帽变换是原图像与其开操作图像相减的结果,如式(1)所示。开操作是使用结构元b对图像进行式(2)所示的先腐蚀后膨胀处理,腐蚀可以去除图像中尺寸较小的目标,在此基础上进行膨胀操作可以获得不包含目标的背景图,原图像与开操作结果相减即可得到目标图像。使用该图像对目标区域和目标轮廓进行提取,计算目标最小外接圆圆心在全图中位置。该过程的具体步骤为:
Figure BDA0003379247350000067
开操作:
Figure BDA0003379247350000061
闭操作:
Figure BDA0003379247350000062
腐蚀:
Figure BDA0003379247350000063
膨胀:
Figure BDA0003379247350000064
将顶帽变换后的图像按照式(6)进行阈值分割,分割后的图像可用于目标点区域的标记、像素统计和轮廓提取。求取目标轮廓的最小外接圆,将其圆心作为目标点在子图中的位置,通过式(7)将子图坐标转化为全图坐标。
Figure BDA0003379247350000065
Figure BDA0003379247350000066
式中,(LocX,LocY)是目标点在子图中的坐标;m-n代表子图的序号,其中n代表扫描的行数,m代表子图所在列数;Lw和LH代表子图的宽和高。
步骤3、对目标区域特征进行定量描述,基于目标点特征使用集成决策树对前后表面缺陷进行辨别。
根据本发明实施例,元件前表面位于相机景深范围,其焦点落在感光元件上,表面缺陷点可以清晰成像,因而目标图像有清晰的纹理和轮廓。元件后表面超过了相机景深范围,其焦点落在了感光元件前端,在感光元件上形成尺寸较大的弥散圆,因而后表面不具有明显的纹理特征且轮廓模糊。基于上述特点,本发明设计了一系列特征来描述元件前后表面的目标点,通过人工标记样本形成训练集和验证集来训练集成决策树分类模型—XGBoost,使用该模型来剔除后表面目标点。
XGBoost属于梯度提升决策树GBDT的变种。GBDT是一种迭代的决策树算法,该算法有多棵决策树组成,将所有决策树的结果叠加起来就形成了最终的预测结果。GBDT的基本原理是将当前所有决策树的结果值叠加起来作为预测值,计算预测值与真实值之间的偏差,通过构建下一个决策树来拟合残差并将新构建的决策树叠加到原有结果中,重复该过程直至满足准确率要求。而XGBoost在GBDT基础上,对损失函数进行了二阶泰勒展开并添加了正则项,进一步提升了算法性能。本发明采用XGBoost对前后表面目标进行区分,该过程的具体步骤为:
步骤3-1:设暗场图像I(i,j)中第k个目标点的区域点集记为:GAk,轮廓点集记为GCk,k=1,…,n,n是暗场图像中的目标点个数。使用表1所列特征对前后表面目标点进行描述,包括:尺寸特征、灰度特征和梯度特征。尺寸特征包括目标点长、宽和长宽比,可以描述目标的尺寸和大致形状;灰度特征包括目标点最大最小灰度值及其比值、灰度均值和方差,前三个值可以描述目标区域灰度值的整体情况,灰度均值则反映了目标区域的亮暗程度,灰度的方差反映了目标区域像素值与均值的离散程度,可在一定程度上描述图像的清晰度;梯度特征包括目标区域平均梯度和轮廓平均梯度,平均梯度可以反映目标图像的清晰度和纹理变化,值越大表明图像越清晰。
表1目标点的暗场图像特征
Figure BDA0003379247350000071
上述特征的计算公式如式(8)~(17)所示。这样对于每一个目标点都可以用特征向量x=[x(1),x(2),...,x(10)]T来描述。
x(1)=llength (8)
x(2)=lwidth (9)
Figure BDA0003379247350000081
x(4)=max(I(i,j)),(i,j)∈GAk (11)
x(5)=min(I(i,j)),(i,j)∈GAk (12)
Figure BDA0003379247350000082
Figure BDA0003379247350000083
Figure BDA0003379247350000084
Figure BDA0003379247350000085
Figure BDA0003379247350000086
式中,llength、lwidth分别代表轮廓点最小外接矩形的长和宽;SG代表目标区域的像素总数,SC代表目标轮廓点的像素总数;IG代表图像的梯度,如式(18)所示。
IG=Gx+Gy,Gx=I(x,y)-I(x-1,y),Gy=I(x,y)-I(x,y-1) (18)
步骤3-2:获取样本数据,对样本进行标注,并将其划分为训练集和验证集。
通过步骤1、2可以获得大量的目标点,通过步骤3-1可以获得这些目标的特征向量x,将这些数据作为样本数据。经验丰富的操作人员根据目标点图像将其分为前表面目标和后表面目标,将前表面目标作为正样本标注为1,后表面目标作为负样本标注为0,从而完成样本的标注。将数据按照4:1的比例划分为训练集和验证集,训练集用于训练XGBoost模型,验证集用于验证模型的预测性能。
步骤3-3:使用标记好的样本数据对预测模型进行训练和优化。
XGBoost模型中包含大量的超参数,包括迭代次数、学习率、树的最大深度、正则化参数等,需要采用网格搜索方法对超参数进行优化。按照优化后的参数对XGBoost模型进行重新训练从而获得前后表面目标点分类模型。
步骤3-4:使用分类模型剔除后表面目标干扰。
在对目标点进行预测时,首先通过步骤3-1获取特征向量,将特征向量输入模型获得预测概率。若预测概率高于预测阈值则目标点属于前表面,反之目标点属于后表面。将所有前表面目标点提取出来进行后续处理。
步骤4、对目标点进行聚类,并输出检测结果。
根据本发明实施例,由于子图拼接以及光照条件不一致等因素的影响,分割后的目标点图像可能不连续,会出现单个目标点被多次分割的情况,这不仅会使检测到的目标点数量虚高还会影响缺陷点位置和尺寸的测量。因此,以目标点间距离作为聚类依据,把相近的目标点作为一类,将聚类后的目标区域轮廓作为最终轮廓,通过该轮廓计算目标点的位置和尺寸并输出最后的检测结果。
聚类方法用于解决单个目标点被多次分割的问题,图4上半部分是由于目标点不同区域的散射光强度不同,暗场图像的灰度值不均匀,造成单个目标被检测为多个小目标;图4下半部分是由于扫描拍照时目标点落在不同子图上,造成目标点被分割为多个。为避免上述情况,以目标点间的相对距离为依据对检测结果进行聚类。设聚类前图像中的两个目标点区域为A、B,其最小外接圆圆心(xA,yA)、(xB,yB),最小外接圆半径为RA、RB,则A、B两点的相关系数可用式(19)表示:
Figure BDA0003379247350000091
Figure BDA0003379247350000092
式中,lAB表示两个缺陷区域A和B分别对应的最小外接圆圆心(xA,yA)、(xB,yB)之间的距离;RA、RB表示两个缺陷区域A和B分别对应的最小外接圆半径。
相关系数的取值范围为0~1,越接近1表明目标点相关性越强,属于同一目标的概率越大。目标点聚类过程如图4所示,其具体步骤为:
步骤4-1:计算所有目标点间的相关系数,将相关系数大于阈值的点归为一类。若同一目标点分属不同的类别,则将这几个类别划分为同一类;
步骤4-2:将归属于同一类的目标的轮廓点整合为一个点集,计算包络所有轮廓点的最小外接圆,以该圆圆心位置作为目标点的中心位置,以该圆半径作为目标点尺寸。
步骤4-3:将最终结果以.xml文件的形式进行保存,形成最后的暗场检测文件。该文件包含了前表面目标点的编号、子图序号、中心坐标和尺寸等信息,可用于后续的缺陷点查找和定位。
本发明另一实施例提供一种基于集成决策树的暗场图像目标点精确提取方法的实例分析,利用上述方法对某批次大口径光学元件进行检测,该元件口径为430mm×430mm。
(1)在元件安装到运动平台并完成表面方程拟合后,对元件表面暗场图像进行采集。按照9×9=81张子图确定相机的拍照位置并控制平台X、Y轴移动到相应位置;利用元件表面方程确定拍照位置清晰成像的物距,移动Z轴使暗场检测系统成像清晰,从而获得覆盖整个光学元件表面的81张子图。
(2)在扫描同时对获得的子图进行处理,首先对图像进行顶帽变换。图5(b)是顶帽变换的效果图,通过与图5(a)原图像进行对比,可以看到顶帽变换后图像的背景得到了去除,灰度值接近于0,而缺陷信息仍然保留;然后对其进行二值化处理,可以获得图5(c)所示的二值化图像,通过与原图对比可知,原图中的目标点均被正确提取;通过对二值化图像提取轮廓即可计算每一目标点的最小外接圆,将最小外接圆圆心坐标作为目标点的像素坐标,获得目标点在整张图像中的像素坐标。
(3)使用基于XGBoost的前后表面目标识别模型对(2)中的目标点进行筛选。图6是该元件局部区域的前后表面目标点识别过程,在暗场采集的原图中,点①、⑤、⑥为前表面缺陷,而点②、③、④为后表面缺陷。使用二值化处理可以直接去除亮度较低的后表面缺陷(点③和点④),使用训练好的识别模型可以去除亮度较高的后表面缺陷(点②)。通过上述过程可以剔除后表面的干扰。
(4)使用聚类算法对获得的前表面目标点进行聚类,该过程如图7所示。由于图7所示的目标点尺寸较大,其不同区域的散射光强度不同,使用常规的二值化处理会分割成多个目标,干扰缺陷点的定位和尺寸测量,通过聚类方法可以有效避免上述情况。
本发明利用以上步骤实现了大口径元件表面目标点的精确提取,生成了只包含前表面目标点的暗场检测文件,为缺陷点的后续处理提供了准确信息。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。

Claims (9)

1.一种基于集成决策树的暗场图像目标点精确提取方法,其特征在于,包括以下步骤:
步骤一、在暗场环境下对元件表面进行全方位扫描采集,获取元件表面暗场图像;
步骤二、对所述暗场图像进行预处理和分割,获得多个缺陷区域的图像坐标;
步骤三、根据缺陷区域的图像坐标提取缺陷区域特征,并利用预训练的集成决策树分类模型对元件表面缺陷区域进行识别,剔除后表面伪缺陷区域,获得前表面缺陷区域图像集;
步骤四、以目标点间距离作为聚类依据,对前表面缺陷区域图像集进行聚类处理;根据聚类结果计算获得多个缺陷区域的位置和尺寸。
2.根据权利要求1所述的一种基于集成决策树的暗场图像目标点精确提取方法,其特征在于,步骤一中所述元件表面暗场图像包括元件表面不同区域的多个子图,多个子图拼接成一个全图。
3.根据权利要求2所述的一种基于集成决策树的暗场图像目标点精确提取方法,其特征在于,步骤一中采用环形光源低角度照射元件表面形成暗场环境。
4.根据权利要求3所述的一种基于集成决策树的暗场图像目标点精确提取方法,其特征在于,步骤二中采用顶帽变换对各个子图进行预处理,然后进行阈值分割,提取缺陷区域并计算缺陷区域轮廓;然后求取缺陷区域轮廓的最小外接圆,将其圆心作为缺陷区域在子图中的坐标;最后通过下式将缺陷区域在子图中的坐标转化为在全图中的坐标(x,y):
Figure FDA0003379247340000011
式中,(LocX,LocY)表示缺陷区域在子图中的坐标;m和n表示子图的序号,n代表子图所在行数,m代表子图所在列数;Lw和LH表示子图的宽和高。
5.根据权利要求4所述的一种基于集成决策树的暗场图像目标点精确提取方法,其特征在于,步骤三中所述缺陷区域特征包括尺寸特征、灰度特征和梯度特征;其中,尺寸特征包括缺陷区域的长、宽和长宽比,灰度特征包括缺陷区域的最大灰度值、最小灰度值及二者比值、灰度均值和方差,梯度特征包括缺陷区域的平均梯度和轮廓平均梯度。
6.根据权利要求5所述的一种基于集成决策树的暗场图像目标点精确提取方法,其特征在于,步骤三中所述集成决策树分类模型的预训练过程包括:训练样本集包括被标注为正样本的前表面目标缺陷点和负样本的后表面目标缺陷点,提取训练样本的特征并输入集成决策树模型,采用网格搜索方法对模型中超参数进行优化,按照优化后的超参数对模型进行重新训练,获得前后表面目标点分类模型,即训练好的集成决策树分类模型。
7.根据权利要求6所述的一种基于集成决策树的暗场图像目标点精确提取方法,其特征在于,步骤四的具体步骤包括:
步骤四一、对前表面缺陷区域图像集中的所有缺陷区域,计算各个缺陷区域之间的相关系数;
步骤四二、将相关系数大于预设系数阈值的缺陷区域归属为同一类,将归属于同一类的缺陷区域整合为一个集合,获得归属不同类的多个缺陷区域集合;
步骤四三、对于多个缺陷区域集合中的每个缺陷区域,计算包络缺陷区域内所有像素点的最小外接圆,以最小外接圆圆心作为该缺陷区域的中心位置,以最小外接圆半径作为该缺陷区域尺寸。
8.根据权利要求7所述的一种基于集成决策树的暗场图像目标点精确提取方法,其特征在于,步骤四一中根据下述公式计算各个缺陷区域之间的相关系数rA,B
Figure FDA0003379247340000021
Figure FDA0003379247340000022
式中,lAB表示两个缺陷区域A和B分别对应的最小外接圆圆心(xA,yA)、(xB,yB)之间的距离;RA、RB表示两个缺陷区域A和B分别对应的最小外接圆半径。
9.根据权利要求8所述的一种基于集成决策树的暗场图像目标点精确提取方法,其特征在于,还包括步骤五:将包含元件表面缺陷区域编号、子图序号、中心位置坐标和尺寸信息形成检测结果文件并保存。
CN202111428201.8A 2021-11-29 一种基于集成决策树的暗场图像目标点精确提取方法 Active CN114120318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111428201.8A CN114120318B (zh) 2021-11-29 一种基于集成决策树的暗场图像目标点精确提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111428201.8A CN114120318B (zh) 2021-11-29 一种基于集成决策树的暗场图像目标点精确提取方法

Publications (2)

Publication Number Publication Date
CN114120318A true CN114120318A (zh) 2022-03-01
CN114120318B CN114120318B (zh) 2024-04-26

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114749342A (zh) * 2022-04-20 2022-07-15 华南理工大学 一种锂电池极片涂布缺陷识别方法、装置及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070115464A1 (en) * 2005-11-21 2007-05-24 Harding Kevin G System and method for inspection of films
CN105447512A (zh) * 2015-11-13 2016-03-30 中国科学院自动化研究所 一种精粗结合的光学表面缺陷的检测方法及装置
CN107356608A (zh) * 2017-07-21 2017-11-17 中国工程物理研究院激光聚变研究中心 大口径熔石英光学元件表面微缺陷快速暗场检测方法
CN107389688A (zh) * 2017-07-21 2017-11-24 中国工程物理研究院激光聚变研究中心 大口径熔石英光学元件表面微缺陷多工位集成修复方法
CN111398291A (zh) * 2020-03-31 2020-07-10 南通远景电工器材有限公司 基于深度学习的扁平漆包电磁线表面瑕疵检测方法
US20210312609A1 (en) * 2019-06-14 2021-10-07 Zhejiang University Real-time traceability method of width of defect based on divide-and-conquer

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070115464A1 (en) * 2005-11-21 2007-05-24 Harding Kevin G System and method for inspection of films
CN105447512A (zh) * 2015-11-13 2016-03-30 中国科学院自动化研究所 一种精粗结合的光学表面缺陷的检测方法及装置
CN107356608A (zh) * 2017-07-21 2017-11-17 中国工程物理研究院激光聚变研究中心 大口径熔石英光学元件表面微缺陷快速暗场检测方法
CN107389688A (zh) * 2017-07-21 2017-11-24 中国工程物理研究院激光聚变研究中心 大口径熔石英光学元件表面微缺陷多工位集成修复方法
US20210312609A1 (en) * 2019-06-14 2021-10-07 Zhejiang University Real-time traceability method of width of defect based on divide-and-conquer
CN111398291A (zh) * 2020-03-31 2020-07-10 南通远景电工器材有限公司 基于深度学习的扁平漆包电磁线表面瑕疵检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
尹朝阳;张德志;赵林杰;陈明君;程健;蒋晓东;苗心向;牛龙飞;: "大口径反射镜表面颗粒污染物暗场检测算法研究", 光学学报, no. 07, 29 December 2019 (2019-12-29) *
邱光应;彭桂兰;陶丹;王峥荣: "基于决策树支持向量机的苹果表面缺陷识别", 食品与机械, vol. 33, no. 9, 31 December 2017 (2017-12-31) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114749342A (zh) * 2022-04-20 2022-07-15 华南理工大学 一种锂电池极片涂布缺陷识别方法、装置及介质
CN114749342B (zh) * 2022-04-20 2023-09-26 华南理工大学 一种锂电池极片涂布缺陷识别方法、装置及介质

Similar Documents

Publication Publication Date Title
CN110389127B (zh) 一种金属陶瓷零件识别及表面缺陷检测系统和方法
CN107437245B (zh) 基于深度卷积神经网络的高速铁路接触网故障诊断方法
CN111862064B (zh) 一种基于深度学习的银质丝材表面瑕疵识别方法
US7949181B2 (en) Segmentation of tissue images using color and texture
CN111462076B (zh) 一种全切片数字病理图像模糊区域检测方法及系统
CN113240626B (zh) 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法
CN112862770B (zh) 一种基于人工智能的缺陷分析诊断系统、方法、装置
CN107230203A (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN110927171A (zh) 一种基于机器视觉的轴承滚子倒角面缺陷检测方法
CN111462075A (zh) 一种全切片数字病理图像模糊区域的快速重聚焦方法及系统
CN112085024A (zh) 一种罐表面字符识别方法
CN110763700A (zh) 一种半导体元器件缺陷检测方法和设备
CN114910480A (zh) 一种基于机器视觉的晶圆表面缺陷检测方法
CN113177924A (zh) 一种工业流水线产品瑕疵检测方法
CN113034474A (zh) 一种oled显示器晶圆图的测试方法
CN115100168A (zh) 一种晶圆背封膜下亚表面缺陷检测系统及其方法
CN113393426A (zh) 一种轧钢板表面缺陷检测方法
CN111161295A (zh) 一种菜品图像背景剥离方法
CN115147363A (zh) 一种基于深度学习算法的影像缺陷检测和分类方法及系统
CN114120317A (zh) 基于深度学习和图像处理的光学元件表面损伤识别方法
CN111178405A (zh) 一种融合多种神经网络的相似物体识别方法
CN113145473A (zh) 一种水果智能分拣系统及方法
CN117392097A (zh) 基于改进YOLOv8算法的增材制造工艺缺陷检测方法和系统
CN116433978A (zh) 一种高质量瑕疵图像自动生成与自动标注方法及装置
CN114120318B (zh) 一种基于集成决策树的暗场图像目标点精确提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant