CN112581424A - 一种光学元件表面与亚表面缺陷的分类提取方法 - Google Patents

一种光学元件表面与亚表面缺陷的分类提取方法 Download PDF

Info

Publication number
CN112581424A
CN112581424A CN202011156457.3A CN202011156457A CN112581424A CN 112581424 A CN112581424 A CN 112581424A CN 202011156457 A CN202011156457 A CN 202011156457A CN 112581424 A CN112581424 A CN 112581424A
Authority
CN
China
Prior art keywords
defect
image
defects
contour
fluorescence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011156457.3A
Other languages
English (en)
Other versions
CN112581424B (zh
Inventor
刘�东
孙焕宇
王狮凌
胡晓波
黄梦辉
卢岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202011156457.3A priority Critical patent/CN112581424B/zh
Publication of CN112581424A publication Critical patent/CN112581424A/zh
Application granted granted Critical
Publication of CN112581424B publication Critical patent/CN112581424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8858—Flaw counting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G01N2021/8864—Mapping zones of defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种光学元件表面与亚表面缺陷的分类提取方法，针对光学元件同一成像区域的荧光和散射图像，首先选取特征点计算仿射变换矩阵，通过重采样和插值实现两幅图像空间位置的配准；然后提取两幅图像中缺陷区域的轮廓特征，根据荧光图像和散射图像中的缺陷在空间中重叠情况，标记不同缺陷的类型；最终分别输出延伸型亚表面缺陷、隐藏型亚表面缺陷和表面缺陷图像。本发明提供的方法可实现同时对不同类型缺陷的分类和提取，分别获得表征不同类型缺陷的图像；通过图像空间配准操作保证荧光和散射图像的成像区域一致，降低了硬件装调难度，极大提高了缺陷分类和提取的准确性。

Description

一种光学元件表面与亚表面缺陷的分类提取方法
技术领域
本发明涉及光学元件检测技术领域，尤其是涉及一种光学元件表面与亚表面缺陷的分类提取方法。
背景技术
光学元件的接触式的加工手段容易使其产生麻点、划痕、微裂纹等缺陷，这些缺陷不仅分布于光学元件表面，还可能会进一步延伸至表面以下几微米至几百微米的亚表面。光学元件的表面与亚表面缺陷会导致元件的激光损伤阈值降低，限制大功率激光装置能量进一步提升。
当前针对表面缺陷的检测技术已经较为成熟，例如基于散射显微成像的检测方法，利用表面缺陷对入射光束的散射进行检测，具有较高的检测效率和分辨率。亚表面缺陷由于隐藏在表面以下，需要通过一些特殊手段进行检测，例如基于荧光成像的检测方法，利用嵌入到元件亚表面缺陷中的荧光物质，在特定波长激光的激发下产生荧光，可以对亚表面缺陷进行有效的表征。在实际情况中，一些特殊的缺陷同时存在于荧光和散射图像中，这种缺陷的分布由表面延伸至亚表面，称之为延伸型亚表面缺陷。而只存在于散射图像，没有荧光信号产生的缺陷称之为表面缺陷；只存在于荧光图像，没有散射信号产生的缺陷称之为隐藏型亚表面缺陷。
同时对表面缺陷和亚表面缺陷进行快速检测和有效区分是一项重大挑战，针对该问题，本领域技术人员提出了一些解决方案。如公开号为CN109470665A的专利公开了一种荧光量子点检测玻璃表面和亚表面损伤的方法，使用制作凹坑的技术暴露出样品的亚表面缺陷，再用量子点溶液浸没样品，最后用荧光显微镜进行观察。这种方法是一种破坏性的检测方法，会对样品造成不可逆转的损伤，并且无法对表面和亚表面缺陷进行同时检测。公开号为CN109459438A的专利公开了一种缺陷的荧光和散射检测系统，用非破坏性手段同时获取缺陷的荧光与散射图像；公开号为CN111122594A的专利进一步公开了在荧光图像中减去散射图像，从而获得隐藏型亚表面缺陷图像的方案，但未提出行之有效的处理方法。
因此，当前尚未有技术能够明确区分出光学元件的表面缺陷、延伸型亚表面缺陷、隐藏型亚表面缺陷，需要使用一种方法对荧光和散射图像中三类缺陷进行准确地分类和提取，从而才能更加有针对性地改进光学元件的加工制造工艺，减少各类缺陷的产生。
发明内容
为解决现有技术存在的上述问题，本发明提供了一种光学元件表面与亚表面缺陷的分类提取方法，对荧光和散射图像中所包含的表面缺陷、延伸型亚表面缺陷、隐藏型亚表面缺陷，实现准确分类和提取。
一种光学元件表面与亚表面缺陷的分类提取方法，包括以下步骤：
(1)获取光学元件同一成像区域的荧光图像和散射图像，计算获得仿射变换矩阵；
(2)根据获得的仿射变换矩阵，对待处理的散射图像中的像素进行重采样和插值，将其坐标映射到荧光图像的坐标系之下，完成图像的配准；
(3)分别对荧光和散射图像中的缺陷区域进行轮廓特征提取，获得每个缺陷轮廓上像素点的坐标集合；
(4)判断荧光图像和散射图像中是否有缺陷区域在空间中重叠，并进行缺陷类型的标记；
(5)在荧光图像中，将所有标记为隐藏型亚表面缺陷的区域灰度置为0，获得的图像即为延伸型亚表面缺陷图像；在荧光图像中，将所有标记为延伸型亚表面缺陷的区域灰度置为0，获得的图像即为隐藏型亚表面缺陷图像；在散射图像中，将所有标记为延伸型亚表面缺陷的区域灰度置为0，获得的图像即为表面缺陷图像。
步骤(1)中，所述的荧光图像和散射图像是利用激光光源辐照样品表面，对样品表面同一成像区域采集获得的图像，该图像为暗场采集的经二值化后的图像。
所述仿射变换矩阵的具体计算方法为：
(1-1)选择三对在散射图像和荧光图像中同时存在的缺陷点作为特征点；
(1-2)计算三对特征点质心坐标，其中，散射图像中的特征点质心坐标记为{(x'1,y'1)，(x'2,y'2)，(x'3,y'3)}，荧光图像中的特征点质心坐标记为{(x1,y1),(x2,y2),(x3,y3)}；
(1-3)将{(x1,y1)，(x2,y2)，(x3,y3)}和{(x'1,y'1)，(x'2,y'2)，(x'3,y'3)}代入下式，计算获得仿射变换矩阵M，其中a1，a2，a3，a4为线性变化参数(包含旋转、缩放、错切和翻转)，tx，ty为平移参数；
Figure BDA0002742934290000031
步骤(2)中，对荧光和散射图像进行配准处理的目的是保证两幅图像成像区域的一致性，如果不对两幅图像进行配准处理，将会导致缺陷类型分类时产生较大的误判。这是由于两幅图像虽然是对光学元件表面同一区域进行采集成像，但是由于成像波长、成像器件位姿等的差异，导致两个成像系统的实际成像区域并不完全相同，显微放大倍率也不完全相同。在成像系统搭建完毕后，图像配准所需的仿射变换矩阵也固定不变，在后续的图像采集过程中，直接使用该参数对散射图像进行重采样和插值，即可完成荧光与散射图像的配准。
步骤(3)中，对荧光和散射图像中的缺陷区域进行轮廓特征提取的具体步骤为：
(3-1)在荧光图像中按从上到下，从左到右的顺序搜索，找到的第一个白色像素为第一个缺陷的轮廓点，记其坐标为(x1,y1)；
(3-2)以第一个轮廓点为中心，在其8邻域内以(x1+1,y1)为起点，顺时针进行第二个轮廓点的搜寻，并将第二个轮廓点记为(x2,y2)；轮廓点的判断依据为：若某点的上下左右四个相邻点都是白色像素点则不是轮廓点，否则是轮廓点。
(3-3)以第二个轮廓点为中心，重复(3-2)中步骤，直到返回(x1,y1)，说明已经完成第一个缺陷的全部轮廓点的遍历，将这些轮廓点坐标记为集合F1＝{(x1,y1)，(x2,y2)，(x3,y3)....}；
(3-4)获得荧光图像中所有缺陷的轮廓点坐标集合，记为Fi，i为缺陷个数的编号；
(3-5)对散射图像重复以上步骤，获得散射图像中所有缺陷的轮廓点坐标集合，记为Sj，j为缺陷个数的编号。
步骤(4)中，判断荧光图像和散射图像中是否有缺陷区域在空间中重叠的具体过程为：
(4-1)对荧光图像中第一个缺陷轮廓F1中的所有点进行遍历，若存在两个点位于散射图像中第一个缺陷轮廓S1包含的不规则区域之内，说明F1和S1两个缺陷区域重合；
(4-2)将荧光和散射图像中所有缺陷轮廓Fi和Sj进行上述两两对比；
(4-3)若散射图像中某缺陷轮廓不与荧光图像中任何缺陷轮廓重叠，则该缺陷标记为表面缺陷；若荧光图像中某缺陷轮廓不与散射图像中任何缺陷轮廓重叠，则该缺陷标记为隐藏型亚表面缺陷；若两幅图像中的某缺陷轮廓重叠，则该缺陷标记为延伸型亚表面缺陷；将两幅图像融合为一幅图像，用不同颜色来标记不同类型的缺陷，从而直观展示不同类型缺陷的分布情况。
与现有技术相比，本发明具有以下有益效果：
1、本发明实现了同时对表面缺陷、延伸型亚表面缺陷、隐藏型亚表面缺陷三种缺陷类型的分类和提取，可以分别获得表征三类缺陷的图像；
2、本发明对荧光和散射图像进行配准处理的步骤，保证了两幅图像具有相同的成像区域，降低了硬件装调难度，极大提高了缺陷分类和提取的准确性；
3、本发明中提取缺陷轮廓点坐标来进行缺陷重合的判断，相比于逐个像素判断的方法，极大节省了计算数据量，有效提升了判断效率。
附图说明
图1为本发明一种光学元件表面与亚表面缺陷的分类提取方法的流程示意图；
图2为光学元件同一成像区域的未经配准的荧光和散射图像；
图3为光学元件同一成像区域的配准后的荧光和散射图像；
图4为本发明实施例中经配准后的待处理的荧光和散射图像；
图5为本发明实施例中光学元件表面、亚表面缺陷分类提取结果图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
如图1所示，一种光学元件表面与亚表面缺陷的分类提取方法，包括以下步骤：
步骤1，光学元件同一成像区域的荧光和散射图像，计算获得仿射变换矩阵。
荧光和散射图像是利用激光光源辐照样品表面，对样品表面同一成像区域采集获得的图像，该图像为暗场采集的经二值化后的图像，其中荧光和散射图像采集可以采用公开号为CN109459438A的中国专利文献公开的一种缺陷检测设备及方法。
计算获得仿射变换矩阵的具体方法为：
步骤1-1，两幅未经配准的光学元件表面荧光和散射图像分别如图2中(a)和(b)所示，选择三对在两幅图像中同时存在的缺陷点作为特征点，如图中红框内的缺陷点。可以看出，在荧光和散射图像中相对应的缺陷点，在空间位置上存在明显的差异；
步骤1-2，计算三对特征点的质心坐标，结果如表1：
表1
Figure BDA0002742934290000061
步骤1-3，将表1中三组坐标值代入下式：
Figure BDA0002742934290000062
获得仿射变换矩阵：
Figure BDA0002742934290000063
步骤2，根据步骤1中获得的仿射变换矩阵，对图2中(b)散射图像中像素进行重采样和插值，将其坐标映射到荧光图像的坐标系之下，完成图像的配准。经配准后的荧光和散射图像如图3中(a)和(b)，可以看出，相对应的缺陷点在空间位置上已经一致，说明仿射变换矩阵计算准确。
使用该仿射变换矩阵的参数，对待处理的荧光和散射图像进行配准，结果如图4中(a)和(b)所示。
步骤3，分别对图4中(a)和(b)中的缺陷区域进行轮廓特征提取，获得每个缺陷轮廓上像素点的坐标集合。具体方法为：
步骤3-1，在图4中(a)，按从上到下，从左到右的顺序搜索，找到的第一个白色像素为第一个缺陷的轮廓点，记其坐标为(x1,y1)；
步骤3-2，以第一个轮廓点为中心，在其8邻域内以(x1+1,y1)为起点，顺时针进行第二个轮廓点的搜寻，并将第二个轮廓点记为(x2,y2)，其中轮廓点的判断依据为：若某点的上下左右四个相邻点都是白色像素点则不是轮廓点，否则是轮廓点；
步骤3-3，以第二个轮廓点为中心，重复步骤3-2中步骤，直到返回(x1,y1)，说明已经完成第一个缺陷的全部轮廓点的遍历，将这些轮廓点坐标记为集合F1＝{(x1,y1)，(x2,y2)，(x3,y3)....}；
步骤3-4，获得图4中(a)中所有缺陷的轮廓点坐标集合，记为Fi，i为缺陷个数的编号；
步骤3-5，对图4中(b)重复以上步骤，获得散射图像中所有缺陷的轮廓点坐标集合，记为Sj，j为缺陷个数的编号。
步骤4，判断图4的(a)和(b)中，是否有缺陷区域在空间中重叠，并进行缺陷类型的标记。具体方法为：
步骤4-1，对图4的(a)中第一个缺陷轮廓F1中的所有点进行遍历，若存在两个点位于图4的(b)中第一个缺陷轮廓S1包含的不规则区域之内，说明F1和S1两个缺陷区域重合；
步骤4-2，将图4的(a)和图3的(b)中所有缺陷轮廓Fi和Sj进行上述两两对比；
步骤4-3，若散射图像中某缺陷轮廓不与荧光图像中任何缺陷轮廓重叠，则该缺陷标记为表面缺陷，在图5的(a)中以红色标记；若荧光图像中某缺陷轮廓不与散射图像中任何缺陷轮廓重叠，则该缺陷标记为隐藏型亚表面缺陷，在图5的(a)中以绿色标记；若两幅图像中的某缺陷轮廓重叠，则该缺陷标记为延伸型亚表面缺陷，在图5的(a)中以黄色标记(为便于展示，图中3处黄色标记用方框框出)。在图5的(a)中可以直观地观察三种类型缺陷的分布。
步骤5，在荧光图像中，将所有标记为隐藏型亚表面缺陷的区域灰度置为0，获得的图5的(b)即为延伸型亚表面缺陷图像；在荧光图像中，将所有标记为延伸型亚表面缺陷的区域灰度置为0，获得的图5的(c)即为隐藏型亚表面缺陷图像；在散射图像中，将所有标记为延伸型亚表面缺陷的区域灰度置为0，获得的图5的(d)即为表面缺陷图像。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (6)

1.一种光学元件表面与亚表面缺陷的分类提取方法，其特征在于，包括以下步骤：
(1)获取光学元件同一成像区域的荧光图像和散射图像，计算获得仿射变换矩阵；
(2)根据获得的仿射变换矩阵，对待处理的散射图像中的像素进行重采样和插值，将其坐标映射到荧光图像的坐标系之下，完成图像的配准；
(3)分别对荧光和散射图像中的缺陷区域进行轮廓特征提取，获得每个缺陷轮廓上像素点的坐标集合；
(4)判断荧光图像和散射图像中是否有缺陷区域在空间中重叠，并进行缺陷类型的标记；
(5)在荧光图像中，将所有标记为隐藏型亚表面缺陷的区域灰度置为0，获得的图像即为延伸型亚表面缺陷图像；在荧光图像中，将所有标记为延伸型亚表面缺陷的区域灰度置为0，获得的图像即为隐藏型亚表面缺陷图像；在散射图像中，将所有标记为延伸型亚表面缺陷的区域灰度置为0，获得的图像即为表面缺陷图像。
2.根据权利要求1所述的光学元件表面与亚表面缺陷的分类提取方法，其特征在于，步骤(1)中，所述的荧光图像和散射图像是利用激光光源辐照样品表面，对样品表面同一成像区域采集获得的图像，该图像为暗场采集的经二值化后的图像。
3.根据权利要求1所述的光学元件表面与亚表面缺陷的分类提取方法，其特征在于，步骤(1)中，所述仿射变换矩阵的具体计算方法为：
(1-1)选择三对在散射图像和荧光图像中同时存在的缺陷点作为特征点；
(1-2)计算三对特征点质心坐标，其中，散射图像中的特征点质心坐标记为{(x′1,y′1)，(x'2,y'2)，(x'3,y'3)}，荧光图像中的特征点质心坐标记为{(x1,y1),(x2,y2),(x3,y3)}；
(1-3)将{(x1,y1)，(x2,y2)，(x3,y3)}和{(x′1,y′1)，(x'2,y'2)，(x'3,y'3)}代入下式，计算获得仿射变换矩阵M，其中a1，a2，a3，a4为线性变化参数，包含旋转、缩放、错切和翻转，tx，ty为平移参数；
Figure FDA0002742934280000021
4.根据权利要求1所述的光学元件表面与亚表面缺陷的分类提取方法，其特征在于，步骤(3)中，对荧光和散射图像中的缺陷区域进行轮廓特征提取的具体步骤为：
(3-1)在荧光图像中按从上到下，从左到右的顺序搜索，找到的第一个白色像素为第一个缺陷的轮廓点，记其坐标为(x1,y1)；
(3-2)以第一个轮廓点为中心，在其8邻域内以(x1+1,y1)为起点，顺时针进行第二个轮廓点的搜寻，并将第二个轮廓点记为(x2,y2)；
(3-3)以第二个轮廓点为中心，重复(3-2)中步骤，直到返回(x1,y1)，说明已经完成第一个缺陷的全部轮廓点的遍历，将这些轮廓点坐标记为集合F1＝{(x1,y1)，(x2,y2)，(x3,y3)....}；
(3-4)获得荧光图像中所有缺陷的轮廓点坐标集合，记为Fi，i为缺陷个数的编号；
(3-5)对散射图像重复以上步骤，获得散射图像中所有缺陷的轮廓点坐标集合，记为Sj，j为缺陷个数的编号。
5.根据权利要求4所述的光学元件表面与亚表面缺陷的分类提取方法，其特征在于，步骤(3-2)中，轮廓点的判断依据为：若某点的上下左右四个相邻点都是白色像素点则不是轮廓点，否则是轮廓点。
6.根据权利要求4所述的光学元件表面与亚表面缺陷的分类提取方法，其特征在于，步骤(4)中，判断荧光图像和散射图像中是否有缺陷区域在空间中重叠的具体过程为：
(4-1)对荧光图像中第一个缺陷轮廓F1中的所有点进行遍历，若存在两个点位于散射图像中第一个缺陷轮廓S1包含的不规则区域之内，说明F1和S1两个缺陷区域重合；
(4-2)将荧光和散射图像中所有缺陷轮廓Fi和Sj进行上述两两对比；
(4-3)若散射图像中某缺陷轮廓不与荧光图像中任何缺陷轮廓重叠，则该缺陷标记为表面缺陷；若荧光图像中某缺陷轮廓不与散射图像中任何缺陷轮廓重叠，则该缺陷标记为隐藏型亚表面缺陷；若两幅图像中的某缺陷轮廓重叠，则该缺陷标记为延伸型亚表面缺陷；将两幅图像融合为一幅图像，用不同颜色来标记不同类型的缺陷，从而直观展示不同类型缺陷的分布情况。
CN202011156457.3A 2020-10-26 2020-10-26 一种光学元件表面与亚表面缺陷的分类提取方法 Active CN112581424B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011156457.3A CN112581424B (zh) 2020-10-26 2020-10-26 一种光学元件表面与亚表面缺陷的分类提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011156457.3A CN112581424B (zh) 2020-10-26 2020-10-26 一种光学元件表面与亚表面缺陷的分类提取方法

Publications (2)

Publication Number Publication Date
CN112581424A true CN112581424A (zh) 2021-03-30
CN112581424B CN112581424B (zh) 2022-04-26

Family

ID=75120386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011156457.3A Active CN112581424B (zh) 2020-10-26 2020-10-26 一种光学元件表面与亚表面缺陷的分类提取方法

Country Status (1)

Country Link
CN (1) CN112581424B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116626053A (zh) * 2023-07-24 2023-08-22 宁德微图智能科技有限公司 一种电芯蓝膜的缺陷检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100290694A1 (en) * 2007-04-13 2010-11-18 Dubois Frederic Method and Apparatus for Detecting Defects in Optical Components
CN105092607A (zh) * 2015-08-27 2015-11-25 浙江大学 球面光学元件表面缺陷评价方法
CN111122594A (zh) * 2020-02-11 2020-05-08 中国工程物理研究院激光聚变研究中心 一种利用荧光增强法检测光学元件亚表面缺陷的方法
CN111369511A (zh) * 2020-02-28 2020-07-03 浙江大学 一种基于频谱特性的光学元件表面弱划痕检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100290694A1 (en) * 2007-04-13 2010-11-18 Dubois Frederic Method and Apparatus for Detecting Defects in Optical Components
CN105092607A (zh) * 2015-08-27 2015-11-25 浙江大学 球面光学元件表面缺陷评价方法
CN111122594A (zh) * 2020-02-11 2020-05-08 中国工程物理研究院激光聚变研究中心 一种利用荧光增强法检测光学元件亚表面缺陷的方法
CN111369511A (zh) * 2020-02-28 2020-07-03 浙江大学 一种基于频谱特性的光学元件表面弱划痕检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LU, Y，ET AL: "《Detection of surface and subsurface defects of apples using structuredillumination reflectance imaging with machine learning algorithms》", 《TRANSACTIONS OF THE ASABE》 *
钟云杰: "《基于激光超声技术的钢轨表面及亚表面缺陷检测研究》", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116626053A (zh) * 2023-07-24 2023-08-22 宁德微图智能科技有限公司 一种电芯蓝膜的缺陷检测方法及装置
CN116626053B (zh) * 2023-07-24 2023-11-03 宁德微图智能科技有限公司 一种电芯蓝膜的缺陷检测方法及装置

Also Published As

Publication number Publication date
CN112581424B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
CN108520274B (zh) 基于图像处理及神经网络分类的高反光表面缺陷检测方法
WO2019134252A1 (zh) 结构裂缝自动化描绘及宽度精准测量方法与设备
CN102288613B (zh) 一种灰度和深度信息融合的表面缺陷检测方法
CN105913093B (zh) 一种用于文字识别处理的模板匹配方法
CN111292305A (zh) 一种改进型yolo-v3的金属加工表面缺陷检测方法
CN109166098A (zh) 基于图像处理的工件毛刺检测方法
CN111369516B (zh) 基于红外图像识别的变压器套管发热缺陷检测方法
Eshkevari et al. Automatic dimensional defect detection for glass vials based on machine vision: A heuristic segmentation method
CN109540925B (zh) 基于差影法与局部方差测量算子的复杂瓷砖表面缺陷检测方法
CN104458764B (zh) 基于大景深条带图像投影的弯曲粗糙表面缺陷鉴别方法
CN114549446A (zh) 一种基于深度学习的气缸套缺陷标检测方法
CN109978940A (zh) 一种sab安全气囊尺寸视觉测量方法
CN110096980A (zh) 字符检测识别系统
CN116091505B (zh) 一种蓝宝石衬底自动缺陷检测分类的方法和系统
CN115601359A (zh) 一种焊缝检测方法及装置
CN110426395B (zh) 一种太阳能el电池硅片表面检测方法及装置
CN112581424B (zh) 一种光学元件表面与亚表面缺陷的分类提取方法
CN112183593A (zh) 一种基于dssd算法的道路损伤检测方法
CN113970560B (zh) 一种基于多传感融合的缺陷三维检测方法
CN112767345A (zh) 一种dd6单晶高温合金共晶缺陷检测和分割方法
CN109410210B (zh) 基于机器视觉的商品条码印制质量检测方法
CN117036259A (zh) 一种基于深度学习的金属板材表面缺陷检测方法
JP4500138B2 (ja) 細胞画像解析方法
CN114120318B (zh) 一种基于集成决策树的暗场图像目标点精确提取方法
CN115689990A (zh) 一种基于机器视觉的地毯灯杂光缺陷智能检测算法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant