CN116091505A - 一种蓝宝石衬底自动缺陷检测分类的方法和系统 - Google Patents

一种蓝宝石衬底自动缺陷检测分类的方法和系统 Download PDF

Info

Publication number
CN116091505A
CN116091505A CN202310375880.XA CN202310375880A CN116091505A CN 116091505 A CN116091505 A CN 116091505A CN 202310375880 A CN202310375880 A CN 202310375880A CN 116091505 A CN116091505 A CN 116091505A
Authority
CN
China
Prior art keywords
defect
sapphire substrate
image
images
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310375880.XA
Other languages
English (en)
Other versions
CN116091505B (zh
Inventor
肖迪
王鑫
郑东
高翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xinkang Semiconductor Technology Co ltd
Original Assignee
Qingdao Xinkang Semiconductor Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xinkang Semiconductor Technology Co ltd filed Critical Qingdao Xinkang Semiconductor Technology Co ltd
Priority to CN202310375880.XA priority Critical patent/CN116091505B/zh
Publication of CN116091505A publication Critical patent/CN116091505A/zh
Application granted granted Critical
Publication of CN116091505B publication Critical patent/CN116091505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种蓝宝石衬底自动缺陷检测分类的方法和系统，涉及半导体缺陷检测技术领域，包括：基于图像采集设备采集位于参照基板上的蓝宝石衬底，以获取侧视蓝宝石衬底图像；针对侧视蓝宝石衬底图像进行缺陷初步分析，以获取若干幅缺陷蓝宝石衬底图像；提取若干幅缺陷蓝宝石衬底图像，并根据其通过图像采集设备采集位于参照基板上的若干幅俯视缺陷蓝宝石衬底图像；针对若干幅俯视缺陷蓝宝石衬底图像进行缺陷类型分析，以确定缺陷类型归属以及获取对应缺陷类型图像；本发明能对缺陷蓝宝石衬底进行高效筛选，为发现衬底加工过程问题和提高衬底加工工艺水平提供数据支撑。

Description

一种蓝宝石衬底自动缺陷检测分类的方法和系统
技术领域
本发明涉及半导体缺陷检测技术领域，尤其涉及一种蓝宝石衬底自动缺陷检测分类的方法和系统。
背景技术
蓝宝石衬底是一种半导体材料衬底，通常用于制造LED、激光二极管和功率晶体管等电子元器件；蓝宝石是一种高硬度、高透明度、高热导率、高化学稳定性的单晶体材料，它的晶格结构和热膨胀系数与氮化铝和氮化硅等半导体材料相似，因此被广泛应用于半导体制造中作为衬底材料；然而，蓝宝石衬底材料在生产过程中需要经过一系列机械和化学处理过程，难免会在衬底表面留下各类缺陷（如：刮伤、坑洞、气泡、颗粒以及崩角等）；当衬底存在这些缺陷时，势必影响到后续外延层生长以及相关器件的成品率；因此，如何对蓝宝石衬底进行高效自动检测工作就变得尤其重要。
现有的蓝宝石衬底缺陷检测方法更多依靠人工检测或者结合破坏性手段和测量仪器进行抽检实现；难以对于细小缺陷或特征不明显的衬底缺陷进行高效筛选，容易加剧人的疲劳，且检测结果受到人为干预，检测结果不稳定因素较大；随着机器视觉的不断发展，虽然出现了一些将机器学习技术应用到蓝宝石衬底的方法，但受制于现有机器学习算法对数据体量的需求，导致难以实际应用到蓝宝石衬底检测方向上，此外，当前基于机器学习的蓝宝石衬底检测方法还存在精度不高和速度较低等问题；当然，也存在一些非机器学习的蓝宝石衬底检测方法，例如中国公开号CN109540904A公开了一种衬底表面宏观缺陷检测及分类系统，该发明虽然基于图像处理获取缺陷的特征参数，并基于其实现了对衬底的检测和分类，但该发明缺陷检测过于简单、缺陷分类相对较少，无法适用于更多缺陷区分场景，并且自动化程度较低，不适用于大规模的蓝宝石衬底缺陷检测场景，难以为发现衬底加工过程问题和提高衬底加工工艺水平提供重要及高效的数据支撑。
鉴于此，本发明提出一种蓝宝石衬底自动缺陷检测分类的方法和系统以解决上述问题。
发明内容
本发明的目的是为了解决现有技术中存在的缺陷，而提出的一种蓝宝石衬底自动缺陷检测分类的方法和系统。
为了实现上述目的，本发明采用了如下技术方案：
一种蓝宝石衬底自动缺陷检测分类的方法，包括：
S101：基于图像采集设备采集位于参照基板上的蓝宝石衬底，以获取侧视蓝宝石衬底图像；所述侧视蓝宝石衬底图像包括第一角度的侧视蓝宝石衬底图像、第二角度的侧视蓝宝石衬底图像、第三角度的侧视蓝宝石衬底图像和第四角度的侧视蓝宝石衬底图像；所述侧视蓝宝石衬底图像包括蓝宝石衬底区域和参照基板区域；
S102：针对所述侧视蓝宝石衬底图像进行缺陷初步分析，以获取若干幅缺陷蓝宝石衬底图像；
S103：提取所述若干幅缺陷蓝宝石衬底图像，并根据其通过图像采集设备采集位于参照基板上的若干幅俯视缺陷蓝宝石衬底图像；
S104：针对若干幅俯视缺陷蓝宝石衬底图像进行第一缺陷类型分析、第二缺陷类型分析、第三缺陷类型分析和第四缺陷类型分析，以确定缺陷类型归属以及获取对应缺陷类型图像；
所述对应缺陷类型图像包括第一缺陷类型图像、第二缺陷类型图像、第三缺陷类型图像、第四缺陷类型图像和第五缺陷类型图像。
进一步地，所述缺陷初步分析的具体过程如下：
分别提取所述第一角度的侧视蓝宝石衬底图像、第二角度的侧视蓝宝石衬底图像、第三角度的侧视蓝宝石衬底图像和第四角度的侧视蓝宝石衬底图像的灰度信息和亮度信息；
分别针对第一角度的侧视蓝宝石衬底图像、第二角度的侧视蓝宝石衬底图像、第三角度的侧视蓝宝石衬底图像和第四角度的侧视蓝宝石衬底图像的灰度信息和亮度信息进行信息划分和分析，以获取不同角度的侧视蓝宝石衬底图像的灰度变化系数和亮度变化系数。
进一步地，所述灰度信息的信息划分和分析的具体步骤如下：
将每个角度的侧视蓝宝石衬底图像的灰度信息按照光照方向角度从近到远进行等分划分，以获取若干幅灰度等分区域的灰度值，并根据其计算不同角度的侧视蓝宝石衬底图像的灰度变化系数，式中：表示灰度变化系数，表示灰度值，i表示灰度等分区域数量，表示灰度等分区域总数。
进一步地，所述亮度信息的信息划分和分析的具体步骤如下：
将每个角度的侧视蓝宝石衬底图像的亮度信息按照光照方向角度从近到远进行等分划分，以获取若干幅亮度等分区域的亮度值，并根据其计算不同角度的侧视蓝宝石衬底图像的亮度变化系数，式中：表示亮度变化系数，表示亮度值，j表示亮度等分区域数量，表示亮度等分区域总数。
进一步地，所述综合数据分析的具体过程如下：
提取第一角度的侧视蓝宝石衬底图像、第二角度的侧视蓝宝石衬底图像、第三角度的侧视蓝宝石衬底图像和第四角度的侧视蓝宝石衬底图像的灰度变化系数和亮度变化系数，并根据其计算综合影响系数，式中：表示不同角度的侧视蓝宝石衬底图像的个数；
设置缺陷梯度临界Gt，将所述侧视蓝宝石衬底图像的所述综合影响系数与缺陷梯度临界Gt进行比对，若所述综合影响系数大于等于缺陷梯度临界Gt，则生成一级分析标记，若所述综合影响系数小于缺陷梯度临界Gt，则生成二级分析标记；所述二级分析标记表明对应所述侧视蓝宝石衬底图像为无缺陷蓝宝石衬底图像；所述一级分析标记表明对应所述侧视蓝宝石衬底图像为缺陷蓝宝石衬底图像；根据一级分析标记提取若干幅缺陷蓝宝石衬底图像。
进一步地，所述第一缺陷类型分析的具体过程如下：
提取若干幅所述俯视缺陷蓝宝石衬底图像中的蓝宝石衬底区域和参照基板区域，并获取参照基板灰度化后的基板亮度值；
基于所述蓝宝石衬底区域对所述参照基板区域进行尺寸裁剪，并将裁剪后得到俯视缺陷蓝宝石衬底图像进行四边角区域划分，以获取四个边缘感兴趣区域，并针对每个边缘感兴趣区域进行像素级感兴趣区域划分，以获取若干幅目标感兴趣区域；
所述像素级感兴趣区域划分表示每幅目标感兴趣区域中至少包括一个像素且不超过三个像素；
提取每幅目标感兴趣区域内的亮度值，并基于公式计算反差系数；式中：表示基板亮度值，表示第n个目标感兴趣区域的亮度值；d表示反差系数个数数据；
设置反差临界阈值Qt，并将其与所述反差系数进行判断，若存在反差系数大于等于反差临界阈值Qt，则将对应所述俯视缺陷蓝宝石衬底图像标记为崩角缺陷类型，并将对应俯视缺陷蓝宝石衬底图像作为第一缺陷类型图像；若存在反差系数小于反差临界阈值Qt，则将对应俯视缺陷蓝宝石衬底图像标记为其他缺陷类型。
进一步地，所述第二缺陷类型分析的具体过程如下：
提取若干幅所述俯视缺陷蓝宝石衬底图像中的非边缘感兴趣区域，并基于其提取非边缘感兴趣区域中每个像素的亮度信息；
基于每个像素的亮度信息判断是否存在近似亮点，若存在，将所述近似亮点作为基准亮点，并以所述基准亮点为基准提取周围近似亮点，并获取基准亮点以及所述周围近似亮点的坐标值，并基于公式计算间距,式中：表示基准亮点的坐标，表示近似亮点的坐标；
判断所述计算间距是否处于预设间距阈值内，若处于，则重复上述步骤，以获取若干个周围近似亮点；
判断基准亮点与若干个周围近似亮点的总长度是否满足阈值，若满足，则对应俯视缺陷蓝宝石衬底图像标记为刮伤缺陷类型，并将对应俯视缺陷蓝宝石衬底图像作为第二缺陷类型图像。
进一步地，所述第三缺陷类型分析的具体过程如下：
提取若干幅所述俯视缺陷蓝宝石衬底图像中的非边缘感兴趣区域，并基于其提取非边缘感兴趣区域中每个像素的亮度信息；
基于每个像素的亮度信息判断是否存在近似圆的亮度聚集区，若存在，则按圆形搜索方式提取位于亮度聚集区外的第一圆形区域，同时根据第一圆形区域搜索第一圆形区域外的第二圆形区域；
判断所述近似圆的亮度聚集区、第一圆形区域和第二圆形区域是否呈预设亮度区分规则；
所述亮度区分规则包括坑洞亮度区分规则和非坑洞亮度区分规则，所述坑洞亮度区分规则表示近似圆的亮度聚集区、第一圆形区域和第二圆形区域满足亮-暗-亮的亮度分布规则；所述非坑洞亮度区分规则表示近似圆的亮度聚集区、第一圆形区域和第二圆形区域满足亮-暗-暗的亮度分布规则；
若满足，则对应俯视缺陷蓝宝石衬底图像标记为坑洞缺陷类型，并将对应俯视缺陷蓝宝石衬底图像作为第三缺陷类型图像；若不满足，则标记为其他疑似缺陷蓝宝石衬底图像；
所述第四缺陷类型分析的具体过程如下：
提取其他疑似缺陷蓝宝石衬底图像，并基于其针对每个满足非坑洞亮度区分规则的近似圆的亮度聚集区、第一圆形区域和第二圆形区域进行拼凑，以生成i个综合近似圆区域，i≥1；
计算每两个不同综合近似圆区域的相似度、面积比和数量差，并通过公式获取综合判断系数；式中：，表示相似度，表示数量差，表示面积比；
设定综合判断阈值Yt，将所述综合判断系数与综合判断阈值Yt进行比较，若综合判断系数大于等于综合判断阈值Yt，则表示对应所述俯视缺陷蓝宝石衬底图像为颗粒缺陷类型，并将对应俯视缺陷蓝宝石衬底图像作为第四缺陷类型图像；若综合判断系数小于综合判断阈值Yt，则表示对应所述俯视缺陷蓝宝石衬底图像为气泡缺陷类型，并将对应俯视缺陷蓝宝石衬底图像作为第五缺陷类型图像。
进一步地，一种蓝宝石衬底自动缺陷检测分类的方法还包括：
S105：分别将若干幅第一缺陷类型图像、第二缺陷类型图像、第三缺陷类型图像、第四缺陷类型图像和第五缺陷类型图像输入预构建生成对抗网络，并基于所述生成对抗网络增加缺陷蓝宝石衬底图像数据集，以获取第一缺陷类型图像、第二缺陷类型图像、第三缺陷类型图像、第四缺陷类型图像和第五缺陷类型图像；
S106：构建五个基学习器，分别将第一缺陷类型图像、第二缺陷类型图像、第三缺陷类型图像、第四缺陷类型图像和第五缺陷类型图像作为第一类型样本集、第二类型样本集、第三类型样本集、第四类型样本集和第五类型样本集，并基于每个类型样本集输入每个对应基学习器，以生成第一缺陷识别模型、第二缺陷识别模型、第三缺陷识别模型、第四缺陷识别模型和第五缺陷识别模型；
S107：将若干幅蓝宝石衬底图像输入第一缺陷识别模型、第二缺陷识别模型、第三缺陷识别模型、第四缺陷识别模型和第五缺陷识别模型，以获取第一识别数据、第二识别数据、第三识别数据、第四识别数据和第五识别数据；构建集成学习器，并将第一识别数据、第二识别数据、第三识别数据、第四识别数据和第五识别数据作为识别样本集，并划分70%的训练集和30%的测试集，将70%的训练集输入所述集成学习器，根据集成学习策略训练，以生成蓝宝石衬底检测模型；基于30%的测试集对所述蓝宝石衬底检测模型进行测试，对满足预期的蓝宝石衬底检测模型进行输出；
S108：获取若干幅待检测蓝宝石衬底图像，并基于所述蓝宝石衬底检测模型对其进行检测和分类。
一种蓝宝石衬底自动缺陷检测分类的系统，包括上述任意一项所述一种蓝宝石衬底自动缺陷检测分类的方法。
相比于现有技术，本发明的有益效果在于：
（1）本发明公开了一种蓝宝石衬底自动缺陷检测分类的方法和系统，通过获取不同角度的侧视蓝宝石衬底图像，同时基于其获取灰度变化系数和亮度变化系数，并提取综合影响系数，将综合影响系数与缺陷梯度临界进行比较分析，本发明能够对存在缺陷的蓝宝石衬底进行高效筛选，相较于人工检测而言，检测准确率较高，速度更快；此外，基于不同类型蓝宝石衬底的缺陷特征对筛选出的缺陷蓝宝石衬底进行缺陷分类，本发明有利于为发现衬底加工过程问题和提高衬底加工工艺水平提供重要及高效的数据支撑。
（2）本发明公开了一种蓝宝石衬底自动缺陷检测分类的方法和系统，在获取若干幅第一缺陷类型图像、第二缺陷类型图像、第三缺陷类型图像、第四缺陷类型图像和第五缺陷类型图像的基础上，通过生成对抗网络进行数据集扩充，本发明有利于解决现有蓝宝石衬底训练数据不足的问题，此外通过对扩充后的数据集进行单模型训练，并获取单模型的输出结果，之后根据将多个单模型的输出结果通过集成学习进行融合训练，以获取蓝宝石衬底检测模型，并基于该蓝宝石衬底检测模型对待检测蓝宝石衬底图像进行检测和分类，本发明有利于提高蓝宝石衬底缺陷检测的自动化程度，并进一步提高检测精度，以使其适用于大规模的生产检测场景。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明实施例三提出的一种蓝宝石衬底自动缺陷检测分类的方法的整体流程图；
图2本发明实施例四提出的一种蓝宝石衬底自动缺陷检测分类的方法的整体流程图；
图3为为本发明实施例一提出的一种蓝宝石衬底自动缺陷检测分类的系统的整体结构示意图；
图4为本发明实施例二提出的一种蓝宝石衬底自动缺陷检测分类的系统的整体结构示意图；
图5为本发明提出的蓝宝石衬底缺陷类型的图像示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
蓝宝石衬底在实际的生成过程中，约8%～15%会产生表面缺陷（如图5所示），图5（a）中为蓝宝石衬底的坑洞缺陷示意图，图5（b）中为蓝宝石衬底的崩角缺陷示意图，图5（c）中为蓝宝石衬底的刮伤缺陷示意图，图5（d）中为蓝宝石衬底的气泡缺陷示意图，图5（e）中为蓝宝石衬底的颗粒缺陷示意图；衬底表面质量对后续的图形化处理与GaN外延层的生长有很大的影响, 因此,如何对蓝宝石衬底进行高效自动检测，以识别并分类衬底缺陷，进而为发现衬底加工过程问题和提高衬底加工工艺水平提供重要数据支撑就变得尤其重要。
实施例1
请参阅图3所示，本发明实施例提供了一种蓝宝石衬底自动缺陷检测分类的系统，包括：
第一数据采集模块110，用于基于图像采集设备采集位于参照基板上的蓝宝石衬底，以获取侧视蓝宝石衬底图像；所述侧视蓝宝石衬底图像包括第一角度的侧视蓝宝石衬底图像、第二角度的侧视蓝宝石衬底图像、第三角度的侧视蓝宝石衬底图像和第四角度的侧视蓝宝石衬底图像；
需要说明的是：所述图像采集设备主要包括高分辨率工业相机和照射光源；所述参照基板具体为纯白或纯黑参照基板中的一种；
还需要说明的是：所述侧视蓝宝石衬底图像获取还包括图像预处理过程，所述图像预处理过程包括但不限于图像去噪、图像增强和图像灰度化等操作；
具体的，所述侧视蓝宝石衬底图像包括蓝宝石衬底区域和参照基板区域；所述第一角度的侧视蓝宝石衬底图像、第二角度的侧视蓝宝石衬底图像、第三角度的侧视蓝宝石衬底图像和第四角度的侧视蓝宝石衬底图像基于四基本角度的所述照射光源打光采集得到；所述设四基本角度包括东北、西北、东南和西南四个方向，所述四基本角度照射光源呈坐标相互对称设置；
检测缺陷分析模块120，用于针对所述侧视蓝宝石衬底图像进行缺陷初步分析，以获取若干幅缺陷蓝宝石衬底图像；
需要说明的是：所述缺陷侧视蓝宝石衬底图像中的缺陷包括刮伤、坑洞、气泡、颗粒以及崩角五种类型；
具体地，所述缺陷初步分析的具体过程如下：
分别提取所述第一角度的侧视蓝宝石衬底图像、第二角度的侧视蓝宝石衬底图像、第三角度的侧视蓝宝石衬底图像和第四角度的侧视蓝宝石衬底图像的灰度信息和亮度信息；
分别针对第一角度的侧视蓝宝石衬底图像、第二角度的侧视蓝宝石衬底图像、第三角度的侧视蓝宝石衬底图像和第四角度的侧视蓝宝石衬底图像的灰度信息和亮度信息进行信息划分和分析，以获取不同角度的侧视蓝宝石衬底图像的灰度变化系数和亮度变化系数；
所述灰度信息的信息划分和分析的具体步骤如下：
将每个角度的侧视蓝宝石衬底图像的灰度信息按照光照方向角度从近到远进行等分划分，以获取若干幅灰度等分区域的灰度值，并根据其计算不同角度的侧视蓝宝石衬底图像的灰度变化系数，式中：表示灰度变化系数，表示灰度值，i表示灰度等分区域数量，表示灰度等分区域总数；
需要说明的是：灰度变化系数越大，说明某角度的侧视蓝宝石衬底图像灰度变化范围越大；
所述亮度信息的信息划分和分析的具体步骤如下：
将每个角度的侧视蓝宝石衬底图像的亮度信息按照光照方向角度从近到远进行等分划分，以获取若干幅亮度等分区域的亮度值，并根据其计算不同角度的侧视蓝宝石衬底图像的亮度变化系数，式中：表示亮度变化系数，表示亮度值，j表示亮度等分区域数量，表示亮度等分区域总数；
需要说明的是：亮度变化系数越大，说明某角度的侧视蓝宝石衬底图像亮度变化范围越大；
基于不同角度的若干幅侧视蓝宝石衬底图像的灰度变化系数和亮度变化系数进行综合数据分析，以获取若干幅缺陷蓝宝石衬底图像；
具体的，所述综合数据分析的具体过程如下：提取第一角度的侧视蓝宝石衬底图像、第二角度的侧视蓝宝石衬底图像、第三角度的侧视蓝宝石衬底图像和第四角度的侧视蓝宝石衬底图像的灰度变化系数和亮度变化系数，并根据其计算综合影响系数，式中：表示不同角度的侧视蓝宝石衬底图像的个数；
设置缺陷梯度临界Gt，将所述侧视蓝宝石衬底图像的所述综合影响系数与缺陷梯度临界Gt进行比对，若所述综合影响系数大于等于缺陷梯度临界Gt，则生成一级分析标记，若所述综合影响系数小于缺陷梯度临界Gt，则生成二级分析标记；所述二级分析标记表明对应所述侧视蓝宝石衬底图像为无缺陷蓝宝石衬底图像；所述一级分析标记表明对应所述侧视蓝宝石衬底图像为缺陷蓝宝石衬底图像；
根据一级分析标记提取若干幅缺陷蓝宝石衬底图像；
第二数据采集模块130，用于提取所述若干幅缺陷蓝宝石衬底图像，并根据其通过图像采集设备采集位于参照基板上的缺陷蓝宝石衬底，以获取若干幅俯视缺陷蓝宝石衬底图像；
需要说明的是：此时所述照射光源位于所述缺陷蓝宝石衬底正上方；
缺陷类型划分模块140，用于针对若干幅俯视缺陷蓝宝石衬底图像进行第一缺陷类型分析、第二缺陷类型分析、第三缺陷类型分析和第四缺陷类型分析，以确定缺陷类型归属以及获取对应缺陷类型图像；
所述缺陷类型包括崩角缺陷类型、刮伤缺陷类型、坑洞缺陷类型、颗粒缺陷类型和气泡缺陷类型；
所述对应缺陷类型图像包括第一缺陷类型图像、第二缺陷类型图像、第三缺陷类型图像、第四缺陷类型图像和第五缺陷类型图像；
具体地，所述第一缺陷类型分析的具体过程如下：
提取若干幅所述俯视缺陷蓝宝石衬底图像中的蓝宝石衬底区域和参照基板区域，并获取参照基板灰度化后的基板亮度值；
基于所述蓝宝石衬底区域对所述参照基板区域进行尺寸裁剪，并将裁剪后得到俯视缺陷蓝宝石衬底图像进行四边角区域划分，以获取四个边缘感兴趣区域，并针对每个边缘感兴趣区域进行像素级感兴趣区域划分，以获取若干幅目标感兴趣区域；
需要说明的是：所述像素级感兴趣区域划分表示每幅目标感兴趣区域中至少包括一个像素且不超过三个像素；
提取每幅目标感兴趣区域内的亮度值，并基于公式计算反差系数；式中：表示基板亮度值，t表示目标感兴趣区域内的亮度值,n表示目标感兴趣区域个数；d表示反差系数个数数据；
设置反差临界阈值Qt，并将其与所述反差系数进行判断，若存在反差系数大于等于反差临界阈值Qt，则将对应所述俯视缺陷蓝宝石衬底图像标记为崩角缺陷类型，并将对应俯视缺陷蓝宝石衬底图像作为第一缺陷类型图像；若存在反差系数小于反差临界阈值Qt，则将对应俯视缺陷蓝宝石衬底图像标记为其他缺陷类型。
具体的，所述第二缺陷类型分析的具体过程如下：
提取若干幅所述俯视缺陷蓝宝石衬底图像中的非边缘感兴趣区域，并基于其提取非边缘感兴趣区域中每个像素的亮度信息；
基于每个像素的亮度信息判断是否存在近似亮点，若存在，将所述近似亮点作为基准亮点，并以所述基准亮点为基准提取周围近似亮点，并获取基准亮点以及所述周围近似亮点的坐标值，并基于公式计算间距,式中：表示基准亮点的坐标，表示近似亮点的坐标；
判断所述计算间距是否处于预设间距阈值内，若处于，则重复上述步骤，以获取若干个周围近似亮点；
判断基准亮点与若干个周围近似亮点的总长度是否满足阈值，若满足，则对应俯视缺陷蓝宝石衬底图像标记为刮伤缺陷类型，并将对应俯视缺陷蓝宝石衬底图像作为第二缺陷类型图像；
具体的，所述第三缺陷类型分析的具体过程如下：
提取若干幅所述俯视缺陷蓝宝石衬底图像中的非边缘感兴趣区域，并基于其提取非边缘感兴趣区域中每个像素的亮度信息；
基于每个像素的亮度信息判断是否存在近似圆的亮度聚集区，若存在，则按圆形搜索方式提取位于亮度聚集区外的第一圆形区域，同时根据第一圆形区域搜索第一圆形区域外的第二圆形区域；
判断所述近似圆的亮度聚集区、第一圆形区域和第二圆形区域是否呈预设亮度区分规则；
具体的，所述亮度区分规则包括坑洞亮度区分规则和非坑洞亮度区分规则，所述坑洞亮度区分规则表示近似圆的亮度聚集区、第一圆形区域和第二圆形区域满足亮-暗-亮的亮度分布规则；所述非坑洞亮度区分规则表示近似圆的亮度聚集区、第一圆形区域和第二圆形区域满足亮-暗-暗的亮度分布规则；
需要说明的是：根据光照显影原理，在图像中坑洞缺陷一般呈中心亮、内壁暗，坑角亮的亮度分布，即亮-暗-亮；在图像中气泡则一般呈中心亮，四周暗的亮度分布，即亮-暗-暗，同理；颗粒与气泡亮度分布相似；然而气泡大小一般大于颗粒，且颗粒数量相比较多；
若满足，则对应俯视缺陷蓝宝石衬底图像标记为坑洞缺陷类型，并将对应俯视缺陷蓝宝石衬底图像作为第三缺陷类型图像；若不满足，则标记为其他疑似缺陷蓝宝石衬底图像；
具体的，所述第四缺陷类型分析的具体过程如下：
提取其他疑似缺陷蓝宝石衬底图像，并基于其针对每个满足非坑洞亮度区分规则的近似圆的亮度聚集区、第一圆形区域和第二圆形区域进行拼凑，以生成i个综合近似圆区域，i≥1；
获取预设模板缺陷图像中颗粒的范围区域,计算其与每个综合近似圆区域的相似度、面积比和周长差，并通过公式获取综合判断系数；式中：，表示相似度，表示周长差，表示面积比；
设定综合判断阈值Yt，将所述综合判断系数与综合判断阈值Yt进行比较，若综合判断系数大于等于综合判断阈值Yt，则表示对应所述俯视缺陷蓝宝石衬底图像为颗粒缺陷类型，并将对应俯视缺陷蓝宝石衬底图像作为第四缺陷类型图像；若综合判断系数小于综合判断阈值Yt，则表示对应所述俯视缺陷蓝宝石衬底图像为气泡缺陷类型，并将对应俯视缺陷蓝宝石衬底图像作为第五缺陷类型图像；
通过获取不同角度的侧视蓝宝石衬底图像，同时基于其获取灰度变化系数和亮度变化系数，并提取综合影响系数，将综合影响系数与缺陷梯度临界进行比较分析，本发明能够对存在缺陷的蓝宝石衬底进行高效筛选，相较于人工检测而言，检测准确率较高，速度更快；此外，基于不同类型蓝宝石衬底的缺陷特征对筛选出的缺陷蓝宝石衬底进行缺陷分类，本发明有利于为发现衬底加工过程问题和提高衬底加工工艺水平提供重要及高效的数据支撑。
实施例2
请参阅图4所示，基于实施例一，为提高自动化程度，并使本发明适用大规模的生产检测场景，同时解决现有蓝宝石衬底检测数据集少的问题，本发明实施例提供了一种蓝宝石衬底自动缺陷检测分类的系统，还包括：
数据集扩充模块150，用于分别将若干幅第一缺陷类型图像、第二缺陷类型图像、第三缺陷类型图像、第四缺陷类型图像和第五缺陷类型图像输入预构建生成对抗网络；并基于增加缺陷蓝宝石衬底图像数据集，以获取大量第一缺陷类型图像、第二缺陷类型图像、第三缺陷类型图像、第四缺陷类型图像和第五缺陷类型图像；
单模型生成模块160，用于构建五个基学习器，分别将第一缺陷类型图像、第二缺陷类型图像、第三缺陷类型图像、第四缺陷类型图像和第五缺陷类型图像作为第一类型样本集、第二类型样本集、第三类型样本集、第四类型样本集和第五类型样本集；并基于每个类型样本集输入每个对应基学习器，以生成第一缺陷识别模型、第二缺陷识别模型、第三缺陷识别模型、第四缺陷识别模型和第五缺陷识别模型；
集成学习模块170，用于将若干幅蓝宝石衬底图像输入第一缺陷识别模型、第二缺陷识别模型、第三缺陷识别模型、第四缺陷识别模型和第五缺陷识别模型，以获取第一识别数据、第二识别数据、第三识别数据、第四识别数据和第五识别数据；构建集成学习器，并将第一识别数据、第二识别数据、第三识别数据、第四识别数据和第五识别数据作为识别样本集，并划分70%的训练集和30%的测试集，将70%的训练集输入所述集成学习器，根据集成学习策略训练，以生成蓝宝石衬底检测模型；基于30%的测试集对所述蓝宝石衬底检测模型进行测试，对满足预期的蓝宝石衬底检测模型进行输出；
需要说明的是：所述集成学习器具体为卷积神经网络，所述集成学习策略具体为加权平均策略；
在本实施例中，所述系统还包括第三数据采集模块180，所述第三数据采集模块用于通过图像采集设备采集位于参照基板上的若干幅待检测蓝宝石衬底图像；
在本实例中，所述检测缺陷分析模块120还用于集成满足预期的所述蓝宝石衬底检测模型，并基于其对若干幅所述待检测蓝宝石衬底图像进行检测和分类；
在获取若干幅第一缺陷类型图像、第二缺陷类型图像、第三缺陷类型图像、第四缺陷类型图像和第五缺陷类型图像的基础上，通过生成对抗网络进行数据集扩充，本发明有利于解决现有蓝宝石衬底训练数据不足的问题，此外通过对扩充后的数据集进行单模型训练，并获取单模型的输出结果，之后根据将多个单模型的输出结果通过集成学习进行融合训练，以获取蓝宝石衬底检测模型，并基于该蓝宝石衬底检测模型对待检测蓝宝石衬底图像进行检测和分类，本发明有利于提高蓝宝石衬底缺陷检测的自动化程度，并进一步提高检测精度，以使其适用于大规模的生产检测场景。
实施例3
请参阅图1所示，本发明实施例提供了一种蓝宝石衬底自动缺陷检测分类的方法，包括：
S101：基于图像采集设备采集位于参照基板上的蓝宝石衬底，以获取侧视蓝宝石衬底图像；所述侧视蓝宝石衬底图像包括第一角度的侧视蓝宝石衬底图像、第二角度的侧视蓝宝石衬底图像、第三角度的侧视蓝宝石衬底图像和第四角度的侧视蓝宝石衬底图像；
需要说明的是：所述图像采集设备主要包括高分辨率工业相机和照射光源；所述参照基板具体为纯白或纯黑参照基板中的一种；
还需要说明的是：所述侧视蓝宝石衬底图像获取还包括图像预处理过程，所述图像预处理过程包括但不限于图像去噪、图像增强和图像灰度化等操作；
具体的，所述侧视蓝宝石衬底图像包括蓝宝石衬底区域和参照基板区域；所述第一角度的侧视蓝宝石衬底图像、第二角度的侧视蓝宝石衬底图像、第三角度的侧视蓝宝石衬底图像和第四角度的侧视蓝宝石衬底图像基于四基本角度的所述照射光源打光采集得到；所述设四基本角度包括东北、西北、东南和西南四个方向，所述四基本角度照射光源呈坐标相互对称设置；
S102：针对所述侧视蓝宝石衬底图像进行缺陷初步分析，以获取若干幅缺陷蓝宝石衬底图像；
需要说明的是：所述缺陷侧视蓝宝石衬底图像中的缺陷包括刮伤、坑洞、气泡、颗粒以及崩角五种类型；
具体地，所述缺陷初步分析的具体过程如下：
分别提取所述第一角度的侧视蓝宝石衬底图像、第二角度的侧视蓝宝石衬底图像、第三角度的侧视蓝宝石衬底图像和第四角度的侧视蓝宝石衬底图像的灰度信息和亮度信息；
分别针对第一角度的侧视蓝宝石衬底图像、第二角度的侧视蓝宝石衬底图像、第三角度的侧视蓝宝石衬底图像和第四角度的侧视蓝宝石衬底图像的灰度信息和亮度信息进行信息划分和分析，以获取不同角度的侧视蓝宝石衬底图像的灰度变化系数和亮度变化系数；
所述灰度信息的信息划分和分析的具体步骤如下：
将每个角度的侧视蓝宝石衬底图像的灰度信息按照光照方向角度从近到远进行等分划分，以获取若干幅灰度等分区域的灰度值，并根据其计算不同角度的侧视蓝宝石衬底图像的灰度变化系数，式中：表示灰度变化系数，表示灰度值，i表示灰度等分区域数量，表示灰度等分区域总数；
需要说明的是：灰度变化系数越大，说明某角度的侧视蓝宝石衬底图像灰度变化范围越大；
所述亮度信息的信息划分和分析的具体步骤如下：
将每个角度的侧视蓝宝石衬底图像的亮度信息按照光照方向角度从近到远进行等分划分，以获取若干幅亮度等分区域的亮度值，并根据其计算不同角度的侧视蓝宝石衬底图像的亮度变化系数，式中：表示亮度变化系数，表示亮度值，j表示亮度等分区域数量，表示亮度等分区域总数；
需要说明的是：亮度变化系数越大，说明某角度的侧视蓝宝石衬底图像亮度变化范围越大；
基于不同角度的若干幅侧视蓝宝石衬底图像的灰度变化系数和亮度变化系数进行综合数据分析，以获取若干幅缺陷蓝宝石衬底图像；
具体的，所述综合数据分析的具体过程如下：提取第一角度的侧视蓝宝石衬底图像、第二角度的侧视蓝宝石衬底图像、第三角度的侧视蓝宝石衬底图像和第四角度的侧视蓝宝石衬底图像的灰度变化系数和亮度变化系数，并根据其计算综合影响系数，式中：表示不同角度的侧视蓝宝石衬底图像的个数；
设置缺陷梯度临界Gt，将所述侧视蓝宝石衬底图像的所述综合影响系数与缺陷梯度临界Gt进行比对，若所述综合影响系数大于等于缺陷梯度临界Gt，则生成一级分析标记，若所述综合影响系数小于缺陷梯度临界Gt，则生成二级分析标记；所述二级分析标记表明对应所述侧视蓝宝石衬底图像为无缺陷蓝宝石衬底图像；所述一级分析标记表明对应所述侧视蓝宝石衬底图像为缺陷蓝宝石衬底图像；
根据一级分析标记提取若干幅缺陷蓝宝石衬底图像；
S103：提取所述若干幅缺陷蓝宝石衬底图像，并根据其通过图像采集设备采集位于参照基板上的若干幅俯视缺陷蓝宝石衬底图像；
需要说明的是：此时所述照射光源位于所述缺陷蓝宝石衬底正上方；
S104：针对若干幅俯视缺陷蓝宝石衬底图像进行第一缺陷类型分析、第二缺陷类型分析、第三缺陷类型分析和第四缺陷类型分析，以确定缺陷类型归属以及获取对应缺陷类型图像；
所述缺陷类型包括崩角缺陷类型、刮伤缺陷类型、坑洞缺陷类型、颗粒缺陷类型和气泡缺陷类型；
所述对应缺陷类型图像包括第一缺陷类型图像、第二缺陷类型图像、第三缺陷类型图像、第四缺陷类型图像和第五缺陷类型图像；
具体地，所述第一缺陷类型分析的具体过程如下：
提取若干幅所述俯视缺陷蓝宝石衬底图像中的蓝宝石衬底区域和参照基板区域，并获取参照基板灰度化后的基板亮度值；
基于所述蓝宝石衬底区域对所述参照基板区域进行尺寸裁剪，并将裁剪后得到俯视缺陷蓝宝石衬底图像进行四边角区域划分，以获取四个边缘感兴趣区域，并针对每个边缘感兴趣区域进行像素级感兴趣区域划分，以获取若干幅目标感兴趣区域；
需要说明的是：所述像素级感兴趣区域划分表示每幅目标感兴趣区域中至少包括一个像素且不超过三个像素；
提取每幅目标感兴趣区域内的亮度值，并基于公式计算反差系数；式中：表示基板亮度值，表示第n个目标感兴趣区域的亮度值；d表示反差系数个数数据；
设置反差临界阈值Qt，并将其与所述反差系数进行判断，若存在反差系数大于等于反差临界阈值Qt，则将对应所述俯视缺陷蓝宝石衬底图像标记为崩角缺陷类型，并将对应俯视缺陷蓝宝石衬底图像作为第一缺陷类型图像；若存在反差系数小于反差临界阈值Qt，则将对应俯视缺陷蓝宝石衬底图像标记为其他缺陷类型。
具体的，所述第二缺陷类型分析的具体过程如下：
提取若干幅所述俯视缺陷蓝宝石衬底图像中的非边缘感兴趣区域，并基于其提取非边缘感兴趣区域中每个像素的亮度信息；
基于每个像素的亮度信息判断是否存在近似亮点，若存在，将所述近似亮点作为基准亮点，并以所述基准亮点为基准提取周围近似亮点，并获取基准亮点以及所述周围近似亮点的坐标值，并基于公式计算间距,式中：表示基准亮点的坐标，表示近似亮点的坐标；
判断所述计算间距是否处于预设间距阈值内，若处于，则重复上述步骤，以获取若干个周围近似亮点；
判断基准亮点与若干个周围近似亮点的总长度是否满足阈值，若满足，则对应俯视缺陷蓝宝石衬底图像标记为刮伤缺陷类型，并将对应俯视缺陷蓝宝石衬底图像作为第二缺陷类型图像；
具体的，所述第三缺陷类型分析的具体过程如下：
提取若干幅所述俯视缺陷蓝宝石衬底图像中的非边缘感兴趣区域，并基于其提取非边缘感兴趣区域中每个像素的亮度信息；
基于每个像素的亮度信息判断是否存在近似圆的亮度聚集区，若存在，则按圆形搜索方式提取位于亮度聚集区外的第一圆形区域，同时根据第一圆形区域搜索第一圆形区域外的第二圆形区域；
判断所述近似圆的亮度聚集区、第一圆形区域和第二圆形区域是否呈预设亮度区分规则；
具体的，所述亮度区分规则包括坑洞亮度区分规则和非坑洞亮度区分规则，所述坑洞亮度区分规则表示近似圆的亮度聚集区、第一圆形区域和第二圆形区域满足亮-暗-亮的亮度分布规则；所述非坑洞亮度区分规则表示近似圆的亮度聚集区、第一圆形区域和第二圆形区域满足亮-暗-暗的亮度分布规则；
需要说明的是：根据光照显影原理，在图像中坑洞缺陷一般呈中心亮、内壁暗，坑角亮的亮度分布，即亮-暗-亮；在图像中气泡则一般呈中心亮，四周暗的亮度分布，即亮-暗-暗，同理；颗粒与气泡亮度分布相似；然而气泡大小一般大于颗粒，且颗粒数量相比较多；
若满足，则对应俯视缺陷蓝宝石衬底图像标记为坑洞缺陷类型，并将对应俯视缺陷蓝宝石衬底图像作为第三缺陷类型图像；若不满足，则标记为其他疑似缺陷蓝宝石衬底图像；
具体的，所述第四缺陷类型分析的具体过程如下：
提取其他疑似缺陷蓝宝石衬底图像，并基于其针对每个满足非坑洞亮度区分规则的近似圆的亮度聚集区、第一圆形区域和第二圆形区域进行拼凑，以生成i个综合近似圆区域，i≥1；
计算每两个不同综合近似圆区域的相似度、面积比和数量差，并通过公式获取综合判断系数；式中：，表示相似度，表示数量差，表示面积比；
设定综合判断阈值Yt，将所述综合判断系数与综合判断阈值Yt进行比较，若综合判断系数大于等于综合判断阈值Yt，则表示对应所述俯视缺陷蓝宝石衬底图像为颗粒缺陷类型，并将对应俯视缺陷蓝宝石衬底图像作为第四缺陷类型图像；若综合判断系数小于综合判断阈值Yt，则表示对应所述俯视缺陷蓝宝石衬底图像为气泡缺陷类型，并将对应俯视缺陷蓝宝石衬底图像作为第五缺陷类型图像。
实施例4
请参阅图2所示，基于实施例三，为提高自动化程度，并使本发明适用大规模的生产检测场景，同时解决现有蓝宝石衬底检测数据集少的问题，以及现有基于机器学习的蓝宝石衬底检测方法精度不高和速度较低等问题，本发明实施例提供了一种蓝宝石衬底自动缺陷检测分类的方法，还包括：
S105：分别将若干幅第一缺陷类型图像、第二缺陷类型图像、第三缺陷类型图像、第四缺陷类型图像和第五缺陷类型图像输入预构建生成对抗网络，并基于所述生成对抗网络增加缺陷蓝宝石衬底图像数据集，以获取第一缺陷类型图像、第二缺陷类型图像、第三缺陷类型图像、第四缺陷类型图像和第五缺陷类型图像；
S106：构建五个基学习器，分别将第一缺陷类型图像、第二缺陷类型图像、第三缺陷类型图像、第四缺陷类型图像和第五缺陷类型图像作为第一类型样本集、第二类型样本集、第三类型样本集、第四类型样本集和第五类型样本集，并基于每个类型样本集输入每个对应基学习器，以生成第一缺陷识别模型、第二缺陷识别模型、第三缺陷识别模型、第四缺陷识别模型和第五缺陷识别模型；
需要说明的是：所述五个基学习器可以为同质基学习器，也以为异质基学习器，所述五个基学习器具体为SVM、K近邻、支持向量机、朴素贝叶斯、神经网络中的一种或多种，任何机器学习模型都可作为本发明的应用对象，本发明对此不做过多限定；
S107：将若干幅蓝宝石衬底图像输入第一缺陷识别模型、第二缺陷识别模型、第三缺陷识别模型、第四缺陷识别模型和第五缺陷识别模型，以获取第一识别数据、第二识别数据、第三识别数据、第四识别数据和第五识别数据；构建集成学习器，并将第一识别数据、第二识别数据、第三识别数据、第四识别数据和第五识别数据作为识别样本集，并划分70%的训练集和30%的测试集，将70%的训练集输入所述集成学习器，根据集成学习策略训练，以生成蓝宝石衬底检测模型；基于30%的测试集对所述蓝宝石衬底检测模型进行测试，对满足预期的蓝宝石衬底检测模型进行输出；
S108：获取若干幅待检测蓝宝石衬底图像，并基于所述蓝宝石衬底检测模型对其进行检测和分类。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种蓝宝石衬底自动缺陷检测分类的方法，其特征在于，包括：
S101：基于图像采集设备采集位于参照基板上的蓝宝石衬底，以获取侧视蓝宝石衬底图像；所述侧视蓝宝石衬底图像包括第一角度的侧视蓝宝石衬底图像、第二角度的侧视蓝宝石衬底图像、第三角度的侧视蓝宝石衬底图像和第四角度的侧视蓝宝石衬底图像；所述侧视蓝宝石衬底图像包括蓝宝石衬底区域和参照基板区域；
S102：针对所述侧视蓝宝石衬底图像进行缺陷初步分析，以获取若干幅侧视缺陷蓝宝石衬底图像；
S103：提取所述若干幅侧视缺陷蓝宝石衬底图像，并通过图像采集设备采集位于参照基板上的若干幅俯视缺陷蓝宝石衬底图像；
S104：针对若干幅俯视缺陷蓝宝石衬底图像进行第一缺陷类型分析、第二缺陷类型分析、第三缺陷类型分析和第四缺陷类型分析，以确定缺陷类型归属以及获取对应缺陷类型图像；
所述对应缺陷类型图像包括第一缺陷类型图像、第二缺陷类型图像、第三缺陷类型图像、第四缺陷类型图像和第五缺陷类型图像。
2.根据权利要求1所述的一种蓝宝石衬底自动缺陷检测分类的方法，其特征在于，所述缺陷初步分析的具体过程如下：
分别提取所述第一角度的侧视蓝宝石衬底图像、第二角度的侧视蓝宝石衬底图像、第三角度的侧视蓝宝石衬底图像和第四角度的侧视蓝宝石衬底图像的灰度信息和亮度信息；
分别针对第一角度的侧视蓝宝石衬底图像、第二角度的侧视蓝宝石衬底图像、第三角度的侧视蓝宝石衬底图像和第四角度的侧视蓝宝石衬底图像的灰度信息和亮度信息进行信息划分和分析，以获取不同角度的侧视蓝宝石衬底图像的灰度变化系数和亮度变化系数；基于不同角度的若干幅侧视蓝宝石衬底图像的灰度变化系数和亮度变化系数进行综合数据分析，初步判断是否为缺陷蓝宝石衬底图像。
3.根据权利要求2所述的一种蓝宝石衬底自动缺陷检测分类的方法，其特征在于，所述灰度信息的信息划分和分析的具体步骤如下：
将每个角度的侧视蓝宝石衬底图像的灰度信息按照光照方向角度从近到远进行等分划分，以获取若干幅灰度等分区域的灰度值，并根据其计算不同角度的侧视蓝宝石衬底图像的灰度变化系数，式中：表示灰度变化系数，表示灰度值，i表示灰度等分区域数量，表示灰度等分区域总数。
4.根据权利要求3所述的一种蓝宝石衬底自动缺陷检测分类的方法，其特征在于，所述亮度信息的信息划分和分析的具体步骤如下：
将每个角度的侧视蓝宝石衬底图像的亮度信息按照光照方向角度从近到远进行等分划分，以获取若干幅亮度等分区域的亮度值，并根据其计算不同角度的侧视蓝宝石衬底图像的亮度变化系数，式中：表示亮度变化系数，表示亮度值，j表示亮度等分区域数量，表示亮度等分区域总数。
5.根据权利要求4所述的一种蓝宝石衬底自动缺陷检测分类的方法，其特征在于，所述综合数据分析的具体过程如下：
提取第一角度的侧视蓝宝石衬底图像、第二角度的侧视蓝宝石衬底图像、第三角度的侧视蓝宝石衬底图像和第四角度的侧视蓝宝石衬底图像的灰度变化系数和亮度变化系数，并根据其计算综合影响系数，式中：表示不同角度的侧视蓝宝石衬底图像的个数；
设置缺陷梯度临界Gt，将所述侧视蓝宝石衬底图像的所述综合影响系数与缺陷梯度临界Gt进行比对，若所述综合影响系数大于等于缺陷梯度临界Gt，则生成一级分析标记，若所述综合影响系数小于缺陷梯度临界Gt，则生成二级分析标记；所述二级分析标记表明对应所述侧视蓝宝石衬底图像为无缺陷蓝宝石衬底图像；所述一级分析标记表明对应所述侧视蓝宝石衬底图像为缺陷蓝宝石衬底图像；根据一级分析标记提取若干幅缺陷蓝宝石衬底图像。
6.根据权利要求5所述的一种蓝宝石衬底自动缺陷检测分类的方法，其特征在于，所述第一缺陷类型分析的具体过程如下：
提取若干幅所述俯视缺陷蓝宝石衬底图像中的蓝宝石衬底区域和参照基板区域，并获取参照基板灰度化后的基板亮度值；
基于所述蓝宝石衬底区域对所述参照基板区域进行尺寸裁剪，并将裁剪后得到俯视缺陷蓝宝石衬底图像进行四边角区域划分，以获取四个边缘感兴趣区域，并针对每个边缘感兴趣区域进行像素级感兴趣区域划分，以获取若干幅目标感兴趣区域；
所述像素级感兴趣区域划分表示每幅目标感兴趣区域中至少包括一个像素且不超过三个像素；
提取每幅目标感兴趣区域内的亮度值，并基于公式计算反差系数；式中：表示基板亮度值，表示第n个目标感兴趣区域的亮度值；d表示反差系数个数数据；
设置反差临界阈值Qt，并将其与所述反差系数进行判断，若存在反差系数大于等于反差临界阈值Qt，则将对应所述俯视缺陷蓝宝石衬底图像标记为崩角缺陷类型，并将对应俯视缺陷蓝宝石衬底图像作为第一缺陷类型图像；若存在反差系数小于反差临界阈值Qt，则将对应俯视缺陷蓝宝石衬底图像标记为其他缺陷类型。
7.根据权利要求6所述的一种蓝宝石衬底自动缺陷检测分类的方法，其特征在于，所述第二缺陷类型分析的具体过程如下：
提取若干幅所述俯视缺陷蓝宝石衬底图像中的非边缘感兴趣区域，并基于其提取非边缘感兴趣区域中每个像素的亮度信息；
基于每个像素的亮度信息判断是否存在近似亮点，若存在，将所述近似亮点作为基准亮点，并以所述基准亮点为基准提取周围近似亮点，并获取基准亮点以及所述周围近似亮点的坐标值，并基于公式计算间距，式中：表示基准亮点的坐标，表示近似亮点的坐标；
判断所述计算间距是否处于预设间距阈值内，若处于，则重复上述步骤，以获取若干个周围近似亮点；
判断基准亮点与若干个周围近似亮点的总长度是否满足阈值，若满足，则对应俯视缺陷蓝宝石衬底图像标记为刮伤缺陷类型，并将对应俯视缺陷蓝宝石衬底图像作为第二缺陷类型图像。
8.根据权利要求7所述的一种蓝宝石衬底自动缺陷检测分类的方法，其特征在于，所述第三缺陷类型分析的具体过程如下：
提取若干幅所述俯视缺陷蓝宝石衬底图像中的非边缘感兴趣区域，并基于其提取非边缘感兴趣区域中每个像素的亮度信息；
基于每个像素的亮度信息判断是否存在近似圆的亮度聚集区，若存在，则按圆形搜索方式提取位于亮度聚集区外的第一圆形区域，同时根据第一圆形区域搜索第一圆形区域外的第二圆形区域；
判断所述近似圆的亮度聚集区、第一圆形区域和第二圆形区域是否呈预设亮度区分规则；
所述亮度区分规则包括坑洞亮度区分规则和非坑洞亮度区分规则，所述坑洞亮度区分规则表示近似圆的亮度聚集区、第一圆形区域和第二圆形区域满足亮-暗-亮的亮度分布规则；所述非坑洞亮度区分规则表示近似圆的亮度聚集区、第一圆形区域和第二圆形区域满足亮-暗-暗的亮度分布规则；
若满足，则对应俯视缺陷蓝宝石衬底图像标记为坑洞缺陷类型，并将对应俯视缺陷蓝宝石衬底图像作为第三缺陷类型图像；若不满足，则标记为其他疑似缺陷蓝宝石衬底图像；
所述第四缺陷类型分析的具体过程如下：
提取其他疑似缺陷蓝宝石衬底图像，并基于其针对每个满足非坑洞亮度区分规则的近似圆的亮度聚集区、第一圆形区域和第二圆形区域进行拼凑，以生成i个综合近似圆区域，i≥1；
计算每两个不同综合近似圆区域的相似度、面积比和数量差，并通过公式获取综合判断系数；式中：，表示相似度，表示数量差，表示面积比；
设定综合判断阈值Yt，将所述综合判断系数与综合判断阈值Yt进行比较，若综合判断系数大于等于综合判断阈值Yt，则表示对应所述俯视缺陷蓝宝石衬底图像为颗粒缺陷类型，并将对应俯视缺陷蓝宝石衬底图像作为第四缺陷类型图像；若综合判断系数小于综合判断阈值Yt，则表示对应所述俯视缺陷蓝宝石衬底图像为气泡缺陷类型，并将对应俯视缺陷蓝宝石衬底图像作为第五缺陷类型图像。
9.根据权利要求8所述的一种蓝宝石衬底自动缺陷检测分类的方法，其特征在于，所述蓝宝石衬底自动缺陷检测分类的方法还包括：
S105：分别将若干幅第一缺陷类型图像、第二缺陷类型图像、第三缺陷类型图像、第四缺陷类型图像和第五缺陷类型图像输入预构建生成对抗网络，并基于所述生成对抗网络增加缺陷蓝宝石衬底图像数据集，以获取第一缺陷类型图像、第二缺陷类型图像、第三缺陷类型图像、第四缺陷类型图像和第五缺陷类型图像；
S106：构建五个基学习器，分别将第一缺陷类型图像、第二缺陷类型图像、第三缺陷类型图像、第四缺陷类型图像和第五缺陷类型图像作为第一类型样本集、第二类型样本集、第三类型样本集、第四类型样本集和第五类型样本集，并基于每个类型样本集输入每个对应基学习器，以生成第一缺陷识别模型、第二缺陷识别模型、第三缺陷识别模型、第四缺陷识别模型和第五缺陷识别模型；
S107：将若干幅蓝宝石衬底图像输入第一缺陷识别模型、第二缺陷识别模型、第三缺陷识别模型、第四缺陷识别模型和第五缺陷识别模型，以获取第一识别数据、第二识别数据、第三识别数据、第四识别数据和第五识别数据；构建集成学习器，并将第一识别数据、第二识别数据、第三识别数据、第四识别数据和第五识别数据作为识别样本集，并划分70%的训练集和30%的测试集，将70%的训练集输入所述集成学习器，根据集成学习策略训练，以生成蓝宝石衬底检测模型；基于30%的测试集对所述蓝宝石衬底检测模型进行测试，对满足预期的蓝宝石衬底检测模型进行输出；
S108：获取若干幅待检测蓝宝石衬底图像，并基于所述蓝宝石衬底检测模型对其进行检测和分类。
10.一种蓝宝石衬底自动缺陷检测分类的系统，其特征在于，基于权利要求1至9任意一项所述一种蓝宝石衬底自动缺陷检测分类的方法实现。
CN202310375880.XA 2023-04-11 2023-04-11 一种蓝宝石衬底自动缺陷检测分类的方法和系统 Active CN116091505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310375880.XA CN116091505B (zh) 2023-04-11 2023-04-11 一种蓝宝石衬底自动缺陷检测分类的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310375880.XA CN116091505B (zh) 2023-04-11 2023-04-11 一种蓝宝石衬底自动缺陷检测分类的方法和系统

Publications (2)

Publication Number Publication Date
CN116091505A true CN116091505A (zh) 2023-05-09
CN116091505B CN116091505B (zh) 2023-06-30

Family

ID=86212409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310375880.XA Active CN116091505B (zh) 2023-04-11 2023-04-11 一种蓝宝石衬底自动缺陷检测分类的方法和系统

Country Status (1)

Country Link
CN (1) CN116091505B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740651A (zh) * 2023-08-11 2023-09-12 南京吾悦农业科技有限公司 基于智能决策的食用菌栽培监控方法及系统
CN117456292A (zh) * 2023-12-26 2024-01-26 浙江晶盛机电股份有限公司 蓝宝石缺陷检测方法、装置、电子装置和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040052410A1 (en) * 2002-09-13 2004-03-18 Fuji Xerox Co., Ltd. Image defect inspecting apparatus and image defect inspecting method
CN103399018A (zh) * 2011-08-18 2013-11-20 三星康宁精密素材株式会社 用于检测玻璃衬底的表面缺陷的设备和方法
CN105784713A (zh) * 2016-03-11 2016-07-20 南京理工大学 基于机器视觉的密封圈表面缺陷检测方法
US20180101944A1 (en) * 2015-10-08 2018-04-12 Hitachi Power Solutions Co., Ltd. Defect inspection method and apparatus
CN108074231A (zh) * 2017-12-18 2018-05-25 浙江工业大学 一种基于卷积神经网络的磁片表面缺陷检测方法
CN109540904A (zh) * 2018-12-12 2019-03-29 华侨大学 一种衬底表面宏观缺陷检测及分类系统
EP3556576A1 (en) * 2018-04-18 2019-10-23 Bridgestone Europe NV/SA Process and system for the detection of defects in a tyre
CN114612418A (zh) * 2022-03-08 2022-06-10 宁波利安科技股份有限公司 一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备
CN114757297A (zh) * 2022-04-29 2022-07-15 江苏第三代半导体研究院有限公司 一种多参数化的半导体检测方法、装置及可读存储介质
CN114972357A (zh) * 2022-08-03 2022-08-30 南通恒立机械设备有限公司 一种基于图像处理的轧辊表面缺陷检测方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040052410A1 (en) * 2002-09-13 2004-03-18 Fuji Xerox Co., Ltd. Image defect inspecting apparatus and image defect inspecting method
CN103399018A (zh) * 2011-08-18 2013-11-20 三星康宁精密素材株式会社 用于检测玻璃衬底的表面缺陷的设备和方法
US20180101944A1 (en) * 2015-10-08 2018-04-12 Hitachi Power Solutions Co., Ltd. Defect inspection method and apparatus
CN105784713A (zh) * 2016-03-11 2016-07-20 南京理工大学 基于机器视觉的密封圈表面缺陷检测方法
CN108074231A (zh) * 2017-12-18 2018-05-25 浙江工业大学 一种基于卷积神经网络的磁片表面缺陷检测方法
EP3556576A1 (en) * 2018-04-18 2019-10-23 Bridgestone Europe NV/SA Process and system for the detection of defects in a tyre
CN109540904A (zh) * 2018-12-12 2019-03-29 华侨大学 一种衬底表面宏观缺陷检测及分类系统
CN114612418A (zh) * 2022-03-08 2022-06-10 宁波利安科技股份有限公司 一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备
CN114757297A (zh) * 2022-04-29 2022-07-15 江苏第三代半导体研究院有限公司 一种多参数化的半导体检测方法、装置及可读存储介质
CN114972357A (zh) * 2022-08-03 2022-08-30 南通恒立机械设备有限公司 一种基于图像处理的轧辊表面缺陷检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIHUA MIN等: "Color edge preserving image colorization with a coupled natural vectorial total variation", COMPUTER VISION AND IMAGE UNDERSTANDING *
周友行 等: "HSI颜色空间下的直线导轨表面缺陷检测方法", 中国机械工程, vol. 30, no. 18, pages 2180 - 2183 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740651A (zh) * 2023-08-11 2023-09-12 南京吾悦农业科技有限公司 基于智能决策的食用菌栽培监控方法及系统
CN116740651B (zh) * 2023-08-11 2023-10-17 南京吾悦农业科技有限公司 基于智能决策的食用菌栽培监控方法及系统
CN117456292A (zh) * 2023-12-26 2024-01-26 浙江晶盛机电股份有限公司 蓝宝石缺陷检测方法、装置、电子装置和存储介质
CN117456292B (zh) * 2023-12-26 2024-04-19 浙江晶盛机电股份有限公司 蓝宝石缺陷检测方法、装置、电子装置和存储介质

Also Published As

Publication number Publication date
CN116091505B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN116091505B (zh) 一种蓝宝石衬底自动缺陷检测分类的方法和系统
US20230116908A1 (en) Automated system and method for clarity measurements and clarity grading
CN102288613B (zh) 一种灰度和深度信息融合的表面缺陷检测方法
CN109977808A (zh) 一种晶圆表面缺陷模式检测与分析方法
US7720275B2 (en) Method and apparatus for detecting pattern defects
JP2017049974A (ja) 識別器生成装置、良否判定方法、およびプログラム
CN113570605B (zh) 一种基于液晶显示面板的缺陷检测方法和系统
CN108416766B (zh) 双侧入光式导光板缺陷视觉检测方法
CN108596880A (zh) 基于图像处理的焊接缺陷特征提取与焊接质量分析方法
CN1942757A (zh) 分类装置和分类方法
CN109919908A (zh) 发光二极管芯片缺陷检测的方法和装置
CN109584259B (zh) 一种石英坩埚气泡分层计数装置及方法
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN114998308A (zh) 一种基于光度立体的缺陷检测方法及系统
CN113420619A (zh) 一种遥感影像建筑物提取方法
Nakhaei et al. A comprehensive review of froth surface monitoring as an aid for grade and recovery prediction of flotation process. Part A: Structural features
Choi et al. Deep learning based defect inspection using the intersection over minimum between search and abnormal regions
CN114881987A (zh) 基于改进YOLOv5的热压导光板缺陷可视化检测方法
CN113962929A (zh) 光伏电池组件缺陷检测方法、系统及光伏电池组件生产线
CN116805416A (zh) 排水管道缺陷识别模型训练方法、排水管道缺陷识别方法
CN112581424B (zh) 一种光学元件表面与亚表面缺陷的分类提取方法
CN110874837B (zh) 一种基于局部特征分布的缺陷自动检测方法
Gao et al. An improved fog concentration detection method for waterway based on FADE
CN112767365A (zh) 一种探伤方法
CN117495846B (zh) 图像检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant