CN115082477B - 一种基于去反光效果的半导体晶圆加工质量检测方法 - Google Patents

一种基于去反光效果的半导体晶圆加工质量检测方法 Download PDF

Info

Publication number
CN115082477B
CN115082477B CN202211009244.7A CN202211009244A CN115082477B CN 115082477 B CN115082477 B CN 115082477B CN 202211009244 A CN202211009244 A CN 202211009244A CN 115082477 B CN115082477 B CN 115082477B
Authority
CN
China
Prior art keywords
image
edge
channel
point
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211009244.7A
Other languages
English (en)
Other versions
CN115082477A (zh
Inventor
王冬平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Luxinzhiguang Semiconductor Manufacturing Co ltd
Original Assignee
Shandong Luxinzhiguang Semiconductor Manufacturing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Luxinzhiguang Semiconductor Manufacturing Co ltd filed Critical Shandong Luxinzhiguang Semiconductor Manufacturing Co ltd
Priority to CN202211009244.7A priority Critical patent/CN115082477B/zh
Publication of CN115082477A publication Critical patent/CN115082477A/zh
Application granted granted Critical
Publication of CN115082477B publication Critical patent/CN115082477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及一种基于去反光效果的半导体晶圆加工质量检测方法，即获取晶圆表面的RGB图像并对其进行灰度化处理得到灰度图像，提取RGB图像中的R通道图像、G通道图像以及B通道图像；获取灰度图像与各通道图像的边缘图像，得到各边缘图像中的边缘点与连接类；根据边缘点，计算各通道图像的边缘图像与灰度图像的边缘图像的差异度；基于差异度计算互异性；根据互异性、边缘点与连接类计算各通道图像的细节保留程度；进而得到尺度影响因子，基于尺度影响因子获取各通道图像的尺度参数，对RGB图像进行去反光操作，将去反光操作后的RGB图像输入到神经网络模型中，输出晶圆的缺陷。本发明能够精确得到晶圆的缺陷。

Description

一种基于去反光效果的半导体晶圆加工质量检测方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于去反光效果的半导体晶圆加工质量检测方法。
背景技术
半导体元器件和集成电路是重要的电子元器件，被广泛用于通讯、汽车和工业自动化等产品中，是电子信息产业的基础。在半导体中，晶圆是其中最主要的材料，市面上绝大多数的电子设备是由晶圆制造而成的，由此可见晶圆的重要性。
近年来，随着半导体行业的快速发展，对晶圆的要求越来越高，对于晶圆的检测方法在不断发生变化，传统的把晶圆放置明亮处，用肉眼去观察晶圆表面缺陷的方式已经不再适用于生产实际，因为其人为误差大、效率低，不符合当今晶圆厂商的生产速率，逐渐被弃用；在20世纪90年代，引进了可以自动检测晶圆表面缺陷的设备，但是设备用的是针接触法，即使用探针去触碰晶圆表面，从而达到检测缺陷的目的，但是针接触法容易划伤晶圆表面以及损坏探针，损坏率较高；因此现在对于晶圆的检测一般采用机器视觉的方式，即根据晶圆表面的图像对晶圆进行缺陷检测，是一种非接触方法，不会对晶圆造成损伤，检测效率较高；但是这种检测方法对图像的要求很高，图像必须能够真实地反映出晶圆的信息才能得到较为准确的检测结果；由于晶圆表面是金属表面，拍摄的图像表面有着高反光的特点，容易导致缺陷位置不明确，或者把反光区域误认做缺陷区域，对晶圆表面缺陷的检测造成了很大影响。因此，如何获取更为精确的图像已然成为主要研究方向。
随着图像处理技术的不断发展与进步，多尺度Retinex算法在图像增强和图像去雾领域广受人们欢迎，在传统的多尺度Retinex算法中，根据人为经验设定三个不同的尺度参数，在对不同尺度参数对应的图像信息进行加权求和时，每一个尺度参数对应的权重均相等，即权重均为1/3。传统的多尺度Retinex算法没有考虑到不同尺度参数对应的图像信息中所包含重要信息的不同，进而在加权求和时对不同尺度参数对应的图像信息分配不同的权重，致使最终得到的图像中存在部分重要信息丢失，纹理细节损失严重的问题；从而导致得到的晶圆检测结果不准确。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于去反光效果的半导体晶圆加工质量检测方法，所采用的技术方案具体如下：
获取晶圆表面的RGB图像并对其进行灰度化处理，得到灰度图像，提取所述RGB图像中的R通道图像、G通道图像以及B通道图像；获取所述灰度图像与各通道图像对应的边缘图像，其中边缘图像中的点包括边缘点与噪声点；
通过密度聚类算法分别对各边缘图像中的点进行聚类，根据聚类结果获取各边缘图像中的边缘点与连接类；
根据所述边缘点，分别计算各通道图像对应的边缘图像与灰度图像对应的边缘图像的差异度；
将各边缘图像进行位置对齐，在任意一位置处，当R通道图像的边缘图像在该位置存在边缘点，而灰度图像的边缘图像在该位置不存在边缘点，则将该位置的边缘点记为R1边缘点；当R通道图像的边缘图像在该位置不存在边缘点，而灰度图像的边缘图像在该位置存在边缘点，则将该位置的边缘点记为R2边缘点；同理，分别获取G1边缘点、G2边缘点、B1边缘点以及B2边缘点；
基于所述差异度、R1边缘点的数量与R2边缘点的数量，计算R通道图像与RGB图像的互异性；同理，分别计算G通道图像和B通道图像与RGB图像的互异性；
根据所述互异性、边缘点的数量以及连接类的数量，计算各通道图像对应的细节保留程度；
计算所述细节保留程度与各通道图像对应的色彩平衡度的乘积，得到各通道图像对应的尺度影响因子，基于所述尺度影响因子获取各通道图像对应的尺度参数，对RGB图像进行去反光操作，将去反光操作后的RGB图像输入到神经网络模型中，输出晶圆的缺陷。
进一步地，所述根据聚类结果获取各边缘图像中的边缘点与连接类的方法为：所述聚类结果中包括多个类别，其中一个类别中至少包括一个点，将仅包括一个点的类别中的点作为噪声点并将其去除，得到各边缘图像中的边缘点，将去除之后的聚类结果中的每一个类别作为一个连接类，得到各边缘图像中的连接类。
进一步地，所述通过密度聚类算法分别对各边缘图像中的点进行聚类还包括计算各边缘图像对应的聚类半径，根据所述聚类半径利用密度聚类算法对各边缘图像中的点进行聚类，得到聚类结果；
所述聚类半径的获取方法为：在边缘图像中任意选取一个点，计算该点与剩余其他点之间的欧氏距离，得到该点对应的最短欧式距离，进而得到各点对应的最短欧式距离，计算所述最短欧式距离的平均值，将所述平均值记为该边缘图像对应的聚类半径。
进一步地，所述差异度的获取方法为：在去除噪声点之后的各边缘图像中，边缘点的像素值为1，其他像素点的像素值为0，将去除噪声点之后的各边缘图像中的像素值按照从上至下从左至右的顺序依次展开，得到去除噪声点之后的各边缘图像对应的一维序列，利用DTW算法计算R通道图像对应的去除噪声点之后的边缘图像的一维序列与灰度图像对应的去除噪声点之后的边缘图像的一维序列的DTW值，将所述DTW值作为R通道图像对应的边缘图像与灰度图像对应的边缘图像的差异度，进而得到各通道图像对应的边缘图像与灰度图像对应的边缘图像的差异度。
进一步地，所述互异性为：
Figure 100002_DEST_PATH_IMAGE001
其中，
Figure 12554DEST_PATH_IMAGE002
为R通道图像与RGB图像的互异性，
Figure 957376DEST_PATH_IMAGE003
为R1边缘点的数量，
Figure 168914DEST_PATH_IMAGE004
为R2边缘点的数量，
Figure 173780DEST_PATH_IMAGE005
为到R通道图像对应的边缘图像与灰度图像对应的边缘图像的差异度。
进一步地，所述细节保留程度为：
Figure 408452DEST_PATH_IMAGE006
其中，
Figure 100002_DEST_PATH_IMAGE007
为R通道图像的细节保留程度，
Figure 950773DEST_PATH_IMAGE008
为R通道图像对应的边缘图像中边缘点的数量，
Figure 282397DEST_PATH_IMAGE009
为R通道图像对应的边缘图像中连接类的数量，
Figure 192584DEST_PATH_IMAGE002
为R通道图像与RGB图像的互异性。
进一步地，所述色彩平衡度为通道图像中所有像素值的标准差。
进一步地，所述尺度参数的获取方法为：
首先根据各通道图像对应的尺度影响因子依据设定规则设定各通道图像对应的初始尺度参数；然后基于初始尺度参数利用遗传算法获取各通道图像对应的尺度参数；
所述设定规则为：尺度影响因子最大的通道图像对应的初始尺度参数最大，尺度影响因子最小的通道图像对应的初始尺度参数最小。
进一步地，所述方法还包括计算各通道图像对应的权重，所述权重根据各通道图像对应的灰度共生矩阵的熵与能量计算。
本发明实施例至少具有如下有益效果：
本发明利用密度聚类算法获取各通道图像与灰度图像对应的边缘图像中的边缘点，去除了各边缘图像中的噪声点，避免了噪声点对后续操作产生不良影响，能够提高后续操作的效率，能够准确获取晶圆的缺陷；本发明还通过R1边缘点、R2边缘点、G1边缘点、G2边缘点、B1边缘点以及B2边缘点，计算各通道图像与RGB图像的互异性，根据互异性与各通道图像对应的边缘图像中的边缘的数量与连接类的数量，计算各通道图像的细节保留程度。进而根据细节保留程度获取各通道图像对应的尺度参数。其中细节保留程度的计算不仅考虑了各通道图像自身的属性，即边缘点的数量与连接类的数量，还考虑了各通道图像与RGB图像的互异性，从多角度获取细节保留程度，使得细节保留程度的计算更全面；进而能够得到更为合适的尺度参数，提高RGB图像的去反光效果，为后续通过神经网络模型获取晶圆的缺陷提供更为精确的图像数据，准确地得到晶圆的缺陷，因此，本发明能够提高RGB图像的去反光效果，具有检测精度高的优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明的一种基于去反光效果的半导体晶圆加工质量检测方法实施例的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的方案，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明所针对的具体场景为：通过采集晶圆表面的RGB图像，利用机器视觉的方法对晶圆的表面缺陷进行检测，本发明通过对传统的Retinex算法进行改进，即根据尺度影响因子自适应的获取各通道图像对应的尺度参数，根据尺度参数对RGB图像进行增强，以便为后续对晶圆的表面缺陷进行检测时提供更为精确的图像数据。
请参阅图1，其示出了本发明一个实施例提供的一种基于去反光效果的半导体晶圆加工质量检测方法的步骤流程图，该方法包括以下步骤：
步骤1，获取晶圆表面的RGB图像并对其进行灰度化处理，得到灰度图像，提取所述RGB图像中的R通道图像、G通道图像以及B通道图像；获取所述灰度图像与各通道图像对应的边缘图像，其中边缘图像中的点包括边缘点与噪声点；通过密度聚类算法分别对各边缘图像中的点进行聚类，根据聚类结果获取各边缘图像中的边缘点与连接类。
具体地，利用高精度CCD相机获取晶圆表面的RGB图像，本实施例采用加权平均值法对RGB图像进行灰度化操作，得到灰度图像，作为其他实施方式，还可以采用分量法、最大值法或平均值法。其中灰度化为现有技术，不再赘述。
上述中提取RGB图像中的R通道图像、G通道图像以及B通道图像为本领域技术人员所熟知的操作，不在本发明的保护范围内，不再赘述。
然后利用canny算子获取所述灰度图像与各通道图像对应的边缘图像，所述边缘图像为二值图像，即边缘图像中包括像素值为0的像素点与像素值为1的像素点，将像素值为1的像素点记为边缘图像中的点；由于在采集晶圆表面的RGB图像时，晶圆表面是金属表面，因此拍摄得到的RGB图像具有高反光的特点，在RGB图像存在高反光的情况下也会伴随着噪声点的出现，而噪声点与周围像素点的差异明显，所以，在使用canny算子获取边缘图像时，噪声点在边缘图像中显示为像素值为1的像素点，因此，边缘图像中的点包括边缘点与噪声点。为了避免噪声点对晶圆表面的检测结果产生影响，则需要去除噪声点。
本实施例采用密度聚类算法分别对各边缘图像中的点进行聚类，筛选出各边缘图像中的边缘点，去除各边缘图像中的噪声点。由于噪声点是以孤立点存在的，噪声点的分布较为离散，边缘点的分布较为密集，而密度聚类算法能够识别出孤立点，因此，通过密度聚类算法的聚类结果能够反映出各边缘图像中哪些点为噪声点，哪些点为边缘点。从而将噪声点去除，保留各边缘图像中的边缘点。
在使用密度聚类算法时，聚类半径的大小决定着能否完全去除边缘图像中的噪声点，以达到良好的去噪效果；聚类半径过小，在聚类完成时，聚类结果中孤立点的数量较多，此时会有一部分边缘点被当作噪声点而被去除，导致边缘图像失真；聚类半径太大，聚类结果中孤立点的数量较小，此时会有一部分噪声点被当作边缘点被保留了下来，导致边缘图像中仍然存在较多的噪声点，去噪效果不好；因此，本实施例根据各边缘图像中各点之间的欧式距离计算各边缘图像中的点在聚类时的聚类半径。
以灰度图像对应的边缘图像为例，对聚类半径的具体计算方法进行说明：在边缘图像中任意选取一个点，计算该点与剩余其他点之间的欧氏距离，得到该点对应的最短欧式距离，进而得到各点对应的最短欧式距离，计算所述最短欧式距离的平均值，将平均值记为聚类半径。
需要说明的是，本实施例根据边缘图像中各点之间的欧式距离计算边缘图像中的点在聚类时的聚类半径，根据此聚类半径得到的聚类结果能够更好的去除边缘图像中的噪声点，达到良好的去噪效果；避免了由于聚类半径过小导致噪声点去除不完全的现象，也避免了由于聚类半经过大导致误把边缘点当作噪声点而被去除，造成边缘图像失真的现象。
然后根据得到的各边缘图像对应的聚类半径，利用密度聚类算法对各边缘图像中的点进行聚类操作，得到各边缘图像对应的聚类结果，根据聚类结果得到各边缘图像中的边缘点与连接类；即聚类结果中包括多个类别，其中，一个类别中至少包括一个点，将仅包括一个点的类别中的点作为噪声点并将其去除，得到各边缘图像中的边缘点，将去除噪声点之后的聚类结果中的每一个类别作为一个连接类，得到各边缘图像中的连接类。其中密度聚类算法为公知技术，不在本发明的保护范围内，不再赘述。
本实施例中，晶圆若存在缺陷，缺陷在对各通道图像进行边缘检测时也会形成边缘点，边缘点的数量越多，表征该边缘图像对应的通道图像在进行滤波时越需要保留更多的细节，即该通道图像在后续进行滤波时对应的尺度参数越小；边缘图像中连接类的数量能够反映出边缘线的连接程度，对于一张RGB图像对应的R通道图像、G通道图像以及B通道图像，若R通道图像对应的边缘图像中的连接类的数量比其他两张通道图像对应的边缘图像中的连接类的数量要多，则表征该边缘图像中边缘线的连接程度越不好，即RGB图像中一条边缘线被划分为细小边缘线的条数越多，边缘细节较差，则R通道图像在后续进行滤波时对应的尺度参数越大。
步骤2，根据所述边缘点，分别计算各通道图像对应的边缘图像与灰度图像对应的边缘图像的差异度。
所述差异度的获取方法为：在去除噪声点之后的各边缘图像中，边缘点的像素值为1，其他像素点的像素值为0，将去除噪声点之后的各边缘图像中的像素值按照从上至下从左从左至后的顺序依次展开，得到去除噪声点之后的各边缘图像对应的一维序列，利用DTW算法计算R通道图像对应的去除噪声点之后的边缘图像的一维序列与灰度图像对应的去除噪声点之后的边缘图像的一维序列的DTW值，将所述DTW值作为R通道图像对应的边缘图像与灰度图像对应的边缘图像的差异度，进而得到各通道图像对应的边缘图像与灰度图像对应的边缘图像的差异度。其中，DTW算法为公知技术，不再赘述。
需要说明的是，差异度能够表征对应两边缘图像的相似性，差异度越大，表征对应两边缘图像越不相似，反之，差异度越小，则表征对应两边缘图像的相似性越高。
步骤3，将各边缘图像进行位置对齐，在任意一位置处，当R通道图像的边缘图像在该位置存在边缘点，而灰度图像的边缘图像在该位置不存在边缘点，则将该位置的边缘点记为R1边缘点；当R通道图像的边缘图像在该位置不存在边缘点，而灰度图像的边缘图像在该位置存在边缘点，则将该位置的边缘点记为R2边缘点；同理，分别获取G1边缘点、G2边缘点、B1边缘点以及B2边缘点。
具体地，建立各边缘图像对应的坐标系，坐标系的原点为各边缘图像中左下方的像素点，基于各边缘图像对应的坐标系实现了将各边缘图像进行位置对齐的操作。
在任意一位置处，当R通道图像的边缘图像在该位置存在边缘点，而灰度图像的边缘图像在该位置不存在边缘点，则将该位置的边缘点记为R1边缘点；当R通道图像的边缘图像在该位置不存在边缘点，而灰度图像的边缘图像在该位置存在边缘点，则将该位置的边缘点记为R2边缘点；当G通道图像的边缘图像在该位置存在边缘点，而灰度图像的边缘图像在该位置不存在边缘点，则将该位置的边缘点记为G1边缘点；当G通道图像的边缘图像在该位置不存在边缘点，而灰度图像的边缘图像在该位置存在边缘点，则将该位置的边缘点记为G2边缘点；当B通道图像的边缘图像在该位置存在边缘点，而灰度图像的边缘图像在该位置不存在边缘点，则将该位置的边缘点记为B1边缘点；当B通道图像的边缘图像在该位置不存在边缘点，而灰度图像的边缘图像在该位置存在边缘点，则将该位置的边缘点记为B2边缘点。至此，得到了R1边缘点、R2边缘点、G1边缘点、G2边缘点、B1边缘点以及B2边缘点。
在任意一位置处，判断各边缘图像在该位置处是否存在边缘点可通过各边缘图像中的像素点在该位置处的像素值来反应，通过步骤1可知，各边缘图像中边缘点的像素值为1，且在步骤1中已经去除了各边缘图像中的噪声点，此时各边缘图像中像素值为1的像素点全部为边缘点，不再包括噪声点，去除了噪声点的干扰；因此，通过各边缘图像在该位置处的像素值能够表征出各边缘图像在该位置是否存在边缘点，从而获取R1边缘点、R2边缘点、G1边缘点、G2边缘点、B1边缘点以及B2边缘点。
以R1边缘点与R2边缘点为例进行说明，获取R1边缘点与R2边缘点的公式具体表示为：
Figure 180132DEST_PATH_IMAGE010
其中，
Figure 201178DEST_PATH_IMAGE011
为R通道图像的边缘图像中的像素点在坐标
Figure 590571DEST_PATH_IMAGE012
处的像素值，
Figure 937238DEST_PATH_IMAGE013
为灰度图像的边缘图像中的像素点在坐标
Figure 211749DEST_PATH_IMAGE012
处的像素值。
需要说明的是，R1边缘点表示R通道图像的边缘图像比灰度图像的边缘图像多出的边缘点，R2边缘点表示灰度图像的边缘图像比R通道图像的边缘图像多出的边缘点。当
Figure 36486DEST_PATH_IMAGE014
，表示R通道图像的边缘图像在坐标
Figure 14806DEST_PATH_IMAGE012
处存在边缘点，而灰度图像的边缘图像在坐标
Figure 532375DEST_PATH_IMAGE012
处不存在边缘点，将R通道图像的边缘图像中坐标
Figure 494515DEST_PATH_IMAGE012
处的边缘点记为R1边缘点，表示R通道图像的边缘图像比灰度图像的边缘图像多出的边缘点。当
Figure 919680DEST_PATH_IMAGE015
，表示R通道图像的边缘图像在坐标
Figure 18086DEST_PATH_IMAGE012
处不存在边缘点，而灰度图像的边缘图像在坐标
Figure 461485DEST_PATH_IMAGE012
处存在边缘点，将灰度图像的边缘图像中坐标
Figure 910921DEST_PATH_IMAGE012
处的边缘点记为R2边缘点，表示灰度图像的边缘图像比R通道图像的边缘图像多出的边缘点。
步骤4，基于所述差异度、R1边缘点的数量与R2边缘点的数量，计算R通道图像与RGB图像的互异性；同理，分别计算G通道图像和B通道图像与RGB图像的互异性。
所述互异性为：
Figure 77460DEST_PATH_IMAGE016
其中，
Figure 295952DEST_PATH_IMAGE002
为R通道图像与RGB图像的互异性，
Figure 952061DEST_PATH_IMAGE003
为R1边缘点的数量，
Figure 623214DEST_PATH_IMAGE004
为R2边缘点的数量，
Figure 859023DEST_PATH_IMAGE005
为R通道图像对应的边缘图像与灰度图像对应的边缘图像的差异度。
互异性表征各通道图像与RGB图像的差异，互异性越大表征差异越大；其中
Figure 669372DEST_PATH_IMAGE003
越大，则R1边缘点的数量越多，R通道图像与RGB图像的互异性越大，则R通道图像与RGB图像的差异越大；
Figure 699645DEST_PATH_IMAGE004
越大，则R2边缘点的数量越多，R通道图像与RGB图像的互异性越大，则R通道图像与RGB图像的差异越大；
Figure 123673DEST_PATH_IMAGE005
越大，即R通道图像对应的边缘图像与灰度图像对应的边缘图像的差异度越大，则R通道图像与RGB图像的互异性越大。因此，R1边缘点的数量
Figure 366435DEST_PATH_IMAGE003
、R2边缘点的数量
Figure 559519DEST_PATH_IMAGE004
以及R通道图像对应的边缘图像与灰度图像对应的边缘图像的差异度
Figure 557431DEST_PATH_IMAGE005
与互异性为正相关关系，并非线性关系，所以本实施例利用数学建模的方法得到互异性的计算公式。
步骤5，根据所述互异性、边缘点的数量以及连接类的数量，计算各通道图像对应的细节保留程度。
所述细节保留程度为：
Figure 203176DEST_PATH_IMAGE006
其中，
Figure 515209DEST_PATH_IMAGE007
为R通道图像的细节保留程度，
Figure 559869DEST_PATH_IMAGE008
为R通道图像对应的边缘图像中边缘点的数量，
Figure 931945DEST_PATH_IMAGE009
为R通道图像对应的边缘图像中连接类的数量，
Figure 64986DEST_PATH_IMAGE002
为R通道图像与RGB图像的互异性。
边缘点的数量越多，则对应边缘图像中的细节越多，那么边缘图像对应的通道图像中的细节越多，细节保留程度越大；连接类的数量越多，则表示RGB图像中的一条边缘线在边缘检测时对应到各通道图像中的边缘图像中被划分为细小边缘线的条数越多，则对应通道图像的细节保留程度越小，
Figure 180710DEST_PATH_IMAGE002
为R通道图像与RGB图像的互异性，则
Figure 82807DEST_PATH_IMAGE017
表征R通道图像与RGB图像的相似性，相似性越大，则表征该通道图像的细节保留程度越大。基于此，利用数学建模的方法得到细节保留程度的计算公式，满足连接类的数量和互异性与细节保留程度呈现负相关的关系，但并非线性关系，满足边缘点的数量与细节保留程度呈现正相关的关系，但并非线性关系。
步骤6，计算所述细节保留程度与各通道图像对应的色彩平衡度的乘积，得到各通道图像对应的尺度影响因子，基于所述尺度影响因子获取各通道图像对应的尺度参数；进而对所述RGB图像进行去反光操作，将去反光操作后的RGB图像输入到神经网络模型中，输出晶圆的缺陷。
所述色彩平衡度为通道图像中所有像素值的标准差，色彩平衡度越大，表征各通道图像中像素值的分布越不均衡，越离散；则对应通道图像在后续滤波过程中对应的尺度参数越小；色彩平衡度越小，表征各通道图像中像素值的分布越均衡，越集中，则对应通道图像在后续滤波过程中对应的尺度参数越大。
本实施例利用Retinex算法对RGB图像进行去反光操作，得到去反光操作后的RGB图像，进而将去反光操作后的RGB图像输入到神经网络模型中，输出晶圆的缺陷。其中Retinex算法是利用三个不同大小的尺度参数对R通道图像与G通道图像与B通道图像单独进行滤波处理，一个通道图像对应一个尺度参数，然后再对各通道图像进行滤波处理后的图像信息进行加权归一，得到去反光操作后的RGB图像；因此需要获取各通道图像对应的尺度参数与权重。
所述权重为：
Figure 625783DEST_PATH_IMAGE018
其中，
Figure 980541DEST_PATH_IMAGE019
为R通道图像对应的权重，
Figure 634377DEST_PATH_IMAGE020
为
Figure DEST_PATH_IMAGE021
归一化后的值，
Figure 252964DEST_PATH_IMAGE022
为
Figure 701263DEST_PATH_IMAGE023
归一化后的值，
Figure 605634DEST_PATH_IMAGE024
为
Figure 63160DEST_PATH_IMAGE025
归一化后的值，
Figure 655029DEST_PATH_IMAGE026
以及
Figure 664442DEST_PATH_IMAGE024
的取值均在0-1之间，且
Figure 728213DEST_PATH_IMAGE026
以及
Figure 723851DEST_PATH_IMAGE024
的取值不取0也不取1，以避免公式出现分子或分母为0的情况。
上述中，
Figure 254714DEST_PATH_IMAGE027
，式中，
Figure 575974DEST_PATH_IMAGE028
为R通道图像对应的灰度共生矩阵的能量，
Figure 861461DEST_PATH_IMAGE029
为灰度图像对应的灰度共生矩阵的能量，
Figure 723107DEST_PATH_IMAGE030
为R通道图像对应的灰度共生矩阵的熵，
Figure 43230DEST_PATH_IMAGE031
为灰度图像对应的灰度共生矩阵的熵。
Figure 66550DEST_PATH_IMAGE032
，式中，
Figure 104913DEST_PATH_IMAGE033
为G通道图像对应的灰度共生矩阵的能量，
Figure 501740DEST_PATH_IMAGE029
为灰度图像对应的灰度共生矩阵的能量，
Figure 941949DEST_PATH_IMAGE034
为G通道图像对应的灰度共生矩阵的熵，
Figure 339432DEST_PATH_IMAGE031
为灰度图像对应的灰度共生矩阵的熵。
Figure 661829DEST_PATH_IMAGE035
，式中，
Figure 68540DEST_PATH_IMAGE036
为B通道图像对应的灰度共生矩阵的能量，
Figure 159993DEST_PATH_IMAGE029
为灰度图像对应的灰度共生矩阵的能量，
Figure 731307DEST_PATH_IMAGE037
为B通道图像对应的灰度共生矩阵的熵，
Figure 744262DEST_PATH_IMAGE031
为灰度图像对应的灰度共生矩阵的熵。
需要说明的是，灰度共生矩阵的熵与能量能够反映出图像的纹理特性，本实施例通过各通道图像对应灰度共生矩阵的熵与能量与灰度图像对应的灰度共生矩阵的熵与能量，获取各通道图像对应的权重，即通过熵与能量表征各通道图像与灰度图像的差异性，进而通过差异性获取各通道图像的权重；例如，
Figure 689085DEST_PATH_IMAGE025
越大，表征B通道图像与灰度图像的差异性越大，B通道图像与灰度图像越不相似，则B通道图像对应的权重越小。
所述尺度参数的获取方法为：首先根据各通道图像对应的尺度影响因子依据设定规则设定各通道图像对应的初始尺度参数；然后基于初始尺度参数利用遗传算法获取各通道图像对应的尺度参数。
利用遗传算法获取各通道图像对应的尺度参数的具体过程为：首先根据各通道图像对应的尺度影响因子依据设定规则设定各通道图像对应的初始尺度参数，一共设定10组初始尺度参数，利用每一组初始尺度参数与各通道图像对应的权重采用Retinex算法对RGB图像进行去反光操作，得到每一组初始尺度参数对应的去反光操作后的RGB图像并计算其对应的信噪比，选择最大信噪比和第二大信噪比对应的两组初始尺度参数进行交叉或变异操作，得到第一代子尺度参数，第一代子尺度参数由10组第一子尺度参数构成，利用每一组第一子尺度参数与各通道图像对应的权重采用Retinex算法对RGB图像进行去反光操作，得到每一组第一子尺度参数对应的去反光操作后的RGB图像并计算其对应的信噪比，选择最大信噪比和第二大信噪比对应的两组第一子尺度参数进行交叉或变异操作，得到第二代子尺度参数，依次类推，迭代n次，得到第n代子尺度参数，第n代子尺度参数由10组第n子尺度参数构成，利用每一组第n子尺度参数与各通道图像对应的权重采用Retinex算法对RGB图像进行去反光操作，得到每一组第n子尺度参数对应的去反光操作后的RGB图像并计算其对应的信噪比，选择最大信噪比对应的第n子尺度参数作为各通道图像对应的尺度参数。其中遗传算法为公知技术，不再赘述，本实施例中迭代的次数为100次，在实际操作过程中，实施者可根据实际情况调整迭代次数的取值。
然后，需要说明的是，尺度参数为各通道图像进行滤波时的卷积核的大小，因此初始尺度参数与每一代子尺度参数必须大于1且小于RGB图像长宽之和的一半。同时，初始尺度参数必须满足设定规则。
所述设定规则为：尺度影响因子最大的通道图像对应的初始尺度参数最大，尺度影响因子最小的通道图像对应的初始尺度参数最小。即当
Figure 900623DEST_PATH_IMAGE038
时，则
Figure 374330DEST_PATH_IMAGE039
，其中，
Figure 671319DEST_PATH_IMAGE040
为R通道图像对应的尺度影响因子，
Figure 419832DEST_PATH_IMAGE041
为G通道图像对应的尺度影响因子，
Figure 53306DEST_PATH_IMAGE042
为B通道图像对应的尺度影响因子；
Figure 963493DEST_PATH_IMAGE043
为R通道图像对应的初始尺度参数，
Figure 747778DEST_PATH_IMAGE044
为G通道图像对应的初始尺度参数，
Figure 768824DEST_PATH_IMAGE045
R通道图像对应的初始尺度参数。当然在利用遗传算法得到各通道图像对应的每一代子尺度参数时，每一代子尺度参数需要满足尺度影响因子最大的通道图像对应的子尺度参数最大，尺度影响因子最小的通道图像对应的子尺度参数最小。
进一步地，根据得到的各通道图像对应的尺度参数与权重利用Retinex算法对RGB图像进行去反光操作，得到去反光操作后的RGB图像，进而将去反光操作后的RGB图像输入到神经网络模型中，输出晶圆的缺陷。
本实施例中，神经网络模型为分类的网络模型，分类的网络模型有很多，实施者可自行选择，神经网络模型的损失函数为交叉熵损失函数，训练神经网络模型的数据集为去反光操作后的RGB图像与标签图像，标签图像中的标签由人工进行标记，即在去反光操作后的RGB图像中，将表征晶圆缺陷的像素点标记为1，将表征晶圆正常的像素点标记为0，得到标签图像。其中神经网络模型的训练过程为公知技术，不在本发明的保护范围内，不再赘述。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种基于去反光效果的半导体晶圆加工质量检测方法，其特征在于，该方法包括以下步骤：
获取晶圆表面的RGB图像并对其进行灰度化处理，得到灰度图像，提取所述RGB图像中的R通道图像、G通道图像以及B通道图像；获取所述灰度图像与各通道图像对应的边缘图像，其中边缘图像中的点包括边缘点与噪声点；
通过密度聚类算法分别对各边缘图像中的点进行聚类，根据聚类结果获取各边缘图像中的边缘点与连接类；
根据所述边缘点，分别计算各通道图像对应的边缘图像与灰度图像对应的边缘图像的差异度；
将各边缘图像进行位置对齐，在任意一位置处，当R通道图像的边缘图像在该位置存在边缘点，而灰度图像的边缘图像在该位置不存在边缘点，则将该位置的边缘点记为R1边缘点；当R通道图像的边缘图像在该位置不存在边缘点，而灰度图像的边缘图像在该位置存在边缘点，则将该位置的边缘点记为R2边缘点；同理，分别获取G1边缘点、G2边缘点、B1边缘点以及B2边缘点；
基于所述差异度、R1边缘点的数量与R2边缘点的数量，计算R通道图像与RGB图像的互异性；同理，分别计算G通道图像和B通道图像与RGB图像的互异性；
根据所述互异性、边缘点的数量以及连接类的数量，计算各通道图像对应的细节保留程度；
计算所述细节保留程度与各通道图像对应的色彩平衡度的乘积，得到各通道图像对应的尺度影响因子，基于所述尺度影响因子获取各通道图像对应的尺度参数，对RGB图像进行去反光操作，将去反光操作后的RGB图像输入到神经网络模型中，输出晶圆的缺陷。
2.根据权利要求1所述的一种基于去反光效果的半导体晶圆加工质量检测方法，其特征在于，所述根据聚类结果获取各边缘图像中的边缘点与连接类的方法为：所述聚类结果中包括多个类别，其中一个类别中至少包括一个点，将仅包括一个点的类别中的点作为噪声点并将其去除，得到各边缘图像中的边缘点，将去除之后的聚类结果中的每一个类别作为一个连接类，得到各边缘图像中的连接类。
3.根据权利要求1所述的一种基于去反光效果的半导体晶圆加工质量检测方法，其特征在于，所述通过密度聚类算法分别对各边缘图像中的点进行聚类还包括计算各边缘图像对应的聚类半径，根据所述聚类半径利用密度聚类算法对各边缘图像中的点进行聚类，得到聚类结果；
所述聚类半径的获取方法为：在边缘图像中任意选取一个点，计算该点与剩余其他点之间的欧氏距离，得到该点对应的最短欧式距离，进而得到各点对应的最短欧式距离，计算所述最短欧式距离的平均值，将所述平均值记为该边缘图像对应的聚类半径。
4.根据权利要求1所述的一种基于去反光效果的半导体晶圆加工质量检测方法，其特征在于，所述差异度的获取方法为：在去除噪声点之后的各边缘图像中，边缘点的像素值为1，其他像素点的像素值为0，将去除噪声点之后的各边缘图像中的像素值按照从上至下从左至右的顺序依次展开，得到去除噪声点之后的各边缘图像对应的一维序列，利用DTW算法计算R通道图像对应的去除噪声点之后的边缘图像的一维序列与灰度图像对应的去除噪声点之后的边缘图像的一维序列的DTW值，将所述DTW值作为R通道图像对应的边缘图像与灰度图像对应的边缘图像的差异度，进而得到各通道图像对应的边缘图像与灰度图像对应的边缘图像的差异度。
5.根据权利要求1所述的一种基于去反光效果的半导体晶圆加工质量检测方法，其特征在于，所述互异性为：
Figure DEST_PATH_IMAGE001
其中，
Figure 231891DEST_PATH_IMAGE002
为R通道图像与RGB图像的互异性，
Figure 360384DEST_PATH_IMAGE003
为R1边缘点的数量，
Figure 522375DEST_PATH_IMAGE004
为R2边缘点的数量，
Figure 39332DEST_PATH_IMAGE005
为到R通道图像对应的边缘图像与灰度图像对应的边缘图像的差异度。
6.根据权利要求1所述的一种基于去反光效果的半导体晶圆加工质量检测方法，其特征在于，所述细节保留程度为：
Figure 526945DEST_PATH_IMAGE006
其中，
Figure DEST_PATH_IMAGE007
为R通道图像的细节保留程度，
Figure 595264DEST_PATH_IMAGE008
为R通道图像对应的边缘图像中边缘点的数量，
Figure 560946DEST_PATH_IMAGE009
为R通道图像对应的边缘图像中连接类的数量，
Figure 929479DEST_PATH_IMAGE002
为R通道图像与RGB图像的互异性。
7.根据权利要求1所述的一种基于去反光效果的半导体晶圆加工质量检测方法，其特征在于，所述色彩平衡度为通道图像中所有像素值的标准差。
8.根据权利要求1所述的一种基于去反光效果的半导体晶圆加工质量检测方法，其特征在于，所述尺度参数的获取方法为：
首先根据各通道图像对应的尺度影响因子依据设定规则设定各通道图像对应的初始尺度参数；然后基于初始尺度参数利用遗传算法获取各通道图像对应的尺度参数；
所述设定规则为：尺度影响因子最大的通道图像对应的初始尺度参数最大，尺度影响因子最小的通道图像对应的初始尺度参数最小。
9.根据权利要求1所述的一种基于去反光效果的半导体晶圆加工质量检测方法，其特征在于，所述方法还包括计算各通道图像对应的权重，所述权重根据各通道图像对应的灰度共生矩阵的熵与能量计算。
CN202211009244.7A 2022-08-23 2022-08-23 一种基于去反光效果的半导体晶圆加工质量检测方法 Active CN115082477B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211009244.7A CN115082477B (zh) 2022-08-23 2022-08-23 一种基于去反光效果的半导体晶圆加工质量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211009244.7A CN115082477B (zh) 2022-08-23 2022-08-23 一种基于去反光效果的半导体晶圆加工质量检测方法

Publications (2)

Publication Number Publication Date
CN115082477A CN115082477A (zh) 2022-09-20
CN115082477B true CN115082477B (zh) 2022-10-28

Family

ID=83244915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211009244.7A Active CN115082477B (zh) 2022-08-23 2022-08-23 一种基于去反光效果的半导体晶圆加工质量检测方法

Country Status (1)

Country Link
CN (1) CN115082477B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830459B (zh) * 2023-02-14 2023-05-12 山东省国土空间生态修复中心(山东省地质灾害防治技术指导中心、山东省土地储备中心) 基于神经网络的山地林草生命共同体损毁程度检测方法
CN116630308B8 (zh) * 2023-07-20 2023-10-27 山东华太新能源电池有限公司 用于电池焊接异常检测的数据增强系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646392A (zh) * 2013-11-21 2014-03-19 华为技术有限公司 逆光检测方法及设备
CN107818552A (zh) * 2017-11-17 2018-03-20 电子科技大学 一种双目图像的去反光方法
JP2018128759A (ja) * 2017-02-07 2018-08-16 株式会社島津製作所 テカリ領域除去装置
CN112419185A (zh) * 2020-11-20 2021-02-26 湖北工业大学 基于光场迭代的精确高反光去除方法
CN112927189A (zh) * 2021-01-28 2021-06-08 江苏大学 一种电镀工件表面瑕疵视觉检测中边缘反射光斑剔除方法
WO2021174687A1 (zh) * 2020-03-04 2021-09-10 深圳市商汤科技有限公司 去除图像中的反光的方法及装置、电子设备和存储介质
WO2021189321A1 (zh) * 2020-03-25 2021-09-30 华为技术有限公司 一种图像处理方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646392A (zh) * 2013-11-21 2014-03-19 华为技术有限公司 逆光检测方法及设备
JP2018128759A (ja) * 2017-02-07 2018-08-16 株式会社島津製作所 テカリ領域除去装置
CN107818552A (zh) * 2017-11-17 2018-03-20 电子科技大学 一种双目图像的去反光方法
WO2021174687A1 (zh) * 2020-03-04 2021-09-10 深圳市商汤科技有限公司 去除图像中的反光的方法及装置、电子设备和存储介质
WO2021189321A1 (zh) * 2020-03-25 2021-09-30 华为技术有限公司 一种图像处理方法和装置
CN112419185A (zh) * 2020-11-20 2021-02-26 湖北工业大学 基于光场迭代的精确高反光去除方法
CN112927189A (zh) * 2021-01-28 2021-06-08 江苏大学 一种电镀工件表面瑕疵视觉检测中边缘反射光斑剔除方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
无人船监视图像反光区域检测与去除方法及实验验证;时俊楠等;《海洋科学》;20180115(第01期);全文 *

Also Published As

Publication number Publication date
CN115082477A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN115082477B (zh) 一种基于去反光效果的半导体晶圆加工质量检测方法
CN113450307B (zh) 一种产品边缘缺陷检测方法
CN109255344B (zh) 一种基于机器视觉的数显式仪表定位与读数识别方法
CN116309537B (zh) 一种极耳模具表面油污的缺陷检测方法
CN115619793B (zh) 基于计算机视觉的电源适配器外观质量检测方法
CN113610850B (zh) 一种基于图像处理的装饰纸纹理异常检测方法
CN108985337A (zh) 一种基于图像深度学习的产品表面划痕检测方法
CN115147409A (zh) 基于机器视觉的手机壳生产品质检测方法
CN114998198A (zh) 一种注塑件表面缺陷识别方法
TWI765442B (zh) 瑕疵等級判定的方法及存儲介質
CN111161260A (zh) 一种基于深度学习的热轧带钢表面缺陷检测方法及装置
CN114091606A (zh) 一种隧道爆破炮孔半眼痕识别和损伤平整度评价分类方法
CN116452589B (zh) 基于图像处理的人造板表面缺陷智能检测方法
CN114723708A (zh) 一种基于无监督图像分割的工艺品外观缺陷检测方法
CN112669295A (zh) 一种基于二次阈值分割理论的锂电池极片缺陷检测方法
CN112819748A (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN115272350A (zh) 一种计算机pcb主板生产质量检测方法
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN117689655B (zh) 基于计算机视觉的金属钮扣表面缺陷检测方法
CN112381140B (zh) 一种基于新特征参数的磨粒图像机器学习识别方法
CN109949334B (zh) 基于深度强化网络残差连接的轮廓检测方法
CN116883408B (zh) 基于人工智能的积算仪壳体缺陷检测方法
CN113673515A (zh) 一种计算机视觉目标检测算法
CN113705564A (zh) 一种指针式仪表识别读数方法
CN115690104B (zh) 一种晶圆裂缝检测方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant