CN114910480A - 一种基于机器视觉的晶圆表面缺陷检测方法 - Google Patents
一种基于机器视觉的晶圆表面缺陷检测方法 Download PDFInfo
- Publication number
- CN114910480A CN114910480A CN202210503637.7A CN202210503637A CN114910480A CN 114910480 A CN114910480 A CN 114910480A CN 202210503637 A CN202210503637 A CN 202210503637A CN 114910480 A CN114910480 A CN 114910480A
- Authority
- CN
- China
- Prior art keywords
- image
- wafer
- coordinates
- extracting
- crystal grain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 85
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 239000013078 crystal Substances 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000011218 segmentation Effects 0.000 claims abstract description 27
- 238000003491 array Methods 0.000 claims abstract description 7
- 238000012216 screening Methods 0.000 claims abstract description 7
- 230000002950 deficient Effects 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000007621 cluster analysis Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 13
- 238000011179 visual inspection Methods 0.000 abstract description 4
- 238000007417 hierarchical cluster analysis Methods 0.000 abstract description 2
- 235000012431 wafers Nutrition 0.000 description 80
- 239000000523 sample Substances 0.000 description 48
- 238000010586 diagram Methods 0.000 description 7
- 238000013145 classification model Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 239000000463 material Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/9501—Semiconductor wafers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Testing Or Measuring Of Semiconductors Or The Like (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
一种基于机器视觉的晶圆表面缺陷检测方法属于晶圆生产制造过程中的缺陷检测领域。该方法首先利用工业线阵相机对整个晶圆进行扫描，获取完整晶圆原始图像；其次提取晶圆原始图像的灰度特征，对晶圆图像位姿进行校正；再次利用单样本晶粒图像和完整晶圆图像进行多模板匹配，并利用Kmeans和非线性差值方法筛选出最佳匹配坐标，完成对晶粒样本的分割；最后对分割样本进行图像增强，并对增强图像遍历提取外轮廓特征和轮廓内灰度特征，分别生成一维数组，进行Kmeans和层次聚类分析，筛选出离散样本，将离散样本标记为缺陷样本，生成缺陷晶圆图，完成晶圆缺陷检测。该方法能够应用到晶圆生产制造过程中，代替现在人工目检的方式。
Description
技术领域
本发明属于晶圆生产制造过程中的缺陷检测领域。具体涉及一种对晶圆表面缺陷采用线阵相机扫描采集、芯片样本分割并分析分割样本是否有缺陷的方法。
背景技术
集成电路(Integrated Circuit，IC)产业是当今社会信息科技“船舶”的压舱石，关乎国家的信息安全以及科技地位，已然是衡量一个国家现代化进程和综合国力的重要标志，而我国的半导体材料和器件长期依赖进口，芯片设计、制造、质量检测能力薄弱，大量生产环节关键核心技术国产化水平不足，因此加快国产半导体技术革新，提升我国半导体关键生产技术的自主保障能力迫在眉睫。晶圆作为IC制造的主要材料，其缺陷检测技术是提升产品良率的重要保障。目前，晶圆缺陷检测主要分为两类：探针测试晶粒电气性能和人工检测晶圆表面缺陷，晶圆表面缺陷作为影响产品良率的主要问题，采用人工目检的方式效率低、速度慢、劳动强度大，因此亟需一种能够自动采集晶圆表面图像并对采集图像处理分析精确判断缺陷晶粒位置的方法。
针对晶圆缺陷检测，早期采用的是模板匹配方法，该方法是一种像素层面的图像比较算法，通过建立不同表面缺陷模式的标准模板库，用待检测芯片与模板进行匹配对比，进而判断芯片是否存在缺陷。但这种方法在建立标准库时只能依赖已有的表面缺陷样本，已有表面缺陷样本并不能反应所有的表面缺陷模式，无法完成对新出现缺陷样本的检测，且检测过程中需要多次匹配，检测效率低。近些年来，机器学习方法，如聚类分析、支持向量机、深度学习等，被应用于芯片的缺陷检测中，这些方法主要分为有监督学习和无监督学习。有监督学习需要依靠大量表面缺陷样本来训练分类模型，进而完成表面缺陷检测任务。但这类方法都需要依靠人工完成大量样本标记，劳动强度大且无法完成对新缺陷样本的检测，另外此类方法训练出的模型具有针对性，只能完成对训练样本芯片的缺陷检测，对其它类型芯片进行缺陷检测时，仍需要重新标记样本训练模型，工作量大且无法适应半导体产品的更新迭代。
发明内容
本发明主要目的在于提出一种基于机器视觉的晶圆表面缺陷检测方法，该方法能够应用到晶圆生产制造过程中，代替现在人工目检的方式，根据相机扫描采集图像完成样本分割与缺陷检测任务，实现机器自动检测晶圆表面存在缺陷的晶粒。本发明旨在解决以下问题：
1.晶圆表面缺陷检测主要通过人工目检生成晶圆缺陷模式图，效率低、速度慢、劳动强度大；
2.有监督分类模型依靠人工完成大量样本标记，劳动强度大且无法完成对新缺陷样本的检测；
3.有监督分类模型具有针对性，只能完成对训练样本芯片的缺陷检测，对其它类型芯片进行缺陷检测时，仍需要标记样本训练模型。
为了解决以上问题，本发明提出一种基于机器视觉的晶圆表面缺陷检测方法，该方法首先利用工业线阵相机对整个晶圆进行扫描，获取完整晶圆原始图像；其次提取晶圆原始图像的灰度特征，对晶圆图像位姿进行校正；再次利用单样本晶粒图像和完整晶圆图像进行多模板匹配，并利用Kmeans和非线性差值方法筛选出最佳匹配坐标，完成对晶粒样本的分割；最后对分割样本进行图像增强，并对增强图像遍历提取外轮廓特征和轮廓内灰度特征，分别生成一维数组，进行Kmeans和层次聚类分析，筛选出离散样本，将离散样本标记为缺陷样本，生成缺陷晶圆图，完成晶圆缺陷检测。
本发明具体工作流程如下：
步骤1，利用工业线阵相机对整个晶圆进行扫描，获取完整晶圆原始图像；
步骤2，提取晶圆原始图像的灰度直方图特征，进行晶圆图像位姿旋转校正；
步骤3，将单个晶粒样本图像和校正后完整晶圆图像进行多样本模板匹配，利用Kmeans聚类选取最佳匹配坐标，非线性插值补全漏缺匹配坐标，提取出晶圆图中每个晶粒样本图像，保存每个晶粒样本图像坐标；
步骤4，提取晶粒样本图像特征，对每个晶粒样本图像进行图像增强；
步骤5，基于步骤4增强的晶粒图像，对图像进行2次阈值分割，遍历提取阈值分割晶粒图像最大外轮廓面积和轮廓内部灰度特征，分别生成对应的一维数组，利用Kmeans和层次聚类对数据聚类分析，根据聚类后离散样本数据，筛选出缺陷晶粒样本，记录缺陷样本坐标；
步骤6，基于步骤3保存的全部晶粒样本坐标和步骤5生成的缺陷样本坐标，生成缺陷晶圆图。
在上述技术方案中，步骤1中，所述晶圆图像采集具体过程如下：
搭建相机采集运动平台，运动平台具有X-Y-Z轴3自由度，在Y-Z平面调节线阵相机高度，使其采集画面包含目标物最宽边界，将相机固定于Y-Z平面。利用公式(1)计算相机线扫描速率，设置相机线扫描速率，使目标物体沿X轴匀速垂直通过线扫相机，使得相机对整个晶圆进行扫描，获取完整晶圆原始图像。
Vc＝Hc*Vo/Lo (1)
式中，Vc为线阵相机线扫描速率，单位为Hz；
Hc为线阵相机的每线像素数，单位为pixel；
Vo为目标物运行速率，单位为m/s；
Lo为目标物的宽幅，单位为m。
在上述技术方案中，步骤2中，所述图像位姿旋转校正具体过程如下：
(1)将原始采集图像转为灰度图像，提取灰度图像的灰度直方图，搜索灰度直方图中第一个山谷，记山谷灰度值为分割阈值进行图像阈值分割。检测分割图像最大外轮廓，提取最大外轮廓图像部分，记录图像为ImgEdge。
(2)搜索ImgEdge最下方角点，记录角点坐标为(X1,Y1)。提取ImgEdge的中心列坐标记为Y2，搜索Y2列中灰度值不为255的行坐标，记搜索行坐标中最大值为X2，(X2-X1)/(Y2-Y1)求出旋转角度β。当β>0时，对ImgEdge顺时针旋转β度，当β<0时，对ImgEdge逆时针旋转β度，记旋转后图像为ImgRotate。对ImgRotate进行(1)中同样处理，提取出位姿校正晶圆图像。
在上述技术方案中，步骤3中，所述晶圆样本分割具体过程如下：
(1)读取步骤2校正后的完整晶圆图像，记图像为ImgGray，随意从ImgGray中选取一个晶粒样本记为ImgTemplate。利用ImgTemplate对ImgGray逐行进行模板匹配，设置模板匹配相似度阈值为0.6，记录匹配过程中相似度大于0.6的图像区域左上角坐标。
(2)提取晶粒样本图像的宽高，记为w，h。将匹配后的左上角坐标点集合按行坐标排序，列坐标跟随行坐标排序索引变化。将排序后相邻行坐标差值小于0.1w的行坐标划分为近邻行，对近邻行的列坐标进行排序，行坐标跟随列坐标排序索引变化。两次排序后，将排序后相邻列坐标差值小于0.1h的列坐标划分为近邻列，对属于近邻列的坐标点集合(Xi,Yi)提取，进行Kmeans聚类分析，聚类簇设置为1，得到聚类中心，生成最佳匹配坐标集合。
(3)以行坐标为标准，提取出相邻行坐标差值小于0.1w的坐标点集合(Xi,Yi)，应用公式(2)对提取坐标点集合中的列坐标进行差值计算。
Ei＝Yi+1-Yi(i∈{0,1,2,...,N-1}) (2)
Yj＝(Yi+1+Yi)/2 (3)
式中，Ei为相邻列坐标差值，Yi+1和Yi为前后列坐标值。
如果Ei中不存在大于1.5h的数值，即不存在漏缺匹配点，反之，存在漏缺匹配点。如果存在漏缺匹配点，首先应用公式(3)计算补缺点列坐标Yj，通过提取坐标点集合(Yi,Xi)进行3次非线性拟合，将Yj带入拟合后的公式，得到补缺行坐标Xj，将补缺坐标(Xj,Yj)并入匹配坐标点集合。遍历所有近邻行得到完整晶粒坐标点集合。
(4)根据步骤(3)得到的完整左上角坐标点集合，提取出以左上角为起点，宽高为w，h的图像，将晶粒图像存储到文件夹内。对每个晶粒图像编号，记录左上角坐标。
在上述技术方案中，步骤5中，所述晶粒图像聚类分析缺陷检测具体过程如下：
(1)记步骤4增强后的晶粒图像为Img，提取Img的灰度均值作为分割阈值对Img进行阈值分割，分割后的图像记为Thd。提取Thd的平均灰度作为分割阈值对Img进行阈值分割，记分割后的图像为ImgThd。对ImgThd进行中值滤波，内核尺寸为5*5。对ImgThd进行轮廓检测并根据轮廓面积进行排序，提取最大外轮廓，生成仅有外轮廓的新图像记为ImgContours。对ImgContours轮廓外区域进行灰度填充，填充值为255。
(2)基于步骤(1)生成的ImgThd和ImgContours，将ImgThd和ImgContours进行融合，并对融合后图像进行中心提取，提取尺寸为0.9w和0.9h，记提取后图像为ImgCut。对ImgCut进行轮廓检测，检测轮廓不等于1，判断该晶粒为缺陷(NG)，反之判断该晶粒为正常晶粒(OK)。将缺陷晶粒图像存储到新文件夹，并记录缺陷晶粒编号。基于步骤3记录的完整晶粒坐标信息和生成的缺陷样本信息，绘制缺陷晶圆图。
(3)基于步骤(1)生成的ImgThd和ImgContours，遍历全部图像，提取ImgContours轮廓外填充面积，生成一维数组。利用Kmeans和层次聚类对一维数组进行聚类分析，聚类簇设置为2，找出离散样本数量少的聚类簇，判断该簇内全部样本为缺陷样本(NG)，将缺陷晶粒图像存储到新文件夹，并记录缺陷晶粒编号。基于步骤3记录的完整晶粒坐标信息和生成的缺陷样本信息，绘制缺陷晶圆图。
本发明具有如下优点：
本发明采用工业线阵相机采集晶圆图，采集速度快且能获取完整晶圆图像，方便对晶圆图整体和细节的考察。机器视觉方法检测晶圆表面缺陷，并生成晶圆缺陷模式图，大大降低了人工劳动成本，提高晶圆检测效率。采用无监督学习分类模型进行晶圆表面缺陷检测，不需要依靠人工标记样本数据集，且能实时检测出各种类型缺陷晶粒。本发明设计的缺陷分类模型具有模型轻量化程度高，泛化性和可迁移性强的特点，使得本发明可以用于多类型晶圆表面缺陷检测。本发明能够应用在晶圆制造加工过程中的缺陷检测领域，代替人工对晶圆缺陷进行检测和分析。
附图说明
图1基于机器视觉的晶圆表面缺陷检测方法流程图；
图2(a)为类型1晶圆原始图像，(b)为类型2晶圆原始图像，(c)为类型3晶圆原始图像；
图3(a)为原始采集图像灰度直方图，(b)为阈值分割图像；
图4(a)为最大外轮廓图像，(b)为旋转后的图像，(c)为旋转校正后提取的最大外轮廓图像；
图5(a)为类型1晶圆校正提图像，(b)为类型2晶圆校正提图像，(c)为类型3晶圆校正提图像；
图6(a)为完整晶圆图像，(b)为晶粒样本图像；
图7(a)为初次行排列后的结果截图，(b)为两次排列后的结果截图；
图8某个晶粒Kmeans聚类最佳匹配坐标结果图；
图9全部晶粒Kmeans聚类最佳匹配坐标结果图；
图10(a)为初步聚类坐标点散点图，(b)为非线性插值拟合数据选取图，(c)数据拟合曲线图，(d)为坐标点插值结果图；
图11(a)为不同类型晶粒未增强图，(b)为不同类型晶粒增强图；
图12(a)为无缺陷晶粒检测过程及结果图，(b)为划痕缺陷晶粒检测过程及结果图，(c)为脏污缺陷晶粒检测过程及结果图，(d)为脏污缺陷晶粒检测过程及结果图；
图13(a)为无缺陷晶粒最大外轮廓提取结果图，(b)为破碎缺陷晶粒最大外轮廓提取结果图，(c)为缺角缺陷晶粒最大外轮廓提取结果图；
图14(a)为类型1晶圆图，(b)为类型1晶圆生成的缺陷晶圆图，(c)为类型2晶圆图，(d)为类型2晶圆生成的缺陷晶圆图。
具体实施方式
下面结合附图与实例，针对本方法做详细说明。
图1为基于机器视觉的晶圆表面缺陷检测方法流程图，首先利用工业线阵相机对整个晶圆进行扫描，获取完整晶圆原始图像，提取晶圆原始图像的灰度直方图特征，进行晶圆图像位姿旋转校正，将单个晶粒样本图像和校正后完整晶圆图像进行多样本模板匹配，利用Kmeans聚类选取最佳匹配坐标，非线性插值补全漏缺匹配坐标，提取出晶圆图中每个晶粒样本图像，保存每个晶粒样本图像坐标。提取晶粒样本图像特征，对每个晶粒样本图像进行图像增强，对增强后的图像进行阈值分割，遍历提取阈值分割晶粒图像最大外轮廓面积和轮廓内部灰度特征，分别生成对应的一维数组，利用Kmeans和层次聚类对数据聚类分析，根据聚类后离散样本数据，筛选出缺陷晶粒样本，记录缺陷样本坐标。具体步骤如下：
1.晶圆图像采集
图像采集设备采用Dalsa工业线阵相机，采集图像像素为16384*16384。搭建相机采集运动平台，运动平台具有X-Y-Z轴3自由度，在Y-Z平面调节线阵相机高度，使其采集画面包含目标物最宽边界，将相机固定于Y-Z平面。利用公式(1)计算相机线扫描速率，设置相机线扫描速率，使目标物体沿X轴匀速垂直通过线扫相机，使得相机对整个晶圆进行扫描，获取完整晶圆原始图像。不同被扫描晶圆生成的图像如图2所示。
Vc＝Hc*Vo/Lo (1)
式中，Vc为线阵相机线扫描速率，单位为Hz；
Hc为线阵相机的每线像素数，单位为pixel；
Vo为目标物运行速率，单位为m/s；
Lo为目标物的宽幅，单位为m。
2.晶圆图像位姿校正
将原始采集图像缩放到原来的0.4倍，提取缩放图像的灰度直方图，搜索灰度直方图中第一个山谷，如图3(a)所示，记山谷灰度值为分割阈值进行图像阈值分割，分割后图像如图3(b)所示。对阈值分割图像进行腐蚀，内核尺寸为5*5，腐蚀次数2次，检测分割图像最大外轮廓，提取最大外轮廓图像部分，记录图像为ImgEdge，如图4(a)所示。
对ImgEdge进行膨胀操作，内核尺寸为3*3，膨胀次数2次，搜索ImgEdge最下方角点，记录角点坐标为(X1,Y1)。提取ImgEdge的中心列坐标记为Y2，搜索Y2列中灰度值不为255的行坐标，记搜索行坐标中最大值为X2，(X2-X1)/(Y2-Y1)求出旋转角度β。当β>0时，对ImgEdge顺时针旋转β度，当β<0时，对ImgEdge逆时针旋转β度，记旋转后图像为ImgRotate，如图4(b)所示。对ImgRotate进行腐蚀处理，内核尺寸为5*5，腐蚀次数2次，检测分割图像最大外轮廓，提取最大外轮廓图像部分，如图4(c)所示，将轮廓参数放大2.5倍，对旋转校正后的原始图像进行图像提取，提取出位姿矫正后的图像。
采用上述方法对不同类型的晶圆图像进行位姿校正和图像提取，得到提取后的图像如图5所示。
3.晶圆图像分割
读取校正后的完整晶圆图像，记图像为ImgGray，如图6(a)所示。任意从ImgGray中选取一个晶粒样本记为ImgTemplate，如图6(b)所示。利用ImgTemplate对ImgGray进行多模板匹配，设置模板匹配相似度阈值为0.6，记录匹配过程中相似度大于0.6的图像区域左上角坐标。
提取晶粒样本图像的宽高，记为w，h。将匹配后的左上角坐标点集合按行坐标排序，列坐标跟随行坐标排序索引变化。将排序后相邻行坐标差值小于0.1w的行坐标划分为近邻行，对近邻行的列坐标进行排序，行坐标跟随列坐标排序索引变化。两次排序后，将排序后相邻列坐标差值小于0.1h的列坐标划分为近邻列，排序流程解释如图7所示。对属于近邻列的坐标点集合(Xi,Yi)提取，进行Kmeans聚类分析，聚类簇设置为1，得到聚类中心，如图8所示，遍历所有近邻列坐标点集合生成最佳匹配坐标集合。在模板匹配过程中，存在遗漏样本点，如图9所示，需要利用已匹配样本点非线性插值，完成对样本点的补充，得到完整样本点。
以行坐标为标准，提取出相邻行坐标差值小于0.1w的坐标点集合(Xi,Yi)，应用公式(2)对提取坐标点集合中的列坐标进行差值计算。
Ei＝Yi+1-Yi(i∈{0,1,2,...,N-1}) (2)
式中，Ei为相邻列坐标差值，Yi+1和Yi为前后列坐标值。
如果Ei中不存在大于1.5h的数值，即不存在漏缺匹配点，反之，存在漏缺匹配点。如果存在漏缺匹配点，首先计算补缺点列坐标Yj＝(Yi+1+Yi)/2，通过提取坐标点集合(Yi,Xi)进行3次非线性拟合，将Yj带入拟合后的公式，得到补缺行坐标Xj，将补缺坐标(Xj,Yj)并入匹配坐标点集合。上述算法实现过程如图10所示。遍历所有近邻行得到完整晶粒坐标点集合。
得到的完整左上角坐标点集合后，提取出以左上角为起点，宽高为w，h的图像，将晶粒图像存储到文件夹内。对每个晶粒图像编号，记录左上角坐标。
4.晶粒样本图像增强
将步骤3得到晶粒图像转到HSV空间，提取图像明度均值，记为Vsample，遍历所有晶粒图像，得到一维明度均值数组。对明度均值数组进行从小到大排序，取出数组中前30％作为较暗图像，中间40％-70％作为标准亮度图像，后70％-100％作为较亮图像。将标准亮度图像的明度均值进行相加取平均，记为VMean。对较亮和较暗图像进行亮度均衡，首先将待增强图像(ImgInt)转为灰度图，根据待增强图像的尺寸，新建一张与待增强图像尺寸相同，通道数相同，每个像素值为0的图像(ImgNew)。根据公式(3)，使用alpha在两个输入图像之间进行插值来创建新图像(ImgOut)，新图像即为增强后的图像。alpha计算方法为公式(4)，对于较暗图像alpha>1，图像进行亮度增强，对于较亮图像alpha<1,图像进行亮度减弱。将亮度均衡化的图像进行保存。
ImgOut＝ImgNew*(1.0-alpha)+ImgInt*alpha (3)
alpha＝Vmean/Vsample (4)
基于亮度均衡化图像，对图像进行对比度增强。首先将待增强图像((ImgInt))转为灰度图，求出灰度图的灰度的算数平均值。根据待增强图像的尺寸和灰度平均值，新建一张与待增强图像尺寸相同，通道数相同，每个像素的每个通道数值均为灰度平均值的图(ImgNew)。根据公式(3)，使用恒定的alpha在两个输入图像之间进行插值来创建新图像(ImgOut)，新图像即为增强后的图像。alpha设置为1.5。
基于对比度增强图像，对图像进行锐化操作。首先对待增强图像(ImgInt)进行平滑滤波，滤波后的图像为(ImgNew)。根据公式(3)，使用恒定的alpha在两个输入图像之间进行插值来创建新图像(ImgOut)，新图像即为增强后的图像。alpha设置为3.0。
使用上述操作对不同晶粒样本进行图像增强，图11(a)为未增强图像，图11(b)为增强后图像。
5.晶粒缺陷检测
(1)轮廓特征提取
记增强后的晶粒图像为Img，提取Img的灰度均值作为分割阈值对Img进行阈值分割，分割后的图像记为Thd。提取Thd的平均灰度作为分割阈值对Img进行阈值分割，记分割后的图像为ImgThd。对ImgThd进行中值滤波，内核尺寸为5*5。
对ImgThd进行轮廓检测并根据轮廓面积进行排序，提取最大外轮廓，生成仅有外轮廓的新图像记为ImgContours。对ImgContours轮廓外区域进行灰度填充，填充值为255。
(2)轮廓内灰度特征提取及缺陷检测
基于步骤(1)生成的ImgThd和ImgContours，将ImgThd和ImgContours进行融合，并对融合后图像进行中心提取，提取尺寸为0.9w和0.9h，记提取后图像为ImgCut。
对ImgCut进行轮廓检测，检测轮廓不等于1，判断该晶粒为缺陷(NG)，反之判断该晶粒为正常晶粒(OK)。将缺陷晶粒图像存储到新文件夹，并记录缺陷晶粒编号。基于步骤3记录的完整晶粒坐标信息和生成的缺陷样本信息，绘制缺陷晶圆图。
使用上述算法对晶粒图像进行处理，检测过程如图12所示。其中图12(a)为无缺陷晶粒，图12(b)(c)(d)为不同类型的缺陷晶粒。
(3)轮廓外灰度特征提取及缺陷检测
基于步骤(1)生成的ImgThd和ImgContours，遍历全部图像，提取ImgContours轮廓外填充面积，生成一维数组。利用Kmeans和层次聚类对一维数组进行聚类分析，聚类簇设置为2，找出离散样本数量少的聚类簇，判断该簇内全部样本为缺陷样本(NG)，将缺陷晶粒图像存储到新文件夹，并记录缺陷晶粒编号。基于步骤3记录的完整晶粒坐标信息和生成的缺陷样本信息，绘制缺陷晶圆图。
使用上述算法对晶粒图像进行处理，检测过程如图13所示。其中图13(a)为无缺陷晶粒，图13(b)(c)为不同类型的缺陷晶粒。
不同类型晶圆根据(2)和(3)方法检测出缺陷样本信息，生成缺陷晶圆图，如图14所示。
Claims (5)
1.一种基于机器视觉的晶圆表面缺陷检测方法，其特征在于，具体工作流程如下：
步骤1，利用工业线阵相机对整个晶圆进行扫描，获取完整晶圆原始图像；
步骤2，提取晶圆原始图像的灰度直方图特征，进行晶圆图像位姿旋转校正；
步骤3，将单个晶粒样本图像和校正后完整晶圆图像进行多样本模板匹配，利用Kmeans聚类选取最佳匹配坐标，非线性插值补全漏缺匹配坐标，提取出晶圆图中每个晶粒样本图像，保存每个晶粒样本图像坐标；
步骤4，提取晶粒样本图像特征，对每个晶粒样本图像进行图像增强；
步骤5，基于步骤4增强的晶粒图像，对图像进行2次阈值分割，遍历提取阈值分割晶粒图像最大外轮廓面积和轮廓内部灰度特征，分别生成对应的一维数组，利用Kmeans和层次聚类对数据聚类分析，根据聚类后离散样本数据，筛选出缺陷晶粒样本，记录缺陷样本坐标；
步骤6，基于步骤3保存的全部晶粒样本坐标和步骤5生成的缺陷样本坐标，生成缺陷晶圆图。
2.根据权利要求1所述的一种基于机器视觉的晶圆表面缺陷检测方法，其特征在于，步骤1中，所述晶圆图像采集具体过程如下：
搭建相机采集运动平台，运动平台具有X-Y-Z轴3自由度，在Y-Z平面调节线阵相机高度，使其采集画面包含目标物最宽边界，将相机固定于Y-Z平面；利用公式(1)计算相机线扫描速率，设置相机线扫描速率，使目标物体沿X轴匀速垂直通过线扫相机，使得相机对整个晶圆进行扫描，获取完整晶圆原始图像；
Vc＝Hc*Vo/Lo (1)
式中，Vc为线阵相机线扫描速率，单位为Hz；
Hc为线阵相机的每线像素数，单位为pixel；
Vo为目标物运行速率，单位为m/s；
Lo为目标物的宽幅，单位为m。
3.根据权利要求1所述的一种基于机器视觉的晶圆表面缺陷检测方法，其特征在于，步骤2中，所述图像位姿旋转校正具体过程如下：
(1)将原始采集图像转为灰度图像，提取灰度图像的灰度直方图，搜索灰度直方图中第一个山谷，记山谷灰度值为分割阈值进行图像阈值分割；检测分割图像最大外轮廓，提取最大外轮廓图像部分，记录图像为ImgEdge；
(2)搜索ImgEdge最下方角点，记录角点坐标为(X1,Y1)；提取ImgEdge的中心列坐标记为Y2，搜索Y2列中灰度值不为255的行坐标，记搜索行坐标中最大值为X2，(X2-X1)/(Y2-Y1)求出旋转角度β；当β>0时，对ImgEdge顺时针旋转β度，当β<0时，对ImgEdge逆时针旋转β度，记旋转后图像为ImgRotate；对ImgRotate进行(1)中同样处理，提取出位姿校正晶圆图像。
4.根据权利要求1所述的一种基于机器视觉的晶圆表面缺陷检测方法，其特征在于，步骤3中，所述晶圆样本分割具体过程如下：
(1)读取步骤2校正后的完整晶圆图像，记图像为ImgGray，随意从ImgGray中选取一个晶粒样本记为ImgTemplate；利用ImgTemplate对ImgGray逐行进行模板匹配，设置模板匹配相似度阈值为0.6，记录匹配过程中相似度大于0.6的图像区域左上角坐标；
(2)提取晶粒样本图像的宽高，记为w，h；将匹配后的左上角坐标点集合按行坐标排序，列坐标跟随行坐标排序索引变化；将排序后相邻行坐标差值小于0.1w的行坐标划分为近邻行，对近邻行的列坐标进行排序，行坐标跟随列坐标排序索引变化；两次排序后，将排序后相邻列坐标差值小于0.1h的列坐标划分为近邻列，对属于近邻列的坐标点集合(Xi,Yi)提取，进行Kmeans聚类分析，聚类簇设置为1，得到聚类中心，生成最佳匹配坐标集合；
(3)以行坐标为标准，提取出相邻行坐标差值小于0.1w的坐标点集合(Xi,Yi)，应用公式(2)对提取坐标点集合中的列坐标进行差值计算；
Ei＝Yi+1-Yi(i∈{0,1,2,...,N-1}) (2)
Yj＝(Yi+1+Yi)/2 (3)
式中，Ei为相邻列坐标差值，Yi+1和Yi为前后列坐标值。
如果Ei中不存在大于1.5h的数值，即不存在漏缺匹配点，反之，存在漏缺匹配点；如果存在漏缺匹配点，首先应用公式(3)计算补缺点列坐标Yj，通过提取坐标点集合(Yi,Xi)进行3次非线性拟合，将Yj带入拟合后的公式，得到补缺行坐标Xj，将补缺坐标(Xj,Yj)并入匹配坐标点集合；遍历所有近邻行得到完整晶粒坐标点集合；
(4)根据步骤(3)得到的完整左上角坐标点集合，提取出以左上角为起点，宽高为w，h的图像，将晶粒图像存储到文件夹内；对每个晶粒图像编号，记录左上角坐标。
5.根据权利要求1所述的一种基于机器视觉的晶圆表面缺陷检测方法，其特征在于，步骤5中，所述晶粒图像聚类分析缺陷检测具体过程如下：
(1)记步骤4增强后的晶粒图像为Img，提取Img的灰度均值作为分割阈值对Img进行阈值分割，分割后的图像记为Thd；提取Thd的平均灰度作为分割阈值对Img进行阈值分割，记分割后的图像为ImgThd；对ImgThd进行中值滤波，内核尺寸为5*5；对ImgThd进行轮廓检测并根据轮廓面积进行排序，提取最大外轮廓，生成仅有外轮廓的新图像记为ImgContours；对ImgContours轮廓外区域进行灰度填充，填充值为255；
(2)基于步骤(1)生成的ImgThd和ImgContours，将ImgThd和ImgContours进行融合，并对融合后图像进行中心提取，提取尺寸为0.9w和0.9h，记提取后图像为ImgCut；对ImgCut进行轮廓检测，检测轮廓不等于1，判断该晶粒为缺陷，反之判断该晶粒为正常晶粒；将缺陷晶粒图像存储到新文件夹，并记录缺陷晶粒编号；基于步骤3记录的完整晶粒坐标信息和生成的缺陷样本信息，绘制缺陷晶圆图；
(3)基于步骤(1)生成的ImgThd和ImgContours，遍历全部图像，提取ImgContours轮廓外填充面积，生成一维数组；利用Kmeans和层次聚类对一维数组进行聚类分析，聚类簇设置为2，找出离散样本数量少的聚类簇，判断该簇内全部样本为缺陷样本，将缺陷晶粒图像存储到新文件夹，并记录缺陷晶粒编号；基于步骤3记录的完整晶粒坐标信息和生成的缺陷样本信息，绘制缺陷晶圆图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210503637.7A CN114910480B (zh) | 2022-05-09 | 2022-05-09 | 一种基于机器视觉的晶圆表面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210503637.7A CN114910480B (zh) | 2022-05-09 | 2022-05-09 | 一种基于机器视觉的晶圆表面缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114910480A true CN114910480A (zh) | 2022-08-16 |
| CN114910480B CN114910480B (zh) | 2024-07-02 |
Family
ID=82767385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210503637.7A Active CN114910480B (zh) | 2022-05-09 | 2022-05-09 | 一种基于机器视觉的晶圆表面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114910480B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115511888A (zh) * | 2022-11-22 | 2022-12-23 | 深圳市岑科实业有限公司 | 基于视觉的电感缺陷检测方法及系统 |
| CN115661148A (zh) * | 2022-12-26 | 2023-01-31 | 视睿（杭州）信息科技有限公司 | 一种晶圆晶粒排列检测方法及系统 |
| CN116359243A (zh) * | 2023-03-16 | 2023-06-30 | 深圳市德勤建工集团有限公司 | 基于计算机视觉的环保护墙板生产质量检测方法 |
| CN116542945A (zh) * | 2023-05-11 | 2023-08-04 | 哈尔滨工业大学重庆研究院 | 晶圆图像分割处理方法、电子设备及存储介质 |
| CN117007606A (zh) * | 2023-08-17 | 2023-11-07 | 泓浒(苏州)半导体科技有限公司 | 一种基于晶粒分割网络的晶圆晶粒缺陷检测方法及系统 |
| CN117269197A (zh) * | 2023-11-21 | 2023-12-22 | 昆明理工大学 | 多晶硅原料表面质量检测方法及检测装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002236907A (ja) * | 2001-02-09 | 2002-08-23 | Toshiba Corp | 欠陥検査装置及び該装置を用いた半導体デバイス製造方法 |
| CN104008550A (zh) * | 2014-06-05 | 2014-08-27 | 深圳市大族激光科技股份有限公司 | 晶圆表面缺陷特征分析方法、系统、分类方法和系统 |
| US20180196911A1 (en) * | 2016-11-29 | 2018-07-12 | Taiwan Semicondutor Manufacturing Co., Ltd. | Forecasting wafer defects using frequency domain analysis |
| US20190180975A1 (en) * | 2017-12-11 | 2019-06-13 | Applied Materials Israel Ltd. | Imaging of crystalline defects |
| CN109977808A (zh) * | 2019-03-11 | 2019-07-05 | 北京工业大学 | 一种晶圆表面缺陷模式检测与分析方法 |
| CN114092379A (zh) * | 2020-08-04 | 2022-02-25 | 新智数字科技有限公司 | 晶圆缺陷数据的聚类方法及装置 |
-
2022
- 2022-05-09 CN CN202210503637.7A patent/CN114910480B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002236907A (ja) * | 2001-02-09 | 2002-08-23 | Toshiba Corp | 欠陥検査装置及び該装置を用いた半導体デバイス製造方法 |
| CN104008550A (zh) * | 2014-06-05 | 2014-08-27 | 深圳市大族激光科技股份有限公司 | 晶圆表面缺陷特征分析方法、系统、分类方法和系统 |
| US20180196911A1 (en) * | 2016-11-29 | 2018-07-12 | Taiwan Semicondutor Manufacturing Co., Ltd. | Forecasting wafer defects using frequency domain analysis |
| US20190180975A1 (en) * | 2017-12-11 | 2019-06-13 | Applied Materials Israel Ltd. | Imaging of crystalline defects |
| CN109977808A (zh) * | 2019-03-11 | 2019-07-05 | 北京工业大学 | 一种晶圆表面缺陷模式检测与分析方法 |
| CN114092379A (zh) * | 2020-08-04 | 2022-02-25 | 新智数字科技有限公司 | 晶圆缺陷数据的聚类方法及装置 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115511888A (zh) * | 2022-11-22 | 2022-12-23 | 深圳市岑科实业有限公司 | 基于视觉的电感缺陷检测方法及系统 |
| CN115511888B (zh) * | 2022-11-22 | 2023-02-17 | 深圳市岑科实业有限公司 | 基于视觉的电感缺陷检测方法及系统 |
| CN115661148A (zh) * | 2022-12-26 | 2023-01-31 | 视睿（杭州）信息科技有限公司 | 一种晶圆晶粒排列检测方法及系统 |
| CN115661148B (zh) * | 2022-12-26 | 2023-04-11 | 视睿（杭州）信息科技有限公司 | 一种晶圆晶粒排列检测方法及系统 |
| CN116359243A (zh) * | 2023-03-16 | 2023-06-30 | 深圳市德勤建工集团有限公司 | 基于计算机视觉的环保护墙板生产质量检测方法 |
| CN116542945A (zh) * | 2023-05-11 | 2023-08-04 | 哈尔滨工业大学重庆研究院 | 晶圆图像分割处理方法、电子设备及存储介质 |
| CN116542945B (zh) * | 2023-05-11 | 2024-01-05 | 哈尔滨工业大学重庆研究院 | 晶圆图像分割处理方法、电子设备及存储介质 |
| CN117007606A (zh) * | 2023-08-17 | 2023-11-07 | 泓浒(苏州)半导体科技有限公司 | 一种基于晶粒分割网络的晶圆晶粒缺陷检测方法及系统 |
| CN117007606B (zh) * | 2023-08-17 | 2024-03-08 | 泓浒(苏州)半导体科技有限公司 | 一种基于晶粒分割网络的晶圆晶粒缺陷检测方法及系统 |
| CN117269197A (zh) * | 2023-11-21 | 2023-12-22 | 昆明理工大学 | 多晶硅原料表面质量检测方法及检测装置 |
| CN117269197B (zh) * | 2023-11-21 | 2024-02-02 | 昆明理工大学 | 多晶硅原料表面质量检测方法及检测装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114910480B (zh) | 2024-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114910480B (zh) | 一种基于机器视觉的晶圆表面缺陷检测方法 | |
| CN109977808B (zh) | 一种晶圆表面缺陷模式检测与分析方法 | |
| CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
| CN107543828B (zh) | 一种工件表面缺陷检测方法及系统 | |
| CN111292305A (zh) | 一种改进型yolo-v3的金属加工表面缺陷检测方法 | |
| CN109900711A (zh) | 基于机器视觉的工件缺陷检测方法 | |
| CN108647706B (zh) | 基于机器视觉的物品识别分类与瑕疵检测方法 | |
| CN110927171A (zh) | 一种基于机器视觉的轴承滚子倒角面缺陷检测方法 | |
| CN111667455A (zh) | 一种刷具多种缺陷的ai检测方法 | |
| CN113177924A (zh) | 一种工业流水线产品瑕疵检测方法 | |
| CN110443791B (zh) | 一种基于深度学习网络的工件检测方法及其检测装置 | |
| CN113724231A (zh) | 一种基于语义分割和目标检测融合模型的工业缺陷检测方法 | |
| CN109598681B (zh) | 一种对称唐卡修复后图像的无参考质量评价方法 | |
| CN110781913B (zh) | 一种拉链布带缺陷检测方法 | |
| CN113706490B (zh) | 一种晶片缺陷检测方法 | |
| CN111667475B (zh) | 一种基于机器视觉的大枣分级检测方法 | |
| CN113393426A (zh) | 一种轧钢板表面缺陷检测方法 | |
| CN111161237A (zh) | 一种果蔬表面质检方法及其储存介质、分拣装置 | |
| Wah et al. | Analysis on feature extraction and classification of rice kernels for Myanmar rice using image processing techniques | |
| CN117115148B (zh) | 基于5g技术的芯片表面缺陷智能识别方法 | |
| CN112991271A (zh) | 基于改进yolov3的铝型材表面缺陷视觉检测方法 | |
| CN113870202A (zh) | 一种基于深度学习技术的远端芯片缺陷检测系统 | |
| CN116012292A (zh) | 一种基于机器视觉的晶圆外观缺陷检测方法 | |
| CN116152242A (zh) | 一种篮球用天然皮革缺陷可视化检测系统 | |
| CN111707672A (zh) | 风电回转支撑件表面缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |