CN113538586B - 晶粒行列定位方法、装置和系统以及计算机可读存储介质 - Google Patents
晶粒行列定位方法、装置和系统以及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113538586B CN113538586B CN202111071753.8A CN202111071753A CN113538586B CN 113538586 B CN113538586 B CN 113538586B CN 202111071753 A CN202111071753 A CN 202111071753A CN 113538586 B CN113538586 B CN 113538586B
- Authority
- CN
- China
- Prior art keywords
- row
- coordinates
- column
- obtaining
- crystal grains
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Testing Or Measuring Of Semiconductors Or The Like (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多检测图像的晶粒行列定位方法,包括:获取目标晶圆上所有晶粒在检测图像上的像素坐标;获取检测图像上晶粒的周期性信息,根据周期性信息得到相邻晶粒之间的像素坐标差值;根据像素坐标差值分别计算每个晶粒在目标晶圆中的初步行列坐标;根据初步行列坐标和对应的像素坐标得到坐标转换的透视变换矩阵;根据多张检测图像上晶粒的物理坐标对应关系得到每张检测图像的透视变换矩阵之间的矩阵对应关系,以根据矩阵对应关系得到晶粒的准确行列坐标。其可以解决现有技术定位晶粒时通过像素坐标和周期性进行简单的乘除来获取行列坐标,在图像多的时候会受到累计误差和随机误差影响的问题。
Description
技术领域
本发明涉及半导体检测技术领域,尤其涉及到一种基于多检测图像的晶粒行列定位方法、一种基于多检测图像的晶粒行列定位装置和一种基于多检测图像的晶粒行列定位系统以及一种计算机可读存储介质。
背景技术
晶圆缺陷检测是半导体生产领域中必不可少的一项工艺流程,需要检测出缺陷并输出缺陷所在位置,由于半导体领域的特点,必须需要知道该晶粒处于晶圆上的第几行第几列,而普通的自动光学检测设备输出的坐标是缺陷在该图片上的像素坐标,与行列坐标并不统一,无法直接使用。
现有技术主要通过像素坐标和周期性进行简单的乘除来获取行列坐标。该方法在图像多的时候会受到累计误差和随机误差较大的影响,尤其在晶圆检测领域中动辄上百行的地方,对于机构和光学精度有着过高的要求,难以实现。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于多检测图像的晶粒行列定位方法、一种基于多检测图像的晶粒行列定位装置和一种基于多检测图像的晶粒行列定位系统以及一种计算机可读存储介质,其可以解决现有技术定位晶粒时通过像素坐标和周期性进行简单的乘除来获取行列坐标,在图像多的时候会受到累计误差和随机误差影响的问题。
一方面,本发明实施例提供了一种基于多检测图像的晶粒行列定位方法,包括:获取目标晶圆上所有晶粒在多张所述检测图像上的像素坐标;获取所述检测图像上的所述晶粒的周期性信息,根据所述周期性信息得到相邻所述晶粒之间的所述像素坐标差值;根据所述像素坐标差值分别计算多张所述检测图像中的每个所述晶粒在所述目标晶圆上的初步行列坐标;根据所述初步行列坐标和对应的所述像素坐标得到坐标转换的透视变换矩阵;根据多张所述检测图像上晶粒的物理坐标对应关系得到每张所述检测图像的所述透视变换矩阵之间的矩阵对应关系,以根据所述矩阵对应关系得到所述晶粒的准确行列坐标。
在本发明的一个实施例中,所述获取所述检测图像上晶粒的周期性信息,具体包括:对所述检测图像上的所有晶粒的所述像素坐标进行快速傅里叶变换,得到所述晶粒的特征矩阵,所述周期性信息由所述特征矩阵表示。
在本发明的一个实施例中,所述周期性信息包括所述晶粒的行周期信息和列周期信息,所述根据所述周期性信息得到相邻所述晶粒之间的所述像素坐标的差值,具体包括:根据所述行周期信息得到同一行所述晶粒之间的所述像素坐标差值,以及根据所述列周期信息得到同一列所述晶粒之间的所述像素坐标差值。
在本发明的一个实施例中,所述根据所述行列坐标和对应所述的像素坐标得到坐标转换的透视变换矩阵,具体包括:由所述行列坐标和所述像素坐标通过投影坐标变换得到所述透视变换矩阵。
在本发明的一个实施例中,在得到所述透视变换矩阵之前,还包括:通过RANSAC方法进行校准,得到最符合所述检测图像的所述透视变换矩阵。
在本发明的一个实施例中,所述根据多张所述检测图像上晶粒的物理坐标对应关系得到每张所述检测图像的所述透视变换矩阵之间的矩阵对应关系,具体包括:获取第一检测图像上的第一晶粒的第一像素坐标,并根据所述第一检测图像的第一透视变换矩阵计算得到所述第一晶粒在所述第一检测图像上的第一行列坐标;获取第二检测图像,并根据所述第一检测图像与所述第二检测图像的所述物理坐标对应关系得到所述第一晶粒在所述第二检测图像上的预计像素坐标;根据所述预计像素坐标和所述第二检测图像的第二透视变换矩阵得到所述第一晶粒在所述第二检测图像上的预计行列坐标;对所述预计行列坐标进行取整,得到目标行列坐标,并根据所述第二透视变换矩阵将所述目标行列坐标转换为目标像素坐标;根据所述第一像素坐标和所述目标像素坐标得到所述第一透视变换矩阵和所述第二透视变换矩阵之间的所述矩阵对应关系。
另一方面,本发明实施例提出一种基于多检测图像的晶粒行列定位装置,包括:像素坐标获取模块,用于获取目标晶圆上所有晶粒在多张所述检测图像上的像素坐标;周期性信息获取模块,用于获取所述检测图像上的所述晶粒的周期性信息,根据所述周期性信息得到相邻所述晶粒之间的所述像素坐标差值;初步行列坐标计算模块,用于根据所述像素坐标差值分别计算多张所述检测图像中的每个所述晶粒在所述目标晶圆上的初步行列坐标;透视变换矩阵得到模块,用于根据所述行列坐标和对应的所述像素坐标得到坐标转换的透视变换矩阵;矩阵对应关系得到模块,用于根据多张所述检测图像上晶粒的物理坐标对应关系,得到每张所述检测图像的所述透视变换矩阵之间的矩阵对应关系,以根据所述矩阵对应关系得到所述晶粒的准确行列坐标。
在本发明的一个实施例中,所述基于多检测图像的晶粒行列定位装置还包括:矩阵校准模块,用于在得到所述透视变换矩阵之前通过RANSAC方法进行校准,得到最符合所述检测图像的所述透视变换矩阵。
再一方面,本发明实施例提出一种基于多检测图像的晶粒行列定位系统,包括:存储器和连接所述存储器的一个或多个处理器,存储器存储有计算机程序,处理器用于执行所述计算机程序以实现如上述中任意一个实施例所述的基于多检测图像的晶粒行列定位方法。
又一方面,本发明实施例提出一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于执行如上述中任意一个实施例所述的基于多检测图像的晶粒行列定位方法。
由上可知,通过本发明所构思的上述方案与现有技术相比,可以具有如下一个或多个有益效果:
(1)通过获取目标晶圆上所有晶粒在多张检测图像上的像素坐标,获取检测图像上晶粒的周期性信息,分别计算出每个晶粒在晶圆上的初步行列坐标,得到像素坐标与行列坐标转换的透视变换矩阵,并将不同检测图像的透视变换矩阵进行关联,因此能够通过不同检测图像的重叠区域进行自校准,能够得到晶粒的准确行列坐标,有效避免了累计误差对检测结果造成的干扰;
(2)抽取的检测图像上的所有晶粒的像素坐标通过快速傅里叶变换得到晶粒的特征矩阵,能够避免噪声干扰和倾斜干扰,提取的周期性信息更加准确;
(3)由行列坐标和对应的像素坐标通过坐标投影变换的方式得到所述透视变换矩阵,能够准确得到晶粒的行列坐标,有效避免了离群点和畸变造成的干扰;
(4)在检测过程中获取的了多张检测图像,分别进行检测和计算,可以在有缺失和偏差的地方仍然进行准确定位,有效避免了随机误差的影响,保证了系统健壮性,检测完毕之后对多张检测图像进行对位,仅存储很少量的信息就可以实现晶圆全局定位,节省了检测时间的同时也节省了消耗的计算机资源。
通过以下参考附图的详细说明,本发明的其他方面的特征变得明显。但是应当知道,该附图仅仅为解释的目的设计,而不是作为本发明的范围的限定。还应当知道,除非另外指出,不必要依比例绘制附图,它们仅仅力图概念地说明此处描述的结构和流程。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明实施例提供的基于多检测图像的晶粒行列定位方法的流程图;
图2为本发明实施例提供的晶粒在晶圆中的实际结构示意图;
图3为本发明实施例提供的检测图像上的晶粒分布示意图;
图4为本发明实施例提供的晶粒的行列坐标和像素坐标进行投影变换的示意图;
图5为本发明实施例提供的基于多检测图像的晶粒行列定位装置的一种结构示意图;
图6为本发明实施例提供的基于多检测图像的晶粒行列定位装置的另一种结构示意图;
图7为本发明实施例提供的基于多检测图像的晶粒行列定位系统的结构示意图;
图8为本发明实施例提供的计算机可读存储介质的结构示意图。
附图标记说明
S11至S15:基于多检测图像的晶粒行列定位方法的步骤;
20:基于多检测图像的晶粒行列定位装置;201:像素坐标获取模块;202:周期性信息获取模块;203:初步行列坐标计算模块;204:透视变换矩阵得到模块;205:矩阵对应关系得到模块;206:矩阵校准模块;
30:基于多检测图像的晶粒行列定位系统;31:处理器;32:存储器;
40:计算机可读存储介质。
具体实施方式
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以互相组合。下面将参考附图并结合实施例来说明本发明。
为了使本领域普通技术人员更好地理解本发明的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例,都应当属于本发明的保护范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等适用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应当理解这样使用的术语在适当情况下可以互换,以便这里描述的本发明实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外。术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备国有的其它步骤或单元。
还需要说明的是,本发明中多个实施例的划分仅是为了描述的方便,不应构成特别的限定,各种实施例中的特征在不矛盾的情况下可以相结合,相互引用。
【第一实施例】
如图1所示,本发明第一实施例提出一种基于多检测图像的晶粒行列定位方法,包括如下步骤:步骤S11获取目标晶圆上所有晶粒在多张所述检测图像上的像素坐标;步骤S12获取所述检测图像上的所述晶粒的周期性信息,根据所述周期性信息得到相邻所述晶粒之间的所述像素坐标差值;步骤S13根据所述像素坐标差值分别计算多张所述检测图像中的每个所述晶粒在所述目标晶圆上的初步行列坐标;步骤S14根据所述初步行列坐标和对应的所述像素坐标得到坐标转换的透视变换矩阵;步骤S15:根据多张所述检测图像上晶粒的物理坐标对应关系,得到每张所述检测图像的所述透视变换矩阵之间的矩阵对应关系,以根据所述矩阵对应关系得到所述晶粒的准确行列坐标。
在步骤S11中,对目标晶圆进行缺陷检测时,例如通过相机等设备拍摄多张检测图像,由上位机获取该多张检测图像,由于晶粒在实际的晶圆中的图像如图2所示,受到其他电路结构的干扰,因此需要对拍摄到的检测图像进行形态学处理,提取出晶粒所在的图案,便于进行后续的分析和检测。如图3所示为形态学处理后的晶粒在检测图像上的分布示意图,一张检测图像可能仅拍摄到目标晶圆上的部分晶粒,所述晶粒在该检测图像上呈周期性分布。多张检测图像都进行形态学处理后,能够获取到目标晶圆的所有晶粒在检测图像上的像素坐标。
其中,提到的上位机例如为个人计算机、手持设备、便携式设备、平板型设备、多处理器系统、基于微处理器的系统、可编辑的消费电子设备、网络PC、小型计算机、大型计算机、或者包括以上任何系统或设备的分布式计算环境等等。
在步骤S12中,例如抽取任意一张检测图像,由于晶粒在检测图像上呈周期性分布,因此能够在频域上分析晶粒的周期性信息,根据所述周期性信息得到该检测图像上相邻晶粒之间的像素坐标差值。进一步的,抽取的所述检测图像上的所有晶粒的像素坐标例如通过FFT(fast Fourier transform,快速傅里叶变换)得到晶粒的特征矩阵,所述周期性信息由该特征矩阵进行表示。当然,在本发明的其他实施方式中,也可以通过其他现有方式分析得到晶粒的周期性信息,本发明并不以此为限制。
承上所述,所述周期性信息例如包括晶粒的行周期信息和列周期信息,根据所述行周期信息能够得到同一行(像素坐标系的横坐标方向)相邻的晶粒之间的像素坐标差值,以及根据所述列周期信息能够得到同一列(像素坐标系的纵坐标方向)相邻的晶粒之间的像素坐标差值。举例而言,在该检测图像上的任意一行晶粒中,每隔100像素坐标出现一个晶粒,则得到同一行相邻晶粒之间的像素坐标差值为100;在该检测图像上的任意一行晶粒中,每隔50像素坐标出现一个晶粒,则得到同一列相邻晶粒之间的像素坐标差值为50。如此一来,在出现晶粒缺失和晶粒倾斜的情况下,仍然能够得到每个晶粒准确的像素坐标值,避免噪声干扰和倾斜干扰。
在步骤S13中,例如由上位机根据前述的像素坐标差值分别计算多张检测图像中的每个晶粒在目标晶圆上的初步行列坐标。承前所述,例如对于像素坐标为(400,500)的晶粒,则可计算出其在晶圆上的初步行列坐标为(4,10)。然而根据上述方式计算的部分晶粒的初步行列坐标不是整数,例如对于像素坐标为(200,230)的晶粒,其计算出的初步行列坐标为(2,4.6)的离群点,在实际检测中仍然会得到第2行第5列的检测结果,造成干扰。在本发明的一个实施方式中,如图4所示,例如由初步行列坐标和对应的像素坐标通过坐标投影变换的方式得到所述透视变换矩阵,即基于像素坐标得到一个行列模板,将晶粒位置对应填入模板区域。如此一来,能够准确得到晶粒的行列坐标,有效避免了离群点和畸变造成的干扰。
在步骤S14中,对于每一张检测图像而言,计算出其范围内的所有晶粒的初步行列坐标,能够得到对应的一个透视变换矩阵,表示其晶粒的像素坐标与初步行列坐标的转换关系。
可以理解的是,由于检测过程中需要拍摄多张检测图像,机构在运动过程中可能出现位置偏差,因此该初步行列坐标可能并不准确,并且在检测图像数量越多时偏差越大。
在步骤S15中,由于每张检测图像仅拍摄到目标晶圆上的部分晶粒,且各检测图像之间可能有重复的部分,因此能够对不同检测图像之间通过相同部分的晶粒的物理坐标对应关系进行对位,得到每张检测图像的透视变换矩阵之间的矩阵对应关系,根据该矩阵对应关系能够计算出每张检测图像上晶粒对应的准确行列坐标。
具体的,例如获取相邻的第一检测图像A1和第二检测图像A2,并获取这两张图的第一透视变换矩阵T1和第二透视变换矩阵T2。第一步,在A1图中任取一个第一晶粒D1,其像素坐标为(D1X,D1Y),根据第一透视变换矩阵T1可以得到D1在A1图中的行列坐标(D1C,D1R)。第二步,根据A1和A2之间的位置关系,能够得到D1在A2上的预计像素坐标(D2X,D2Y),该晶粒可能在A2中没有被拍摄到,但是仍然可以计算其在A2坐标系中的位置;这个(D2X,D2Y)只是D1在A2中的理论坐标,由于实际上机构位移是有误差的,后续步骤用于修正A2相对于A1的误差。第三步,将(D2X,D2Y)利用透视变换矩阵T2转换为晶粒在A2中的预计行列坐标(D2C,D2R)。第四步,由于转换过后会有小数点,例如进行四舍五入得到目标行列坐标,这样就得到了理论上D1在D2中预计的行列,这是一个对齐的过程;然后,根据T2能够将目标像素坐标转换为A2中的目标像素坐标(D2C’,D2R’),这个就是消去误差之后的晶粒位置。第五步,根据第一步指定的(D1X,D1Y)以及第四步得到的(D2C‘,D2R’),由于这两个坐标指向的是同一个晶粒,但分别是在A1和 A2的两个参考系中的坐标,因此能够得到A1和 A2之间的准确位置关系,并根据该位置关系得到A1的透视变换矩阵T1和A2的透视变换矩阵T2的对应关系。值得一提的是,其它检测图像的透视变换矩阵也可以按上述方法分别得到矩阵对应关系,因此根据该矩阵对应关系和任意一个晶粒在图像中的像素坐标能够计算出该晶粒的准确行列坐标。由于半导体行业内检测一片晶圆可能需要上百张图片,每张图片的位置将会随着机构的运动会有累计误差,而本发明的上述技术方案实现了每张图片根据相邻图片进行位置修正,有效消除了检测过程中的累计误差。
如此一来,通过获取目标晶圆的多张检测图像,分别提取晶粒特征得到检测图像上每个晶粒的像素坐标,抽取一张检测图像在频域上分析周期性,分别计算出每个晶粒在晶圆上的行列坐标,得到像素坐标与行列坐标转换的透视变换矩阵,并将不同检测图像的透视变换矩阵进行关联,因此能够通过不同检测图像的重叠区域进行自校准,有效避免了累计误差对检测结果造成的干扰。
值得一提的是,由于在检测过程中获取的了多张检测图像,本发明技术方案在检测完毕之后对多张检测图像进行对位,而后可以仅存储很少量的信息就可以进行目标晶圆的全局定位,节省了检测时间的同时也节省了消耗的计算机资源。
进一步的,在得到所述透视变换矩阵之前,例如通过RANSAC方法进行校准,得到最符合当前检测图像的所述透视变换矩阵。提到的RANSAC(Random Sample Consensus,随机抽样一致)方法是根据一组包含异常数据的样本数据集,计算出数据的数学模型参数,得到有效样本数据的算法。通过该RANSAC方法将无法计算出整数行列坐标的像素坐标排除,根据能够计算出整数行列作坐标的像素坐标进行运算得到一个映射关系,反复多次迭代执行之后能够得到最准确的映射关系,即晶粒的像素坐标与行列坐标的透视变换矩阵,如此一来,也能够有效避免离群点的噪声干扰。。
此外,由于检测图像数量较多,对于单个图像而言完整性和准确性难以保证,在本发明的技术方案中,通过对多张检测图像进行分开计算,可以在有缺失和偏差的地方仍然进行准确定位,有效避免了随机误差的影响,保证了系统健壮性。
综上所述,本发明实施例提出的一种基于多图像的晶粒定位方法,通过获取目标晶圆的多张检测图像,分别提取晶粒特征得到检测图像上每个晶粒的像素坐标,抽取一张检测图像在频域上分析周期性,分别计算出每个晶粒在晶圆上的初步行列坐标,得到像素坐标与行列坐标转换的透视变换矩阵,并将不同检测图像的透视变换矩阵进行关联,因此能够通过不同检测图像的重叠区域进行自校准,能够得到晶粒的准确行列坐标,有效避免了累计误差对检测结果造成的干扰;抽取的检测图像上的所有晶粒的像素坐标通过快速傅里叶变换得到晶粒的特征矩阵,能够避免噪声干扰和倾斜干扰,提取的周期性信息更加准确;由行列坐标和对应的像素坐标通过坐标投影变换的方式得到所述透视变换矩阵,能够准确得到晶粒的行列坐标,有效避免了离群点和畸变造成的干扰;在检测过程中获取的了多张检测图像,分别进行检测和计算,可以在有缺失和偏差的地方仍然进行准确定位,有效避免了随机误差的影响,保证了系统健壮性,检测完毕之后对多张检测图像进行对位,仅存储很少量的信息就可以实现晶圆全局定位,节省了检测时间的同时也节省了消耗的计算机资源。
【第二实施例】
如图5所示,本发明第二实施例提出了一种基于多检测图像的晶粒行列定位装置20,例如包括:像素坐标获取模块201、周期性信息获取模块202、初步行列坐标计算模块203、透视变换矩阵得到模块204和矩阵对应关系得到模块205。
其中,像素坐标得到模块201用于获取目标晶圆上所有晶粒在多张所述检测图像上的像素坐标。周期性信息获取模块202用于获取所述检测图像上的所述晶粒的周期性信息,根据所述周期性信息得到相邻所述晶粒之间的所述像素坐标差值。初步行列坐标计算模块203用于根据所述像素坐标差值分别计算多张所述检测图像中的每个所述晶粒在所述目标晶圆上的初步行列坐标。透视变换矩阵得到模块204用于根据所述初步行列坐标和对应的所述像素坐标得到坐标转换的透视变换矩阵。矩阵对应关系得到模块205用于根据多张所述检测图像上晶粒的物理坐标对应关系,得到每张所述检测图像的所述透视变换矩阵之间的矩阵对应关系,以根据所述矩阵对应关系得到所述晶粒的准确行列坐标。
进一步的,周期性信息获取模块202具体用于:对所述检测图像上的所有晶粒的所述像素坐标进行快速傅里叶变换,得到所述晶粒的特征矩阵,所述周期性信息由所述特征矩阵表示。
进一步的,所述周期性信息包括所述晶粒的行周期信息和列周期信息,所述周期性信息得到模块具体用于:根据所述行周期信息得到同一行相邻的所述晶粒之间的所述像素坐标差值,以及根据所述列周期信息得到同一列相邻的所述晶粒之间的所述像素坐标差值。
进一步的,透视变换矩阵得到模块204具体用于:由所述行列坐标和所述像素坐标通过投影坐标变换得到所述透视变换矩阵。
进一步的,如图6所示,基于多检测图像的晶粒行列定位装置20例如还包括:矩阵校准模块206,用于在得到所述透视变换矩阵之前通过RANSAC方法进行校准,得到最符合抽取的所述检测图像的所述透视变换矩阵。
进一步的,矩阵对应关系得到模块205具体用于:获取第一检测图像上的第一晶粒的第一像素坐标,并根据所述第一检测图像的第一透视变换矩阵计算得到所述第一晶粒在所述第一检测图像上的第一行列坐标;获取第二检测图像,并根据所述第一检测图像与所述第二检测图像的所述物理坐标对应关系得到所述第一晶粒在所述第二检测图像上的预计像素坐标;根据所述预计像素坐标和所述第二检测图像的第二透视变换矩阵得到所述第一晶粒在所述第二检测图像上的预计行列坐标;对所述预计行列坐标进行取整,得到目标行列坐标,并根据所述第二透视变换矩阵将所述目标行列坐标转换为目标像素坐标;根据所述第一像素坐标和所述目标像素坐标得到所述第一透视变换矩阵和所述第二透视变换矩阵之间的所述矩阵对应关系。
本发明第二实施例公开的基于多检测图像的晶粒行列定位装置20所实现的基于多检测图像的晶粒行列定位方法如前述第一实施例所述,故在此不再进行详细讲述。可选地,第二实施例中的各个模块和上述其他操作或功能分别为了实现第一实施例所述的方法,且本实施例的有益效果同前述第一实施例的有益效果相同,为了简洁,不在此赘述。
【第三实施例】
如图7所示,本发明第三实施例提出一种基于多检测图像的晶粒行列定位系统30,例如包括:存储器32和连接存储器32的一个或多个处理器31。存储器32存储有计算机程序,处理器31用于执行所述计算机程序以实现如第一实施例所述的基于多检测图像的晶粒行列定位方法。具体的基于多检测图像的晶粒行列定位方法可参考第一实施例所述的方法,为了简洁在此不再赘述,且本实施例提供的基于多检测图像的晶粒行列定位系统30的有益效果与第一实施例提供的基于多检测图像的晶粒行列定位方法的有益效果相同。
【第四实施例】
如图8所示,本发明第四实施例提出一种计算机可读存储介质40,计算机可读存储介质40为非易失性存储器且存储有计算机可读指令,当所述计算机可读指令被一个或多个处理器执行时,例如使得所述一个或多个处理器执行前述第一实施例所述的基于多检测图像的晶粒行列定位方法。具体方法可参考第一实施例所述的方法,为了简洁在此不再赘述,且本实施例提供的计算机可读存储介质40的有益效果同第一实施例提供的基于多检测图像的晶粒行列定位方法的有益效果相同。
此外,可以理解的是,前述各个实施例仅为本发明的示例性说明,在技术特征不冲突、结构不矛盾、不违背本发明的发明目的前提下,各个实施例的技术方案可以任意组合、搭配使用。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和/或方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元/模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多路单元或模块可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元/模块可以是或者也可以不是物理上分开的,作为单元/模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多路网络单元上。可以根据实际的需要选择其中的部分或者全部单元/模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元/模块可以集成在一个处理单元/模块中,也可以是各个单元/模块单独物理存在,也可以两个或两个以上单元/模块集成在一个单元/模块中。上述集成的单元/模块既可以采用硬件的形式实现,也可以采用硬件加软件功能单元/模块的形式实现。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于多检测图像的晶粒行列定位方法,其特征在于,包括:
获取目标晶圆上所有晶粒在多张检测图像上的像素坐标;
获取所述检测图像上的所述晶粒的周期性信息,根据所述周期性信息得到相邻所述晶粒之间的所述像素坐标差值;
根据所述像素坐标差值分别计算多张所述检测图像中的每个所述晶粒在所述目标晶圆上的初步行列坐标;
根据所述初步行列坐标和对应的所述像素坐标得到坐标转换的透视变换矩阵;
根据多张所述检测图像上晶粒的物理坐标对应关系得到每张所述检测图像的所述透视变换矩阵之间的矩阵对应关系,以根据所述矩阵对应关系得到所述晶粒的准确行列坐标。
2.根据权利要求1所述的基于多检测图像的晶粒定位方法,其特征在于,所述获取所述检测图像上晶粒的周期性信息,具体包括:
对所述检测图像上的所有晶粒的所述像素坐标进行快速傅里叶变换,得到所述晶粒的特征矩阵,所述周期性信息由所述特征矩阵表示。
3.根据权利要求2所述的基于多检测图像的晶粒定位方法,其特征在于,所述周期性信息包括所述晶粒的行周期信息和列周期信息,所述根据所述周期性信息得到相邻所述晶粒之间的所述像素坐标的差值,具体包括:
根据所述行周期信息得到同一行相邻的所述晶粒之间的所述像素坐标差值,以及根据所述列周期信息得到同一列相邻的所述晶粒之间的所述像素坐标差值。
4.根据权利要求1所述的基于多检测图像的晶粒定位方法,其特征在于,所述根据所述初步行列坐标和对应的所述像素坐标得到坐标转换的透视变换矩阵,具体包括:
由所述初步行列坐标和所述像素坐标通过投影坐标变换得到所述透视变换矩阵。
5.根据权利要求1所述的基于多检测图像的晶粒定位方法,其特征在于,在得到所述透视变换矩阵之前,还包括:通过RANSAC方法进行校准,得到最符合所述检测图像的所述透视变换矩阵。
6.根据权利要求1所述的基于多检测图像的晶粒定位方法,其特征在于,所述根据多张所述检测图像上晶粒的物理坐标对应关系得到每张所述检测图像的所述透视变换矩阵之间的矩阵对应关系,具体包括:
获取第一检测图像上的第一晶粒的第一像素坐标,并根据所述第一检测图像的第一透视变换矩阵计算得到所述第一晶粒在所述第一检测图像上的第一行列坐标;
获取第二检测图像,并根据所述第一检测图像与所述第二检测图像的所述物理坐标对应关系得到所述第一晶粒在所述第二检测图像上的预计像素坐标;
根据所述预计像素坐标和所述第二检测图像的第二透视变换矩阵得到所述第一晶粒在所述第二检测图像上的预计行列坐标;
对所述预计行列坐标进行取整,得到目标行列坐标,并根据所述第二透视变换矩阵将所述目标行列坐标转换为目标像素坐标;
根据所述第一像素坐标和所述目标像素坐标得到所述第一透视变换矩阵和所述第二透视变换矩阵之间的所述矩阵对应关系。
7.一种基于多检测图像的晶粒行列定位装置,其特征在于,包括:
像素坐标获取模块,用于获取目标晶圆上所有晶粒在多张所述检测图像上的像素坐标;
周期性信息获取模块,用于获取所述检测图像上的所述晶粒的周期性信息,根据所述周期性信息得到相邻所述晶粒之间的所述像素坐标差值;
初步行列坐标计算模块,用于根据所述像素坐标差值分别计算多张所述检测图像中的每个所述晶粒在所述目标晶圆上的初步行列坐标;
透视变换矩阵得到模块,用于根据所述行列坐标和对应的所述像素坐标得到坐标转换的透视变换矩阵;
矩阵对应关系得到模块,用于根据多张所述检测图像上晶粒的物理坐标对应关系,得到每张所述检测图像的所述透视变换矩阵之间的矩阵对应关系,以根据所述矩阵对应关系得到所述晶粒的准确行列坐标。
8.根据权利要求7所述的基于多检测图像的晶粒行列定位装置,其特征在于,还包括:矩阵校准模块,用于在得到所述透视变换矩阵之前通过RANSAC方法进行校准,得到最符合所述检测图像的所述透视变换矩阵。
9.一种基于多检测图像的晶粒行列定位系统,其特征在于,包括:存储器和连接所述存储器的一个或多个处理器,存储器存储有计算机程序,处理器用于执行所述计算机程序以实现如权利要求1至6中任意一项所述的基于多检测图像的晶粒行列定位方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于执行如权利要求1至6中任意一项所述的基于多检测图像的晶粒行列定位方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111071753.8A CN113538586B (zh) | 2021-09-14 | 2021-09-14 | 晶粒行列定位方法、装置和系统以及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111071753.8A CN113538586B (zh) | 2021-09-14 | 2021-09-14 | 晶粒行列定位方法、装置和系统以及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113538586A CN113538586A (zh) | 2021-10-22 |
CN113538586B true CN113538586B (zh) | 2021-11-23 |
Family
ID=78092481
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111071753.8A Active CN113538586B (zh) | 2021-09-14 | 2021-09-14 | 晶粒行列定位方法、装置和系统以及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113538586B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115358998B (zh) * | 2022-08-22 | 2023-06-16 | 法博思(宁波)半导体设备有限公司 | 一种随机阵列图片中点坐标的获取方法及系统 |
CN117058005B (zh) * | 2023-10-13 | 2024-01-16 | 珠海埃克斯智能科技有限公司 | 晶圆的晶粒图像重构方法、装置、电子设备及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10242041A (ja) * | 1997-02-26 | 1998-09-11 | Nikon Corp | 位置検出方法及びその装置並びに露光装置 |
CN101459095A (zh) * | 2007-12-13 | 2009-06-17 | 中芯国际集成电路制造(上海)有限公司 | 晶圆在线检测方法及在线检测装置 |
CN103219269A (zh) * | 2012-01-19 | 2013-07-24 | 中国科学院沈阳自动化研究所 | 基于机器视觉的晶圆预定位装置及方法 |
CN105719993A (zh) * | 2016-03-01 | 2016-06-29 | 上海华力微电子有限公司 | 一种校正电子显微镜电子束与晶圆位置偏差的方法 |
CN111665261A (zh) * | 2020-06-04 | 2020-09-15 | 安徽安视智能科技有限公司 | 一种基于机器视觉的芯片晶粒检测方法 |
TW202043758A (zh) * | 2019-02-14 | 2020-12-01 | 美商科磊股份有限公司 | 拓樸半導體裝置晶圓之製造中量測錯位的方法 |
CN112038254A (zh) * | 2019-05-15 | 2020-12-04 | 天津科技大学 | 基于机器视觉技术的晶圆自动检测与标记装置及设计方法 |
CN112102226A (zh) * | 2019-05-29 | 2020-12-18 | 三星Sds 株式会社 | 数据处理方法、图案检测方法及晶圆缺陷图案检测方法 |
CN112133661A (zh) * | 2020-09-18 | 2020-12-25 | 北京北方华创微电子装备有限公司 | 晶圆位置校正装置及半导体工艺设备 |
CN112490150A (zh) * | 2020-11-17 | 2021-03-12 | 北京北方华创微电子装备有限公司 | 一种检测晶圆放置状态的方法、半导体工艺设备 |
CN113096118A (zh) * | 2021-04-30 | 2021-07-09 | 上海众壹云计算科技有限公司 | 晶圆表面粗糙度测量的方法、系统、电子设备和存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10330608B2 (en) * | 2012-05-11 | 2019-06-25 | Kla-Tencor Corporation | Systems and methods for wafer surface feature detection, classification and quantification with wafer geometry metrology tools |
-
2021
- 2021-09-14 CN CN202111071753.8A patent/CN113538586B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10242041A (ja) * | 1997-02-26 | 1998-09-11 | Nikon Corp | 位置検出方法及びその装置並びに露光装置 |
CN101459095A (zh) * | 2007-12-13 | 2009-06-17 | 中芯国际集成电路制造(上海)有限公司 | 晶圆在线检测方法及在线检测装置 |
CN103219269A (zh) * | 2012-01-19 | 2013-07-24 | 中国科学院沈阳自动化研究所 | 基于机器视觉的晶圆预定位装置及方法 |
CN105719993A (zh) * | 2016-03-01 | 2016-06-29 | 上海华力微电子有限公司 | 一种校正电子显微镜电子束与晶圆位置偏差的方法 |
TW202043758A (zh) * | 2019-02-14 | 2020-12-01 | 美商科磊股份有限公司 | 拓樸半導體裝置晶圓之製造中量測錯位的方法 |
CN112038254A (zh) * | 2019-05-15 | 2020-12-04 | 天津科技大学 | 基于机器视觉技术的晶圆自动检测与标记装置及设计方法 |
CN112102226A (zh) * | 2019-05-29 | 2020-12-18 | 三星Sds 株式会社 | 数据处理方法、图案检测方法及晶圆缺陷图案检测方法 |
CN111665261A (zh) * | 2020-06-04 | 2020-09-15 | 安徽安视智能科技有限公司 | 一种基于机器视觉的芯片晶粒检测方法 |
CN112133661A (zh) * | 2020-09-18 | 2020-12-25 | 北京北方华创微电子装备有限公司 | 晶圆位置校正装置及半导体工艺设备 |
CN112490150A (zh) * | 2020-11-17 | 2021-03-12 | 北京北方华创微电子装备有限公司 | 一种检测晶圆放置状态的方法、半导体工艺设备 |
CN113096118A (zh) * | 2021-04-30 | 2021-07-09 | 上海众壹云计算科技有限公司 | 晶圆表面粗糙度测量的方法、系统、电子设备和存储介质 |
Non-Patent Citations (3)
Title |
---|
Wafer Image Registration Based on Hough Transform;Fei Tao et al;《Applied Mechanics and Materials》;20130731;全文 * |
基于图像的晶粒定位技术研究;李洪宇等;《半导体光电》;20111231;第32卷(第02期);全文 * |
基于频域互相关的LED晶粒阵列快速视觉检测;李鹤喜等;《计量学报》;20181231;第39卷(第04期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113538586A (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113538586B (zh) | 晶粒行列定位方法、装置和系统以及计算机可读存储介质 | |
CN102831381B (zh) | 影像差异比较系统及方法 | |
CN113570604B (zh) | 晶粒检测样本自动生成方法和装置 | |
CN114862929A (zh) | 三维目标检测方法、装置、计算机可读存储介质及机器人 | |
WO2019001164A1 (zh) | 滤光片同心度测量方法及终端设备 | |
CN112347292A (zh) | 缺陷标注方法和装置 | |
CN112486093A (zh) | 平台精度的补偿方法、装置、设备和介质 | |
US20100021044A1 (en) | Image Capture and Calibratiion | |
CN115546016B (zh) | Pcb的2d和3d图像的采集和处理方法及相关装置 | |
KR20140113449A (ko) | 묘화 데이터 생성 방법, 묘화 방법, 묘화 데이터 생성 장치, 및 묘화 장치 | |
CN111445513A (zh) | 基于深度图像的植株冠层体积获取方法、装置、计算机设备和存储介质 | |
CN113012137B (zh) | 一种面板缺陷检查方法、系统、终端设备及存储介质 | |
CN112894154B (zh) | 激光打标方法及装置 | |
CN112417951B (zh) | 指纹图像校准方法、装置、电子设备及存储介质 | |
CN111445431B (zh) | 一种图像分割方法、终端设备及计算机可读存储介质 | |
CN115235625A (zh) | 一种光谱共焦回波位置标定方法、装置、介质及计算机设备 | |
CN115841489B (zh) | 智能点检方法及平台 | |
CN117115233B (zh) | 一种基于机器视觉的尺寸测量方法、装置及电子设备 | |
KR20200044252A (ko) | 표시 패널 검사 시스템, 표시 패널 검사 방법 및 이를 이용한 표시 패널. | |
CN117031443B (zh) | 点云数据构建方法、系统及电子设备 | |
CN112884681B (zh) | 图像阴影处理方法、装置、计算机设备和存储介质 | |
CN114241048B (zh) | 特征尺寸一致性分析方法及装置、计算机可读存储介质 | |
US20240020821A1 (en) | Defect inspection device, defect inspection method, and defect inspection computer program product | |
CN116866699A (zh) | 一种摄像头模组对中方法、装置及存储介质 | |
CN111950659A (zh) | 双层车牌图像处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |