CN115423765A - 一种基于模板图像的晶粒缺陷量化分割方法 - Google Patents

Abstract

本发明公开了一种基于模板图像的晶粒缺陷量化分割方法，包括：利用旋转匹配算法对晶粒的原图像进行处理，得到配准之后的待测图像；利用邻域差值算法对所述模板图像和所述配准之后的待测图像进行处理，获取差值图；基于所述差值图和所述模板图像的掩码，计算所述差值图中的缺陷占比，获取晶粒缺陷量化值；根据晶粒质量卡控规则对所述晶粒缺陷量化值进行阈值判断，输出晶粒缺陷判断结果。本发明提出了结合晶粒特点的旋转匹配算法，有效解决了实际检测中晶粒存在的旋转问题，并且在保障匹配效果的前提下进行了提速优化。另外，针对少量的配准误差，提出了邻域差值的算法，提高了最终缺陷量化的准确率。

Description

一种基于模板图像的晶粒缺陷量化分割方法

技术领域

本发明涉及自动光学检测技术领域，更具体地，涉及一种基于模板图像的晶粒缺陷量化分割方法。

背景技术

在晶圆检测中，一般的检测流程是先进行晶粒的定位，然后再进行晶粒的缺陷量化分割。晶粒的种类众多，其中的缺陷更是复杂多变，每个厂商所要求的缺陷卡控规则也各不相同。如果针对每一种晶粒中的每一种缺陷都定制开发分割方法，那么工作量将会非常大，而且在实际应用中效率也会比较低下。因此，提出一种较为通用的晶粒缺陷量化分割方法是十分有必要的。

现有的晶粒缺陷分割方法主要有两大类，一种是基于参考图像的缺陷分割方法，另一种是无参考图像的缺陷分割方法。无参考图像的缺陷分割方法一般采用深度学习来训练一个神经网络，这种网络在已经训练好的缺陷类型上表现较好，但是在缺陷类型发生变化时，容易出现错误，通用性较差。而基于参考图像的缺陷分割方法的主要思路是提供一种模板图，然后将待测图进行模板匹配，最后将匹配后的图像与模板图直接相减得到最终的缺陷图。这种方法可以兼容多种缺陷，通用性较强，但是其模板匹配只考虑了平移变换，无法兼容图像存在旋转的情况，容易出现匹配误差。另外，匹配之后的图像直接相减，非常容易受到匹配误差的影响，导致缺陷的过检或者漏检。

发明内容

针对以上提到的现有技术中面临的技术问题，本发明提出了一种基于模板图像的晶粒缺陷量化分割方法，用以解决实际的晶粒缺陷检测中旋转图像的匹配问题以及由少量的配准误差而导致的缺陷比例值过大的问题。

为实现上述目的，本发明提供了一种基于模板图像的晶粒缺陷量化分割方法，包括：

利用旋转匹配算法对晶粒的原图像进行处理，得到配准之后的待测图像；

利用邻域差值算法对所述模板图像和所述配准之后的待测图像进行处理，获取差值图；

基于所述差值图和所述模板图像的掩码，计算所述差值图中的缺陷占比，获取晶粒缺陷量化值；

根据晶粒质量卡控规则对所述晶粒缺陷量化值进行阈值判断，输出晶粒缺陷判断结果。

进一步地，所述利用旋转匹配算法对晶粒的原图像进行处理，得到配准之后的待测图像具体包括：

对晶粒的原图像进行全局阈值分割后再查找最大轮廓，取最大轮廓的最小面积包围晶粒的原图像以获取晶粒的旋转角度并基于该旋转角度将晶粒的原图像进行旋转；

基于所述模板图像对旋转之后的晶粒的原图像进行匹配，获取晶粒的原图像相对于所述模板图像的平移关系数据；

将旋转之后的晶粒的原图像做基于所述平移关系数据的平移矫正以得到所述配准之后的待测图像。

进一步地，用晶粒的特征图像替代所述晶粒的原图像。

进一步地，所述晶粒的特征图像的获取方法包括：

利用不同的灰度阈值对所述晶粒的原图像进行分割，得到不同区域的分割图；

对所述不同区域的分割图进行加权，获取所述晶粒的特征图像。

进一步地，在所述利用不同的灰度阈值对所述晶粒的原图像进行分割前还包括：

将所述晶粒的原图像缩小，利用不同的灰度阈值对缩小后的晶粒的原图像进行分割。

进一步地，所述利用邻域差值算法对所述模板图像和所述配准之后的待测图像进行处理具体包括：

对所述配准之后的待测图像中的每一个像素，分别取对应的所述模板图像中当前像素附近的一个N×N模板邻域区，计算所述配准之后的待测图像的当前像素的像素值和所述模板邻域区内像素值的差值的最小值。

进一步地，N＝3。

进一步地，所述基于所述差值图和所述模板图像的掩码，计算所述差值图中的缺陷占比，获取晶粒缺陷量化值具体包括：

对所述差值图进行阈值分割，统计差异点的个数；

用统计的差异点的个数除以所述模板图像的掩码图中有效点的数量，得到晶粒的缺陷比例，获取晶粒缺陷量化值。

进一步地，所述根据晶粒质量卡控规则对所述晶粒缺陷量化值进行阈值判断，输出晶粒缺陷判断结果具体包括：

判断所述晶粒缺陷量化值大于预设的晶粒质量卡控阈值，输出晶粒存在实质缺陷的判断结果。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明提出了一种旋转匹配算法，一方面能够有效解决晶粒倾斜带来的配准问题，另一方面结合晶粒的先验知识，提升了匹配速度及实时性。

(2)本发明提出了一种基于邻域的图像差值算法，能够兼容配准的少许误差，提高了后续缺陷量化的准确性。

(3)本发明使用特征图来替代原图，提高了匹配的鲁棒性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于模板图像的晶粒缺陷量化分割方法的核心流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细地说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明的各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本申请的说明书、权利要求书或附图中的术语“包括”或“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备并没有限定于已列出的步骤或单元，而是可选地还可以包括没有列出的步骤或单元，或可选地还可以包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明提出的一种较为通用的晶粒缺陷量化分割方法是一种基于参考图(模板图像)的缺陷分割方法，一方面有效解决了旋转图像的匹配问题，另一方面对图像差值进行了优化，相较于其他的缺陷分割方法，其鲁棒性更强，并且其对各种缺陷的兼容性更强。

如图1所示，在一个实施例中，一种基于模板图像的晶粒缺陷量化分割方法主要包括如下四个步骤。

第一步：利用旋转匹配算法对晶粒的原图像进行处理，得到配准之后的待测图像。

通常的匹配算法都是只考虑了平移特点，但是实际晶粒会存在排列不齐的情况，也就是会有一定的倾斜角度。通常比较直接的做法就是限定一个角度范围，然后对范围内的角度依次进行配准，找到最终的平移和旋转。但是这种做法耗时较多，无法达到实时性的要求。因此，本实施例结合晶粒的特点，进行了如下两点优化，提出了适合晶粒的旋转匹配算法。

优化一：先计算旋转角度，再匹配，进而加速匹配过程。晶粒的外轮廓一般都是矩形的，即使有小部分缺陷，也不会影响其外轮廓的整体形状。利用这一先验知识，对晶粒的原图像进行全局阈值分割之后，查找最大轮廓，然后取最大轮廓的最小面积包围矩形，就可以计算出当前晶粒的旋转角度，然后基于该旋转角度将晶粒的原图像进行旋转。结合模板图像，对旋转之后的晶粒的原图像进行匹配，就可以得到晶粒的原图像相对于模板图像的平移关系。然后在旋转矫正之后的晶粒的原图像的基础之上再加上基于平移关系的平移矫正，就可以得到配准之后的待测图像。

优化二：使用晶粒的特征图像替代晶粒的原图像，以此来提高匹配的鲁棒性。考虑到直接使用原图像进行匹配会受到光照的影响，因此选择使用特征图像来进行匹配。提取特征时既要保留晶粒的主要信息，去掉无关的背景信息，又要兼顾实际使用时实时性的要求。正常晶粒中的同一个区域是灰度值相近的，因此可以利用不同的灰度阈值对晶粒的原图像进行分割，最终得到不同区域的分割图。然后对不同区域的分割图进行加权，最终得到晶粒的特征图像。

如果晶粒的尺寸较大，则可以对原图像进行缩小之后再进行特征提取和匹配，这样可以进一步提升匹配的速度。

第二步：利用邻域差值算法对模板图像和配准之后的待测图像进行处理，获取差值图。

在第一步中虽然已经完成了配准，但是仍可能会存在少量的偏差。如果直接对图像进行相减，那么第一步的位置偏差会导致最终的缺陷比例值过大。因此本实施例提出了邻域差值算法。遍历配准之后的待测图像中的每一个像素，对每一个像素，取模板图像中当前像素附近的一个N×N的模板邻域区，然后计算待测图像当前像素值和对应的模板邻域区内像素值差值的最小值。N值的选取需要结合第一步匹配的情况，如果匹配的效果较好，经过试验验证，N取3时就可以得到效果较好的差值图。

第三步：基于差值图和模板图像的掩码，计算差值图中的缺陷占比，获取晶粒缺陷量化值。

对第二步得到的差值图进行阈值分割，然后统计差异点的个数，再除以模板图像掩码图中有效点的数量，就可以得到当前晶粒的缺陷比例，此即为晶粒缺陷量化值。

第四步：根据晶粒质量卡控规则对晶粒缺陷量化值进行阈值判断，输出晶粒缺陷判断结果。

生产晶圆的厂商有多个，每个厂商对晶圆质量的卡控规则都是不同的，将第三步得到的缺陷比例与当前厂商要求的晶粒质量卡控阈值进行比对，如果高于该阈值，则说明该晶粒属于真正的缺陷晶粒，需要进行移除。

本发明提出的一种晶粒缺陷量化分割方法可以兼容多种缺陷，而且速度较快，可以达到工业检测的实时性要求。提出的结合晶粒特点的旋转匹配算法有效解决了实际检测中晶粒存在的旋转问题，并且在保障匹配效果的情况下进行了提速优化。另外，针对少量的配准误差提出了邻域差值的算法，从而提高了最终缺陷量化的准确率。

需要说明的是，附图中的流程图或框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。还要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别的，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本公开的范围。

尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还应该由所附权利要求的等同物来进行限定。

Claims (9)

1.一种基于模板图像的晶粒缺陷量化分割方法，其特征在于，包括：

利用旋转匹配算法对晶粒的原图像进行处理，得到配准之后的待测图像；

利用邻域差值算法对所述模板图像和所述配准之后的待测图像进行处理，获取差值图；

基于所述差值图和所述模板图像的掩码，计算所述差值图中的缺陷占比，获取晶粒缺陷量化值；

根据晶粒质量卡控规则对所述晶粒缺陷量化值进行阈值判断，输出晶粒缺陷判断结果。

2.如权利要求1所述的晶粒缺陷量化分割方法，其特征在于，所述利用旋转匹配算法对晶粒的原图像进行处理，得到配准之后的待测图像具体包括：

对晶粒的原图像进行全局阈值分割后再查找最大轮廓，取最大轮廓的最小面积包围晶粒的原图像以获取晶粒的旋转角度并基于该旋转角度将晶粒的原图像进行旋转；

基于所述模板图像对旋转之后的晶粒的原图像进行匹配，获取晶粒的原图像相对于所述模板图像的平移关系数据；

将旋转之后的晶粒的原图像做基于所述平移关系数据的平移矫正以得到所述配准之后的待测图像。

3.如权利要求1或2所述的晶粒缺陷量化分割方法，其特征在于，用晶粒的特征图像替代所述晶粒的原图像。

4.如权利要求3所述的晶粒缺陷量化分割方法，其特征在于，所述晶粒的特征图像的获取方法包括：

利用不同的灰度阈值对所述晶粒的原图像进行分割，得到不同区域的分割图；

对所述不同区域的分割图进行加权，获取所述晶粒的特征图像。

5.如权利要求4所述的晶粒缺陷量化分割方法，其特征在于，在所述利用不同的灰度阈值对所述晶粒的原图像进行分割前还包括：

将所述晶粒的原图像缩小，利用不同的灰度阈值对缩小后的晶粒的原图像进行分割。

6.如权利要求1所述的晶粒缺陷量化分割方法，其特征在于，所述利用邻域差值算法对所述模板图像和所述配准之后的待测图像进行处理具体包括：

对所述配准之后的待测图像中的每一个像素，分别取对应的所述模板图像中当前像素附近的一个N×N模板邻域区，计算所述配准之后的待测图像的当前像素的像素值和所述模板邻域区内像素值的差值的最小值。

7.如权利要求6所述的晶粒缺陷量化分割方法，其特征在于，N＝3。

8.如权利要求1所述的晶粒缺陷量化分割方法，其特征在于，所述基于所述差值图和所述模板图像的掩码，计算所述差值图中的缺陷占比，获取晶粒缺陷量化值具体包括：

对所述差值图进行阈值分割，统计差异点的个数；

用统计的差异点的个数除以所述模板图像的掩码图中有效点的数量，得到晶粒的缺陷比例，获取晶粒缺陷量化值。

9.如权利要求1所述的晶粒缺陷量化分割方法，其特征在于，所述根据晶粒质量卡控规则对所述晶粒缺陷量化值进行阈值判断，输出晶粒缺陷判断结果具体包括：

判断所述晶粒缺陷量化值大于预设的晶粒质量卡控阈值，输出晶粒存在实质缺陷的判断结果。

Images