CN109615626A - 一种芯片表面印刷符号结构缺陷的质量评估方法 - Google Patents

Abstract

本发明公开了一种面向芯片表面符号的结构缺陷的评估方法，其步骤包括：1、采集芯片表面印刷的符号图像作为参考符号图像或评估符号图像，并进行预处理；2、符号图像的特征提取与参考图像和待评估图像的特征配对；3、基于上一步的配对结果，使用薄板样条插值函数将待评估符号和模板符号进行结构对齐；4、再次提取待评估符号图像特征，结合参考符号图像特征，计算缺陷的大小、位置等特征，并定义出定义符合人实际感观的评估策略。本发明能应用于芯片生产的质量检测中，通过使用Shape Context、TPS等算法以及提取和分析符号图像的缺陷特征，从而得到针对芯片表面印刷符号结构质量的连续、直观的评估。

Description

一种芯片表面印刷符号结构缺陷的质量评估方法

技术领域

本发明涉及图像质量评估领域，具体涉及一种芯片表面印刷符号结构缺陷的质量评估方法。

背景技术

芯片表面符号表明了产品的规格型号、生产厂家等信息，是用户用于区分外观类似而功能不同芯片的重要依据，因此清晰的符号是高质量芯片的一部分。因为基于机器视觉的自动检测方法具有“成本低、效率高”等优点，目前已经在芯片企业广泛采用，自动检测的核心是基于图像的表面符号质量评估。芯片表面符号属于工业印刷符号，近年很多学者对工业印刷符号的质量评估和识别开展了研究。基于符号识别的质量评估方法首先对待评估符号进行识别，如果识别成功则认为质量好，否则认为质量差。因此以深度学习为代表的识别方法近年来快速发展，所以基于符号识别的质量评估方法也蓬勃发展。但这类方法存在两个问题：一是现在识别算法比较强大，计算机能够识别的符号不一定意味着人能看清楚；另一方面，这类方法只能给出识别率是否好的结果，难以实现对符号质量的不同程度的控制。

为提高质量符号图像的识别效果，人们对可感知图像的质量评估进行了大量研究，但仍缺少较好的通用解决方案，据了解，在芯片表面字符评估领域，基于参考图像进行逐点对比的评估方法仍被大量采用，主要原因有二：(1)对于某个批次的芯片，其表面字符的参考图像容易制作；(2)这种质量评估方法是实现方便、比较鲁棒。但在实践中发现两个问题：

1)印刷符号的少量形变虽然不影响其可读性，但逐点对比评估方法会给出很差的评分，导致误判；

2)对人而言，印刷符号中“断裂、冗余”等结构缺陷会整体影响符号的可读性，但逐点对比的评估方法无法考虑整体性。

发明内容

本发明为克服上述现有技术的不足之处，提出了一种芯片表面印刷符号结构缺陷的质量评估方法，以期通过提取和分析符号图像的缺陷特征，从而得到针对芯片表面印刷符号结构质量的连续、直观的评估。

为实现上述目的，本发明采用以下技术方案：

本发明一种芯片表面印刷符号结构缺陷的质量评估方法的特点在于包括如下步骤：

S1、采集数据并预处理

S1.1、获取流水线上芯片的表面图像，并对每个表面图像中各个符号进行分割和裁剪处理，得到U种裁剪后的符号图像；设置所有符号图像的大小为W×H，W为符号图像的宽度，H为符号图像的长度；

S1.2、对于第u种符号图像，选取一张没有质量缺陷的符号图像作为参考图像，记为Ref_u，其余符号图像为待评估图像，并记第u种符号图像的任意第r张待评估图像为

S1.3、采用canny边界检测算法提取参考图像Ref_u和第r张待评估图像的轮廓信息，并使用Jitendra Malik均匀采样算法对所提取的轮廓信息分别采样出n个关键点，得到参考图像Ref_u的n个关键点坐标集合和第r张待评估图像的n个关键点坐标集合其中，表示参考图像Ref_u的第i个关键点坐标，表示第r张待评估图像Img_u的第i个关键点坐标，i＝1,2,…,n；

S2、符号图像的特征提取与参考图像和待评估图像的特征配对

S2.1、利用Shape Context特征提取算法分别计算参考图像Ref_u和第r张待评估图像中所有关键点的形状特征，从而得到参考图像Ref_u和第r张待评估图像中每个关键点的形状特征直方图；

S2.2、基于参考图像Ref_u和第r张待评估图像中所有关键点的形状特征直方图，计算参考图像Ref_u中每个关键点与第r张待评估图中每个关键点的差异性，从而得到第u种符号图像所对应的第r个代价矩阵其中，为第u种符号图像所对应的第r个代价矩阵中第i行第j列的元素，表示参考图像Ref_u中第i个关键点和第r张待评估图像中第j个关键点的差异值；

S2.3、根据所述第u种符号图像所对应的第r个代价矩阵利用LAPJV组合优化算法对所述参考图像Ref_u中第i个关键点和第r张待评估图中n个关键点进行配对，得到第i个关键点与第k关键点的配对结果从而得到n个关键点之间的匹配结果集合

对所述配对结果集合进行筛选，若则保留相应的配对结果否则，删除相应的配对结果从而得到筛选后的配对结果集合，记为ε表示超参数；

S3、待评估图像与参考图像中符号结构的对齐

S3.1、将所述筛选后的配对结果集合中所有配对结果所对应的关键点作为TPS薄本样条插值函数的关键控制点，从而得到TPS插值函数Φ(x)，其中x为第r张待评估图像的n个关键点坐标集合中的关键点坐标；

利用所述TPS插值函数Φ(x)对第r张待评估图像的n个关键点坐标集合中的关键点坐标进行变换，得到第r张待评估图像变换后的n个坐标关键点集合其中，表示第r张待评估图像Img_u变换后的第i个关键点坐标；

S3.2、利用式(1)得到第r张待评估图像的形变量

S3.3、判断是否成立，若成立，则表示第r张待评估图像有质量缺陷；否则执行步骤S4；α为所设定的阈值；

S4、评估符号图像的质量

S4.1、利用Shape Context特征提取算法，计算第r张待评估图像变换后的n个坐标关键点集合的形状特征，从而得到变换后的n个坐标关键点集合中每个关键点的形状特征直方图；

S4.2、基于参考图像Ref_u和第r张待评估图像变换后的n个坐标关键点集合中所有关的形状特征直方图，计算参考图像Ref_u中每个关键点与第r张待评估图像变换后的n个坐标关键点集合中每个关键点的差异性，从而得到第u种符号图像所对应的变换后的第r个代价矩阵 表示参考图像Ref_u中第i个关键点和第r张待评估图像变换后的n个坐标关键点集合中第j个关键点的差异值；

S4.3、根据所述第u种符号图像所对应的变换后的第r个代价矩阵利用LAPJV组合优化算法对所述参考图像Ref_u中第i个关键点和第r张待评估图变换后的n个坐标关键点集合中n个关键点进行配对，得到第i个关键点与变换后的第e关键点的配对结果

S4.4、对所述配对结果集合进行筛选，若则表示参考图像Ref_u中第i个关键点和第r张待评估图变换后的第e关键点均为缺陷点；否则，表示参考图像Ref_u中第i个关键点和第r张待评估图变换后的第e关键点为匹配点；并将所有缺陷点组成参考图像Ref_u和第r张待评估图变换后的缺陷点集合，记为 表示第m个缺陷点，m＝1,2,…,M；

S4.5、根据各个缺陷点所对应的坐标对所述缺陷点集合进行谱聚类，得到缺陷簇集合其中，表示第g个缺陷簇，并有 表示第g个缺陷簇中第t个缺陷点，g＝1,2,…,G；t＝1,2,…,T；

S4.6、利用Jarvis步进法提取第g个缺陷簇的凸包并得到第g个缺陷簇的凸包面积

S4.7、利用Shi-Tomasi角点检测算法计算参考图像Ref_u的角点，得到关键位置点集合其中，表示第q个角点所对应的关键位置点，q＝1,2,…,Q；

S4.8、利用式(2)得到第r张待评估图像相对于参考图像Ref_u的质量评估值

式(2)中，表示根据缺陷簇和关键位置点所给出的权重系数，并有：

式(3)中，表示第g个缺陷簇与关键位置点集合KP_u中最近关键位置点之间的欧式距离，并有：δ为给定的距离阈值，且

与已有技术相比，本发明的有益效果体现在：

1、在相同符号类型的前提下，本发明只需要挑选一张参考图像，大大减轻了人为挑选参考符号的复杂性。

2、对于具有形变的待评估符号图像，本发明通过引入形变量、TPS薄本样条插值算法等算法，用户根据自己的需求决定待评估符号形变的容忍度，去除形变量过大的待评估符号图像。对于形变量在合理范围内的待评估符号图像，使用TPS算法对其进行矫正，使本发明具有较的强鲁棒性，从而增强了该发明对评估符号图像的评估范围。

3、本发明可以扩展到大部分图像的符号质量评估，相对于通过分辨率、噪声、颜色、亮度等特征进行图像符号质量评估的传统方法，本发明着重于图像符号的结构质量评估，从而使得质量评估结果不再局限于只关注于图像的本身质量因素，而是着重于图像本身内容的质量因素。

4、本发明通过提取和分析符号结构缺陷的特征，定义出合理的评估公式，在具有通用性和评估结果连续性的同时，更加符合人实际感观的评估结果。

附图说明

图1为发明方法流程图；

图2为本发明符号关键点提取过程图；

图3为本发明TPS变换对比图；

图4为本发明符号缺陷检测图。

具体实施方式

本实施例中，一种针对图像质量的直观评价方法是基于符号图像具有自身的结构特征为特点而提出，相对于其他质量评价方法，本方法着重强调利用符号本身的结构特性，基于这一特性，将参考符号图像与评估符号图像进行相应的比较，从而得到评估符号图的直观质量评估。如图1所示，具体的说，一种芯片表面印刷符号结构缺陷的质量评估方法的步骤如下：

S1、采集数据并预处理，其有益效果是：a、由于只需要挑选一张参考图像，大大减轻了人为挑选参考符号的复杂性；b、通过使用Jitendra Malik均匀采样算法，减少了采样点的数量，从而在降低了系统的计算量同时，提高了TPS算法计算结果的光滑性。

S1.1、获取流水线上芯片的表面图像，并对每个表面图像中各个符号进行分割和裁剪处理，得到U种裁剪后的符号图像；设置所有符号图像的大小为W×H，W为符号图像的宽度，H为符号图像的长度；为了符号图像在后续步骤种规范化处理，本实施例中，设置所有符号图像的宽度为50px，长度为50px；

S1.2、对于第u种符号图像，选取一张没有质量缺陷的符号图像作为参考图像，记为Ref_u，其余符号图像为待评估图像，并记第u种符号图像的任意第r张待评估图像为

S1.3、因为芯片表面符号多为单色图案，所以可以使用符号的轮廓刻画其结构，符号结构对齐问题可看作为符号的轮廓对齐问题。本发明采用canny边界检测算法提取参考图像Ref_u和第r张待评估图像的轮廓信息，并使用Jitendra Malik均匀采样算法对所提取的轮廓信息分别采样出n＝100个关键点，得到参考图像Ref_u的n个关键点坐标集合和第r张待评估图像的n个关键点坐标集合其中，表示参考图像Ref_u的第i个关键点坐标，表示第r张待评估图像Img_u的第i个关键点坐标，i＝1,2,…,n；。对轮廓进行采样是基于两点原因：a、减少采样点的数量，降低系统的计算量；b、减少TPS插值函数约束，提高TPS插值函数的光滑性；其中，关键点提取过程如图2所示；

S2、符号图像的特征提取与参考图像和待评估图像的特征配对，其有益效果是：a、通过对符号图像使用Shape Cotext特征提取算法进行特征提取，有利于得到符号图像关键点的形状特征；b、通过利用代价矩阵和LAPJV组合优化算法将参考符号图像的特征和待评估符号图像的特征进行配对，从而得到求出TPS薄本样条插值函数所需要的关键控制点，并且通过匹配对的特征差异可以获取缺陷关键点，有利于计算出评估符号图像的缺陷信息。

S2.1、关键点配对的核心是找出相似的关键点对，因此准确刻画关键点的特征是实现关键点配对的重要基础。利用Shape Context特征提取算法分别计算参考图像Ref_u和第r张待评估图像中所有关键点的形状特征，从而得到参考图像Ref_u和第r张待评估图像中每个关键点的形状特征直方图；

S2.2、基于参考图像Ref_u和第r张待评估图像中所有关键点的形状特征直方图，计算参考图像Ref_u中每个关键点与第r张待评估图中每个关键点的差异性，从而得到第u种符号图像所对应的第r个代价矩阵其中，为第u种符号图像所对应的第r个代价矩阵中第i行第j列的元素，表示参考图像Ref_u中第i个关键点和第r张待评估图像中第j个关键点的差异值；

S2.3、根据第u种符号图像所对应的第r个代价矩阵利用LAPJV组合优化算法对参考图像Ref_u中第i个关键点和第r张待评估图中n个关键点进行配对，得到第i个关键点与第k关键点的配对结果从而得到n个关键点之间的匹配结果集合

虽然LAPJV算法为所有关键点进行了配对，但有些被配对的两个关键点并不相似，对这类配对结果需要加以剔除：一方面是为了保证后续的TPS插值结果更合理，另一方面这些未配对关键点是本专利进行结构缺陷检测的重要依据。对配对结果集合进行筛选，若则保留相应的配对结果否则，删除相应的配对结果从而得到筛选后的配对结果集合，记为ε表示超参数，本实施例中，将其设置为ε＝5；

S3、待评估图像与参考图像中符号结构的对齐，其有益效果是：本发明通过引入形变量、TPS等算法，用户根据自己的需求决定待评估符号形变的容忍度，去除形变量值大于α的待评估符号图像，有利于无效符号图像的尽早剔除。对于形变量在合理范围内的待评估符号图像，使用TPS薄本样条插值函数对其进行矫正，使本发明具有较的强鲁棒性，从而增强了该发明对评估符号图像的评估范围。其中缺陷点并不会成为TPS薄本样条插值函数的关键控制点，因此经过变形后也能较好地保留，有利于后面步骤进行缺陷检测。

S3.1、虽然芯片表面符号的少量形变不影响可读性，但会导致“逐点对比”评估算法的结果较差，所以先将待评估符号图像和参考符号图像进行结构对齐，然后再进行质量评估，有益于消除少量形变所带来的影响，本方法采TPS插值函数消除待评估符号少量形变的影响，其中由于缺陷点不会成为TPS插值函数的关键控制点，因此经过变形后也能较好地保留。将筛选后的配对结果集合中所有配对结果所对应的关键点作为TPS薄本样条插值函数的关键控制点，从而得到TPS插值函数Φ(x)，理论已经证明TPS插值函数Φ(x)能够满足薄板弯曲能量最小的物理意义，其中x为第r张待评估图像的n个关键点坐标集合中的关键点坐标；

利用TPS插值函数Φ(x)对第r张待评估图像的n个关键点坐标集合中的关键点坐标进行变换，得到第r张待评估图像变换后的n个坐标关键点集合其中，表示第r张待评估图像Img_u变换后的第i个关键点坐标；

S3.2、由于TPS插值函数的原理可知，即使待评估符号和参考字符之间存在很大形变，也有可能进行很好的结构对齐，这显然不符合实际要求。因此，本专利对待评估符号的形变量进行评估，对于形变量过大的符号不再进行结构对齐，将其作为有质量缺陷符号进行剔除。利用式(1)得到第r张待评估图像的形变量

接着利用式(1)可以计算图3中的形变量，其中图3a为参考图像，图3b、3c、3d中上图为原始图像，下图为经过TPS插值函数变换后的图像，最终得到形变量值如表一所示：

表1图中TPS变换的形变量值

S3.3、设置阈值α＝4；判断是否成立，若成立，则表示第r张待评估图像有质量缺陷；否则执行步骤S4；

S4、评估符号图像的质量，其有益效果是：a、定义了缺陷簇等相关概念，有利于区分不同种类的缺陷，并且为后续计算提供方便；b、计算出缺陷的大小、位置、面积等特征，有利于获得更直观的缺陷数据以及有利于判断不同缺陷的权重系数；c、通过定义质量评估公式，使得质量评估结果在符合人实际感观的评估结果同时，也具有通用性和评估结果连续性。

芯片表面符号是单色图案、结构性强，因此结构缺陷(如结构缺失、结构冗余)是影响符号可读性的主要原因。生产实践中观察得知，缺陷的大小不同、位置不同对符号可读性的影响也不同。因此本专利通过检测缺陷、计算缺陷尺度、结合缺陷所在位置(是否在关键位置附近)进行综合评估，以期获得更直观的评估结果。

S4.1、利用Shape Context特征提取算法，计算第r张待评估图像变换后的n个坐标关键点集合的形状特征，从而得到变换后的n个坐标关键点集合中每个关键点的形状特征直方图；

S4.2、基于参考图像Ref_u和第r张待评估图像变换后的n个坐标关键点集合中所有关的形状特征直方图，计算参考图像Ref_u中每个关键点与第r张待评估图像变换后的n个坐标关键点集合中每个关键点的差异性，从而得到第u种符号图像所对应的变换后的第r个代价矩阵 表示参考图像Ref_u中第i个关键点和第r张待评估图像变换后的n个坐标关键点集合中第j个关键点的差异值；

S4.3、根据第u种符号图像所对应的变换后的第r个代价矩阵利用LAPJV组合优化算法对参考图像Ref_u中第i个关键点和第r张待评估图变换后的n个坐标关键点集合中n个关键点进行配对，得到第i个关键点与变换后的第e关键点的配对结果

S4.4、对配对结果集合进行筛选，设置阈值β＝10，若则表示参考图像Ref_u中第i个关键点和第r张待评估图变换后的第e关键点均为缺陷点；否则，表示参考图像Ref_u中第i个关键点和第r张待评估图变换后的第e关键点为匹配点；并将所有缺陷点组成参考图像Ref_u和第r张待评估图变换后的缺陷点集合，记为 表示第m个缺陷点，m＝1,2,…,M；

S4.5、因为缺陷所在位置会集中出现多个未匹配点，根据各个缺陷点所对应的坐标对缺陷点集合进行谱聚类，得到缺陷簇集合其中，表示第g个缺陷簇，并有 表示第g个缺陷簇中第t个缺陷点，g＝1,2,…,G；t＝1,2,…,T；

S4.6、利用Jarvis步进法提取第g个缺陷簇的凸包并得到第g个缺陷簇的凸包面积

S4.7、同样的缺陷在某些位置对符号的可读性影响更大，因此在评估中需要知道哪些位置出现缺陷会有更大的影响，本方法称这种位置为关键位置点。因为关键位置通常在符号的拐点、断口处，所以本专利采用Shi-Tomasi角点检测算法计算参考图像Ref_u的角点，得到关键位置点集合其中，表示第q个角点所对应的关键位置点，q＝1,2,…,Q；

S4.8、利用式(2)得到第r张待评估图像相对于参考图像Ref_u的质量评估值

式(2)中，越大表明符号图像中结构缺陷越少，即质量越好，表示根据缺陷簇和关键位置点所给出的权重系数，并有：

式(3)中，表示第g个缺陷簇与关键位置点集合KP_u中最近关键位置点之间的欧式距离，并有：δ为给定的距离阈值，且

表2图4的质量评估结果

根据上述公式，对图4的具体评估数据如表2所示，图4a图为参考符号图像，参考图中“+”号点表示关键位置点，图4b表示待评估符号图像和图4c表示检测结果图，其中，检测结果图中标记“x”为缺陷点。

Claims (1)

1.一种芯片表面印刷符号结构缺陷的质量评估方法，其特征在于包括如下步骤：

S1、采集数据并预处理

S1.1、获取流水线上芯片的表面图像，并对每个表面图像中各个符号进行分割和裁剪处理，得到U种裁剪后的符号图像；设置所有符号图像的大小为W×H，W为符号图像的宽度，H为符号图像的长度；

S1.2、对于第u种符号图像，选取一张没有质量缺陷的符号图像作为参考图像，记为Ref_u，其余符号图像为待评估图像，并记第u种符号图像的任意第r张待评估图像为

S1.3、采用canny边界检测算法提取参考图像Ref_u和第r张待评估图像的轮廓信息，并使用Jitendra Malik均匀采样算法对所提取的轮廓信息分别采样出n个关键点，得到参考图像Ref_u的n个关键点坐标集合和第r张待评估图像的n个关键点坐标集合其中，表示参考图像Ref_u的第i个关键点坐标，表示第r张待评估图像Img_u的第i个关键点坐标，i＝1,2,…,n；

S2、符号图像的特征提取与参考图像和待评估图像的特征配对

S2.1、利用Shape Context特征提取算法分别计算参考图像Ref_u和第r张待评估图像中所有关键点的形状特征，从而得到参考图像Ref_u和第r张待评估图像中每个关键点的形状特征直方图；

S2.2、基于参考图像Ref_u和第r张待评估图像中所有关键点的形状特征直方图，计算参考图像Ref_u中每个关键点与第r张待评估图中每个关键点的差异性，从而得到第u种符号图像所对应的第r个代价矩阵其中，为第u种符号图像所对应的第r个代价矩阵中第i行第j列的元素，表示参考图像Ref_u中第i个关键点和第r张待评估图像中第j个关键点的差异值；

S2.3、根据所述第u种符号图像所对应的第r个代价矩阵利用LAPJV组合优化算法对所述参考图像Ref_u中第i个关键点和第r张待评估图中n个关键点进行配对，得到第i个关键点与第k关键点的配对结果从而得到n个关键点之间的匹配结果集合

对所述配对结果集合进行筛选，若则保留相应的配对结果否则，删除相应的配对结果从而得到筛选后的配对结果集合，记为ε表示超参数；

S3、待评估图像与参考图像中符号结构的对齐

S3.1、将所述筛选后的配对结果集合中所有配对结果所对应的关键点作为TPS薄本样条插值函数的关键控制点，从而得到TPS插值函数Φ(x)，其中x为第r张待评估图像的n个关键点坐标集合中的关键点坐标；

利用所述TPS插值函数Φ(x)对第r张待评估图像的n个关键点坐标集合中的关键点坐标进行变换，得到第r张待评估图像变换后的n个坐标关键点集合其中，表示第r张待评估图像Img_u变换后的第i个关键点坐标；

S3.2、利用式(1)得到第r张待评估图像的形变量

S3.3、判断是否成立，若成立，则表示第r张待评估图像有质量缺陷；否则执行步骤S4；α为所设定的阈值；

S4、评估符号图像的质量

S4.1、利用Shape Context特征提取算法，计算第r张待评估图像变换后的n个坐标关键点集合的形状特征，从而得到变换后的n个坐标关键点集合中每个关键点的形状特征直方图；

S4.2、基于参考图像Ref_u和第r张待评估图像变换后的n个坐标关键点集合中所有关的形状特征直方图，计算参考图像Ref_u中每个关键点与第r张待评估图像变换后的n个坐标关键点集合中每个关键点的差异性，从而得到第u种符号图像所对应的变换后的第r个代价矩阵 表示参考图像Ref_u中第i个关键点和第r张待评估图像变换后的n个坐标关键点集合中第j个关键点的差异值；

S4.3、根据所述第u种符号图像所对应的变换后的第r个代价矩阵利用LAPJV组合优化算法对所述参考图像Ref_u中第i个关键点和第r张待评估图变换后的n个坐标关键点集合中n个关键点进行配对，得到第i个关键点与变换后的第e关键点的配对结果

S4.4、对所述配对结果集合进行筛选，若则表示参考图像Ref_u中第i个关键点和第r张待评估图变换后的第e关键点均为缺陷点；否则，表示参考图像Ref_u中第i个关键点和第r张待评估图变换后的第e关键点为匹配点；并将所有缺陷点组成参考图像Ref_u和第r张待评估图变换后的缺陷点集合，记为 表示第m个缺陷点，m＝1,2,…,M；

S4.5、根据各个缺陷点所对应的坐标对所述缺陷点集合进行谱聚类，得到缺陷簇集合其中，表示第g个缺陷簇，并有 表示第g个缺陷簇中第t个缺陷点，g＝1,2,…,G；t＝1,2,…,T；

S4.6、利用Jarvis步进法提取第g个缺陷簇的凸包并得到第g个缺陷簇的凸包面积

S4.7、利用Shi-Tomasi角点检测算法计算参考图像Ref_u的角点，得到关键位置点集合其中，表示第q个角点所对应的关键位置点，q＝1,2,…,Q；

S4.8、利用式(2)得到第r张待评估图像相对于参考图像Ref_u的质量评估值

式(2)中，表示根据缺陷簇和关键位置点所给出的权重系数，并有：

式(3)中，表示第g个缺陷簇与关键位置点集合KP_u中最近关键位置点之间的欧式距离，并有：δ为给定的距离阈值，且