CN109615626B - 一种芯片表面印刷符号结构缺陷的质量评估方法 - Google Patents

一种芯片表面印刷符号结构缺陷的质量评估方法 Download PDF

Info

Publication number
CN109615626B
CN109615626B CN201811510376.1A CN201811510376A CN109615626B CN 109615626 B CN109615626 B CN 109615626B CN 201811510376 A CN201811510376 A CN 201811510376A CN 109615626 B CN109615626 B CN 109615626B
Authority
CN
China
Prior art keywords
image
evaluated
symbol
key point
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811510376.1A
Other languages
English (en)
Other versions
CN109615626A (zh
Inventor
罗月童
饶永明
卞景帅
吴帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201811510376.1A priority Critical patent/CN109615626B/zh
Publication of CN109615626A publication Critical patent/CN109615626A/zh
Application granted granted Critical
Publication of CN109615626B publication Critical patent/CN109615626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30144—Printing quality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种面向芯片表面符号的结构缺陷的评估方法，其步骤包括：1、采集芯片表面印刷的符号图像作为参考符号图像或评估符号图像，并进行预处理；2、符号图像的特征提取与参考图像和待评估图像的特征配对；3、基于上一步的配对结果，使用薄板样条插值函数将待评估符号和模板符号进行结构对齐；4、再次提取待评估符号图像特征，结合参考符号图像特征，计算缺陷的大小、位置等特征，并定义出定义符合人实际感观的评估策略。本发明能应用于芯片生产的质量检测中，通过使用Shape Context、TPS等算法以及提取和分析符号图像的缺陷特征，从而得到针对芯片表面印刷符号结构质量的连续、直观的评估。

Description

一种芯片表面印刷符号结构缺陷的质量评估方法
技术领域
本发明涉及图像质量评估领域，具体涉及一种芯片表面印刷符号结构缺陷的质量评估方法。
背景技术
芯片表面符号表明了产品的规格型号、生产厂家等信息，是用户用于区分外观类似而功能不同芯片的重要依据，因此清晰的符号是高质量芯片的一部分。因为基于机器视觉的自动检测方法具有“成本低、效率高”等优点，目前已经在芯片企业广泛采用，自动检测的核心是基于图像的表面符号质量评估。芯片表面符号属于工业印刷符号，近年很多学者对工业印刷符号的质量评估和识别开展了研究。基于符号识别的质量评估方法首先对待评估符号进行识别，如果识别成功则认为质量好，否则认为质量差。因此以深度学习为代表的识别方法近年来快速发展，所以基于符号识别的质量评估方法也蓬勃发展。但这类方法存在两个问题：一是现在识别算法比较强大，计算机能够识别的符号不一定意味着人能看清楚；另一方面，这类方法只能给出识别率是否好的结果，难以实现对符号质量的不同程度的控制。
为提高质量符号图像的识别效果，人们对可感知图像的质量评估进行了大量研究，但仍缺少较好的通用解决方案，据了解，在芯片表面字符评估领域，基于参考图像进行逐点对比的评估方法仍被大量采用，主要原因有二：(1)对于某个批次的芯片，其表面字符的参考图像容易制作；(2)这种质量评估方法是实现方便、比较鲁棒。但在实践中发现两个问题：
1)印刷符号的少量形变虽然不影响其可读性，但逐点对比评估方法会给出很差的评分，导致误判；
2)对人而言，印刷符号中“断裂、冗余”等结构缺陷会整体影响符号的可读性，但逐点对比的评估方法无法考虑整体性。
发明内容
本发明为克服上述现有技术的不足之处，提出了一种芯片表面印刷符号结构缺陷的质量评估方法，以期通过提取和分析符号图像的缺陷特征，从而得到针对芯片表面印刷符号结构质量的连续、直观的评估。
为实现上述目的，本发明采用以下技术方案：
本发明一种芯片表面印刷符号结构缺陷的质量评估方法的特点在于包括如下步骤：
S1、采集数据并预处理
S1.1、获取流水线上芯片的表面图像，并对每个表面图像中各个符号进行分割和裁剪处理，得到U种裁剪后的符号图像；设置所有符号图像的大小为W×H，W为符号图像的宽度，H为符号图像的长度；
S1.2、对于第u种符号图像，选取一张没有质量缺陷的符号图像作为参考图像，记为Refu，其余符号图像为待评估图像，并记第u种符号图像的任意第r张待评估图像为
Figure GDA0002790731290000021
S1.3、采用canny边界检测算法提取参考图像Refu和第r张待评估图像
Figure GDA0002790731290000022
的轮廓信息，并使用Jitendra Malik均匀采样算法对所提取的轮廓信息分别采样出n个关键点，得到参考图像Refu的n个关键点坐标集合
Figure GDA0002790731290000023
和第r张待评估图像
Figure GDA0002790731290000024
的n个关键点坐标集合
Figure GDA0002790731290000025
其中，
Figure GDA0002790731290000026
表示参考图像Refu的第i个关键点坐标，
Figure GDA0002790731290000027
表示第r张待评估图像
Figure GDA0002790731290000028
的第i个关键点坐标，i＝1,2,…,n；
S2、符号图像的特征提取与参考图像和待评估图像的特征配对
S2.1、利用Shape Context特征提取算法分别计算参考图像Refu和第r张待评估图像
Figure GDA0002790731290000029
中所有关键点的形状特征，从而得到参考图像Refu和第r张待评估图像
Figure GDA00027907312900000210
中每个关键点的形状特征直方图；
S2.2、基于参考图像Refu和第r张待评估图像
Figure GDA00027907312900000211
中所有关键点的形状特征直方图，计算参考图像Refu中每个关键点与第r张待评估图
Figure GDA00027907312900000212
中每个关键点的差异性，从而得到第u种符号图像所对应的第r个代价矩阵
Figure GDA00027907312900000213
其中，
Figure GDA00027907312900000214
为第u种符号图像所对应的第r个代价矩阵中第i行第j列的元素，表示参考图像Refu中第i个关键点和第r张待评估图像
Figure GDA00027907312900000215
中第j个关键点的差异值；
S2.3、根据所述第u种符号图像所对应的第r个代价矩阵
Figure GDA00027907312900000216
利用LAPJV组合优化算法对所述参考图像Refu中第i个关键点和第r张待评估图
Figure GDA00027907312900000217
中n个关键点进行配对，得到第i个关键点与第k关键点的配对结果
Figure GDA00027907312900000218
从而得到n个关键点之间的匹配结果集合
Figure GDA00027907312900000219
对所述配对结果集合
Figure GDA00027907312900000220
进行筛选，若
Figure GDA00027907312900000221
则保留相应的配对结果
Figure GDA00027907312900000222
否则，删除相应的配对结果
Figure GDA00027907312900000223
从而得到筛选后的配对结果集合，记为
Figure GDA00027907312900000224
ε表示超参数；
S3、待评估图像与参考图像中符号结构的对齐
S3.1、将所述筛选后的配对结果集合
Figure GDA0002790731290000031
中所有配对结果所对应的关键点作为TPS薄本样条插值函数的关键控制点，从而得到TPS插值函数Φ(x)，其中x为第r张待评估图像
Figure GDA00027907312900000327
的n个关键点坐标集合
Figure GDA00027907312900000326
中的关键点坐标；
利用所述TPS插值函数Φ(x)对第r张待评估图像
Figure GDA0002790731290000032
的n个关键点坐标集合
Figure GDA0002790731290000033
中的关键点坐标进行变换，得到第r张待评估图像
Figure GDA0002790731290000034
变换后的n个坐标关键点集合
Figure GDA0002790731290000035
其中，
Figure GDA0002790731290000036
表示第r张待评估图像
Figure GDA0002790731290000037
变换后的第i个关键点坐标；
S3.2、利用式(1)得到第r张待评估图像
Figure GDA0002790731290000038
的形变量
Figure GDA0002790731290000039
Figure GDA00027907312900000310
S3.3、判断
Figure GDA00027907312900000311
是否成立，若成立，则表示第r张待评估图像
Figure GDA00027907312900000312
有质量缺陷；否则执行步骤S4；α为所设定的阈值；
S4、评估符号图像的质量
S4.1、利用Shape Context特征提取算法，计算第r张待评估图像
Figure GDA00027907312900000313
变换后的n个坐标关键点集合
Figure GDA00027907312900000314
的形状特征，从而得到变换后的n个坐标关键点集合
Figure GDA00027907312900000315
中每个关键点的形状特征直方图；
S4.2、基于参考图像Refu和第r张待评估图像
Figure GDA00027907312900000316
变换后的n个坐标关键点集合
Figure GDA00027907312900000317
中所有关的形状特征直方图，计算参考图像Refu中每个关键点与第r张待评估图像
Figure GDA00027907312900000318
变换后的n个坐标关键点集合
Figure GDA00027907312900000319
中每个关键点的差异性，从而得到第u种符号图像所对应的变换后的第r个代价矩阵
Figure GDA00027907312900000320
Figure GDA00027907312900000321
表示参考图像Refu中第i个关键点和第r张待评估图像
Figure GDA00027907312900000322
变换后的n个坐标关键点集合
Figure GDA00027907312900000323
中第j个关键点的差异值；
S4.3、根据所述第u种符号图像所对应的变换后的第r个代价矩阵
Figure GDA00027907312900000324
利用LAPJV组合优化算法对所述参考图像Refu中第i个关键点和第r张待评估图
Figure GDA00027907312900000325
变换后的n个坐标关键点集合
Figure GDA0002790731290000041
中n个关键点进行配对，得到第i个关键点与变换后的第e关键点的配对结果
Figure GDA0002790731290000042
S4.4、对所述配对结果集合
Figure GDA0002790731290000043
进行筛选，若
Figure GDA0002790731290000044
则表示参考图像Refu中第i个关键点和第r张待评估图
Figure GDA0002790731290000045
变换后的第e关键点均为缺陷点；否则，表示参考图像Refu中第i个关键点和第r张待评估图
Figure GDA0002790731290000046
变换后的第e关键点为匹配点；并将所有缺陷点组成参考图像Refu和第r张待评估图
Figure GDA0002790731290000047
变换后的缺陷点集合，记为
Figure GDA0002790731290000048
Figure GDA0002790731290000049
表示第m个缺陷点，m＝1,2,…,M；
S4.5、根据各个缺陷点所对应的坐标对所述缺陷点集合
Figure GDA00027907312900000410
进行谱聚类，得到缺陷簇集合
Figure GDA00027907312900000411
其中，
Figure GDA00027907312900000412
表示第g个缺陷簇，并有
Figure GDA00027907312900000413
Figure GDA00027907312900000414
表示第g个缺陷簇中第t个缺陷点，g＝1,2,…,G；t＝1,2,…,T；
S4.6、利用Jarvis步进法提取第g个缺陷簇
Figure GDA00027907312900000415
的凸包
Figure GDA00027907312900000416
并得到第g个缺陷簇
Figure GDA00027907312900000417
的凸包面积
Figure GDA00027907312900000418
S4.7、利用Shi-Tomasi角点检测算法计算参考图像Refu的角点，得到关键位置点集合
Figure GDA00027907312900000419
其中，
Figure GDA00027907312900000420
表示第q个角点所对应的关键位置点，q＝1,2,…,Q；
S4.8、利用式(2)得到第r张待评估图像
Figure GDA00027907312900000421
相对于参考图像Refu的质量评估值
Figure GDA00027907312900000422
Figure GDA00027907312900000423
式(2)中，
Figure GDA00027907312900000424
表示根据缺陷簇和关键位置点所给出的权重系数，并有：
Figure GDA00027907312900000425
式(3)中，
Figure GDA00027907312900000426
表示第g个缺陷簇
Figure GDA00027907312900000427
与关键位置点集合KPu中最近关键位置点
Figure GDA0002790731290000051
之间的欧式距离，并有：
Figure GDA0002790731290000052
δ为给定的距离阈值，且
Figure GDA0002790731290000053
min∈[1,Q]。
与已有技术相比，本发明的有益效果体现在：
1、在相同符号类型的前提下，本发明只需要挑选一张参考图像，大大减轻了人为挑选参考符号的复杂性。
2、对于具有形变的待评估符号图像，本发明通过引入形变量、TPS薄本样条插值算法等算法，用户根据自己的需求决定待评估符号形变的容忍度，去除形变量过大的待评估符号图像。对于形变量在合理范围内的待评估符号图像，使用TPS算法对其进行矫正，使本发明具有较的强鲁棒性，从而增强了该发明对评估符号图像的评估范围。
3、本发明可以扩展到大部分图像的符号质量评估，相对于通过分辨率、噪声、颜色、亮度等特征进行图像符号质量评估的传统方法，本发明着重于图像符号的结构质量评估，从而使得质量评估结果不再局限于只关注于图像的本身质量因素，而是着重于图像本身内容的质量因素。
4、本发明通过提取和分析符号结构缺陷的特征，定义出合理的评估公式，在具有通用性和评估结果连续性的同时，更加符合人实际感观的评估结果。
附图说明
图1为发明方法流程图；
图2为本发明符号关键点提取过程图；
图3为本发明TPS变换对比图；
图4为本发明符号缺陷检测图。
具体实施方式
本实施例中，一种针对图像质量的直观评价方法是基于符号图像具有自身的结构特征为特点而提出，相对于其他质量评价方法，本方法着重强调利用符号本身的结构特性，基于这一特性，将参考符号图像与评估符号图像进行相应的比较，从而得到评估符号图的直观质量评估。如图1所示，具体的说，一种芯片表面印刷符号结构缺陷的质量评估方法的步骤如下：
S1、采集数据并预处理，其有益效果是：a、由于只需要挑选一张参考图像，大大减轻了人为挑选参考符号的复杂性；b、通过使用Jitendra Malik均匀采样算法，减少了采样点的数量，从而在降低了系统的计算量同时，提高了TPS算法计算结果的光滑性。
S1.1、获取流水线上芯片的表面图像，并对每个表面图像中各个符号进行分割和裁剪处理，得到U种裁剪后的符号图像；设置所有符号图像的大小为W×H，W为符号图像的宽度，H为符号图像的长度；为了符号图像在后续步骤种规范化处理，本实施例中，设置所有符号图像的宽度为50px，长度为50px；
S1.2、对于第u种符号图像，选取一张没有质量缺陷的符号图像作为参考图像，记为Refu，其余符号图像为待评估图像，并记第u种符号图像的任意第r张待评估图像为
Figure GDA0002790731290000061
S1.3、因为芯片表面符号多为单色图案，所以可以使用符号的轮廓刻画其结构，符号结构对齐问题可看作为符号的轮廓对齐问题。本发明采用canny边界检测算法提取参考图像Refu和第r张待评估图像
Figure GDA0002790731290000062
的轮廓信息，并使用Jitendra Malik均匀采样算法对所提取的轮廓信息分别采样出n＝100个关键点，得到参考图像Refu的n个关键点坐标集合
Figure GDA0002790731290000063
和第r张待评估图像
Figure GDA0002790731290000064
的n个关键点坐标集合
Figure GDA0002790731290000065
其中，
Figure GDA0002790731290000066
表示参考图像Refu的第i个关键点坐标，
Figure GDA0002790731290000067
表示第r张待评估图像
Figure GDA0002790731290000068
的第i个关键点坐标，i＝1,2,…,n；。对轮廓进行采样是基于两点原因：a、减少采样点的数量，降低系统的计算量；b、减少TPS插值函数约束，提高TPS插值函数的光滑性；其中，关键点提取过程如图2所示；
S2、符号图像的特征提取与参考图像和待评估图像的特征配对，其有益效果是：a、通过对符号图像使用Shape Cotext特征提取算法进行特征提取，有利于得到符号图像关键点的形状特征；b、通过利用代价矩阵和LAPJV组合优化算法将参考符号图像的特征和待评估符号图像的特征进行配对，从而得到求出TPS薄本样条插值函数所需要的关键控制点，并且通过匹配对的特征差异可以获取缺陷关键点，有利于计算出评估符号图像的缺陷信息。
S2.1、关键点配对的核心是找出相似的关键点对，因此准确刻画关键点的特征是实现关键点配对的重要基础。利用Shape Context特征提取算法分别计算参考图像Refu和第r张待评估图像
Figure GDA0002790731290000069
中所有关键点的形状特征，从而得到参考图像Refu和第r张待评估图像
Figure GDA00027907312900000610
中每个关键点的形状特征直方图；
S2.2、基于参考图像Refu和第r张待评估图像
Figure GDA00027907312900000611
中所有关键点的形状特征直方图，计算参考图像Refu中每个关键点与第r张待评估图
Figure GDA00027907312900000612
中每个关键点的差异性，从而得到第u种符号图像所对应的第r个代价矩阵
Figure GDA00027907312900000613
其中，
Figure GDA00027907312900000614
为第u种符号图像所对应的第r个代价矩阵中第i行第j列的元素，表示参考图像Refu中第i个关键点和第r张待评估图像
Figure GDA0002790731290000071
中第j个关键点的差异值；
S2.3、根据第u种符号图像所对应的第r个代价矩阵
Figure GDA0002790731290000072
利用LAPJV组合优化算法对参考图像Refu中第i个关键点和第r张待评估图
Figure GDA0002790731290000073
中n个关键点进行配对，得到第i个关键点与第k关键点的配对结果
Figure GDA0002790731290000074
从而得到n个关键点之间的匹配结果集合
Figure GDA0002790731290000075
虽然LAPJV算法为所有关键点进行了配对，但有些被配对的两个关键点并不相似，对这类配对结果需要加以剔除：一方面是为了保证后续的TPS插值结果更合理，另一方面这些未配对关键点是本专利进行结构缺陷检测的重要依据。对配对结果集合
Figure GDA0002790731290000076
进行筛选，若
Figure GDA0002790731290000077
则保留相应的配对结果
Figure GDA0002790731290000078
否则，删除相应的配对结果
Figure GDA0002790731290000079
从而得到筛选后的配对结果集合，记为
Figure GDA00027907312900000710
ε表示超参数，本实施例中，将其设置为ε＝5；
S3、待评估图像与参考图像中符号结构的对齐，其有益效果是：本发明通过引入形变量、TPS等算法，用户根据自己的需求决定待评估符号形变的容忍度，去除形变量值大于α的待评估符号图像，有利于无效符号图像的尽早剔除。对于形变量在合理范围内的待评估符号图像，使用TPS薄本样条插值函数对其进行矫正，使本发明具有较的强鲁棒性，从而增强了该发明对评估符号图像的评估范围。其中缺陷点并不会成为TPS薄本样条插值函数的关键控制点，因此经过变形后也能较好地保留，有利于后面步骤进行缺陷检测。
S3.1、虽然芯片表面符号的少量形变不影响可读性，但会导致“逐点对比”评估算法的结果较差，所以先将待评估符号图像和参考符号图像进行结构对齐，然后再进行质量评估，有益于消除少量形变所带来的影响，本方法采TPS插值函数消除待评估符号少量形变的影响，其中由于缺陷点不会成为TPS插值函数的关键控制点，因此经过变形后也能较好地保留。将筛选后的配对结果集合
Figure GDA00027907312900000711
中所有配对结果所对应的关键点作为TPS薄本样条插值函数的关键控制点，从而得到TPS插值函数Φ(x)，理论已经证明TPS插值函数Φ(x)能够满足薄板弯曲能量最小的物理意义，其中x为第r张待评估图像
Figure GDA00027907312900000712
的n个关键点坐标集合
Figure GDA00027907312900000713
中的关键点坐标；
利用TPS插值函数Φ(x)对第r张待评估图像
Figure GDA00027907312900000714
的n个关键点坐标集合
Figure GDA00027907312900000715
中的关键点坐标进行变换，得到第r张待评估图像
Figure GDA00027907312900000716
变换后的n个坐标关键点集合
Figure GDA0002790731290000081
其中，
Figure GDA0002790731290000082
表示第r张待评估图像
Figure GDA0002790731290000083
变换后的第i个关键点坐标；
S3.2、由于TPS插值函数的原理可知，即使待评估符号和参考字符之间存在很大形变，也有可能进行很好的结构对齐，这显然不符合实际要求。因此，本专利对待评估符号的形变量进行评估，对于形变量过大的符号不再进行结构对齐，将其作为有质量缺陷符号进行剔除。利用式(1)得到第r张待评估图像
Figure GDA0002790731290000084
的形变量
Figure GDA0002790731290000085
Figure GDA0002790731290000086
接着利用式(1)可以计算图3中的形变量，其中图3a为参考图像，图3b、3c、3d中上图为原始图像，下图为经过TPS插值函数变换后的图像，最终得到形变量值如表一所示：
表1图中TPS变换的形变量值
Figure GDA0002790731290000087
S3.3、设置阈值α＝4；判断
Figure GDA0002790731290000088
是否成立，若成立，则表示第r张待评估图像
Figure GDA0002790731290000089
有质量缺陷；否则执行步骤S4；
S4、评估符号图像的质量，其有益效果是：a、定义了缺陷簇等相关概念，有利于区分不同种类的缺陷，并且为后续计算提供方便；b、计算出缺陷的大小、位置、面积等特征，有利于获得更直观的缺陷数据以及有利于判断不同缺陷的权重系数；c、通过定义质量评估公式，使得质量评估结果在符合人实际感观的评估结果同时，也具有通用性和评估结果连续性。
芯片表面符号是单色图案、结构性强，因此结构缺陷(如结构缺失、结构冗余)是影响符号可读性的主要原因。生产实践中观察得知，缺陷的大小不同、位置不同对符号可读性的影响也不同。因此本专利通过检测缺陷、计算缺陷尺度、结合缺陷所在位置(是否在关键位置附近)进行综合评估，以期获得更直观的评估结果。
S4.1、利用Shape Context特征提取算法，计算第r张待评估图像
Figure GDA00027907312900000810
变换后的n个坐标关键点集合
Figure GDA00027907312900000811
的形状特征，从而得到变换后的n个坐标关键点集合
Figure GDA00027907312900000812
中每个关键点的形状特征直方图；
S4.2、基于参考图像Refu和第r张待评估图像
Figure GDA00027907312900000813
变换后的n个坐标关键点集合
Figure GDA00027907312900000814
中所有关的形状特征直方图，计算参考图像Refu中每个关键点与第r张待评估图像
Figure GDA0002790731290000091
变换后的n个坐标关键点集合
Figure GDA0002790731290000092
中每个关键点的差异性，从而得到第u种符号图像所对应的变换后的第r个代价矩阵
Figure GDA0002790731290000093
Figure GDA0002790731290000094
表示参考图像Refu中第i个关键点和第r张待评估图像
Figure GDA0002790731290000095
变换后的n个坐标关键点集合
Figure GDA0002790731290000096
中第j个关键点的差异值；
S4.3、根据第u种符号图像所对应的变换后的第r个代价矩阵
Figure GDA0002790731290000097
利用LAPJV组合优化算法对参考图像Refu中第i个关键点和第r张待评估图
Figure GDA0002790731290000098
变换后的n个坐标关键点集合
Figure GDA0002790731290000099
中n个关键点进行配对，得到第i个关键点与变换后的第e关键点的配对结果
Figure GDA00027907312900000910
S4.4、对配对结果集合
Figure GDA00027907312900000911
进行筛选，设置阈值β＝10，若
Figure GDA00027907312900000912
则表示参考图像Refu中第i个关键点和第r张待评估图
Figure GDA00027907312900000913
变换后的第e关键点均为缺陷点；否则，表示参考图像Refu中第i个关键点和第r张待评估图
Figure GDA00027907312900000914
变换后的第e关键点为匹配点；并将所有缺陷点组成参考图像Refu和第r张待评估图
Figure GDA00027907312900000915
变换后的缺陷点集合，记为
Figure GDA00027907312900000916
Figure GDA00027907312900000917
表示第m个缺陷点，m＝1,2,…,M；
S4.5、因为缺陷所在位置会集中出现多个未匹配点，根据各个缺陷点所对应的坐标对缺陷点集合
Figure GDA00027907312900000918
进行谱聚类，得到缺陷簇集合
Figure GDA00027907312900000919
其中，
Figure GDA00027907312900000920
表示第g个缺陷簇，并有
Figure GDA00027907312900000921
Figure GDA00027907312900000922
表示第g个缺陷簇中第t个缺陷点，g＝1,2,…,G；t＝1,2,…,T；
S4.6、利用Jarvis步进法提取第g个缺陷簇
Figure GDA00027907312900000923
的凸包
Figure GDA00027907312900000924
并得到第g个缺陷簇
Figure GDA00027907312900000925
的凸包面积
Figure GDA00027907312900000926
S4.7、同样的缺陷在某些位置对符号的可读性影响更大，因此在评估中需要知道哪些位置出现缺陷会有更大的影响，本方法称这种位置为关键位置点。因为关键位置通常在符号的拐点、断口处，所以本专利采用Shi-Tomasi角点检测算法计算参考图像Refu的角点，得到关键位置点集合
Figure GDA00027907312900000927
其中，
Figure GDA00027907312900000928
表示第q个角点所对应的关键位置点，q＝1,2,…,Q；
S4.8、利用式(2)得到第r张待评估图像
Figure GDA0002790731290000101
相对于参考图像Refu的质量评估值
Figure GDA0002790731290000102
Figure GDA0002790731290000103
式(2)中，
Figure GDA0002790731290000104
越大表明符号图像
Figure GDA0002790731290000105
中结构缺陷越少，即质量越好，
Figure GDA0002790731290000106
表示根据缺陷簇和关键位置点所给出的权重系数，并有：
Figure GDA0002790731290000107
式(3)中，
Figure GDA0002790731290000108
表示第g个缺陷簇
Figure GDA0002790731290000109
与关键位置点集合KPu中最近关键位置点
Figure GDA00027907312900001010
之间的欧式距离，并有：
Figure GDA00027907312900001011
δ为给定的距离阈值，且
Figure GDA00027907312900001012
min∈[1,Q]。
表2图4的质量评估结果
Figure GDA00027907312900001013
根据上述公式，对图4的具体评估数据如表2所示，图4a图为参考符号图像，参考图中“+”号点表示关键位置点，图4b表示待评估符号图像和图4c表示检测结果图，其中，检测结果图中标记“x”为缺陷点。

Claims (1)

1.一种芯片表面印刷符号结构缺陷的质量评估方法，其特征在于包括如下步骤：
S1、采集数据并预处理
S1.1、获取流水线上芯片的表面图像，并对每个表面图像中各个符号进行分割和裁剪处理，得到U种裁剪后的符号图像；设置所有符号图像的大小为W×H，W为符号图像的宽度，H为符号图像的长度；
S1.2、对于第u种符号图像，选取一张没有质量缺陷的符号图像作为参考图像，记为Refu，其余符号图像为待评估图像，并记第u种符号图像的任意第r张待评估图像为
Figure FDA0002790731280000011
S1.3、采用canny边界检测算法提取参考图像Refu和第r张待评估图像
Figure FDA0002790731280000012
的轮廓信息，并使用Jitendra Malik均匀采样算法对所提取的轮廓信息分别采样出n个关键点，得到参考图像Refu的n个关键点坐标集合
Figure FDA0002790731280000013
和第r张待评估图像
Figure FDA0002790731280000014
的n个关键点坐标集合
Figure FDA0002790731280000015
其中，
Figure FDA0002790731280000016
表示参考图像Refu的第i个关键点坐标，
Figure FDA0002790731280000017
表示第r张待评估图像
Figure FDA0002790731280000018
的第i个关键点坐标，i＝1,2,…,n；
S2、符号图像的特征提取与参考图像和待评估图像的特征配对
S2.1、利用Shape Context特征提取算法分别计算参考图像Refu和第r张待评估图像
Figure FDA0002790731280000019
中所有关键点的形状特征，从而得到参考图像Refu和第r张待评估图像
Figure FDA00027907312800000110
中每个关键点的形状特征直方图；
S2.2、基于参考图像Refu和第r张待评估图像
Figure FDA00027907312800000111
中所有关键点的形状特征直方图，计算参考图像Refu中每个关键点与第r张待评估图
Figure FDA00027907312800000112
中每个关键点的差异性，从而得到第u种符号图像所对应的第r个代价矩阵
Figure FDA00027907312800000113
其中，
Figure FDA00027907312800000114
为第u种符号图像所对应的第r个代价矩阵中第i行第j列的元素，表示参考图像Refu中第i个关键点和第r张待评估图像
Figure FDA00027907312800000115
中第j个关键点的差异值；
S2.3、根据所述第u种符号图像所对应的第r个代价矩阵
Figure FDA00027907312800000116
利用LAPJV组合优化算法对所述参考图像Refu中第i个关键点和第r张待评估图
Figure FDA00027907312800000117
中n个关键点进行配对，得到第i个关键点与第k关键点的配对结果
Figure FDA00027907312800000118
从而得到n个关键点之间的匹配结果集合
Figure FDA00027907312800000119
对所述配对结果集合
Figure FDA0002790731280000021
进行筛选，若
Figure FDA0002790731280000022
则保留相应的配对结果
Figure FDA0002790731280000023
否则，删除相应的配对结果
Figure FDA0002790731280000024
从而得到筛选后的配对结果集合，记为
Figure FDA0002790731280000025
ε表示超参数；
S3、待评估图像与参考图像中符号结构的对齐
S3.1、将所述筛选后的配对结果集合
Figure FDA0002790731280000026
中所有配对结果所对应的关键点作为TPS薄本样条插值函数的关键控制点，从而得到TPS插值函数Φ(x)，其中x为第r张待评估图像
Figure FDA0002790731280000027
的n个关键点坐标集合
Figure FDA0002790731280000028
中的关键点坐标；
利用所述TPS插值函数Φ(x)对第r张待评估图像
Figure FDA0002790731280000029
的n个关键点坐标集合
Figure FDA00027907312800000210
中的关键点坐标进行变换，得到第r张待评估图像
Figure FDA00027907312800000211
变换后的n个坐标关键点集合
Figure FDA00027907312800000212
其中，
Figure FDA00027907312800000213
表示第r张待评估图像
Figure FDA00027907312800000214
变换后的第i个关键点坐标；
S3.2、利用式(1)得到第r张待评估图像
Figure FDA00027907312800000215
的形变量
Figure FDA00027907312800000216
Figure FDA00027907312800000217
S3.3、判断
Figure FDA00027907312800000218
是否成立，若成立，则表示第r张待评估图像
Figure FDA00027907312800000219
有质量缺陷；否则执行步骤S4；α为所设定的阈值；
S4、评估符号图像的质量
S4.1、利用Shape Context特征提取算法，计算第r张待评估图像
Figure FDA00027907312800000220
变换后的n个坐标关键点集合
Figure FDA00027907312800000221
的形状特征，从而得到变换后的n个坐标关键点集合
Figure FDA00027907312800000222
中每个关键点的形状特征直方图；
S4.2、基于参考图像Refu和第r张待评估图像
Figure FDA00027907312800000223
变换后的n个坐标关键点集合
Figure FDA00027907312800000224
中所有关的形状特征直方图，计算参考图像Refu中每个关键点与第r张待评估图像
Figure FDA00027907312800000225
变换后的n个坐标关键点集合
Figure FDA00027907312800000226
中每个关键点的差异性，从而得到第u种符号图像所对应的变换后的第r个代价矩阵
Figure FDA00027907312800000227
Figure FDA00027907312800000228
表示参考图像Refu中第i个关键点和第r张待评估图像
Figure FDA00027907312800000229
变换后的n个坐标关键点集合
Figure FDA00027907312800000230
中第j个关键点的差异值；
S4.3、根据所述第u种符号图像所对应的变换后的第r个代价矩阵
Figure FDA00027907312800000231
利用LAPJV组合优化算法对所述参考图像Refu中第i个关键点和第r张待评估图
Figure FDA0002790731280000031
变换后的n个坐标关键点集合
Figure FDA0002790731280000032
中n个关键点进行配对，得到第i个关键点与变换后的第e关键点的配对结果
Figure FDA0002790731280000033
S4.4、对所述配对结果集合
Figure FDA0002790731280000034
进行筛选，若
Figure FDA0002790731280000035
则表示参考图像Refu中第i个关键点和第r张待评估图
Figure FDA0002790731280000036
变换后的第e关键点均为缺陷点；否则，表示参考图像Refu中第i个关键点和第r张待评估图
Figure FDA0002790731280000037
变换后的第e关键点为匹配点；并将所有缺陷点组成参考图像Refu和第r张待评估图
Figure FDA0002790731280000038
变换后的缺陷点集合，记为
Figure FDA0002790731280000039
Figure FDA00027907312800000310
表示第m个缺陷点，m＝1,2,…,M；
S4.5、根据各个缺陷点所对应的坐标对所述缺陷点集合
Figure FDA00027907312800000311
进行谱聚类，得到缺陷簇集合
Figure FDA00027907312800000312
其中，
Figure FDA00027907312800000313
表示第g个缺陷簇，并有
Figure FDA00027907312800000314
Figure FDA00027907312800000315
表示第g个缺陷簇中第t个缺陷点，g＝1,2,…,G；t＝1,2,…,T；
S4.6、利用Jarvis步进法提取第g个缺陷簇
Figure FDA00027907312800000316
的凸包
Figure FDA00027907312800000317
并得到第g个缺陷簇
Figure FDA00027907312800000318
的凸包面积
Figure FDA00027907312800000319
S4.7、利用Shi-Tomasi角点检测算法计算参考图像Refu的角点，得到关键位置点集合
Figure FDA00027907312800000320
其中，
Figure FDA00027907312800000321
表示第q个角点所对应的关键位置点，q＝1,2,…,Q；
S4.8、利用式(2)得到第r张待评估图像
Figure FDA00027907312800000322
相对于参考图像Refu的质量评估值
Figure FDA00027907312800000323
Figure FDA00027907312800000324
式(2)中，
Figure FDA00027907312800000325
表示根据缺陷簇和关键位置点所给出的权重系数，并有：
Figure FDA00027907312800000326
式(3)中，
Figure FDA00027907312800000327
表示第g个缺陷簇
Figure FDA00027907312800000328
与关键位置点集合KPu中最近关键位置点
Figure FDA0002790731280000041
之间的欧式距离，并有：
Figure FDA0002790731280000042
δ为给定的距离阈值，且
Figure FDA0002790731280000043
CN201811510376.1A 2018-12-11 2018-12-11 一种芯片表面印刷符号结构缺陷的质量评估方法 Active CN109615626B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811510376.1A CN109615626B (zh) 2018-12-11 2018-12-11 一种芯片表面印刷符号结构缺陷的质量评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811510376.1A CN109615626B (zh) 2018-12-11 2018-12-11 一种芯片表面印刷符号结构缺陷的质量评估方法

Publications (2)

Publication Number Publication Date
CN109615626A CN109615626A (zh) 2019-04-12
CN109615626B true CN109615626B (zh) 2021-02-05

Family

ID=66007062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811510376.1A Active CN109615626B (zh) 2018-12-11 2018-12-11 一种芯片表面印刷符号结构缺陷的质量评估方法

Country Status (1)

Country Link
CN (1) CN109615626B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378922B (zh) * 2019-06-10 2022-11-08 五邑大学 基于自适应阈值分割算法的平滑图像生成方法和装置
CN115144405B (zh) * 2022-09-02 2022-12-13 扬州中科半导体照明有限公司 基于光学检测的Mini LED晶圆外观缺陷检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106251341A (zh) * 2016-07-22 2016-12-21 凌云光技术集团有限责任公司 一种印刷品质量检测方法
CN106296636A (zh) * 2015-06-02 2017-01-04 征图新视（江苏）科技有限公司 印刷图像的检测方法及检测装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4450776B2 (ja) * 2005-07-22 2010-04-14 株式会社日立ハイテクノロジーズ 欠陥検査方法及び外観検査装置
JP6569697B2 (ja) * 2017-04-11 2019-09-04 コニカミノルタ株式会社 検査装置及び検査プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296636A (zh) * 2015-06-02 2017-01-04 征图新视（江苏）科技有限公司 印刷图像的检测方法及检测装置
CN106251341A (zh) * 2016-07-22 2016-12-21 凌云光技术集团有限责任公司 一种印刷品质量检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
An Automation System for High-Speed Detection of Printed Matter and Defect Recognition;Yang ou等;《2007 IEEE International Conference on Integration Technology》;20070820;第213-217页 *
Quality control of the print with the application of statistical methods;K V Simonenko等;《Journal of Physics Conference Series》;20180430;第1-6页 *
基于图像处理的印刷品缺陷检测技术研究;刘海娟;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140415(第04期);第I138-883页 *
基于多区域变形补偿的印刷文字缺陷检测算法研究;李敏等;《陕西科技大学学报》;20180430;第36卷(第2期);第160-166页 *

Also Published As

Publication number Publication date
CN109615626A (zh) 2019-04-12

Similar Documents

Publication Publication Date Title
CN107977671B (zh) 一种基于多任务卷积神经网络的舌象分类方法
CN110443128B (zh) 一种基于surf特征点精确匹配的指静脉识别方法
CN108181316B (zh) 一种基于机器视觉的竹条缺陷检测方法
CN102629322B (zh) 一种基于边界点笔画形状的字符特征提取方法及应用
WO2015131468A1 (en) Method and system for estimating fingerprint pose
CN109615626B (zh) 一种芯片表面印刷符号结构缺陷的质量评估方法
CN112907519A (zh) 一种基于深度学习的金属曲面缺陷分析系统及方法
CN110032932B (zh) 一种基于视频处理和决策树设定阈值的人体姿态识别方法
CN108629762B (zh) 一种骨龄评测模型减少干扰特征的图像预处理方法及系统
WO2013075295A1 (zh) 低分辨率视频的服装识别方法及系统
CN110687122A (zh) 一种陶瓦表面裂纹检测方法及系统
CN108960100A (zh) 一种基于图像处理的甘蔗蔗节的识别方法
CN111339932B (zh) 一种掌纹图像预处理方法和系统
CN110807763A (zh) 一种陶瓦表面鼓包检测方法及系统
CN112884746A (zh) 一种基于边缘形状匹配的字符缺陷智能检测算法
CN115294109A (zh) 基于人工智能的实木板材生产缺陷识别系统、电子设备
CN109858484B (zh) 一种基于偏斜评价的多类别变换车牌校正方法
CN114463425A (zh) 一种基于概率Hough直线检测的工件表面无特征点定位方法
CN111127407B (zh) 一种基于傅里叶变换的风格迁移伪造图像检测装置及方法
CN111695498A (zh) 一种木材同一性检测方法
CN108062548B (zh) 一种盲文方自适应定位方法及系统
CN108564020B (zh) 基于全景3d图像的微手势识别方法
CN117079272A (zh) 一种结合手工特征和学习特征的弹底窝痕特征识别方法
CN115311691A (zh) 一种基于腕部静脉和腕部纹理的联合识别方法
CN112364844B (zh) 一种基于计算机视觉技术的数据采集方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant