CN108982508B - 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法 - Google Patents

一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法 Download PDF

Info

Publication number
CN108982508B
CN108982508B CN201810500001.0A CN201810500001A CN108982508B CN 108982508 B CN108982508 B CN 108982508B CN 201810500001 A CN201810500001 A CN 201810500001A CN 108982508 B CN108982508 B CN 108982508B
Authority
CN
China
Prior art keywords
chip
image
character
template
pin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810500001.0A
Other languages
English (en)
Other versions
CN108982508A (zh
Inventor
崔明
周伟
仲瑶
吴燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Polytechnic College of Agriculture and Forestry
Original Assignee
Jiangsu Polytechnic College of Agriculture and Forestry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Polytechnic College of Agriculture and Forestry filed Critical Jiangsu Polytechnic College of Agriculture and Forestry
Priority to CN201810500001.0A priority Critical patent/CN108982508B/zh
Publication of CN108982508A publication Critical patent/CN108982508A/zh
Application granted granted Critical
Publication of CN108982508B publication Critical patent/CN108982508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws

Abstract

本发明公开了一种基于特征模板匹配和深度学习的塑封体IC芯片缺陷检测方法,包括如下步骤:(1)图像采集和预处理;(2)建立IC芯片定位模板和字符定位模板;(3)基于特征模板匹配的芯片定位和字符检测;(4)字符缺陷判别;(5)卷积神经网络深度学习架构的创建和训练;(6)IC芯片引脚缺陷检测和分类。本发明可以有效的检测塑封体中的IC芯片的字符缺陷,并能够完成引脚的缺陷分类,具备较高的准确率,能满足塑封体中IC芯片的在线检测需求。

Description

一种基于特征模板匹配和深度学习的塑封体IC芯片缺陷检测 方法
技术领域
本发明涉及图像处理和人工智能技术领域,尤其是一种基于特征模板匹配和深度学习的塑封体IC芯片缺陷检测方法。
背景技术
随着电子行业的迅速发展,IC芯片的需求量越来越大,芯片检测成为电子行业中不可缺少的环节。传统的人工检测方法不仅效率低下,成本也较高。将机器视觉技术应用到工业检测领域,不仅提高了产品的质量,也提高了工业生产的效率。如今图像处理技术已被广泛应用于工业生产领域,实现了对产品进行高精度的检测和定位。
现阶段,关于IC芯片的视觉检测研究已经取得了很大的进展。2008年,Hawari等通过对SOP芯片的48只引脚限定区域进行Blob特征提取,利用模糊技术对芯片引脚的平面度、偏移、跨度、节距误差进行检测。2015年,Yang等提出了一种针对IC芯片的在线字符缺陷检测方法,其流程主要包括芯片位置检测、字符分割、字符特征提取与识别,并使用BP神经网络对非法字符、字符缺失、打印错误等字符缺陷类型进行分类。吴晖辉等人提出基于边缘积分投影和颜色统计特征的检测算法,可以有效检测出半导体芯片常见的引脚缺失、偏移、翘脚、极性错误等常见缺陷。
虽然当前关于IC芯片表面缺陷检测已经取得了很多研究成果,但是针对IC后工序生产过程中的实时高速高精度检测和定位问题,国内相关的研究工作还比较少,特别是关于管脚缺陷、芯片印刷信息不清晰等问题的技术还不成熟,而对于缺陷分类的研究还停留在明显缺陷的识别上,缺陷分类的准确率较低。如何更有效地检测IC芯片的表面缺陷并完成缺陷分类,成为IC芯片制造商亟需解决的问题。
发明内容
本发明所要解决的技术问题在于,提供一种基于特征模板匹配和深度学习的塑封体IC芯片缺陷检测方法,能够有效的检测塑封体中的IC芯片的字符缺陷,并能够完成引脚的缺陷分类,实时性和准确性都可以达到工业检测的要求。
为解决上述技术问题,本发明提供一种基于特征模板匹配和深度学习的塑封体IC芯片缺陷检测方法,包括如下步骤:
(1)图像采集和预处理;
采集塑封体中的IC芯片图像,包括正常芯片图像和缺陷芯片图像;对采集到的芯片图像进行图像预处理,滤除噪声对特征信息的干扰,以利于后续的模板匹配和缺陷检测;
(2)建立IC芯片定位模板和字符定位模板;
利用采集的正常芯片图像建立IC芯片定位模板和字符定位模板;利用梯度算法对预处理后的图像边缘检测,并利用图像处理算法对边缘图像进行手动修改,得到IC芯片定位模板和字符定位模板;
(3)基于特征模板匹配的芯片定位和字符检测;
利用建立好的IC芯片定位模板和特征模板匹配法对预处理后的图像进行IC芯片定位,得到芯片的位置和角度信息,并利用IC芯片的定位信息建立字符检测ROI区域;利用字符定位模板对ROI区域中的图像进行字符检测,得到字符的位置和角度信息;
(4)字符缺陷判别;
设置合适的最小匹配分值检测芯片的字符缺失和字符印错缺陷;利用芯片定位和字符检测得到的位置和角度信息,并根据设置的偏角阈值和距离阈值,检测芯片是否存在字符偏斜缺陷;
(5)卷积神经网络深度学习架构的创建和训练;
创建卷积神经网络深度学习架构,并利用大量已知缺陷类型的引脚样本图像对深度学习架构训练,获得基于IC芯片引脚缺陷检测和分类的深度学习架构参数,为下一步的引脚缺陷分类奠定基础;
(6)IC芯片引脚缺陷检测和分类。
根据芯片的位置和角度信息,提取引脚区域图像输入训练好引脚缺陷识别深度学习架构,实现IC芯片引脚缺陷检测和分类。
优选的,步骤(1)中,通过高帧率CCD相机采集高速送料机中的IC芯片图像,并对图像进行预处理,为了提高图像采集的质量,采用红色LED光源固定在相机正下方;对采集得到的目标图像进行图像滤波处理,祛除图像中存在的噪声信号;采用灰度增强算法提高图像的对比度。
优选的,步骤(2)中,建立IC芯片定位模板具体为:对正常芯片图像进行边缘检测,根据边缘的特征信息提取出IC芯片模板定位所需的边缘信息;对提取出的边缘信息进行矩形拟合,得到理想的边缘信息;
建立字符定位模板具体为:建立只包含字符部分的感兴趣区域(ROI),对提取出的ROI区域进行阈值分割和形态学处理,得到完整的字符区域;对处理后的完整字符图像进行边缘提取,得到字符定位模板信息。
优选的,步骤(3)中,特征模板匹配的具体过程如下:
利用canny梯度检测法计算目标图像的边缘点信息,并分别计算模板图像和目标图像的边缘点梯度向量,模板边缘上的点集pi=(ri,ci)T对应的边缘梯度向量为di=(ti,ui)T,目标图像的边缘点集(r,c)的对应的边缘梯度向量为er,c=(vr,c,wr,c)T;其中(ri,ci)、(ti,ui)、(r,c)、(vr,c,wr,c)为图像中第i个像素的行列位置信息;为了得到精确的匹配位置,先对模板进行仿射变换,去除仿射变换中的平移部分,旋转变换可以通过点p'i=Api及相应的变换后的方向向量d'i=(A-1)Tdi得出,A为二阶旋转矩阵,如式(1)所示:
Figure BDA0001670049080000031
模板匹配过程是利用模板图像和目标图像的梯度向量信息计算相似度值,待搜索点q=(r,c)T处的相似度函数计算方法为,首先计算模板变换后边缘点的梯度向量与图像中对应边缘点的梯度向量的点积之和,然后进行归一化,如式(2)所示:
Figure BDA0001670049080000032
其中s为归一化相关函数返回的匹配分值,n为图像的像素总数,匹配分值越接近于1,说明图像中的对应区域与模板之间的相似度越大;
模板匹配过程中,为了加快速度,利用相似度阈值设定终止条件以提前结束运算;以sj表示累计到模板的第j个元素时的点积总和,smin表示设置的最低匹配分值,计算归一化点积和如式(3)所示,发现如果sj满足式(4),那么匹配分数不可能达到smin,因此,可以在第j个元素后停止计算;
Figure BDA0001670049080000033
sj<smin-1+j/n (4)
模板匹配过程中,利用金字塔分层搜索策略以降低算法的复杂度;一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低的图像集合,金字塔层数一般为4或5,并保证最高层图像中的匹配所用特征仍比较完整;利用式(2)-(4)对图像金字塔的顶层图像计算所有可能位姿上的相似度量,确定匹配分值大于smin且为局部的最大值的位置为潜在匹配位置,然后跟踪潜在匹配位置到金字塔的更低一层,并在位置的领域内搜索,直至图像金字塔最底层匹配结束,一般取3阶或5阶领域。
优选的,步骤(4)中,字符缺陷判别的主要目标是检测芯片的字符缺失、字符印错、字符偏斜缺陷,字符缺陷检测过程具体步骤如下:
(41)设置合适的最小匹配分值检测芯片的字符缺失和字符印错缺陷;具体的,取smin=0.85,N=3来剔除存在字符缺失与粗细不均缺陷的芯片,其中N为金字塔层数;
(42)对字符的偏斜进行检查,字符的偏斜分为角度偏斜和中心偏移两方面;θ1和θ2分别为芯片边缘和字符图像的偏角,θ'为芯片边缘和字符图像的偏角差,θ为设置的偏角阈值,docr为字符中心和芯片中心的距离,d为设置的距离阈值;
(43)利用字符模板匹配结果获得字符的最小外接矩形信息,并利用最小外接矩形的偏角和质心作为字符的偏角和中心;结合匹配好的芯片边缘的方向和质心,就可以求出字符相对于边缘的偏角,以及字符中心与矩形边缘中心的欧几里得距离。
优选的,步骤(5)中,卷积神经网络深度学习架构的创建和训练具体为:
利用芯片定位信息分割引脚区域图像作为训练样本,分别随机选取了200组引脚正常图像和200组各类引脚缺陷图像作为训练输入数据,引脚缺陷类型包括引脚缺失、引脚弯斜和引脚发黄;
深度学习网络以引脚区域图像作为输入,以引脚缺陷类型作为输出,在训练网络结构中选用交叉熵函数作为最优化目标函数,利用梯度下降法完成整个训练过程,获得深度学习的架构参数;为了防止过拟合,每次结果设置一定的保留概率,即要保留的结果所占比例;为了提高神经网络的训练速度,本发明采用了Adam更新方法;经过训练,将训练得到的深度学习网络结构参数以文件的形式保存下来。
优选的,步骤(6)中,IC芯片引脚缺陷检测和分类具体为:利用芯片定位信息提取引脚区域信息,提取的ROI区域和训练数据尺寸大小一致;将引脚区域图像输入深度学习网络进行缺陷检测;通过该深度学习网络,引脚缺陷检测误检率小于3%,漏检率小于1%,满足实际检测需求。
本发明的有益效果为:本发明可以有效解决塑封体中的IC芯片缺陷检测问题,包括芯片自字符缺陷检测和引脚缺陷检测分类问题,为实现塑封体中的IC芯片缺陷检测提供了一种有效的解决方法。
附图说明
图1为本发明的方法流程示意图。
图2为本发明的图像采集示意图。
图3(a)为本发明的模板图像边缘提取示意图。
图3(b)为本发明的芯片边缘模板示意图。
图3(c)为本发明的字符边缘模板示意图。
图4为本发明的图像金字塔示意图。
图5为本发明的基于特征模板匹配的芯片定位和字符检测示意图。
图6为本发明的字符缺陷判别流程示意图。
图7为本发明的字符偏斜检测流程示意图。
图8为本发明的卷积神经网络结构示意图。
具体实施方式
如图1所示,一种基于特征模板匹配和深度学习的塑封体IC芯片缺陷检测方法,包括如下步骤:
(1)图像采集和预处理
通过高帧率CCD相机采集高速送料机中的IC芯片图像,并对图像进行预处理。首先,为了提高图像采集的质量,采用红色LED光源固定在相机正下方,如图2所示。然后,对采集得到的目标图像进行图像滤波处理,祛除图像中存在的噪声信号。最后,采用灰度增强算法提高图像的对比度。
(2)建立IC芯片定位模板和字符定位模板
本发明的IC芯片定位模板和字符定位模板建立,是利用边缘检测方法定位IC芯片定位模板和字符定位模板的边缘点,并利用手动修改或者拟合的方式分别得到IC芯片定位模板和字符定位模板,如图3(a)、图3(b)和图3(c)所示。具体步骤如下:
IC芯片定位模板的建立过程为:首先对芯片进行边缘检测,然后根据边缘的特征信息提取出IC芯片模板定位所需的边缘信息;最后对提取出的边缘信息进行矩形拟合,得到理想的边缘信息。
字符定位模板的建立过程为:首先建立只包含字符部分的感兴趣区域(ROI),然后对提取出的ROI区域进行阈值分割和形态学处理,得到完整的字符区域,最后对处理后的完整字符图像进行边缘提取,得到字符定位模板信息。
(3)基于特征模板匹配的芯片定位和字符检测
本发明的芯片定位和字符检测,是利用一种鲁棒性较强的特征模板匹配方法,并利用金字塔分层搜索策略来提高匹配速度,其对于各种目标的识别具有自适应性,且不受遮蔽、混乱和非线性光照影响。特征模板匹配的具体过程如下:
首先利用canny梯度检测法计算目标图像的边缘点信息,并分别计算模板图像和目标图像的边缘点梯度向量,模板边缘上的点集pi=(ri,ci)T对应的边缘梯度向量为di=(ti,ui)T,目标图像的边缘点集(r,c)的对应的边缘梯度向量为er,c=(vr,c,wr,c)T,其中(ri,ci)、(ti,ui)、(r,c)、(vr,c,wr,c)为图像中第i个像素的行列位置信息。为了得到精确的匹配位置,先对模板进行仿射变换,去除仿射变换中的平移部分。旋转变换可以通过点p'i=Api及相应的变换后的方向向量d'i=(A-1)Tdi得出,A为二阶旋转矩阵,如式(1)所示:
Figure BDA0001670049080000061
模板匹配过程是利用模板图像和目标图像的梯度向量信息计算相似度值,待搜索点q=(r,c)T处的相似度函数计算方法为,首先计算模板变换后边缘点的梯度向量与图像中对应边缘点的梯度向量的点积之和,然后进行归一化,如式(2)所示:
Figure BDA0001670049080000062
其中s为归一化相关函数返回的匹配分值,n为图像的像素总数,匹配分值越接近于1,说明图像中的对应区域与模板之间的相似度越大。
模板匹配过程中,为了加快速度,利用相似度阈值设定终止条件以提前结束运算。以sj表示累计到模板的第j个元素时的点积总和,smin表示设置的最低匹配分值,计算归一化点积和如式(3)所示,发现如果sj满足式(4),那么匹配分数不可能达到smin。因此,可以在第j个元素后停止计算。
Figure BDA0001670049080000071
sj<smin-1+j/n (4)
模板匹配过程中,本发明利用了一种金字塔分层搜索策略以降低算法的复杂度。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低的图像集合,金字塔层数一般为4或5,并保证最高层图像中的匹配所用特征仍比较完整,如图4所示。利用式(2)-(4)对图像金字塔的顶层图像计算所有可能位姿上的相似度量,确定匹配分值大于smin且为局部的最大值的位置为潜在匹配位置,然后跟踪潜在匹配位置到金字塔的更低一层,并在位置的领域内搜索,直至图像金字塔最底层匹配结束,一般取3阶或5阶领域。
具体的,为了确保匹配成功率,这里取定位特征模板匹配的金字塔等级N=5,同时综合考虑匹配时间和准确率,取smin=0.87,N=5来实现芯片定位,如图5所示。
(4)字符缺陷判别
字符缺陷判别的主要目标是检测芯片的字符缺失、字符印错、字符偏斜等缺陷,字符缺陷检测过程如图6所示,具体步骤如下:
(1)首先设置合适的最小匹配分值检测芯片的字符缺失和字符印错缺陷。具体的,取smin=0.85,N=3来剔除存在字符缺失与粗细不均缺陷的芯片。
(2)下一步对字符的偏斜进行检查,字符的偏斜分为角度偏斜和中心偏移两方面。如图7所示,θ1和θ2分别为芯片边缘和字符图像的偏角,θ'为芯片边缘和字符图像的偏角差,θ为设置的偏角阈值,docr为字符中心和芯片中心的距离,d为设置的距离阈值。
首先利用字符模板匹配结果获得字符的最小外接矩形信息,并利用最小外接矩形的偏角和质心作为字符的偏角和中心。结合匹配好的芯片边缘的方向和质心,就可以求出字符相对于边缘的偏角,以及字符中心与矩形边缘中心的欧几里得距离。
(5)卷积神经网络深度学习架构的创建和训练
本发明的深度学习网络,是利用tensorflow搭建了卷积神将网络模型的深度学习架构,其中卷积层和池化层是核心,主要包括6层,第一层是卷积层,第二层是池化层,第三层是卷积层,第四层池化层,第五层和第六层都是全连接层,如图8所示。
首先,利用芯片定位信息分割引脚区域图像作为训练样本,分别随机选取了200组引脚正常图像和200组引脚缺陷图像作为训练输入数据。为了提高深度模型的准确性,需要尽可能多的样本训练数据。
深度学习网络以引脚特征图像作为输入,以引脚缺陷分类作为输出,在训练网络结构中选用交叉熵函数作为最优化目标函数,利用梯度下降法完成整个训练过程,获得深度学习的架构参数。为了防止过拟合,每次结果设置一定的保留概率,即要保留的结果所占比例。为了提高神经网络的训练速度,本发明采用了Adam更新方法。经过训练,将训练得到的深度学习网络结构参数以文件的形式保存下来。
(6)IC芯片引脚缺陷检测和分类
深度学习网络训练结束后,对引脚缺陷进行检测。具体步骤为:首先利用芯片定位信息提取引脚区域信息,提取的ROI区域和训练数据尺寸大小一致;将引脚区域图像输入深度学习网络进行缺陷检测。通过该深度学习网络,引脚缺陷检测误检率小于3%,漏检率小于1%,引脚缺陷分类准确率达到90%以上,可以满足实际检测需求。

Claims (6)

1.一种基于特征模板匹配和深度学习的塑封体IC芯片缺陷检测方法,其特征在于,包括如下步骤:
(1)图像采集和预处理;
采集塑封体中的IC芯片图像,包括正常芯片图像和缺陷芯片图像;对采集到的芯片图像进行图像预处理,滤除噪声对特征信息的干扰,以利于后续的模板匹配和缺陷检测;
(2)建立IC芯片定位模板和字符定位模板;
利用采集的正常芯片图像建立IC芯片定位模板和字符定位模板;利用梯度算法对预处理后的图像边缘检测,并利用图像处理算法对边缘图像进行手动修改,得到IC芯片定位模板和字符定位模板;
(3)基于特征模板匹配的芯片定位和字符检测;
利用建立好的IC芯片定位模板和特征模板匹配法对预处理后的图像进行IC芯片定位,得到芯片的位置和角度信息,并利用IC芯片的定位信息建立字符检测ROI区域;利用字符定位模板对ROI区域中的图像进行字符检测,得到字符的位置和角度信息;
特征模板匹配的具体过程如下:
利用canny梯度检测法计算目标图像的边缘点信息,并分别计算模板图像和目标图像的边缘点梯度向量,模板边缘上的点集pi=(ri,ci)T对应的边缘梯度向量为di=(ti,ui)T,目标图像的边缘点集(r,c)的对应的边缘梯度向量为er,c=(vr,c,wr,c)T;其中(ri,ci)、(ti,ui)、(r,c)、(vr,c,wr,c)为图像中第i个像素的行列位置信息;为了得到精确的匹配位置,先对模板进行仿射变换,去除仿射变换中的平移部分,旋转变换通过点p'i=Api及相应的变换后的方向向量d'i=(A-1)Tdi得出,A为二阶旋转矩阵,如式(1)所示:
Figure FDA0002584771690000011
模板匹配过程是利用模板图像和目标图像的梯度向量信息计算相似度值,待搜索点q=(r,c)T处的相似度函数计算方法为,首先计算模板变换后边缘点的梯度向量与图像中对应边缘点的梯度向量的点积之和,然后进行归一化,如式(2)所示:
Figure FDA0002584771690000021
其中s为归一化相关函数返回的匹配分值,n为图像的像素总数,匹配分值越接近于1,说明图像中的对应区域与模板之间的相似度越大;
模板匹配过程中,为了加快速度,利用相似度阈值设定终止条件以提前结束运算;以sj表示累计到模板的第j个元素时的点积总和,smin表示设置的最低匹配分值,计算归一化点积和如式(3)所示,发现如果sj满足式(4),那么匹配分数不可能达到smin,因此,在第j个元素后停止计算;
Figure FDA0002584771690000022
sj<smin-1+j/n (4)
模板匹配过程中,利用金字塔分层搜索策略以降低算法的复杂度;一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低的图像集合,金字塔层数为4或5,并保证最高层图像中的匹配所用特征仍比较完整;利用式(2)-(4)对图像金字塔的顶层图像计算所有可能位置上的相似度量,确定匹配分值大于smin且为局部的最大值的位置为潜在匹配位置,然后跟踪潜在匹配位置到金字塔的更低一层,并在位置的领域内搜索,直至图像金字塔最底层匹配结束,取3阶或5阶领域;
(4)字符缺陷判别;
设置合适的最小匹配分值检测芯片的字符缺失和字符印错缺陷;利用芯片定位和字符检测得到的位置和角度信息,并根据设置的偏角阈值和距离阈值,检测芯片是否存在字符偏斜缺陷;
(5)卷积神经网络深度学习架构的创建和训练;
创建卷积神经网络深度学习架构,并利用大量已知缺陷类型的引脚样本图像对深度学习架构训练,获得基于IC芯片引脚缺陷检测和分类的深度学习架构参数,为下一步的引脚缺陷分类奠定基础;
(6)IC芯片引脚缺陷检测和分类;
根据芯片的位置和角度信息,提取引脚区域图像输入训练好引脚缺陷识别深度学习架构,实现IC芯片引脚缺陷检测和分类。
2.如权利要求1所述的基于特征模板匹配和深度学习的塑封体IC芯片缺陷检测方法,其特征在于,步骤(1)中,通过高帧率CCD相机采集高速送料机中的IC芯片图像,并对图像进行预处理,为了提高图像采集的质量,采用红色LED光源固定在相机正下方;对采集得到的目标图像进行图像滤波处理,祛除图像中存在的噪声信号;采用灰度增强算法提高图像的对比度。
3.如权利要求1所述的基于特征模板匹配和深度学习的塑封体IC芯片缺陷检测方法,其特征在于,步骤(2)中,建立IC芯片定位模板具体为:对正常芯片图像进行边缘检测,根据边缘的特征信息提取出IC芯片模板定位所需的边缘信息;对提取出的边缘信息进行矩形拟合,得到理想的边缘信息;
建立字符定位模板具体为:建立只包含字符部分的感兴趣区域,对提取出的ROI区域进行阈值分割和形态学处理,得到完整的字符区域;对处理后的完整字符图像进行边缘提取,得到字符定位模板信息。
4.如权利要求1所述的基于特征模板匹配和深度学习的塑封体IC芯片缺陷检测方法,其特征在于,步骤(4)中,字符缺陷判别的主要目标是检测芯片的字符缺失、字符印错、字符偏斜缺陷,字符缺陷检测过程具体步骤如下:
(41)设置合适的最小匹配分值检测芯片的字符缺失和字符印错缺陷;具体的,取smin=0.85,N=3来剔除存在字符缺失与粗细不均缺陷的芯片,其中N为金字塔层数;
(42)对字符的偏斜进行检查,字符的偏斜分为角度偏斜和中心偏移两方面;θ1和θ2分别为芯片边缘和字符图像的偏角,θ'为芯片边缘和字符图像的偏角差,θ为设置的偏角阈值,docr为字符中心和芯片中心的距离,d为设置的距离阈值;
(43)利用字符模板匹配结果获得字符的最小外接矩形信息,并利用最小外接矩形的偏角和质心作为字符的偏角和中心;结合匹配好的芯片边缘的方向和质心,求出字符相对于边缘的偏角,以及字符中心与矩形边缘中心的欧几里得距离。
5.如权利要求1所述的基于特征模板匹配和深度学习的塑封体IC芯片缺陷检测方法,其特征在于,步骤(5)中,卷积神经网络深度学习架构的创建和训练具体为:
利用芯片定位信息分割引脚区域图像作为训练样本,分别随机选取了200组引脚正常图像和200组各类引脚缺陷图像作为训练输入数据,引脚缺陷类型包括引脚缺失、引脚弯斜和引脚发黄;
深度学习网络以引脚特征图像作为输入,以引脚缺陷分类作为输出,在训练网络结构中选用交叉熵函数作为最优化目标函数,利用梯度下降法完成整个训练过程,获得深度学习的架构参数;为了防止过拟合,每次结果设置一定的保留概率,即要保留的结果所占比例;为了提高神经网络的训练速度,采用了Adam更新方法;经过训练,将训练得到的深度学习网络结构参数以文件的形式保存下来。
6.如权利要求1所述的基于特征模板匹配和深度学习的塑封体IC芯片缺陷检测方法,其特征在于,步骤(6)中,IC芯片引脚缺陷检测和分类具体为:利用芯片定位信息提取引脚区域信息,提取的ROI区域和训练数据尺寸大小一致;将引脚区域图像输入深度学习网络进行缺陷检测;通过该深度学习网络,引脚缺陷检测误检率小于3%,漏检率小于1%,满足实际检测需求。
CN201810500001.0A 2018-05-23 2018-05-23 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法 Active CN108982508B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810500001.0A CN108982508B (zh) 2018-05-23 2018-05-23 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810500001.0A CN108982508B (zh) 2018-05-23 2018-05-23 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法

Publications (2)

Publication Number Publication Date
CN108982508A CN108982508A (zh) 2018-12-11
CN108982508B true CN108982508B (zh) 2020-11-24

Family

ID=64542588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810500001.0A Active CN108982508B (zh) 2018-05-23 2018-05-23 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法

Country Status (1)

Country Link
CN (1) CN108982508B (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785316B (zh) * 2019-01-22 2022-12-02 湖南大学 一种芯片表观缺陷检测方法
CN109919908B (zh) * 2019-01-23 2020-11-10 华灿光电(浙江)有限公司 发光二极管芯片缺陷检测的方法和装置
CN109785324B (zh) * 2019-02-01 2020-11-27 佛山市南海区广工大数控装备协同创新研究院 一种大幅面pcb板定位方法
CN109978844A (zh) * 2019-03-15 2019-07-05 维库(厦门)信息技术有限公司 一种基于深度学习模块化的智能分析方法以及系统
CN110197232B (zh) * 2019-06-05 2021-09-03 中科新松有限公司 基于边缘方向和梯度特征的图像匹配方法
CN110220917B (zh) * 2019-06-11 2021-09-07 江苏农林职业技术学院 一种基于图像处理的皇冠盖表面缺陷在线检测方法
CN110378337B (zh) * 2019-07-05 2023-03-31 上海交通大学 金属切削刀具图纸标识信息视觉输入方法及系统
CN112241975B (zh) * 2019-07-17 2024-03-29 杭州海康机器人股份有限公司 特征模板的匹配定位方法和匹配定位装置
CN110672617B (zh) * 2019-09-14 2022-06-14 华南理工大学 基于机器视觉的智能手机玻璃盖板丝印区缺陷检测方法
CN112801087A (zh) * 2019-11-13 2021-05-14 广东技术师范大学 一种基于自适应参数调整的智能卡表面字符识别的方法
CN110927184A (zh) * 2019-11-15 2020-03-27 扬州迪飞特测控设备有限公司 芯片封装缺陷的视觉检测方法
CN110930390B (zh) * 2019-11-22 2020-09-22 深圳市海芯微迅半导体有限公司 基于半监督深度学习的芯片管脚缺失检测方法
WO2021109011A1 (zh) * 2019-12-04 2021-06-10 电子科技大学 一种基于超声图像的电容内部缺陷智能检测方法
CN111126391B (zh) * 2019-12-24 2023-10-31 熵智科技(深圳)有限公司 一种印刷字符缺陷定位方法
CN111060527B (zh) * 2019-12-30 2021-10-29 歌尔股份有限公司 一种字符缺陷检测方法及装置
CN111192254B (zh) * 2019-12-30 2022-03-29 无锡信捷电气股份有限公司 基于全局阈值与模板匹配的焊缝特征点滤波方法
CN111274961B (zh) * 2020-01-20 2021-12-07 华南理工大学 一种柔性ic基板字符识别和信息解析方法
CN111474184B (zh) * 2020-04-17 2022-08-16 河海大学常州校区 基于工业机器视觉的aoi字符缺陷检测方法和装置
CN111504192B (zh) * 2020-05-07 2021-08-27 东华大学 一种基于机器视觉的压缩机外观检测方法
CN111833306B (zh) * 2020-06-12 2024-02-13 北京百度网讯科技有限公司 缺陷检测方法和用于缺陷检测的模型训练方法
CN112085709B (zh) * 2020-08-19 2024-03-22 浙江华睿科技股份有限公司 一种图像对比方法及设备
CN112200776A (zh) * 2020-09-25 2021-01-08 杭州加速科技有限公司 芯片封装缺陷检测方法和检测装置
CN112183342B (zh) * 2020-09-28 2022-07-12 国网安徽省电力有限公司检修分公司 一种带有模板的综合型换流站缺陷识别方法
CN112216640B (zh) * 2020-10-19 2021-08-06 高视科技(苏州)有限公司 一种半导体芯片定位方法和装置
CN114950991B (zh) * 2020-11-30 2023-12-29 深圳市华力宇电子科技有限公司 检测机构及相应的ic芯片检测装置
CN112730460A (zh) * 2020-12-08 2021-04-30 北京航天云路有限公司 一种通信ic芯片焊接缺陷与密集型虚焊检测技术
CN113111712A (zh) * 2021-03-11 2021-07-13 稳健医疗用品股份有限公司 一种袋装产品的ai识别定位方法、系统及装置
CN113221889B (zh) * 2021-05-25 2023-09-22 中科芯集成电路有限公司 一种芯片字符抗干扰识别方法及装置
CN113362306B (zh) * 2021-06-07 2023-01-31 中山大学 一种基于深度学习的封装芯片缺陷检测方法
CN113554638A (zh) * 2021-07-30 2021-10-26 西安电子科技大学 一种芯片表面缺陷检测模型建立方法和系统
CN113888494B (zh) * 2021-09-28 2022-08-30 广州市华颉电子科技有限公司 一种汽车域控制器的人工智能接口引脚质量检测方法
KR102602167B1 (ko) * 2021-11-05 2023-11-13 한국기술교육대학교 산학협력단 딥러닝 기반의 mlcc 적층 얼라인먼트 검사 시스템 및 방법
CN114062393A (zh) * 2021-11-17 2022-02-18 宜宾显微智能科技有限公司 一种基于深度学习显微字符识别与缺陷检测系统及方法
CN115713499B (zh) * 2022-11-08 2023-07-14 哈尔滨工业大学 一种贴片元件贴装后质量检测方法
CN116188475B (zh) * 2023-05-05 2023-07-25 德中(深圳)激光智能科技有限公司 一种外观缺陷自动光学检测的智慧控制方法、系统及介质
CN116343213B (zh) * 2023-05-31 2023-08-25 成都数之联科技股份有限公司 模型训练及芯片的字符识别方法、装置、设备和介质
CN116385442B (zh) * 2023-06-06 2023-08-18 青岛理工大学 一种基于深度学习的虚拟装配缺陷检测方法
CN116824271B (zh) * 2023-08-02 2024-02-09 上海互觉科技有限公司 基于三模态向量空间对齐的smt芯片缺陷检测系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682569A (zh) * 2016-09-28 2017-05-17 天津工业大学 一种基于卷积神经网络的快速交通标识牌识别方法
CN106650721B (zh) * 2016-12-28 2019-08-13 吴晓军 一种基于卷积神经网络的工业字符识别方法
CN107490583A (zh) * 2017-09-12 2017-12-19 桂林电子科技大学 一种基于机器视觉的夹片缺陷检测方法

Also Published As

Publication number Publication date
CN108982508A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
CN108982508B (zh) 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法
CN107545239B (zh) 一种基于车牌识别与车辆特征匹配的套牌检测方法
CN110220917B (zh) 一种基于图像处理的皇冠盖表面缺陷在线检测方法
CN109724990B (zh) 一种包装盒标签中喷码区域的快速定位与检测方法
CN106570511B (zh) 基于计算机视觉的键盘字符缺陷在线检测系统和方法
CN109101924B (zh) 一种基于机器学习的路面交通标志识别方法
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
CN107316031A (zh) 用于行人重识别的图像特征提取方法
CN102305798A (zh) 基于机器视觉的玻璃缺陷的检测与分类方法
CN111582294A (zh) 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用
CN113706490B (zh) 一种晶片缺陷检测方法
CN113393426A (zh) 一种轧钢板表面缺陷检测方法
CN113034474A (zh) 一种oled显示器晶圆图的测试方法
CN109389033A (zh) 一种新型的瞳孔快速定位方法
CN113870202A (zh) 一种基于深度学习技术的远端芯片缺陷检测系统
CN113177924A (zh) 一种工业流水线产品瑕疵检测方法
CN113989794B (zh) 一种车牌检测和识别方法
CN113516619B (zh) 一种基于图像处理技术的产品表面瑕疵识别方法
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN112184619A (zh) 一种基于深度学习的金属部件表面缺陷检测方法
CN110046618B (zh) 基于机器学习和最大极值稳定区域的车牌识别方法
CN110866917A (zh) 一种基于机器视觉的药片类型及排列方式识别方法
CN114943738A (zh) 一种基于视觉识别的传感器封装固化胶缺陷识别方法
CN115170545A (zh) 一种动态熔池尺寸检测及成形方向判别方法
CN114758139A (zh) 基坑积水检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant