CN114882027A - 电子设备芯片引脚缺陷检测方法及系统 - Google Patents

电子设备芯片引脚缺陷检测方法及系统 Download PDF

Info

Publication number
CN114882027A
CN114882027A CN202210797045.0A CN202210797045A CN114882027A CN 114882027 A CN114882027 A CN 114882027A CN 202210797045 A CN202210797045 A CN 202210797045A CN 114882027 A CN114882027 A CN 114882027A
Authority
CN
China
Prior art keywords
chip
connected domain
pin
gradient
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210797045.0A
Other languages
English (en)
Other versions
CN114882027B (zh
Inventor
黄爱卿
王洪民
罗岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Haosheng Automobile Technology Co ltd
Original Assignee
Nantong Haosheng Automobile Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Haosheng Automobile Technology Co ltd filed Critical Nantong Haosheng Automobile Technology Co ltd
Priority to CN202210797045.0A priority Critical patent/CN114882027B/zh
Publication of CN114882027A publication Critical patent/CN114882027A/zh
Application granted granted Critical
Publication of CN114882027B publication Critical patent/CN114882027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种电子设备芯片引脚缺陷检测方法及系统，涉及人工智能领域。主要包括：通过采集待测芯片不同光源角度下的表面图像，利用光度立体法获得表面图像所对应的反射率图；利用霍夫变换检测出表面图像中的芯片极性标记；对反射率图进行全局阈值获得二值图像，获得二值图像中各引脚连通域；分别获得各引脚连通域的中心，并获得各引脚连通域的中心所组成的多边形区域的形心；构建连通域对应的特征描述向量，利用特征描述向量对待检测芯片与标准芯片的各引脚连通域进行匹配，将未完成匹配的引脚连通域作为待检测芯片中的缺陷区域。本发明实施例能够对生产过程芯片中的针脚缺陷进行检测，同时无需采集大量的存在缺陷的芯片样本。

Description

电子设备芯片引脚缺陷检测方法及系统
技术领域
本申请涉及人工智能领域，具体涉及一种电子设备芯片引脚缺陷检测方法及系统。
背景技术
随着军工、航天等各种高精尖领域的迅速发展，对于芯片的质量和可靠性方面的要求也越来越高。因此对生产过程中芯片的缺陷检测显得尤为重要。尽管在缺陷检测中芯片电性能等测试是芯片质量保证的必要前提，但芯片外观表面缺陷如芯片表面完整性、芯片引脚等的可靠性检测对芯片的筛选也起着重要作用。目前对于芯片的外观缺陷检测领域仍采用传统的人工目测方式，但这种方式需要大量的人力物力，导致检测成本提高，而且容易漏检误检，检测精度低。
针对人工检测的缺点，运用机器视觉检测的方法得到更多的青睐，同时随着近年来人工智能方向的发展，将深度学习与机器视觉相融合的方法，会使得表面缺陷检测方法更加智能化。
然而，发明人在实现本发明实施例的过程中，发现背景技术中至少存在以下缺陷：对于芯片中引脚的缺陷检测，目前基于深度学习的方法都是使用监督学习的方法来实现的，此类方法需要使用标注出缺陷的样本图片进行模型的训练，因此需要大量的人力资源去提前标注出芯片图片中的缺陷，这一标注过程需要大量的人力资源，同时会增加检测的成本，并且采集大量各种存在缺陷的样本，使得所需的工作量加大，实施难度较大。
发明内容
针对上述技术问题，本发明提供了一种电子设备芯片引脚缺陷检测方法及系统，能够对生产过程中芯片引脚中存在的缺陷进行检测，无需采集大量的存在缺陷的芯片样本，同时通过机器视觉的方法，避免了人工肉眼带来的主观性，从而提高了对芯片针脚的缺陷检测效率。
第一方面，本文发明实施例提出了一种电子设备芯片引脚缺陷检测方法，包括：
获取不同平行光源角度下待测芯片的多张表面图像。
利用光度立体法获得多张表面图像所对应的反射率图。
利用霍夫变换检测出表面图像中的芯片极性标记，所述极性标记为圆形。
对反射率图进行全局阈值分割获得二值图像，并获得二值图像中各引脚连通域。
分别获得各引脚连通域的中心，并获得各引脚连通域的中心所组成的多边形区域的形心。
获得依次由引脚连通域的中心、极性标记的圆心以及所述形心三点组成的夹角，分别将各引脚连通域对应的夹角以及引脚连通域的中心到极性标记的圆心之间的距离组成各引脚连通域对应的特征描述向量。
利用特征描述向量将待检测芯片的各引脚连通域分别与标准芯片对应的各引脚区域进行匹配，将未完成匹配的引脚连通域作为待检测芯片中的缺陷区域。
在一个可行的实施例中，利用特征描述向量将待检测芯片的各引脚连通域分别与标准芯片对应的各引脚区域进行匹配，包括：
步骤S201、从待检测芯片对应的各引脚连通域中任选一个未完成匹配的引脚连通域作为第一连通域。
步骤S202、从标准芯片对应的各引脚连通域中任选一个未完成匹配的引脚连通域作为第二连通域。
步骤S203、计算所述第一连通域对应的特征描述向量与第二连通域对应的特征描述向量的匹配程度，当所述匹配程度大于预设第一阈值时，判定所述第一连通域与所述第二连通域完成匹配。
重复执行步骤S201至S203，直至待检测芯片对应的各引脚连通域均完成匹配，或在标准芯片对应的各引脚连通域中不存在相匹配的引脚连通域。
在一个可行的实施例中，第一连通域对应的特征描述向量与第二连通域对应的特征描述向量的匹配程度的获得过程包括：
Figure 875993DEST_PATH_IMAGE001
其中，
Figure 462701DEST_PATH_IMAGE002
为第一连通域对应的特征描述向量与第二连通域对应的特征描述向量的匹配程度，
Figure 768541DEST_PATH_IMAGE003
为第一连通域对应的特征描述向量的夹角分量，
Figure 697182DEST_PATH_IMAGE004
为第二连通域对应的特征描述向量的夹角分量，
Figure 534426DEST_PATH_IMAGE005
为第一连通域对应的特征描述向量的距离分量，
Figure 439672DEST_PATH_IMAGE006
为第二连通域对应的特征描述向量的距离分量，
Figure 999966DEST_PATH_IMAGE007
为自然常数，所述夹角分量为引脚连通域对应的夹角，所述距离分量为引脚连通域的中心与极性标记的圆心之间的距离。
在一个可行的实施例中，利用光度立体法获得多张表面图像所对应的反射率图，包括：
根据多张表面图像中像素点的像素值，构建光度立体数学模型。
通过光度立体数学模型分别计算得到表面图像中各像素点的反射率。
将像素点在表面图像中的反射率作为反射率图中的像素值。
在一个可行的实施例中，所述方法还包括：
利用光度立体法获得多张表面图像所对应的表面梯度图。
对于完成匹配的分别对应于待检测芯片以及标准芯片的任意两引脚连通域中，将待检测芯片对应的引脚连通域作为第三连通域，将标准芯片对应的引脚连通域作为第四连通域。
根据第三连通域在表面梯度图像中高度梯度以及第四连通域在标准梯度图像中高度梯度之间的相似度，判断第三连通域是否存在缺陷，所述标准梯度图像为标准芯片对应的表面梯度图像，所述高度梯度包括水平高度梯度及竖直高度梯度。
将待检测芯片对应的各引脚连通域中存在缺陷的各第三连通域组成待检测芯片中的缺陷区域。
在一个可行的实施例中，利用光度立体法获得多张表面图像所对应的表面梯度图，包括：
根据多张表面图像中像素点的像素值，构建光度立体数学模型。
通过光度立体数学模型分别计算表面图像中各像素点的单位法向量。
根据表面图像中像素点的单位法向量计算像素点分别在水平及竖直方向上的高度梯度。
根据像素点分别在水平及竖直方向上的高度梯度，获得表面图像对应的表面梯度图像。
在一个可行的实施例中，第三连通域在表面梯度图像中高度梯度以及第四连通域在标准梯度图像中高度梯度之间的相似度，包括：
Figure 879935DEST_PATH_IMAGE008
其中，
Figure 391426DEST_PATH_IMAGE009
为第三连通域在表面梯度图像中高度梯度以及第四连通域在标准梯度图像中高度梯度之间的相似度，
Figure 132986DEST_PATH_IMAGE010
为第三连通域中像素的数量，
Figure 843059DEST_PATH_IMAGE011
为第三连通域在表面梯度图像中第i个像素的水平高度梯度，
Figure 644662DEST_PATH_IMAGE012
为第四连通域在标准梯度图像中第i个像素的水平高度梯度，
Figure 659760DEST_PATH_IMAGE013
为第三连通域在表面梯度图像中第i个像素的竖直高度梯度，
Figure 437967DEST_PATH_IMAGE014
为第四连通域在表面梯度图像中第i个像素的竖直高度梯度，
Figure 996291DEST_PATH_IMAGE015
为自然常数。
在一个可行的实施例中，当第三连通域在表面梯度图像中高度梯度以及第四连通域在标准梯度图像中高度梯度之间的相似度小于预设第二阈值时，判定第三连通域存在缺陷。
第二方面，本发明实施例提出了一种电子设备芯片引脚缺陷检测系统，包括：存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现本发明实施例中电子设备芯片引脚缺陷检测方法。
本发明提供了一种电子设备芯片引脚缺陷检测方法及系统，相比于现有技术，本发明实施例的有益效果至少包括：无需采集大量的存在缺陷的芯片样本，同时通过机器视觉的方法，避免了人工肉眼观察带来的主观性，从而提高了对芯片针脚的缺陷检测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种电子设备芯片引脚缺陷检测方法的流程示意图；
图2是本发明实施例中图像采集过程正面示意图；
图3是本发明实施例图像采集过程中俯视示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征；在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在集成电路大规模工业生产过程中，对集成芯片的缺陷检测是一个必不可少的环节。由于芯片的引脚的材质是锡，颜色呈现亮白色，具有明显的反光特性，同时由于芯片的引脚的存在凹凸不平，使得通过传统图像处理方法难以分割出精确的引脚缺陷区域。
本发明实施例提供了一种电子设备芯片引脚缺陷检测方法，如图1所示，包括：
步骤S101、获取不同平行光源角度下待测芯片的多张表面图像。
步骤S102、利用光度立体法获得多张表面图像所对应的反射率图。
步骤S103、利用霍夫变换检测出表面图像中的芯片极性标记，所述极性标记为圆形。
步骤S104、对反射率图进行全局阈值分割获得二值图像，并获得二值图像中各引脚连通域。
步骤S105、分别获得各引脚连通域的中心，并获得各引脚连通域的中心所组成的多边形区域的形心。
步骤S106、获得各引脚连通域对应的特征描述向量，并利用特征描述向量将待检测芯片的各引脚连通域分别与标准芯片对应的各引脚区域进行匹配，将未完成匹配的引脚连通域作为待检测芯片中的缺陷区域。
进一步的，步骤S101、获取不同平行光源角度下待测芯片的多张表面图像。具体包括：
首先，获得待测芯片的多张表面图像，同时各表面图像分别对应着不同光源角度的平行光源。
本发明实施例在芯片生产的传送带上设置图像采集设备，用于采集待测芯片的表面图像，同时为便于后续利用光度立体法获得待测芯片的表面梯度图或反射率图，本发明实施例中需要采集多张不同光源角度的平行光源下的表面图像。
下面对光度立体的方法进行简单的介绍，光度立体法（Photometric Stereo）的用途是可以重建出物体表面的法向量，以及物体不同表面点的反射率，它不像传统的几何重建方法那样需要去考虑图像的匹配问题，只需采集三张及以上由不同方向的光照射物体的图像。这个过程中，物体和相机的位置保持不动，得到的物体表面图像即是对齐的，避免了图像间的匹配过程。
需要说明的是，物体表面反射的光亮取决于光源和观察者的方向，光度立体法正是基于此的一种计算机视觉技术，能够通过不同光照条件下的物体的多个图像来获得图像上每个像素的法线方向。
对采集到的每张表面图片，光线的方向可以用Slant和Tilt两个角度来表示，这两个角度用于描述光线和平面的方向，其中，Slant指的是光束方向与图像采集设备中轴线的夹角，Tilt指的是俯视图中光束方向与待测物体之间的连线以及水平正轴之间的夹角，图2为本发明实施例中图像采集过程正面示意图，在图像采集过程中光源的Slants一般为30°至60°，图3为本发明实施例图像采集过程中俯视示意图。
作为一个示例，本发明实施例中分别在Tilt为0°、90°、180°和270°处设置平行光源，在图像采集过程中，同一时刻有且仅有其中一处光源打开，从而本发明实施例中得到四张分别来自不同光源角度的待测芯片的表面图像。
进一步的，步骤S102、利用光度立体法获得多张表面图像所对应的反射率图。具体包括：
以表面图像上某个像素为例，其灰度值可以表示用该点的表面反射率、光源单位方向向量和表面单位法向量表示，即
Figure 686904DEST_PATH_IMAGE016
，其中h为该像素点的像素值，k为该像素点处的表面反射率，
Figure 438566DEST_PATH_IMAGE017
为光源单位方向向量，
Figure 787508DEST_PATH_IMAGE018
为光源单位方向向量在x方向上的分量，
Figure 426169DEST_PATH_IMAGE019
为光源单位方向向量在y方向上的分量，
Figure 536951DEST_PATH_IMAGE020
为光源单位方向向量在z方向上的分量，
Figure 542953DEST_PATH_IMAGE021
为表面单位法向量，
Figure 928541DEST_PATH_IMAGE022
为表面单位法向量在x方向上的分量，
Figure 952867DEST_PATH_IMAGE023
为表面单位法向量在y方向上的分量，
Figure 267174DEST_PATH_IMAGE024
为表面单位法向量在z方向上的分量。
本发明实施例中，以采集四张不同光源方向的待测芯片的表面图像为例子，具体说明如何获得表面图像中像素点的表面反射率以及表面单位法向量，需要说明的是，在实际实施过程中，采集多张来自不同光源角度下的表面图像的方法，与本发明实施例中所示采集四张表面图像时的方法相同。
首先，根据像素在四张标准图像中的灰度值，构建求解单位法向量和表面反射率的数学模型即方程组，具体如下：
Figure 806477DEST_PATH_IMAGE025
，其中
Figure 949751DEST_PATH_IMAGE026
及
Figure 835709DEST_PATH_IMAGE027
依次为像素点在第一张、第二张、第三张以及第四张表面图像中的像素值，
Figure 320917DEST_PATH_IMAGE028
为光源的单位方向向量，L中各行分别对应不同光源角度下的光源单位方向向量，通过光源角度和亮度即可确定。
其次，根据所构建的数学模型，通过最小二乘法能够求解得到表面图像中某像素的单位法向量N和表面反射率k。
Figure 659101DEST_PATH_IMAGE029
为该像素的单位法向量。
最后，根据上述像素的单位法向量和表面反射率的方法，分别获得表面图像中各像素点的单位法向量和表面反射率，将像素点在表面图像中的反射率作为反射率图中的像素值。
进一步的，步骤S103、利用霍夫变换检测出表面图像中的芯片极性标记，所述极性标记为圆形。具体包括：
芯片极性标记有印刷体标记、凹槽标记等不同种类，本发明实施例中芯片的极性标记是一个圆形凹槽，通过霍夫变换圆检测算法对表面图像中的圆形凹槽极性标记进行检测，在利用霍夫变换检测圆的过程中，需要给累加器设置阈值，根据经验将霍夫变换对应的累加器阈值设置为
Figure 887957DEST_PATH_IMAGE030
，其中，M×N为所采集到的表面图像的尺寸。
进一步的，步骤S104、对反射率图进行全局阈值分割获得二值图像，并获得二值图像中各引脚连通域。具体包括：
对步骤S102中获得的反射率图进行全局阈值分割获得二值图，即反射率大于分割阈值的像素为引脚对应的像素并将其像素值记为1，其余的像素点的像素值记为0。本发明实施例中分割阈值为200。
对得到的二值图像进行连通域分析获得各引脚连通域，连通域也称为连通区域，指的是由具有相同像素值的相邻像素组成的像素集合，本发明实施例中得到的各引脚连通域分别对应芯片中的各引脚。
进一步的，步骤S105、分别获得各引脚连通域的中心，并获得各引脚连通域的中心所组成的多边形区域的形心。具体包括：
首先，分别获得各引脚连通域的中心，这样便于后续过程中分别构建各引脚连通域的特征描述向量。
其次，获得各引脚连通域的中心所组成的多边形区域的形心，便于后续过程中确定各引脚连通域的相对位置。
进一步的，步骤S106、获得各引脚连通域对应的特征描述向量，并利用特征描述向量将待检测芯片的各引脚连通域分别与标准芯片对应的各引脚区域进行匹配，将未完成匹配的引脚连通域作为待检测芯片中的缺陷区域。具体包括：
首先，获得依次由引脚连通域的中心、极性标记的圆心以及所述形心三点组成的夹角，分别将各引脚连通域对应的夹角以及引脚连通域的中心到极性标记的圆心之间的距离组成各特征描述向量。
其次，并待检测芯片对应的引脚连通域与标准芯片对应的各引脚连通域进行匹配，匹配过程包括如下步骤。
步骤S201、从待检测芯片对应的各引脚连通域中任选一个未完成匹配的引脚连通域作为第一连通域。
步骤S202、从标准芯片对应的各引脚连通域中任选一个未完成匹配的引脚连通域作为第二连通域。
步骤S203、计算所述第一连通域对应的特征描述向量与第二连通域对应的特征描述向量的匹配程度，当所述匹配程度大于预设第一阈值时，判定所述第一连通域与所述第二连通域完成匹配。
重复执行步骤S201至S203，直至待检测芯片对应的各引脚连通域均完成匹配，或在标准芯片对应的各引脚连通域中不存在相匹配的引脚连通域。
具体的，第一连通域对应的特征描述向量与第二连通域对应的特征描述向量的匹配程度的获得过程包括：
Figure 870563DEST_PATH_IMAGE001
其中，
Figure 995514DEST_PATH_IMAGE002
为第一连通域对应的特征描述向量与第二连通域对应的特征描述向量的匹配程度，
Figure 227519DEST_PATH_IMAGE003
为第一连通域对应的特征描述向量的夹角分量，
Figure 712596DEST_PATH_IMAGE004
为第二连通域对应的特征描述向量的夹角分量，
Figure 379070DEST_PATH_IMAGE005
为第一连通域对应的特征描述向量的距离分量，
Figure 907878DEST_PATH_IMAGE006
为第二连通域对应的特征描述向量的距离分量，
Figure 863064DEST_PATH_IMAGE015
为自然常数，所述夹角分量为引脚连通域对应的夹角，所述距离分量为引脚连通域的中心与极性标记的圆心之间的距离。
作为一个示例，本发明实施例中预设第一阈值为0.9。
可选的，可以对上述过程中匹配成功的引脚连通域进行进一步的分析，包括：
利用步骤S102中表面图像中像素点的单位法向量的获得方法，获得表面图像中像素点的单位法向量，并进一步获得像素点的高度梯度，
Figure 440849DEST_PATH_IMAGE031
，
Figure 132468DEST_PATH_IMAGE032
，其中p为水平高度梯度，q为竖直高度梯度，根据各像素点的水平及竖直高度梯度可以获得表面梯度图。
对于完成匹配的分别对应于待检测芯片以及标准芯片的引脚连通域，将待检测芯片对应的连通域作为第三连通域，将标准芯片对应的连通域作为第四连通域。
获得第三连通域在表面梯度图像中高度梯度以及第四连通域在标准梯度图像中高度梯度之间的相似度，当相似度小于预设第二阈值时，判定第三连通域存在缺陷。
作为一个示例，本发明实施例中预设第二阈值为0.8。
第三连通域在表面梯度图像中高度梯度以及第四连通域在标准梯度图像中高度梯度之间的相似度，包括：
Figure 599221DEST_PATH_IMAGE033
其中，
Figure 759813DEST_PATH_IMAGE009
为第三连通域在表面梯度图像中高度梯度以及第四连通域在标准梯度图像中高度梯度之间的相似度，
Figure 570381DEST_PATH_IMAGE010
为第三连通域中像素的数量，
Figure 149130DEST_PATH_IMAGE011
为第三连通域在表面梯度图像中第i个像素的水平高度梯度，
Figure 144374DEST_PATH_IMAGE012
为第四连通域在标准梯度图像中第i个像素的水平高度梯度，
Figure 542994DEST_PATH_IMAGE013
为第三连通域在表面梯度图像中第i个像素的竖直高度梯度，
Figure 439144DEST_PATH_IMAGE014
为第四连通域在表面梯度图像中第i个像素的竖直高度梯度，
Figure 980721DEST_PATH_IMAGE015
为自然常数。
标准梯度图像为标准芯片对应的表面梯度图像，高度梯度包括水平高度梯度及竖直高度梯度；将待检测芯片对应的各连通域中存在缺陷的各连通域组成待检测芯片中的缺陷区域。这样，可以进一步对完成匹配的各连通域进行分析，并筛选出其中可能存在的缺陷区域。
最后，控制机械手将存在缺陷区域的芯片挑选出来进行处理。
基于与上述方法相同的发明构思，本实施例还提供了一种电子设备芯片引脚缺陷检测系统，本实施例中电子设备芯片引脚缺陷检测系统包括存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现如电子设备芯片引脚缺陷检测方法实施例中所描述的对电子设备芯片引脚缺陷进行检测。
由于电子设备芯片引脚缺陷检测方法实施例中已经对电子设备芯片引脚缺陷进行检测的方法进行了说明，此处不再赘述。
综上所述，本发明提供了一种电子设备芯片引脚缺陷检测方法及系统，相比于现有技术，本发明实施例的有益效果至少包括：无需采集大量的存在缺陷的芯片样本，同时通过机器视觉的方法，避免了人工肉眼观察带来的主观性，从而提高了对芯片针脚的缺陷检测效率。
本发明中涉及诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本发明的方法和系统中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
上述实施例仅仅是为清楚地说明所做的举例，并不构成对本发明的保护范围的限制。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无需也无法对所有的实施方式予以穷举。凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (8)

1.一种电子设备芯片引脚缺陷检测方法，其特征在于，包括：
获取不同平行光源角度下待测芯片的多张表面图像；
利用光度立体法获得多张表面图像所对应的反射率图；
利用霍夫变换检测出表面图像中的芯片极性标记，所述极性标记为圆形；
对反射率图进行全局阈值分割获得二值图像，并获得二值图像中各引脚连通域；
分别获得各引脚连通域的中心，并获得各引脚连通域的中心所组成的多边形区域的形心；
获得依次由引脚连通域的中心、极性标记的圆心以及所述形心三点组成的夹角，分别将各引脚连通域对应的夹角以及引脚连通域的中心到极性标记的圆心之间的距离组成各引脚连通域对应的特征描述向量；
利用特征描述向量将待检测芯片的各引脚连通域分别与标准芯片对应的各引脚区域进行匹配，将未完成匹配的引脚连通域作为待检测芯片中的缺陷区域；
其中，利用特征描述向量将待检测芯片的各引脚连通域分别与标准芯片对应的各引脚区域进行匹配，包括：
步骤S201、从待检测芯片对应的各引脚连通域中任选一个未完成匹配的引脚连通域作为第一连通域；
步骤S202、从标准芯片对应的各引脚连通域中任选一个未完成匹配的引脚连通域作为第二连通域；
步骤S203、计算所述第一连通域对应的特征描述向量与第二连通域对应的特征描述向量的匹配程度，当所述匹配程度大于预设第一阈值时，判定所述第一连通域与所述第二连通域完成匹配；
重复执行步骤S201至S203，直至待检测芯片对应的各引脚连通域均完成匹配，或在标准芯片对应的各引脚连通域中不存在相匹配的引脚连通域。
2.根据权利要求1所述的电子设备芯片引脚缺陷检测方法，其特征在于，第一连通域对应的特征描述向量与第二连通域对应的特征描述向量的匹配程度的获得过程包括：
Figure 558788DEST_PATH_IMAGE001
其中，
Figure 443306DEST_PATH_IMAGE002
为第一连通域对应的特征描述向量与第二连通域对应的特征描述向量的匹配程度，
Figure 767583DEST_PATH_IMAGE003
为第一连通域对应的特征描述向量的夹角分量，
Figure 192486DEST_PATH_IMAGE004
为第二连通域对应的特征描述向量的夹角分量，
Figure 404197DEST_PATH_IMAGE005
为第一连通域对应的特征描述向量的距离分量，
Figure 725195DEST_PATH_IMAGE006
为第二连通域对应的特征描述向量的距离分量，
Figure DEST_PATH_IMAGE007
为自然常数，所述夹角分量为引脚连通域对应的夹角，所述距离分量为引脚连通域的中心与极性标记的圆心之间的距离。
3.根据权利要求1所述的电子设备芯片引脚缺陷检测方法，其特征在于，利用光度立体法获得多张表面图像所对应的反射率图，包括：
根据多张表面图像中像素点的像素值，构建光度立体数学模型；
通过光度立体数学模型分别计算得到表面图像中各像素点的反射率；
将像素点在表面图像中的反射率作为反射率图中的像素值。
4.根据权利要求1所述的电子设备芯片引脚缺陷检测方法，其特征在于，所述方法还包括：
利用光度立体法获得多张表面图像所对应的表面梯度图；
对于完成匹配的分别对应于待检测芯片以及标准芯片的任意两引脚连通域中，将待检测芯片对应的引脚连通域作为第三连通域，将标准芯片对应的引脚连通域作为第四连通域；
根据第三连通域在表面梯度图像中高度梯度以及第四连通域在标准梯度图像中高度梯度之间的相似度，判断第三连通域是否存在缺陷，所述标准梯度图像为标准芯片对应的表面梯度图像，所述高度梯度包括水平高度梯度及竖直高度梯度；
将待检测芯片对应的各引脚连通域中存在缺陷的各第三连通域组成待检测芯片中的缺陷区域。
5.根据权利要求4所述的电子设备芯片引脚缺陷检测方法，其特征在于，利用光度立体法获得多张表面图像所对应的表面梯度图，包括：
根据多张表面图像中像素点的像素值，构建光度立体数学模型；
通过光度立体数学模型分别计算表面图像中各像素点的单位法向量；
根据表面图像中像素点的单位法向量计算像素点分别在水平及竖直方向上的高度梯度；
根据像素点分别在水平及竖直方向上的高度梯度，获得表面图像对应的表面梯度图像。
6.根据权利要求5所述的电子设备芯片引脚缺陷检测方法，其特征在于，第三连通域在表面梯度图像中高度梯度以及第四连通域在标准梯度图像中高度梯度之间的相似度，包括：
Figure 533839DEST_PATH_IMAGE008
其中，
Figure 90329DEST_PATH_IMAGE009
为第三连通域在表面梯度图像中高度梯度以及第四连通域在标准梯度图像中高度梯度之间的相似度，
Figure 241431DEST_PATH_IMAGE010
为第三连通域中像素的数量，
Figure 271065DEST_PATH_IMAGE011
为第三连通域在表面梯度图像中第i个像素的水平高度梯度，
Figure 304355DEST_PATH_IMAGE012
为第四连通域在标准梯度图像中第i个像素的水平高度梯度，
Figure 241700DEST_PATH_IMAGE013
为第三连通域在表面梯度图像中第i个像素的竖直高度梯度，
Figure 184992DEST_PATH_IMAGE014
为第四连通域在表面梯度图像中第i个像素的竖直高度梯度，
Figure 448393DEST_PATH_IMAGE007
为自然常数。
7.根据权利要求4所述的电子设备芯片引脚缺陷检测方法，其特征在于，当第三连通域在表面梯度图像中高度梯度以及第四连通域在标准梯度图像中高度梯度之间的相似度小于预设第二阈值时，判定第三连通域存在缺陷。
8.一种电子设备芯片引脚缺陷检测系统，包括：存储器和处理器，其特征在于，所述处理器执行所述存储器存储的计算机程序，以实现如权利要求1-7中任一项所述的电子设备芯片引脚缺陷检测方法。
CN202210797045.0A 2022-07-08 2022-07-08 电子设备芯片引脚缺陷检测方法及系统 Active CN114882027B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210797045.0A CN114882027B (zh) 2022-07-08 2022-07-08 电子设备芯片引脚缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210797045.0A CN114882027B (zh) 2022-07-08 2022-07-08 电子设备芯片引脚缺陷检测方法及系统

Publications (2)

Publication Number Publication Date
CN114882027A true CN114882027A (zh) 2022-08-09
CN114882027B CN114882027B (zh) 2022-09-06

Family

ID=82683714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210797045.0A Active CN114882027B (zh) 2022-07-08 2022-07-08 电子设备芯片引脚缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN114882027B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030183925A1 (en) * 2002-04-02 2003-10-02 Mitsubishi Denki Kabushiki Kaisha Semiconductor module
CN105184770A (zh) * 2015-08-05 2015-12-23 哈尔滨工业大学 一种用于球栅阵列引脚芯片的焊球定位及其参数识别方法
CN109785316A (zh) * 2019-01-22 2019-05-21 湖南大学 一种芯片表观缺陷检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030183925A1 (en) * 2002-04-02 2003-10-02 Mitsubishi Denki Kabushiki Kaisha Semiconductor module
CN105184770A (zh) * 2015-08-05 2015-12-23 哈尔滨工业大学 一种用于球栅阵列引脚芯片的焊球定位及其参数识别方法
CN109785316A (zh) * 2019-01-22 2019-05-21 湖南大学 一种芯片表观缺陷检测方法

Also Published As

Publication number Publication date
CN114882027B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN108520514B (zh) 基于计算机视觉的印刷电路板电子元器一致性检测方法
KR100200215B1 (ko) 상관 신경 회로망을 이용한 납땜 검사 장치 및방법
JP2017049974A (ja) 識別器生成装置、良否判定方法、およびプログラム
KR102378186B1 (ko) 와이어링 하네스용 인공지능 외관검사 시스템
CN111507976B (zh) 基于多角度成像的缺陷检测方法及系统
CN110517265A (zh) 一种产品表面缺陷的检测方法、装置及存储介质
CN106501272B (zh) 机器视觉焊锡定位检测系统
CN113658155A (zh) 一种基于光度立体的物体表面瑕疵检测分析方法及装置
CN116433672B (zh) 基于图像处理的硅片表面质量检测方法
KR101782363B1 (ko) 데이터 밸런싱을 통한 학습기반의 비전검사 방법
CN116721066A (zh) 一种金属表面缺陷检测方法、装置和存储介质
CN116823822A (zh) 基于视觉特征的船艇钣金件焊接缺陷检测方法
CN114821274A (zh) 一种用于识别分合指示牌的状态的方法和设备
CN114549513A (zh) 零件识别方法、装置、质检方法、电子设备及存储介质
CN114882027B (zh) 电子设备芯片引脚缺陷检测方法及系统
US6845178B1 (en) Automatic separation of subject pixels using segmentation based on multiple planes of measurement data
US20030185432A1 (en) Method and system for image registration based on hierarchical object modeling
CN113614774A (zh) 用于目标涂层的图像数据中的缺陷检测的方法和系统
CN114187269B (zh) 小零器件表面缺陷边缘快速检测方法
Lin et al. X-ray imaging inspection system for blind holes in the intermediate layer of printed circuit boards with neural network identification
Zhang et al. Automatic optical defect inspection and dimension measurement of drill bit
WO2020124460A1 (zh) 图像获取方法及系统
Ye et al. Automatic optical apparatus for inspecting bearing assembly defects
CN115980059B (zh) 表面缺陷检测系统及其检测方法、装置、设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant