CN112767399B - 半导体焊线缺陷检测方法、电子设备及存储介质 - Google Patents

半导体焊线缺陷检测方法、电子设备及存储介质 Download PDF

Info

Publication number
CN112767399B
CN112767399B CN202110370720.7A CN202110370720A CN112767399B CN 112767399 B CN112767399 B CN 112767399B CN 202110370720 A CN202110370720 A CN 202110370720A CN 112767399 B CN112767399 B CN 112767399B
Authority
CN
China
Prior art keywords
semiconductor
point cloud
bonding wire
welding line
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110370720.7A
Other languages
English (en)
Other versions
CN112767399A (zh
Inventor
张继华
李国晓
王巧彬
邹伟金
姜涌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gaoshi Technology Suzhou Co ltd
Original Assignee
Gaoshi Technology Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gaoshi Technology Suzhou Co ltd filed Critical Gaoshi Technology Suzhou Co ltd
Priority to CN202110370720.7A priority Critical patent/CN112767399B/zh
Publication of CN112767399A publication Critical patent/CN112767399A/zh
Application granted granted Critical
Publication of CN112767399B publication Critical patent/CN112767399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Manufacturing & Machinery (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

本申请是关于一种半导体焊线缺陷检测方法。该方法包括：通过光谱共焦3D成像系统扫描半导体焊线产品，得到半导体初始点云；对半导体初始点云进行点云过滤处理，获取半导体检测点云；对半导体检测点云进行图像转换处理，获取可视化深度图，可视化深度图中像素点的深度值对应表示为像素点的像素值；在可视化深度图中提取出待测半导体焊线的焊线检测图像；根据焊线检测图像建立焊线检测点云；将焊线检测点云与标准焊线点云对比，标准焊线点云根据焊线标准形态数据范围生成，若焊线检测点云与标准焊线点云不匹配，则判断待测半导体焊线存在缺陷。本申请提供的方案，能够准确有效检测出半导体焊线的缺陷，提高半导体焊线产品的生产质量。

Description

半导体焊线缺陷检测方法、电子设备及存储介质
技术领域
本申请涉及缺陷检测技术领域，尤其涉及半导体焊线缺陷检测方法、电子设备及存储介质。
背景技术
机器视觉检测在半导体生产制造行业中得到了越来越广泛的应用，但是目前大部分都是基于2D成像的检测方式，只能检测出半导体固晶方面的缺陷，对于半导体焊线的缺陷检测就无法达到理想效果，难以还原焊线的高度信息，很难检测出需要通过焊线实际高度反应的缺陷。对半导体焊线进行三维成像，即可直观有效地反映焊线的形态结构，但是在半导体焊线相对密集的情况下，直接通过三维成像来进行缺陷检测也保证不了准确率，计算效率也不高。
在现有技术中，公开号为CN100495751的专利（一种带半导体缺陷检测装置的焊线机）中，提出一种半导体缺陷检测方法，通过激励光汇聚后并定位照射在半导体芯片上，检测装置提取检测信号并把获取的检测信号输入到检测控制及信号采集处理装置，检测半导体的功能状态和焊接质量。
上述现有技术存在以下缺点：
不能反映焊线的实际高度，不能检测出需要通过焊线实际高度反应的缺陷。因此，需要研发一种采用光谱共焦3D成像系统扫描半导体焊线获取点云数据的方式来进行半导体焊线缺陷检测的方法。
发明内容
为克服相关技术中存在的问题，本申请提供一种半导体焊线缺陷检测方法，该半导体焊线缺陷检测方法，能够准确有效检测出半导体焊线的缺陷，提高半导体焊线产品的生产质量。
本申请第一方面提供一种半导体焊线缺陷检测方法，包括：
通过光谱共焦3D成像系统扫描半导体焊线产品，得到半导体初始点云，半导体焊线产品中包含N个半导体物料，各个半导体物料中包含K条半导体焊线，N和K为大于1的整数；
对半导体初始点云进行点云过滤处理，获取半导体检测点云；
对半导体检测点云进行图像转换处理，获取可视化深度图，可视化深度图中像素点的深度值对应表示为像素点的像素值；
在可视化深度图中提取出待测半导体焊线的焊线检测图像；
根据焊线检测图像建立焊线检测点云，焊线检测点云中包含待测半导体焊线的形态特征数据；
将焊线检测点云与标准焊线点云对比，标准焊线点云根据焊线标准形态数据范围生成，若焊线检测点云与标准焊线点云不匹配，则判断待测半导体焊线存在缺陷。
在一种实施方式中，对半导体检测点云进行图像转换处理，包括：
根据半导体检测点云的水平坐标极值确定可视化深度图中各像素点的面积，水平坐标极值包括X轴极值以及Y轴极值；
可视化深度图中包含M个像素点，各个像素点的像素值根据半导体检测点云中水平坐标数据与各个像素点分别对应的水平坐标数据相同的区域位置的高度数据确定，高度数据根据半导体检测点云获取得到，M为大于1的整数，水平坐标数据包括X轴坐标数据以及Y轴坐标数据；
根据各个像素点的像素值以及各个像素点的面积生成可视化深度图。
在一种实施方式中，根据半导体检测点云的水平坐标极值确定可视化深度图中各像素点的面积，包括：
设定长度分辨率以及宽度分辨率；
根据长度分辨率以及X轴极值计算像素点长度；
根据宽度分辨率以及Y轴极值计算像素点宽度；
根据像素点长度以及像素点宽度计算像素点面积。
在一种实施方式中，在可视化深度图中提取出待测半导体焊线的焊线检测图像，包括：
通过模板匹配算法在可视化深度图中分别提取出N个半导体物料分别对应的半导体物料检测图像；
通过DeepLabV3+根据训练数据集训练得到的网络模型在半导体物料检测图像中进行提取，得到待测半导体焊线的焊线检测图像；
焊线检测图像中包含W个像素点，W为大于1且小于M的整数。
在一种实施方式中，得到待测半导体焊线的焊线检测图像之后，包括：
将焊线检测图像中包含的像素点个数与像素点数阈值对比，像素点数阈值为满足检测要求的最小像素点数量，像素点数阈值为大于1整数；
若W大于像素点数阈值，则执行根据焊线检测图像建立焊线检测点云的步骤；
若W小于像素点数阈值，则对W个像素点进行双边插值，直至W大于像素点数阈值。
在一种实施方式中，根据焊线检测图像建立焊线检测点云，包括：
根据焊线检测图像中各个像素点的像素值以及各个像素点对应的水平坐标数据建立焊线检测点云；
根据焊线检测点云获取待测半导体焊线的形态特征数据，形态特征数据包括焊线高度和焊线端点距离。
在一种实施方式中，将焊线检测点云与标准焊线点云对比，包括：
将待测半导体焊线的形态特征数据与焊线标准形态数据范围对比；
若焊线高度小于标准高度数据范围的下限值，则判断待测半导体焊线存在塌陷缺陷；
若焊线高度大于标准高度数据范围的上限值，则判断待测半导体焊线存在弧高缺陷；
若焊线端点距离大于标准焊线端点距离范围的上限值，则判断待测半导体焊线存在断线缺陷。
在一种实施方式中，对半导体初始点云进行点云过滤处理，包括：
对半导体初始点云中的噪声数据进行去除；
对半导体初始点云中的非目标扫描点进行滤除，非目标扫描点包括尖峰以及离群点；
对半导体初始点云进行空洞修补。
本申请第二方面提供一种电子设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当可执行代码被处理器执行时，使处理器执行如上所述的方法。
本申请第三方面提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器执行如上所述的方法。
本申请提供的技术方案可以包括以下有益效果：
通过光谱共焦3D成像系统扫描半导体焊线产品，对扫描得到的半导体初始点云进行点云过滤处理，获取半导体检测点云，对半导体检测点云进行图像转化处理后生成可视化深度图，在该可视化深度图中提取得到待测半导体焊线的焊线检测图像，根据焊线检测图像建立焊线检测点云，将焊线检测点云与根据焊线标准形态数据范围生成的标准焊线点云对比，若不匹配，则判断待测半导体焊线存在缺陷。相对于现有技术，本申请方案能够将三维点云图转换为二维深度图，在二维深度图中提取出单个待测半导体焊线的检测图像，根据该检测图像建立检测点云，判断检测点云与标准焊线点云的匹配性，针对性地判断对每个待测半导体焊线是否存在缺陷，提高半导体焊线的检测精度，提高半导体焊线产品的生产质量。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请实施例示出的半导体焊线缺陷检测方法实施例一的流程示意图；
图2是本申请实施例示出的半导体焊线缺陷检测方法实施例二的流程示意图；
图3是本申请实施例示出的半导体焊线缺陷检测方法实施例三的流程示意图；
图4是本申请实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的优选实施方式。虽然附图中显示了本申请的优选实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
实施例一
机器视觉检测在半导体生产制造行业中得到了越来越广泛的应用，但是目前大部分都是基于2D成像的检测方式，只能检测出半导体固晶方面的缺陷，对于半导体焊线的缺陷检测就无法达到理想效果，难以还原焊线的高度信息，很难检测出需要通过焊线实际高度反应的缺陷。对半导体焊线进行三维成像，即可直观有效地反映焊线的形态结构，但是在半导体焊线相对密集的情况下，直接通过三维成像来进行缺陷检测也保证不了准确率，计算效率也不高。在现有技术中，提出一种半导体缺陷检测方法，通过激励光汇聚后并定位照射在半导体芯片上，检测装置提取检测信号并把获取的检测信号输入到检测控制及信号采集处理装置，检测半导体的功能状态和焊接质量。但上述现有技术存在缺点，不能反映焊线的实际高度，不能检测出需要通过焊线实际高度反应的缺陷。因此，需要研发一种采用光谱共焦3D成像系统扫描半导体焊线获取点云数据的方式来进行半导体焊线缺陷检测的方法。
针对上述问题，本申请实施例提供一种半导体焊线缺陷检测方法，能够准确有效检测出半导体焊线的缺陷，提高半导体焊线产品的生产质量。
以下结合附图详细描述本申请实施例的技术方案。
图1是本申请实施例示出的半导体焊线缺陷检测方法实施例一的流程示意图。
请参阅图1，本申请实施例示出的半导体焊线缺陷检测方法实施例一包括：
101、通过光谱共焦3D成像系统扫描半导体焊线产品；
在本申请实施例中，光谱共焦3D成像系统包括了光谱共焦位移传感器以及精密运动平台，光谱共焦位移传感器安装固定在精密运动平台上，通过精密运动平台对系统整体水平度和产品的平整度进行校准，然后通过光谱共焦位移传感器对半导体焊线产品进行线扫成像。
光谱共焦位移传感器是一种通过光学色散原理建立距离与波长间的对应关系，利用光谱仪解码光谱信息，从而获得待测物的轮廓信息的装置。在本申请实施例中，该光谱共焦位移传感器由若干个点式传感器组成，投射到放置于移动平台上的待测物表面为一条由若干个离散点组成的线，对半导体焊线产品表面进行线扫成像就能得到该半导体焊线产品的3D点云图像，即半导体检测点云。
半导体焊线产品在实际应用中可以包括有LED焊线产品和IC焊线产品，是指在多个半导体固晶之后在各个晶片上端电极与基板支架之间利用金线进行焊接所形成的产品，其中，半导体焊线产品包含了N个半导体物料，半导体物料是指单个的半导体芯片，每个半导体物料中有K条半导体焊线进行焊接。
102、对半导体初始点云进行点云过滤处理；
在本申请实施例中，点云过滤处理主要根据三维点云的局部深度特征以及法向量特征去进行非目标扫描点的滤除，并通过空洞补齐算法对点云破洞进行修补，在经过点云过滤处理之后得到半导体检测点云。
103、对半导体检测点云进行图像转换处理；
对半导体检测点云进行图像转换处理，得到可视化深度图，深度图是指深度图像中的每个像素点的像素值可用于表征待测物中某一点距离成像设备的远近，直接反映了待测物可见表面的几何形状。在本申请实施例中，可视化深度图中像素点的深度值对应表示为像素点的像素值，即可视化深度图中各个像素点的像素值可以表示待测半导体焊线的形态特征数据。
104、在可视化深度图中提取出待测半导体焊线的焊线检测图像；
在本申请实施例中，首先分割提取出单个半导体物料的深度图，然后再从单个半导体物料的深度图中分割提取出待测半导体焊线的焊线检测图像，最终共可以提取得到N×K个焊线检测图像。
可以理解的是，不排除日后科技发展能够直接提取出待测半导体焊线的焊线检测图像，若发生这种情况，也应当被理解为本申请的保护思想内。
105、根据焊线检测图像建立焊线检测点云；
焊线检测图像是从可视化深度图中分割提取而得的，因此焊线检测图像本质上也是一个深度图，深度图经过坐标系转换可以转化为点云数据，因此能够根据焊线检测图像建立焊线检测点云。
106、将焊线检测点云与标准焊线点云对比，判断待测半导体焊线是否存在缺陷；
若焊线检测点云与标准焊线点云不匹配，则判断待测半导体焊线存在缺陷。
假设当前形态特征数据为焊线高度，焊线高度在焊线检测点云中能够获取得到，焊线高度为h，在标准焊线点云中的标准焊线高度范围为h1至h2，若h处于h1至h2之间，则认为当前检测的半导体焊线在高度上没有缺陷，若h不处于h1至h2之间，则认为当前检测的半导体焊线在高度上存在缺陷。
在实际应用中，半导体焊线的形态特征数据是多样的，例如还会有焊线端点距离，可根据实际应用情况选取适合的形态特征数据来进行待测半导体焊线缺陷的判断，此处描述仅为示例性的，不作唯一限定。
从上述实施例一可以看出以下有益效果：
通过光谱共焦3D成像系统扫描半导体焊线产品，对扫描得到的半导体初始点云进行点云过滤处理，获取半导体检测点云，对半导体检测点云进行图像转化处理后生成可视化深度图，在该可视化深度图中提取得到待测半导体焊线的焊线检测图像，根据焊线检测图像建立焊线检测点云，将焊线检测点云与根据焊线标准形态数据范围生成的标准焊线点云对比，若不匹配，则判断待测半导体焊线存在缺陷。相对于现有技术，本申请方案能够将三维点云图转换为二维深度图，在二维深度图中提取出单个待测半导体焊线的检测图像，根据该检测图像建立检测点云，判断检测点云与标准焊线点云的匹配性，针对性地判断对每个待测半导体焊线是否存在缺陷，提高半导体焊线的检测精度，提高半导体焊线产品的生产质量。
实施例二
为了便于理解，以下提供了半导体焊线缺陷检测方法的一个实施例进行说明，在实际应用中，在对半导体检测点云进行图像转换处理的过程中，会计算可视化深度图中的各个像素点的面积以及各个像素点的像素值，之后根据各个像素点的面积以及各个像素点的像素值生成可视化深度图。
图2是本申请实施例示出的半导体焊线缺陷检测方法实施例二的流程示意图。
请参阅图2，本申请实施例示出的半导体焊线缺陷检测方法实施例二包括：
201、通过光谱共焦3D成像系统扫描半导体焊线产品；
在本申请实施例中，步骤201的具体内容与上述实施例一中的步骤101内容相似，此处不作赘述。
202、对半导体初始点云进行点云过滤处理；
在本申请实施例中，点云过滤处理是对半导体初始点云进行降采样处理以及K近邻算法处理，得到半导体初始点云之中各个扫描点的高度信息、各个扫描点与点群的最小距离信息以及各个扫描点与切平面的距离信息，根据以上三种获取得到的信息分别判断半导体初始点云之中各个扫描点是否需要被更新或滤除，在完成更新或滤除之后，通过空洞补齐算法对点云中的空洞进行补齐，最终把半导体初始点云中的噪声数据进行去除并对包括尖峰以及离群点在内的非目标扫描点进行滤除，得到半导体检测点云。
203、根据半导体检测点云的水平坐标极值确定可视化深度图中各像素点的面积；
在本申请实施例中，水平坐标极值是指X轴极值以及Y轴极值，X轴极值是指半导体检测点云中在X轴上的极大值和极小值，Y轴极值是指半导体检测点云中在Y轴上的极大值和极小值。
设定长度分辨率以及宽度分辨率，长度分辨率与宽度分辨率均为根据工程上实际需求所设定的分辨率数值，用于参与计算像素点的长度和宽度。
像素点的长度根据长度分辨率以及X轴极值计算，示例性的，可以通过以下公式A进行计算，公式A为：
Figure DEST_PATH_IMAGE002A
其中，d1为像素点的长度，Xmax为X轴上的极大值，Xmin为X轴上的极小值，Xres为长度分辨率。
像素点的宽度根据宽度分辨率以及Y轴极值计算，示例性的，可以通过以下公式B进行计算，公式B为：
Figure DEST_PATH_IMAGE004A
其中，d2为像素点的宽度，Ymax为Y轴上的极大值，Ymin为Y轴上的极小值，Yres为宽度分辨率。
可以理解的是，以上对于像素点的长度和宽度的计算方法仅为示例性的，在实际应用中，可以通过其他方式进行计算，此处不作为像素点的长度和宽度计算方法的唯一限定。
204、确定可视化深度图中各像素点的像素值；
可视化深度图中包含M个像素点，各个像素点的像素值根据半导体检测点云中水平坐标数据与各个像素点分别对应的水平坐标数据相同的区域位置的高度数据确定，可以理解的是，在可视化深度图中各个像素点的水平坐标数据与半导体检测点云中具有对应水平坐标数据的区域位置能够一一对应，可视化深度图中各个像素点的像素值与半导体检测点云中对应区域的高度数据存在映射关系，高度数据根据半导体检测点云获取得到，水平坐标数据是指X轴坐标数据以及Y轴坐标数据。
205、生成可视化深度图；
根据各个像素点面积以及各个像素点对应的像素值生成可视化深度图。
206、在可视化深度图中提取出N个半导体物料检测图像；
通过模板匹配算法在可视化深度图中分别提取出N个半导体物料分别对应的半导体物料检测图像。
模板匹配算法是指在待识别图像中提取若干特征向量与模板对应的特征向量进行比较，计算图像与模板特征向量之间的距离，用最小距离法判定所属类别。
207、在各个半导体物料中提取出K个待测半导体焊线的焊线检测图像；
通过DeepLabV3+根据训练数据集训练得到的网络模型，利用该网络模型在半导体物料检测图像中进行提取，得到待测半导体焊线的焊线检测图像，在一个半导体物料检测图像中能够提取出K个待测半导体焊线对应的K个焊线检测图像。
由于焊线高度是一个三维空间的曲线，在提取时，常规的二值化处理方式已经不合适，因此在本申请实施例中，需要应用神经网络进行深度学习的方法，采用了DeepLabV3+网络模型作为神经网络，该DeepLabV3+网络模型是基于半导体焊线的训练数据集进行训练和测试后得到的。
从上述实施例二可以看出以下有益效果：
通过光谱共焦3D成像系统扫描半导体焊线产品，对扫描得到的半导体初始点云进行点云过滤处理，得到噪声小且平滑的半导体检测点云，根据半导体检测点云的水平坐标极值确定可视化深度图中各像素点的面积以及根据半导体检测点云的高度数据确定各个像素点的像素值，根据各个像素点面积以及各个像素点对应的像素值生成可视化深度图，从而完成半导体检测点云与可视化深度图之间的转换，转换完成后在可视化深度图中提取出半导体物料检测图像，在半导体物料检测图像中提取出焊线检测图像。相对于现有技术，本申请方案能够通过点云过滤处理减少半导体初始点云中的噪声点、尖峰和离群点等非目标扫描点，避免非目标扫描点对检测造成影响，提高半导体焊线检测的准确度，将过滤处理后的半导体检测点云转换成可视化深度图，可直观地明确各个半导体物料的位置与轮廓形态，提高分割半导体物料检测图像以及在半导体物料检测图像中分割焊线检测图像的准确度，避免在半导体物料和半导体焊线间距密集的情况下出现检测错误的情况。
实施例三
为了便于理解，以下提供了半导体焊线缺陷检测方法的一个实施例进行说明，在实际应用中，会根据提取出来的焊线检测图像建立焊线检测点云，将焊线检测点云与标准焊线点云进行对比，判断待测半导体焊线是否存在缺陷。
图3是本申请实施例示出的半导体焊线缺陷检测方法实施例三的流程示意图。
请参阅图3，本申请实施例示出的半导体焊线缺陷检测方法实施例三包括：
301、判断焊线检测图像中包含的像素点数是否满足检测要求；
在本申请实施例中，预设了一个判断焊线检测图像的像素点数是否能够满足检测要求的最小像素点数量阈值，即像素点数阈值，即默认若焊线检测图像中包含的像素点数小于像素点数阈值，则认为焊线检测图像中包含的像素点数不满足检测要求；即默认若焊线检测图像中包含的像素点数大于像素点数阈值，则认为焊线检测图像中包含的像素点数能够满足检测要求。
将焊线检测图像中包含的像素点个数与像素点数阈值对比，若W大于像素点数阈值，则执行根据焊线检测图像建立焊线检测点云的步骤；若W小于像素点数阈值，则对W个像素点进行双边插值，直至W大于像素点数阈值。
302、根据焊线检测图像建立焊线检测点云；
根据焊线检测图像中各个像素点的像素值以及各个像素点对应的水平坐标数据建立焊线检测点云，各个像素点的像素值与焊线检测点云中的高度数据存在映射关系，各个像素点对应的水平坐标数据与焊线检测点云中各点的水平坐标数据一一对应。
303、将焊线检测点云与标准焊线点云对比，判断待测半导体焊线是否存在缺陷；
在本申请实施例中，从焊线检测点云中的点云数据可以得出待测半导体焊线的形态特征数据，该形态特征数据包括但不限于焊线高度和焊线端点距离。
焊线标准形态数据范围是标准焊线点云的建立依据，标准焊线点云是预先建立的，因此标准焊线点云存有焊线标准形态数据范围。
因此将焊线检测点云与标准焊线点云对比相当于将待测半导体焊线的形态特征数据与焊线标准形态数据范围进行对比，若焊线高度小于标准高度数据范围的下限值，则判断待测半导体焊线存在塌陷缺陷；若焊线高度大于标准高度数据范围的上限值，则判断待测半导体焊线存在弧高缺陷；若焊线端点距离大于标准焊线端点距离范围的上限值，则判断待测半导体焊线存在断线缺陷。
假设标准高度数据范围为h1至h2且h1小于h2，那么认为标准高度数据范围的下限值即为h1，认为标准高度数据范围的上限值即为h2。假设标准焊线端点距离范围为小于D，那么认为标准焊线端点距离范围的上限值为D。
从上述实施例三可以看出以下有益效果：
通过判断焊线检测图像中像素点数满足检测要求之后，根据焊线检测图像建立焊线检测点云，将焊线检测点云与预先建立的标准焊线点云进行对比，判断待测半导体焊线是否存在缺陷以及得出缺陷类型。相对于现有技术，本申请方案能够在焊线检测点云中获取形态特征数据并将该形态特征数据与标准焊线点云中的焊线标准形态数据范围进行对比，根据判断结果确定待测半导体焊线是否存有缺陷，并可获悉该缺陷的类型，提高半导体焊线的检测精度，提高半导体焊线产品的生产质量。
与前述应用功能实现方法实施例相对应，本申请还提供了一种执行半导体焊线缺陷检测方法的电子设备及相应的实施例。
图4是本申请实施例示出的电子设备的结构示意图。
参见图4，电子设备1000包括存储器1010和处理器1020。
处理器1020可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器1010可以包括各种类型的存储单元，例如系统内存、只读存储器（ROM），和永久存储装置。其中，ROM可以存储处理器1020或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器1010可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器1010可以包括可读和/或写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD-ROM，双层DVD-ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro-SD卡等等）、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器1010上存储有可执行代码，当可执行代码被处理器1020处理时，可以使处理器1020执行上文述及的方法中的部分或全部。
上文中已经参考附图详细描述了本申请的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本申请所必须的。另外，可以理解，本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减， 本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种非暂时性机器可读存储介质（或计算机可读存储介质、或机器可读存储介质），其上存储有可执行代码（或计算机程序、或计算机指令代码），当所述可执行代码（或计算机程序、或计算机指令代码）被电子设备（或电子设备、服务器等）的处理器执行时，使所述处理器执行根据本申请的上述方法的各个步骤的部分或全部。
本领域技术人员还将明白的是，结合这里的申请所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本申请的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (9)

1.一种半导体焊线缺陷检测方法，其特征在于，包括：
通过光谱共焦3D成像系统扫描半导体焊线产品，得到半导体初始点云，所述半导体焊线产品中包含N个半导体物料，各个半导体物料中包含K条半导体焊线，所述N和所述K为大于1的整数；
对所述半导体初始点云进行点云过滤处理，获取半导体检测点云；
对所述半导体检测点云进行图像转换处理，获取可视化深度图，所述可视化深度图中像素点的深度值对应表示为所述像素点的像素值；
所述对所述半导体检测点云进行图像转换处理，包括：
根据所述半导体检测点云的水平坐标极值确定所述可视化深度图中各像素点的面积，所述水平坐标极值包括X轴极值以及Y轴极值；
所述可视化深度图中包含M个像素点，各个像素点的像素值根据所述半导体检测点云中水平坐标数据与各个像素点分别对应的水平坐标数据相同的区域位置的高度数据确定，所述高度数据根据所述半导体检测点云获取得到，所述M为大于1的整数，所述水平坐标数据包括X轴坐标数据以及Y轴坐标数据；
根据各个像素点的像素值以及各个像素点的面积生成所述可视化深度图；
在所述可视化深度图中提取出待测半导体焊线的焊线检测图像；
根据所述焊线检测图像建立焊线检测点云，所述焊线检测点云中包含所述待测半导体焊线的形态特征数据；
将所述焊线检测点云与标准焊线点云对比，所述标准焊线点云根据焊线标准形态数据范围生成，若所述焊线检测点云与所述标准焊线点云不匹配，则判断所述待测半导体焊线存在缺陷。
2.根据权利要求1所述的半导体焊线缺陷检测方法，其特征在于，
所述根据所述半导体检测点云的水平坐标极值确定所述可视化深度图中各像素点的面积，包括：
设定长度分辨率以及宽度分辨率；
根据所述长度分辨率以及所述X轴极值计算像素点长度；
根据所述宽度分辨率以及所述Y轴极值计算像素点宽度；
根据所述像素点长度以及所述像素点宽度计算所述像素点面积。
3.根据权利要求1所述的半导体焊线缺陷检测方法，其特征在于，
所述在所述可视化深度图中提取出待测半导体焊线的焊线检测图像，包括：
通过模板匹配算法在所述可视化深度图中分别提取出所述N个半导体物料分别对应的半导体物料检测图像；
通过DeepLabV3+根据训练数据集训练得到的网络模型在所述半导体物料检测图像中进行提取，得到所述待测半导体焊线的所述焊线检测图像；
所述焊线检测图像中包含W个像素点，所述W为大于1且小于M的整数。
4.根据权利要求3所述的半导体焊线缺陷检测方法，其特征在于，
所述得到所述待测半导体焊线的所述焊线检测图像之后，包括：
将所述焊线检测图像中包含的像素点个数与像素点数阈值对比，所述像素点数阈值为满足检测要求的最小像素点数量，所述像素点数阈值为大于1的整数；
若所述W大于所述像素点数阈值，则执行所述根据所述焊线检测图像建立焊线检测点云的步骤；
若所述W小于所述像素点数阈值，则对所述W个像素点进行双边插值，直至所述W大于所述像素点数阈值。
5.根据权利要求1所述的半导体焊线缺陷检测方法，其特征在于，
所述根据所述焊线检测图像建立焊线检测点云，包括：
根据所述焊线检测图像中各个像素点的像素值以及各个像素点对应的水平坐标数据建立所述焊线检测点云；
根据所述焊线检测点云获取所述待测半导体焊线的形态特征数据，所述形态特征数据包括焊线高度和焊线端点距离。
6.根据权利要求5所述的半导体焊线缺陷检测方法，其特征在于，
所述将所述焊线检测点云与标准焊线点云对比，包括：
将所述待测半导体焊线的所述形态特征数据与所述焊线标准形态数据范围对比；
若所述焊线高度小于标准高度数据范围的下限值，则判断所述待测半导体焊线存在塌陷缺陷；
若所述焊线高度大于标准高度数据范围的上限值，则判断所述待测半导体焊线存在弧高缺陷；
若所述焊线端点距离大于标准焊线端点距离范围的上限值，则判断所述待测半导体焊线存在断线缺陷。
7.根据权利要求1所述的半导体焊线缺陷检测方法，其特征在于，
所述对所述半导体初始点云进行点云过滤处理，包括：
对所述半导体初始点云中的噪声数据进行去除；
对所述半导体初始点云中的非目标扫描点进行滤除，所述非目标扫描点包括尖峰以及离群点；
对所述半导体初始点云进行空洞修补。
8.一种电子设备，其特征在于，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-7中任一项所述的方法。
9.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-7中任一项所述的方法。
CN202110370720.7A 2021-04-07 2021-04-07 半导体焊线缺陷检测方法、电子设备及存储介质 Active CN112767399B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110370720.7A CN112767399B (zh) 2021-04-07 2021-04-07 半导体焊线缺陷检测方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110370720.7A CN112767399B (zh) 2021-04-07 2021-04-07 半导体焊线缺陷检测方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112767399A CN112767399A (zh) 2021-05-07
CN112767399B true CN112767399B (zh) 2021-08-06

Family

ID=75691205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110370720.7A Active CN112767399B (zh) 2021-04-07 2021-04-07 半导体焊线缺陷检测方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112767399B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554054A (zh) * 2021-06-04 2021-10-26 奕目(上海)科技有限公司 基于深度学习的半导体芯片金线缺陷分类方法及系统
CN113344917B (zh) * 2021-07-28 2021-11-23 浙江华睿科技股份有限公司 一种检测方法、装置、电子设备及存储介质
CN114240944B (zh) * 2022-02-25 2022-06-10 杭州安脉盛智能技术有限公司 一种基于点云信息的焊接缺陷检测方法
CN115457032B (zh) * 2022-10-27 2023-03-24 苏州高视半导体技术有限公司 异常半导体的分检方法、分检机构、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279987A (zh) * 2013-06-18 2013-09-04 厦门理工学院 基于Kinect的物体快速三维建模方法
KR101549155B1 (ko) * 2014-12-18 2015-10-06 주식회사 누리공간산업 라이다 자료를 활용한 구조물의 직선경계 추출방법
CN109523501A (zh) * 2018-04-28 2019-03-26 江苏理工学院 一种基于降维和点云数据匹配的电池外观缺陷检测方法
CN109727282A (zh) * 2018-12-27 2019-05-07 南京埃克里得视觉技术有限公司 一种三维图像的尺度不变深度图映射方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279987A (zh) * 2013-06-18 2013-09-04 厦门理工学院 基于Kinect的物体快速三维建模方法
KR101549155B1 (ko) * 2014-12-18 2015-10-06 주식회사 누리공간산업 라이다 자료를 활용한 구조물의 직선경계 추출방법
CN109523501A (zh) * 2018-04-28 2019-03-26 江苏理工学院 一种基于降维和点云数据匹配的电池外观缺陷检测方法
CN109727282A (zh) * 2018-12-27 2019-05-07 南京埃克里得视觉技术有限公司 一种三维图像的尺度不变深度图映射方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于深度学习的焊缝缺陷检测方法研究;郑佳美;《中国优秀硕士学位论文全文数据库工程科技I辑》;20200815(第8期);第B022-234页 *
精选案例|键合线测量;聆光测量;《搜狐-https://www.sohu.com/a/312843510_100167255》;20190509;第1-2页 *

Also Published As

Publication number Publication date
CN112767399A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN112767399B (zh) 半导体焊线缺陷检测方法、电子设备及存储介质
JP6618478B2 (ja) 射影画像を用いた自動インライン検査及び計測
TWI672636B (zh) 對一晶圓上偵測之缺陷進行分類之方法、系統及非暫時性電腦可讀媒體
CN112767398B (zh) 晶圆缺陷的检测方法及装置
CN112734760B (zh) 半导体bump缺陷检测方法、电子设备及存储介质
KR102131897B1 (ko) 지형적인 속성들을 사용하는 결함 분류
US20130202188A1 (en) Defect inspection method, defect inspection apparatus, program product and output unit
JP5997039B2 (ja) 欠陥検査方法および欠陥検査装置
JP4894628B2 (ja) 外観検査方法および外観検査装置
CN112701060B (zh) 半导体芯片焊线的检测方法及装置
TWI532116B (zh) 晶圓對齊方法及系統
CN113160161B (zh) 目标边缘处缺陷的检测方法和装置
JP2015511310A (ja) ウエハ検査のためのセグメント化
CN111539927B (zh) 汽车塑料组合件紧固卡扣缺装检测装置的检测方法
CN111354047B (zh) 一种基于计算机视觉的摄像模组定位方法及系统
CN115527049A (zh) 一种引线框架引脚间距的高精度测量方法
JP2011007728A (ja) 欠陥検出方法、欠陥検出装置、および欠陥検出プログラム
CN111462099B (zh) 一种基于快速积分图监测的图像细胞区域定位方法
Pahwa et al. Automated void detection in TSVs from 2D X-ray scans using supervised learning with 3D X-ray scans
CN116824294A (zh) 一种基于小目标识别的焊料缺陷检测方法及系统
CN112802014B (zh) Led的漏焊缺陷的检测方法、装置、设备及储存介质
KR101637977B1 (ko) 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법
JP2710685B2 (ja) 外観検査による欠陥検出方法
Yu et al. New approach to vision-based BGA package inspection
JP2005128635A (ja) 画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 215163 rooms 101, 102, 901 and 902, floor 1, building 11, 198 Jialingjiang Road, high tech Zone, Suzhou City, Jiangsu Province

Applicant after: Gaoshi Technology (Suzhou) Co.,Ltd.

Address before: 516000 west side of the fourth floor, building CD, science and technology entrepreneurship center, No.2, South Huatai Road, Huinan hi tech Industrial Park, huiao Avenue, Huicheng District, Huizhou City, Guangdong Province

Applicant before: HUIZHOU GOVION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210507

Assignee: Suzhou Gaoshi Semiconductor Technology Co.,Ltd.

Assignor: Gaoshi Technology (Suzhou) Co.,Ltd.

Contract record no.: X2021990000430

Denomination of invention: Semiconductor welding wire defect detection method, electronic equipment and storage medium

License type: Common License

Record date: 20210722

EE01 Entry into force of recordation of patent licensing contract
CP03 Change of name, title or address

Address after: 215129 Rooms 101, 102, 901, 902, Floor 9, Building 11, No. 198, Jialing River Road, High tech Zone, Suzhou City, Jiangsu Province

Patentee after: Gaoshi Technology (Suzhou) Co.,Ltd.

Address before: 215163 rooms 101, 102, 901 and 902, floor 1, building 11, 198 Jialingjiang Road, high tech Zone, Suzhou City, Jiangsu Province

Patentee before: Gaoshi Technology (Suzhou) Co.,Ltd.

CP03 Change of name, title or address