CN112701060B - 半导体芯片焊线的检测方法及装置 - Google Patents

半导体芯片焊线的检测方法及装置 Download PDF

Info

Publication number
CN112701060B
CN112701060B CN202110312419.0A CN202110312419A CN112701060B CN 112701060 B CN112701060 B CN 112701060B CN 202110312419 A CN202110312419 A CN 202110312419A CN 112701060 B CN112701060 B CN 112701060B
Authority
CN
China
Prior art keywords
image
bonding wire
chip
wire
arc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110312419.0A
Other languages
English (en)
Other versions
CN112701060A (zh
Inventor
张继华
邹伟金
吴垠
李观华
姜涌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gaoshi Technology Suzhou Co ltd
Original Assignee
Gaoshi Technology Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gaoshi Technology Suzhou Co ltd filed Critical Gaoshi Technology Suzhou Co ltd
Priority to CN202110312419.0A priority Critical patent/CN112701060B/zh
Publication of CN112701060A publication Critical patent/CN112701060A/zh
Application granted granted Critical
Publication of CN112701060B publication Critical patent/CN112701060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/30—Structural arrangements specially adapted for testing or measuring during manufacture or treatment, or specially adapted for reliability measurements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67253—Process monitoring, e.g. flow or thickness monitoring
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/14—Measuring as part of the manufacturing process for electrical parameters, e.g. resistance, deep-levels, CV, diffusions by electrical means
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/30—Structural arrangements specially adapted for testing or measuring during manufacture or treatment, or specially adapted for reliability measurements
    • H01L22/34—Circuits for electrically characterising or monitoring manufacturing processes, e. g. whole test die, wafers filled with test structures, on-board-devices incorporated on each die, process control monitors or pad structures thereof, devices in scribe line

Abstract

本申请是关于一种半导体芯片焊线的检测方法及装置。该方法包括：采用双目相机采集半导体芯片焊线的2D图像并采用分割神经网络对该图像进行线弧区域的分割处理，根据分割处理后的图像进行焊线的三维重建，根据三维重建得到的焊线三维模型实现对半导体芯片焊线的缺陷检测。本申请提供的方案，能够简化对检验装置的光源发射装置和成像装置的要求的同时提高焊线缺陷检测的准确性，便于工业场景的大规模应用。

Description

半导体芯片焊线的检测方法及装置
技术领域
本申请涉及计算机视觉技术领域，尤其涉及半导体芯片焊线的检测方法及装置。
背景技术
随着科技的进步，现代生产过程中的自动化程度不断提高，封装IC的产能大幅度提升，对其检测要求也不断提高。传统的人工检测不仅需要投入大量的人力和物力，且人工检测时的可控性较差，还会造成误检和漏检。
现有技术中，大多通过光源照射装置结合特定角度的成像装置，对IC Wire-Bonding制程中焊线的缺陷进行检测。由于线弧上存在曲率，部分线弧表面产生的反射光方向不一致，因此，通过特定角度的成像装置拍摄当前位置线弧的成像即可据此判断当前线弧是否存在塌陷、断线、线弧缺失等定性类型的缺陷。
但是上述方案存在以下技术缺陷：
针对四面都有线弧的单个半导体芯片，每个方向都需要专门特定角度的光源去打光以及相应的成像装置采集图像，装置数量多且对安装位置的要求高；同时，该装置安装调试过程操作繁琐。
发明内容
为克服相关技术中存在的问题，本申请提供一种半导体芯片焊线的检测方法及装置，该方法能够简化焊线缺陷检测对光源发射装置和成像装置的要求，且准确可靠的实现焊线的缺陷检测。
本申请第一方面提供一种半导体芯片焊线的检测方法，包括：
采集焊线的2D图像；所述2D图像包括：第一相机采集的第一图像和第二相机采集的第二图像；
通过分割神经网络对所述2D图像进行芯片线弧区域的分割处理，得到芯片线弧图像；
基于所述芯片线弧图像进行三维重建，得到焊线三维数据；所述焊线三维数据，包括：焊线三维模型和焊线点云数据；
基于所述焊线三维数据进行分析得到焊线的缺陷检测结果。
在一种实施方式中，所述分割神经网络，包括：DeepLab V3+网络；
所述DeepLab V3+网络，包括：编码器和解码器；
所述通过分割神经网络对所述2D图像进行分割处理，得到芯片线弧图像，包括：
采用编码器对所述2D图像进行特征提取，得到多尺度特征图；
采用解码器对所述多尺度特征图的线弧的边缘细节进行恢复，得到芯片线弧图像。
在一种实施方式中，所述编码器包括：深度卷积神经网络和空间金字塔池化模块；
所述空间金字塔池化模块包括：两个1×1的卷积层、三个3×3的空洞卷积层和一个全局平均池化层，其中三个3×3的空洞卷积层的rate值分别为6、12和18；
所述解码器包括：一个1×1的卷积层和一个3×3的卷积层；
所述采用编码器对所述2D图像进行特征提取，得到多尺度特征图，包括：
利用所述深度卷积神经网络对所述2D图像进行卷积处理，得到特征图A；
利用1×1的卷积层对所述特征图A处理，得到特征图B；
分别利用尺寸为3×3且rate值为6、尺寸为3×3且rate值为12和尺寸为3×3且rate值为18的空洞卷积层对所述特征图A处理，得到特征图C、D和E；
利用池化层对所述特征图A处理后，得到特征图F；
将所述特征图B至F进行concat拼接后，进行1×1的卷积运算，得到多尺度特征图；
所述采用解码器对所述多尺度特征图的边缘细节进行恢复，得到芯片线弧图像，包括：
利用1×1的卷积层对所述特征图A进行卷积运算，得到特征图H；
使用双线性插值法对所述多尺度特征图进行4倍上采样，得到特征图I；
将所述特征图H至I进行concat拼接后，依次进行3×3的卷积运算和4倍上采样，得到芯片线弧蒙版图像；
将所述芯片线弧蒙版图像与所述2D图像进行与运算，得到所述芯片线弧图像。
在一种实施方式中，所述分割神经网络是基于半导体IC焊线的数据集进行训练和测试后得到的。
在一种实施方式中，所述基于所述芯片线弧图像进行三维重建，得到焊线三维数据，包括：
对所述芯片线弧图像进行亮度归一化处理；
对归一化处理后的芯片线弧图像进行三维重建，得到焊线三维数据。
在一种实施方式中，所述对所述芯片线弧图像进行亮度归一化处理，包括：
根据以下计算公式对所述芯片线弧图像对进行亮度归一化；
Figure 110298DEST_PATH_IMAGE002
其中，dst(i,j)为归一化后（i,j）位置的像素点的取值；src(i,j)为归一化前（i,j）位置的像素点的取值；min(src(x,y))表示所述线弧图像中所有像素点的最小取值；max(src(x,y)) 表示所述线弧图像中所有像素点的最大取值；min为归一化区间的下限；max为归一化区间的上限。
在一种实施方式中，所述基于所述芯片线弧图像进行三维重建，得到焊线三维数据，包括：
对所述芯片线弧图像进行处理，生成线弧序号标记；
基于芯片线弧图像和线弧序号标记进行三维重建，得到所述第一图像和所述第二图像中线弧序号相互匹配的线弧三维数据；
基于所述线弧序号相互匹配的线弧三维数据，计算得到焊线三维数据。
在一种实施方式中，所述基于所述芯片线弧图像利用视差原理进行三维重建，得到焊线三维数据之后，包括：
对所述焊线三维数据进行点云去噪、尖峰过滤和平滑操作中的至少一种处理。
在一种实施方式中，所述基于所述焊线三维数据进行分析得到焊线的缺陷检测结果，包括：
获取焊线的预设三维模型；
计算所述焊线三维模型与所述预设三维模型的欧氏距离；
根据所述欧氏距离与预设阈值的比较结果，得到焊线的缺陷检测结果。
本申请第二方面提供一种半导体芯片焊线检测装置，包括：
光源发射模块、双目相机和数据处理模块；
所述双目相机包括：第一相机和第二相机；
所述光源发射模块位于所述双目相机与所述半导体芯片之间，用于在所述双目相机进行图像采集时提供光源；
所述第一相机与所述第二相机的光轴呈预设夹角，用于采集所述半导体芯片焊线的2D图像；
所述双目相机与数据处理模块连接，所述双目相机将采集到的图像数据传输至所述数据处理模块执行如上所述方法。
本申请提供的技术方案可以包括以下有益效果：
本技术方案采用双目立体视觉技术，利用双目相机采集半导体芯片焊线的2D图像，并基于得到的2D图像进行焊线的三维重建，得到焊线三维模型，根据焊线三维模型实现对焊线的缺陷检测。由于上述过程仅需要双目相机对整个半导体芯片进行2D图像的采集，对于光源与成像装置的位置并没有特定的要求，且对于光源仅要求其能在双目相机采集图像时提供光线，而无需对某一线弧提供特定方向的光线，因此，本技术方案对光源和成像系统的设计要求低，便于工业场景的大规模应用。另外，本技术方案在进行三维重建之前，利用分割神经网络对焊线的2D图像进行了分割处理，提取出了焊线部分，去除了无关像素点对重建焊线三维模型的干扰，从而保证了焊线缺陷检测的可靠性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请实施例示出的半导体芯片焊线的检测方法的流程示意图；
图2是本申请实施例示出的基于DeepLab V3+网络的芯片线弧分割方法的流程示意图；
图3是本申请实施例示出的基于芯片线弧图像进行三维重建的方法的流程示意图；
图4是本申请实施例示出的基于芯片线弧图像进行三维重建的方法的另一流程示意图；
图5是本申请实施例示出的半导体芯片焊线检测装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的优选实施方式。虽然附图中显示了本申请的优选实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
现有技术中，针对四面都有线弧的单个半导体芯片进行焊线缺陷检测的装置，每个方向都需要专门特定角度的光源去打光以及相应的成像装置采集图像，装置数量多且对安装位置的要求高；同时，该装置安装调试过程操作繁琐。
实施例1
针对上述问题，本申请实施例提供一种半导体芯片焊线的检测方法，能够简化对焊线检测装置的要求，并能提高焊线检测的可靠性。
以下结合附图详细描述本申请实施例的技术方案。
图1是本申请实施例示出的半导体芯片焊线的检测方法的流程示意图。
参见图1，所述半导体芯片焊线的检测方法，包括：
101、采集焊线的2D图像；
所述2D图像包括：第一相机采集的第一图像和第二相机采集的第二图像；
在本申请实施例中，所述第一图像和第二图像是不同相机针对半导体芯片同一位置进行图像采集得到的，两个图像之间具有对应关系。
需要说明的是，所述第一图像和所述第二图像的采集顺序并没有严格的限定，可以对所述第一图像和所述第二图像进行先后采集，或对两者进行同步采集。
可以理解的是，上述对于第一图像和第二图像的采集过程的描述仅是一种示例，不应该作为对本发明的限定。
102、通过分割神经网络对所述2D图像进行芯片线弧区域的分割处理，得到芯片线弧图像；
在本申请实施例中，所述分割神经网络是基于半导体IC焊线的数据集进行训练和测试后得到的。
在本申请实施例中，所述分割神经网络采用DeepLab V3+网络。
所述DeepLab V3+网络采用编码器和解码器架构。
在本申请实施例中，所述分割处理是为了将所述2D图像中，除了芯片线弧以外，包括焊接主板和芯片主体标识在内的无关像素进行剔除，以避免对焊线进行三维重建造成干扰。所述芯片线弧图像为基于经语义分割神经网络得到的线弧区域蒙版与所述2D图像处理得到的图像。
需要说明的是，所述第一图像和所述第二图像均需要经过所述分割处理，进行无关像素点的剔除，即步骤102得到的芯片线弧图像包括：第一图像经分割处理后得到的第一线弧图像和第二图像经分割处理后得到的第二线弧图像。
需要说明的是，在实际生产过程中，采用的分割神经网络包括但不限于上述DeepLab V3+网络，根据实际生产需要，可以采用DeepLab V3网络或U-Net语义分割模型。
可以理解的是，上述对于分割处理以及分割神经网络的描述仅是一种示例，不应该作为对本发明的限定。
103、基于所述芯片线弧图像进行三维重建，得到焊线三维数据；
所述焊线三维数据，包括：焊线三维模型和焊线点云数据；
在本申请实施例中，以芯片所在的三维空间建立三维坐标系，基于所述芯片线弧图像采用视差原理可以得到所述线弧的三维坐标信息，从而实现焊线的三维重建；所述焊线三维数据可以呈现所述线弧的深度信息。
上述过程可以理解为：基于所述芯片线弧图像中的第一线弧图像，可以识别出线弧在与第一相机的光轴垂直的平面上坐标信息，即第一维坐标和第二维坐标，但所述线弧在所述第一相机的光轴方向上的坐标信息无法通过所述第一线弧图像获取得到，因此，引入第二相机采集并处理后的图像，即所述第二线弧图像，由于第一相机与第二相机的光轴不平行，所述第二线弧图像可以呈现所述线弧在所述第一相机的光轴方向上的第三维坐标，即深度信息，从而实现了线弧的三维模型的构建。
点云数据指的是在一个三维坐标系统中的一组向量的集合，每一个点包含有三维坐标，有些可能含有颜色信息或反射强度信息。
在本申请实施例中，焊线点云数据是包含焊线三维坐标信息和反射强度信息的向量集合，根据所述焊线点云数据可以进行所述焊线的几何空间参数的精确测量。
可以理解的是，上述对于焊线点云数据的描述仅是本申请实施例给出的一个示例，不应该作为对本发明的限定。
可以理解的是，上述过程的描述仅是本申请实施例中为了便于理解给出的一种示例，不应该作为对本发明的限定。
104、基于所述焊线三维数据进行分析得到焊线的缺陷检测结果。
示例性的：
获取焊线的预设三维模型；
计算所述焊线三维模型与所述预设三维模型的欧氏距离；
根据所述欧氏距离与预设阈值的比较结果，得到焊线的缺陷检测结果。
在本申请实施例中，所述焊线的预设三维模型是塌陷焊线三维模型、断线焊线三维模型和线弧缺失焊线三维模型中的至少一种。
在本申请实施例中，若所述焊线三维模型与所述预设三维模型的欧氏距离小于所述预设阈值，则判定所述焊线的检测结果与所述预设三维模型对应的焊线缺陷类型一致；否则，则判定所述焊线合格。
需要说明的是，在实际生产过程中，可以对所述预设阈值进行调整，以满足生产环节对检测的要求。
在本申请实施例中，还可以采用另一方式实现线弧的缺陷检测：根据焊线的点云数据拟合出焊线的曲线方程，根据曲线方程可以进行焊线的线曲率变化检测，若焊线的线曲率存在超过预设的上限或下限的情况，则判断所述焊线存在塌陷缺陷。
需要说明的是，在实际应用过程中，可以按照实际检测条件和需求对检测的技术手段进行调整。
可以理解的是，上述对于缺陷检测的描述仅是一种示例，不应该作为对本发明的限定。
进一步地，在所述基于所述芯片线弧图像利用视差原理进行三维重建，得到焊线三维数据之后，还可以对所述焊线三维数据进行点云去噪、尖峰过滤和平滑操作中的至少一种处理。
可以理解的是，上述对于焊线三维数据进行预处理的描述仅是本申请实施例的一个示例，不应该作为本发明的限定。
本申请实施例提供了一种半导体芯片焊线的检测方法，采用双目立体视觉技术，利用双目相机采集半导体芯片焊线的2D图像，并基于得到的2D图像进行焊线的三维重建，得到焊线三维模型，根据焊线三维模型实现对焊线的缺陷检测。由于上述过程仅需要双目相机对整个半导体芯片进行2D图像的采集，对于光源与成像装置的位置并没有特定的要求，且对于光源仅要求其能在双目相机采集图像时提供光线，而无需对某一线弧提供特定方向的光线，因此，本技术方案对光源和成像系统的设计要求低，便于工业场景的大规模应用。另外，本技术方案在进行三维重建之前，利用分割神经网络对焊线的2D图像进行了分割处理，提取出了焊线部分，去除了无关像素点对重建焊线三维模型的干扰，从而保证了焊线缺陷检测的可靠性。
实施例2
本申请实施例对实施例1中的步骤102进行了设计，以达到精确分割线弧图像的目的。
图2为基于DeepLab V3+网络的芯片线弧分割方法的流程示意图。
请详见图2，所述基于DeepLab V3+网络的芯片线弧分割方法，包括：
201、采用编码器对所述2D图像进行特征提取，得到多尺度特征图；
在本申请实施例中，所述编码器包括：深度卷积神经网络和空间金字塔池化模块；所述空间金字塔池化模块包括：两个1×1的卷积层、三个3×3的空洞卷积层和一个全局平均池化层，其中三个3×3的空洞卷积层的rate值分别为6、12和18。
示例性的：
利用所述深度卷积神经网络对所述2D图像进行卷积处理，得到特征图A；
利用1×1的卷积层对所述特征图A处理，得到特征图B；
分别利用尺寸为3×3且rate值为6、尺寸为3×3且rate值为12和尺寸为3×3且rate值为18的空洞卷积层对所述特征图A处理，得到特征图C、D和E；
利用池化层对所述特征图A处理后，得到特征图F；
将所述特征图B至F进行concat拼接后，进行1×1的卷积运算，得到多尺度特征图；
需要说明的是，上述特征图B至F的获取步骤没有严格的时序限定，特征图B至F可以同时处理获得或按照任意的先后顺序获得。
需要说明的是，本申请实施例中，所述第一图像和所述第二图像均需要经过上述处理过程，即对所述第一图像和所述第二图像分别进行特征提取，得到第一多尺度特征图和第二多尺度特征图。
可以理解的是，上述对于解码器的描述仅是一种示例，不应该构成对本发明的限定。
202、采用解码器对所述多尺度特征图的线弧的边缘细节进行恢复，得到芯片线弧图像。
在本申请实施例中，所述解码器包括：一个1×1的卷积层和一个3×3的卷积层；
示例性的：
利用1×1的卷积层对所述特征图A进行卷积运算，得到特征图H；
使用双线性插值法对所述多尺度特征图进行4倍上采样，得到特征图I；
将所述特征图H至I进行concat拼接后，依次进行3×3的卷积运算和4倍上采样，得到芯片线弧蒙版图像；
将所述芯片线弧蒙版图像与所述2D图像进行与运算，得到所述芯片线弧图像。
可以理解的是，上述对于解码器的描述仅是本申请实施例中的一个示例，不应该作为对本发明的限定。
在本申请实施例中，所述concat拼接表示采用concat方式来进行特征融合的过程。
具体的，concat拼接的过程可以表述为：将输入的特征图的特征通道进行合并，得到一个特征通道数为输入特征图的特征通道数之和的目标特征图。
本申请实施例提供的基于DeepLab V3+网络的芯片线弧分割方法中，利用1×1的卷积层对所述特征图A进行卷积运算，提取到的低级特征可以呈现芯片线弧的细节信息；利用编码器对所述2D图像进行多次空洞卷积运算，提取到的高级特征可以提供芯片线弧的语义信息；将具有低级特征的特征图H与具有高级特征的特征图I进行拼接并卷积处理，即可得到分割准确且边缘细节完整的芯片线弧图像，从而为三维重建提供干净无噪声的图片源，提高了三维重建的准确性。
实施例3
本申请实施例对上述实施例1中的步骤103进行了设计。
图3为基于芯片线弧图像进行三维重建的方法的流程示意图。
请详见图3，所述基于芯片线弧图像进行三维重建的方法，包括：
301、对所述芯片线弧图像进行亮度归一化处理；
在本申请实施例中，根据以下计算公式对所述芯片线弧图像对进行亮度归一化：
Figure 827718DEST_PATH_IMAGE002
其中，dst(i,j)为归一化后（i,j）位置的像素点的取值；src(i,j)为归一化前（i,j）位置的像素点的取值；min(src(x,y))表示所述线弧图像中所有像素点的最小取值；max(src(x,y)) 表示所述线弧图像中所有像素点的最大取值；min为归一化区间的下限；max为归一化区间的上限。
可以理解的是，上述对于归一化处理的描述仅是本申请实施例中的一个示例，不作为对本发明的限定。
302、对归一化处理后的芯片线弧图像进行三维重建，得到焊线三维数据。
在本申请实施例中，以芯片所在的三维空间建立三维坐标系，基于所述归一化处理后的芯片线弧图像采用视差原理可以得到所述线弧的三维坐标信息，从而实现焊线的三维重建。
本申请实施例在焊线的三维重建步骤中增加了对芯片线弧图像进行亮度归一化的预处理环节，因线弧存在弧度，不可避免地会存在图像亮度差异，这种差异会导致三维重建过程中线弧图像匹配失败。针对上述问题，本申请实施例中的图像亮度归一化处理可以消除这种图像亮度差异，增加匹配的精度，减少视差求解的异常，从而提高三维重建的成功率和准确度。
实施例4
本申请实施例对上述实施例1中的步骤103进行了另一种设计。
图4为基于芯片线弧图像进行三维重建的方法的另一流程示意图。
请详见图4，所述基于芯片线弧图像进行三维重建的方法，包括：
401、对所述芯片线弧图像进行处理，生成线弧序号标记；
在本申请实施例中，所述线弧序号标记是为了对所述第一线弧图像和所述第二线弧图像中的同一根线弧形成一一对应的标记，以便在后续进行三维重建时，基于匹配的第一线弧图像和第二线弧图像进行线弧的三维模型构建。
需要说明的是，线弧序号标记的实现形式并不唯一，在实际应用过程中，可以采用编号的形式实现线弧在第一线弧图像和第二线弧图像的匹配，或采用标注框的形式进行标记。
可以理解的是，上述对于线弧序号标记的描述仅是本申请实施例中的一个示例，不应作为对本发明的限定。
402、基于芯片线弧图像和线弧序号标记进行三维重建，得到所述第一图像和所述第二图像中线弧序号相互匹配的线弧三维数据；
在本申请实施例中，基于芯片线弧图像和线弧序号标记，可以识别出同一线弧在第一线弧图像和第二线弧图像中的对应区域的图像；基于上述对应区域的图像利用视差原理，可以计算得到该线弧的线弧三维数据。
需要说明的是，在本申请实施例中，对所述半导体芯片的所有线弧均采用上述步骤401和步骤402的操作进行处理，从而得到所述半导体芯片上所有线弧的线弧三维数据。
可以理解的是，上述对于芯片线弧图像的描述仅是本申请实施例的一个示例，不应该作为对本发明的限定。
403、基于所述线弧序号相互匹配的线弧三维数据，计算得到焊线三维数据。
在本申请实施例中，基于所述线弧三维数据，结合半导体芯片与线弧的相对位置关系即可计算得到焊线三维数据。
本申请实施例中在芯片线弧图像的第一线弧图像和第二线弧图像中把同一线弧单独标记出来，实现了单根线弧在第一线弧图像和第二线弧图像中的匹配，并依据标记对单根线弧进行三维重建，避免出现在视差方向进行图像匹配的时候，由于搜索范围过大，搜索到不止一个最佳的匹配点，出现特征模糊，从而造成三维重建出错的问题；对半导体芯片上的每根线弧均执行上述操作，从而得到所有线弧的三维数据，从而建立半导体芯片焊线的三维数据，将原本庞大的计算过程进行了拆分，从而降低了运算负荷。
与前述应用功能实现方法实施例相对应，本申请还提供了一种半导体芯片焊线检测装置及相应的实施例。
实施例5
图5是本申请实施例示出的半导体芯片焊线检测装置的结构示意图。
参见图5，所述半导体芯片焊线检测装置，包括：
光源发射模块501、双目相机502和数据处理模块503；
所述双目相机502包括：第一相机5021和第二相机5022；
所述光源发射模块501位于所述双目相机502与所述半导体芯片504之间，用于在所述双目相机502进行图像采集时提供光源；
所述第一相机5021与所述第二相机5022的光轴呈预设夹角，用于采集所述半导体芯片焊线的2D图像；
所述双目相机502与数据处理模块503连接，所述双目相机502将采集到的图像数据传输至所述数据处理模块503执行上述半导体芯片焊线检测的方法。
在本申请实施例中，对所述光源发射模块并没有严格的限定，可以采用如图5所示的环形光源发射装置，或隧道光源装置，或圆顶光源装置；在实际生产过程中还可以依据使用场景来进行光源发射模块的选用。
可以理解的是，上述对于光源发射装置的描述仅是本申请实施例给出的一个示例，不应该作为对本发明的限定。
需要说明的是，在实际应用过程中，所述预设夹角可以依据实际需求进行设置，即预设夹角的取值不应该作为对本发明的限定。
在本申请实施例中，进一步地，数据处理模块可以包括：存储单元和处理单元。
处理单元可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储单元可以包括各种类型的存储单元，例如系统内存、只读存储器（ROM），和永久存储装置。其中，ROM可以存储处理器1020或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器1010可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器1010可以包括可读和/或写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD-ROM，双层DVD-ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro-SD卡等等）、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储单元上存储有可执行代码，当可执行代码被处理单元处理时，可以使处理单元执行上文述及的方法中的部分或全部。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
上文中已经参考附图详细描述了本申请的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本申请所必须的。另外，可以理解，本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减， 本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种非暂时性机器可读存储介质（或计算机可读存储介质、或机器可读存储介质），其上存储有可执行代码（或计算机程序、或计算机指令代码），当所述可执行代码（或计算机程序、或计算机指令代码）被电子设备（或电子设备、服务器等）的处理器执行时，使所述处理器执行根据本申请的上述方法的各个步骤的部分或全部。
本领域技术人员还将明白的是，结合这里的申请所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本申请的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (7)

1.一种半导体芯片焊线的检测方法，其特征在于，包括：
采集焊线的2D图像；所述2D图像包括：第一相机采集的第一图像和第二相机采集的第二图像；
通过分割神经网络对所述2D图像进行芯片线弧区域的分割处理，得到芯片线弧图像；
基于所述芯片线弧图像进行三维重建，得到焊线三维数据；所述焊线三维数据，包括：焊线三维模型和焊线点云数据；
基于所述焊线三维数据进行分析得到焊线的缺陷检测结果；
所述基于所述芯片线弧图像进行三维重建，得到焊线三维数据，包括：
对所述芯片线弧图像进行处理，生成线弧序号标记；
基于芯片线弧图像和线弧序号标记进行三维重建，得到所述第一图像和所述第二图像中线弧序号相互匹配的线弧三维数据；
基于所述线弧序号相互匹配的线弧三维数据，计算得到焊线三维数据。
2.根据权利要求1所述的半导体芯片焊线的检测方法，其特征在于，
所述分割神经网络，包括：DeepLab V3+网络；
所述DeepLab V3+网络，包括：编码器和解码器；
所述通过分割神经网络对所述2D图像进行分割处理，得到芯片线弧图像，包括：
采用编码器对所述2D图像进行特征提取，得到多尺度特征图；
采用解码器对所述多尺度特征图的线弧的边缘细节进行恢复，得到芯片线弧图像。
3.根据权利要求2所述的半导体芯片焊线的检测方法，其特征在于，
所述编码器包括：深度卷积神经网络和空间金字塔池化模块；
所述空间金字塔池化模块包括：两个1×1的卷积层、三个3×3的空洞卷积层和一个全局平均池化层，其中三个3×3的空洞卷积层的rate值分别为6、12和18；
所述解码器包括：一个1×1的卷积层和一个3×3的卷积层；
所述采用编码器对所述2D图像进行特征提取，得到多尺度特征图，包括：
利用所述深度卷积神经网络对所述2D图像进行卷积处理，得到特征图A；
利用1×1的卷积层对所述特征图A处理，得到特征图B；
分别利用尺寸为3×3且rate值为6、尺寸为3×3且rate值为12和尺寸为3×3且rate值为18的空洞卷积层对所述特征图A处理，得到特征图C、D和E；
利用池化层对所述特征图A处理后，得到特征图F；
将所述特征图B至F进行concat拼接后，进行1×1的卷积运算，得到多尺度特征图；
所述采用解码器对所述多尺度特征图的边缘细节进行恢复，得到芯片线弧图像，包括：
利用1×1的卷积层对所述特征图A进行卷积运算，得到特征图H；
使用双线性插值法对所述多尺度特征图进行4倍上采样，得到特征图I；
将所述特征图H至I进行concat拼接后，依次进行3×3的卷积运算和4倍上采样，得到芯片线弧蒙版图像；
将所述芯片线弧蒙版图像与所述2D图像进行与运算，得到所述芯片线弧图像。
4.根据权利要求1所述的半导体芯片焊线的检测方法，其特征在于：
所述分割神经网络是基于半导体IC焊线的数据集进行训练和测试后得到的。
5.根据权利要求1所述的半导体芯片焊线的检测方法，其特征在于，所述基于所述芯片线弧图像利用视差原理进行三维重建，得到焊线三维数据之后，包括：
对所述焊线三维数据进行点云去噪、尖峰过滤和平滑操作中的至少一种处理。
6.根据权利要求1所述的半导体芯片焊线的检测方法，其特征在于，所述基于所述焊线三维数据进行分析得到焊线的缺陷检测结果，包括：
获取焊线的预设三维模型；
计算所述焊线三维模型与所述预设三维模型的欧氏距离；
根据所述欧氏距离与预设阈值的比较结果，得到焊线的缺陷检测结果。
7.一种半导体芯片焊线检测装置，包括：
光源发射模块、双目相机和数据处理模块；
所述双目相机包括：第一相机和第二相机；
所述光源发射模块位于所述双目相机与所述半导体芯片之间，用于在所述双目相机进行图像采集时提供光源；
所述第一相机与所述第二相机的光轴呈预设夹角，用于采集所述半导体芯片焊线的2D图像；
所述双目相机与数据处理模块连接，所述双目相机将采集到的图像数据传输至所述数据处理模块执行如权利要求1-6中任一项所述的方法。
CN202110312419.0A 2021-03-24 2021-03-24 半导体芯片焊线的检测方法及装置 Active CN112701060B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110312419.0A CN112701060B (zh) 2021-03-24 2021-03-24 半导体芯片焊线的检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110312419.0A CN112701060B (zh) 2021-03-24 2021-03-24 半导体芯片焊线的检测方法及装置

Publications (2)

Publication Number Publication Date
CN112701060A CN112701060A (zh) 2021-04-23
CN112701060B true CN112701060B (zh) 2021-08-06

Family

ID=75515618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110312419.0A Active CN112701060B (zh) 2021-03-24 2021-03-24 半导体芯片焊线的检测方法及装置

Country Status (1)

Country Link
CN (1) CN112701060B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554054A (zh) * 2021-06-04 2021-10-26 奕目(上海)科技有限公司 基于深度学习的半导体芯片金线缺陷分类方法及系统
CN114388418B (zh) * 2021-12-28 2022-12-13 凌波微步半导体设备(常熟)有限公司 一种半导体焊线机的闭环位置补偿方法及系统
CN114898357B (zh) * 2022-07-12 2022-10-18 深圳思谋信息科技有限公司 缺陷识别方法、装置、电子设备及计算机可读存储介质
CN117853559A (zh) * 2024-03-05 2024-04-09 上海楷领科技有限公司 一种基于芯片二维数据获取三维数据的方法及其相关装置
CN117830316B (zh) * 2024-03-05 2024-05-07 深圳市远望工业自动化设备有限公司 汽车油箱表面焊接缺陷检测方法及相关装置
CN117853482B (zh) * 2024-03-05 2024-05-07 武汉软件工程职业学院(武汉开放大学) 一种基于多尺度的复合材料缺陷检测方法和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573635A (zh) * 2014-12-17 2015-04-29 华南理工大学 一种基于三维重建的微小高度识别方法
CN109219730A (zh) * 2017-05-02 2019-01-15 精益视觉科技私人有限公司 使用多视图立体视觉进行引脚角度检查的系统和方法
CN111260773A (zh) * 2020-01-20 2020-06-09 深圳市普渡科技有限公司 小障碍物的三维重建方法、检测方法及检测系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3384442B2 (ja) * 1998-06-26 2003-03-10 Ｎｅｃ化合物デバイス株式会社 ボンディングワイヤ不良検出方法
US6784662B2 (en) * 2001-03-19 2004-08-31 Jentek Sensors, Inc. Eddy current sensor arrays having drive windings with extended portions
CN104713885B (zh) * 2015-03-04 2017-06-30 中国人民解放军国防科学技术大学 一种用于pcb板在线检测的结构光辅助双目测量方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573635A (zh) * 2014-12-17 2015-04-29 华南理工大学 一种基于三维重建的微小高度识别方法
CN109219730A (zh) * 2017-05-02 2019-01-15 精益视觉科技私人有限公司 使用多视图立体视觉进行引脚角度检查的系统和方法
CN111260773A (zh) * 2020-01-20 2020-06-09 深圳市普渡科技有限公司 小障碍物的三维重建方法、检测方法及检测系统

Also Published As

Publication number Publication date
CN112701060A (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
CN112701060B (zh) 半导体芯片焊线的检测方法及装置
CN112767398B (zh) 晶圆缺陷的检测方法及装置
US7162073B1 (en) Methods and apparatuses for detecting classifying and measuring spot defects in an image of an object
US8831334B2 (en) Segmentation for wafer inspection
US9171364B2 (en) Wafer inspection using free-form care areas
US7162089B2 (en) Method for segmenting and recognizing an image in industry radiation imaging
CN109447979B (zh) 基于深度学习和图像处理算法的目标检测方法
KR20020077420A (ko) 시험편의 주조 결함을 자동으로 검출하는 검출 방법
CN112858318B (zh) 屏幕异物缺陷与灰尘的区分方法、电子设备及存储介质
CN112734756B (zh) 基于光度立体视觉的检测方法及系统
JPH0676062A (ja) 画像処理装置
CN112767399B (zh) 半导体焊线缺陷检测方法、电子设备及存储介质
O'Byrne et al. A stereo‐matching technique for recovering 3D information from underwater inspection imagery
CN107358624B (zh) 单目稠密即时定位与地图重建方法
CN113160176A (zh) 缺陷检测方法和装置
CN117214178A (zh) 一种用于包装生产线上包装件外观缺陷智能识别方法
CN113628212B (zh) 不良偏光片识别方法、电子设备和存储介质
WO2023026703A1 (ja) 画像解析装置、方法及びプログラム
CN114018215B (zh) 基于语义分割的单目测距方法、装置、设备及存储介质
CN115983364A (zh) 图像处理模型的训练方法、图像处理方法及装置
CN115526817A (zh) 三角立体相机视觉定位系统、方法及终端
CN112802014A (zh) Led的漏焊缺陷的检测方法、装置、设备及储存介质
Munisankar et al. Defect detection in printed board circuit using image processing
Vidas Performance Evaluation of Stereo Reconstruction Algorithms on NIR Images
Saeed Visual Odometry for Autonomous Vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 215163 rooms 101, 102, 901 and 902, floor 1, building 11, 198 Jialingjiang Road, high tech Zone, Suzhou City, Jiangsu Province

Applicant after: Gaoshi Technology (Suzhou) Co.,Ltd.

Address before: 516000 west side of the fourth floor, building CD, science and technology entrepreneurship center, No.2, South Huatai Road, Huinan hi tech Industrial Park, huiao Avenue, Huicheng District, Huizhou City, Guangdong Province

Applicant before: HUIZHOU GOVION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210423

Assignee: Suzhou Gaoshi Semiconductor Technology Co.,Ltd.

Assignor: Gaoshi Technology (Suzhou) Co.,Ltd.

Contract record no.: X2021990000430

Denomination of invention: Detection method and device of semiconductor chip welding wire

License type: Common License

Record date: 20210722

EE01 Entry into force of recordation of patent licensing contract
CP03 Change of name, title or address

Address after: 215129 Rooms 101, 102, 901, 902, Floor 9, Building 11, No. 198, Jialing River Road, High tech Zone, Suzhou City, Jiangsu Province

Patentee after: Gaoshi Technology (Suzhou) Co.,Ltd.

Address before: 215163 rooms 101, 102, 901 and 902, floor 1, building 11, 198 Jialingjiang Road, high tech Zone, Suzhou City, Jiangsu Province

Patentee before: Gaoshi Technology (Suzhou) Co.,Ltd.

CP03 Change of name, title or address