CN116758088B - 一种bga植球的芯片检测方法及植球系统 - Google Patents
一种bga植球的芯片检测方法及植球系统 Download PDFInfo
- Publication number
- CN116758088B CN116758088B CN202311059039.6A CN202311059039A CN116758088B CN 116758088 B CN116758088 B CN 116758088B CN 202311059039 A CN202311059039 A CN 202311059039A CN 116758088 B CN116758088 B CN 116758088B
- Authority
- CN
- China
- Prior art keywords
- image
- chip
- welding spots
- ray
- vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 238000003466 welding Methods 0.000 claims abstract description 64
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 32
- 230000007246 mechanism Effects 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 11
- 229910000679 solder Inorganic materials 0.000 claims description 9
- 230000004907 flux Effects 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 238000002759 z-score normalization Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 238000005476 soldering Methods 0.000 claims description 5
- 238000010191 image analysis Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000011166 aliquoting Methods 0.000 claims description 3
- 230000002950 deficient Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012536 packaging technology Methods 0.000 description 2
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明公开了一种BGA植球的芯片检测方法及植球系统，包括采用2D视觉、3D视觉和X射线设备依次对待测芯片进行检测，并进行图像融合，获得包含多种图像信息的第一数据包；对第一数据包进行芯片焊点的识别和定位；建立卷积神经网络模型，通过卷积神经网络模型对芯片的焊点进行识别，以识别到芯片的不良焊点。通过结合2D视觉、3D视觉和X射线设备，对待检查的BGA植球芯片进行多角度、全方位的检测；通过多种类型的图像数据合并成一个统一的数据包，可以减少数据处理过程中的误差并提高处理效率，利用卷积神经网络模型对芯片的焊点进行精细的识别和定位，能够识别出各类不良焊点，并进行自动分拣，提高了检测工作的效率。
Description
技术领域
本发明涉及芯片加工领域，尤其涉及一种BGA植球的芯片检测方法及植球系统。
背景技术
随着微电子、微机电系统的快速发展，对集成电路封装技术提出了越来越高的要求，一种球栅阵列封装芯片被广泛应用于大规模集成电路中。该芯片封装技术中的焊球植球问题一直是最核心的问题，具体就是如何将数百颗焊球，准确地定位到器件基板的焊盘上。
现有技术中的植球设备在植球工艺完成后需要对芯片进行植球检测，从而判断焊接是否合格，然而常规的视觉检测，仅仅只能判断出空焊、少锡、浮高等情况，但是对于空洞、冷焊油污氧化等焊点，其外观正常，又有电气连接；对于这类焊点则难以准确检测到，即便检测到也需要耗费较多人力，导致检测成本较高，工时耗费较长，给芯片的分拣带来麻烦。
鉴于此，需要对现有技术中的植球设备加以改进，以解决焊点无法全方面检测的技术问题。
发明内容
本发明的目的在于提供一种BGA植球的芯片检测方法及植球系统，解决以上的技术问题。
为达此目的，本发明采用以下技术方案：
一种BGA植球的芯片检测方法，包括：
采用2D视觉、3D视觉和X射线设备依次对待测芯片进行检测，分别生成2D图像、3D图像和X射线图像；
对所述2D图像、3D图像和X射线图像进行图像融合，获得包含多种图像信息的第一数据包；
对所述第一数据包进行芯片焊点的识别和定位；
建立卷积神经网络模型，通过卷积神经网络模型对芯片的焊点进行识别，以识别到芯片的不良焊点；其中，所述卷积神经网络模型包括能够识别各类不良焊点的第二数据包；
对具有不良焊点的芯片进行分拣至第一通道，其余芯片则分拣至第二通道。
可选的，所述对所述2D图像、3D图像和X射线图像进行图像融合，获得包含多种图像信息的第一数据包，具体包括：
采用双线性插值分别对所述2D图像、3D图像和X射线图像进行尺寸和像素调整，分别生成同一尺寸和像素的第一图像、第二图像和第三图像；
对所述第一图像、第二图像和第三图像进行Z-Score标准化处理；
将所述第一图像、第二图像和第三图像进行图像融合，获得所述第一数据包。
可选的，所述对所述第一图像、第二图像和第三图像进行Z-Score标准化处理，具体包括：
分别计算所述第一图像、第二图像和第三图像的图像像素的均值和标准差；
将所述第一图像、第二图像和第三图像的图像像素分别减去所述均值，再除以所述标准差，得到标准像素值；
用所述标准像素值取代所述第一图像、第二图像和第三图像的图像像素，得到标准化的第一图像、第二图像和第三图像。
可选的，所述将所述第一图像、第二图像和第三图像进行图像融合，获得所述第一数据包，具体包括：
将所述第一图像储存于红色通道内，第二图像储存在绿色通道内，第三图像储存在蓝色通道内；
采用标准的图像合成技术将三个通道的图像信息合成为一幅RGB图像；
对所述RGB图像进行图像解析和处理，获得所述第一数据包。
可选的，所述建立卷积神经网络模型，具体包括：
定义卷积神经网络模型的架构；所述架构包括输入层，多个卷积层和池化层，以及全连接层；
通过重复实验获取多组原始图像数据组，对多组原始图像数据组进行人工标记，对其中焊点的不良种类进行分类；
对多组原始图像数据进行预处理，以对其图像大小进行调节和数据清洗；
将多组原始图像数据划分为训练集、验证集和测试集；
将训练集通过输入层输入到卷积神经网络模型中进行训练，结合所述人工标记对训练集进行不良焊点的识别，并保存训练过程中的模型参数；
采用验证集对所述训练集训练过程中评估模型的表现并进行参数调整，通过测试集在模型训练完成后评定模型的最终表现。
可选的，所述对具有不良焊点的芯片进行分拣至第一通道，之前还包括：
设置预设的公差范围，对识别到芯片的不良焊点进行误差补偿，对不良焊点的识别结果进行优化处理。
本发明还提供了一种BGA植球的植球系统，采用如上所述的芯片检测方法，所述植球系统包括：
输送组件，用于输送载有芯片的载板；
检测机构，所述检测机构包括2D视觉模块、3D视觉模块和X射线模块；2D视觉模块用于对芯片进行2D视觉检测，以生成2D图像；3D视觉模块用于对芯片进行3D视觉检测，以生成3D图像；X射线模块用于对芯片进行X射线检测，以生成X射线图像；
数据处理模块，用于对所述2D图像、3D图像和X射线图像进行数据处理，以识别芯片的不良焊点；
控制模块，用于控制所述输送组件运行；
其中，所述2D视觉模块、所述3D视觉模块和所述X射线模块依次设置于所述输送组件上。
可选的，所述BGA植球的植球系统还包括：
第一流水线，用于输送芯片至上料工位；
间距等分机构，用于将芯片从所述上料工位输送至所述输送组件上；
植球机构，设置于所述输送组件上方，用于对工件进行锡球的植球工作；
助焊剂机构，用于对芯片进行布助焊剂。
可选的，所述间距等分机构包括变距组件，以及设置于所述变距组件驱动端的多个夹爪体。
可选的，所述输送组件的一端设置有不良流水线和载具流水线。
与现有技术相比，本发明具有以下有益效果：通过结合2D视觉、3D视觉和X射线设备，对待检查的BGA植球芯片进行多角度、全方位的检测，可以准确地得到芯片的表面信息、形状信息和内部结构信息，有助于对芯片不同焊接不良类型的识别提供数据支撑；通过对2D、3D和X射线图像进行图像融合，将多种类型的图像数据合并成一个统一的数据包，可以减少数据处理过程中的误差并提高处理效率，使得识别过程更加准确和迅速；利用卷积神经网络模型对芯片的焊点进行精细的识别和定位，能够识别出各类不良焊点，对有不良焊点的芯片和无不良焊点的芯片进行自动分拣，提高了检测工作的效率，同时也保证了良品芯片的质量；整个检测过程的自动化和精密化使得测量结果更为准确、可靠，大大提高了BGA植球芯片检测的效率和质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
本说明书附图所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本实施例一的芯片检测方法的示意图之一；
图2为本实施例一的芯片检测方法的示意图之二；
图3为本实施例二的植球系统的整体结构示意图；
图4为本实施例二的植球系统的流水分布结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“上”、“下”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。需要说明的是，当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中设置的组件。
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
实施例一：
本发明提供了一种BGA植球的芯片检测方法，包括：
S1，采用2D视觉模块、3D视觉模块和X射线模块依次对待测芯片进行检测，分别生成2D图像、3D图像和X射线图像；使用了多种不同的设备来对芯片进行检测；2D视觉模块可以提供芯片的表面信息，3D视觉模块则能够得到芯片的形状或者深度信息，而X射线设备能检测到芯片的内部结构，从而可以获取到BGA芯片的多方位信息，有助于对芯片不同焊接不良类型的识别提供数据支撑。
S2，对所述2D图像、3D图像和X射线图像进行图像融合，获得包含多种图像信息的第一数据包；获得这些图像后，需要通过图像融合技术将其合并成一个包含多种图像信息的数据包。具体来说，这个数据包包含了2D图像、3D图像的信息和X射线的信息。建立同一的图像信息，从而有利于后续的卷积神经网络模型对同一芯片上的焊点进行识别，减少多次图像信息输入输出带来的误差。
S3，对所述第一数据包进行芯片焊点的识别和定位；对其进行初步的处理，包括灰度变化、平滑滤波，以准备进行焊点识别和定位，确定到芯片的焊点位置后，有助于以下的数据模型对于该位置的图像信息进行重点分析，以进行焊点合格测试；
S4，建立卷积神经网络模型，通过卷积神经网络模型对芯片的焊点进行识别，以识别到芯片的不良焊点；其中，所述卷积神经网络模型包括能够识别各类不良焊点的第二数据包；训练好的卷积神经网络模型可以用于识别出芯片不良的焊点。通过模型对像素进行分类，将可能是不良焊点的像素标记出来，通过将大量已知的合格焊点和不良焊点的图像送入模型训练，使模型学习到如何识别不良焊点。
S5，设置预设的公差范围，对识别到芯片的不良焊点进行误差补偿，对不良焊点的识别结果进行优化处理。帮助系统更准确地识别芯片的不良焊点。通过设置预设的公差范围，系统可以对目标和实际值之间的差距进行评估。如果识别结果落在公差范围内，那么系统将认定该焊点是有效的。如果识别结果落在公差范围之外，那么系统可以使用误差补偿技术来优化识别结果，减少误差，提高识别的准确性。这就使得对不良焊点的识别和检测更加准确，从而提高了芯片质量检测的可靠性。
S6，对具有不良焊点的芯片进行分拣至第一通道，其余芯片则分拣至第二通道。实现对于不合格芯片和合格芯片的分拣工作。
本发明的工作原理为：通过结合2D视觉、3D视觉和X射线设备，对待检查的BGA植球芯片进行多角度、全方位的检测，可以准确地得到芯片的表面信息、形状信息和内部结构信息，有助于对芯片不同焊接不良类型的识别提供数据支撑；通过对2D、3D和X射线图像进行图像融合，将多种类型的图像数据合并成一个统一的数据包，可以减少数据处理过程中的误差并提高处理效率，使得识别过程更加准确和迅速；利用卷积神经网络模型对芯片的焊点进行精细的识别和定位，能够识别出各类不良焊点，对有不良焊点的芯片和无不良焊点的芯片进行自动分拣，提高了检测工作的效率，同时也保证了良品芯片的质量；整个检测过程的自动化和精密化使得测量结果更为准确、可靠，大大提高了BGA植球芯片检测的效率和质量。
在本实施例中，所述步骤S2具体包括：
S21，采用双线性插值分别对所述2D图像、3D图像和X射线图像进行尺寸和像素调整，分别生成同一尺寸和像素的第一图像、第二图像和第三图像；双线性插值是一种插值方法，具有较好的图像平滑性，且可以保留图像的总体结构。在这步中，通过该方法对2D图像、3D图像和X射线图像进行尺寸和像素的调整，确保它们具有相同的尺寸和像素分布，以将它们更好的融合在一起。
S22，对所述第一图像、第二图像和第三图像进行Z-Score标准化处理；在准备将图像数据输入到神经网络之前，通过Z-Score标准化对各个图像信息进行处理，从而消除量纲，避免因为尺度问题导致的训练困难。Z-Score标准化的公式是：z=(x-μ)/σ，其中x为每个像素值，μ为所有像素值的平均值，σ为所有像素值的标准差。执行这个操作后，图像数据的平均值将为0，标准差为1。
S23，将所述第一图像、第二图像和第三图像进行图像融合，获得所述第一数据包。能够很好的整合多种类型的图像信息，对于复杂的芯片剥离检测问题，这种方法具有良好的促进作用。
在本实施例中，所述步骤S22具体包括：
S221，分别计算所述第一图像、第二图像和第三图像的图像像素的均值和标准差；关于第一图像、第二图像和第三图像，其像素值可以写成一个巨大的矩阵，需要遍历这个矩阵，将所有像素值相加，然后除以总的像素点的数量，得出的结果就是这个图像的均值（μ）。为了计算标准差（σ），需要再一次遍历这个矩阵，对每一个像素值减去均值的结果的平方求和，然后除以总的像素点的数量得到方差，最后对方差求平方根得到标准差。通过统计学的方法，对图片中所有像素的值进行计算得出。
S222，将所述第一图像、第二图像和第三图像的图像像素分别减去所述均值，再除以所述标准差，得到标准像素值；该过程将图像像素值转换到一个标准分数范围，使得处理后的像素值主要分布在-3到+3之间。这样可以消除像素值的量纲和散布范围，使数据符合标准正态分布。
S223，用所述标准像素值取代所述第一图像、第二图像和第三图像的图像像素，得到标准化的第一图像、第二图像和第三图像；标准化的第一图像、第二图像和第三图像有利于后续的图像融合过程的进行。
综述，在进行卷积神经网络训练之前，对图像进行Z-Score标准化处理的预处理步骤；这可以加快模型的收敛速度，提高模型的性能，并减小特征间的差异，减少模型训练过程中产生的偏差。
在本实施例中，所述步骤S23具体包括：
S231，将所述第一图像储存于红色通道内，第二图像储存在绿色通道内，第三图像储存在蓝色通道内；若原始图像是灰度图，那么这些图像就可以直接分配到RGB方案的各个通道；
S232，采用标准的图像合成技术将三个通道的图像信息合成为一幅RGB图像；
S233，对所述RGB图像进行图像解析和处理，获得所述第一数据包。得到RGB图像后，可以对其进行进一步的图像解析和处理，进行图像增强，特征提取。通过这些操作，能够获得更丰富的信息，这有助于提高模型的识别能力。从RGB图像提取的信息是创建第一数据包，这将作为训练卷积神经网络模型的输入。
在本实施例中，所述建立卷积神经网络模型，具体包括：
定义卷积神经网络模型的架构；所述架构包括输入层，多个卷积层和池化层，以及全连接层；其中，输入层用于卷积神经网络模型数据输入，卷积层应用一组可学习的滤波器，多个卷积层可以用于检测芯片图像数据中的焊点特征；池化层用来降低卷积层的输出数据的维数，减少模型的计算要求，并帮助提取更广泛的图像特征，可以帮助网络摆脱微小的转换，比如图像的小角度旋转，使得网络对于这类小变化具有不变性；全连接层用于整合前面层得到的所有特征，并进行分类或者回归的任务。
通过重复实验获取多组原始图像数据组，对多组原始图像数据组进行人工标记，对其中焊点的不良种类进行分类；
对多组原始图像数据进行预处理，以对其图像大小进行调节和数据清洗；以便多组原始图像数据能够正常地输入到卷积神经网络模型中。
将多组原始图像数据划分为训练集、验证集和测试集；训练集用于训练模型，验证集用于在训练过程中评估模型的表现并进行参数调整，测试集用于在模型训练完成后评估模型的最终表现。
将训练集通过输入层输入到卷积神经网络模型中进行训练，结合所述人工标记对训练集进行不良焊点的识别，并保存训练过程中的模型参数；对应模型参数构成所述第二数据包，存储着模型识别各类不良焊点的能力。
采用验证集对所述训练集训练过程中评估模型的表现并进行参数调整，通过测试集在模型训练完成后评定模型的最终表现。如果模型偏向于过拟合或者欠拟合，需要适当调整模型的参数，比如增加或减少模型的层数、更换激活函数、调整优化器或学习率，以改进模型的性能。
实施例二：
本发明还提供了一种BGA植球的植球系统，采用如实施例一所述的芯片检测方法，所述植球系统包括：
输送组件1，用于输送载有芯片的载板；
检测机构2，所述检测机构2包括2D视觉模块、3D视觉模块和X射线模块；2D视觉模块用于对芯片进行2D视觉检测，以生成2D图像；3D视觉模块用于对芯片进行3D视觉检测，以生成3D图像；X射线模块用于对芯片进行X射线检测，以生成X射线图像；
数据处理模块，用于对所述2D图像、3D图像和X射线图像进行数据处理，以识别芯片的不良焊点；使得能够综合并分析前述不同模块收集到的数据，从而精准地检测出焊点的状况；
控制模块，用于控制所述输送组件1运行；
其中，所述2D视觉模块、所述3D视觉模块和所述X射线模块依次设置于所述输送组件1上。上述的2D视觉模块、3D视觉模块以及X射线模块都是按顺序设置在输送组件1上，从而保证了芯片的连续性检测，提高了检测效率。
工作时，系统主要依靠输送组件1来传送载有芯片的载板，使得载板通过系统上的2D视觉模块、3D视觉模块和X射线模块。当载板通过这些模块时，模块对芯片进行相应的2D、3D和X射线检测，分别生成2D图像、3D图像和X射线图像。然后，这些图像被传送到数据处理模块，该模块通过融合和分析这些图像信息，以识别芯片上的不良焊点。控制模块控制所有的操作，包括输送组件1的运行，以确保检测过程的流畅进行。
综上，本植球系统具有以下优点：1、可靠性：整个系统是自动化的，保证检测结果的可靠性。
2、高效率：由于使用自动化流程，系统提高了检测过程的效率，可以在短时间内处理大量芯片。
3、精确性：系统通过2D视觉、3D视觉和X射线设备进行详细检测，并采用数据处理模块分析生成的图像，使得无论是表面还是内部的焊点，都能被精确地检测出，大大提高了检测的准确性。
4、控制模块使得整个系统操作起来十分直观和方便，无需大量的专业知识，只需一些基本的操作及维护技能，即可有效地运行和管理系统。
在本实施例中，所述植球系统还包括：
第一流水线3，用于输送芯片至上料工位；
间距等分机构4，用于将芯片从所述上料工位输送至所述输送组件1上；
植球机构5，设置于所述输送组件1上方，用于对工件进行锡球的植球工作；
助焊剂机构6，用于对芯片进行布助焊剂。
在本实施例中，所述间距等分机构4包括变距组件41，以及设置于所述变距组件41驱动端的多个夹爪体42。间距等分机构4的主要功能是调整芯片之间的距离，以适应输送组件1和其他机构的需求。它能够确保芯片在输送过程中的合理搁置，保证后续流程如视觉检测、植球和布助焊剂的准确进行。
这种布局使间距等分机构4能够对芯片进行精准的夹取和排布，不仅减少了运动过程中的位置偏移，也提高了植球机构5和助焊剂机构在操作过程中的准确度，从而提高整个系统的工作效率和精度。
在本实施例中，所述输送组件1的一端设置有不良流水线7和载具流水线8。通过将具有不良焊点的芯片通过不良流水线7进行下料，下料完成的载具通过载具流水线8进行回收利用。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种BGA植球的芯片检测方法，其特征在于，包括：
采用2D视觉、3D视觉和X射线设备依次对待测芯片进行检测，分别生成2D图像、3D图像和X射线图像；
对所述2D图像、3D图像和X射线图像进行图像融合，获得包含多种图像信息的第一数据包；
对所述第一数据包进行芯片焊点的识别和定位；
建立卷积神经网络模型，通过卷积神经网络模型对芯片的焊点进行识别，以识别到芯片的不良焊点；其中，所述卷积神经网络模型包括能够识别各类不良焊点的第二数据包；
对具有不良焊点的芯片进行分拣至第一通道，其余芯片则分拣至第二通道；
所述对所述2D图像、3D图像和X射线图像进行图像融合，获得包含多种图像信息的第一数据包，具体包括：
采用双线性插值分别对所述2D图像、3D图像和X射线图像进行尺寸和像素调整，分别生成同一尺寸和像素的第一图像、第二图像和第三图像；
对所述第一图像、第二图像和第三图像进行Z-Score标准化处理；
将所述第一图像、第二图像和第三图像进行图像融合，获得所述第一数据包；
所述对所述第一图像、第二图像和第三图像进行Z-Score标准化处理，具体包括：
分别计算所述第一图像、第二图像和第三图像的图像像素的均值和标准差；所述图像像素的均值和标准差的计算过程为：将所述第一图像、第二图像和第三图像的像素值分别定义成一个矩阵，通过遍历所述矩阵，将所有像素值相加，然后除以总的像素点的数量，得到对应图像的均值；之后再一次遍历所述矩阵，对每一个像素值减去均值的结果的平方求和，然后除以总的像素点的数量得到方差，最后对方差求平方根得到标准差；
将所述第一图像、第二图像和第三图像的图像像素分别减去所述均值，再除以所述标准差，得到标准像素值；将图像像素值转换到一个标准分数范围，使得处理后的像素值主要分布在-3到+3之间，以消除像素值的量纲和散布范围，使像素值符合标准正态分布；
用所述标准像素值取代所述第一图像、第二图像和第三图像的图像像素，得到标准化的第一图像、第二图像和第三图像；
所述将所述第一图像、第二图像和第三图像进行图像融合，获得所述第一数据包，具体包括：
将所述第一图像储存于红色通道内，第二图像储存在绿色通道内，第三图像储存在蓝色通道内；
采用标准的图像合成技术将三个通道的图像信息合成为一幅RGB图像；
对所述RGB图像进行图像解析和处理，获得所述第一数据包。
2.根据权利要求1所述的BGA植球的芯片检测方法，其特征在于，所述建立卷积神经网络模型，具体包括：
定义卷积神经网络模型的架构；所述架构包括输入层，多个卷积层和池化层，以及全连接层；
通过重复实验获取多组原始图像数据组，对多组原始图像数据组进行人工标记，对其中焊点的不良种类进行分类；
对多组原始图像数据进行预处理，以对其图像大小进行调节和数据清洗；
将多组原始图像数据划分为训练集、验证集和测试集；
将训练集通过输入层输入到卷积神经网络模型中进行训练，结合所述人工标记对训练集进行不良焊点的识别，并保存训练过程中的模型参数；
采用验证集对所述训练集训练过程中评估模型的表现并进行参数调整，通过测试集在模型训练完成后评定模型的最终表现。
3.根据权利要求1所述的BGA植球的芯片检测方法，其特征在于，所述对具有不良焊点的芯片进行分拣至第一通道，之前还包括：
设置预设的公差范围，对识别到芯片的不良焊点进行误差补偿，对不良焊点的识别结果进行优化处理。
4.一种BGA植球的植球系统，其特征在于，采用如权利要求1至3任一项所述的芯片检测方法，所述植球系统包括：
输送组件，用于输送载有芯片的载板；
检测机构，所述检测机构包括2D视觉模块、3D视觉模块和X射线模块；2D视觉模块用于对芯片进行2D视觉检测，以生成2D图像；3D视觉模块用于对芯片进行3D视觉检测，以生成3D图像；X射线模块用于对芯片进行X射线检测，以生成X射线图像；
数据处理模块，用于对所述2D图像、3D图像和X射线图像进行数据处理，以识别芯片的不良焊点；
控制模块，用于控制所述输送组件运行；
其中，所述2D视觉模块、所述3D视觉模块和所述X射线模块依次设置于所述输送组件上。
5.根据权利要求4所述的BGA植球的植球系统，其特征在于，还包括：
第一流水线，用于输送芯片至上料工位；
间距等分机构，用于将芯片从所述上料工位输送至所述输送组件上；
植球机构，设置于所述输送组件上方，用于对工件进行锡球的植球工作；
助焊剂机构，用于对芯片进行布助焊剂。
6.根据权利要求5所述的BGA植球的植球系统，其特征在于，所述间距等分机构包括变距组件，以及设置于所述变距组件的驱动端的多个夹爪体。
7.根据权利要求4所述的BGA植球的植球系统，其特征在于，所述输送组件的一端设置有不良流水线和载具流水线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311059039.6A CN116758088B (zh) | 2023-08-22 | 2023-08-22 | 一种bga植球的芯片检测方法及植球系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311059039.6A CN116758088B (zh) | 2023-08-22 | 2023-08-22 | 一种bga植球的芯片检测方法及植球系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116758088A CN116758088A (zh) | 2023-09-15 |
| CN116758088B true CN116758088B (zh) | 2023-12-22 |
Family
ID=87957666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311059039.6A Active CN116758088B (zh) | 2023-08-22 | 2023-08-22 | 一种bga植球的芯片检测方法及植球系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116758088B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113052797A (zh) * | 2021-03-08 | 2021-06-29 | 江苏师范大学 | 基于深度图像处理的bga锡球三维检测方法 |
| CN114550021A (zh) * | 2022-04-25 | 2022-05-27 | 深圳市华汉伟业科技有限公司 | 基于特征融合的表面缺陷检测方法及设备 |
| CN116596918A (zh) * | 2023-06-16 | 2023-08-15 | 东莞市崴泰电子有限公司 | 植球检测方法、装置、检测终端和存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110930347B (zh) * | 2018-09-04 | 2022-12-27 | 京东方科技集团股份有限公司 | 卷积神经网络的训练方法、焊点缺陷的检测方法及装置 |
| US11688067B2 (en) * | 2019-07-12 | 2023-06-27 | Bruker Nano, Inc. | Methods and systems for detecting defects in devices using X-rays |
| US11423577B2 (en) * | 2020-07-08 | 2022-08-23 | International Business Machines Corporation | Printed circuit board assembly defect detection |
-
2023
- 2023-08-22 CN CN202311059039.6A patent/CN116758088B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113052797A (zh) * | 2021-03-08 | 2021-06-29 | 江苏师范大学 | 基于深度图像处理的bga锡球三维检测方法 |
| CN114550021A (zh) * | 2022-04-25 | 2022-05-27 | 深圳市华汉伟业科技有限公司 | 基于特征融合的表面缺陷检测方法及设备 |
| CN116596918A (zh) * | 2023-06-16 | 2023-08-15 | 东莞市崴泰电子有限公司 | 植球检测方法、装置、检测终端和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116758088A (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9464992B2 (en) | Automated wafer defect inspection system and a process of performing such inspection | |
| CN100472205C (zh) | 基板检查方法和装置、及其检查逻辑设定方法和装置 | |
| CN110610199B (zh) | 基于svm和xgboost的印制电路板电阻元件焊点自动光学检测方法 | |
| CN111127571B (zh) | 一种小样本缺陷分类方法和装置 | |
| CN111899241B (zh) | 一种定量化的炉前pcb贴片缺陷在线检测方法及系统 | |
| CN112730460A (zh) | 一种通信ic芯片焊接缺陷与密集型虚焊检测技术 | |
| CN112053318A (zh) | 基于深度学习的二维pcb缺陷实时自动检测与分类装置 | |
| Huang | Reducing solder paste inspection in surface-mount assembly through Mahalanobis–Taguchi analysis | |
| CN110243937A (zh) | 一种基于高频超声的倒装焊焊点缺失缺陷智能检测方法 | |
| CN105424721A (zh) | 一种金属应变计缺陷自动检测系统 | |
| WO2023134286A1 (zh) | 一种阴极铜在线质量自动检测分类方法 | |
| CN100582755C (zh) | 基板检查装置及其检查逻辑设定方法和检查逻辑设定装置 | |
| CN115170497A (zh) | 一种基于ai视觉检测技术的pcba在线检测平台 | |
| CN116758088B (zh) | 一种bga植球的芯片检测方法及植球系统 | |
| WO2021171173A1 (en) | Data correlation between different machines in a production line for electronic components | |
| CN104833681B (zh) | 一种快速测量mcm基板电路图形尺寸误差的装置及方法 | |
| CN115642098B (zh) | 芯片安装定位方法、装置、设备及可读存储介质 | |
| CN116465908A (zh) | 一种印刷电路板生产用光学检测方法 | |
| CN102856214A (zh) | 电路板置件方法 | |
| CN112964723A (zh) | 一种双面多目标等间距阵列视觉检测方法及检测系统 | |
| CN113569854B (zh) | 一种芯片焊接金丝跨距测量方法 | |
| TWI769688B (zh) | 一種印刷電路板遠程光學檢修方法及系統 | |
| CN117788412A (zh) | 一种基于aoi的pcb板缺陷检测方法 | |
| CN115343293A (zh) | 基于机器视觉的阴极板检测控制系统及生产线 | |
| CN116380931A (zh) | 缺陷判断设备、缺陷检测系统及缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |