CN115375952A - 一种芯片胶层缺陷分类方法 - Google Patents

一种芯片胶层缺陷分类方法 Download PDF

Info

Publication number
CN115375952A
CN115375952A CN202211269748.2A CN202211269748A CN115375952A CN 115375952 A CN115375952 A CN 115375952A CN 202211269748 A CN202211269748 A CN 202211269748A CN 115375952 A CN115375952 A CN 115375952A
Authority
CN
China
Prior art keywords
image
glue
chip
distance
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211269748.2A
Other languages
English (en)
Other versions
CN115375952B (zh
Inventor
张靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Branch Of Wotu Pump Shanghai Co ltd
Original Assignee
Jiangsu Branch Of Wotu Pump Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Branch Of Wotu Pump Shanghai Co ltd filed Critical Jiangsu Branch Of Wotu Pump Shanghai Co ltd
Priority to CN202211269748.2A priority Critical patent/CN115375952B/zh
Publication of CN115375952A publication Critical patent/CN115375952A/zh
Application granted granted Critical
Publication of CN115375952B publication Critical patent/CN115375952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明涉及缺陷分类技术领域，具体涉及一种芯片胶层缺陷分类方法，该方法包括：利用3D相机获取芯片表面图像；对其图像分割，获取芯片中胶水的分割图像；根据所述芯片中胶水的分割图像获取胶水深度图像、胶水区域距离图像；对所述芯片中胶水的分割图像进行累加投影，获取平均相邻突变点距离；构建二分图，获取与标准的累加投影值序列的最小成本距离；根据最小成本距离和平均相邻突变点距离得到图像断点程度序列；建立神经网络，根据所述图像断点程度序列和图像特征分类芯片胶层缺陷。本发明方法结合胶水深度信息、图像断点程度序列、胶水区域距离图像可以有效的反映点胶的高度、连续性及粗细程度，提高了缺陷分类的精确度，鲁棒性强。

Description

一种芯片胶层缺陷分类方法
技术领域
本发明涉及缺陷分类技术领域，具体涉及一种芯片胶层缺陷分类方法。
背景技术
在半导体和电子产品生产过程中，点胶是芯片产品生产封装过程中的一项关键技术，已被广泛地用于自动化生产过程中。在点胶工艺中，需要要求每次点胶的定位精度，以及点胶的速率、胶滴体积的一致性。点胶量过少则可能会造成芯片与封装材料之间互连不足，从而引起器件的性能问题，胶量过多会浪费胶水，同时也会造成固化缓慢效应，引起芯片贴装过程中的质量波动。因此，对芯片点胶后的胶水情况的检测是芯片封装生产过程中比较重要的一环。
对芯片胶层缺陷进行分类，有利于提升芯片的封装和生产质量以及可靠性，同时也可以节约生产成本，实现自动化的加工和检测。
现有机器视觉方法大多采用模板匹配等方法，容易受图像噪声的影响，缺乏鲁棒性。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种芯片胶层缺陷分类方法，所采用的技术方案具体如下：
利用3D相机获取芯片表面图像；对芯片表面图像进行图像分割，获取芯片中胶水的分割图像；根据所述芯片中胶水的分割图像获取胶水深度图像；对所述芯片中胶水的分割图像进行边缘检测，获取胶水边缘所围成的胶水闭合区域，对所述胶水闭合区域进行距离变换，得到胶水区域距离图像；对所述芯片中胶水的分割图像进行累加投影，得到累加投影值序列；对所述累加投影值序列进行突变检测，获取突变点，根据所述突变点计算得到平均相邻突变点距离；获取标准的累加投影值序列的突变点位置；构建二分图，对所述累加投影值序列与所述标准的累加投影值序列的突变点位置进行匹配，得到最小成本距离；根据所述最小成本距离和所述平均相邻突变点距离得到图像断点程度序列；建立神经网络，根据所述图像断点程度序列和所述胶水深度图像、所述芯片中胶水的分割图像、所述胶水区域距离图像分类芯片胶层缺陷。
进一步地，对所述芯片中胶水的分割图像进行边缘检测，获取胶水边缘所围成的胶水闭合区域，对所述胶水闭合区域进行距离变换，得到胶水区域距离图像，包括：对芯片中胶水的分割图像进行连通域提取，获取胶水的连通域图像，同时消除连通域面积小于面积阈值的连通域；然后对所述胶水的连通域图像进行边缘检测，获取胶水的边缘信息，得到胶水边缘二值图像；检测所述胶水边缘二值图像中胶水边缘所围成的闭合区域，得到图像中多个胶水闭合区域，非胶水闭合区域要剔除，称为胶水闭合区域图像；然后对于胶水闭合区域图像中的多个胶水闭合区域进行距离变换，得到胶水区域距离图像。
进一步地，对所述芯片中胶水的分割图像进行累加投影，得到累加投影值序列，包括：对于芯片中胶水的分割图像，图像的每一行、每一列都进行累加投影，累加投影公式如下：
Figure 463533DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE003
表示图像第i列第k个像素的累加投影值，
Figure 676339DEST_PATH_IMAGE004
表示第i列第j个像素的像素值；
Figure 726335DEST_PATH_IMAGE006
Figure DEST_PATH_IMAGE007
表示图像第k行第i个像素的累加投影值，
Figure 999184DEST_PATH_IMAGE008
表示第k行第l个像素的像素值；
最终得到累加投影值序列，包括累加投影值行序列、累加投影值列序列。
进一步地，根据所述突变点计算得到平均突变点距离的方法为：求取累加投影值序列中每两个相邻突变点之间的距离，并计算平均相邻突变点距离。
进一步地，构建二分图，对所述累加投影值序列与所述标准的累加投影值序列的突变点位置进行匹配，得到最小成本距离，包括：构建二分图，所述二分图中每个节点为累加投影值序列中的突变点，利用KM算法对累加投影值序列的突变点位置与标准的累加投影值序列的突变点位置进行匹配，匹配的代价即累加投影值序列的突变点位置与标准的累加投影值序列的突变点位置的欧式距离，利用KM进行最优最小匹配，得到最小成本距离。
进一步地，根据所述最小成本距离和所述平均相邻突变点距离得到图像断点程度序列，包括：计算序列的断点程度:
Figure 259264DEST_PATH_IMAGE010
D表示累加投影值序列的突变点位置与标准的累加投影值序列的突变点位置的最小成本距离，
Figure DEST_PATH_IMAGE011
分别表示累加投影值序列的平均相邻突变点距离、标准累加投影值序列的平均相邻突变点距离；
一张图像会有m个累加投影值行序列和n个累加投影值列序列，因此会得到一个图像行断点程度序列，一个图像列断点程度序列，m、n即图像的宽、高，分别对应图像的列数、图像的行数。
进一步地，所述建立神经网络，根据所述图像断点程度序列和所述胶水深度图像、所述芯片中胶水的分割图像、所述胶水区域距离图像分类芯片胶层缺陷，包括：结合芯片中胶水的分割图像、胶水区域距离图像、胶水深度图像进行联合，所述联合采用Concat操作，最终得到一个三通道图像，称为胶水混合特征图像；图像断点程度序列包括图像行断点程度序列、图像列断点程度序列；将得到的胶水混合特征图像与图像行断点程度序列、图像列断点程度序列输入到分类器中进行分类，分类器采用卷积神经网络与GRU网络的混合体，卷积神经网络的输入为胶水混合特征图像，输出为胶水空间特征向量，GRU网络输入为图像行断点程度序列、图像列断点程度序列，得到断点特征向量，最终胶水空间特征向量与断点特征向量进行融合，输入到分类层，对芯片胶层缺陷进行分类。
本发明具有如下有益效果：
本发明方法采用胶水深度图像可以有效反映出胶水涂胶的高度情况，有利于判断胶线的缺陷。
本发明方法结合图像断点程度序列、胶水区域距离图像可以有效的反映点胶的连续性及点胶的粗细程度，提高了缺陷分类的精确度，鲁棒性强，避免了传统方法频繁误判导致的人力、资源消耗的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种芯片胶层缺陷分类方法框图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种芯片胶层缺陷分类方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种芯片胶层缺陷分类方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种芯片胶层缺陷分类方法框图，该方法包括以下步骤：
步骤001，利用3D相机获取芯片表面图像；
芯片生产的过程中，非常重要的一个环节就是通过点胶机对芯片进行点胶，芯片点胶情况的好坏直接影响了后续对芯片的封装，点胶量少可能会导致芯片与封装材料之间互连不足，从而影响整个器件的性能，点胶量过多会造成胶水的浪费，也会导致固化缓慢效应，进而影响到芯片封装的质量。
现有技术大多采用模板匹配来判断点胶缺陷和是否发生故障，其在准确率和时间复杂度上都没有达到较好的效果。对于准确率， 其会受到图像采集过程中环境以及待检测产品自身特性等因素的影响，使得采集得到的图像包含噪声，这些噪声的存在会对模板匹配造成影响，同时不同的胶层缺陷形态各异，难以有一个很好的模板进行准确匹配，使得目前对点胶缺陷分类的结果准确性较低。
3D相机可以采集高度信息，这比较有利于我们对胶线高度的判断，从而辅助判断是否发生缺陷。在此，利用RGB-D相机采集芯片表面的图像，所述图像为俯视拍摄。所述RGB-D相机可采用TOF相机。
步骤002，对芯片表面图像进行图像分割，获取芯片中胶水的分割图像；根据所述芯片中胶水的分割图像获取胶水深度图像；
然后利用语义分割方法对芯片表面图像（为RGB-D图像）进行语义提取，语义分割利用神经网络模型，本实施例以SegFormer为例，这是一种简单、高效且功能强大的语义分割框架，它将 Transformer 与轻量级多层感知 (MLP) 解码器相结合，最终输出芯片中胶水的分割图像。所述神经网络模型为监督学习类方法，其训练网络需要标签数据，即胶水的分割图像，该图像需要人为进行标注，将图像中为胶水的像素值转换为1，非胶水的部分变为0，得到胶水的分割图像。神经网络的优化及训练过程是周知的，这里不再赘述。
至此，即可利用神经网络获取芯片中胶水的位置。
芯片中胶水的分割图像与原始芯片表面图像等大小，因此此处利用芯片表面的深度图，即RGB-D图像中的D图像。对于芯片中胶水的分割图像，其像素值为1代表其为胶水，为0代表为非胶水。然后将芯片中胶水的分割图像中胶水的像素赋予其本身的深度值，最终得到胶水深度图像。对于胶水深度图像可以有效反映出胶水涂胶的高度情况，有利于判断胶线的缺陷。
步骤003，对所述芯片中胶水的分割图像进行边缘检测，获取胶水边缘所围成的胶水闭合区域，对所述胶水闭合区域进行距离变换，得到胶水区域距离图像；
对芯片中胶水的分割图像进行连通域提取，获取胶水的连通域图像，同时消除连通域面积小于面积阈值的连通域，以剔除语义分割所带来的误分割，面积阈值的经验值为15。然后对胶水的连通域图像进行边缘检测，获取胶水的边缘信息，得到胶水边缘二值图像，所述胶水边缘二值图像的边缘处像素值为255，非边缘处像素值为0，边缘检测采用Canny算子，本发明不再赘述。
进一步的，检测胶水边缘所围成的闭合区域，闭合区域检测可通过OpenCV代码实现，得到图像中多个胶水闭合区域，非胶水闭合区域要剔除，称为胶水闭合区域图像。
然后对于胶水闭合区域图像中的多个胶水闭合区域进行距离变换，距离变换的结果是得到一张与胶水闭合区域图像类似的灰度图像，但是灰度值只出现在胶水闭合区域，该图像称为胶水区域距离图像。并且越远离胶水边缘的胶水闭合区域的像素灰度值越大。所述距离变换的度量采用欧式距离。
所述胶水区域距离图像中灰度值越大，表明该处点胶的区域宽度越大，点胶越粗，通过胶水区域距离图像可有效反映点胶的粗细情况。
步骤004，对所述芯片中胶水的分割图像进行累加投影，得到累加投影值序列；对所述累加投影值序列进行突变检测，获取突变点，根据所述突变点计算得到平均相邻突变点距离；获取标准的累加投影值序列的突变点位置；构建二分图，对所述累加投影值序列与所述标准的累加投影值序列的突变点位置进行匹配，得到最小成本距离；根据所述最小成本距离和所述平均相邻突变点距离得到图像断点程度序列；
然后再获取胶水涂胶的断点程度，具体方法为：
对于芯片中胶水的分割图像，图像的每一行、每一列都进行累加投影，累加投影公式如下：
Figure 7253DEST_PATH_IMAGE012
Figure 36389DEST_PATH_IMAGE003
表示图像第i列第k个像素的累加投影值，
Figure 214560DEST_PATH_IMAGE004
表示第i列第j个像素的像素值。
Figure 430778DEST_PATH_IMAGE006
Figure 719808DEST_PATH_IMAGE007
表示图像第k行第i个像素的累加投影值，
Figure 337871DEST_PATH_IMAGE008
表示第k行第l个像素的像素值。
至此，即可得到累加投影值行序列、累加投影值列序列，也称为待测累加投影值行序列、累加投影值列序列。对这两个序列分别使用M-K突变检测方法进行突变检测，得到各个突变点位置，每个突变点位置即表示当前有胶水像素开始出现或有非胶水像素开始出现。然后计算序列的断点程度：
获取正常点胶情况下的芯片，同样通过上述方法获取，其中拍摄图像时相机的位姿要保持不变，同时芯片在图像中的位置要统一。得到标准的累加投影值行序列、累加投影值列序列及相应的突变点位置。
进一步的，构建二分图，所述二分图中每个节点为累加投影值序列中的突变点，利用KM算法对待测的累加投影值序列的突变点位置与标准的累加投影值序列的突变点位置进行匹配，匹配的代价即累加投影值序列的突变点位置与标准的累加投影值序列的突变点位置的欧式距离，利用KM进行最优最小匹配，得到最小成本距离D。该最小成本距离越小，代表待测与标准的突变点位置越接近，意味着点胶质量越正常。
同时获取累加投影值序列中每两个相邻突变点之间的距离，并计算平均相邻突变点距离d。
然后计算序列的断点程度:
Figure 811578DEST_PATH_IMAGE010
Figure 656037DEST_PATH_IMAGE011
分别表示待测累加投影值序列的平均相邻突变点距离、标准累加投影值序列的平均相邻突变点距离。待测的突变点可能与标准的突变点位置不一样，因此为了更准确的度量断点程度，同时采用平均相邻突变点距离进行扩展对比。
Figure DEST_PATH_IMAGE013
越大，代表待测与标准突变点之间的间距差别越大，也能间接反映突变点不同所带来的影响，待测的突变点数量越多或越少，都会导致该距离发生较大差异。
一张图像会有m个累加投影值行序列和n个累加投影值列序列，因此会得到一个图像行断点程度序列，一个图像列断点程度序列。m、n即图像的宽、高，分别对应图像的列数、图像的行数。
步骤005，建立神经网络，根据所述图像断点程度序列和所述胶水深度图像、所述芯片中胶水的分割图像、所述胶水区域距离图像分类芯片胶层缺陷。
结合芯片中胶水的分割图像、胶水区域距离图像、胶水深度图像进行联合，所述联合操作采用Concat操作，最终得到一个三通道图像，称为胶水混合特征图像。
然后将得到的胶水混合特征图像与图像行断点程度序列、图像列断点程度序列输入到分类器中进行分类，分类器采用卷积神经网络与GRU网络的混合体，卷积神经网络的输入为胶水混合特征图像，输出为胶水空间特征向量，GRU网络输入为图像行断点程度序列、图像列断点程度序列，得到断点特征向量，最终胶水空间特征向量与断点特征向量进行融合，输入到分类层，对芯片胶层缺陷进行分类，芯片胶层缺陷包含无胶、断胶、溢胶、少胶、正常五种情况，分类层采用全连接层，分类函数为Softmax，网络的损失函数采用交叉熵。神经网络的训练与数据集的标注过程为周知的，这里不再赘述其细节。
至此，即可通过拍摄的芯片图像来判断芯片胶层缺陷类别，当分类器分类出现故障（无胶、断胶、溢胶、少胶）时，通知工作人员进行检查。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种芯片胶层缺陷分类方法，其特征在于，所述方法包括：
利用3D相机获取芯片表面图像；
对芯片表面图像进行图像分割，获取芯片中胶水的分割图像；根据所述芯片中胶水的分割图像获取胶水深度图像；
对所述芯片中胶水的分割图像进行边缘检测，获取胶水边缘所围成的胶水闭合区域，对所述胶水闭合区域进行距离变换，得到胶水区域距离图像；
对所述芯片中胶水的分割图像进行累加投影，得到累加投影值序列；对所述累加投影值序列进行突变检测，获取突变点，根据所述突变点计算得到平均相邻突变点距离；获取标准的累加投影值序列的突变点位置；构建二分图，对所述累加投影值序列与所述标准的累加投影值序列的突变点位置进行匹配，得到最小成本距离；根据所述最小成本距离和所述平均相邻突变点距离得到图像断点程度序列；
建立神经网络，根据所述图像断点程度序列和所述胶水深度图像、所述芯片中胶水的分割图像、所述胶水区域距离图像分类芯片胶层缺陷。
2.根据权利要求1所述的一种芯片胶层缺陷分类方法，其特征在于，对所述芯片中胶水的分割图像进行边缘检测，获取胶水边缘所围成的胶水闭合区域，对所述胶水闭合区域进行距离变换，得到胶水区域距离图像，包括：
对芯片中胶水的分割图像进行连通域提取，获取胶水的连通域图像，同时消除连通域面积小于面积阈值的连通域；然后对所述胶水的连通域图像进行边缘检测，获取胶水的边缘信息，得到胶水边缘二值图像；
检测所述胶水边缘二值图像中胶水边缘所围成的闭合区域，得到图像中多个胶水闭合区域，非胶水闭合区域要剔除，称为胶水闭合区域图像；
然后对于胶水闭合区域图像中的多个胶水闭合区域进行距离变换，得到胶水区域距离图像。
3.根据权利要求1所述的一种芯片胶层缺陷分类方法，其特征在于，对所述芯片中胶水的分割图像进行累加投影，得到累加投影值序列，包括：
对于芯片中胶水的分割图像，图像的每一行、每一列都进行累加投影，累加投影公式如下：
Figure 221676DEST_PATH_IMAGE001
Figure 669975DEST_PATH_IMAGE002
表示图像第i列第k个像素的累加投影值，
Figure 856237DEST_PATH_IMAGE003
表示第i列第j个像素的像素值；
Figure 454708DEST_PATH_IMAGE004
Figure 941184DEST_PATH_IMAGE005
表示图像第k行第i个像素的累加投影值，
Figure 966909DEST_PATH_IMAGE006
表示第k行第l个像素的像素值；
最终得到累加投影值序列，包括累加投影值行序列、累加投影值列序列。
4.根据权利要求1所述的一种芯片胶层缺陷分类方法，其特征在于，根据所述突变点计算得到平均突变点距离的方法为：求取累加投影值序列中每两个相邻突变点之间的距离，并计算平均相邻突变点距离。
5.根据权利要求1所述的一种芯片胶层缺陷分类方法，其特征在于，构建二分图，对所述累加投影值序列与所述标准的累加投影值序列的突变点位置进行匹配，得到最小成本距离，包括：
构建二分图，所述二分图中每个节点为累加投影值序列中的突变点，利用KM算法对累加投影值序列的突变点位置与标准的累加投影值序列的突变点位置进行匹配，匹配的代价即累加投影值序列的突变点位置与标准的累加投影值序列的突变点位置的欧式距离，利用KM进行最优最小匹配，得到最小成本距离。
6.根据权利要求1所述的一种芯片胶层缺陷分类方法，其特征在于，根据所述最小成本距离和所述平均相邻突变点距离得到图像断点程度序列，包括：
计算序列的断点程度:
Figure 640467DEST_PATH_IMAGE007
D表示累加投影值序列的突变点位置与标准的累加投影值序列的突变点位置的最小成本距离，
Figure 785840DEST_PATH_IMAGE008
分别表示累加投影值序列的平均相邻突变点距离、标准累加投影值序列的平均相邻突变点距离；
一张图像会有m个累加投影值行序列和n个累加投影值列序列，因此会得到一个图像行断点程度序列，一个图像列断点程度序列，m、n即图像的宽、高，分别对应图像的列数、图像的行数。
7.根据权利要求1所述的一种芯片胶层缺陷分类方法，其特征在于，所述建立神经网络，根据所述图像断点程度序列和所述胶水深度图像、所述芯片中胶水的分割图像、所述胶水区域距离图像分类芯片胶层缺陷，包括：
结合芯片中胶水的分割图像、胶水区域距离图像、胶水深度图像进行联合，所述联合采用Concat操作，最终得到一个三通道图像，称为胶水混合特征图像；
图像断点程度序列包括图像行断点程度序列、图像列断点程度序列；
将得到的胶水混合特征图像与图像行断点程度序列、图像列断点程度序列输入到分类器中进行分类，分类器采用卷积神经网络与GRU网络的混合体，卷积神经网络的输入为胶水混合特征图像，输出为胶水空间特征向量，GRU网络输入为图像行断点程度序列、图像列断点程度序列，得到断点特征向量，最终胶水空间特征向量与断点特征向量进行融合，输入到分类层，对芯片胶层缺陷进行分类。
CN202211269748.2A 2022-10-18 2022-10-18 一种芯片胶层缺陷分类方法 Active CN115375952B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211269748.2A CN115375952B (zh) 2022-10-18 2022-10-18 一种芯片胶层缺陷分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211269748.2A CN115375952B (zh) 2022-10-18 2022-10-18 一种芯片胶层缺陷分类方法

Publications (2)

Publication Number Publication Date
CN115375952A true CN115375952A (zh) 2022-11-22
CN115375952B CN115375952B (zh) 2023-04-18

Family

ID=84074332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211269748.2A Active CN115375952B (zh) 2022-10-18 2022-10-18 一种芯片胶层缺陷分类方法

Country Status (1)

Country Link
CN (1) CN115375952B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740062A (zh) * 2023-08-14 2023-09-12 菲特（天津）检测技术有限公司 基于不规则胶圈的缺陷检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0563897A1 (en) * 1992-03-30 1993-10-06 Fuji Photo Film Co., Ltd. Defect inspection system
CN109461141A (zh) * 2018-10-10 2019-03-12 重庆大学 一种工件缺胶检测方法
CN110297041A (zh) * 2019-07-01 2019-10-01 天津工业大学 一种基于fcn与gru的3d编织复合材料缺陷检测方法
CN110503638A (zh) * 2019-08-15 2019-11-26 上海理工大学 螺旋胶质量在线检测方法
CN110555829A (zh) * 2019-08-12 2019-12-10 华南理工大学 一种用于芯片点胶情况的检测方法
CN113870202A (zh) * 2021-09-18 2021-12-31 中科海拓(无锡)科技有限公司 一种基于深度学习技术的远端芯片缺陷检测系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0563897A1 (en) * 1992-03-30 1993-10-06 Fuji Photo Film Co., Ltd. Defect inspection system
CN109461141A (zh) * 2018-10-10 2019-03-12 重庆大学 一种工件缺胶检测方法
CN110297041A (zh) * 2019-07-01 2019-10-01 天津工业大学 一种基于fcn与gru的3d编织复合材料缺陷检测方法
CN110555829A (zh) * 2019-08-12 2019-12-10 华南理工大学 一种用于芯片点胶情况的检测方法
CN110503638A (zh) * 2019-08-15 2019-11-26 上海理工大学 螺旋胶质量在线检测方法
CN113870202A (zh) * 2021-09-18 2021-12-31 中科海拓(无锡)科技有限公司 一种基于深度学习技术的远端芯片缺陷检测系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740062A (zh) * 2023-08-14 2023-09-12 菲特（天津）检测技术有限公司 基于不规则胶圈的缺陷检测方法及系统
CN116740062B (zh) * 2023-08-14 2023-10-27 菲特（天津）检测技术有限公司 基于不规则胶圈的缺陷检测方法及系统

Also Published As

Publication number Publication date
CN115375952B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN114820625B (zh) 一种汽车顶块缺陷检测方法
CN111027539A (zh) 一种基于空间位置信息的车牌字符分割方法
CN111382785A (zh) 一种gan网络模型及实现样本自动清洗、辅助标记的方法
CN115375952B (zh) 一种芯片胶层缺陷分类方法
CN113240623B (zh) 一种路面病害检测方法及装置
CN112149535A (zh) 一种结合SegNet和U-Net的车道线检测方法和装置
CN111210417B (zh) 基于卷积神经网络的布匹缺陷检测方法
CN115294033A (zh) 一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法
CN115866502A (zh) 一种麦克风零件表面缺陷在线检测流程
CN110458019B (zh) 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN115082776A (zh) 一种基于图像识别的电能表自动检测系统及方法
CN116030039A (zh) 一种结合深度学习的塑封芯片内部缺陷检测方法
CN101477065B (zh) 基于缺陷边界值变化次数的ic缺陷分类方法
CN109657682B (zh) 一种基于深度神经网络和多阈值软切分的电能表示数识别方法
CN114581932A (zh) 一种图片表格线提取模型构建方法及图片表格提取方法
CN114998192A (zh) 基于深度学习的缺陷检测方法、装置、设备和存储介质
CN117078678B (zh) 基于图像识别的废硅片形状检测方法
CN115830302B (zh) 一种多尺度特征提取融合配电网设备定位识别方法
CN117214178A (zh) 一种用于包装生产线上包装件外观缺陷智能识别方法
CN114758125B (zh) 基于深度学习的齿轮表面缺陷检测方法与系统
KR102498322B1 (ko) 딥러닝 기반의 반도체 디바이스 상태 분류를 위한 장치 및 방법
CN112784737B (zh) 结合像素分割和线段锚的文本检测方法、系统及装置
CN111860332B (zh) 基于多阈值级联检测器的双通道电力图零部件检测方法
CN112308061A (zh) 一种车牌字符排序方法、识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant