CN114494174A - 一种芯片焊接线缺陷检测方法及装置 - Google Patents

一种芯片焊接线缺陷检测方法及装置 Download PDF

Info

Publication number
CN114494174A
CN114494174A CN202210072322.1A CN202210072322A CN114494174A CN 114494174 A CN114494174 A CN 114494174A CN 202210072322 A CN202210072322 A CN 202210072322A CN 114494174 A CN114494174 A CN 114494174A
Authority
CN
China
Prior art keywords
dimensional
image set
image
layer
chip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210072322.1A
Other languages
English (en)
Inventor
陈玉冰
陈新度
吴磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202210072322.1A priority Critical patent/CN114494174A/zh
Publication of CN114494174A publication Critical patent/CN114494174A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种芯片焊接线缺陷检测方法，包括以下：获取目标芯片的正上方以及多张其他方向的图像作为第一图像集；对所述第一图像集进行预处理操作得到第二图像集；对所述第二图像集中的图像通过群智能优化算法进行分割得到第三图像集；将所述第三图像集中的目标芯片的正上方图像输入预训练的第一深度卷积神经网络进行二维的缺陷检测，若存在芯片焊接线缺陷则直接输出缺陷类型；若不存在芯片焊接线缺陷则结合所述第三图像集中的多张其他方向的图像进行三维重建得到重建的三维数据；将重建的所述三维数据输入预训练第二深度卷积神经网络进行三维的缺陷检测。本发明通过二维和三维融合检测的方法既弥补了二维信息不全面的缺点又避免了仅用三维检测技术的计算量大和速度慢的缺点。

Description

一种芯片焊接线缺陷检测方法及装置
技术领域
本发明涉及缺陷检测技术领域，尤其涉及一种芯片焊接线缺陷检测方法及装置。
背景技术
电路板在完成制作的时候，往往需要对其芯片焊接线进行检测，以对其缺陷进行把控。
当今市场对电路板的芯片焊接线检测的方法通常是通过经验丰富的员工进行人工检测，这样的检测过程十分依赖员工的经验水平，另外因为芯片的尺寸等原因导致进行人工检测的检测难度很大。
发明内容
本发明的目的是为了至少解决现有技术的不足之一，提供一种芯片焊接线缺陷检测方法及装置。
为了实现上述目的，本发明采用以下的技术方案：
具体的，提出一种芯片焊接线缺陷检测方法，包括以下：
获取目标芯片的正上方以及多张其他方向的图像作为第一图像集；
对所述第一图像集进行预处理操作得到第二图像集；
对所述第二图像集中的图像通过群智能优化算法进行分割得到第三图像集；
将所述第三图像集中的目标芯片的正上方图像输入预训练的第一深度卷积神经网络进行二维的缺陷检测，若存在芯片焊接线缺陷则直接输出缺陷类型；
若不存在芯片焊接线缺陷则结合所述第三图像集中的多张其他方向的图像进行三维重建得到重建的三维数据；
将重建的所述三维数据输入预训练第二深度卷积神经网络进行三维的缺陷检测，若仍不存在三维缺陷，则判断所述目标芯片为合格芯片，若存在三维缺陷则输出缺陷类型。
在本实施例1中，二维缺陷主要包括断线、多线、少线、弯曲、粘连等。三维缺陷主要包括：线与线以及线与板间的交叉、粘连、空间间距、线弧高度、线弧塌陷等。
进一步，具体的，对所述第一图像集进行的预处理操作包括以下，
对所述第一图像集中的图像分别进行灰度化、几何变换以及图像增强处理得到第二图像集。
进一步，具体的，对所述第二图像集中的图像通过群智能优化算法进行分割得到第三图像集，包括，
对所述第二图像集中的图像建立二维最大条件熵模型，使用群智能优化算法对对二维最大熵问题寻优求解出最优阈值，从而对芯片焊接线图像实现有效的二维阈值分割，为下一步缺陷检测提供高质量待测图像。
进一步，具体的，所述第一深度卷积神经网络通过以下方式进行训练，
首先对所采集的图像进行旋转、翻转、位移、去噪、模糊等一系列的几何变换扩充数据集，把每个图像都归一化为同等的大小，将数据集按4：1的比例划分为训练集和测试集。
将处理好的图像输入神经网络模型。该网络模型包括输入层、卷积层、激活函数、池化层、全连接层和输出层，拟定的卷积神经网络共有12层，拟采用的激活函数为ReLU，具体地：输入层，卷积层1，池化层1，卷积层2，卷积层3，池化层2，卷积层4，卷积层5，池化层3，全连接层1，全连接层2，输出层。其中池化层大小为3*3，步长为2。
利用梯度下降法在权值空间中求得最小损失函数，从标准差为0.001的零均值高斯分布初始化每一层的权值，第一个卷积层和最后一个全连接层的偏置值初始化为0，其余层中的偏置初始化为1，每次训练图像数据集大小为50，动量系数设为0.9，衰减参数设为0.01，学习率初始值为0.001，每1000次降低0.1。
进一步，具体的，所述第二深度卷积神经网络通过以下方式进行训练，
三维卷积神经网络是在二维卷积神经网络上加了一个空间维度，网络整体结构大致相同。
输入层为含有三维信息的三维图像，卷积层的卷积核为3*3*3，池化层2*2*2，步长为2，全连接层，输出层。训练过程同样基于批量的梯度下降法，进行多次的前向传播和反向传播，使用加权交叉熵作为损失函数，ReLU为激活函数，学习率初始值为0.001，每一万次降低0.1，随机失活率为0.5。
进一步，具体的，结合所述第三图像集中的多张其他方向的图像进行三维重建得到重建的三维数据，包括，
取第三图像集中目标芯片的左侧方与右侧方的图像，分别对左侧方与右侧方的图像进行特征点、特征线和区域的提取；
根据所提取的特征进行立体匹配，将两幅不同的图像中的成像点一一对应起来。
将匹配的结果与摄像机标定的内外参数结合起来，得到芯片焊接线的三维数据信息。
本发明还提出一种芯片焊接线缺陷检测装置，包括：
图像获取模块，用于获取目标芯片的正上方以及多张其他方向的图像作为第一图像集；
图像预处理模块，用于对所述第一图像集进行预处理操作得到第二图像集；
图像分割模块，用于对所述第二图像集中的图像通过群智能优化算法进行分割得到第三图像集；
二维缺陷检测模块，用于将所述第三图像集中的目标芯片的正上方图像输入预训练的第一深度卷积神经网络进行二维的缺陷检测，若存在芯片焊接线缺陷则直接输出缺陷类型；
三维重建模块，用于在当不存在芯片焊接线缺陷则结合所述第三图像集中的多张其他方向的图像进行三维重建得到重建的三维数据；
三维缺陷检测模块，用于将重建的所述三维数据输入预训练第二深度卷积神经网络进行三维的缺陷检测，若仍不存在三维缺陷，则判断所述目标芯片为合格芯片，若存在三维缺陷则输出缺陷类型。
本发明还提出一种计算机可读存储的介质，所述计算机可读存储的介质存储有计算机程序，所述计算机程序被处理器执行时实现如以上中任一项所述一种芯片焊接线缺陷检测方法的步骤。
本发明的有益效果为：
本发明提出一种芯片焊接线缺陷检测方法，本发明提出二维和三维融合的芯片焊接线检测方法，首先通过群智能优化算法对待检测图像进行图像分割，为下一步缺陷检测提供高质量待检测图像，接着利用训练好的深度卷积神经网络先对图像进行二维的缺陷检测，若芯片焊接线存在二维缺陷则直接输出检测结果；若芯片焊接线不存在二维缺陷，则结合多张不同角度拍摄的图像对芯片焊接线进行三维重建，再基于重建的三维数据，利用训练好的神经网络对三维数据进行缺陷的特征识别，以实现三维的缺陷检测。二维和三维融合检测的方法既弥补了二维信息不全面的缺点又避免了仅用三维检测技术的计算量大和速度慢的缺点。
附图说明
通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
图1所示为本发明一种芯片焊接线缺陷检测方法的流程图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。附图中各处使用的相同的附图标记指示相同或相似的部分。
参照图1，实施例1，本发明提出一种芯片焊接线缺陷检测方法，包括以下：
步骤110、获取目标芯片的正上方以及多张其他方向的图像作为第一图像集；
步骤120、对所述第一图像集进行预处理操作得到第二图像集；
步骤130、对所述第二图像集中的图像通过群智能优化算法进行分割得到第三图像集；
步骤140、将所述第三图像集中的目标芯片的正上方图像输入预训练的第一深度卷积神经网络进行二维的缺陷检测，若存在芯片焊接线缺陷则直接输出缺陷类型；
步骤150、若不存在芯片焊接线缺陷则结合所述第三图像集中的多张其他方向的图像进行三维重建得到重建的三维数据；
步骤160、将重建的所述三维数据输入预训练第二深度卷积神经网络进行三维的缺陷检测，若仍不存在三维缺陷，则判断所述目标芯片为合格芯片，若存在三维缺陷则输出缺陷类型。
在本实施例1中，提出二维和三维融合的芯片焊接线检测方法，利用训练好的深度卷积神经网络先对图像进行二维的缺陷检测，若芯片焊接线存在二维缺陷则直接输出检测结果；若芯片焊接线不存在二维缺陷，则结合多张不同角度拍摄的图像对芯片焊接线进行三维重建，再基于重建的三维数据，利用训练好的神经网络对三维数据进行缺陷的特征识别，以实现三维的缺陷检测。进一步提高检测维度，提高了检测的准确度。二维和三维融合检测的方法既弥补了二维信息不全面的缺点又避免了仅用三维检测技术的计算量大和速度慢的缺点。
其中，二维缺陷主要包括断线、多线、少线、弯曲、粘连等。三维缺陷主要包括：线与线以及线与板间的交叉、粘连、空间间距、线弧高度、线弧塌陷等。
进一步，具体的，对所述第一图像集进行的预处理操作包括以下，
对所述第一图像集中的图像分别进行灰度化、几何变换以及图像增强处理得到第二图像集。
进一步，具体的，对所述第二图像集中的图像通过群智能优化算法进行分割得到第三图像集，包括，
对所述第二图像集中的图像建立二维最大条件熵模型，使用群智能优化算法对对二维最大熵问题寻优求解出最优阈值，从而对芯片焊接线图像实现有效的二维阈值分割，为下一步缺陷检测提供高质量待测图像。
具体的运算过程包括以下，设rij为图像I中某个像素灰度值i和领域平均灰度图像对应位置的像素灰度值j共同出现的频数，的定义联合概率密度为
Figure BDA0003482722560000051
(H×W是灰度图像I的尺寸)。图像灰度级数L，背景区域A(0～s,0～t)的概率密度为
Figure BDA0003482722560000052
目标区域B(s～L-1,t～L-1)的概率密度为
Figure BDA0003482722560000053
归一化得
Figure BDA0003482722560000054
定义背景区域A和目标区域B的二维熵分别为：
Figure BDA0003482722560000055
Figure BDA0003482722560000056
则定于阈值(s，t)所对应的图像二维熵为：
Figure BDA0003482722560000057
根据最大熵原理，若H(s,t)在(s＝s′,t＝t′)处取得最大值，(s′,t′)则为A、B区域的最优分割阈值解，即
(s′,t′)＝argmaxH(s,t)。
将上述二维最大熵模型作为群智能优化算法的目标函数，通过智能优化算法求解出最优阈值对图像进行分割。
作为本发明的优选实施方式，具体的，所述第一深度卷积神经网络通过以下方式进行训练，
首先对所采集的图像进行旋转、翻转、位移、去噪、模糊等一系列的几何变换扩充数据集，把每个图像都归一化为同等的大小，将数据集按4：1的比例划分为训练集和测试集。
将处理好的图像输入神经网络模型。该网络模型包括输入层、卷积层、激活函数、池化层、全连接层和输出层，拟定的卷积神经网络共有12层，拟采用的激活函数为ReLU，具体地：输入层，卷积层1，池化层1，卷积层2，卷积层3，池化层2，卷积层4，卷积层5，池化层3，全连接层1，全连接层2，输出层。其中池化层大小为3*3，步长为2。
利用梯度下降法在权值空间中求得最小损失函数，从标准差为0.001的零均值高斯分布初始化每一层的权值，第一个卷积层和最后一个全连接层的偏置值初始化为0，其余层中的偏置初始化为1，每次训练图像数据集大小为50，动量系数设为0.9，衰减参数设为0.01，学习率初始值为0.001，每1000次降低0.1。
作为本发明的优选实施方式，具体的，所述第二深度卷积神经网络通过以下方式进行训练，
三维卷积神经网络是在二维卷积神经网络上加了一个空间维度，网络整体结构大致相同。
输入层为含有三维信息的三维图像，卷积层的卷积核为3*3*3，池化层2*2*2，步长为2，全连接层，输出层。训练过程同样基于批量的梯度下降法，进行多次的前向传播和反向传播，使用加权交叉熵作为损失函数，ReLU为激活函数，学习率初始值为0.001，每一万次降低0.1，随机失活率为0.5。
作为本发明的优选实施方式，具体的，结合所述第三图像集中的多张其他方向的图像进行三维重建得到重建的三维数据，包括，
取第三图像集中目标芯片的左侧方与右侧方的图像，分别对左侧方与右侧方的图像进行特征点、特征线和区域的提取；
根据所提取的特征进行立体匹配，将两幅不同的图像中的成像点一一对应起来。
将匹配的结果与摄像机标定的内外参数结合起来，得到芯片焊接线的三维数据信息。
本发明还提出一种芯片焊接线缺陷检测装置，包括：
图像获取模块，用于获取目标芯片的正上方以及多张其他方向的图像作为第一图像集；
具体的，图像获取模块可以采用工业超高分辨率显微相机、光学系统以及计算机处理设备等。相机分别从被测芯片正上方、左侧方和右侧方拍摄三张图片，其中正上方的图片用于二维的缺陷检测、左侧方和右侧方的图像用于芯片焊接线的三维重建进一步对芯片进行三维缺陷检测。光学系统具有独特的环形照明技术，并配有斜照明、透射光和偏振光，实现光学显微镜系统20倍以上的景深。计算机处理设备是对所采集的超高清芯片图像进行图形处理。
图像预处理模块，用于对所述第一图像集进行预处理操作得到第二图像集；
图像分割模块，用于对所述第二图像集中的图像通过群智能优化算法进行分割得到第三图像集；
二维缺陷检测模块，用于将所述第三图像集中的目标芯片的正上方图像输入预训练的第一深度卷积神经网络进行二维的缺陷检测，若存在芯片焊接线缺陷则直接输出缺陷类型；
三维重建模块，用于在当不存在芯片焊接线缺陷则结合所述第三图像集中的多张其他方向的图像进行三维重建得到重建的三维数据；
三维缺陷检测模块，用于将重建的所述三维数据输入预训练第二深度卷积神经网络进行三维的缺陷检测，若仍不存在三维缺陷，则判断所述目标芯片为合格芯片，若存在三维缺陷则输出缺陷类型。
本发明还提出一种计算机可读存储的介质，所述计算机可读存储的介质存储有计算机程序，所述计算机程序被处理器执行时实现如以上中任一项所述一种芯片焊接线缺陷检测方法的步骤。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例中的方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储的介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或系统、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包括的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (8)

1.一种芯片焊接线缺陷检测方法，其特征在于，包括以下：
获取目标芯片的正上方以及多张其他方向的图像作为第一图像集；
对所述第一图像集进行预处理操作得到第二图像集；
对所述第二图像集中的图像通过群智能优化算法进行分割得到第三图像集；
将所述第三图像集中的目标芯片的正上方图像输入预训练的第一深度卷积神经网络进行二维的缺陷检测，若存在芯片焊接线缺陷则直接输出缺陷类型；
若不存在芯片焊接线缺陷则结合所述第三图像集中的多张其他方向的图像进行三维重建得到重建的三维数据；
将重建的所述三维数据输入预训练第二深度卷积神经网络进行三维的缺陷检测，若仍不存在三维缺陷，则判断所述目标芯片为合格芯片，若存在三维缺陷则输出缺陷类型。
2.根据权利要求1所述的一种芯片焊接线缺陷检测方法，其特征在于，具体的，对所述第一图像集进行的预处理操作包括以下，
对所述第一图像集中的图像分别进行灰度化、几何变换以及图像增强处理得到第二图像集。
3.根据权利要求1所述的一种芯片焊接线缺陷检测方法，其特征在于，具体的，对所述第二图像集中的图像通过群智能优化算法进行分割得到第三图像集，包括，
对所述第二图像集中的图像建立二维最大条件熵模型，使用群智能优化算法对对二维最大熵问题寻优求解出最优阈值，从而对芯片焊接线图像实现有效的二维阈值分割，为下一步缺陷检测提供高质量待测图像。
4.根据权利要求1所述的一种芯片焊接线缺陷检测方法，其特征在于，具体的，所述第一深度卷积神经网络通过以下方式进行训练，
首先对所采集的图像进行旋转、翻转、位移、去噪、模糊等一系列的几何变换扩充数据集，把每个图像都归一化为同等的大小，将数据集按4：1的比例划分为训练集和测试集，
将处理好的图像输入神经网络模型，该网络模型包括输入层、卷积层、激活函数、池化层、全连接层和输出层，拟定的卷积神经网络共有12层，拟采用的激活函数为ReLU，具体地：输入层，卷积层1，池化层1，卷积层2，卷积层3，池化层2，卷积层4，卷积层5，池化层3，全连接层1，全连接层2，输出层，其中池化层大小为3*3，步长为2，
利用梯度下降法在权值空间中求得最小损失函数，从标准差为0.001的零均值高斯分布初始化每一层的权值，第一个卷积层和最后一个全连接层的偏置值初始化为0，其余层中的偏置初始化为1，每次训练图像数据集大小为50，动量系数设为0.9，衰减参数设为0.01，学习率初始值为0.001，每1000次降低0.1。
5.根据权利要求4所述的一种芯片焊接线缺陷检测方法，其特征在于，具体的，所述第二深度卷积神经网络通过以下方式进行训练，
三维卷积神经网络是在二维卷积神经网络上加了一个空间维度，网络整体结构大致相同，
输入层为含有三维信息的三维图像，卷积层的卷积核为3*3*3，池化层2*2*2，步长为2，全连接层，输出层，训练过程同样基于批量的梯度下降法，进行多次的前向传播和反向传播，使用加权交叉熵作为损失函数，ReLU为激活函数，学习率初始值为0.001，每一万次降低0.1，随机失活率为0.5。
6.根据权利要求1所述的一种芯片焊接线缺陷检测方法，其特征在于，具体的，结合所述第三图像集中的多张其他方向的图像进行三维重建得到重建的三维数据，包括，
取第三图像集中目标芯片的左侧方与右侧方的图像，分别对左侧方与右侧方的图像进行特征点、特征线和区域的提取；
根据所提取的特征进行立体匹配，将两幅不同的图像中的成像点一一对应起来，
将匹配的结果与摄像机标定的内外参数结合起来，得到芯片焊接线的三维数据信息。
7.一种芯片焊接线缺陷检测装置，其特征在于，包括：
图像获取模块，用于获取目标芯片的正上方以及多张其他方向的图像作为第一图像集；
图像预处理模块，用于对所述第一图像集进行预处理操作得到第二图像集；
图像分割模块，用于对所述第二图像集中的图像通过群智能优化算法进行分割得到第三图像集；
二维缺陷检测模块，用于将所述第三图像集中的目标芯片的正上方图像输入预训练的第一深度卷积神经网络进行二维的缺陷检测，若存在芯片焊接线缺陷则直接输出缺陷类型；
三维重建模块，用于在当不存在芯片焊接线缺陷则结合所述第三图像集中的多张其他方向的图像进行三维重建得到重建的三维数据；
三维缺陷检测模块，用于将重建的所述三维数据输入预训练第二深度卷积神经网络进行三维的缺陷检测，若仍不存在三维缺陷，则判断所述目标芯片为合格芯片，若存在三维缺陷则输出缺陷类型。
8.一种计算机可读存储的介质，所述计算机可读存储的介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述方法的步骤。
CN202210072322.1A 2022-01-21 2022-01-21 一种芯片焊接线缺陷检测方法及装置 Pending CN114494174A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210072322.1A CN114494174A (zh) 2022-01-21 2022-01-21 一种芯片焊接线缺陷检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210072322.1A CN114494174A (zh) 2022-01-21 2022-01-21 一种芯片焊接线缺陷检测方法及装置

Publications (1)

Publication Number Publication Date
CN114494174A true CN114494174A (zh) 2022-05-13

Family

ID=81473209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210072322.1A Pending CN114494174A (zh) 2022-01-21 2022-01-21 一种芯片焊接线缺陷检测方法及装置

Country Status (1)

Country Link
CN (1) CN114494174A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116821398A (zh) * 2023-08-14 2023-09-29 新唐信通(北京)科技有限公司 一种道路缺陷识别模型训练用数据集获取方法
WO2024041393A1 (zh) * 2022-08-26 2024-02-29 宁德时代新能源科技股份有限公司 缺陷检测方法、系统、装置、设备、存储介质和产品
CN117953277A (zh) * 2024-01-07 2024-04-30 鹤山市鑫博鞋业有限公司 一种鞋体表面瑕疵在线检测方法及装置
CN118009888A (zh) * 2024-04-08 2024-05-10 深圳市明谋科技有限公司 一种线缆压接的视觉检测方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024041393A1 (zh) * 2022-08-26 2024-02-29 宁德时代新能源科技股份有限公司 缺陷检测方法、系统、装置、设备、存储介质和产品
CN116821398A (zh) * 2023-08-14 2023-09-29 新唐信通(北京)科技有限公司 一种道路缺陷识别模型训练用数据集获取方法
CN116821398B (zh) * 2023-08-14 2023-11-10 新唐信通(浙江)科技有限公司 一种道路缺陷识别模型训练用数据集获取方法
CN117953277A (zh) * 2024-01-07 2024-04-30 鹤山市鑫博鞋业有限公司 一种鞋体表面瑕疵在线检测方法及装置
CN118009888A (zh) * 2024-04-08 2024-05-10 深圳市明谋科技有限公司 一种线缆压接的视觉检测方法及系统

Similar Documents

Publication Publication Date Title
CN114494174A (zh) 一种芯片焊接线缺陷检测方法及装置
CN110532897B (zh) 零部件图像识别的方法和装置
CN108229490B (zh) 关键点检测方法、神经网络训练方法、装置和电子设备
CN106683048B (zh) 一种图像超分辨率方法及设备
CN109815919B (zh) 一种人群计数方法、网络、系统和电子设备
CN110570433B (zh) 基于生成对抗网络的图像语义分割模型构建方法和装置
US20230043026A1 (en) Learning-based active surface model for medical image segmentation
CN111126412B (zh) 基于特征金字塔网络的图像关键点检测方法
CN110674704A (zh) 一种基于多尺度扩张卷积网络的人群密度估计方法及装置
CN111784624B (zh) 目标检测方法、装置、设备及计算机可读存储介质
CN110136162B (zh) 无人机视角遥感目标跟踪方法及装置
CN109815931B (zh) 一种视频物体识别的方法、装置、设备以及存储介质
CN110648331A (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
CN112861718A (zh) 一种轻量级特征融合人群计数方法及系统
CN114821058A (zh) 一种图像语义分割方法、装置、电子设备及存储介质
CN113486894A (zh) 一种卫星图像特征部件语义分割方法
CN110503002B (zh) 一种人脸检测方法和存储介质
CN115240240A (zh) 基于yolo网络的红外人脸识别方法及系统
CN114821048A (zh) 目标物分割方法和相关装置
CN114298971A (zh) 一种冠状动脉分割方法、系统、终端以及存储介质
CN111881803A (zh) 一种基于改进YOLOv3的畜脸识别方法
JP5748472B2 (ja) オブジェクト判別装置、方法、及びプログラム
CN112084874B (zh) 一种物体检测方法、装置及终端设备
CN112581396A (zh) 一种基于生成对抗网络的反射消除方法
CN107563284B (zh) 行人追踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination