CN116342525A - 基于Lenet-5模型的SOP芯片引脚缺陷检测方法及系统 - Google Patents

基于Lenet-5模型的SOP芯片引脚缺陷检测方法及系统 Download PDF

Info

Publication number
CN116342525A
CN116342525A CN202310290582.0A CN202310290582A CN116342525A CN 116342525 A CN116342525 A CN 116342525A CN 202310290582 A CN202310290582 A CN 202310290582A CN 116342525 A CN116342525 A CN 116342525A
Authority
CN
China
Prior art keywords
model
lenet
chip
image
pin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310290582.0A
Other languages
English (en)
Inventor
董越
杨玮林
许德智
潘庭龙
吉训生
李键升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202310290582.0A priority Critical patent/CN116342525A/zh
Publication of CN116342525A publication Critical patent/CN116342525A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于Lenet‑5模型的SOP芯片引脚缺陷检测方法及系统，该方法包括采集待检测芯片的图像；从采集的图像中提取芯片的ROI图像；对ROI图像进行倾斜校正，得到矫正后的图像样本集；选取若干张图像样本并进行切割，将切割得到的图片分为不同种类并注明标签，制成数据集；将所述数据集输入预先构建的Lenet‑5神经网络进行训练，得到基于Lenet‑5模型的SOP芯片引脚缺陷检测模型中；将样本输入到基于Lenet‑5模型的SOP芯片引脚缺陷检测模型中，获得样本引脚的检测结果。本发明提高了SOP芯片引脚缺陷检测效率和正确率。

Description

基于Lenet-5模型的SOP芯片引脚缺陷检测方法及系统
技术领域
本发明涉及视觉和芯片引脚缺陷检测技术领域，尤其涉及一种基于Lenet-5模型的SOP芯片引脚缺陷检测方法及系统。
背景技术
随着芯片向着微小化发展，如使用人工对芯片引脚的缺陷进行检测需要耗费大量的时间和劳力成本，并且由于有的芯片的引脚长度为毫米级，那么出现缺陷很难被人工成功检出。
机器视觉是使用机器代替人眼来做测量和判断，在一些不适于人工作业的危险工作环境或者人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉，同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。现如今，机器视觉的应用范围涵盖了工业、农业、医药、军事、航天、气象、天文、公安、交通、安全、科研等各个行业。
随着计算机技术的迅速发展，研究人员发现可以利用计算机将采集到的图像作为数据源提取其中信息进行处理从而模拟人类的视觉。从视觉出发，让计算机从图像中提取信息模拟人眼去检测产品缺陷是一项值得研究的课题，深度学习就是计算机视觉检测的方法。利用深度学习算法对物体表面缺陷图像进行检测的方法不仅能够替代人工节约成本还能提高检测速度和检测精度。因此，将深度学习运用到工业领域来实现芯片引脚缺陷的检测已成为迫切需求。
发明内容
为此，本发明实施例提供了一种基于Lenet-5模型的SOP芯片引脚缺陷检测方法及系统，用于解决现有技术引脚缺陷检测中人工检测的时间和劳力成本大的问题以及人工检测误差率高的问题。
为了解决上述问题，本发明实施例提供一种基于Lenet-5模型的SOP芯片引脚缺陷检测方法，该方法包括：
S1：采集待检测芯片的图像；
S2：从采集的图像中提取芯片的ROI(Region of Interest，感兴趣区域)图像；
S3：对ROI图像进行倾斜校正，得到矫正后的图像样本集；
S4：选取若干张图像样本并进行切割，将切割得到的图片分为不同种类并注明标签，制成数据集；
S5：将所述数据集输入预先构建的Lenet-5神经网络模型进行训练，得到基于Lenet-5模型的SOP芯片引脚缺陷检测模型；
S6：将样本输入到基于Lenet-5模型的SOP芯片引脚缺陷检测模型中，获得样本引脚的检测结果；
所述步骤S5具体包括以下步骤：
S51：将所述数据集划分为训练集和测试集，划分比例为4:1；
S52：每批次从训练集中随机选取设定数量的图片输入预先构建的Lenet-5神经网络模型，根据Lenet-5神经网络模型的输出计算损失函数；
S53：根据损失函数进行方向传播，通过模型优化器更新Lenet-5神经网络模型的参数；
S54：当所有训练集图像处理完成时，将测试集输入到训练得到的模型中进行测试；经过预设次数的训练和测试，通过选取测试集检测结果最好的模型得到基于Lenet-5模型的SOP芯片引脚缺陷检测模型。
优选地，从采集的图像中提取芯片的ROI图像的方法为：
通过全局阈值分割的方法从采集的芯片图像中提取芯片的ROI图像
优选地，对ROI图像进行倾斜校正的方法具体包括：
对ROI图像进行二值化，通过边缘算子获取芯片塑封体的边缘特征图；
检测特征图中的角点根据边缘角点的坐标信息，使用最小二乘法拟合直线，算出边缘所在直线的斜率；
通过斜率计算倾斜角度，根据倾斜角度进行矫正。
优选地，选取若干张图像样本并进行切割，将切割得到的图片分为不同种类的方法具体包括：
选取若干张图像样本，将所述图像样本按照设定尺寸进行从左到右、至上而下的切割；
将切割得到的图片依据图片中芯片引脚的白色部分占图片的比例大小进行分类，得到不同种类的图像。
优选地，所述Lenet-5神经网络模型的结构为：输入层：32×32灰度图像；第1层卷积层：使用5*5的卷积核，步长为1，激活函数为relu，卷积深度为16；第2层池化层：采用最大池化方法，池化核尺寸为2*2，步长为2；第3层卷积层：使用5*5的卷积核，步长为1，卷积深度为32，激活函数为relu；第4层池化层：采用最大池化方法，池化核尺寸为2*2，步长为2；第5层全连接层：输出120个神经元，激活函数为relu；第6层全连接层：输出84个神经元，激活函数为relu；输出层：9个神经元，对应9个不同种类，使用softmax激活函数。
优选地，所述损失函数表示如下：
Figure SMS_1
其中，i，j为常数，Loss为表示损失函数，batchsize为批量处理数据量，n为分类总数，y表示真实分布，
Figure SMS_2
表示Lenet-5神经网络模型的输出分布。
优选地，将样本输入到基于Lenet-5模型的SOP芯片引脚缺陷检测模型中，获得样本引脚的检测结果具体包括：
将样本输入到基于Lenet-5模型的SOP芯片引脚缺陷检测模型中，通过识别芯片每个引脚边界的图片，确定其类别；根据类别确定计算引脚参数时需要调整的尺寸，最后判断芯片的引脚是否存在缺陷。
本发明实施例提供一种基于Lenet-5模型的SOP芯片引脚缺陷检测系统，该系统包括：
采集模块，用于采集待检测芯片的图像；
ROI图像提取模块，用于从采集的图像中提取芯片的ROI图像；
矫正模块，用于对ROI图像进行倾斜校正，得到矫正后的图像样本集；
切割及分类模块，用于选干张图像样本并进行切割，将切割得到的图片分为不同种类并注明标签，制成数据集；
模型训练模块，用于将所述数据集输入预先构建的Lenet-5神经网络模型进行训练，得到基于Lenet-5模型的SOP芯片引脚缺陷检测模型；
检测模块，用于将样本输入到基于Lenet-5模型的SOP芯片引脚缺陷检测模型中，获得样本引脚的检测结果；
所述模型训练模块具体包括以下步骤：
将所述数据集划分为训练集和测试集，划分比例为4:1；
每批次从训练集中随机选取设定数量的图片输入预先构建的Lenet-5神经网络模型，根据Lenet-5神经网络模型的输出计算损失函数；
根据损失函数进行方向传播，通过模型优化器更新Lenet-5神经网络模型的参数；
当所有训练集图像处理完成时，将测试集输入到训练得到的模型中进行测试；经过预设次数的训练和测试，通过选取测试集检测结果最好的模型得到基于Lenet-5模型的SOP芯片引脚缺陷检测模型。
本发明实施例提供一种网络装置，包括处理器、存储器和总线系统，所述处理器和存储器通过该总线系统相连，所述存储器用于存储指令，所述处理器用于执行存储器存储的指令，以实现上述任意一项所述的基于Lenet-5模型的SOP芯片引脚缺陷检测方法。
本发明实施例提供一种计算机存储介质，所述计算机存储介质存储有计算机软件产品，所述计算机软件产品包括的若干指令，用以使得一台计算机设备执行上述任意一项所述的基于Lenet-5模型的SOP芯片引脚缺陷检测方法。
从以上技术方案可以看出，本发明申请具有以下优点：
本发明实施例提供一种基于Lenet-5模型的SOP芯片引脚缺陷检测方法及系统。本发明利用工业相机采集芯片的图像，从采集的图像中提取ROI图像，去除冗余空间；对ROI图像进行倾斜校正，提高了检测的准确性；对矫正后的图像样本进行切割，将切割得到的图片分为不同种类并注明标签，制成数据集；将数据集输入预先构建的Lenet-5神经网络模型进行训练，本发明的网络模型将传统的Lenet-5网络模型中激活函数sigmoid更换成了激活函数relu，避免了训练时信息丢失以及计算量大的问题，同时采用激活函数relu使得网络具有稀疏性，减少了参数的相互依存关系，缓解了过拟合问题的发生，此外将两个卷积层的深度改成16层和32层，增加了特征参数的数量，使得训练结果更加精确；最后通过得到的基于Lenet-5模型的SOP芯片引脚缺陷检测模型对样本进行检测。本发明通过深度学习减少了原始样本的图像采集，相对于人工检测芯片管脚的缺陷，提高了检测效率和准确率，并且本发明所获得的SOP芯片引脚缺陷检测模型仍可以应用于普通视觉系统所采集图像的检测。
附图说明
为了更清楚地说明本发明实施案例或现有技术中的技术方案，下边将对实施例中所需要使用的附图做简单说明，通过参考附图会更清楚的理解本发明的特征和优点，附图是示意性的而不应该理解为对本发明进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。其中：
图1为根据实施例中提供的一种基于Lenet-5模型的SOP芯片引脚缺陷检测方法的流程图；
图2为本发明的工业相机采集的SOP芯片图；
图3为图2中采集的SOP芯片的灰度直方图；
图4为SOP8芯片引脚的引脚缺失图；
图5为SOP8芯片一个引脚的检测示例图；
图6为SOP8芯片引脚的引脚弯曲图；
图7为SOP8芯片引脚的长度缺陷图；
图8为根据实施例中提供的一种基于Lenet-5模型的SOP芯片引脚缺陷检测系统的框图。
具体实施方式
为使本发明实施例的目的、技术方案与优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提出一种基于Lenet-5模型的SOP芯片引脚缺陷检测方法，该方法包括：
S1：采集待检测芯片的图像；
S2：从采集的图像中提取芯片的ROI图像；
S3：对ROI图像进行倾斜校正，得到矫正后的图像样本集；
S4：选取若干张图像样本并进行切割，将切割得到的图片分为不同种类并注明标签，制成数据集；
S5：将所述数据集输入预先构建的Lenet-5神经网络模型进行训练，得到基于样本Lenet-5模型的SOP芯片引脚缺陷检测模型；
S6：将样本输入到基于Lenet-5模型的SOP芯片引脚缺陷检测模型中，获得样本引脚的检测结果；
所述步骤S5具体包括以下步骤：
S51：将所述数据集划分为训练集和测试集，划分比例为4:1；
S52：每批次从训练集中随机选取设定数量的图片输入预先构建的Lenet-5神经网络模型，根据Lenet-5神经网络模型的输出计算损失函数；
S53：根据损失函数进行方向传播，通过模型优化器更新Lenet-5神经网络模型的参数；
S54：当所有训练集图像处理完成时，将测试集输入到训练得到的模型中进行测试；经过预设次数的训练和测试，通过选取测试集检测结果最好的模型得到基于Lenet-5模型的SOP芯片引脚缺陷检测模型。
本发明提出一种基于Lenet-5模型的SOP芯片引脚缺陷检测方法，利用工业相机采集芯片的图像，从采集的图像中提取ROI图像，去除冗余空间；对ROI图像进行倾斜校正，提高了检测的准确性；对矫正后的图像样本进行切割，将切割得到的图片分为不同种类并注明标签，制成数据集；将数据集输入预先构建的Lenet-5神经网络模型进行训练，本发明的网络模型将传统的Lenet-5网络模型中激活函数sigmoid更换成了激活函数relu，避免了训练时信息丢失以及计算量大的问题，同时采用激活函数relu使得网络具有稀疏性，减少了参数的相互依存关系，缓解了过拟合问题的发生，此外将两个卷积层的深度改成16层和32层，增加了特征参数的数量，使得训练结果更加精确；最后通过得到的基于Lenet-5模型的SOP芯片引脚缺陷检测模型对样本进行检测。本发明通过深度学习减少了原始样本的图像采集，相对于人工检测芯片管脚的缺陷，提高了检测效率和准确率，并且本发明所获得的SOP芯片引脚缺陷检测模型仍可以应用于普通视觉系统所采集图像的检测。
进一步地，在步骤S1中具体包括：
利用工业相机对芯片的俯视图进行采集；确定相机的靶面尺寸(FS)、像素和镜头的焦距(f)和物距(WD)和视野(FOV)，在本实施例中，FS＝7.6mm*5.7mm，f＝35mm，WD＝133mm，根据下述公式可知，工业相机一次曝光采集图像所包含的尺寸大小为40.4mmx30.3mm，再根据工业相机探测阵列的实际分辨率(4024*3036)，工业相机所采集图像的每一个像素所代表的真实物理距离约为0.01mm。
FOV＝WD×FS/f
进一步地，在步骤S2中具体包括：
由于视觉系统采集的图片存在大面积的冗余空间，因此需要从采集的图像中提取芯片的ROI图像。
具体地，图2所示的是工业相机采集的图片，图2中存在大面积的冗余空间。图3展示的图2中采集的SOP芯片的灰度直方图，从图3可知，芯片塑封体的灰度值和其余区域有显著的差别。可以通过全局阈值分割的方法从采集的芯片图像中提取芯片的ROI图像。为了保证芯片完整的塑封和所有管脚都包括在截取的图像ROI范围之内，适当扩大提取区域。
进一步地，在步骤S3中具体包括：
由于采集样本时，芯片摆放位置有时候会出现倾斜，为了提高检测的准确性，需要进行倾斜校正。
具体地，首先对ROI图像进行二值化，通过边缘算子获取芯片塑封体的边缘特征图；然后检测特征图中的角点根据边缘角点的坐标信息，使用最小二乘法拟合直线，算出边缘所在直线的斜率；最后通过斜率计算倾斜角度，根据倾斜角度进行矫正。
进一步地，在步骤S4中具体包括：
选取20张经过倾斜矫正的图像样本，以10*10的尺寸对所述图像样本进行从左到右、至上而下的切割，并将切割得到的图片依据图片中芯片引脚的白色部分占图片的比例大小进行分类，得到不同种类的图像，并注明标签，制成数据集。在本实施中一共分为9个种类。
具体地，由于本实施中的工业相机是2D相机，而SOP芯片引脚是自上而下曲面的，所以采集到的芯片引脚图片中间会呈现黑色，两头为白色。本发明中样本图像的背景为浅灰色，芯片的塑封体颜色为黑色，引脚部分为白色，部分为黑色，黑色的部分当成塑封体做图像处理。对图片的分类原则：90％以上的空间为引脚的白色，标签为“pin_A”；80％的空间为引脚的白色，标签为“pin_B”；60％的空间为引脚的白色，标签为“pin_C”；40％的空间为引脚的白色且剩余空间为背景，标签为“pin_D_bg”；40％的空间为引脚的白色且剩余空间为塑封体，标签为“pin_D_pp”；20％的空间为引脚的白色且剩余空间为背景，标签为“pin_E_bg”；20％的空间为引脚的白色且剩余空间为塑封体，标签为“pin_E_pp”；50％以上的空间为背景，标签为“bg”；50％以上的空间为塑封体，标签为“pp”；最终得到数据集。
进一步地，在步骤S5中具体包括：
将数据集输入预先构建的Lenet-5神经网络模型进行训练，得到基于Lenet-5模型的SOP芯片引脚缺陷检测模型。其中，所述Lenet-5神经网络模型的结构为：输入层：32×32灰度图像；第1层卷积层：使用5*5的卷积核，步长为1，激活函数为relu，图像的尺寸从32*32*1变为28*28*16，卷积深度为16；第2层池化层：采用最大池化方法，池化核尺寸为2*2，步长为2；第3层卷积层：使用5*5的卷积核，步长为1，卷积深度为32，激活函数为relu，图像的尺寸从14*14*16变为10*10*32；第4层池化层：采用最大池化方法，池化核尺寸为2*2，输出图像的尺寸为5*5*32，步长为2；第5层全连接层：输出120个神经元，激活函数为relu；第6层全连接层：输出84个神经元，激活函数为relu；输出层：9个神经元，对应9个不同种类，使用softmax激活函数。
与传统的Lenet-5网络模型不同的是，本发明将激活函数sigmoid更换成了激活函数relu。因为激活函数sigmoid反向传播时，很容易就会出现梯度消失的情况(在激活函数sigmoid接近饱和区时，变换太缓慢，导数趋于0)，这种情况会造成信息丢失，从而无法完成深层网络的训练；而激活函数relu可以解决上述的问题，激活函数relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性(对于特征选取更好)，并且减少了参数的相互依存关系，缓解了过拟合问题的发生。在性能上采用激活函数sigmoid，计算激活函数时(指数运算)，计算量大，反向传播求误差梯度时，求导涉及除法，计算量相对大，而采用激活函数Relu，整个过程的计算量节省很多。
此外，在传统的Lenet-5网络模型中，两个卷积层的深度分别为6和16，本发明将两个卷积层的深度改成16层和32层，增加了特征参数的数量。
模型的训练过程为：在数据集中，训练集每个类别有2000张，测试集每个类别500张。训练时，每批次从训练集中随机选取32张图片输入预先构建的Lenet-5神经网络模型，根据Lenet-5神经网络模型的输出计算损失函数，所述损失函数的计算公式如下；根据损失函数进行方向传播，通过模型优化器更新Lenet-5神经网络模型的参数，本发明中训练使用的模型优化器为Adam优化器，设置初始学习率＝0.0001，动量因子momentum＝0.9；当所有训练集图像处理完成时，将测试集输入到训练得到的模型中进行测试；经过30次的训练和测试，通过选取测试集检测结果最好的模型得到基于Lenet-5模型的SOP芯片引脚缺陷检测模型。
Figure SMS_3
其中，i，j为常数，Loss为表示损失函数，batchsize＝32为批量处理数据量，n为分类总数，y表示真实分布，
Figure SMS_4
表示Lenet-5神经网络模型的输出分布。
进一步地，在步骤S6中具体包括：
将剩余的样本输入到基于Lenet-5模型的SOP芯片引脚缺陷检测模型中，获得样本引脚的检测结果。
具体地，将一个样本送入基于Lenet-5模型的SOP芯片引脚缺陷检测模型中，从靠近塑封体左右两侧的列进行由上而下的以10*10的尺寸进行切割识别，记录该列上最容易识别的”pin_A”类的所有位置，同一个引脚中”pin_A”的位置总是相邻的，当出现位置跨度比较大的时候，说明是不同管脚中的”pin_A”，记录塑封体一侧”pin_A”的位置有几组是相邻的。本发明中，芯片的封装类型是SOP8，塑封体的两侧每一侧有4个引脚，因此有4组位置相邻的”pin_A“，若小于4则说明有引脚缺失，图4展示了芯片引脚缺失(用矩形框表示)。以图5为辅助图，讲解如何检测芯片引脚的长度、宽度、弯曲和间距。图5中，A代表”pin_A“，C代表“pp”或者“bg”，B代表其它标签。按照列，自上而下切割识别，寻找每一列上引脚的上下边界。对某一个引脚开始识别，自上而下，当时别到第一个A时，记录位置并继续上下识别，当识别到C时，结束当前列的识别。则一个引脚的每一列上应该都有一对A和C，且当前列上引脚的上边界在A的上一个位置，当前列上引脚的下边界在C的上一个位置。只需要确定A的上一个位置的标签，并进行调整，可以得到这列的引脚上边界；确定C的上一个位置的标签，进行调整，得到这一列引脚的下边界。调整的规则如下。上边界：识别到”pin_B”时，从A处向上调整8个像素，”pin_C”向上调整6个像素,”pin_D_bg”和”pin_D_pp”向上调整4个像素，”pin_E_bg”和”pin_E_pp”向上调整2个像素，”bg”和”pp”不进行调整。下边界：识别到”pin_A”时，不进行调整，识别到”pin_B”时，从C处向上调整2个像素，”pin_C”向上调整4个像素，”pin_D_bg”和”pin_D_pp”向上调整6个像素，”pin_E_bg”和”pin_E_pp”向上调整8个像素。引脚的每一列都可以得到一个上边界坐标和下边界坐标，一个引脚得到多个上边界坐标和下边界坐标。在上边界中，找到最大差值，即图5中的灰色线条T_Y2与T_Y1的间距，在下边界中，找到最大差值，即图5中的灰色线条B_Y2与B_Y1的间距。若两个差值均大于10个像素，认为该引脚产生弯曲。芯片的宽度＝B_Y2-T_Y1。对第一个出现”pin_A”所在列的前一列进行切割识别，并计算对应的横坐标，最小的横坐标为引脚的前端；对最后出现”pin_A”所在列的后一列进行图像识别，并计算对应的横坐标，最大的横坐标为引脚的后端，如图5中红色线条x1、x2所示。则芯片的长度＝x2-x1。引脚的间距为当前引脚的中心线到下一个引脚中心线的垂直距离。中心线为引脚的上边界和下边界的正中间的线，即图5中(T_Y1+B_Y2)/2。图6、图7分别展示了引脚弯曲和引脚长度缺陷。
如图8所示，本发明提供一种基于Lenet-5模型的SOP芯片引脚缺陷检测系统，该系统包括：
采集模块100，用于采集待检测芯片的图像；
ROI图像提取模块200，用于从采集的图像中提取芯片的ROI图像；
矫正模块300，用于对ROI图像进行倾斜校正，得到矫正后的图像样本集；
切割及分类模块400，用于选干张图像样本并进行切割，将切割得到的图片分为不同种类并注明标签，制成数据集；
模型训练模块500，用于将所述数据集输入预先构建的Lenet-5神经网络模型进行训练，得到基于Lenet-5模型的SOP芯片引脚缺陷检测模型；
检测模块600，用于将样本输入到基于Lenet-5模型的SOP芯片引脚缺陷检测模型中，获得样本引脚的检测结果；
所述模型训练模块500具体包括以下步骤：
将所述数据集划分为训练集和测试集，划分比例为4:1；
每批次从训练集中随机选取设定数量的图片输入预先构建的Lenet-5神经网络模型，根据Lenet-5神经网络模型的输出计算损失函数；
根据损失函数进行方向传播，通过模型优化器更新Lenet-5神经网络模型的参数；
当所有训练集图像处理完成时，将测试集输入到训练得到的模型中进行测试；经过预设次数的训练和测试，通过选取测试集检测结果最好的模型得到基于Lenet-5模型的SOP芯片引脚缺陷检测模型。
所述系统，用以实现上述所述的一种基于Lenet-5模型的SOP芯片引脚缺陷检测方法，为了避免冗余，在此不再赘述。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于Lenet-5模型的SOP芯片引脚缺陷检测方法，其特征在于，包括：
S1：采集待检测芯片的图像；
S2：从采集的图像中提取芯片的ROI图像；
S3：对ROI图像进行倾斜校正，得到矫正后的图像样本集；
S4：选取若干张图像样本并进行切割，将切割得到的图片分为不同种类并注明标签，制成数据集；
S5：将所述数据集输入预先构建的Lenet-5神经网络模型进行训练，得到基于Lenet-5模型的SOP芯片引脚缺陷检测模型；
S6：将样本输入到基于Lenet-5模型的SOP芯片引脚缺陷检测模型中，获得样本引脚的检测结果；
所述步骤S5具体包括以下步骤：
S51：将所述数据集划分为训练集和测试集，划分比例为4:1；
S52：每批次从训练集中随机选取设定数量的图片输入预先构建的Lenet-5神经网络模型，根据Lenet-5神经网络模型的输出计算损失函数；
S53：根据损失函数进行方向传播，通过模型优化器更新Lenet-5神经网络模型的参数；
S54：当所有训练集图像处理完成时，将测试集输入到训练得到的模型中进行测试；经过预设次数的训练和测试，通过选取测试集检测结果最好的模型得到基于Lenet-5模型的SOP芯片引脚缺陷检测模型。
2.根据权利要求1所述的基于Lenet-5模型的SOP芯片引脚缺陷检测方法，其特征在于，从采集的图像中提取芯片的ROI图像的方法为：
通过全局阈值分割的方法从采集的芯片图像中提取芯片的ROI图像。
3.根据权利要求1所述的基于Lenet-5模型的SOP芯片引脚缺陷检测方法，其特征在于，对ROI图像进行倾斜校正的方法具体包括：
对ROI图像进行二值化，通过边缘算子获取芯片塑封体的边缘特征图；
检测特征图中的角点根据边缘角点的坐标信息，使用最小二乘法拟合直线，算出边缘所在直线的斜率；
通过斜率计算倾斜角度，根据倾斜角度进行矫正。
4.根据权利要求1所述的基于Lenet-5模型的SOP芯片引脚缺陷检测方法，其特征在于，选取若干张图像样本并进行切割，将切割得到的图片分为不同种类的方法具体包括：
选取若干张图像样本，将所述图像样本按照设定尺寸进行从左到右、至上而下的切割；
将切割得到的图片依据图片中芯片引脚的白色部分占图片的比例大小进行分类，得到不同种类的图像。
5.根据权利要求1所述的基于Lenet-5模型的SOP芯片引脚缺陷检测方法，其特征在于，所述Lenet-5神经网络模型的结构为：输入层：32×32灰度图像；第1层卷积层：使用5*5的卷积核，步长为1，激活函数为relu，卷积深度为16；第2层池化层：采用最大池化方法，池化核尺寸为2*2，步长为2；第3层卷积层：使用5*5的卷积核，步长为1，卷积深度为32，激活函数为relu；第4层池化层：采用最大池化方法，池化核尺寸为2*2，步长为2；第5层全连接层：输出120个神经元，激活函数为relu；第6层全连接层：输出84个神经元，激活函数为relu；输出层：9个神经元，对应9个不同种类，使用softmax激活函数。
6.根据权利要求1所述的基于Lenet-5模型的SOP芯片引脚缺陷检测方法，其特征在于，所述损失函数表示如下：
Figure FDA0004141293070000031
其中，i，j为常数，Loss为表示损失函数，batchsize为批量处理数据量，n为分类总数，y表示真实分布，
Figure FDA0004141293070000032
表示Lenet-5神经网络模型的输出分布。
7.根据权利要求1所述的基于Lenet-5模型的SOP芯片引脚缺陷检测方法，其特征在于，将样本输入到基于Lenet-5模型的SOP芯片引脚缺陷检测模型中，获得样本引脚的检测结果具体包括：
将样本输入到基于Lenet-5模型的SOP芯片引脚缺陷检测模型中，通过识别芯片每个引脚边界的图片，确定其类别；根据类别确定计算引脚参数时需要调整的尺寸，最后判断芯片的引脚是否存在缺陷。
8.一种基于Lenet-5模型的SOP芯片引脚缺陷检测系统，其特征在于，包括：
采集模块，用于采集待检测芯片的图像；
ROI图像提取模块，用于从采集的图像中提取芯片的ROI图像；
矫正模块，用于对ROI图像进行倾斜校正，得到矫正后的图像样本集；
切割及分类模块，用于选干张图像样本并进行切割，将切割得到的图片分为不同种类并注明标签，制成数据集；
模型训练模块，用于将所述数据集输入预先构建的Lenet-5神经网络模型进行训练，得到基于Lenet-5模型的SOP芯片引脚缺陷检测模型；
检测模块，用于将样本输入到基于Lenet-5模型的SOP芯片引脚缺陷检测模型中，获得样本引脚的检测结果；
所述模型训练模块具体包括以下步骤：
将所述数据集划分为训练集和测试集，划分比例为4:1；
每批次从训练集中随机选取设定数量的图片输入预先构建的Lenet-5神经网络模型，根据Lenet-5神经网络模型的输出计算损失函数；
根据损失函数进行方向传播，通过模型优化器更新Lenet-5神经网络模型的参数；
当所有训练集图像处理完成时，将测试集输入到训练得到的模型中进行测试；经过预设次数的训练和测试，通过选取测试集检测结果最好的模型得到基于Lenet-5模型的SOP芯片引脚缺陷检测模型。
9.一种网络装置，其特征在于，包括处理器、存储器和总线系统，所述处理器和存储器通过该总线系统相连，所述存储器用于存储指令，所述处理器用于执行存储器存储的指令，以实现权利要求1至7任意一项所述的基于Lenet-5模型的SOP芯片引脚缺陷检测方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机软件产品，所述计算机软件产品包括的若干指令，用以使得一台计算机设备执行权利要求1至7任意一项所述的基于Lenet-5模型的SOP芯片引脚缺陷检测方法。
CN202310290582.0A 2023-03-23 2023-03-23 基于Lenet-5模型的SOP芯片引脚缺陷检测方法及系统 Pending CN116342525A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310290582.0A CN116342525A (zh) 2023-03-23 2023-03-23 基于Lenet-5模型的SOP芯片引脚缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310290582.0A CN116342525A (zh) 2023-03-23 2023-03-23 基于Lenet-5模型的SOP芯片引脚缺陷检测方法及系统

Publications (1)

Publication Number Publication Date
CN116342525A true CN116342525A (zh) 2023-06-27

Family

ID=86887295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310290582.0A Pending CN116342525A (zh) 2023-03-23 2023-03-23 基于Lenet-5模型的SOP芯片引脚缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN116342525A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117038494A (zh) * 2023-10-10 2023-11-10 天津芯成半导体有限公司 一种用于芯片加工产业的辅助智能检测系统
CN117764996A (zh) * 2024-02-22 2024-03-26 珠海电科星拓科技有限公司 一种智能sot封装芯片引脚缺陷检测的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117038494A (zh) * 2023-10-10 2023-11-10 天津芯成半导体有限公司 一种用于芯片加工产业的辅助智能检测系统
CN117038494B (zh) * 2023-10-10 2023-12-15 天津芯成半导体有限公司 一种用于芯片加工产业的辅助智能检测系统
CN117764996A (zh) * 2024-02-22 2024-03-26 珠海电科星拓科技有限公司 一种智能sot封装芯片引脚缺陷检测的方法
CN117764996B (zh) * 2024-02-22 2024-05-24 珠海电科星拓科技有限公司 一种智能sot封装芯片引脚缺陷检测的方法

Similar Documents

Publication Publication Date Title
CN111027547B (zh) 一种针对二维图像中的多尺度多形态目标的自动检测方法
CN111474184B (zh) 基于工业机器视觉的aoi字符缺陷检测方法和装置
CN111428723B (zh) 字符识别方法及装置、电子设备、存储介质
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
CN109886928B (zh) 一种目标细胞标记方法、装置、存储介质及终端设备
CN116342525A (zh) 基于Lenet-5模型的SOP芯片引脚缺陷检测方法及系统
CN116188475B (zh) 一种外观缺陷自动光学检测的智慧控制方法、系统及介质
JP2008171417A (ja) 画像内の略矩形のオブジェクトを検出する方法、画像内のバックグラウンド色を推定する方法、コンピュータ可読媒体、画像内の略矩形のオブジェクトを検出する装置、および画像内のバックグラウンド色を推定する装置
CN110929795B (zh) 高速焊线机焊点快速识别与定位方法
CN112307919B (zh) 一种基于改进YOLOv3的单证图像中数字信息区域识别方法
CN112085024A (zh) 一种罐表面字符识别方法
CN111461133B (zh) 快递面单品名识别方法、装置、设备及存储介质
CN113205511B (zh) 基于深层神经网络的电子元器件批量信息检测方法及系统
CN107464245B (zh) 一种图像结构边缘的定位方法及装置
CN112883926B (zh) 表格类医疗影像的识别方法及装置
CN112365497A (zh) 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统
CN110276759B (zh) 一种基于机器视觉的手机屏坏线缺陷诊断方法
CN112435214A (zh) 基于先验框线性缩放的花粉检测方法、装置和电子设备
CN114821102A (zh) 密集柑橘数量检测方法、设备、存储介质及装置
CN114331986A (zh) 一种基于无人机视觉的坝体裂纹识别与测量方法
CN110570442A (zh) 一种复杂背景下轮廓检测方法、终端设备及存储介质
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
CN111222507A (zh) 数字式仪表读数的自动识别方法、计算机可读存储介质
CN112819796A (zh) 烟丝异物识别方法及设备
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination