CN113592866A - 一种半导体引线框架曝光缺陷检测方法 - Google Patents

一种半导体引线框架曝光缺陷检测方法 Download PDF

Info

Publication number
CN113592866A
CN113592866A CN202111149163.2A CN202111149163A CN113592866A CN 113592866 A CN113592866 A CN 113592866A CN 202111149163 A CN202111149163 A CN 202111149163A CN 113592866 A CN113592866 A CN 113592866A
Authority
CN
China
Prior art keywords
image
layer
lead frame
training
defects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111149163.2A
Other languages
English (en)
Inventor
邓万宇
介佳豪
武敦海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Posts and Telecommunications
Original Assignee
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Posts and Telecommunications filed Critical Xian University of Posts and Telecommunications
Priority to CN202111149163.2A priority Critical patent/CN113592866A/zh
Publication of CN113592866A publication Critical patent/CN113592866A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉技术领域，涉及一种半导体引线框架曝光缺陷检测方法，当该方法其应用于某种类型的半导体引线框架模具时：首先对采集到的源图像进行二值化处理；再利用图像修复模型对二值化处理后的二值化图像A进行修复得到二值化图像B，所述图像修复模型采用生成式对抗网络训练模型，所述生成式对抗网络由生成器G和判别器D组成；最后通过对二值化图像A和二值化图像B进行比对，确定缺陷的准确位置，可实现对细小缺陷的检测，具有检测准确率高、检测时延短等优点。

Description

一种半导体引线框架曝光缺陷检测方法
技术领域
本发明属于计算机视觉技术领域，涉及一种半导体引线框架曝光缺陷检测方法。
背景技术
半导体芯片，是将一定数量的半导体元器件封装入不同材料的载体，如金属、陶瓷等，以实现某种特定功能的电路芯片，也称作集成电路芯片。半导体芯片中，用于容纳、包覆半导体元器件的载体称为半导体封装，半导体封装为元器件提供与外部电路连接的引脚或触点和一定的冲击、划伤保护。而半导体封装的基础材料就是引线框架，它在生产的各个环节，可能会因为模具固有的缺陷或者其它因素不可避免地在表面产生缺陷，这严重影响了产品质量和企业的效益。因此，如何准确、高效地检测出这些缺陷至关重要。
目前，常见的检测方法有BP神经网络和模板匹配等算法。虽然现有的检测方法在实验室环境下有一定的效果，但均存在致命的缺点，无法满足实际的使用要求。例如，BP神经网络算法只能对含有缺陷的图像和正常图像进行分类，并不能定位缺陷的位置，且对细小的缺陷效果不理想；模板匹配需要事先利用人工得到一个正确的模板，且只能对引线框架的形状做一个粗略的检测，检测结果不稳定且精度不高。
发明内容
在本发明的目的在于克服上述现有技术的缺点，提供一种半导体引线框架曝光缺陷检测方法，该方法可实现对引线框架上各种类型缺陷的检测，而且能够实现对细小缺陷的检测，具有检测准确率高、检测时延短等优点。
为实现上述目的，本发明提供了如下技术方案：
这种半导体引线框架曝光缺陷检测方法，具体包括以下步骤：
S1、获取半导体引线框架的源图像；
S2、对所述源图像进行预处理，得到二值化图像A；
S3、将所述二值化图像A输入训练好的图像修复模型，得到修复后的二值化图像B；所述图像修复模型采用生成式对抗网络训练模型，所述生成式对抗网络由生成器G和判别器D组成；
S4、将所述二值化图像A和二值化图像B进行比对，确定缺陷的准确位置。
进一步，步骤S1、获取半导体引线框架的源图像，具体包括：
S1.1、利用图像采集平台采集半导体引线框架的源图像；
S1.2、将所述源图像通过图像采集卡传输至工控机。
进一步，步骤S2中的预处理具体包括：
将所述源图像输入图像预处理模块，根据设定的二值化阈值value按照式（1）对图像进行二值化处理：
Figure 950646DEST_PATH_IMAGE001
（1）
式（1）中，
Figure 961459DEST_PATH_IMAGE002
为二值化处理后的图像上每个位置的像素值，
Figure 837011DEST_PATH_IMAGE003
为通过GPU 计算资源计算得到的源图像上每个位置的像素值。
进一步，步骤S4、将所述二值化图像A和二值化图像B进行比对，得到缺陷的准确位置，具体包括：
S4.1、通过与或操作得到二值化图像A和二值化图像B之间的残差图；
S4.2、计算残差图所占的像素个数与二值化图像A总像素个数的比例，记作残差分数，如所述残差分数大于设定的残差阈值，则输入的图像存在缺陷；
S4.3、计算残差图的所有连通域，如面积达到设定的面积阈值，则对应所述面积的连通域为缺陷；
S4.4、通过求所有连通域的外接矩形确定缺陷的位置，并在源图像上标记出来。
进一步，步骤S3中的生成器G由编码器和解码器组成，且所述编码器、解码器分别包括四层；
所述编码器和解码器的第一层到第四层分别使用8，6，4，4大小的卷积核，以提高图像修复模型在不同尺度的表现能力；
所述编码器的每层包含三个子层，分别为卷积层、批归一化层和激活层；所述解码器的前三层包含三个子层，分别为反卷积层、批归一化层和激活层，解码器的最后一层由反卷积层和Tanh激活函数组成；
所述编码器的第一层和解码器的第三层、编码器的第二层和解码器的第二层、编码器的第三层和解码器的第一层分别设置跳跃连接；
所述编码器采用LeakyReLU激活函数，所述解码器使用ReLU激活函数，所述LeakyReLU激活函数和ReLU激活函数的定义分别如下：
Figure 131726DEST_PATH_IMAGE004
（2）
Figure 949378DEST_PATH_IMAGE005
（3）
式（3）中，a是斜率。
进一步，所述生成器G通过对抗损失L adv 和上下文损失L con 联合优化得到，所述对抗损失L adv 、上下文损失L con 、训练生成器G所用的损失L G 的计算公式如下：
Figure 431175DEST_PATH_IMAGE006
（4）
Figure 110418DEST_PATH_IMAGE007
（5）
Figure 10372DEST_PATH_IMAGE008
（6）
式（4）、（5）、（6）中，
Figure 484079DEST_PATH_IMAGE009
为源图像的特征，
Figure 718751DEST_PATH_IMAGE010
表示二值化图像B的特征，x表 示二值化图像A，
Figure 188303DEST_PATH_IMAGE011
表示二值化图像B，
Figure 192031DEST_PATH_IMAGE012
表示对抗损失L adv 的权重，
Figure 836639DEST_PATH_IMAGE013
表示上下文损 失L con 的权重。
进一步，训练判别器D时所用损失L D 的计算公式如下：
Figure 43760DEST_PATH_IMAGE014
（7）
式（7）中，
Figure 64806DEST_PATH_IMAGE015
代表输入源图像判别器得到的分类结果，
Figure 923041DEST_PATH_IMAGE016
代表输 入二值化图像B判别器得到的分类结果，real代表真，fake代表假，f代表交叉熵损失函数。
进一步，所述图像修复模型的训练过程包括，
训练数据增强处理：在正常图像上加入各种形状和大小的缺陷及椒盐噪声，并作为输入图像；
训练数据归一化处理：在训练前将输入图像数据从[0,255]归一化处理到[0,1]之间，所采用的公式为：
Figure 987817DEST_PATH_IMAGE017
（8）
式（8）中，V i 和V(z)分别表示图像像素点在归一化前和归一化后的值，V max 和V min 分别表示像素的最大值和最小值；
权重初始化：利用迁移学习实现基于正常图像训练好的模型来训练图形修复模型；
设定训练参数。
与现有技术相比，本发明提供的技术方案包括以下有益效果：
这种半导体引线框架曝光缺陷的检测方法，当其应用于某种类型的半导体引线框架模具时，首先对采集到的源图像进行二值化处理，再利用图像修复模型对二值化处理后的二值化图像A进行修复得到二值化图像B，最后通过对二值化图像A和二值化图像B进行比对，确定缺陷的准确位置。
该检测方法，为了适应工业环境的要求和增强模型的训练便捷性，只需要使用少量正常图片，在训练模型的时候自动加入各种形状和大小的缺陷和噪声，从而利用包含正常图片和含有缺陷图片的数据集快速的完成模型的训练；为了提高图像修复模型对各个尺度特征的表现能力，设计了金字塔结构的编码网络和解码网络，从而保证图像修复模型对不同尺度缺陷的修复能力，确保修复出正常的图像，进一步提高了缺陷的检测精度；为了加快图像修复模型的训练速度和取得更好的训练结果，采用迁移学习实现基于正常图片训练好的模型来训练图像修复模型；此外，为了满足工业环境中对检测时间的要求，本发明合理使用多线程技术和GPU计算资源，大幅度缩短了检测时间。
因此，该检测方法可实现对引线框架上各种类型缺陷的检测，而且能够实现对细小缺陷的检测，具有检测准确率高、检测时延短等优点。
附图说明
图1为本发明提供的一种半导体引线框架曝光缺陷检测方法的流程图；
图2为本发明中的图像采集平台采集图像时对半导体引线框架的划分概念图；
图3为本发明修复网络模型的整体架构的图；
图4为本发明修复网络模型中生成器的结构图；
图5为检测软件的操作界面图；
图6为缺陷检测结果微观展示的界面图；
图7为缺陷检测结果放大后的界面图；
图8为修改保存结果位置的界面图；
图9为历史检测记录的界面图；
图10为执行月统计和日统计的操作界面图；
图11为只使用客户代码查询的界面图；
图12为使用客户代码、型号进行查询的界面图；
图13为使用客户代码、型号、引线框架编号进行查询的界面图；
图14为执行用户管理操作的界面图；
图15为执行切换用户操作的界面图；
图16为检测完成后框出缺陷类型为干膜过多的位置；
图17为检测完成后框出缺陷类型为露铜的位置；
图18为检测完成后框出缺陷类型为干膜过多的位置；
图19为检测完成后框出缺陷类型为尘粒的位置；
图20为检测完成后框出缺陷类型为露铜的位置；
图21为检测完成后框出缺陷类型为干膜过多的位置；
图22为本发明提供的一种半导体引线框架缺陷检测系统的检测流程图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与所附权利要求书中所详述的、本发明的一些方面相一致的方法的例子。
为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图及实施例对本发明作进一步详细描述。
实施例1
参见图1所示，本发明提供了一种半导体引线框架曝光缺陷检测方法，具体包括以下步骤：
S1、获取半导体引线框架的源图像；
S2、对所述源图像进行预处理，得到二值化图像A；
S3、将所述二值化图像A输入训练好的图像修复模型，得到修复后的二值化图像B；所述图像修复模型采用生成式对抗网络训练模型，所述生成式对抗网络由生成器G和判别器D组成；
S4、将所述二值化图像A和二值化图像B进行比对，确定缺陷的准确位置。进一步，上述步骤S1、获取半导体引线框架的源图像，具体包括：
S1.1、利用图像采集平台采集半导体引线框架的源图像；
S1.2、将所述源图像通过图像采集卡传输至工控机。
作为本实施例一种可选或优选的实施方式，步骤S1.1中的图像采集平台包括图像采集卡、面阵相机、同轴光源、能够在x和y方向进行移动的载物平台以及搭载处理器、显卡的工控机和液晶显示屏。
具体地，面阵相机选用海康工业面阵相机，便于完整地表示引线框架表面的细节信息，同轴光源选用白色同轴光源，显卡为NVIDIA 3080显卡，处理器为Intel I7-9700K处理器。
基于上述图像采集平台，源图像具体的采集过程如下：
假设产品的高度为h，单位为像素；用w表示产品的宽度，单位为像素；用h1表示控制相机视野拍摄的图像高度，单位为像素；用w1表示控制相机视野拍摄的图像宽度，单位为像素。则用以表示产品完整信息所需要的图像个数为：Sum=(h/h1)*(w/w1)，需要说明的是，相邻的子图像之间有重叠区域，保证信息的完整性。
在采集图像的时候，相机的位置保持不动，通过滑台的移动来拍摄不同区域的图像。对于引线框架区域的划分概念图如图2所示，滑台的移动步骤具体如下，
第一步：在开始采集图像之前，通过运动控制卡驱使滑台移动到原点位置，保证相机拍摄的是（0,0）位置的区域；
第二步：给相机发送一个信号，使其拍摄（0,0）位置的图像，滑台继续位于当前行，沿x轴负方向移动合适的距离，使相机拍摄（0,1）位置的图像；
第三步：每拍摄完一个位置，接着沿x轴负方向移动，当移动到指定位置，触发相机拍摄图像，直到当前行的所有区域的图像采集完毕；
第四步：当采集完一行的图像之后，滑台沿y轴负方向移动到下一行，此时滑台需要沿着x轴正方向移动，直到采集完这一行的图像。
第五步：执行上述操作，直到引线框架所有区域的图像采集完毕。
进一步，上述步骤S2中的预处理具体包括：
将所述源图像输入图像预处理模块，根据设定的二值化阈值value按照公式（1）对图像进行二值化处理：
Figure 931503DEST_PATH_IMAGE018
（1）
式（1）中，
Figure 756239DEST_PATH_IMAGE019
为二值化处理后的图像上每个位置的像素值，
Figure 468980DEST_PATH_IMAGE020
为通过GPU 计算资源计算得到的源图像上每个位置的像素值。
进一步，图像修复模型是基于生成式对抗网络（GAN）训练模型来检测和修复有缺陷的引线框架图像。GAN由生成器G和判别器D组成，在训练的过程中，通过G和D的相互博弈，逐步提高生成器G所生成的图像的真实度，直到判别器D无法判别它的输入数据来自哪里，也就是判别器给出输入数据来源与真实样本和生成样本的概率近似为0.5，达到一个纳什平衡状态。
修复模型的整体框架图如图3所示，图像修复模型的生成器使用基于改进的U-Net结构的去噪卷积自动编码器，它是一种特殊的自动编码器，它的输入是噪声数据，通过学习特征来强制重新生成完整的样本。图像修复模型的判别器采用PatchGAN的结构，在PatchGAN规模上对图像进行判别，该判别器能够对图像中每个N*N的区域进行真或假的判断，其中判定为真的图像块将保留其特征信息，使其能够对输入图像的细节区域进行真实性区分。
具体地，图像修复模型中的生成器G由编码器和解码器组成，且所述编码器、解码器分别包括四层；
所述编码器和解码器的第一层到第四层分别使用8，6，4，4大小的卷积核，以提高图像修复模型在不同尺度的表现能力，确保修复出一个正常的图像，从而提高缺陷的检测精度；
所述编码器的每层包含三个子层，分别为卷积层、批归一化层和激活层；所述解码器的前三层包含三个子层，分别为反卷积层、批归一化层和激活层，解码器的最后一层由反卷积层和Tanh激活函数组成；
所述编码器的第一层和解码器的第三层、编码器的第二层和解码器的第二层、编码器的第三层和解码器的第一层分别设置跳跃连接；
所述编码器采用LeakyReLU激活函数，它相比ReLU激活函数给所有负值赋予了一个非零斜率，能够提高模型的性能；所述解码器使用ReLU激活函数，可加快网络的训练速度；所述LeakyReLU激活函数和ReLU激活函数的定义分别如下：
Figure 940544DEST_PATH_IMAGE021
（2）
Figure 637105DEST_PATH_IMAGE022
（3）
式（3）中，a是斜率。
进一步，所述生成器G通过对抗损失L adv 和上下文损失L con 联合优化得到；在训练生成器G的时候，对抗损失L adv 通过计算真实图片（二值化图像A）和生成图片（二值化图像B）的特征表示之间的距离L2得到，上下文损失L con 通过计算输入图片（二值化图像A）和生成图片（二值化图像B）之间的距离L1得到。其中，对抗损失L adv 、上下文损失L con 、训练生成器G所用的损失L G 的计算公式如下：
Figure 734374DEST_PATH_IMAGE023
（4）
Figure 813538DEST_PATH_IMAGE024
（5）
Figure 970850DEST_PATH_IMAGE025
（6）
式（4）、（5）、（6）中，
Figure 889128DEST_PATH_IMAGE026
为源图像的特征，
Figure 790087DEST_PATH_IMAGE027
表示二值化图像B的特征，x表 示二值化图像A，
Figure 962574DEST_PATH_IMAGE028
表示二值化图像B，
Figure 556366DEST_PATH_IMAGE029
表示对抗损失的权重，
Figure 696361DEST_PATH_IMAGE030
表示上下文损失的 权重。
进一步，在训练判别器的时候，采用二分类中常用的交叉熵损失函数作为判别器的目标函数，训练判别器D时所用损失L D 的计算公式如下：
Figure 650279DEST_PATH_IMAGE031
（7）
式（7）中，
Figure 457698DEST_PATH_IMAGE032
代表输入源图像判别器得到的分类结果，
Figure 956813DEST_PATH_IMAGE033
代表输 入二值化图像B判别器得到的分类结果，real代表真，fake代表假，f代表交叉熵损失函数。
进一步，判别器由四层组成，前三层每层包含3个子层，分别是卷积层、批归一化层和激活层，最后一层由卷积层和激活层组成。与常见的判别器不同的是，此判别器有两个输出结果，一个是输入图像经过层层卷积后的特征图，另一个是常见的分类结果。
进一步，为了使生成式对抗网络能够学习到更多有用的特征，在正常图像上加入各种形状和大小的缺陷以及椒盐噪声，并将其用作生成式对抗网络的输入，生成式对抗网络被迫地从有缺陷的噪声图像中修复图像，通过此方式，可以使生成式对抗网络学习图像的主要特征。
进一步，为了取得更好的结果，使用迁移学习。首先，训练生成器学习正常引线框架图像的特征，然后在结合判别器训练的时候，将这个训练好的生成器模型的参数用作将要训练的生成器模型的初始权重。
结合图4所示，对生成式对抗网络对图像的处理流程进行阐述：
以尺寸为512*512的图像作为输入例子，编码部分的第一个卷积层使用32个规格为8*8的卷积核，步长为2，再经过批归一化和激活函数后，第一层的输出尺寸为256*256*32。在编码部分，每层均使用批归一化和LeakyReLU激活函数，每个卷积层的步长均为2。接下来，依次使用带有64个规格为6*6的卷积核卷积层、带有128个规格为4*4的卷积核的卷积层、带有256个规格为4*4的卷积核的卷积层与批归一化层和激活层交替分布。经过编码过程，最终输出大小为32*32*256=262144维的向量。
解码过程作为编码过程的逆向操作，也和编码过程一样分为4个子层，每层由反卷积层、批归一化层和激活函数组成。区别在于，解码部分前3层使用ReLU激活函数，最后一层去掉批归一化层并且使用Tanh激活函数。4个反卷积层的卷积核大小与编码部分对应，步长均为2。解码部分的第一层使用带有128个规格为4*4的卷积核的反卷积层，在经过批归一化和激活函数的处理后输出尺寸64*64*128，然后此输出与编码部分第三层的输出做特征拼接，得到尺寸为64*64*256的特征图。在解码部分的第二层使用带有64个规格为4*4的卷积核的反卷积层，此层的输出为128*128*64，然后与编码部分第二层的输出作特征拼接，得到尺寸为128*128*128的特征图。在解码部分的第三层使用带有32个规格为6*6的卷积核的反卷积层，此层的输出为256*256*32，然后与编码部分第一层的输出做特征拼接，得到尺寸为256*256*64的特征图。解码部分的最后一层使用带有1个规格为8*8的卷积核的反卷积层，在经过Tanh激活层后，得到尺寸为512*512*1的输出图，保证解码部分最终的输出与编码部分的输入相同，通过此方式实现对输入样本的修复。
上述生成式对抗网络训练模型，具体的训练过程包括：
（1）训练数据增强处理
如果只是用正常的样本去训练模型，则训练的模型可能对于带有缺陷的部分不能很好地修复或者受噪声的影响大。而且根据实际情况，在图像传输的过程中，往往会生成噪声，工业实地场景下采集的图像也会带有不同程序的噪声，所以在正常的样本上添加一定程度的缺陷和噪声完全符合实际情况。对数据进行增强处理的步骤如下：
第一步：在只有正常样本的数据集上取30%的数据用来添加缺陷和噪声；
第二步：在给每张图片添加缺陷和噪声的时候，首先从实现设定的尺寸范围内随机选取一个尺寸，例如从（0.002,0.005）随机取一个值v，然后用这个值乘以图像的宽即为添加缺陷的尺寸；
第三步：从实现设定的缺陷形状集合中随机选取缺陷的形状；
第四步：从实现设定好的缺陷数目集合中随机选取要添加缺陷的数目；
第五步：在添加任何一个缺陷的时候，从（0,255）随机选取一个颜色，并生成一个随机位置添加缺陷。
在对一张图像添加完缺陷后，可以用占像素多的表示缺陷，用占像素小的表示噪声。因为每张图像添加的缺陷数目有多有少，所以也可以模拟实际环境中不同图像缺陷的多少或者受噪声影响的程度。
（2）训练数据预处理
在训练之前，通过归一化把输入图像数据从[0,255]归一化到[0,1]之间，有利于在后续训练过程中误差梯度更好的下降，使模型的收敛速度更快，所采用的公式为：
Figure 584103DEST_PATH_IMAGE034
（8）
式（8）中，V i 和V(z)分别表示图像像素点在归一化前和归一化后的值，V max 和V min 分别表示像素的最大值和最小值。
（3）权重初始化
在训练生成式对抗网络之前，首先训练一个自动编码器，它只学习正常引线框架图像的特征分布；然后，使用训练好的该网络的权重作为生成式对抗网络的初始权重，以提高图像修复模型的准确性。
（4）设定训练参数
训练的时候，生成网络的初始学习率为0.001，判别网络的初始学习率为0.0001，总共训练300个迭代，并且每过100个批次，学习率变为原来的0.5倍。每轮迭代的数据批大小（batch_size）为16，num_workers设置为2，意思是数据加载器一次性创建2个工作进程。训练过程采用Adam算法进行优化，与传统的梯度下降算法相比，Adam通过计算梯度的一阶矩估计（梯度的均值）和二阶矩估计（梯度未中心化的方差）为不同的网络参数设置独立的自适应学习率，使得参数的更新不受梯度的伸缩变换影响，自动调节更新步长，以取得等好的训练结果。在计算生成式对抗网络损失的时候，对抗损失的权重设置为1，上下文损失的权重设置为4。
进一步，上述步骤S4、将所述二值化图像A和二值化图像B进行比对，得到缺陷的准确位置，具体包括：
S4.1、通过与或操作得到二值化图像A和二值化图像B之间不一致的位置，得到残差图；
S4.2、计算残差图所占的像素个数与二值化图像A总像素个数的比例，记作残差分数（差异率），如所述残差分数大于设定的残差阈值0.01%，则输入的图像存在缺陷；
S4.3、计算残差图的所有连通域，如面积达到设定的面积阈值5（可根据要求进行调节），则对应所述面积的连通域为缺陷；
S4.4、通过求所有连通域的外接矩形确定缺陷的位置，并使用矩形框在源图像上标记出来。
实施例2
在实施例1的基础上，某检测系统在应用上述检测方法对半导体引线框架曝光缺陷进行检测时，具体的检测流程参见图22；该系统，主要包括：
图像采集平台，用于采集半导体蚀刻引线框架模具的源图像，并将采集到的源图像传输至工控机，所述工控机中的检测软件用于读取源图像、控制检测工作的启/停；
预处理模块，用于对所述源图像进行预处理，得到二值化图像A；
图像修复模块，利用图像修复模型对输入的二值化图像A进行修复得到二值化图像B；
缺陷定位模块，通过对所述二值化图像A和二值化图像B进行比对，确定缺陷的准确位置。
进一步，所述系统还包括：
①检测结果显示及存储模块，用于将获取的缺陷结果呈现在检测系统的软件界面上，并将检测结果生成一个任务单号存储到系统的数据库中；对于检测结果，由位于检测软件的“检测结果显示”功能模块呈现，该模块由两个功能区组成，一个是如图5中灰色矩形框标记的区域，此部分为检测结果的宏观展示区，用来展示源图像是否含有缺陷以及缺陷的个数。
检测结果的微观展示如图6所示，图6的左侧部分展示的是用来表达一幅引线框架的完整信息的各个区域，灰色代表这个区域没有缺陷，黑色代表这个区域存在缺陷。点击左侧部分任意位置，即可在右侧部分查看结果图像，可以看到，对于有缺陷的区域使用灰色矩形框标记。当鼠标移动到右侧的结果图像上时，按住鼠标左键拖拽图像实现图像的移动；当鼠标移动到右侧的结果图像上时，将鼠标滚轮上滑，每次滑动会以1.3的倍率放大显示图像，如图7所示；当鼠标移动到右侧的结果图像上时，将鼠标滚轮下滑，每次滑动会以0.7的倍率缩小显示图像。对于检测结果图片的保存位置，修改如图8中的路径即可改变检测结果的保存路径。
②历史任务管理模块，用于对存储在数据库中的历史检测结果进行呈现和管理，如图9所示。其中，保存的信息有任务单号、任务时间、任务状态、缺陷个数、检验员、客户代码、型号、引线框架编号等。选中某一条记录，点击“删除任务”按钮，系统会删除当前选中的历史检测记录，同时也会更新数据库中的数据。双击选中的记录，即可复现当时检测的结果，也可以对存在怀疑的记录再次检测。在这个模块，也支持历史检测结果的分类查看，如根据时间的月统计，日统计功能；根据客户代码、型号、引线框架编号进行分类查询。
对于日统计和月统计功能，首先需要在软件下方的日历控件中选择日期，然后点击日统计（月统计）按钮，之后就可以根据选中的日期从数据库中筛选出符合条件的记录并在软件界面中展示。如图10所示。
对于分类统计功能，可以进行如下筛选：查看属于所选客户代码的记录，如图11所示。查看属于所选客户代码和型号的记录，如图12所示；查看属于所选客户代码、型号、引线框架编号的记录，如图13所示。
③用户管理模块，用于实现用户注册、注销、在线切换及密码修改等功能。需要强调的是，只有拥有管理权限的用户才可以进行用户管理。在主界面上方的工具栏中，点击“用户管理”，会弹出管理用户admin的密码验证对话框；如果输入密码正确，则进入用户管理登录界面，如图14所示。在该界面会显示出系统中已注册的所有用户和其对应的密码，管理员可以在该界面对所有的用户的信息进行修改。
切换用户时，本系统无需退出系统更换用户重新登录，支持在线切换用户。点击工具栏中的“切换用户”按钮，即会弹出切换用户对话框。如果密码输入正确，系统随即切换当前登录用户，并且在界面上方的检验员显示框中更新当前用户，如图15所示。
该系统，为了帮助用户直观高效的查看检测结果，系统软件在“检测结果显示及存储”功能模块设计了检测结果的宏观呈现和微观呈现两个部分。在宏观呈现部分，统计缺陷个数和告知检测的结果（检测图像是正常还是存在缺陷）；在微观呈现部分，可以在窗口左边清楚的看到哪个位置存在缺陷（存在缺陷的位置用矩形框标注），点击窗口左边的任意图像位置，可以在窗口右边查看图像的细节信息，支持利用鼠标滚轮实现图像的放大和缩小，这些功能都可以帮助用户直观、高效地考察检测结果。
另外，该系统支持对所有的检测结果通过数据库持久化的保存。对于历史的检测记录，可以通过筛选条件快速的查看，如果对于检测结果持怀疑态度，可以重新检测。此功能通过管理检测结果，不但提高了用户的使用体验，也保证了对每条检测记录的溯源。
最后，该系统为每个检测人员分配一个唯一的用户名，当前的登录者是谁，就表示谁正在使用设备。通过此功能，可以清楚的知道每条检测记录的操作人员，帮助企业的管理者更好的开展工作。
为了测试系统的性能，使用QFN类型的6张半导体引线框架作为测试数据。
对6张引线框架分别编号为QFN-1、QFN-2、QFN-3、QFN-4、QFN-5、QFN-6，试验过程如下：
首先通过人工的方式统计每张引线框架上的缺陷个数，最后与系统对每张引线框架检测3次得到的平均结果进行对比，从而达到测试系统性能的目的。实验结果如表1所示，表中的差异率指的是图像修复模型修复后的图像（二值化图像B）与源图像二值化后的图像（二值化图像A）进行对比之后计算的不同地方（残差图）所占的像素个数所占二值化图像A总像素个数的比例。
由于每张引线框架的完整信息需要由150张子图所表示，因此这里只选择部分子图的检测结果用作展示，如图16-21所示，存在缺陷的位置用白色矩形框标注。
表1 测试结果
Figure 843177DEST_PATH_IMAGE035
实验结果分析：结合表1中6张引线框架模具的检测准确率对比分析，可以得出，对于包含缺陷的引线框架，不论其是否进行过粗化处理，本系统检测的准确率可以达到100%，时耗均在6s左右。对于瑕疵较夸张且不常见的引线框架而言，本系统也可以得出较高精度的检测准确率，时耗均在13s内。
此外，为了对训练的图像修复模型的性能做一个定量的评估，选取1050个正样本和415个负样本对其做一个评估。输入与输出之间的差异决定了输入的图像是否包含缺陷；如果差值高于阈值threshold，则认为输入有缺陷，否则认为输入无缺陷。为了得到各个阈值的结果，我们通过以下公式（9）、（10）、（11）计算召回率recall，精确度precision和准确率accuracy，结果如表2所示。
Figure 239523DEST_PATH_IMAGE036
（9）
Figure 909539DEST_PATH_IMAGE037
（10）
Figure 541902DEST_PATH_IMAGE038
（11）
式（9）至（11）中，TP是实际为正类预测为正类的数量，FN是实际为正类预测为负类的数量，FP是实际为负类预测为正类的数量，TN是实际为负类预测为负类的数量。
表2 测试结果
Figure 322776DEST_PATH_IMAGE039
由表2可知：对于选取的阈值在10以上的测试组，召回率都在0.92以上，精确度和准确度虽然有所下降，但都在0.9以上。因此，虽然阈值Threshold不同，计算出来的召回率、精确度、准确虑有波动，但其仍然能保持较高的准确性。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。
应当理解，本发明并不局限于上述已描述的内容，且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制落。

Claims (8)

1.一种半导体引线框架曝光缺陷检测方法，其特征在于，具体包括以下步骤：
S1、获取半导体引线框架的源图像；
S2、对所述源图像进行预处理，得到二值化图像A；
S3、将所述二值化图像A输入训练好的图像修复模型，得到修复后的二值化图像B；所述图像修复模型采用生成式对抗网络训练模型，所述生成式对抗网络由生成器G和判别器D组成；
S4、将所述二值化图像A和二值化图像B进行比对，确定缺陷的准确位置。
2.根据权利要求1所述的半导体引线框架曝光缺陷检测方法，其特征在于，步骤S1、获取半导体引线框架的源图像，具体包括：
S1.1、利用图像采集平台采集半导体引线框架的源图像；
S1.2、将所述源图像通过图像采集卡传输至工控机。
3.根据权利要求1所述的半导体引线框架曝光缺陷检测方法，其特征在于，步骤S2中的预处理具体包括：
将所述源图像输入图像预处理模块，根据设定的二值化阈值value按照式（1）对图像进行二值化处理：
Figure 317700DEST_PATH_IMAGE001
（1）
式（1）中，
Figure 438102DEST_PATH_IMAGE002
为二值化处理后的图像上每个位置的像素值，
Figure 404790DEST_PATH_IMAGE003
为通过GPU计算资 源计算得到的源图像上每个位置的像素值。
4.根据权利要求1所述的半导体引线框架曝光缺陷检测方法，其特征在于，步骤S4、将所述二值化图像A和二值化图像B进行比对，得到缺陷的准确位置，具体包括：
S4.1、通过与或操作得到二值化图像A和二值化图像B之间的残差图；
S4.2、计算残差图所占的像素个数与二值化图像A总像素个数的比例，记作残差分数，如所述残差分数大于设定的残差阈值，则输入的图像存在缺陷；
S4.3、计算残差图的所有连通域，如面积达到设定的面积阈值，则对应所述面积的连通域为缺陷；
S4.4、通过求所有连通域的外接矩形确定缺陷的位置，并在源图像上标记出来。
5.根据权利要求1所述的半导体引线框架曝光缺陷检测方法，其特征在于，步骤S3中的生成器G由编码器和解码器组成，且所述编码器、解码器分别包括四层；
所述编码器和解码器的第一层到第四层分别使用8，6，4，4大小的卷积核，以提高图像修复模型在不同尺度的表现能力；
所述编码器的每层包含三个子层，分别为卷积层、批归一化层和激活层；所述解码器的前三层包含三个子层，分别为反卷积层、批归一化层和激活层，解码器的最后一层由反卷积层和Tanh激活函数组成；
所述编码器的第一层和解码器的第三层、编码器的第二层和解码器的第二层、编码器的第三层和解码器的第一层分别设置跳跃连接；
所述编码器采用LeakyReLU激活函数，所述解码器使用ReLU激活函数，所述LeakyReLU激活函数和ReLU激活函数的定义分别如下：
Figure 737683DEST_PATH_IMAGE004
（2）
Figure 739006DEST_PATH_IMAGE005
（3）
式（3）中，a是斜率。
6.根据权利要求5所述的半导体引线框架曝光缺陷检测方法，其特征在于，所述生成器G通过对抗损失L adv 和上下文损失L con 联合优化得到，所述对抗损失L adv 、上下文损失L con 、训练生成器G所用的损失L G 的计算公式如下：
Figure 233572DEST_PATH_IMAGE006
（4）
Figure 690486DEST_PATH_IMAGE007
（5）
Figure 561490DEST_PATH_IMAGE008
（6）
式（4）、（5）、（6）中，
Figure 417319DEST_PATH_IMAGE009
为源图像的特征，
Figure 613945DEST_PATH_IMAGE010
表示二值化图像B的特征，x表示二 值化图像A，
Figure 837116DEST_PATH_IMAGE011
表示二值化图像B，
Figure 292237DEST_PATH_IMAGE012
表示对抗损失L adv 的权重，
Figure 18885DEST_PATH_IMAGE013
表示上下文损失L con 的权重。
7.根据权利要求1所述的半导体引线框架曝光缺陷检测方法，其特征在于，训练判别器D时所用损失L D 的计算公式如下：
Figure 917570DEST_PATH_IMAGE014
（7）
式（7）中，
Figure 877305DEST_PATH_IMAGE015
代表输入源图像判别器得到的分类结果，
Figure 355691DEST_PATH_IMAGE016
代表输入二 值化图像B判别器得到的分类结果，real代表真，fake代表假，f代表交叉熵损失函数。
8.根据权利要求1所述的半导体引线框架曝光缺陷检测方法，其特征在于，所述图像修复模型的训练过程包括，
训练数据增强处理：在正常图像上加入各种形状和大小的缺陷及椒盐噪声，并作为输入图像；
训练数据归一化处理：在训练前将输入图像数据从[0,255]归一化处理到[0,1]之间，所采用的公式为：
Figure 202424DEST_PATH_IMAGE017
（8）
式（8）中，V i 和V(z)分别表示图像像素点在归一化前和归一化后的值，V max 和V min 分别表示像素的最大值和最小值；
权重初始化：利用迁移学习实现基于正常图像训练好的模型来训练图形修复模型；
设定训练参数。
CN202111149163.2A 2021-09-29 2021-09-29 一种半导体引线框架曝光缺陷检测方法 Pending CN113592866A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111149163.2A CN113592866A (zh) 2021-09-29 2021-09-29 一种半导体引线框架曝光缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111149163.2A CN113592866A (zh) 2021-09-29 2021-09-29 一种半导体引线框架曝光缺陷检测方法

Publications (1)

Publication Number Publication Date
CN113592866A true CN113592866A (zh) 2021-11-02

Family

ID=78242724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111149163.2A Pending CN113592866A (zh) 2021-09-29 2021-09-29 一种半导体引线框架曝光缺陷检测方法

Country Status (1)

Country Link
CN (1) CN113592866A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902765A (zh) * 2021-12-10 2022-01-07 聚时科技(江苏)有限公司 基于全景分割的半导体自动分区方法
CN114066848A (zh) * 2021-11-16 2022-02-18 苏州俪濠智能科技有限公司 一种fpca外观缺陷视觉检测系统
CN116503410A (zh) * 2023-06-28 2023-07-28 深圳市谱汇智能科技有限公司 半导体缺陷识别方法、装置、终端设备以及存储介质
CN116705642A (zh) * 2023-08-02 2023-09-05 西安邮电大学 一种半导体引线框架镀银缺陷检测方法、系统及电子设备
CN117455917A (zh) * 2023-12-25 2024-01-26 深圳市睿阳精视科技有限公司 一种蚀刻引线框架误报库建立及误报在线判定筛选方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796637A (zh) * 2019-09-29 2020-02-14 郑州金惠计算机系统工程有限公司 图像缺陷检测模型的训练、测试方法、装置及存储介质
CN111340791A (zh) * 2020-03-02 2020-06-26 浙江浙能技术研究院有限公司 一种基于gan改进算法的光伏组件无监督缺陷检测方法
CN111553858A (zh) * 2020-04-28 2020-08-18 四川大学青岛研究院 基于生成对抗网络的图像修复方法、系统及其应用
CN111598877A (zh) * 2020-05-18 2020-08-28 河北工业大学 一种基于生成对抗网络的锂电池表面缺陷检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796637A (zh) * 2019-09-29 2020-02-14 郑州金惠计算机系统工程有限公司 图像缺陷检测模型的训练、测试方法、装置及存储介质
CN111340791A (zh) * 2020-03-02 2020-06-26 浙江浙能技术研究院有限公司 一种基于gan改进算法的光伏组件无监督缺陷检测方法
CN111553858A (zh) * 2020-04-28 2020-08-18 四川大学青岛研究院 基于生成对抗网络的图像修复方法、系统及其应用
CN111598877A (zh) * 2020-05-18 2020-08-28 河北工业大学 一种基于生成对抗网络的锂电池表面缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZIJING LUO 等: "Detection of geochemical anomalies related to mineralization using the GANomaly network", 《APPLIED GEOCHEMISTRY》 *
王铭 等: "基于生成对抗网络的缸盖表面缺陷识别", 《制造业自动化》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114066848A (zh) * 2021-11-16 2022-02-18 苏州俪濠智能科技有限公司 一种fpca外观缺陷视觉检测系统
CN114066848B (zh) * 2021-11-16 2024-03-22 苏州极速光学科技有限公司 一种fpca外观缺陷视觉检测系统
CN113902765A (zh) * 2021-12-10 2022-01-07 聚时科技(江苏)有限公司 基于全景分割的半导体自动分区方法
CN113902765B (zh) * 2021-12-10 2022-04-12 聚时科技(江苏)有限公司 基于全景分割的半导体自动分区方法
CN116503410A (zh) * 2023-06-28 2023-07-28 深圳市谱汇智能科技有限公司 半导体缺陷识别方法、装置、终端设备以及存储介质
CN116705642A (zh) * 2023-08-02 2023-09-05 西安邮电大学 一种半导体引线框架镀银缺陷检测方法、系统及电子设备
CN116705642B (zh) * 2023-08-02 2024-01-19 西安邮电大学 一种半导体引线框架镀银缺陷检测方法、系统及电子设备
CN117455917A (zh) * 2023-12-25 2024-01-26 深圳市睿阳精视科技有限公司 一种蚀刻引线框架误报库建立及误报在线判定筛选方法
CN117455917B (zh) * 2023-12-25 2024-03-26 深圳市睿阳精视科技有限公司 一种蚀刻引线框架误报库建立及误报在线判定筛选方法

Similar Documents

Publication Publication Date Title
CN113592866A (zh) 一种半导体引线框架曝光缺陷检测方法
CN111583229B (zh) 一种基于卷积神经网络路面故障检测方法
CN106778705B (zh) 一种行人个体分割方法及装置
CN108648211B (zh) 一种基于深度学习的小目标检测方法、装置、设备和介质
KR20180065889A (ko) 타겟의 검측 방법 및 장치
CN110781980B (zh) 目标检测模型的训练方法、目标检测方法及装置
WO2022130762A1 (ja) 欠陥検査装置、欠陥検査方法および製造方法
TWI765442B (zh) 瑕疵等級判定的方法及存儲介質
CN114638777A (zh) 图像瑕疵检测方法、装置、电子设备及介质
CN116385430A (zh) 一种机器视觉瑕疵检测方法、装置、介质及设备
CN112070762A (zh) 液晶面板的mura缺陷检测方法、装置、存储介质及终端
CN115082392A (zh) 一种半导体引线框架镀银缺陷检测方法及系统
CN114078127B (zh) 物件的缺陷检测及计数方法、装置、设备和存储介质
CN116363136B (zh) 一种机动车部件自动化生产在线筛选方法及系统
CN109241950B (zh) 一种基于焓值分布熵的人群恐慌状态识别方法
CN116977260A (zh) 目标物的缺陷检测方法、装置、电子设备及存储介质
CN115909157A (zh) 一种基于机器视觉的识别检测方法、装置、设备及介质
CN115797314A (zh) 零件表面缺陷检测方法、系统、设备及存储介质
Rožanec et al. Robust anomaly map assisted multiple defect detection with supervised classification techniques
CN109543565B (zh) 一种数量确定方法及装置
JP4771887B2 (ja) 受動式及びインタラクティブ式の即時影像認識方法
Chen et al. TFT-LCD Mura defects automatic inspection system using linear regression diagnostic model
Zhong et al. Detection of oxidation region of flexible integrated circuit substrate based on topology mapping
Chen et al. EEE-Net: Efficient Edge Enhanced Network for Surface Defect Detection of Glass
WO2024095721A1 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211102

RJ01 Rejection of invention patent application after publication