CN113567466A - 一种微型芯片外观缺陷的智能识别系统及方法 - Google Patents

Abstract

本发明涉及芯片检测技术领域，具体公开了一种微型芯片外观缺陷的智能识别系统及方法，通过芯片定位，利用CCD相机组对芯片进行检测；实施缺陷样本均衡处理；进行大封装芯片缺陷样本的知识迁移。主要用于解决微型芯片外观缺陷检测的检测精度较差的问题，能够自动化把抓取出算法部分判断为有缺陷的芯片。

Description

一种微型芯片外观缺陷的智能识别系统及方法

技术领域

本发明涉及芯片检测技术领域，尤其涉及一种微型芯片外观缺陷的智能识别系统及方法。

背景技术

现如今芯片的封装技术飞速发展，芯片的体积，封装体积都朝着微型化的方向发展，从而方便芯片嵌入到各种设备中。

虽然伴随着基于视觉的机器学习和深度学习在检测领域的飞速发展，为自动化检测芯片外观缺陷提供了可能的解决方案。但是相机对于极小微型芯片的成像系统很容易收到外界因素的干扰，而且芯片本身制作过程要求严格，外观有缺陷的芯片样本较少。而过往大型封装芯片的有效样本对于小型芯片的缺陷检测有着重要的参考价值，因为大型封装芯片与相关的小型芯片功能类似，结构也类似。而且大封装芯片在相机中的成像面积相对较大，不容易受到相机或者传送装置抖动的干扰影响。值得一提的是，经过长期的积累，过往的大封装芯片的有效缺陷样本数据能够支撑缺陷检测算法训练得到较高精度。

大封装芯片的相关知识迁移能够大大提高检测的效率与精度，但是现阶段的主流检测算法例如SSD(Single Shot MultiBox Detector)对小目标检测性能力差，会出现漏检，误检的情况。鉴于此本发明提出一种微型芯片外观缺陷的智能识别系统及方法。

发明内容

本发明的目的在于提供一种微型芯片外观缺陷的智能识别系统及方法，旨在解决现有技术中的对微型芯片外观缺陷的检测精度较差的技术问题。

为实现上述目的，本发明采用的一种微型芯片外观缺陷的智能识别系统，包括电源模块、发声模块、照明发光模块、CCD相机组、传送装置、芯片格子装置、总控制器模块、板载计算机和带有吸盘的机械手；

所述电源模块用于对整个系统进行供电；

所述发声模块用于提示系统的工作状态或者用于报警；

所述照明发光模块用于对照亮待检测芯片，利于相机收集芯片更多的特征；

所述CCD相机组用于收集待检测芯片的特征信息，为算法部分提供分析数据；

所述芯片格子装置用于放置待检测芯片；

所述传送装置用于将待检测芯片移动至CCD相机组的检测区域，以及将检测完成后的芯片移出检测区域；

所述总控制器模块用于对智能检测系统的各个模块发布各种指令；

所述板载计算机用于为算法部分提供计算力，从而得出输出结果；

所述带有吸盘的机械手，用于区分产品的质量合格和不合格，自动化地将不合格芯片抓取。

本发明还提供一种采用上述所述的微型芯片外观缺陷的智能识别系统的智能识别方法，包括如下步骤：

放置芯片至所述芯片格子装置；

利用所述传送装置传送芯片；

之后灰度化相机图像；

然后芯片定位，利用所述CCD相机组对芯片进行检测；

实施缺陷样本均衡处理；

进行大封装芯片缺陷样本的知识迁移。

其中，芯片定位，利用所述CCD相机组对芯片进行检测，包括：

利用八方向Sobel算子边缘提取，检测出图像不同的方向边缘；

寻找芯片四周边缘顶点。

其中，利用八方向Sobel算子边缘提取，检测出图像不同的方向边缘，具体步骤为：

定义算子模板；

采用加权平均法将原始RGB彩色图变成灰度图；

获取梯度图像。

其中，进行大封装芯片缺陷样本的知识迁移，具体为：

利用大封装芯片样本的数据训练检测模型的知识迁移到小型芯片的缺陷检测模型中，减少小型芯片外观缺陷检测模型随机初始化带来的噪声和降低模型收敛困难的风险。

其中，利用大封装芯片样本的数据训练检测模型的知识迁移到小型芯片的缺陷检测模型中，包括：

分别搭建大型封装芯片缺陷检测模型和小型芯片缺陷检测模型；

将大型封装芯片缺陷检测模型迁移至小型芯片缺陷检测模型中，实现迁移学习。

本发明具有如下有益效果：

本发明基于现有的迁移学习，SSD(Single Shot MultiBox Detector)等人工智能技术，针对现阶段芯片外观缺陷检测的问题，提出了一种微型芯片外观缺陷的智能识别系统及方法。此系统主要用于解决微型芯片外观缺陷检测的问题，能够自动化把抓取出算法部分判断为有缺陷的芯片，本发明主要创新点在于：微小芯片的成像系统容易收到干扰，而且缺少有效的缺陷样本。使用迁移学习的方法，充分利用相关的大封装芯片有效缺陷样本数据，相关的大封装芯片在相机上的成像相对较为稳定，且能够提供更多清晰的纹理特征，以此来将这些有效知识迁移到本发明要进行缺陷检测的微型芯片的缺陷检测算法中，提高检测算法的精度和效率，具体来说就是：将经过大量的大封装芯片有效数据样本训练过的检测算法模型的知识迁移到拥有少量有效样本的小型芯片的检测算法模型中，替代传统的随机初始化算法模型参数，降低了模型的不确定性，提高了模型的收敛速度。

改进SSD缺陷检测算法，为了改善SSD算法对小目标检测性能力差的缺点，本发明提出一款八方向的Sobel边缘检测算法，将其作为图像的第4通道与水下图像原有的3通道一起作为输入，并使用resnet50作为网络基本框架，采用特征跨级融合。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的微型芯片外观缺陷的智能检测系统示意图。

图2是本发明的八方向算子模板及模板权值示意图。

图3是本发明的SMOTE算法过采样示意图

图4是本发明改进的SSD网络架构图。

图5是本发明的特征跨级融合模块示意图。

图6是本发明的微型芯片外观缺陷的智能检测方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

请参阅图1至图6，本发明提供了一种微型芯片外观缺陷的智能识别系统，包括电源模块、发声模块、照明发光模块、CCD相机组、传送装置、芯片格子装置、总控制器模块、板载计算机和带有吸盘的机械手；

所述电源模块用于对整个系统进行供电；

所述发声模块用于提示系统的工作状态或者用于报警；

所述照明发光模块用于对照亮待检测芯片，利于相机收集芯片更多的特征；

所述CCD相机组用于收集待检测芯片的特征信息，为算法部分提供分析数据；

所述芯片格子装置用于放置待检测芯片；

所述传送装置用于将待检测芯片移动至CCD相机组的检测区域，以及将检测完成后的芯片移出检测区域；

所述总控制器模块用于对智能检测系统的各个模块发布各种指令；

所述板载计算机用于为算法部分提供计算力，从而得出输出结果；

所述带有吸盘的机械手，用于区分产品的质量合格和不合格，自动化地将不合格芯片抓取。

在本实施方式中，所述微型芯片外观缺陷的智能识别系统自动收集待检测芯片外观信息，为算法部分缺陷检测提供分析数据。并且硬件部分负责分拣出有缺陷的芯片。其结构包括电源模块，发声模块，照明发光模块，CCD相机组，传送装置，芯片格子装置，总控制器模块，板载计算机，带有吸盘的机械手。

本发明微型芯片外观缺陷的智能检测系统中，硬件部分的电源模块用于对整个系统进行供电；

本发明微型芯片外观缺陷的智能检测系统中，硬件部分的发声模块用于提示智能检测系统的工作状态或者用于报警；

本发明微型芯片外观缺陷的智能检测系统中，硬件部分的照明发光模块用于对照亮待检测芯片，以此来使得相机尽可能多的收集到有用特征；

本发明微型芯片外观缺陷的智能检测系统中，硬件部分的CCD相机组用于收集待检测芯片的特征信息，为算法部分提供分析数据；

本发明微型芯片外观缺陷的智能检测系统中，硬件部分的芯片格子装置用于放置待检测芯片，固定的芯片防止位置放置了芯片在传送带上可能产生的方向偏转，有效节约算法部分的算力。

本发明微型芯片外观缺陷的智能检测系统中，硬件部分的传送装置用于将待检测芯片移动至CCD相机的检测区域，以及将检测完成后的芯片移出检测区域。

本发明微型芯片外观缺陷的智能检测系统中，硬件部分的总控制器模块用于对智能检测系统的各个模块发布各种指令，例如根据传感器接收到的信息和算法分析出来的信息来判断系统处于工作状态，对发声模块发布指令，发声模块接收到相应指令后发出相应提示音；

本发明微型芯片外观缺陷的智能检测系统中，硬件部分的板载计算机用来为算法部分提供计算力从而得出输出结果；

本发明微型芯片外观缺陷的智能检测系统中，硬件部分的带有吸盘的机械手，用于区分产品的质量合格和不合格，自动化地将不合格芯片抓取出来。

本发明还提供一种微型芯片外观缺陷的智能识别方法，包括如下步骤：

放置芯片至所述芯片格子装置；

利用所述传送装置传送芯片；

之后灰度化相机图像；

然后芯片定位，利用所述CCD相机组对芯片进行检测；

实施缺陷样本均衡处理；

进行大封装芯片缺陷样本的知识迁移。

芯片定位，利用所述CCD相机组对芯片进行检测，包括：

利用八方向Sobel算子边缘提取，检测出图像不同的方向边缘；

寻找芯片四周边缘顶点。

利用八方向Sobel算子边缘提取，检测出图像不同的方向边缘，具体步骤为：

定义算子模板；

采用加权平均法将原始RGB彩色图变成灰度图；

获取梯度图像。

进行大封装芯片缺陷样本的知识迁移，具体为：

利用大封装芯片样本的数据训练检测模型的知识迁移到小型芯片的缺陷检测模型中，减少小型芯片外观缺陷检测模型随机初始化带来的噪声和降低模型收敛困难的风险。

利用大封装芯片样本的数据训练检测模型的知识迁移到小型芯片的缺陷检测模型中，包括：

分别搭建大型封装芯片缺陷检测模型和小型芯片缺陷检测模型；

将大型封装芯片缺陷检测模型迁移至小型芯片缺陷检测模型中，实现迁移学习。

定义算子模板中：

模板大小为5×5，模板内的数值为模板权值，其作用是与对应位置的像素值进行加权运算，提取的边缘信息。模板中各个位置的权重是由该位置到中心点的距离以及该位置在模板中所在的方向决定，等距离的点具有相同的权重。

用加权平均法将原始RGB彩色图变成灰度图，具体公式为：

O(x，y)＝β₁*O_R(x，y)+β₂*O_G(x，y)+β₃*O_B(x，y) (1)

其中O_R(x，y)是原始图像的红通道像素值，O_G(x，y)是原始图像的绿通道像素值，O_B(x，y)是原始图像的蓝通道像素值；

β₁，β₂，β₃这三个参数分别是关于红通道像素值，绿通道像素值，蓝通道像素值融合为灰度图时的权重，是根据人的亮度感知系统来调节的，设置为β₁＝0.3，β₂＝0.59，β₃＝0.11，是被广泛使用的标准化权重数值。

获取梯度图像，具体为：

定义的8个方向卷积模板，与经过灰度化的图像进行卷积运算，得到模板中心点对应的图像像素点的8个方向梯度值：

g₁(x，y)，g₂(x，y)，g₃(x，y)，g₄(x，y)，g₅(x，y)，g₆(x，y)，g₇(x，y)，g₈(x，y)，然后按照公式2计算中心点的梯度值G(x，y)；

G(x，y)＝sqrt(α₁g₁ ²+α₂g₂ ²+α₃g₃ ²+α₄g₄ ²+α₅g₅ ²+α₆g₆ ²+α₇g₇ ²+α₈g₈ ²) (2)

其中sqrt(·)表示平方根计算。防止梯度值出现溢出，导致边缘无法细化，本发明将每个方向的梯度值都除以一个衰减因子α_i，i∈{1，2，...，8}，它们分别代表0°，45°，90°，135°，180°，225°，270°和315°八个方向的梯度值系数，除了0°，90°两个常规方向的梯度值系数，即α₁，α₃设置为固定的1/10。

缺陷样本均衡处理具体为：

设训练集的一个少数类的样本数为T，若芯片管脚缺陷检测任务的数据集中，大量的样本都是正常管脚，由于制造工艺较为完善，歪曲的管脚芯片样本相对较少，那么SMOTE算法将为这个少数类合成NT个新样本；

这里要求N为正整数，若给定的N＜1那么算法将认为少数类的样本数T＝NT，并将强制N＝1，考虑该少数类的一个样本i，其特征向量为x_i，i∈{1，...，T}；

首先从该少数类的全部T个样本中找到样本x_i的k个近邻，记为x_i(near)，near∈{1，...，k}；

然后从这k个近邻中随机选择一个样本x_i(nn)，再生成一个0到1之间的随机数ξ₁，从而合成一个新样本x_i1：

x_i1＝x_i+ξ₁·(x_i(nn)-x_i) (3)。

为了将Net_B知识迁移到Net_S中，在两个模型的之间添加对齐层用于进一步适配源域和目标域的二阶特征统计量。本发明对齐层引入最大平均差(Maximum MeanDiscrepancy，MMD)算法来从属于不同但相关领域的数据中提取出有价值的迁移成分。具体计算方式如下：

上式中

是在再生核希尔伯特空间中进行的平方标准运算。X_B为大型封装芯片样本，

表示X_B中第i个样本，X_S为小型芯片样本，

表示X_S中第i个样本，n_b大型封装芯片样本数目，n_b小型芯片样本数目。SSD训练过程中对目标的位置以及类别进行回归，它的目标损失函数包含定位损失(loc)和置信度损失(conf)两个部分，其表达是如下式:

式(5)中，N为检测候选区域框与真实框的匹配个数，如果N＝0，那么Loss＝0；p为候选区域框与不同类别的真实框匹配结果，如果匹配p＝1，否则p＝0；c为预测框的置信度；l为预测框的位置偏移信息；g为真实边框与区域候选框的偏移信息；a为位置损失权重通常设置为1；

加上迁移学习后最终检测模型损失函数可以定义为如公式6所示。其中λ根据工程经验通过试错法得出具体数值。

argmin L(θ^j)＝L_dection+λL_MMD (6)。

所述微型芯片外观缺陷的智能识别方法，具体步骤如下：

步骤1：芯片定位。为了确保待检测芯片能够完整出现在CCD相机组检测区域，同时去除不相关的背景，本发明需要定位芯片。因为一般芯片都是由边缘的管脚包围着，所以可以通过检测管脚位置来确定整个芯片位置。本发明中的图像背景色为黑色与银白色的管脚有着明显的区别，边缘检测算法能够准确提取到边缘，相比于基于深度学习的边缘分割算法也保证了实时性。但是对于有管脚缺陷的芯片传统的垂直边缘检测算法容易漏检，例如管脚上扬或者扭曲等，且扭曲的角度不同，传统单方向的边缘提取算法可能会出现漏检的问题，导致关键图像特征缺失。在常规的算子例如Prewitt，Roberts，Sobel，Laplacian，Canny中Sobel抗噪声能力更强且边缘定位较为准确。因此本发明通过八方向的Sobel边缘检测算法。因此具体步骤如下。

步骤1.1：八方向Sobel算子边缘提取。本发明对传统的Sobel算子进行改进，提出一种八方向的Sobel边缘提取算子。算法除了0°，90°之外，增加了45°，135°，180°，225°，270°和315°六个方向算子模板，能够较好地检测出图像不同的方向边缘。模板权值根据中心像素点到邻域像素的距离及方向夹角的大小进行设定，充分考虑到了邻域内像素对中心点方向梯度的贡献大小；算法对梯度图像采用了改进的非极大值抑制方法进行细化，得到了较细的图像边缘。

步骤1.1.1：定义算子模板。如图2所示，模板大小为5×5。模板内的数值为模板权值，其作用是与对应位置的像素值进行加权运算，提取的边缘信息。

这些模板中各个位置的权重是由该位置到中心点的距离以及该位置在模板中所在的方向决定，等距离的点具有相同的权重。

步骤1.1.2：采用加权平均法将原始RGB彩色图变成灰度图，具体如公式1所示。

O(x，y)＝β₁*O_R(x，y)+β₂*O_G(x，y)+β₃，O_B(x，y) (1)

其中O_R(x，y)是原始图像的红通道像素值，O_G(x，y)是原始图像的绿通道像素值，O_B(x，y)是原始图像的蓝通道像素值。β₁，β₂，β₃这三个参数分别是关于红通道像素值，绿通道像素值，蓝通道像素值融合为灰度图时的权重，是根据人的亮度感知系统来调节的，一般设置为β₁＝0.3，β₂＝0.59，β₃＝0.11，是被广泛使用的标准化权重数值。

步骤1.1.3：获取梯度图像。分别将图2定义的8个方向卷积模板，与经过步骤1.1.2灰度化的图像进行卷积运算，得到模板中心点对应的图像像素点的8个方向梯度值：g₁(x，y)，g₂(x，y)，g₃(x，y)，g₄(x，y)，g₅(x，y)，g₆(x，y)，g₇(x，y)，g₈(x，y)，然后按照公式2计算中心点的梯度值。

G(x，y)＝sqrt(α₁g₁ ²+α₂g₂ ²+α₃g₃ ²+α₄g₄ ²+α₅g₅ ²+α₆g₆ ²+α₇g₇ ²+α₈g₈ ²) (2)

其中sqrt(·)表示平方根计算。防止梯度值出现溢出，导致边缘无法细化，本发明将每个方向的梯度值都除以一个衰减因子α_i，i∈{1，2，...，8}，它们分别代表0°，45°，90°，135°，180°，225°，270°和315°八个方向的梯度值系数。除了0°，90°两个常规方向的梯度值系数设置为固定的1/10。针对故障情况下，例如引脚扭曲，其余6个系数设置为1/8，防止故障特征信息丢失严重。由此提取目标图像的边缘特征。

步骤1.2：寻找芯片四周边缘顶点。在管脚边缘图中，边缘的灰度值为255，非边缘的灰度值为0，设点(a，b)为任一边缘点的坐标，在管脚边缘图中对边缘点进行扫描。先扫描横坐标，将横坐标最大的和最小的记为的最大值a_max和最小值a_min，但是为了防止异常边缘点的存在，每个边缘点周围的数目要超过n。用同样的方法扫描纵坐标，可以得到芯片区域纵坐标最大值b_max和最小值b_min。由这四个坐标点可以定位出芯片区域。

步骤2：缺陷样本均衡处理。由于芯片制作流程一般都非常严格，出现非人为故意损坏的缺陷样本可能性比较小，因此缺陷样本和正常样本数量极度不平衡。设训练集的一个少数类的样本数为T，例如芯片管脚缺陷检测任务的数据集中，大量的样本都是正常管脚，而由于制造工艺较为完善，歪曲的管脚芯片样本相对较少，那么SMOTE算法将为这个少数类合成NT个新样本。这里要求N必须是正整数，如果给定的N<1那么算法将“认为”少数类的样本数T＝NT，并将强制N＝1。考虑该少数类的一个样本i，其特征向量为x_i，i∈{1，...，T}

步骤2.1首先从该少数类的全部T个样本中找到样本x_i的k个近邻(例如用欧氏距离)，记为x_i(near)，near∈{1，...，k}

步骤2.2然后从这k个近邻中随机选择一个样本x_i(nn)，再生成一个0到1之间的随机数ξ₁，从而合成一个新样本x_i1:

x_i1＝x_i+ξ₁·*x_i(nn)-x_i) (3)

步骤3：大封装芯片缺陷样本的知识迁移。由于过往大封装的芯片样本相对来说更容易检测，且过往大封装芯片样本数目更多，利用大封装芯片样本的数据训练检测模型的知识迁移到小型芯片的缺陷检测模型中，能够减少小型芯片外观缺陷检测模型随机初始化带来的噪声和降低模型收敛困难的风险。具体步骤如下。

步骤3.1：分别搭建大型封装芯片缺陷检测模型Net_B和小型芯片缺陷检测模型Net_S。如图4所示，Net_B和Net_S使用单次检测器(Single Shot MultiBox Detector，SSD)神经网络结构作为基本结构。

3.1.1：特征增强：由于芯片管脚具有多刺的特点，而且有缺陷的管脚歪曲的角度不同，可能SSD在管脚的检测效果上存在进一步提升的可能，因此，本发明提出了一款基于特征增强的芯片管脚的检测算法，根据芯片多管脚的边缘特点，利用步骤1.1中的八方向sobel边缘提取算法，进行特征增强，将其作为图像的第四通道与经过芯片定位后的芯片图像原有的三通道一起作为进一步SSD的输入。

步骤3.1.2：改进SSD模型。由于小心芯片属于小目标，其管脚更小，而传统的SSD算法对小尺寸物体的检测效果比较差，浅层提取的特征表征能力不够强，这样会出现芯片管脚小目标误检和漏检，据此，为了改善SSD算法小目标检测能力差的特性，改进的SSD算法借鉴了残差网络的思想，使用resnet50替代VGG16作为网络基本框架，网络架构如图4所示。通过学习残差的方式加深神经网络，可以避免出现过拟合以及网络梯度消失的问题，学习到更加抽象的纹理特征和语义特征，强化特征表达能力，从而提高目标分类以及定位能力。同时提出一种特征跨级融合方式来提高特征表达能力并强化语义信息，进一步改善SSD算法对小目标检测性能力差的问题。在图4中，采用3个融合模块完成高层网络与低层网络之间的连接，增强了小目标预测的上下文信息，拓展了目标检测的视野范围，融合模块1即res2_3与res5_3的跳级连接的特征融合给入conv6，如下图5所示。为了将res2_3与res5_3的特征图进行融合，需要对res5_3的特征图进行上采样。首先通过插值上采样的方式将res5_3特征图尺寸上采样到和res2_3一样，上采样的输出通过卷积核为3×3的卷积层映射输出至修正激活函数层(RELU)，然后经过L2正则化层做归一化处理。res2_3则直接通过3×3的卷积核映射输出至ReLU激活函数层，然后再输入至L2正则化层。然后将两个分区间的输出进行求和操作,合并之后传入RELU层。最后通过256个3×3的卷积核，以确保检测的特征具有可分辨性，在一个RELU层之后实现融合功能。融合模块2即res3_4与res5_3的跳级连接的特征融合给入conv7，融合模块3即res4_6与res5_3的跳级连接的特征融合给入conv8，最终将经过特征融合的conv6(75×75)，conv7(38×38)，conv8(19×19)以及res5_3(10×10)4个特征图送入预测模块进行预测。

步骤3.2：迁移学习。本发明假设经过长期的积累，大型封装芯片的样本数量已经足够多，能够训练出一个较为完善的本发明步骤3.1中改进的SSD模型。由于卷积层和池化层的目的是学习图像的一般特征，所以本发明Net_S在训练过程中不更新参数直接使用Net_B的模型参数。但是，最后的ResNet50侧重于学习特定于任务和用户的功能，输出检测结果，所以本发明只更新Net_S的ResNet50部分参数。本发明为了将Net_B知识迁移到Net_S中，在两个模型的之间添加对齐层用于进一步适配源域和目标域的二阶特征统计量。本发明对齐层引入最大平均差(Maximum Mean Discrepancy，MMD)算法来从属于不同但相关领域的数据中提取出有价值的迁移成分。具体计算方式如公式4所示。

上式中

是在再生核希尔伯特空间中进行的平方标准运算。X_B为大型封装芯片样本，

表示X_B中第i个样本，X_S为小型芯片样本，

表示X_S中第i个样本，n_b大型封装芯片样本数目，n_b小型芯片样本数目。SSD训练过程中对目标的位置以及类别进行回归，它的目标损失函数包含定位损失(loc)和置信度损失(conf)两个部分，其表达是如下式:

式(5)中，N为检测候选区域框与真实框的匹配个数，如果N＝0，那么Loss＝0；p为候选区域框与不同类别的真实框匹配结果，如果匹配p＝1，否则p＝0；c为预测框的置信度；l为预测框的位置偏移信息；g为真实边框与区域候选框的偏移信息；a为位置损失权重通常设置为1。加上迁移学习后最终检测模型损失函数可以定义为如公式6所示。其中λ根据工程经验通过试错法得出具体数值。本发明中设置为0.68。

argmin L(θ^j)＝L_dection+λL_MMD (6)

本发明基于现有的迁移学习，SSD(Single Shot MultiBox Detector)等人工智能技术，针对现阶段芯片外观缺陷检测的问题，提出了一种基于迁移学习的微型芯片外观缺陷智能检测系统。此系统主要用于解决微型芯片外观缺陷检测的问题，能够自动化把抓取出算法部分判断为有缺陷的芯片，由于微小芯片的成像系统容易收到干扰，而且缺少有效的缺陷样本。使用迁移学习的方法，充分利用相关的大封装芯片有效缺陷样本数据，相关的大封装芯片在相机上的成像相对较为稳定，且能够提供更多清晰的纹理特征，以此来将这些有效知识迁移到本发明要进行缺陷检测的微型芯片的缺陷检测算法中，提高检测算法的精度和效率，具体来说就是：将经过大量的大封装芯片有效数据样本训练过的检测算法模型的知识迁移到拥有少量有效样本的小型芯片的检测算法模型中，替代传统的随机初始化算法模型参数，降低了模型的不确定性，提高了模型的收敛速度。

另外改进SSD缺陷检测算法，为了改善SSD算法对小目标检测性能力差的缺点，利用八方向的Sobel边缘检测算法，将其作为图像的第4通道与水下图像原有的3通道一起作为输入，并使用resnet50作为网络基本框架，采用特征跨级融合。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (6)

1.一种微型芯片外观缺陷的智能识别系统，其特征在于，

包括电源模块、发声模块、照明发光模块、CCD相机组、传送装置、芯片格子装置、总控制器模块、板载计算机和带有吸盘的机械手；

所述电源模块用于对整个系统进行供电；

所述发声模块用于提示系统的工作状态或者用于报警；

所述照明发光模块用于对照亮待检测芯片，利于相机收集芯片更多的特征；

所述CCD相机组用于收集待检测芯片的特征信息，为算法部分提供分析数据；

所述芯片格子装置用于放置待检测芯片；

所述传送装置用于将待检测芯片移动至CCD相机组的检测区域，以及将检测完成后的芯片移出检测区域；

所述总控制器模块用于对智能检测系统的各个模块发布各种指令；

所述板载计算机用于为算法部分提供计算力，从而得出输出结果；

所述带有吸盘的机械手，用于区分产品的质量合格和不合格，自动化地将不合格芯片抓取。

2.采用如权利要求1所述的微型芯片外观缺陷的智能识别系统的智能识别方法，其特征在于，包括如下步骤：

放置芯片至所述芯片格子装置；

利用所述传送装置传送芯片；

之后灰度化相机图像；

然后芯片定位，利用所述CCD相机组对芯片进行检测；

实施缺陷样本均衡处理；

进行大封装芯片缺陷样本的知识迁移。

3.如权利要求2所述的微型芯片外观缺陷的智能识别方法，其特征在于，芯片定位，利用所述CCD相机组对芯片进行检测，包括：

利用八方向Sobel算子边缘提取，检测出图像不同的方向边缘；

寻找芯片四周边缘顶点。

4.如权利要求3所述的微型芯片外观缺陷的智能识别方法，其特征在于，利用八方向Sobel算子边缘提取，检测出图像不同的方向边缘，具体步骤为：

定义算子模板；

采用加权平均法将原始RGB彩色图变成灰度图；

获取梯度图像。

5.如权利要求2所述的微型芯片外观缺陷的智能识别方法，其特征在于，进行大封装芯片缺陷样本的知识迁移，具体为：

利用大封装芯片样本的数据训练检测模型的知识迁移到小型芯片的缺陷检测模型中，减少小型芯片外观缺陷检测模型随机初始化带来的噪声和降低模型收敛困难的风险。

6.如权利要求5所述的微型芯片外观缺陷的智能识别方法，其特征在于，利用大封装芯片样本的数据训练检测模型的知识迁移到小型芯片的缺陷检测模型中，包括：

分别搭建大型封装芯片缺陷检测模型和小型芯片缺陷检测模型；

将大型封装芯片缺陷检测模型迁移至小型芯片缺陷检测模型中，实现迁移学习。

Images