CN113362306A - 一种基于深度学习的封装芯片缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的封装芯片缺陷检测方法，包括：对封装芯片的X射线图像进行降噪处理；对X射线图像进行图像分割，提取具有封装芯片的测试图像；基于模板匹配得到测试图像中芯片的密封圈内外边缘；建立训练数据集与目标检测模型，对目标检测网络进行训练；基于训练后的目标检测模型对测试图像进行检测，得到测试图像中缺陷区域对应的检测框；基于区域生长对检测框进行精定位修正；基于密封圈内外边缘与检测框的最短路径对芯片进行合格性判定。深入研究了以深度学习视觉检测技术为代表的计算机视觉技术，研制出电子元器件X射线检查气泡缺陷自动识别方法，解决了军工电子元器件质量检测的迫切需求。

Description

一种基于深度学习的封装芯片缺陷检测方法

技术领域

本发明涉及封装芯片缺陷检测领域/图像处理技术领域，具体是一种基于深度学习的封装芯片缺陷检测方法。

背景技术

传统的人工视觉检测、自动光学检测等检测技术对元器件内部的质量检测几乎无能为力，X射线检测方式以透射原理对电子元器件进行X射线成像，其图像能反映电子元器件的内部缺陷，再由检测人员浏览X射线图像，根据检测标准进行人工判读、分析。这种人工判读分析方式受工人经验和身体状况等主观因素的影响，检测效率和可靠性低，元器件检测质量难以有效保证，给元器件的使用带来风险与隐患，已无法满足军用电子系统日益增加的需求。

发明内容

针对上述现有技术中的不足，本发明提供一种基于深度学习的封装芯片缺陷检测方法，以深度学习视觉检测技术研制电子元器件X射线检查气泡缺陷自动识别方法，解决了军工电子元器件质量检测的迫切需求。

为实现上述目的，本发明提供一种基于深度学习的封装芯片缺陷检测方法，包括如下步骤：

步骤1，获取封装芯片的X射线图像，并对其进行降噪处理；

步骤2，对降噪处理后的X射线图像进行图像分割，提取具有封装芯片的测试图像；

步骤3，基于模板匹配得到测试图像中芯片的密封圈内外边缘；

步骤4，建立训练数据集与目标检测模型，并基于训练数据集对目标检测网络进行训练；

步骤5，基于训练后的目标检测模型对测试图像进行检测，得到测试图像中缺陷区域对应的检测框；

步骤6，基于区域生长对检测框进行精定位修正；

步骤7，基于密封圈内外边缘与检测框的最短路径对芯片进行合格性判定。

在其中一个实施例中，步骤1中，所述降噪处理为双边滤波处理，具体为：

式中，f(x,y)为封装芯片的X射线图像，

为双边滤波处理后封装芯片的X射线图像，w(i,j)为权值，S(x,y)为以(x,y)为中心的(2N+1)×(2N+1)的大小范围；

其中，所述权值具体为：

w(i,j)＝w_r(i,j)·w_s(i,j)

式中，w_s(i,j)为空间邻近度权值，w_r(i,j)空间相似度权值，δ_s、δ_r为程序输入值。

在其中一个实施例中，步骤2中，所述对降噪处理后的X射线图像进行图像分割，具体为：基于寻找目标最小外接矩形对降噪处理后的X射线图像进行图像分割，具体包括如下步骤：

步骤2.1，对降噪处理后的X射线图像进行二值化处理，得到二值化图像；

步骤2.2，对二值化图像进行开运算操作，以滤除二值化图像上的小字符；

步骤2.3，基于OpenCV库中轮廓检测算法，对二值图像进行查找并绘制轮廓，再对绘制出的目标轮廓进行拟合，找出轮廓的最小外接矩形；

步骤2.4，基于最小外接矩形的中心点在X射线图像1/3～2/3处，搜寻中心处的芯片，并截取具有中心芯片的分割图像；

步骤2.5，对分割图像进行校正，得到测试图像。

在其中一个实施例中，步骤2.5中，所述对分割图像进行校正，得到测试图像，具体为：

步骤2.5.1，取最小外接矩形的四个角点和尺寸为800×600的图像四角做对应，然后根据这四对对应的角点，基于Opencv中的findHomography函数获取透视变换矩阵；

步骤2.5.2，基于透视变换矩阵，调用Opencv中的函数warpPerspective将分割图像变换到尺寸800×600校正后的视图中，得到测试图像；

步骤2.5.3，输出800×600的测试图像。

在其中一个实施例中，所述步骤3具体包括如下步骤：

步骤3.1，构建第一模板图像与第二模板图像，其中，第一模板图像为芯片的标准图像，第二模板图像为芯片的标准内框图像；

步骤3.2，分别将第一模板图像与第二模板图像在测试图像上滑动，寻找最佳匹配值最大的位置，即得到测试图像中芯片的密封圈内外边缘。

在其中一个实施例中，步骤4中，所述训练数据集的建立过程为：

步骤4.1，对训练图像进行缺陷区域与类别的人工标注，其中，缺陷区域的标注为锚定框；

步骤4.2，对人工标注后的训练图像进行扩充，得到初始训练集；

步骤4.3，基于K-means++聚类算法对初始训练集中的训练图像进行锚定框大小优化，得到训练数据集。

在其中一个实施例中，步骤4中，所述目标检测模型为仅具有中尺度预测层与小尺度预测层的Yolov4网络，该所述Yolov4网络的损失函数为：

式中，L_f为损失函数，α为平衡因子，γ为聚集参数，y′为待分类实例属于正类的概率。

在其中一个实施例中，步骤6中，所述区域生长的种子点为：检测框的中心点；

所述区域生长的生长准则为：基于区域灰度差准则，比较检测框图像区域的灰度均值与种子点邻域像素的灰度值，若两者之差的绝对值小于阈值，则将种子点与其邻域像素合并；

所述区域生长的生长停止条件为：当已经不存在满足生长准则的像素点，则生长停止。

在其中一个实施例中，步骤7中，所述合格性判定具体为：

以外封闭圈为起点、内封闭圈为终点，以各检测框自身为根节点，得到各检测框的最短路径，其中，检测框内部的距离默认为0；

若所有检测框的最短路径中的最小值小于外封闭圈与内封闭圈之间距离的15％，则判定为不合格，反之则认定为合格。

本发明提供的一种基于深度学习的封装芯片缺陷检测方法，通过建立目标检测模型对封装芯片上的缺陷进行检测，并基于区域生长对检测结果进行精定位修正，最终通过检测结果的最短路径对缺陷进行合格线判定，深入研究了以深度学习视觉检测技术为代表的计算机视觉技术，研制出电子元器件X射线检查气泡缺陷自动识别方法，解决了军工电子元器件质量检测的迫切需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例中基于深度学习的封装芯片缺陷检测方法的流程示意图；

图2为本发明实施例中双边滤波前X射线图像的示意图；

图3为本发明实施例中双边滤波后X射线图像的示意图；

图4为本发明实施例中测试图像检测结果示意图；

图5为本发明实施例中检测框最短路径求解示意图；

图6为本发明实施例中缺陷检测的结果示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是物理连接或无线通信连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

由于芯片等电子元器件的缺陷主要为密封区的气泡、空腔内的多余物等，因此本实施例基于电子元器件X射线检查气泡缺陷自动识别需求，深入研究以深度学习视觉检测技术为代表的计算机视觉技术，研发出了一种基于深度学习的封装芯片缺陷检测方法。参考图1，该检测方法具体包括如下步骤：

步骤1，获取封装芯片的X射线图像，并对其进行降噪处理；

步骤2，对降噪处理后的X射线图像进行图像分割，提取具有封装芯片的测试图像；

步骤3，基于模板匹配得到测试图像中芯片的密封圈内外边缘；

步骤4，建立训练数据集与目标检测模型，并基于训练数据集对目标检测网络进行训练；

步骤5，基于训练后的目标检测模型对测试图像进行检测，得到测试图像中缺陷区域对应的检测框；

步骤6，基于区域生长对检测框进行精定位修正；

步骤7，基于密封圈内外边缘与检测框的最短路径对芯片进行合格性判定。

由于X射线图像混合噪声明显且缺陷对比度低，采用常规的降噪算法在滤除图像噪声的同时，也会平滑图像的边缘，影响缺陷的检测。因此本实施例在步骤1中基于双边滤波算法对X射线图像进行降噪处理，双边滤波是一种结合图像的空间邻近度与灰度相似度的非线性滤波方法，基本思想是基于高斯滤波的原理，利用空间邻近度消除噪声，同时使用灰度相似度保护图像的边缘，将空间相似度权值与像素相似度权值作乘积，用优化后的权值与图像做卷积运算，处理结果如图2-3所示。其具体处理过程为：

式中，f(x,y)为封装芯片的X射线图像，

为双边滤波处理后封装芯片的X射线图像，w(i,j)为权值，S(x,y)为以(x,y)为中心的(2N+1)×(2N+1)的大小范围；

其中，所述权值具体为：

w(i,j)＝w_r(i,j)·w_s(i,j)

式中，w_s(i,j)为空间邻近度权值，w_r(i,j)空间相似度权值，δ_s、δ_r为程序输入值。

在获取X射线图像时，由于实际检测设备工作机理的原因，所采集到的X光影像是九宫格式排布的芯片图像，这使得检测的难度和复杂程度变高，为提高检测准确度及效率，需利用相关图像分割算法将中心处的芯片提取出来。基于此，本实施例在步骤2中，基于寻找目标最小外接矩形对降噪处理后的X射线图像进行图像分割，具体包括如下步骤：

步骤2.1，设定合理的二值化阈值，对降噪处理后的X射线图像进行二值化处理，对于X射线图像中灰度值大于二值化阈值的像素点，将其灰度值设定为最大值，同时将灰度值小于或等于二值化阈值的像素，将其灰度值设定为0，得到二值化图像；

步骤2.2，对二值化图像进行开运算操作，以滤除二值化图像上的小字符，避免对结果造成影响，其中，开运算的具体实施过程为：先将图像腐蚀，再对腐蚀结果进行膨胀；

步骤2.3，基于OpenCV库中轮廓检测算法，对二值图像进行查找并绘制轮廓，再对绘制出的目标轮廓进行拟合，找出轮廓的最小外接矩形，以用于后续图像的分割；

步骤2.4，基于最小外接矩形的中心点在X射线图像1/3～2/3处，搜寻中心处的芯片，并截取具有中心芯片的分割图像；

步骤2.5，基于OpenCV计算出变化矩阵对分割图像进行校正，得到测试图像，其具体实施过程为：

步骤2.5.1，取最小外接矩形的四个角点和尺寸为800×600的图像四角做对应，然后根据这四对对应的角点，基于Opencv中的findHomography函数获取透视变换矩阵；

步骤2.5.2，基于透视变换矩阵，调用Opencv中的函数warpPerspective将分割图像变换到尺寸800×600校正后的视图中，得到测试图像；

步骤2.5.3，输出800×600的测试图像，同时输出最小外接矩形的长、宽以及旋转角度。

由于芯片等元器件的测试图像中气泡等缺陷存在于密封区，且位于密封圈内侧边界的气泡与内框融合，像素值相近，这会导致气泡检测不准确。如此会带来一些问题，其一，针对元器件的合格性判定除了气泡本身的定位以及轮廓信息外，还需要器件内框边缘位置；其二，如果直接提取与内框融合的气泡轮廓，将会求得包含内腔的“放大”后的气泡轮廓。为了后续提取气泡轮廓的检测以及元器件合格性的判定，因此需要对内腔部分进行准确的识别、定位，排除内腔的干扰，即识别测试图像中芯片的密封圈内外边缘。因此本实施例在步骤3采用了基于模板匹配的方法对芯片的密封圈内外边缘进行识别与定位，其具体包括如下步骤：

步骤3.1，构建第一模板图像与第二模板图像，其中，第一模板图像为芯片的标准图像，第二模板图像为芯片的标准内框图像；

步骤3.2，分别将第一模板图像与第二模板图像在测试图像上滑动，寻找最佳匹配值最大的位置，即得到测试图像中芯片的密封圈内外边缘。

本实施例中，寻找最佳匹配值最大的位置通过结合OpenCV库，调用函数matchTemplate，选择标准相关系数匹配的方式来实现，将第一模板图像与第二模板图像对其均值的相对值与测试图像对其均值的相关值进行匹配，提高了匹配的精度，有效减少了密封圈内外边缘提取不准确的情况，相关系数匹配计算公式如下：

式中，R(x,y)为输出图像结果，T′(x′,y′)为模板，I′(x+x′,y+y′)为输入图像，(x′,y′)表示位置信息。

目前，基于深度神经网络进行目标检测的主流算法有Faster R-CNN及SSD、YOLO等多种算法。其中，Yolov4是最近提出的一种高效而强大的目标检测模型，结构简单易于优化，在MS COCO数据集下可以达到65fps，适合工业检测。因此本文选择Yolov4作为元器件缺陷的目标检测网络。基于此，本实施例在步骤4中选择Yolov4网络作为目标检测模型，YOLOv4网络的原三个分支分别用来识别图像中的大中小三类目标。为了适合气泡缺陷尺寸特性，本实施例中去掉了大尺度预测层，保留中尺度预测层与小尺度预测层两个分支，如此避免了将芯片内部结构误检测为缺陷，融合中等特征图的细节信息和小特征图的语义信息，在剩余两个尺度上训练出最终的模型。

作为优选地实施方式，本实施例中引入了Focal Loss替换YOLOv4网络损失函数中负样本置信度部分的交叉熵公式，降低了模型训练时负样本损失在损失函数中的权重，以此纠正模型梯度的更新方向，使网络学到更有用的信息，对气泡缺陷进行更准确的检测。Focal Loss是基于交叉熵公式改进而来，主要是为了解决YOLOv4中正负样本比例严重失衡的问题。改进后的Yolov4网络损失函数为：

式中，L_f为损失函数，α为平衡因子，y为ground truth label，γ聚集参数，y′待分类实例属于正类的概率。其首先在原有的交叉熵公式基础上加了一个参数γ。当γ＝0时，Focal Loss就为交叉熵公式。当γ>0时，会让损失函数减少对易分类样本的计算，增加对难分类样本的计算。此外，加入了平衡因子α，用来调整正负样本数量失衡的问题。

在构建好目标检测模型后，还需建立训练数据集以用于目标监测模型的训练。本实施例中，训练数据集的建立过程为：

步骤4.1，用Labelimg或其他类似工具对训练图像进行缺陷区域与类别的人工标注，包括缺陷区域的标注为锚定框、类别信息，即缺陷的坐标和分类；

步骤4.2，为提高目标检测模型的鲁棒性，避免过拟合，通过对训练图像进行数据扩增和数据增强，采用Mosaic数据增强的方式来对训练图像进行扩充，得到初始训练集，其中，Mosaic数据增强是把四张图片，通过随机缩放、随机裁剪、随机排布的方式进行拼接，这种方法丰富了检测物体的背景和小目标，并且在计算BatchNormalization的时候一次会计算四张图片的数据，使得mini-batch大小不需要很大，一个GPU就可以达到比较好的效果；

步骤4.3，基于K-means++聚类算法对初始训练集中的训练图像进行锚定框大小优化，得到训练数据集。

本实施例中通过采用K-means++聚类算法对目标样本进行锚定框优化，对初始训练集中目标的锚定框进行聚类分析，与传统的K-means聚类算法相比，K-means++优化了初试点的选择，能显著改善分类结果的误差，以获得更适合气泡缺陷数据集的Anchorbox的大小，提高气泡缺陷检测的精度。具体地，K-means++算法首先随机选取某一个样本目标框区域作为初始聚类中心，然后计算每个样本x_i与已有聚类中心点的距离D(x)，并计算每个样本被选为下一个聚类中心的概率P(x)：

再通过轮盘法选出下一个聚类中心。重复上述计算距离D(x)和概率P(x)的步骤直到得出K个目标框。最后不断重复计算每个样本到聚类中心K个点的距离，并把该样本点划分到距离最小的聚类中心的类中并更新聚类中心，直到得到的Anchor box的大小不再发生改变。

最终设定预训练模型参数，将优化后的训练数据集放入模型中进行训练，通过训练样本对具有初始参数的卷积神经网络进行迭代训练，根据训练结果和可视化查看训练过程，从而不断修改优化训练模型相关训练参数，最终得到目标检测模型。模型测试阶段，将待检测样本，即测试图像输入目标检测模型得到检测结果。本实施例中，检测结果如图4所示。

经步骤5后，芯片上的气泡缺陷已被检测出来并进行检测框标注，其中一些检测框可能存在过定位，即过多的检测框框选非气泡缺陷的部分。针对这一问题，本实施例通过步骤6采用了基于区域生长对检测框进一步修正来达到精定位的要求。区域生长的基本思想是将具有相似性质的像素集合起来构成区域。首先对每个需要分割的区域找出一个种子像素作为生长的起点,然后将种子像素周围邻域中与种子有相同或相似性质的像素(根据事先确定的生长或相似准则来确定)合并到种子像素所在的区域中。而新的像素继续做种子向四周生长,直到再没有满足条件的像素可以包括进来,一个区域就生长而成了。本实施例中，所述区域生长算法设计流程如下：

区域生长的种子点为：检测框的中心点；

区域生长的生长准则为：基于区域灰度差准则，设检测框图像区域为R，其中检测框图像区域的像素点数为N′，比较检测框图像区域的灰度均值与种子点邻域像素的灰度值，若两者之差的绝对值小于阈值K′，则将种子点与其邻域像素合并，其中，较检测框图像区域的灰度均值为：

检测框图像区域的灰度均值与种子点邻域像素的灰度值之差的绝对值小于阈值K′可以表示为：

max|R(x,y)-m|_(x,y)∈R＜K′

本实施例中，阈值K′为5。

区域生长的生长停止条件为：当已经不存在满足生长准则的像素点，则生长停止。

图像中两个区域的最短距离是通过遍历区域边界上的所有像素点得出，设两个区域边界的像素点集合分别为E₁、E₂，其中(x₁,y₁)∈E₁、(x₂,y₂)∈E₂，用欧氏距离公式计算两区域边界点之间的距离。显然，两区域间的最短距离d_e可定义为：

本实施例的步骤7中，基于Floyd算法设计了一种针对芯片气泡的最短路径算法，起点为外封闭圈，终点为内封闭圈，芯片内外框的最短路径分为起点经过单个气泡直接到终点和经过若干个气泡到达终点两种情况。

下面给出某个气泡最短路径的具体求解示例对本实施例中的最短路径作出进一步的说明。

参考图5，外边界(即外封闭圈)标记为0，内边界(即内封闭圈)标记为n，气泡按从左到右的顺序分别编码为1、2、3、4，实线箭头路线为找到的最短路径。图5(a)中分别记录每个气泡到内外边界的距离，并选择2号气泡为根节点，其到内、外边框的距离分别为d_2-n和d_2-0；图5(b)为计算与右方相邻的3号气泡间的最短距离d_2-3，由于d_2-n＞d_2-3+d_3-n，因此路径d_2-n被d_2-3+d_3-n替代；图5(d)继续以3号气泡为下一个根节点，计算与右方相邻的4号气泡间的最短距离d_3-4，由于d_3-n＞d_3-4+d_4-n，因此路径d_3-n被d_3-4+d_4-n替代；图5(c)为计算与左方相邻的1号气泡间的最短距离d_2-3，由于d_2-n＜d_2-3+d_3-n，所以d_2-n被保留。最终通过比较气泡2的左子树(图5(c))和右子树(图5(d))最短路径，得出d_2-0+d_2-3+d_3-4+d_4-n为以气泡2为根节点的最短路径。

依照上面的求解过程，分别计算以每一个气泡(即检测框)为根结点的最短路径，其中的最小值即为芯片的最短路径，最终的实验结果如图6所示所示。本实施例中将芯片的最短路径定义为从外封闭圈到内封闭圈通过气泡时所经过的最短距离，气泡内部距离为0。如果最短路径小于内外框之间距离的15％，则判定为不合格，反之则认定为合格。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (9)

1.一种基于深度学习的封装芯片缺陷检测方法，其特征在于，包括如下步骤：

步骤1，获取封装芯片的X射线图像，并对其进行降噪处理；

步骤2，对降噪处理后的X射线图像进行图像分割，提取具有封装芯片的测试图像；

步骤3，基于模板匹配得到测试图像中芯片的密封圈内外边缘；

步骤4，建立训练数据集与目标检测模型，并基于训练数据集对目标检测网络进行训练；

步骤5，基于训练后的目标检测模型对测试图像进行检测，得到测试图像中缺陷区域对应的检测框；

步骤6，基于区域生长对检测框进行精定位修正；

步骤7，基于密封圈内外边缘与检测框的最短路径对芯片进行合格性判定。

2.根据权利要求1所述基于深度学习的封装芯片缺陷检测方法，其特征在于，步骤1中，所述降噪处理为双边滤波处理，具体为：

式中，f(x,y)为封装芯片的X射线图像，

为双边滤波处理后封装芯片的X射线图像，w(i,j)为权值，S(x,y)为以(x,y)为中心的(2N+1)×(2N+1)的大小范围；

其中，所述权值具体为：

w(i,j)＝w_r(i,j)·w_s(i,j)

式中，w_s(i,j)为空间邻近度权值，w_r(i,j)空间相似度权值，δ_s、δ_r为程序输入值。

3.根据权利要求1所述基于深度学习的封装芯片缺陷检测方法，其特征在于，步骤2中，所述对降噪处理后的X射线图像进行图像分割，具体为：基于寻找目标最小外接矩形对降噪处理后的X射线图像进行图像分割，具体包括如下步骤：

步骤2.1，对降噪处理后的X射线图像进行二值化处理，得到二值化图像；

步骤2.2，对二值化图像进行开运算操作，以滤除二值化图像上的小字符；

步骤2.3，基于OpenCV库中轮廓检测算法，对二值图像进行查找并绘制轮廓，再对绘制出的目标轮廓进行拟合，找出轮廓的最小外接矩形；

步骤2.4，基于最小外接矩形的中心点在X射线图像1/3～2/3处，搜寻中心处的芯片，并截取具有中心芯片的分割图像；

步骤2.5，对分割图像进行校正，得到测试图像。

4.根据权利要求3所述基于深度学习的封装芯片缺陷检测方法，其特征在于，步骤2.5中，所述对分割图像进行校正，得到测试图像，具体为：

步骤2.5.1，取最小外接矩形的四个角点和尺寸为800×600的图像四角做对应，然后根据这四对对应的角点，基于Opencv中的findHomography函数获取透视变换矩阵；

步骤2.5.2，基于透视变换矩阵，调用Opencv中的函数warpPerspective将分割图像变换到尺寸800×600校正后的视图中，得到测试图像；

步骤2.5.3，输出800×600的测试图像。

5.根据权利要求1所述基于深度学习的封装芯片缺陷检测方法，其特征在于，所述步骤3具体包括如下步骤：

步骤3.1，构建第一模板图像与第二模板图像，其中，第一模板图像为芯片的标准图像，第二模板图像为芯片的标准内框图像；

步骤3.2，分别将第一模板图像与第二模板图像在测试图像上滑动，寻找最佳匹配值最大的位置，即得到测试图像中芯片的密封圈的内外边缘。

6.根据权利要求1至5任一项所述基于深度学习的封装芯片缺陷检测方法，其特征在于，步骤4中，所述训练数据集的建立过程为：

步骤4.1，对训练图像进行缺陷区域与类别的人工标注，其中，缺陷区域的标注为锚定框；

步骤4.2，对人工标注后的训练图像进行扩充，得到初始训练集；

步骤4.3，基于K-means++聚类算法对初始训练集中的训练图像进行锚定框大小优化，得到训练数据集。

7.根据权利要求1至5任一项所述基于深度学习的封装芯片缺陷检测方法，其特征在于，步骤4中，所述目标检测模型为仅具有中尺度预测层与小尺度预测层的Yolov4网络，该所述Yolov4网络的损失函数为：

式中，L_f为损失函数，α为平衡因子，γ为聚集参数，y′为待分类实例属于正类的概率。

8.根据权利要求1至5任一项所述基于深度学习的封装芯片缺陷检测方法，其特征在于，步骤6中，所述区域生长的种子点为：检测框的中心点；

所述区域生长的生长准则为：基于区域灰度差准则，比较检测框图像区域的灰度均值与种子点邻域像素的灰度值，若两者之差的绝对值小于阈值，则将种子点与其邻域像素合并；

所述区域生长的生长停止条件为：当已经不存在满足生长准则的像素点，则生长停止。

9.根据权利要求1至5任一项所述基于深度学习的封装芯片缺陷检测方法，其特征在于，步骤7中，所述合格性判定具体为：

以外封闭圈为起点、内封闭圈为终点，以各检测框自身为根节点，得到各检测框的最短路径，其中，检测框内部的距离默认为0；

若所有检测框的最短路径中的最小值小于外封闭圈与内封闭圈之间距离的15％，则判定为不合格，反之则认定为合格。

Images