CN112967243A - 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法 - Google Patents

Abstract

一种基于YOLO的深度学习芯片封装裂纹缺陷检测方法，包括如下步骤：第一步，采集得到芯片单元图像；第二步，对采集的图像进行缺陷类别信息以及缺陷目标坐标的标注；第三步，进行数据增强，制作用于训练的数据集；第四步，基于YOLOv4网络构建缺陷检测所用的深度学习网络模型；第五步，使用预训练的参数作为初始权重，训练深度学习网络；第六步，使用训练好的网络进行预测，其中将待检测图片标准化处理后输入网络，得到网络head的输出，将head输出解码，采用优化非极大值抑制NMS过滤解码后的结果，得到网络预测结果；第七步，采用置信度阈值和裂纹边界阈值对所述第六步的网络预测结果进一步过滤，得到最终结果。本发明对芯片裂纹类缺陷有良好的检测效果。

Description

一种基于YOLO的深度学习芯片封装裂纹缺陷检测方法

技术领域

本发明涉及芯片封装缺陷检测，特别是涉及一种基于YOLO的深度学习芯片封装裂纹缺陷检测方法。

背景技术

芯片是电子产业的核心器件，在芯片的规模生产中会因缺陷产生大量无法使用的残次品。其中主要的缺陷会出现芯片的表面，且不同类型的缺陷伴随着不同的外观特征异常例如裂纹，其封装测试中的一个重要环节就是通过对芯片表面进行缺陷检测。芯片的封装测试是排除次品，保证产品质量和生产可靠性的重要环节，人工智能、物联网、云计算等新兴领域都离不开高端先进的封装测试技术。因为芯片表面缺陷具备外观特征，工业界目前的芯片封装缺陷检测可以分为三种：基于人工目检的人眼识别方式，基于图像处理和人工设计特征分类器的传统机器视觉方式和基于深度学习的机器视觉方式。

由于芯片表面缺陷特征细微，肉眼不易识别，且超过百分之五十的厂家要求对芯片缺陷进行分类，人工检测一方面效率低下，不适应如今制造业信息化、智能化的趋势，另一方面面临着高昂的人力成本与较高的误检率和漏检率，给封装测试带来了困难。

基于传统机器视觉的方式是通过图像处理的方式对缺陷特征进行选择和提取，通过人工设计缺陷特征和机器学习的分类器对缺陷进行识别，但是该方法有两个主要的缺点，一是因为缺陷特征的提取是通过图像处理的方式，所以对前期的成像系统提出了较高的要求以排除环境的干扰，二是人工设计缺陷特征无法适应芯片封装过程中缺陷类别和形态复杂多样的问题，对不同型号的芯片也需要分别设计。总的来说基于传统的机器视觉方式的芯片封装测试系统复杂，普适性差。

基于深度学习的方法是利用卷积神经网络强大的图像特征提取能力对包含不同芯片缺陷种类的训练样本进行学习，使网络记住不同类别缺陷的特征并具备识别未见过的缺陷图片的能力。随着卷积神经网络的发展，不同的网络模型被提出并应用到工业缺陷检测领域，网络模型根据功能可以分为缺陷分类，缺陷检测和缺陷分割。缺陷检测网络是指利用目标检测网络模型如YOLO(You Look Only Once)，识别图片中的缺陷类别并输出缺陷的包围盒坐标。

YOLO网络通过骨架网络对输入的图片提取特征，对不同卷积层提取的特征进行融合增加网络的感受视野，通过检测探头将特征解码输出检测目标种类和包围盒坐标和置信度。其检测原理是将图片划分成若干个网格，每个网格预测出几个包围盒，再经过非极大值抑制(NMS)输出检测结果。

CN112200776A公开了一种利用深度学习的目标检测模型用于芯片封装中的引脚数量和位置缺陷的方法和配套的硬件，目标检测模型识别输入图片中的芯片引脚，通过获取的目标位置信息来判段缺陷的类别。CN112258446A公开了一种基于改进的YOLO网络的工业零件缺陷检测方法，通过工业CT采集生成数据集并对数据集进行筛选划分，并通过图像增强的方式扩充缺陷数据集，网络模型在YOLO的基础上进行改进以降低计算量，迁移了其他图像识别挑战赛中的训练权重作为网络预训练权重，能够准确识别缺陷并对其进行定位。CN111612784A公开了一种基于分类优先YOLO网络的钢板表面缺陷检测方法，先构件了钢板表面缺陷标准图库，通过迁移学习对分类模型进行分类训练，保留分类信息。检测模型为改进的YOLO模型，用两个特征复用网络模块替代残差模块，检测模型负责检测图片中该分类结果对应的缺陷位置，避免了在YOLO网络中对缺陷类别进行预测，提高模型的检测精度。

基于深度学习的缺陷检测方式具备简单智能，灵活性高，普适性好，对硬件要求低等优势，但是在网络模型的训练阶段，需要向网络提供足够数量的缺陷样本用于学习，而芯片生产过程中的缺陷样本数量很少，缺陷样本数量过少容易导致网络模型过拟合，影响检测效果。YOLO网络的提出是面向一般的目标检测，直接将YOLO网络用于芯片缺陷的检测时会忽略芯片缺陷分布具备模板信息，缺陷检测的精度还有着提升的空间，且现有的YOLO网络检测速度较慢，难以满足工业检测的需求。

需要说明的是，在上述背景技术部分公开的信息仅用于对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的主要目的在于克服上述背景技术的缺陷，提供一种基于YOLO的深度学习芯片封装裂纹缺陷检测方法。

为实现上述目的，本发明采用以下技术方案：

一种基于YOLO的深度学习芯片封装裂纹缺陷检测方法，包括如下步骤：

第一步，采集得到芯片单元图像；

第二步，对采集的图像进行缺陷类别信息以及缺陷目标坐标的标注；

第三步，进行数据增强，制作用于训练的数据集；

第四步，基于YOLOv4网络构建缺陷检测所用的深度学习网络模型；

第五步，使用预训练的参数作为初始权重，训练深度学习网络；

第六步，使用训练好的网络进行预测，其中将待检测图片标准化处理后输入网络，得到网络head的输出，将head输出解码，采用优化非极大值抑制NMS过滤解码后的结果，得到网络预测结果；

第七步，采用置信度阈值和裂纹边界阈值对所述第六步的网络预测结果进一步过滤，得到最终结果。

进一步地：

所述第二步中，标注缺陷目标的左上角和右下角坐标。

所述第三步中，通过基于随机漫步邻域法或者直线邻域法的仿真数据生成算法制作用于训练的数据集。

基于随机漫步邻域法制作训练的数据集的过程包括：输入无缺陷图片数据集，分析图片特征，确定图片连通域，提取芯片前景及其坐标，在前景中选取随机点，根据随机点绘制对应直线，在图片坐标系下计算直线斜率和截距，然后以直线坐标点为基础，以截距和斜率为约束，随机漫步生成缺陷点，其中随机漫步方法的具体实现是根据当前缺陷点的位置，在斜率方向距离上一缺陷点某个距离位置上迭代生成下一缺陷点；然后根据已经生成的缺点计算其邻域内的平均灰度值，并以平均灰度值为基础在邻域内进行随机灰度值降低操作，形成裂纹缺陷，最后分析裂纹缺陷仿真生成效果，优化参数，不断迭代，实现裂纹缺陷数据集的生成。

基于直线邻域法制作训练的数据集的过程包括：输入无缺陷图片数据集，分析图片特征，确定图片连通域，提取芯片前景及其坐标，根据前景点绘制直线，然后与原图做差，提取直线并进行阈值化、形态学处理以降低干扰，通过像素灰度值分析定位直线像素点位置，并以此为基础生成缺陷点，根据芯片类型定义相关参数，并根据已经生成的缺点计算其邻域内的平均灰度值，并以平均灰度值为基础在邻域内进行随机灰度值降低操作，形成裂纹缺陷，最后分析裂纹缺陷仿真生成效果，优化参数，不断迭代，实现裂纹缺陷数据集的生成。

所述第四步中，所述深度学习网络模型包括骨架特征提取网络、SPP结构、PANet特征融合结构和YoloHead检测头结构；优选地，所述骨架特征提取网络使用尺寸为416*416的RGB图像作为输入，经过卷积、batchnormalization和mish激活函数后，再通过尺寸分别为(208，208，64)，(104，104，128)，(52，52，256)，(26，26，512)，(13，13，1024)的残差块结构；特征提取后，最后一个残差块的输出经过三次卷积和SPP结构，拼接后再次进行三次卷积的结果将与所述骨架特征提取网络倒数第二和倒数第三个残差块的输出结果一起作为所述PANet特征融合结构的输入；所述PANet特征融合结构进行一系列的上采样、下采样和卷积操作，将三个输入的特征进行融合处理，然后输入所述Yolohead检测头结构；所述Yolohead检测头结构将输出解码前的裂纹目标x,y,w,h坐标信息，分类置信度和目标有无置信度。

所述第五步中，训练方法包括先冻结骨架特征提取网络部分的权重，训练多个epoch，然后解冻所有权重，训练多个epoch；优选地，网络训练使用如下的训练参数：学习率0.001、batch_size为16、训练集验证集相对于数据集的划分比例为0.9和0.1、优化器使用Adam；网络训练策略是：首先使用在Imagenet和coco数据集进行预训练的参数作为初始权重，然后冻结骨架特征提取网络部分的权重，对剩余部分进行50个epoch的训练，最后解冻所有权重，进行50个epoch的训练。

所述第六步中，首先将待测图片进行标准化处理；标准化的图片输入到训练好的网络中，得到Yolohead的输出；Yolohead的输出包括三个特征层，每个特征层分别划分13*13，26*26和52*52个网格，每个格点将对应三个anchor，每个anchor在其对应的网格点内进行中心偏移和长宽放缩；对于解码，首先将预测结果根据对应anchor的原始尺寸进行比例放缩，然后根据网格划分与anchor中心的偏移量计算出预测框相对于标准化输入图的长宽和位置，最后根据标准化处理时所加入的灰色边框过滤掉多余的预测；解码后，进行非极大值抑制操作，其中，将所有目标以目标是否存在置信度和类别预测置信度的乘积降序排列，然后从高到低逐一计算与其他预测的IOU大小，剔除IOU大于某个阈值的预测，或者，直接选择置信度最高的一个目标作为输出。

所述第七步中，对所述第六步得到的输出先进行输出区域阈值过滤，所述输出区域阈值用于防止网络在不可能出现裂纹的位置给出预测；然后使用置信度阈值进行最后的结果过滤，即置信度大于阈值的裂纹目标被输出作为最终预测；其中，所述输出区域阈值包含宽度方向阈值和高度方向阈值两个部分，定义分别是裂纹缺陷目标的中心坐标距所在图片边界的距离与整张图片宽和高的比值。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序由处理器执行时，实现所述的深度学习芯片封装裂纹缺陷检测方法的第二步至第七步。

本发明具有如下有益效果：

本发明提出了一种基于YOLO的深度学习芯片封装裂纹缺陷检测方法。本发明与基于图像处理算法相比，精度更高，与传统YOLO方法相比精度更高，速度更快。本发明的芯片封装裂缺陷检测方法可以有效分辨先进封装工艺芯片封装测试过程中产生的裂纹缺陷，对芯片裂纹类缺陷有良好的检测效果。通过提出裂纹数据仿真生成算法，解决了工业数据收集成本高的问题，大幅降低漏检率和误检率。改进了Yolov4的非极大值抑制模块，可以有效提升网络预测速度，在裂纹检测场景降低错误预测频率。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例的数据集仿真算法流程图。

图3为本发明实施例的裂纹缺陷数据集仿真生成效果。

图4为本发明实施例的网络结构图。

图5为本发明实施例的检测效果图。

具体实施方式

以下对本发明的实施方式做详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

为了实现正确区分好品图片和裂纹图片，本发明实施例提供一种基于YOLO的深度学习芯片封装裂纹缺陷检测方法，本方法整体流程如图1所示，可分为七个步骤：图像采集、图像标注、数据增强、模型构建、网络训练、网络预测和输出后处理。

第一步，图像采集，采集工业图像数据，截取芯片单元图像。

第二步，图像标注，使用图像标注工具进行标注，标注内容为缺陷类别(即裂纹)和缺陷目标的左上角右下角坐标。

第三步，数据增强，使用基于随机漫步邻域法和直线邻域法的仿真数据生成算法制作用于训练的数据集。

第四步，模型构建，参考yolov4网络结构，构建缺陷检测所用的深度学习网络模型，可分为四个部分：backbone、SPP结构、PANet和yolohead。

第五步，网络训练，使用在imagenet预训练的参数作为初始权重，训练深度学习网络，训练方法是先冻结backbone部分的权重，训练50个epoch，然后解冻所有权重，训练50个epoch。

第六步，网络预测，使用训练好的网络进行预测，具体操作为将待检测图片标准化处理后输入网络，得到网络head的输出，将head输出解码，采用优化非极大值抑制(NMS)过滤解码后的结果，得到网络预测结果。

第七步，输出后处理，采用置信度阈值和裂纹边界阈值对第六步的网络预测结果进一步过滤，得到最终结果。

以下结合附图进一步描述具体实施例的方法。

第一步，图像采集方法是使用相机拍摄芯片料条，然后根据设计模板截取芯片单元。图像尺寸与芯片模板有关，图像颜色为灰度图，格式为png。

第二步，图像标注使用开源工具labelImg，标注内容为缺陷类别(即裂纹)和缺陷目标的左上角右下角坐标。标注后的信息文件格式为xml。

第三步，数据增强方式采用仿真生成法。数据集作为缺陷检测的基础，通常对算法效果具有关键性的影响，考虑到工业实际中裂纹缺陷数据集存在数量不足的问题，本方法采用仿真生成数据集的方式实现数据增强。其具体实现方法主要有两种，一是随机漫步邻域法，二是直线邻域法，算法流程如图2所示。其中随机漫步邻域法的主要流程为：输入无缺陷图片数据集，分析图片特征，确定图片连通域，提取芯片前景及其坐标，在前景中选取随机点，根据随机点绘制对应直线，在图片坐标系下计算直线斜率和截距，然后以直线坐标点为基础，以截距和斜率为约束，随机漫步生成缺陷点，其中随机漫步方法的具体实现是根据当前缺陷点的位置，在斜率方向距离上一缺陷点某个距离位置上迭代生成下一缺陷点。然后根据已经生成的缺点计算其邻域内的平均灰度值，并以平均灰度值为基础在邻域内进行随机灰度值降低操作，形成裂纹缺陷，最后分析裂纹缺陷仿真生成效果，优化参数，不断迭代，实现较优裂纹缺陷数据集的生成。直线邻域法的主要流程为：采用与随机漫步邻域法相同的方式提取前景，绘制直线，然后与原图做差，提取直线并进行阈值化、形态学处理等图像处理以降低干扰，提升图片质量，通过像素灰度值分析定位直线像素点位置，并以此为基础生成缺陷点，根据芯片类型定义相关参数，并根据已经生成的缺点计算其邻域内的平均灰度值，并以平均灰度值为基础在邻域内进行随机灰度值降低操作，形成裂纹缺陷，最后分析裂纹缺陷仿真生成效果，优化参数，不断迭代，实现较优裂纹缺陷数据集的生成。最终裂纹缺陷效果如图3所示。

第四步，模型构建采用基于yolov4设计的目标检测网络。网络结构如图4所示，可分为四个部分：骨架特征提取网络CSPDarknet53，SPP结构，PANet特征融合结构和YoloHead检测头结构。骨架特征提取网络使用尺寸为416*416的RGB图像作为输入，经过卷积、batchnormalization和mish激活函数后，再通过尺寸分别为(208，208，64)，(104，104，128)，(52，52，256)，(26，26，512)，(13，13，1024)的残差块结构；特征提取后，最后一个残差块的输出经过三次卷积和SPP结构，拼接后再次进行三次卷积的结果将与骨架网络倒数第二和倒数第三个残差块的输出结果一起作为PANet结构的输入。PANet结构将如图4进行一系列的上采样、下采样和卷积操作，将三个输入的特征进行融合处理，然后输入Yolohead。Yolohead将输出解码前的裂纹目标x,y,w,h坐标信息，分类置信度和目标有无置信度。

第五步，网络训练，使用如下的训练参数：学习率0.001、batch_size为16、训练集验证集相对于数据集的划分比例为0.9和0.1、优化器使用Adam。网络训练策略是首先使用在Imagenet和coco数据集进行预训练的参数作为初始权重，然后冻结backbone部分的权重，对剩余部分进行50个epoch的训练，最后解冻所有权重，进行50个epoch的训练。训练设备使用4张Nvidia RTX 2080Ti型号GPU，训练时间约8小时。训练结果当epoch为100时，验证集loss为3.1534。

第六步，网络预测，首先将待测图片进行标准化处理，缩放到416*416大小，并转换为RGB图片。标准化的图片输入到训练好的网络中，得到yolohead的输出(未解码)。Yolohead的输出将包括三个特征层，每个特征层分别划分13*13，26*26和52*52个网格，每个格点将对应三个anchor，每个anchor在其对应的网格点内进行中心偏移和长宽放缩。对于解码，首先将预测结果根据对应anchor的原始尺寸进行比例放缩，然后根据网格划分与anchor中心的偏移量计算出预测框相对于标准化输入图的长宽和位置，最后根据标准化处理时所加入的灰色边框过滤掉多余的预测。解码后，将进行非极大值抑制操作，非极大值抑制有两种方法，第一种是传统的将所有目标以目标是否存在置信度和类别预测置信度的乘积降序排列，然后从高到低逐一计算与其他预测的IOU大小，剔除IOU大于某个阈值的预测，第二种方法是优化的非极大值抑制，即直接选择置信度最高的一个目标作为输出，这样做结合工业使用场景的使用需求，可以减少计算量，提升检测速度，用户可以根据自身需求选择其中一种，本发明相关实验结果基于第二种方法得到。

第七步，输出后处理，第六步得到的输出将首先进行输出区域阈值过滤，设定此阈值目的是防止网络在不可能出现裂纹的位置给出预测，减少误检。然后使用置信度阈值进行最后的结果过滤，即置信度大于阈值的裂纹目标被输出作为最终预测。

对于输出区域阈值，其包含宽度方向阈值和高度方向阈值两个部分，定义分别是即裂纹缺陷目标的中心坐标距所在图片边界的距离与整张图片宽和高的比值。

对于第六步的IOU阈值，第七步中的输出区域阈值和置信度阈值，设定方法为基于人工经验，本方案分别采用IOU阈值0.5，输出区域阈值宽度方向0.2942、高度方向0.0778，置信度阈值0.68。

本发明的方法与其他算法性能对比如表1所示，对真实裂纹检测效果如图5所示。

表1

表2本发明与现有技术的区别

对于算法精度，本发明的方法针对芯片封装裂纹缺陷的检测精度可达误检率0％，漏检率3.45％，相比传统YOLO算法误检率降低2.65％，漏检率降低27.59％，相比基于图像处理的算法误检率降低0.05％，漏检率降低约17.23％。

对于算法速度，本发明的方法采用半精度计算优化和NMS优化，相比原始YOLO算法速度综合提升约18.3％。

本发明的背景部分可以包含关于本发明的问题或环境的背景信息，而不一定是描述现有技术。因此，在背景技术部分中包含的内容并不是申请人对现有技术的承认。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。

Claims (10)

1.一种基于YOLO的深度学习芯片封装裂纹缺陷检测方法，其特征在于，包括如下步骤：

第一步，采集得到芯片单元图像；

第二步，对采集的图像进行缺陷类别信息以及缺陷目标坐标的标注；

第三步，进行数据增强，制作用于训练的数据集；

第四步，基于YOLOv4网络构建缺陷检测所用的深度学习网络模型；

第五步，使用预训练的参数作为初始权重，训练深度学习网络；

第六步，使用训练好的网络进行预测，其中将待检测图片标准化处理后输入网络，得到网络head的输出，将head输出解码，采用优化非极大值抑制NMS过滤解码后的结果，得到网络预测结果；

第七步，采用置信度阈值和裂纹边界阈值对所述第六步的网络预测结果进一步过滤，得到最终结果。

2.如权利要求1所述的深度学习芯片封装裂纹缺陷检测方法，其特征在于，所述第二步中，标注缺陷目标的左上角和右下角坐标。

3.如权利要求1至2任一项所述的深度学习芯片封装裂纹缺陷检测方法，其特征在于，所述第三步中，通过基于随机漫步邻域法或者直线邻域法的仿真数据生成算法制作用于训练的数据集。

4.如权利要求3所述的深度学习芯片封装裂纹缺陷检测方法，其特征在于，基于随机漫步邻域法制作训练的数据集的过程包括：输入无缺陷图片数据集，分析图片特征，确定图片连通域，提取芯片前景及其坐标，在前景中选取随机点，根据随机点绘制对应直线，在图片坐标系下计算直线斜率和截距，然后以直线坐标点为基础，以截距和斜率为约束，随机漫步生成缺陷点，其中随机漫步方法的具体实现是根据当前缺陷点的位置，在斜率方向距离上一缺陷点某个距离位置上迭代生成下一缺陷点；然后根据已经生成的缺点计算其邻域内的平均灰度值，并以平均灰度值为基础在邻域内进行随机灰度值降低操作，形成裂纹缺陷，最后分析裂纹缺陷仿真生成效果，优化参数，不断迭代，实现裂纹缺陷数据集的生成。

5.如权利要求3所述的深度学习芯片封装裂纹缺陷检测方法，其特征在于，基于直线邻域法制作训练的数据集的过程包括：输入无缺陷图片数据集，分析图片特征，确定图片连通域，提取芯片前景及其坐标，根据前景点绘制直线，然后与原图做差，提取直线并进行阈值化、形态学处理以降低干扰，通过像素灰度值分析定位直线像素点位置，并以此为基础生成缺陷点，根据芯片类型定义相关参数，并根据已经生成的缺点计算其邻域内的平均灰度值，并以平均灰度值为基础在邻域内进行随机灰度值降低操作，形成裂纹缺陷，最后分析裂纹缺陷仿真生成效果，优化参数，不断迭代，实现裂纹缺陷数据集的生成。

6.如权利要求1至5任一项所述的深度学习芯片封装裂纹缺陷检测方法，其特征在于，所述第四步中，所述深度学习网络模型包括骨架特征提取网络、SPP结构、PANet特征融合结构和YoloHead检测头结构；优选地，所述骨架特征提取网络使用尺寸为416*416的RGB图像作为输入，经过卷积、batchnormalization和mish激活函数后，再通过尺寸分别为(208，208，64)，(104，104，128)，(52，52，256)，(26，26，512)，(13，13，1024)的残差块结构；特征提取后，最后一个残差块的输出经过三次卷积和SPP结构，拼接后再次进行三次卷积的结果将与所述骨架特征提取网络倒数第二和倒数第三个残差块的输出结果一起作为所述PANet特征融合结构的输入；所述PANet特征融合结构进行一系列的上采样、下采样和卷积操作，将三个输入的特征进行融合处理，然后输入所述Yolohead检测头结构；所述Yolohead检测头结构将输出解码前的裂纹目标x,y,w,h坐标信息，分类置信度和目标有无置信度。

7.如权利要求1至6任一项所述的深度学习芯片封装裂纹缺陷检测方法，其特征在于，所述第五步中，训练方法包括先冻结骨架特征提取网络部分的权重，训练多个epoch，然后解冻所有权重，训练多个epoch；优选地，网络训练使用如下的训练参数：学习率0.001、batch_size为16、训练集验证集相对于数据集的划分比例为0.9和0.1、优化器使用Adam；网络训练策略是：首先使用在Imagenet和coco数据集进行预训练的参数作为初始权重，然后冻结骨架特征提取网络部分的权重，对剩余部分进行50个epoch的训练，最后解冻所有权重，进行50个epoch的训练。

8.如权利要求1至7任一项所述的深度学习芯片封装裂纹缺陷检测方法，其特征在于，所述第六步中，首先将待测图片进行标准化处理；标准化的图片输入到训练好的网络中，得到Yolohead的输出；Yolohead的输出包括三个特征层，每个特征层分别划分13*13，26*26和52*52个网格，每个格点将对应三个anchor，每个anchor在其对应的网格点内进行中心偏移和长宽放缩；对于解码，首先将预测结果根据对应anchor的原始尺寸进行比例放缩，然后根据网格划分与anchor中心的偏移量计算出预测框相对于标准化输入图的长宽和位置，最后根据标准化处理时所加入的灰色边框过滤掉多余的预测；解码后，进行非极大值抑制操作，其中，将所有目标以目标是否存在置信度和类别预测置信度的乘积降序排列，然后从高到低逐一计算与其他预测的IOU大小，剔除IOU大于某个阈值的预测，或者，直接选择置信度最高的一个目标作为输出。

9.如权利要求1至8任一项所述的深度学习芯片封装裂纹缺陷检测方法，其特征在于，所述第七步中，对所述第六步得到的输出先进行输出区域阈值过滤，所述输出区域阈值用于防止网络在不可能出现裂纹的位置给出预测；然后使用置信度阈值进行最后的结果过滤，即置信度大于阈值的裂纹目标被输出作为最终预测；其中，所述输出区域阈值包含宽度方向阈值和高度方向阈值两个部分，定义分别是裂纹缺陷目标的中心坐标距所在图片边界的距离与整张图片宽和高的比值。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序由处理器执行时，实现如权利要求1至9任一项所述的深度学习芯片封装裂纹缺陷检测方法的第二步至第七步。

Images