CN117011260A - 一种芯片外观缺陷自动检测方法、电子设备及存储介质 - Google Patents

一种芯片外观缺陷自动检测方法、电子设备及存储介质 Download PDF

Info

Publication number
CN117011260A
CN117011260A CN202310960861.3A CN202310960861A CN117011260A CN 117011260 A CN117011260 A CN 117011260A CN 202310960861 A CN202310960861 A CN 202310960861A CN 117011260 A CN117011260 A CN 117011260A
Authority
CN
China
Prior art keywords
chip
pin
image
classification
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310960861.3A
Other languages
English (en)
Inventor
曹志诚
庞辽军
李文龙
赵恒�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Institute Of Integrated Circuit Innovation Xi'an University Of Electronic Science And Technology
Original Assignee
Chongqing Institute Of Integrated Circuit Innovation Xi'an University Of Electronic Science And Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Institute Of Integrated Circuit Innovation Xi'an University Of Electronic Science And Technology filed Critical Chongqing Institute Of Integrated Circuit Innovation Xi'an University Of Electronic Science And Technology
Priority to CN202310960861.3A priority Critical patent/CN117011260A/zh
Publication of CN117011260A publication Critical patent/CN117011260A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种芯片外观缺陷自动检测方法、电子设备及存储介质，包括：利用光学相机采集芯片图像，并使用Retinex光照均衡和中值滤波进行图像预处理；构建基于单阶段免锚框神经网络结构的芯片检测模块，从预处理后图像中提取芯片区域；构建基于多尺度单阶段神经网络结构的引脚检测模块，从芯片区域中提取引脚；构建基于神经网络结构的引脚异常分类模块，对引脚异常情形进行分类；构建基于多尺度单阶段神经网络结构的封装表面异常检测模块，以检测封装表面的异常；基于预处理后的数据构建数据集对各个模型进行训练。利用已训练模型对输入新图像进行芯片外观缺陷检测。本发明解决了人工和传统自动化检测方式效率低、鲁棒性低、误检率高等缺陷。

Description

一种芯片外观缺陷自动检测方法、电子设备及存储介质
技术领域
本发明属于模式识别技术领域，具体涉及一种芯片外观缺陷自动检测方法、电子设备及存储介质。
背景技术
集成电路(IC)芯片是信息产业的核心器件，其意义非凡。然而，由于IC芯片制造工序与工艺精密且复杂，不可避免会产生各种缺陷，这些缺陷直接影响芯片的正常使用。为提高芯片的可靠性，需要在质量管控环节对芯片进行缺陷检测。芯片缺陷检测包括内部缺陷检测与外观缺陷检测，前者可通过X光进行检测，后者往往通过光学照相机予以实现。
传统芯片外观缺陷检测主要由人工方式实现，该方式需要高成本对检测师进行培训，且实际操作时严重依赖检测师的经验，无法客观地做出一致稳定判断。此外，由于长时间在强灯光下工作容易造成疲劳甚至严重的眼睛损伤。因此，人工外观缺陷检测方式既无法保证检测准确度，同时效率较为低下。随着IC芯片设计和封装技术的革新，IC芯片更趋向于体积小、质量轻，同时引脚数更多，引脚间距更小。该趋势导致芯片外观缺陷检测的难度不断增加。因此，传统人工检测方式更加难以满足实际需求。因此基于计算机视觉的自动化芯片外观缺陷检测技术已经开始逐渐取代人工外观缺陷检测方式。
目前基于计算机视觉的自动化的芯片外观缺陷检测技术常常使用经典的图像预处理和模式识别方法，例如通过人工选取和设计特征和算子来实现。而经典的预处理方法有着很大的局限性，通常对于图像的质量要求较高，无法处理较大的外界干扰因素，如光照强弱、拍摄角度等，导致实际环境中检测性能下降严重。此外，传统使用模式识别方法获取的图像特征不具有较强的鲁棒性和普适性，算法难以适用于检测较特殊的缺陷，在不同数据集上的泛化能力非常差，因此有较大的局限性。
近年来，随着深度学习等人工智能理论与技术的出现，各种计算机视觉问题得到了迅猛发展，并取得了显著优于传统手动设计算子和特征的方法，如图像分类、目标检测等问题。但是到目前为止，深度学习在芯片外观缺陷检测这一特定问题上的研究和应用工作尚且少见，少数基于深度学习的芯片外观缺陷检测网络不够优化而导致准确率不高。因此，如何基于深度神经网络等最新理论与工具来设计实现自动化的、高性能的芯片外观缺陷检测技术是非常必要的。
发明内容
为了实现自动化的、高性能的芯片外观缺陷检测，本发明提供了一种芯片外观缺陷检测方法、电子设备及存储介质。本发明要解决的技术问题通过以下技术方案实现：
本发明的实现过程如下：构建多个目标检测模型以及一个图像分类模型，以串并联混合的方式完成系统的构建，并对各个模型进行基于迁移学习的微调，得到训练后模型，从而进行芯片外观自动缺陷检测作业。
进一步，所述芯片外观缺陷检测方法包括以下步骤：
步骤一，构建图像采集与预处理模块，利用光学相机采集含有芯片的图像，并对芯片图像进行对比度增强和降噪预处理，得到增强后的芯片图像；
步骤二，构建基于单阶段、免锚框深度神经网络结构的芯片检测模块(记作YOLO-Chip)，并相应构建IoU感知分类损失函数，以预处理增强后图像为输入，使用YOLO-Chip对图像中的芯片区域进行精确定位和提取，以得到芯片区域；
步骤三，构建基于多尺度、单阶段深度神经网络结构的引脚检测模块(记作SSD-Pin)，并相应构建边界框回归损失函数(SIoU)，使用SSD-Pin对芯片区域中的芯片引脚进行检测和提取，得到芯片区域中的各个引脚，使得每个芯片图像得到一个引脚图像构成的集合；
步骤四，构建基于深度神经网络结构的引脚异常分类模块(记作CNN-Pin)，使用CNN-Pin对每个芯片图像对应的所有引脚进行异常情形的分类，以完成引脚异常检测；
步骤五，构建基于多尺度、单阶段深度神经网络结构的封装表面异常检测模块(记作SSD-Surface)，以步骤二检测到的芯片区域为输入，使用SSD-Surface检测出封装表面的异常部位，对芯片表面异常部位进行定位与分类；
步骤六，构建数据集制作和模型训练模块，基于预处理增强后图像构建各个模型训练所需的数据集，例如芯片检测数据集、芯片引脚检测数据集、芯片引脚分类数据集以及封装表面异常检测数据集。并相应完成对芯片检测模块、引脚检测模块、引脚异常分类模块和封装表面异常检测模块的微调训练。
步骤七，以训练后的芯片检测模型、引脚检测模型、引脚异常分类模型和封装表面异常检测模型组成完整的芯片外观缺陷检测系统，利用该芯片外观缺陷检测系统对输入的新芯片图像进行测试，以实现芯片外观缺陷检测功能。
进一步，所述步骤一中图像采集与预处理模块，利用光学相机采集含有芯片的图像，并使用Retinex光照均衡和中值滤波对图像进行预处理的步骤，具体包括：通过常规的光学相机采集含有芯片的RGB颜色空间图像，使用单尺度Retinex算法估计图像的反射分类分量，完成Retinex光照均衡化操作，得到对比度增强的芯片图像。在对比度增强芯片图像基础上，通过中值滤波算法，完成图像的细节保护和去噪，得到预处理后的对比度更好且噪声更低的图像。
进一步，所述步骤二中基于单阶段、免锚框深度神经网络结构的芯片检测模块YOLO-Chip，对应的神经网络模型具体包括：特征提取主干层，多尺度特征融合层和IoU感知检测头；
所述特征提取主干层，基于CSPDarkNet，用于对输入图像进行初步特征提取，并生成待融合的三级多尺度特征图；
所述多尺度特征融合层，基于PAFPN，以三级多尺度特征图作为输入进行路径聚合的特征融合，得到具有对尺度鲁棒的特征图；
所述IoU感知检测头，以三级特征融合结果为输入，解耦前背景分类和边界框回归任务，利用IoU感知分类损失函数完成任务对齐的分类与回归分支的训练，测试时基于锚点进行分类与回归任务的预测。
所述后处理模块，用以解码无锚框的预测结果，进行非极大值抑制，丢弃低质量预测值，生成最终的芯片区域检测预测结果。
进一步，所述步骤三中基于多尺度单阶段深度神经网络结构的引脚检测模块SSD-Pin，对应的神经网络模型具体包括：特征提取主干层、多尺度特征预测头和后处理模块；
所述特征提取主干层基于VGG16构建，用于提取6层不同尺度的特征图；
所述多尺度特征预测头，分别以6层不同尺度的特征图为输入，利用SIoU损失(SCYLLA-IoU)完成高精度边界框回归任务的学习，测试时基于锚框进行分类和回归的编码预测；
所述后处理模块，用以解码基于锚框的预测结果，进行非极大值抑制，丢弃低质量预测值，生成最终的芯片引脚检测结果。
进一步，所述步骤四中基于深度神经网络结构的引脚异常分类模块CNN-Pin，对应的神经网络模型具体包括：卷积层、下采样层、全连接层和分类层；
所述卷积层，基于3×3和1×1卷积堆叠得到若干个卷积块，用以提取芯片引脚图像的边缘、细节、纹理等与引脚异常有关的特征。
所述下采样层，基于最大池化操作用以降低特征图大小，减少后续计算量，防止信息冗余导致的过拟合。
所述全连接层，将最终的二维特征图展开为一维，并进行3次全连接操作。用以对芯片引脚图像的全局特征进行整合，方便后续分类。
所述分类层，对全连接层输出的最终的一维特征向量使用softmax激活，生成最终的引脚异常多分类概率。
进一步，所述步骤五中基于多尺度单阶段深度神经网络结构的封装表面异常检测模块SSD-Surface，对应的神经网络模型具体包括：特征提取主干层、多尺度特征预测头和后处理模块；
所述特征提取主干层基于VGG16构建，用于提取6层不同尺度的特征图；
所述多尺度特征预测头，分别以6层不同尺度的特征图为输入，基于锚框进行编码预测；
所述后处理模块，用以解码基于锚框的预测结果，进行非极大值抑制，丢弃低质量预测值，生成最终的封装表面异常检测结果。
进一步，所述步骤六中模型训练模块，具体包括：训练数据集构建，迁移学习微调各个模型；
所述训练数据集构建，用以构建各个检测和分类模型训练所需的数据集，其中YOLO-Chip芯片检测模型、SSD-Pin引脚检测模型以及SSD-Surface封装表面异常检测模型所需的检测数据集用水平矩形框进行标注。CNN-Pin引脚异常分类模型所需的分类数据集以简单的分类存储进行标注。
所述迁移学习微调，其中YOLO-Chip芯片检测模型、SSD-Pin引脚检测模型以及SSD-Surfac封装表面异常检测模型以基于COCO2017目标检测数据集训练得到的预训练模型进行微调。CNN-Pin引脚异常分类模型以基于ImageNet的大规模图像分类数据集训练得到的预训练模型进行微调。
本发明的另一目的在于提供一种电子设备，所述电子设备包括光学图像采集设备、存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：控制光学图像采集设备采集芯片图像数据，并对图像数据进行Retinex光照均衡和中值滤波降噪预处理；构建基于单阶段、免锚框深度神经网络结构的芯片检测模块，用以精确定位图像中的芯片；构建基于多尺度单阶段深度神经网络结构的引脚检测模块，用来检测芯片的引脚；构建基于深度神经网络结构的引脚异常分类模块，用来对芯片引脚异常情形进行分类；构建基于多尺度单阶段深度神经网络结构的封装表面异常检测模块，用来对芯片表面异常部位进行定位与分类；构建模型训练模块，用来对预处理增强后图像构建各个模型训练所需的芯片检测数据集、引脚检测数据集、引脚分类数据集以及封装表面异常数据集，并完成对各个模型的微调训练。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：对图像数据进行Retinex光照均衡和中值滤波降噪预处理；构建基于单阶段、免锚框深度神经网络结构的芯片检测模块，用以精确定位图像中的芯片；构建基于多尺度单阶段深度神经网络结构的引脚检测模块，用来检测芯片的引脚；构建基于深度神经网络结构的引脚异常分类模块，用来对芯片引脚异常情形进行分类；构建基于多尺度单阶段深度神经网络结构的封装表面异常检测模块，用来对芯片表面异常部位进行定位与分类；建模型训练模块，用来对预处理增强后图像构建各个模型训练所需的芯片检测数据集、引脚检测数据集、引脚分类数据集以及封装表面异常数据集，并完成对各个模型的微调训练。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
第一，针对上述现有芯片外观缺陷检测方法存在的技术问题以及难点，本发明提出了一套完整的基于深度学习的自动化芯片外观缺陷检测技术，可以解决目前芯片外观缺陷检测技术普遍存在的鲁棒性差、步骤繁琐、响应慢、智能化程度低、效率低等诸多缺点。具体描述如下：
(1)传统的芯片外观缺陷检测主要由人工方式实现，该方式消耗大量人力而成本高，且严重依赖检测人员经验，无法客观地做出一致且稳定的判断。此外，人工方式容易造成疲劳甚至严重的眼睛损伤。同时，人工外观缺陷检测方式无法保证检测准确度，效率较为低下。
(2)当前采用计算机视觉的自动化芯片外观缺陷检测方法虽然摆脱了人工的种种弊端，但是这些方法大多依赖于传统图像处理技术，需要手动设计算子与特征提取器、特征分类等，从而实现缺陷检测和分类等任务。传统算子的特征提取器鲁棒性低，从而对图像的采集环境有严苛的要求，或者需要针对不同图像重新设计算子和特征提取器。而本发明使用的基于深度学习的缺陷检测方法，极大提高了模型的性能稳定性，网络模型训练好后，用户只需上传待检测的芯片图像，就可以一键完成芯片外观缺陷检测任务，无需任何其他额外的复杂操作步骤。
第二，本发明所要保护的技术方案通过引入一系列核心技术和理论，如基于Retinex的图像增强理论、深度神经网络、单阶段目标检测网络、目标检测任务中子任务的损失构建、基于迁移学习的模型训练模块等，使得本发明对应方法具备高性能、抗噪声、高鲁棒性等技术优势，具体描述如下：
本发明提供的芯片外观缺陷检测方法，构建了基于单尺度Retinex光照均衡和中值滤波的图像预处理模块，提高了系统处理低质量芯片图像的能力；构建了基于单阶段、免锚框深度神经网络结构的芯片检测模块，该模块使得系统对不同大小的芯片具有尺度不变性；本发明基于单阶段目标检测和基于CNN的图像分类等理论及工具构建了芯片引脚异常检测模块，相对于传统手动算子针对小尺寸引脚具有更高的准确率；本发明实施例为如何使用深度学习进行芯片外观缺陷检测提供了新理论和新方法支持，使得基于深度学习的芯片外观缺陷检测技术变得更加实用、可靠和普及化。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的芯片外观缺陷检测方法的流程图。
图2是本发明实施例提供的芯片外观缺陷检测方法的总体架构图。
图3是本发明实施例提供的单尺度Retinex光照均衡算法原理图。
图4是本发明实施例提供的Retinex光照均衡算法操作结果展示图，其中，(a)为Retinex对比度增强前，(b)为Retinex对比度增强后。
图5是本发明实施例提供的中值滤波算法操作结果展示图，其中，(a)为中值滤波前，(b)为中值滤波后。
图6是本发明实施例提供的YOLO-Chip芯片检测网络模型结构图。
图7是本发明实施例提供的YOLO-Chip芯片检测结果展示图。
图8是本发明实施例提供的SSD-Pin引脚检测网络模型结构图。
图9是本发明实施例提供的引脚异常分类结果展示图，其中，(a)为正常，(b)为弯曲，(c)为残缺，(d)为上翘。
图10是本发明实施例提供的封装表明异常检测结果展示图，其中，(a)为划痕，(b)为孔洞，(c)为污渍。
图11是本发明实施例提供的电子设备的示意图。
图12是本发明实施例提供的可读存储介质的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种芯片外观缺陷检测方法、系统、电子设备及存储介质，下面结合附图对本发明作详细的描述。
如图1所示，本发明提供的芯片外观缺陷检测方法包括以下步骤：
S101，利用光学相机采集含有芯片的图像，使用Retinex光照均衡和中值滤波等方法，对芯片图像进行对比度增强和降噪预处理；
S102，构建基于单阶段、免锚框深度神经网络结构的芯片检测模块YOLO-Chip，以精确定位和提取图像中的芯片；
S103，构建基于多尺度、单阶段深度神经网络结构的引脚检测模块SSD-Pin，以提取芯片的引脚图像；
S104，构建基于深度神经网络结构的引脚异常分类模块CNN-Pin，以完成对引脚的异常情形分类；
S105，构建基于多尺度、单阶段深度神经网络结构的封装表面异常检测模块SSD-Surface，以完成封装表面的异常检测。
S106，基于预处理后的数据构建数据集，以完成对各个模型的微调训练。
本发明提供的芯片外观缺陷检测方法，本领域技术人员还可以采用其他的步骤实施，图1的本发明提供的芯片外观缺陷检测方法仅仅是一个具体实施例而已。
下面结合具体实施例对本发明的技术方案作进一步的描述。
实施例1：
当前芯片外观缺陷检测的人工方式效率低、易出错、可靠性差等致命缺陷，以及基于传统机器视觉的自动化方式步骤复杂、速度慢、鲁棒性差和泛化能力不高、误检率较高等诸多弱点，本项目研究如何使用深度神经网络等深度学习新手段来实现高效、快速、准确的自动化芯片外观缺陷检测技术。具体内容包括：设计针对原始芯片图像的预处理算法，如光照均衡化处理、图像降噪处理等；设计神经网络实现芯片区域的检测与定位；设计神经网络实现引脚检测操作，并判断是否存在引脚异常情况，如引脚破损、弯曲、上翘等；设计神经网络实现芯片体表缺陷检测，如刮痕、污迹和破损等。
本发明实施例提供了一种芯片外观缺陷检测方法，图2是本发明实施例提供的芯片外观缺陷检测方法的总体架构图。该方法包括以下5个步骤：
步骤一，构建图像采集与预处理模块，利用光学相机采集含有芯片的图像，使用Retinex光照均衡和中值滤波降噪对图像进行预处理，得到预处理增强后图像；
具体而言，采用单尺度Retinex算法(Single Scale Retinex,SSR)来实现光照均衡化。如图3所示，Retinex模型可用公式表示为S(x,y)＝R(x,y)*L(x,y)，其中原始图像为S(x,y)，反射分量为R(x,y)，光线入射分量为L(x,y)。施加log运算将乘法转换为加法，得到SSR算法公式如下：
r(x,y)＝log R(x,y)
＝log S(x,y)-log L(x,y)
＝log S(x,y)-log S(x,y)*G(x,y)
其中，G(x,y)为尺度参数为σ的高斯函数，即r(x,y)为反射分量R(x,y)的对数。得到r(x,y)之后将r(x,y)由对数域转换到实数域R(x,y)。
然后使用中值滤波对光照均衡化后的图像进行噪声去除操作，由于中值滤波不会产生边缘模糊现象，且运算较为简单，因此中值滤波相对于均值滤波、高斯滤波效果更好。图4和图5分别展示了Retinex光照均衡算法和中值滤波算法的实际操作效果。
步骤二，基于单阶段、免锚框深度神经网络结构的芯片检测模块YOLO-Chip，以预处理增强后图像为输入，使用YOLO-Chip模型对图像中的芯片区域进行精确定位和提取，以得到感兴趣的芯片区域所对应图像；
具体而言，本发明实施例基于单阶段目标检测模型YOLOX-S构建芯片检测模型YOLO-Chip，如图6所示，该模块包含特征提取主干网络CSPDarkNet、多尺度特征融合网络PAFPN、基于免锚框范式的IoU感知检测头、后处理部分。
在特征提取主干网络中，DarkNet是一种兼顾速度与精度的目标检测backbone，而引入CSPN(Cross Stage Partial Network)结构后模型优化了重复的梯度信息，极大减少了参数量和计算量，同时不降低模型的精度。以640×640大小的RGB图像作为输入，不断经过CSPN块进行卷积和下采样操作，降低特征图尺寸，抽取更高层次的抽象特征。经过8、16以及32倍的下采样后生成C1:80×80、C2:40×40以及C3:20×20尺度的特征图。
在多尺度特征融合网络PAFPN(Path Aggregation Feature Pyramid Network)中，以C1、C2、C3作为输入，通过自上而下的路径聚合来增强细节特征与高层次语义特征的融合，生成三个特征图F1、F2以及F3。
在基于免锚框范式的IoU感知检测头的结构中，将前背景分类与边界框回归任务设计为并行的卷积分支，降低两个任务对网络学习能力的竞争，同时大幅增强了不同任务训练时优化的独立性，提升了训练时的收敛速度。具体设计时，在每个PAFPN输出的特征图上均引出两个卷积分支，若当前特征图的大小为H×W，则前背景分类分支的输出维度为H×W×1，边界框回归分支的输出维度为H×W×4，代表芯片边界框的四周到该特征点的距离。
此外，构建VariFocalLoss(VFL)以训练分类分支，增强两个分支预测的对齐性。IoU感知分类损失函数的每个样本采用VFL，VFL定义如下：
其中p是分类分支具有IoU感知能力的分类分数(IoU-Aware ClassificationScore,IACS)，q是IACS的真实值。对于分配到前景目标的锚点，q被设置为回归分支该锚点的预测框与其真实框之间的IoU，未分配到前景目标的锚点其q设为0。pγ为VFL的缩放因子。使用q对正样本的损失进行加权，从而使得训练的重点放在具有高质量预测框的正样本锚点上，避免引入过多离群值的梯度。α为正样本损失与负样本损失之间的平衡系数，起着平衡正样本损失与负样本损失的作用。最终所有样本的分类损失Lcls可写为：
其中，pk,i和qk,i分别表示第i处锚点的第k类IACS和IACS真实值；Npos代表总的正样本数量，由simOTA正负样本分配算法得到。
边界框回归分支使用CIoU损失进行训练，CIoU全面考虑两个边界框的中心距离、最小闭包区域的对角线距离和长宽比，提供了更好的梯度方向。将预测框和真实框分别记为B和Bgt，那么两者的IoU计算公式如下：
设v为长宽比相似性的度量，可写为：
其中，w、h、wgt、hgt分别代表预测框与真实框的宽与高。
设α为v的权衡系数，其定义为：
设ρ代表求取两个边界框的中心距离，λ为最小闭包框的对角线距离。则最终的CIoU损失为：
与分类损失类似，最终的边界框回归损失可写为：
其中qk,i代表该锚点处的IACS真实值，以对正样本的损失值进行加权。
最终的总损失定义如下：
Lsum＝Lcls+βregLreg
其中Lcls、Lreg分别代表分类损失和边界框回归损失，βreg代表边界框回归损失的平衡参数。
训练时的其他技巧还包括余弦退火学习率衰减，多尺度输入数据，Mosaic和MixUp强数据增强，使用指数移动平均(EMA)法则更新可学习参数等。该芯片检测网络的详细参数设计如表1所示：
表1芯片检测模型(YOLO-Chip)的训练设置
在后处理部分，需要对基于免锚框的预测结果进行解码，并进行非极大值抑制，以在推理时得到最终的预测结果。图7是本发明实施例提供的YOLO-Chip芯片检测结果展示图。
步骤三，构建基于多尺度单阶段深度神经网络结构的引脚检测模块SSD-Pin，使用SSD-Pin模型对若干个芯片图像检测其中的引脚，使得每个芯片图像得到一个引脚图像构成的集合；
具体而言，该SSD-Pin模型采用基于锚框的单阶段目标检测结构，结合来自多个不同分辨率的特征图的预测信息，以处理不同大小目标的检测需求。该SSD-Pin模型相对于RPN等方法更简单直接，该模型无需进行区域提取或随后的像素或特征重采样，并将所有计算封装在一个网络中。这使得SSD易于训练且可以直接集成到需要检测组件的系统中。
SSD-Pin模型以VGG16为模型主干，并在VGG16的基础上新增了卷积层来获得更多的特征图。具体来说，VGG16的全连接层FC6和FC7转换成3×3卷积层conv6和1×1卷积层conv7，然后移除dropout层和fc8层，并新增一系列卷积层。图8是本发明实施例提供的SSD-Pin引脚检测网络结构图。
SSD-Pin的损失函数包括前背景分类损失以及边界框回归损失。其总的损失函数定义为：
其中，Lconf代表前背景分类损失，Lloc代表边界框回归损失，α为平衡系数；l表示预测框，g表示真实框；N代表被分配为正样本的锚框的个数，若N为0，则总损失设置为0。
分类损失Lconf使用softmax二分类损失：
其中， 代表第i个预测框判断为第k类的概率值；Ind为指示函数，/>表示第i个预测框是否与第j个真实框相匹配为第k类，/>则代表第i个预测框为正样本，否则为负样本。
SSD作为基于锚框的算法，其训练目标为回归到真实框相对锚框中心及其宽高的偏移量。SSD-Pin的边界框回归损失Lloc定义为：
所构建的基于SIoU(SCYLLA-IoU)的边界框回归损失，其特征在于SIoU损失全面考虑了真实框和预测框之间的交并比、中心点位置、宽高比(形状)以及角度的几何差异，约束了最优梯度方向的自由度。设分别代表真实框和预测框的中心点坐标，则SIoU损失对真实框和预测框之间角度差异惩罚项Λ定义为：
其中，当两个边界框的对角线与x轴或y轴对齐时，Λ＝0。当对角线与x轴夹45°时，Λ＝1。
SIoU损失对距离差异惩罚项Δ定义为：
其中，γ＝2-Λ，Rh,Rw分别代表预测框和真实框形成的最小闭包框的高和宽。该惩罚项描述了中心点之间的距离，其惩罚代价与角度代价呈正相关，当α→0时，距离差异惩罚大大降低。相反，α越接近/>距离差异惩罚贡献越大。
SIoU损失对长宽比差异惩罚项Ω定义为：
其中，θ是该项的权重调节参数，w,h代表边界框的宽与高。
最终，总的边界框回归损失LSIoU定义为：
其中，B、BGT分别代表预测框和真实框。
步骤四，构建基于深度神经网络结构的引脚异常分类模块CNN-Pin，使用一个20层的卷积神经网络(CNN-Pin)对每个芯片图像的引脚图像集合内图像进行异常分类，以完成引脚异常情形检测；
其中的CNN-Pin由卷积块+池化层+全连接层构成，卷积块使用多个较小卷积核(3x3)的卷积层代替一个卷积核较大的卷积层，一方面可以减少参数，另一方面相当于进行了更多的非线性映射，可以增加网络的拟合/表达能力。
卷积层全部都是3×3的卷积核，其步长为1，用保证输入输出大小不变的尺寸进行填充。池化层的核大小为2×2。CNN-Pin模型的详细结构设计如表2所示。最后为4分类输出，代表正常、弯曲，残缺、以及上翘4类引脚的分类概率。同时构建softmax多分类损失函数。CNN-Pin检测结果如图9所示。
表2引脚异常分类模型(CNN-Pin)详细参数设计
步骤五，构建基于多尺度单阶段深度神经网络结构的封装表面异常检测模块SSD-Surface，以若干个芯片图像为输入，使用SSD-Surface模型检测出封装表面异常部位；
具体而言，所述特征提取主干层基于VGG16构建，用于提取6层不同尺度的特征图；所述多尺度特征预测头，分别以6层特征图为输入，基于锚框进行编码预测；所述后处理模块，用以解码基于锚框的预测结果，进行非极大值抑制，丢弃低质量预测值，生成最终的芯片封装表面异常结果。图10是本发明实施例提供的封装表面异常检测结果展示图。
步骤六，构建模型训练模块，基于预处理增强后图像构建各个模型训练所需的芯片检测数据集、引脚检测数据集、引脚分类数据集以及封装表面异常检测数据集。其中YOLO-Chip芯片检测模型所需的检测数据集对芯片用水平矩形框作为单类目标标注，并转换为COCO2017数据集的格式进行存储。SSD-Pin引脚检测模型所需的检测数据集将引脚用水平矩形框作为单类目标标注，并转换为COCO2017数据集的格式进行存储。CNN-Pin引脚异常分类模型所需的分类数据集通过对引脚图像进行简单的4分类存储以进行标注。SSD-Surface封装表面异常检测模型所需的检测数据集将异常区域用水平矩形框作为单类目标标注，并转换为COCO2017数据集的格式进行存储。
所述迁移学习微调，其中YOLO-Chip芯片检测模型、SSD-Pin引脚检测模型以及SSD-Surface封装表面异常检测模型以基于COCO2017目标检测数据集训练得到的预训练模型进行微调。CNN-Pin引脚异常分类模型以基于ImageNet的大规模图像分类数据集训练得到的预训练模型进行微调。训练时不对迁移得到的参数进行冻结，使模型获得更高的建模自由度。
实施例2：
在上述实施例1的基础上，请参见图11，图11是本发明实施例提供的一种芯片外观缺陷检测电子设备示意图。本发明实施例提供的一种芯片外观缺陷检测设备，该电子设备包括待缺陷检测芯片1、光学图像采集设备2、显示器3、主机(内含处理器CPU及GPU)4、只读存储器(ROM)5、路由器6、电源7和外部硬盘8。
其中，主机4和光学图像采集设备2、显示器3、只读存储器5、路由器6、外部硬盘8等通过通信接口完成相互间的通信；光学图像采集设备2用于采集芯片图像数据；显示器3用于显示芯片图像数据及其外观缺陷检测结果；只读存储器5用于存放计算机程序代码；路由器6用于该电子设备和外界设备的联网功能；外部硬盘8用于储存配准结果；电源7用于该电子设备的供电；主机4，用于执行存储器上所存放的计算机程序时，该计算机程序被处理器执行时实现以下步骤：
步骤一，打开光学图像采集设备进行芯片图像数据的采集并利用电子设备进行图像的预处理。
具体而言，本发明实施例的步骤一采用光学图像采集设备进行芯片图像数据的采集；并将采集到的图像数据使用Retinex光照均衡和中值滤波降噪对图像进行预处理；
步骤二，构建基于单阶段、免锚框深度神经网络结构的芯片检测模块YOLO-Chip模型，对预处理后的图像中的芯片进行精确定位和提取；
具体而言，本发明实施例的步骤二采用CSPDarkNet对预处理后的图像中的芯片进行初步的特征提取，采用PAFPN进行多尺度特融合，采用IoU感知检测头生成免锚框范式的输出结果，并在后处理模块中完成输出值解码和非极大值抑制，生成最终的预测结果以完成芯片图像的定位和提取；
步骤三，构建基于多尺度单阶段深度神经网络结构的引脚检测模块SSD-Pin，使用SSD-Pin模型检测芯片图像中的引脚，得到芯片的引脚图像所构成的集合；
具体而言，本发明实施例的步骤三芯片引脚检测模块对芯片图像使用SSD-Pin模型的主干网络进行初步的特征提取，得到6种尺度的特征，并对这些特征进行进一步的卷积操作，得到基于锚框芯片引脚检测结果集合。
步骤四，构建基于深度神经网络结构的引脚异常分类模块CNN-Pin，使用CNN-Pin模型对引脚图像进行异常分类，完成引脚异常情形检测；
具体而言，本发明实施例的步骤四对芯片引脚图像使用卷积层和下采样层进行特征提取，利用全连接层完成特征的整合，最后使用softmax分类层完成多分类的概率输出，得到分类结果。
步骤五，构建基于多尺度单阶段深度神经网络结构的封装表面异常检测模块SSD-Surface，使用SSD-Surface模型检测出封装表面异常的芯片；
具体而言，本发明实施例的步骤五对芯片图像使用SSD-Surface模型的主干网络进行初步的特征提取，得到6种尺度的特征，并对这些特征进行进一步的卷积操作，得到基于锚框的芯片封装表面异常部位的检测结果。
步骤六，基于预处理后的数据构建数据集，以完成对各个模型的微调训练。并进行测试。
具体而言，本发明实施例的步骤六利用图像标注软件和预处理后的图像，构建各个检测和分类模型训练所需的数据集。并利用COCO2017目标检测数据集训练得到的预训练模型和基于ImageNet图像分类数据集训练得到的预训练模型进行微调训练。
步骤七，通过路由器响应外围应用系统的请求，将步骤四和五的芯片外观缺陷检测结果发送至外围系统，实现其他基于芯片外观缺陷检测结果的外围应用目的。该外围应用系统在实际实现时并不做限定，下面仅做举例：(1)基于芯片外观缺陷检测的芯片质量评估系统，如可用于对制作好的芯片进行质量评定，保证生产质量；(2)基于芯片外观缺陷检测的芯片回收分拣系统，用于对作废的或回收的芯片按缺陷类别进行分拣。
本发明实施例提供的一种芯片外观缺陷检测电子设备，可以执行前述芯片外观缺陷检测方法对应的实施例。本发明实施例提供的电子设备采用前述芯片外观缺陷检测方法，解决了现有芯片外观缺陷检测手段自动化程度低的缺点，同时解决现有芯片外观缺陷检测方法鲁棒性低、对实际情况适应较差的缺点，可广泛应用于各种芯片外观缺陷检测场景和需求中。
实施例3：
在上述实施例3的基础上，请参见图12，图12是本发明实施例提供的一种芯片外观缺陷检测计算机可读存储介质示意图。本发明实施例提供的一种芯片外观缺陷检测计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现以下步骤：
步骤一，程序开始，进行必要的初始化。
步骤二，打开光学图像采集设备开始芯片图像的采集。
具体而言，本发明实施例的步骤二采用模光学图像采集设备进行芯片图像数据数据采集，并对采集到的图像利用单尺度Retinex光照均衡和中值滤波进行预处理。
步骤三，基于单阶段、免锚框深度神经网络结构的芯片检测模块YOLO-Chip，对预处理后的图像中的芯片利用YOLO-Chip进行精确定位和提取；
具体而言，本发明实施例的步骤三采用CSPDarkNet对预处理后的图像中的芯片进行初步的特征提取，采用PAFPN进行多尺度特融合，采用IoU感知检测头生成免锚框范式的输出结果，并在后处理模块中完成输出值解码和非极大值抑制，生成最终的预测结果以完成芯片图像的定位和提取；
步骤四，基于多尺度单阶段深度神经网络结构的引脚检测模块SSD-Pin，使用SSD-Pin模型检测芯片图像中的引脚，得到芯片的引脚图像所构成的集合；
具体而言，本发明实施例的步骤四芯片引脚检测模块对芯片图像使用SSD-Pin模型的主干网络进行初步的特征提取，得到6种尺度的特征，并对这些特征进行进一步的卷积操作，得到基于锚框芯片引脚检测结果集合。
步骤五，基于深度神经网络结构的引脚异常分类模块CNN-Pin，使用CNN-Pin模型对引脚图像进行异常分类，完成引脚异常情形检测；
具体而言，本发明实施例的步骤五对芯片引脚图像使用卷积层和下采样层进行特征提取，利用全连接层完成特征的整合，最后使用softmax分类层完成多分类的概率输出，得到分类结果。
步骤六，基于多尺度单阶段深度神经网络结构的封装表面异常检测模块SSD-Surface，使用SSD-Surface模型检测出封装表面异常的芯片；
具体而言，本发明实施例的步骤六对芯片图像使用SSD-Surface模型的主干网络进行初步的特征提取，得到6种尺度的特征，并对这些特征进行进一步的卷积操作，得到基于锚框的芯片封装表面异常部位的检测结果。
步骤七，基于预处理后的数据构建数据集，以完成对各个模型的微调训练。并进行测试。
具体而言，本发明实施例的步骤七利用图像标注软件和预处理后的图像，构建各个检测和分类模型训练所需的数据集。并利用COCO2017目标检测数据集训练得到的预训练模型和基于ImageNet图像分类数据集训练得到的预训练模型进行微调训练。
步骤八，程序需要结束时退出程序。
本发明实施例提供的一种计算机可读存储介质，可以执行上述芯片外观缺陷检测方法实施例，其上存储有上述芯片外观缺陷检测的计算机程序，可供各种芯片外观缺陷检测电子设备进行使用，从而提高芯片外观缺陷检测设备的安全性、准确性，给用户带来良好体验。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种芯片外观缺陷自动检测方法，其特征在于，包括：
构建图像采集与预处理模块，利用光学相机采集含有芯片的图像，并对芯片图像进行对比度增强和降噪预处理；
构建基于单阶段、免锚框深度神经网络结构的芯片检测模块(YOLO-Chip)，并相应构建IoU感知分类损失函数，使用该芯片检测模块对预处理后图像中的芯片区域进行定位和提取；
构建基于多尺度、单阶段深度神经网络结构的引脚检测模块(SSD-Pin)，并相应构建边界框回归损失函数(SIoU)，使用该引脚检测模块检测和提取芯片区域中的各个引脚；
构建基于深度神经网络结构的引脚异常分类模块(CNN-Pin)，使用该引脚异常分类模块对各引脚进行异常情形的分类；
构建基于多尺度、单阶段深度神经网络结构的封装表面异常检测模块(SSD-Surface)，使用该封装表面异常模块对芯片表面异常部位进行定位与分类；
构建数据集制作和模型训练模块，基于预处理后的图像构建数据集，对芯片检测模块进行微调训练；基于提取到的芯片图像构建数据集，对引脚检测模块进行微调训练；基于引脚图像构建数据集，对引脚异常分类模块进行微调训练；基于提取到的芯片图像构建数据集，对封装表面异常检测模块进行微调训练；
以训练后的芯片检测模型、引脚检测模型、引脚异常分类模型和封装表面异常检测模型组成完整的芯片外观缺陷检测系统，利用该芯片外观缺陷检测系统对输入的新芯片图像进行测试，以实现芯片外观缺陷检测功能。
2.根据权利要求1所述的芯片外观缺陷自动检测方法，其特征在于，利用光学相机采集含有芯片的图像，并使用Retinex光照均衡和中值滤波对图像进行预处理的步骤，包括：
通过光学相机采集含有芯片的RGB颜色空间图像，使用单尺度Retinex算法估计图像的反射分量，进行光照均衡化操作，得到对比度增强的芯片图像；
在对比度增强芯片图像基础上，再通过中值滤波算法，完成图像的细节保护和去噪，得到预处理后的对比度更好且噪声更低的高质量芯片图像。
3.根据权利要求1所述的芯片外观缺陷自动检测方法，其特征在于，所述芯片检测模块对应的神经网络模型包括：特征提取主干层、多尺度特征融合层、IoU感知检测头和后处理模块；
所述特征提取主干层，基于CSPDarkNet，用于对输入图像进行初步特征提取，并生成待融合的三级多尺度特征图；
所述多尺度特征融合层，基于PAFPN，以三级多尺度特征图作为输入进行路径聚合的特征融合，得到具有对尺度鲁棒的特征图；
所述IoU感知检测头，以三级特征融合结果为输入，解耦前背景分类和边界框回归任务，利用IoU感知分类损失函数完成任务对齐的分类与回归分支的学习，测试时基于锚点进行分类与回归预测；
所述后处理模块，用以解码无锚框的预测结果，进行非极大值抑制，丢弃低质量预测值，生成最终的芯片区域检测结果。
4.根据权利要求3所述的芯片外观缺陷自动检测方法，其特征在于，所述IoU感知分类损失函数的每个样本采用VariFocalLoss(VFL)，其公式为：
其中p是分类分支具有IoU感知能力的分类分数(IoU-Aware Classification Score,IACS)，q是IACS的真实值；对于前景目标锚点，q被设置为回归分支该锚点的预测框与其真实框之间的IoU，未分配到前景目标的锚点其q为0，pγ为VFL的缩放因子，最终所有样本的分类损失Lcls为：
其中pk,i和qk,i分别第i处锚点的第k类预测IACS和IACS真实值；Npos代表总的正样本数量，由simOTA正负样本分配算法得到；α为正样本损失与负样本损失之间的平衡系数。
5.根据权利要求1所述的芯片外观缺陷自动检测方法，其特征在于，所述芯片引脚检测模块对应的神经网络模型包括：特征提取主干层、多尺度特征预测头和后处理模块；
所述特征提取主干层基于VGG16构建，用于提取6层不同尺度的特征图；
所述多尺度特征预测头，分别以6层不同尺度的特征图为输入，基于SIoU损失(SCYLLA-IoU)完成高精度边界框回归任务的学习，测试时基于锚框进行分类和回归的编码预测；
所述后处理模块，用以解码基于锚框的预测结果，进行非极大值抑制，丢弃低质量预测值，生成最终的芯片引脚检测结果。
6.根据权利要求5所述的芯片外观缺陷自动检测方法，其特征在于，所述SIoU损失全面考虑真实框和预测框之间的交并比、中心点位置、宽高比以及角度的几何差异；设分别代表真实框bgt和预测框b的中心点坐标，该SIoU损失对真实框和预测框之间角度差异惩罚项Λ定义为：
其中，
该SIoU损失对距离差异惩罚项Δ定义为：
其中，γ＝2-Λ，Rh,Rw分别代表预测框和真实框形成的最小闭包框的高和宽；
该SIoU损失对长宽比差异惩罚项Ω定义为：
其中，θ是该项的权重调节参数，w,h代表边界框的宽与高；
最终，总的边界框回归损失LSIoU定义为：
其中，B、BGT分别代表预测框和真实框。
7.根据权利要求1所述的芯片外观缺陷自动检测方法，其特征在于，所述引脚异常分类模块对应的神经网络模型包括：卷积层、下采样层、全连接层和分类层；
所述卷积层，基于3×3和1×1卷积提取芯片引脚图像中与引脚异常有关的特征；
所述下采样层，基于最大池化操作以降低特征图大小，减少后续计算量，防止信息冗余导致的过拟合；
所述全连接层，将最终的二维特征图展开为一维，并进行3次全连接操作，用以对芯片引脚图像的全局特征进行整合；
所述分类层，对全连接层输出的一维特征向量使用softmax激活，生成最终的引脚异常多分类概率。
8.根据权利要求1所述的芯片外观缺陷自动检测方法，其特征在于，所述封装表面异常检测模块对应的神经网络模型包括：特征提取主干层、多尺度特征预测头和后处理模块；
所述特征提取主干层基于VGG16构建，用于提取6层不同尺度的特征图；
所述多尺度特征预测头，分别以6层不同尺度的特征图为输入，基于锚框进行编码预测；
所述后处理模块，用以解码基于锚框的预测结果，进行非极大值抑制，丢弃低质量预测值，生成最终的芯片封装表面异常结果。
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器；所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1-8任一项所述的芯片外观缺陷自动检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理执行时，使得所述处理器执行权利要求1-8任一项所述的芯片外观缺陷自动检测方法。
CN202310960861.3A 2023-07-28 2023-07-28 一种芯片外观缺陷自动检测方法、电子设备及存储介质 Pending CN117011260A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310960861.3A CN117011260A (zh) 2023-07-28 2023-07-28 一种芯片外观缺陷自动检测方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310960861.3A CN117011260A (zh) 2023-07-28 2023-07-28 一种芯片外观缺陷自动检测方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117011260A true CN117011260A (zh) 2023-11-07

Family

ID=88566765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310960861.3A Pending CN117011260A (zh) 2023-07-28 2023-07-28 一种芯片外观缺陷自动检测方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117011260A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117686516A (zh) * 2024-01-29 2024-03-12 江苏优众微纳半导体科技有限公司 基于机器视觉的芯片外观缺陷自动检测系统
CN117935099A (zh) * 2024-03-21 2024-04-26 国网山东省电力公司曲阜市供电公司 基于增强现实的gis设备无损检测方法及系统
CN118068166A (zh) * 2024-04-22 2024-05-24 江苏云途半导体有限公司 一种芯片引脚运行状态异常检测方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117686516A (zh) * 2024-01-29 2024-03-12 江苏优众微纳半导体科技有限公司 基于机器视觉的芯片外观缺陷自动检测系统
CN117686516B (zh) * 2024-01-29 2024-05-10 江苏优众微纳半导体科技有限公司 基于机器视觉的芯片外观缺陷自动检测系统
CN117935099A (zh) * 2024-03-21 2024-04-26 国网山东省电力公司曲阜市供电公司 基于增强现实的gis设备无损检测方法及系统
CN117935099B (zh) * 2024-03-21 2024-06-21 国网山东省电力公司曲阜市供电公司 基于增强现实的gis设备无损检测方法及系统
CN118068166A (zh) * 2024-04-22 2024-05-24 江苏云途半导体有限公司 一种芯片引脚运行状态异常检测方法及装置

Similar Documents

Publication Publication Date Title
CN111723748B (zh) 一种红外遥感图像舰船检测方法
Zhao et al. Cloud shape classification system based on multi-channel cnn and improved fdm
CN108765412B (zh) 一种带钢表面缺陷分类方法
CN109509187B (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN111257341B (zh) 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法
CN117011260A (zh) 一种芯片外观缺陷自动检测方法、电子设备及存储介质
CN110619369A (zh) 基于特征金字塔与全局平均池化的细粒度图像分类方法
CN110929795B (zh) 高速焊线机焊点快速识别与定位方法
Yang et al. Instance segmentation and classification method for plant leaf images based on ISC-MRCNN and APS-DCCNN
Hu et al. LE–MSFE–DDNet: a defect detection network based on low-light enhancement and multi-scale feature extraction
CN112749673A (zh) 一种基于遥感影像智能提取储油罐库存的方法及装置
Zhao et al. Research on detection method for the leakage of underwater pipeline by YOLOv3
CN116385430A (zh) 一种机器视觉瑕疵检测方法、装置、介质及设备
CN114897802A (zh) 一种基于改进Faster RCNN算法的金属表面缺陷检测方法
CN115294033A (zh) 一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法
CN116109637A (zh) 基于视觉的涡轮增压器叶轮外观缺陷检测的系统及其方法
CN114972316A (zh) 基于改进YOLOv5的电池壳端面缺陷实时检测方法
CN115829942A (zh) 基于非负性约束稀疏自编码器的电子电路缺陷检测方法
CN118096672A (zh) 一种基于边缘重建网络的道路表面裂缝检测方法
CN118053027A (zh) 一种缺陷识别方法、装置、电子设备及存储介质
CN112561885B (zh) 基于YOLOv4-tiny的插板阀开度检测方法
CN109598712A (zh) 塑料泡沫餐盒的质量检测方法、装置、服务器及存储介质
Hu et al. Printed Circuit Board (PCB) Surface Micro Defect Detection Model Based on Residual Network with Novel Attention Mechanism.
CN117423040A (zh) 一种基于改进YOLOv8的无人垃圾清扫车视觉垃圾识别方法
CN114821194B (zh) 一种设备运行状态识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination