CN111553917A - 一种基于芯片缺陷检测的检测方法和系统 - Google Patents

一种基于芯片缺陷检测的检测方法和系统 Download PDF

Info

Publication number
CN111553917A
CN111553917A CN202010391806.3A CN202010391806A CN111553917A CN 111553917 A CN111553917 A CN 111553917A CN 202010391806 A CN202010391806 A CN 202010391806A CN 111553917 A CN111553917 A CN 111553917A
Authority
CN
China
Prior art keywords
rectangular frame
chip surface
surface image
chip
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010391806.3A
Other languages
English (en)
Inventor
袁敬华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huzhi Information Consulting Co ltd
Original Assignee
Guangzhou Huzhi Information Consulting Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huzhi Information Consulting Co ltd filed Critical Guangzhou Huzhi Information Consulting Co ltd
Priority to CN202010391806.3A priority Critical patent/CN111553917A/zh
Publication of CN111553917A publication Critical patent/CN111553917A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Abstract

本申请公开了一种基于芯片缺陷检测的检测方法和系统，所述方法包括采集用于训练YOLO检测网络的芯片表面图像；对采集到的所述芯片表面图像进行数据增强；将采集到的所述芯片表面图像及数据增强后得到的图像以及获取的所述矩形框的坐标，获取所述矩形框的坐标与所述矩形框所包含缺陷的种类；将采集到的所述芯片表面的图像及数据增强后得到的图像以及获取的所述矩形框的坐标与所述矩形框所包含缺陷的种类对YOLO检测网络进行训练；实时采集待检测的芯片表面图像，根据训练好的YOLO检测网络对实时采集待检测的芯片表面图像进行检测，并对检测到的缺陷进行分类和定位，能够高效的提取图像的特征，达到图像更精准的检测出缺陷。

Description

一种基于芯片缺陷检测的检测方法和系统
技术领域
本发明涉及一种基于芯片缺陷检测的检测方法和系统，属于计算机视觉和深度学习技术领域。
背景技术
随着科学技术的发展,目标检测技术已经逐渐应用于越来越多的领域，与此同时，目标检测的准确性、可靠性和实时要求也越来越严格。原始的RCNN目标检测网络可以很好地用于处理图像检测和理解任务，但是R-CNN也有很多弊端，比如整个网络做不到端到端，中间训练过程需要大量的内存来存储一些特征，计算速度不够理想，使模型收敛缓慢，容易达到局部优化，影响最终检测物体精度，You Only Look Once的提出，简称YOLO，可以一次性预测多个Box位置和类别的卷积神经网络，能够实现端到端的目标检测和识别，其最大的优势就是速度快。事实上，目标检测的本质就是回归，因此一个实现回归功能的CNN并不需要复杂的设计过程。YOLO没有选择滑动窗口(silding window)或提取proposal的方式训练网络，而是直接选用整图训练模型。这样做的好处在于可以更好的区分目标和背景区域，相比之下，采用proposal训练方式的Fast-R-CNN常常把背景区域误检为特定目标。
发明内容
为了解决现有技术中存在的缺点和不足，本发明提供了用于提高检测精度的目标检测网络，能够实现端到端的操作。
为了实现上述目的，本发明是通过如下的技术方案来实现：
本发明的一种基于芯片缺陷检测的检测方法，其特征在于，所述方法包括：
采集用于训练YOLO检测网络的芯片表面图像；
对采集到的所述芯片表面图像进行数据增强；
将采集到的所述芯片表面图像及数据增强后得到的图像以及获取的所述矩形框的坐标，获取所述矩形框的坐标与所述矩形框所包含缺陷的种类；
将采集到的所述芯片表面的图像及数据增强后得到的图像以及获取的所述矩形框的坐标与所述矩形框所包含缺陷的种类对YOLO检测网络进行训练；
实时采集待检测的芯片表面图像，根据训练好的YOLO检测网络对实时采集待检测的芯片表面图像进行检测，并对检测到的缺陷进行分类和定位。
优选的，所述获取所述矩形框的坐标与所述矩形框所包含缺陷的种类之后，还包括：
将采集到的所述芯片表面图像及及数据增强后得到的图像以及获取的所述矩形框的坐标，获取所述矩形框的中心坐标，所述矩形框的宽度、高度、及所述矩形框包含缺陷的种类；
将采集到的所述芯片表面图像、数据增强后得到的图像获取所述矩形框的中心坐标，所述矩形框的宽度、高度、及所述矩形框包含缺陷的种类生成训练集。
优选的，所述YOLO检测网络将每张芯片表面图像分成s*s个网格，每个网格要预测B个可能包含缺陷的矩形框，每一个预测的矩形框包含5个参数，x,y,w,h和p，x,y是矩形框的中心相对于负责该缺陷的网格左上角的位置偏移量，w，h是矩形框的长和宽，p是只矩形框中含有缺陷的置信度。
优选的，所述YOLO检测网络中包括了24个卷积层和2个全连接层，同时采用了如下公式训练模型：
Figure BDA0002485906110000031
其中，s2代表每张芯片表面图像被分成s*s个网格；B表示每个网格预测的可能包含缺陷的矩形框个数；
Figure BDA0002485906110000032
表示第i个网格中第j个矩形框是否负责本网格中的缺陷检测；
Figure BDA0002485906110000033
表示缺陷是否存在于第i个网格中；λcoord代表矩形框中的w，h，x，y四个参数的损失权重；λnoobj代表不负责的矩形框所预测缺陷类别损失权重；xi,yi,
Figure BDA0002485906110000034
分别代表人工标注的缺陷矩形框和模型预测的矩形框的左上角对应第i个网格中心在两个方向上的偏移量；wi,hi,
Figure BDA0002485906110000035
分别代表第i个网格中人工标注的缺陷矩形框和模型预测的矩形框的宽与高，ci,
Figure BDA0002485906110000036
分别代表第i个网格中人工标注的缺陷类别和模型预测的类别；pi(c),
Figure BDA0002485906110000037
分别代表第i个网格中人工标注和模型预测的缺陷类别为c的概率。
优选的，所述实时采集待检测的芯片表面图像，根据训练好的YOLO检测网络对实时采集待检测的芯片表面图像进行检测，并对检测到的缺陷进行分类和定位包括以下步骤：
步骤A1，将待检测的芯片表面图像统一为标准尺寸448*448；
步骤A2，将待检测的芯片表面图像输入已经训练好的YOLO检测网络，检测出是否有缺陷，输出缺陷的位置与类型信息，并将信息保存在数据库中；
步骤A3，根据以下公式确定更精确的缺陷位置：
Figure BDA0002485906110000041
其中，a代表标注的芯片表面图像缺陷位置矩形框，bk代表模型预测的芯片表面图像的缺陷位置第k个矩形框，k＝1,2,3，...，98，q为iou预设阈值，L代表通过筛选后得到的芯片表面图像精确的缺陷位置；
步骤A4，根据以下公式确定预测芯片图像缺陷位置矩形框与标准的芯片表面图像缺陷位置矩形框的阈值：
Figure BDA0002485906110000042
其中，m(f,g)代表邻域内每一张芯片表面图像像素值的均值，z(f,g)代表每一张芯片表面图像像素值的标准方差，R是代表每一张芯片表面图像像素值标准方差的动态范围，t代表定义的一个修正参数，t的取值为0<t<1，(f,g)是其对应的坐标点，q代表每一张预测的芯片表面图像缺陷位置矩形框与标准的芯片表面图像缺陷位置矩形框的阈值；
步骤A5，回到步骤A2，重复执行步骤A2到步骤A4，对每一张待检测的芯片表面图像进行检测，直到检测结束。
一种基于芯片缺陷检测的检测系统，其特征在于，所述系统包括：
采集模块，用于采集用于训练YOLO检测网络的芯片表面图像；
增强模块，用于对采集到的所述芯片表面图像进行数据增强；
获取模块，用于将采集到的所述芯片表面图像及数据增强后得到的图像以及获取的所述矩形框的坐标，获取所述矩形框的坐标与所述矩形框所包含缺陷的种类；
训练模块，用于将采集到的所述芯片表面图像及数据增强后得到的图像以及获取的所述矩形框的坐标与所述矩形框所包含缺陷的种类对YOLO检测网络进行训练；
检测模块，实时采集待检测的芯片表面图像，根据训练好的YOLO检测网络对实时采集待检测的芯片表面图像进行检测，并对检测到的缺陷进行分类和定位。
优选的，所述系统还包括：生成模块，用于将采集到的所述芯片表面图像及及数据增强后得到的图像以及获取的所述矩形框的坐标，获取所述矩形框的中心坐标，所述矩形框的宽度、高度、及所述矩形框包含缺陷的种类；将采集到的所述芯片表面图像、数据增强后得到的图像获取所述矩形框的中心坐标，所述矩形框的宽度、高度、及所述矩形框包含缺陷的种类生成训练集。
优选的，所述训练模块中YOLO检测网络将每张芯片表面图像分成s*s个网格，每个网格要预测B个可能包含缺陷的矩形框，每一个预测的矩形框包含5个参数，x,y,w,h和p，x,y是矩形框的中心相对于负责该缺陷的网格左上角的位置偏移量，w，h是矩形框的长和宽，p是只矩形框中含有缺陷的置信度。
优选的，所述建立YOLO检测网络中包括了24个卷积层和2个全连接层，同时采用了如下公式训练模型：
Figure BDA0002485906110000051
其中，s2代表每张芯片表面图像被分成s*s个网格；B表示每个网格预测的可能包含缺陷的矩形框个数；
Figure BDA0002485906110000052
表示第i个网格中第j个矩形框是否负责本网格中的缺陷检测；
Figure BDA0002485906110000061
表示缺陷是否存在于第i个网格中；λcoord代表矩形框中的w，h，x，y四个参数的损失权重；λnoobj代表不负责的矩形框所预测缺陷类别损失权重；xi,yi,
Figure BDA0002485906110000062
分别代表人工标注的缺陷矩形框和模型预测的矩形框的左上角对应第i个网格中心在两个方向上的偏移量；wi,hi,
Figure BDA0002485906110000063
分别代表第i个网格中人工标注的缺陷矩形框和模型预测的矩形框的宽与高，ci,
Figure BDA0002485906110000064
分别代表第i个网格中人工标注的缺陷类别和模型预测的类别；pi(c),
Figure BDA0002485906110000065
分别代表第i个网格中人工标注和模型预测的缺陷类别为c的概率。
优选的，所述检测模块检测步骤如下：
步骤A1，将待检测的芯片表面图像统一为标准尺寸448*448；
步骤A2，将待检测的芯片表面图像输入已经训练好的YOLO检测网络，检测是否有缺陷，输出缺陷的位置与类型信息，并将信息保存在数据库中；
步骤A3，根据以下公式确定更精确的缺陷位置：
Figure BDA0002485906110000066
其中，a代表标注的芯片表面图像缺陷位置矩形框，bk代表模型预测的芯片表面图像的缺陷位置第k个矩形框，k＝1,2,3，...，98，q为iou预设阈值，L代表通过筛选后得到的芯片表面图像精确的缺陷位置；
步骤A4，根据以下公式确定预测芯片图像缺陷位置矩形框与标准的芯片表面图像缺陷位置矩形框的阈值：
Figure BDA0002485906110000067
其中，m(f,g)代表邻域内每一张芯片表面图像像素值的均值，z(f,g)代表每一张芯片表面图像像素值的标准方差，R是代表每一张芯片表面图像像素值标准方差的动态范围，t代表定义的一个修正参数，t的取值为0<t<1，(f,g)是其对应的坐标点，Q代表每一张预测的芯片表面图像缺陷位置矩形框与标准的芯片表面图像缺陷位置矩形框的阈值；
步骤A5，回到步骤A2，重复执行步骤A2到步骤A4，对,每一张待检测的芯片表面图像进行检测，直到检测结束。
本申请公开了一种基于芯片缺陷检测的检测方法和系统，所述方法包括采集用于训练YOLO检测网络的芯片表面图像；对采集到的所述芯片表面图像进行数据增强；将采集到的所述芯片表面图像及数据增强后得到的图像以及获取的所述矩形框的坐标，获取所述矩形框的坐标与所述矩形框所包含缺陷的种类；将采集到的所述芯片表面的图像及数据增强后得到的图像以及获取的所述矩形框的坐标与所述矩形框所包含缺陷的种类对YOLO检测网络进行训练；实时采集待检测的芯片表面图像，根据训练好的YOLO检测网络对实时采集待检测的芯片表面图像进行检测，并对检测到的缺陷进行分类和定位，能够高效的提取图像的特征，达到图像更精准的检测出缺陷。
附图说明
图1是本发明的基于芯片缺陷检测的检测方法工作流程图；
图2是本发明的基于芯片缺陷检测的检测系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，本发明的基于芯片缺陷检测的检测方法工作流程图，包括：
S101、采集用于训练YOLO检测网络的芯片表面图像；
获取芯片表面图像方法为手动方式采集，采用爬虫自动获取，可以采用手写爬虫或采用成熟的爬虫框架，如scrapy，及与芯片合作公司进行购买图像等。图像的来源包括：
百度，搜狗，搜狐及谷歌浏览器网站进行爬虫代码获取图像；
从GitHub、知乎及CSDN上进行开源数据集的下载获取图像等；
S102、对采集到的所述芯片表面图像进行数据增强；
所述对采集到的所述芯片表面图像进行数据增强包括旋转，平移，曝光，翻转及增加噪声一类或多类；可以通过python及c++编写代码进行实现增强操作，在GitHub上有开源的代码可以直接下载下来运用。
S103、将采集到的所述芯片表面图像及数据增强后得到的图像以及获取的所述矩形框的坐标，获取所述矩形框的坐标与所述矩形框所包含缺陷的种类。
在本实例中，采集到的所述芯片表面图像及数据增强后得到的图像，需要进行标注建立数据集也可称训练集，可以借助labelimg、labelme及rectlabel的标注工具，labelimg支持VOC2012格式与tfrecord自动生成，labelme支持对象检测、图像语义分割数据标注，实现语言为Python与QT，支持导出VOC与COCO格式数据实例分割，强烈推荐，实例分割都可以用它标注，rectlabel支持导出YOLO、KITTI、COCOJSON与CSV格式，读写Pascal VOC格式的XML文件，可以生成矩形框的坐标信息及矩形框所包含缺陷的种类。
S104、将采集到的所述芯片表面的图像及数据增强后得到的图像以及获取的所述矩形框的坐标与所述矩形框所包含缺陷的种类对YOLO检测网络进行训练；
在本实例中，所述YOLO检测网络将每张芯片表面图像分成s*s个网格，每个网格要预测B个可能包含缺陷的矩形框，每一个预测的矩形框包含5个参数，x,y,w,h和p，x,y是矩形框的中心相对于负责该缺陷的网格左上角的位置偏移量，w，h是矩形框的长和宽，p是只矩形框中含有缺陷的置信度；
所述YOLO检测网络中包括了24个卷积层和2个全连接层，同时采用了如下公式训练模型：
Figure BDA0002485906110000091
其中，s2代表每张芯片表面图像被分成s*s个网格；B表示每个网格预测的可能包含缺陷的矩形框个数；
Figure BDA0002485906110000092
表示第i个网格中第j个矩形框是否负责本网格中的缺陷检测；
Figure BDA0002485906110000093
表示缺陷是否存在于第i个网格中；λcoord代表矩形框中的w，h，x，y四个参数的损失权重；λnoobj代表不负责的矩形框所预测缺陷类别损失权重；xi,yi,
Figure BDA0002485906110000094
分别代表人工标注的缺陷矩形框和模型预测的矩形框的左上角对应第i个网格中心在两个方向上的偏移量；wi,hi,
Figure BDA0002485906110000095
分别代表第i个网格中人工标注的缺陷矩形框和模型预测的矩形框的宽与高，ci,
Figure BDA0002485906110000096
分别代表第i个网格中人工标注的缺陷类别和模型预测的类别；pi(c),
Figure BDA0002485906110000097
分别代表第i个网格中人工标注和模型预测的缺陷类别为c的概率。
S105、实时采集待检测的芯片表面图像，根据训练好的YOLO检测网络对实时采集待检测的芯片表面图像进行检测，并对检测到的缺陷进行分类和定位；
所述实时采集待检测的芯片表面图像，根据训练好的YOLO检测网络对实时采集待检测的芯片表面图像进行检测，并对检测到的缺陷进行分类和定位包括以下步骤：
步骤A1，将待检测的芯片表面图像统一为标准尺寸448*448；
步骤A2，将待检测的芯片表面图像输入已经训练好的YOLO检测网络，检测是否有缺陷，输出缺陷的位置与类型信息，并将信息保存在数据库中；
步骤A3，根据以下公式确定更精确的缺陷位置：
Figure BDA0002485906110000101
其中，a代表标注的芯片表面图像缺陷位置矩形框，bk代表模型预测的芯片表面图像的缺陷位置第k个矩形框，k＝1,2,3，...，98，q为iou预设阈值，L代表通过筛选后得到的芯片表面图像精确的缺陷位置；
步骤A4，根据以下公式确定预测芯片图像缺陷位置矩形框与标准的芯片表面图像缺陷位置矩形框的阈值：
Figure BDA0002485906110000102
其中，m(f,g)代表邻域内每一张芯片表面图像像素值的均值，z(f,g)代表每一张芯片表面图像像素值的标准方差，R是代表每一张芯片表面图像像素值标准方差的动态范围，t代表定义的一个修正参数，t的取值为0<t<1，(f,g)是其对应的坐标点，Q代表每一张预测的芯片表面图像缺陷位置矩形框与标准的芯片表面图像缺陷位置矩形框的阈值；
步骤A5，回到步骤A2，重复执行步骤A2到步骤A4，对,每一张待检测的芯片表面图像进行检测，直到检测结束。
有益效果：以上算法采用深度学习技术，通过对预测的矩形框与真实的矩形框的精准校对，使预测的矩形框逼近与真实的矩形框，大大提升了检测效果的精确度，通过对其阈值的确定，将预测的多个矩形框中小于阈值的直接不考虑计算，提高了检测的速度，达到了对芯片表面缺陷精准的定位，为后期深度学习项目打下了基础。
在本实例中达到YOLO检测网络为端到端的网络，将训练好的YOLO检测网络部署到服务器上进行后端的计算，通过连接摄像头，可以达到工厂流水线生产芯片时，在此流水线上部署摄像头，通过摄像头拍摄按帧读取摄像头拍摄的视频，达到后台服务器快速的计算，达到实时效果检测芯片表面图像的缺陷，解放了劳动能力。
综上所述，本申请公开了一种基于芯片缺陷检测的检测方法和系统，所述方法包括采集用于训练YOLO检测网络的芯片表面图像；对采集到的所述芯片表面图像进行数据增强；将采集到的所述芯片表面图像及数据增强后得到的图像以及获取的所述矩形框的坐标，获取所述矩形框的坐标与所述矩形框所包含缺陷的种类；将采集到的所述芯片表面的图像及数据增强后得到的图像以及获取的所述矩形框的坐标与所述矩形框所包含缺陷的种类对YOLO检测网络进行训练；实时采集待检测的芯片表面图像，根据训练好的YOLO检测网络对实时采集待检测的芯片表面图像进行检测，并对检测到的缺陷进行分类和定位，能够高效的提取图像的特征，达到图像更精准的检测出缺陷。
本发明实施例中提供了一种基于芯片缺陷检测的检测系统，如图2所述，包括：采集模块S201，增强模块S202，获取模块S203，生成模块S204，训练模块S205，检测模块S206，其中：
采集模块S201，用于采集用于训练YOLO检测网络的芯片表面图像；
增强模块S202，用于对采集到的所述芯片表面图像进行数据增强；
获取模块S203，用于将采集到的所述芯片表面图像及数据增强后得到的图像以及获取的所述矩形框的坐标，获取所述矩形框的坐标与所述矩形框所包含缺陷的种类；
生成模块S204，用于将采集到的所述芯片表面图像及及数据增强后得到的图像以及获取的所述矩形框的坐标，获取所述矩形框的中心坐标，所述矩形框的宽度、高度、及所述矩形框包含缺陷的种类；将采集到的所述芯片表面图像、数据增强后得到的图像获取所述矩形框的中心坐标，所述矩形框的宽度、高度、及所述矩形框包含缺陷的种类生成训练集；
训练模块S205，用于将采集到的所述芯片表面图像及数据增强后得到的图像以及获取的所述矩形框的坐标与所述矩形框所包含缺陷的种类对YOLO检测网络进行训练；
检测模块S206，实时采集待检测的芯片表面图像，根据训练好的YOLO检测网络对实时采集待检测的芯片表面图像进行检测，并对检测到的缺陷进行分类和定位。
本发明实例中，所述对待检测的芯片表面图像进行检测其缺陷，可以将其待检测的芯片表面图像进行一张一张输入YOLO检测网络中，也可以分批次进行输入，需要在编写代码时进行改进，最终检测出现的缺陷类别，是最初标注芯片表面图像时，人工标注的类别，标注有几类，检测结果就有几类，将检测问题转换成回归问题，最终将通过矩形框回归的位置是否在其缺陷上以及缺陷类别是否识别正确来判断此YOLO网络模型的好坏。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于芯片缺陷检测的检测方法，其特征在于，所述方法包括：
采集用于训练YOLO检测网络的芯片表面图像；
对采集到的所述芯片表面图像进行数据增强；
将采集到的所述芯片表面图像及数据增强后得到的图像以及获取的所述矩形框的坐标，获取所述矩形框的坐标与所述矩形框所包含缺陷的种类；
将采集到的所述芯片表面的图像及数据增强后得到的图像以及获取的所述矩形框的坐标与所述矩形框所包含缺陷的种类对YOLO检测网络进行训练；
实时采集待检测的芯片表面图像，根据训练好的YOLO检测网络对实时采集待检测的芯片表面图像进行检测，并对检测到的缺陷进行分类和定位。
2.根据权利要求1所述的基于芯片缺陷检测的检测方法，其特征在于，所述获取所述矩形框的坐标与所述矩形框所包含缺陷的种类之后，还包括：
将采集到的所述芯片表面图像及及数据增强后得到的图像以及获取的所述矩形框的坐标，获取所述矩形框的中心坐标，所述矩形框的宽度、高度及所述矩形框包含缺陷的种类；
将采集到的所述芯片表面图像、数据增强后得到的图像获取所述矩形框的中心坐标，所述矩形框的宽度、高度及所述矩形框包含缺陷的种类生成训练集。
3.根据权利要求1所述的基于芯片缺陷检测的检测方法，其特征在于，所述YOLO检测网络将每张芯片表面图像分成s*s个网格，每个网格要预测B个可能包含缺陷的矩形框，每一个预测的矩形框包含5个参数，x,y,w,h和p，x,y是矩形框的中心相对于负责该缺陷的网格左上角的位置偏移量，w，h是矩形框的长和宽，p是只矩形框中含有缺陷的置信度。
4.根据权利要求3所述的基于芯片缺陷检测的检测方法，其特征在于，所述YOLO检测网络中包括了24个卷积层和2个全连接层，同时采用了如下公式训练模型：
Figure FDA0002485906100000021
其中，s2代表每张芯片表面图像被分成s*s个网格；B表示每个网格预测的可能包含缺陷的矩形框个数；
Figure FDA0002485906100000022
表示第i个网格中第j个矩形框是否负责本网格中的缺陷检测；
Figure FDA0002485906100000023
表示缺陷是否存在于第i个网格中；λcoord代表矩形框中的w，h，x，y四个参数的损失权重；λnoobj代表不负责的矩形框所预测缺陷类别损失权重；xi,yi,
Figure FDA0002485906100000024
分别代表人工标注的缺陷矩形框和模型预测的矩形框的左上角对应第i个网格中心在两个方向上的偏移量；wi,hi,
Figure FDA0002485906100000025
分别代表第i个网格中人工标注的缺陷矩形框和模型预测的矩形框的宽与高，ci,
Figure FDA0002485906100000026
分别代表第i个网格中人工标注的缺陷类别和模型预测的类别；pi(c),
Figure FDA0002485906100000027
分别代表第i个网格中人工标注和模型预测的缺陷类别为c的概率。
5.根据权利要求1所述的基于芯片缺陷检测的检测方法，其特征在于，所述实时采集待检测的芯片表面图像，根据训练好的YOLO检测网络对实时采集待检测的芯片表面图像进行检测，并对检测到的缺陷进行分类和定位包括以下步骤：
步骤A1，将待检测的芯片表面图像统一为标准尺寸448*448；
步骤A2，将待检测的芯片表面图像输入已经训练好的YOLO检测网络，检测是否有缺陷，输出缺陷的位置与类型信息，并将信息保存在数据库中；
步骤A3，根据以下公式确定更精确的缺陷位置：
Figure FDA0002485906100000031
其中，a代表标注的芯片表面图像缺陷位置矩形框，bk代表模型预测的芯片表面图像的缺陷位置第k个矩形框，k＝1,2,3，...，98，q为iou预设阈值，L代表通过筛选后得到的芯片表面图像精确的缺陷位置；
步骤A4，根据以下公式确定预测芯片图像缺陷位置矩形框与标准的芯片表面图像缺陷位置矩形框的阈值：
Figure FDA0002485906100000032
其中，m(f,g)代表邻域内每一张芯片表面图像像素值的均值，z(f,g)代表每一张芯片表面图像像素值的标准方差，R是代表每一张芯片表面图像像素值标准方差的动态范围，t代表定义的一个修正参数，t的取值为0<t<1，(f,g)是其对应的坐标点，Q代表每一张预测的芯片表面图像缺陷位置矩形框与标准的芯片表面图像缺陷位置矩形框的阈值；
步骤A5，回到步骤A2，重复执行步骤A2到步骤A4，对,每一张待检测的芯片表面图像进行检测，直到检测结束。
6.一种基于芯片缺陷检测的检测系统，其特征在于，所述系统包括：
采集模块，用于采集用于训练YOLO检测网络的芯片表面图像；
增强模块，用于对采集到的所述芯片表面图像进行数据增强；
获取模块，用于将采集到的所述芯片表面图像及数据增强后得到的图像以及获取的所述矩形框的坐标，获取所述矩形框的坐标与所述矩形框所包含缺陷的种类；
训练模块，用于将采集到的所述芯片表面图像及数据增强后得到的图像以及获取的所述矩形框的坐标与所述矩形框所包含缺陷的种类对YOLO检测网络进行训练；
检测模块，实时采集待检测的芯片表面图像，根据训练好的YOLO检测网络对实时采集待检测的芯片表面图像进行检测，并对检测到的缺陷进行分类和定位。
7.根据权利要求6所述的基于芯片缺陷检测的检测系统，其特征在于，所述系统还包括：生成模块，用于将采集到的所述芯片表面图像及及数据增强后得到的图像以及获取的所述矩形框的坐标，获取所述矩形框的中心坐标，所述矩形框的宽度、高度、及所述矩形框包含缺陷的种类；将采集到的所述芯片表面图像、数据增强后得到的图像获取所述矩形框的中心坐标，所述矩形框的宽度、高度、及所述矩形框包含缺陷的种类生成训练集。
8.根据权利要求6所述的基于芯片缺陷检测的检测系统，其特征在于，所述训练模块中YOLO检测网络将每张芯片表面图像分成s*s个网格，每个网格要预测B个可能包含缺陷的矩形框，每一个预测的矩形框包含5个参数，x,y,w,h和p，x,y是矩形框的中心相对于负责该缺陷的网格左上角的位置偏移量，w，h是矩形框的长和宽，p是只矩形框中含有缺陷的置信度。
9.根据权利要求6所述的基于芯片缺陷检测的检测系统，其特征在于，所述建立YOLO检测网络中包括了24个卷积层和2个全连接层，同时采用了如下公式训练模型：
Figure FDA0002485906100000051
其中，s2代表每张芯片表面图像被分成s*s个网格；B表示每个网格预测的可能包含缺陷的矩形框个数；
Figure FDA0002485906100000052
表示第i个网格中第j个矩形框是否负责本网格中的缺陷检测；
Figure FDA0002485906100000053
表示缺陷是否存在于第i个网格中；λcoord代表矩形框中的w，h，x，y四个参数的损失权重；λnoobj代表不负责的矩形框所预测缺陷类别损失权重；xi,yi,
Figure FDA0002485906100000054
分别代表人工标注的缺陷矩形框和模型预测的矩形框的左上角对应第i个网格中心在两个方向上的偏移量；wi,hi,
Figure FDA0002485906100000055
分别代表第i个网格中人工标注的缺陷矩形框和模型预测的矩形框的宽与高，ci,
Figure FDA0002485906100000056
分别代表第i个网格中人工标注的缺陷类别和模型预测的类别；pi(c),
Figure FDA0002485906100000057
分别代表第i个网格中人工标注和模型预测的缺陷类别为c的概率。
10.根据权利要求6所述的基于芯片缺陷检测的检测系统，其特征在于，所述检测模块检测步骤如下：
步骤A1，将待检测的芯片表面图像统一为标准尺寸448*448；
步骤A2，将待检测的芯片表面图像输入已经训练好的YOLO检测网络，检测是否有缺陷，输出缺陷的位置与类型信息，并将信息保存在数据库中；
步骤A3，根据以下公式确定更精确的缺陷位置：
Figure FDA0002485906100000058
其中，a代表标注的芯片表面图像缺陷位置矩形框，bk代表模型预测的芯片表面图像的缺陷位置第k个矩形框，k＝1,2,3，...，98，q为iou预设阈值，L代表通过筛选后得到的芯片表面图像精确的缺陷位置；
步骤A4，根据以下公式确定预测芯片图像缺陷位置矩形框与标准的芯片表面图像缺陷位置矩形框的阈值：
Figure FDA0002485906100000061
其中，m(f,g)代表邻域内每一张芯片表面图像像素值的均值，z(f,g)代表每一张芯片表面图像像素值的标准方差，R是代表每一张芯片表面图像像素值标准方差的动态范围，t代表定义的一个修正参数，t的取值为0<t<1，(f,g)是其对应的坐标点，Q代表每一张预测的芯片表面图像缺陷位置矩形框与标准的芯片表面图像缺陷位置矩形框的阈值；
步骤A5，回到步骤A2，重复执行步骤A2到步骤A4，对,每一张待检测的芯片表面图像进行检测，直到检测结束。
CN202010391806.3A 2020-05-11 2020-05-11 一种基于芯片缺陷检测的检测方法和系统 Withdrawn CN111553917A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010391806.3A CN111553917A (zh) 2020-05-11 2020-05-11 一种基于芯片缺陷检测的检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010391806.3A CN111553917A (zh) 2020-05-11 2020-05-11 一种基于芯片缺陷检测的检测方法和系统

Publications (1)

Publication Number Publication Date
CN111553917A true CN111553917A (zh) 2020-08-18

Family

ID=72004510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010391806.3A Withdrawn CN111553917A (zh) 2020-05-11 2020-05-11 一种基于芯片缺陷检测的检测方法和系统

Country Status (1)

Country Link
CN (1) CN111553917A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112974289A (zh) * 2020-11-09 2021-06-18 重庆康佳光电技术研究院有限公司 分选方法、分选装置、计算机可读存储介质及电子设备
CN113033554A (zh) * 2021-03-23 2021-06-25 成都国铁电气设备有限公司 一种实时在线检测锚固螺栓缺陷的方法
CN113093726A (zh) * 2021-03-05 2021-07-09 华南理工大学 一种基于Yolo_v4算法的目标检测与跟踪方法
CN113222938A (zh) * 2021-05-14 2021-08-06 珠海埃克斯智能科技有限公司 芯片缺陷检测方法及系统与计算机可读存储介质
WO2022116109A1 (en) * 2020-12-03 2022-06-09 Boe Technology Group Co., Ltd. Computer-implemented method for defect analysis, apparatus for defect analysis, computer-program product, and intelligent defect analysis system
CN115731228A (zh) * 2022-11-30 2023-03-03 杭州数途信息科技有限公司 一种镀金芯片缺陷检测系统和方法
US11972548B2 (en) 2020-12-03 2024-04-30 Boe Technology Group Co., Ltd. Computer-implemented method for defect analysis, apparatus for defect analysis, computer-program product, and intelligent defect analysis system

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112974289A (zh) * 2020-11-09 2021-06-18 重庆康佳光电技术研究院有限公司 分选方法、分选装置、计算机可读存储介质及电子设备
CN112974289B (zh) * 2020-11-09 2023-04-28 重庆康佳光电技术研究院有限公司 分选方法、分选装置、计算机可读存储介质及电子设备
WO2022116109A1 (en) * 2020-12-03 2022-06-09 Boe Technology Group Co., Ltd. Computer-implemented method for defect analysis, apparatus for defect analysis, computer-program product, and intelligent defect analysis system
US11972548B2 (en) 2020-12-03 2024-04-30 Boe Technology Group Co., Ltd. Computer-implemented method for defect analysis, apparatus for defect analysis, computer-program product, and intelligent defect analysis system
CN113093726A (zh) * 2021-03-05 2021-07-09 华南理工大学 一种基于Yolo_v4算法的目标检测与跟踪方法
CN113033554A (zh) * 2021-03-23 2021-06-25 成都国铁电气设备有限公司 一种实时在线检测锚固螺栓缺陷的方法
CN113033554B (zh) * 2021-03-23 2022-05-13 成都国铁电气设备有限公司 一种实时在线检测锚固螺栓缺陷的方法
CN113222938A (zh) * 2021-05-14 2021-08-06 珠海埃克斯智能科技有限公司 芯片缺陷检测方法及系统与计算机可读存储介质
CN115731228A (zh) * 2022-11-30 2023-03-03 杭州数途信息科技有限公司 一种镀金芯片缺陷检测系统和方法
CN115731228B (zh) * 2022-11-30 2023-08-18 杭州数途信息科技有限公司 一种镀金芯片缺陷检测系统和方法

Similar Documents

Publication Publication Date Title
CN111553917A (zh) 一种基于芯片缺陷检测的检测方法和系统
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN110992317B (zh) 一种基于语义分割的pcb板缺陷检测方法
CN112232371B (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN111091101B (zh) 基于一步法的高精度行人检测方法、系统、装置
CN110647885B (zh) 基于图片识别的试卷拆分方法、装置、设备以及介质
CN114972191A (zh) 一种耕地变化检测方法和装置
CN114529837A (zh) 建筑物轮廓提取方法、系统、计算机设备及存储介质
CN112419202A (zh) 基于大数据及深度学习的野生动物图像自动识别系统
CN115909059A (zh) 一种自然资源样本库建立方法和装置
CN113033516A (zh) 对象识别统计方法及装置、电子设备、存储介质
CN111738164B (zh) 一种基于深度学习的行人检测方法
CN111523439B (zh) 一种基于深度学习的目标检测的方法、系统、设备及介质
CN114898359B (zh) 一种基于改进EfficientDet的荔枝病虫害检测方法
CN114639102B (zh) 基于关键点与尺寸回归的细胞分割方法和装置
CN114241332A (zh) 一种基于深度学习的固废场识别方法、装置以及存储介质
CN114529773A (zh) 基于结构单元的表格识别方法、系统、终端及介质
CN113205511B (zh) 基于深层神经网络的电子元器件批量信息检测方法及系统
CN114067339A (zh) 图像识别方法及其装置、电子设备、计算机可读存储介质
CN111414907A (zh) 数据集标注方法、数据集标注装置和计算机可读存储介质
CN114419430A (zh) 一种基于SE-U-Net++模型的耕地地块提取方法及装置
CN111079826A (zh) 融合slam和图像处理的施工进度实时识别方法
CN114549970A (zh) 融合全局细粒度信息的夜间小目标果实检测方法及系统
Feng et al. Improved SOLOv2 detection method for shield tunnel lining water leakages
CN116052193B (zh) Rpa界面动态表格的拾取和匹配方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200818

WW01 Invention patent application withdrawn after publication