CN113870202A - 一种基于深度学习技术的远端芯片缺陷检测系统 - Google Patents

一种基于深度学习技术的远端芯片缺陷检测系统 Download PDF

Info

Publication number
CN113870202A
CN113870202A CN202111096252.5A CN202111096252A CN113870202A CN 113870202 A CN113870202 A CN 113870202A CN 202111096252 A CN202111096252 A CN 202111096252A CN 113870202 A CN113870202 A CN 113870202A
Authority
CN
China
Prior art keywords
defect
chip
image
defect image
gray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111096252.5A
Other languages
English (en)
Inventor
程坦
邹爱刚
刘涛
汪玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongkehaituo Wuxi Technology Co ltd
Original Assignee
Zhongkehaituo Wuxi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongkehaituo Wuxi Technology Co ltd filed Critical Zhongkehaituo Wuxi Technology Co ltd
Priority to CN202111096252.5A priority Critical patent/CN113870202A/zh
Publication of CN113870202A publication Critical patent/CN113870202A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G06T3/608—Skewing or deskewing, e.g. by two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20116—Active contour; Active surface; Snakes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Abstract

本发明公开了一种基于深度学习技术的远端芯片缺陷检测系统，包括硬件系统、软件系统和训练模块，所述硬件系统包括网络服务设备、图像存储设备、数据库和负载均衡器，所述软件系统包括图像处理软件、算法处理软件和服务器终端平台软件。本发明所述的一种基于深度学习技术的远端芯片缺陷检测系统，本发明通过软件系统的算法，并提出一种芯片缺陷图像等级划分方法，解决了现有的芯片缺陷IC检测设备只能检测芯片的好坏，但不能对芯片缺陷进行类别划分和等级划分的问题，通过进行人工标记获取包括所有缺陷类别的标准数据集，可以提高检测的精确度，同时本系统可以在单位时间内对大量缺陷图像进行处理，提高了检测速度。

Description

一种基于深度学习技术的远端芯片缺陷检测系统
技术领域
本发明涉及芯片缺陷检测领域，特别涉及一种基于深度学习技术的远端芯片缺陷检测系统。
背景技术
现有的芯片缺陷检测系统是先通过光学视觉扫描机构对芯片进行拍摄，以获取高质量的芯片表面图像，再对图像进行处理后通过算法对芯片缺陷进行分析，而由于IC检测设备只能检测芯片的好坏，但是不能分类和分等级，且现有的设备均是通过在线实时进行检测的，在单位时间内处理量图像较少，当芯片图像量较大时，难以对大量的图像进行处理，导致处理效率较低，难以满足生产需要，为此，我们提出一种基于深度学习技术的远端芯片缺陷检测系统。
发明内容
本发明的主要目的在于提供一种基于深度学习技术的远端芯片缺陷检测系统，通过软件系统的算法，并提出一种芯片缺陷图像等级划分方法，解决了现有的芯片缺陷IC检测设备只能检测芯片的好坏，但不能对芯片缺陷进行类别划分和等级划分的问题，同时通过进行人工标记获取包括所有缺陷类别的标准数据集，可以提高检测的精确度 。
为实现上述目的，本发明采取的技术方案为：一种基于深度学习技术的远端芯片缺陷检测系统，包括硬件系统、软件系统和训练模块，所述硬件系统包括用于远端缺陷图像获取的网络服务设备、用于存储缺陷图像的图像存储设备、数据库和负载均衡器，所述软件系统包括用于芯片缺陷图像预处理的图像处理软件、算法处理软件和服务器终端平台软件，所述检测系统的检测流程包括以下步骤：
步骤一，通过网络服务设备，使用5G网络传输进行对接，获取现有芯片缺陷的待检图片，并将待检图片存储至图像存储设备，启动缺陷测试软件，输入测试软件SN码后开始读取待检图片存储文件夹中的芯片缺陷图像信息；
步骤二，采用图像处理软件对芯片缺陷图像进行预处理；预处理包括多芯片缺陷图像分切至单幅缺陷图像和单一芯片缺陷图像的旋转与校正；多芯片缺陷图像分切至单幅缺陷图像包括图像滤波、二值化处理、投影特征提取、投影区域标记、投影区域划分；单一芯片缺陷图像的旋转与校正用于消除单一芯片缺陷图像中的中间部位，采用边缘检测算子获取芯片边缘图像，并提取边缘图像中的最长直线，通过数学模型计算最长直线的倾斜角度，得到倾斜角度值后，将图像进行旋转校正；
步骤三，进行人工标记获取包括所有缺陷类别的标准数据集，并将获取的标准数据集存储至数据库中；
步骤四，采用算法处理软件进行芯片缺陷区域特征提取，并对提取后的芯片缺陷进行类别划分和等级划分；
步骤五，启动服务器终端平台软件，输入SN码后，将检测结果通过5G网络传输至显示设备，输出检测结果。
进一步的，多芯片缺陷图像分切至单幅缺陷图像的具体流程如下：
图像滤波：在输入多个芯片缺陷图像后，采用中值滤波器对多芯片缺陷图像进行去噪声处理，以消除生产过程中微粒和灰尘造成的图像噪声；
二值化处理：提取多芯片缺陷图像滤波后图像的灰度直方图，设定阈值后，进行二值化处理，以有效区分背景与芯片主体机构；
投影特征提取：提取多芯片缺陷图像的二值化图像的行列统计特征，观察芯片主体与框架的分布状态；
投影区域标记：在确定单芯片框架分布状态后，对芯片框架的位置进行标记，便于后续对图像进行分切；
投影区域划分：在对芯片框架的位置进行标记后，沿框架的外轮廓对标记的框架位置进行区域的划分，从而可以得到单一的芯片缺陷图像。
进一步的，步骤三中所述的缺陷类别分别为崩边、划伤、胶多余物、金层颗粒、裂纹、桥变形、图形缺损、异色九大类别，且每一种缺陷类别在标准数据集中人工标记的样品数量不少于500个，人工标记的样品数量越多，则越有利于提高检测的精确度。
进一步的，步骤四的具体流程如下：
采用模板匹配定位算法对单一芯片缺陷区域ROI进行精确定位；
采用阈值分割算法将缺陷图像ROI从背景区域中分割；
对芯片缺陷图像ROI的特征进行提取；
通过神经网络缺陷分类算法对标准数据集中人工标记的样品进行学习，并将学习结果与提取的芯片缺陷图像ROI的特征进行关联，从而对提取的芯片缺陷图像进行类别划分；
根据缺陷图像ROI特征的几何特征和灰度特征将分类后缺陷图像进行等级划分。
进一步的，所述缺陷图像ROI的特征包含几何特征和灰度特征，其中几何特征又包含面积特征、周长特征、紧凑性特征特征、重心坐标特征、矩形度特征、占空比特征和偏心率特征，灰度特征又包含灰度方差特征、灰度均值特征和灰度熵特征。
进一步的，所述分类后缺陷图像的等级划分方法可分为：
类型一，采用单一缺陷图像ROI的特征的单一指标进行划分，即以几何特征或灰度特征的某一评价指标为划分依据；
类型二，采用单一缺陷图像ROI的特征的组合指标进行划分，即以几何特征或灰度特征的至少两个评价指标为划分依据；
类型三，采用组合缺陷图像ROI的特征的单一指标进行划分，即以几何特征和灰度特征的各一个评价指标为划分依据；
类型四，采用组合缺陷图像ROI的特征的组合指标进行划分，即以几何特征的至少两个评价指标和灰度特征的至少两个评价指标进行组合作为划分依据。
进一步的，所述桥变形缺陷的检测原理如下：
步骤1）找寻芯片生产过程中刻蚀过渡导致的连接处烧蚀或者芯片生产过程中刻蚀不足导致的连接区域扩大；
步骤2）提取芯片缺陷图像ROI的几何特征和灰度特征；
步骤3）将提取的芯片缺陷图像ROI的几何特征和灰度特征与通过神经网络缺陷分类算法对标准数据集中人工标记的样品进行学习的结果进行关联；
步骤4）分析关联结果中的决策评价值和非决策评价值，并根据分析结果判定提取图像的类别；
所述决策评价值为紧凑性特征特征、矩形度特征、灰度方差特征和灰度均值特征，所述非决策评价值为除决策评价值外的所有几何特征和灰度特征，决策评价值是判定缺陷类别的重要依据，但不是唯一依据，具体的判定结果要根据决策评价值与非决策评价值共同关联结果来进行确定。
对于芯片生产过程中刻蚀过渡导致的连接处烧蚀产生的芯片桥变形缺陷，因连接处烧蚀，其缺陷区域的灰度均值较小，且灰度值分布较为均匀，故灰度方差较小，产生烧蚀的区域较为紧凑，矩形度也较高；
对于芯片生产过程中刻蚀不足导致的连接区域扩大产生的芯片桥变形缺陷，因刻蚀不足导致的连接区域扩大，而扩大的方向是沿刻蚀方向，故非刻蚀方向的直线性较好，因此缺陷区域的矩形度较高，且灰度值较为平均，但灰度值差异，因此灰度方差较大。
与现有技术相比，本发明通过软件系统的算法，并提出一种芯片缺陷图像等级划分方法，解决了现有的芯片缺陷IC检测设备只能检测芯片的好坏，但是不能对芯片缺陷进行类别划分和等级划分的问题；
与现有技术相比，本发明通过进行人工标记获取包括所有缺陷类别的标准数据集，其中标准数据集中各种芯片缺陷类别均有大量的样品，从而可以提高检测的精确度；
与现有技术相比，本发明通过网络服务设备，使用5G网络传输进行对接，获取现有芯片缺陷的待检图片，并将待检图片存储至图像存储设备来进行读取，不仅便于芯片缺陷图像的获取，同时可以提高单位时间内的图片处理量，提高检测速度；
与现有技术相比，本发明通过提出一种针对芯片桥变形缺陷的检测方法，可以准确辨别桥变形缺陷，且可以根据辨别后的缺陷种类反向得知产生该类缺陷的原因，有利于对芯片的生产工艺或生产设备提出改进建议，从而改进芯片的生产质量。
附图说明
为了更清楚地说明本发明的技术方案，下面将对本发明技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于深度学习技术的远端芯片缺陷检测系统的检测流程图。
图2为本发明一种基于深度学习技术的远端芯片缺陷检测系统的整体架构图。
具体实施方式
下面结合具体实施方式对本发明作进一步的说明，其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制，为了更好地说明本发明的具体实施方式，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸，对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的，基于本发明中的具体实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他具体实施方式，都属于本发明保护的范围。
实施例1
一种基于深度学习技术的远端芯片缺陷检测系统，包括硬件系统、软件系统和训练模块，硬件系统包括网络服务设备、图像存储设备、数据库和负载均衡器，软件系统包括图像处理软件、算法处理软件和服务器终端平台软件，检测系统的检测流程包括以下步骤：
步骤一，通过网络服务设备，使用5G网络传输进行对接，获取现有芯片缺陷的待检图片，并将待检图片存储至图像存储设备，启动缺陷测试软件，输入测试软件SN码后开始读取待检图片存储文件夹中的芯片缺陷图像信息；
步骤二，采用图像处理软件对芯片缺陷图像进行预处理；预处理包括多芯片缺陷图像分切至单幅缺陷图像和单一芯片缺陷图像的旋转与校正；多芯片缺陷图像分切至单幅缺陷图像包括图像滤波、二值化处理、投影特征提取、投影区域标记、投影区域划分；单一芯片缺陷图像的旋转与校正用于消除单一芯片缺陷图像中的中间部位，采用边缘检测算子获取芯片边缘图像，并提取边缘图像中的最长直线，通过数学模型计算最长直线的倾斜角度，得到倾斜角度值后，将图像进行旋转校正；
步骤三，进行人工标记获取包括所有缺陷类别的标准数据集，并将获取的标准数据集存储至数据库中；
步骤四，采用算法处理软件进行芯片缺陷区域特征提取，并对提取后的芯片缺陷进行类别划分和等级划分；
步骤五，启动服务器终端平台软件，输入SN码后，将检测结果通过5G网络传输至显示设备，输出检测结果。
步骤四的具体流程如下：采用模板匹配定位算法对单一芯片缺陷区域ROI进行精确定位；采用阈值分割算法将缺陷图像ROI从背景区域中分割；对芯片缺陷图像ROI的特征进行提取；通过神经网络缺陷分类算法对标准数据集中人工标记的样品进行学习，并将学习结果与提取的芯片缺陷图像ROI的特征进行关联，从而对提取的芯片缺陷图像进行类别划分；根据缺陷图像ROI特征的几何特征和灰度特征将分类后缺陷图像进行等级划分。
缺陷图像ROI的特征包含几何特征和灰度特征，其中几何特征又包含面积特征、周长特征、紧凑性特征特征、重心坐标特征、矩形度特征、占空比特征和偏心率特征，灰度特征又包含灰度方差特征、灰度均值特征和灰度熵特征。
分类后缺陷图像的等级划分方法可分为：
分类一，采用单一缺陷图像ROI的特征的单一指标进行划分，即以几何特征或灰度特征的某一评价指标为划分依据；
分类二，采用单一缺陷图像ROI的特征的组合指标进行划分，即以几何特征或灰度特征的至少两个评价指标为划分依据；
分类三，采用组合缺陷图像ROI的特征的单一指标进行划分，即以几何特征和灰度特征的各一个评价指标为划分依据；
分类四，采用组合缺陷图像ROI的特征的组合指标进行划分，即以几何特征的至少两个评价指标和灰度特征的至少两个评价指标进行组合作为划分依据。
通过采用上述技术方案：当采用类型一中单一缺陷图像ROI的特征的单一指标进行等级划分，即以几何特征或灰度特征的某一评价指标为划分依据时，设采用几何特征中的面积特征指标为划分依据时，首先提取分类后各缺陷图像缺陷区域的像素点数量S，设定像素点数量阈值等级A1、A2、A3、、、AN，当S＜A1时，该缺陷图像为等级一，当A1≤S＜A2时，该缺陷图像为等级二，依次类推，可以将同类别的缺陷图像划分为N个等级。
实施例2
一种基于深度学习技术的远端芯片缺陷检测系统，包括硬件系统、软件系统和训练模块，硬件系统包括网络服务设备、图像存储设备、数据库和负载均衡器，软件系统包括图像处理软件、算法处理软件和服务器终端平台软件，检测系统的检测流程包括以下步骤：
步骤一，通过网络服务设备，使用5G网络传输进行对接，获取现有芯片缺陷的待检图片，并将待检图片存储至图像存储设备，启动缺陷测试软件，输入测试软件SN码后开始读取待检图片存储文件夹中的芯片缺陷图像信息；
步骤二，采用图像处理软件对芯片缺陷图像进行预处理；
步骤三，进行人工标记获取包括所有缺陷类别的标准数据集，并将获取的标准数据集存储至数据库中；
步骤四，采用算法处理软件进行芯片缺陷区域特征提取，并对提取后的芯片缺陷进行类别划分和等级划分；
步骤五，启动服务器终端平台软件，输入SN码后，将检测结果通过5G网络传输至显示设备，输出检测结果。
步骤四的具体流程如下：采用模板匹配定位算法对单一芯片缺陷区域ROI进行精确定位；采用阈值分割算法将缺陷图像ROI从背景区域中分割；对芯片缺陷图像ROI的特征进行提取；通过神经网络缺陷分类算法对标准数据集中人工标记的样品进行学习，并将学习结果与提取的芯片缺陷图像ROI的特征进行关联，从而对提取的芯片缺陷图像进行类别划分；根据缺陷图像ROI特征的几何特征和灰度特征将分类后缺陷图像进行等级划分。
缺陷图像ROI的特征包含几何特征和灰度特征，其中几何特征又包含面积特征、周长特征、紧凑性特征特征、重心坐标特征、矩形度特征、占空比特征和偏心率特征，灰度特征又包含灰度方差特征、灰度均值特征和灰度熵特征。
分类后缺陷图像的等级划分方法可分为：
类型一，采用单一缺陷图像ROI的特征的单一指标进行划分，即以几何特征或灰度特征的某一评价指标为划分依据；
类型二，采用单一缺陷图像ROI的特征的组合指标进行划分，即以几何特征或灰度特征的至少两个评价指标为划分依据；
类型三，采用组合缺陷图像ROI的特征的单一指标进行划分，即以几何特征和灰度特征的各一个评价指标为划分依据；
类型四，采用组合缺陷图像ROI的特征的组合指标进行划分，即以几何特征的至少两个评价指标和灰度特征的至少两个评价指标进行组合作为划分依据。
通过采用上述技术方案：当采用类型二中单一缺陷图像ROI的特征的组合指标进行等级划分，即以几何特征或灰度特征的至少两个评价指标为划分依据时，设采用几何特征中的面积特征指标和紧凑性指标组合的形式为划分依据时，首先提取分类后各缺陷图像缺陷区域的像素点数量S，设定像素点数量阈值等级A1、A2、A3、、、AN，然后提取分类后各缺陷图像缺陷区域边缘像素点数量L，并根据紧凑性指标计算公式
Figure DEST_PATH_IMAGE002
，计算得出图像缺陷区域的紧凑性C，设定紧凑性阈值等级C1、C2、C3、、、CN，当S＜A1，且C＜C1时，该缺陷图像为等级一，当A1≤S＜A2，且C1≤C＜C2时，该缺陷图像为等级二，依次类推，可以将同类别的缺陷图像划分为N个等级。
实施例3
一种基于深度学习技术的远端芯片缺陷检测系统，包括硬件系统、软件系统和训练模块，硬件系统包括网络服务设备、图像存储设备、数据库和负载均衡器，软件系统包括图像处理软件、算法处理软件和服务器终端平台软件，检测系统的检测流程包括以下步骤：
步骤一，通过网络服务设备，使用5G网络传输进行对接，获取现有芯片缺陷的待检图片，并将待检图片存储至图像存储设备，启动缺陷测试软件，输入测试软件SN码后开始读取待检图片存储文件夹中的芯片缺陷图像信息；
步骤二，采用图像处理软件对芯片缺陷图像进行预处理；
步骤三，进行人工标记获取包括所有缺陷类别的标准数据集，并将获取的标准数据集存储至数据库中；
步骤四，采用算法处理软件进行芯片缺陷区域特征提取，并对提取后的芯片缺陷进行类别划分和等级划分；
步骤五，启动服务器终端平台软件，输入SN码后，将检测结果通过5G网络传输至显示设备，输出检测结果。
步骤四的具体流程如下：
采用模板匹配定位算法对单一芯片缺陷区域ROI进行精确定位；采用阈值分割算法将缺陷图像ROI从背景区域中分割；对芯片缺陷图像ROI的特征进行提取；通过神经网络缺陷分类算法对标准数据集中人工标记的样品进行学习，并将学习结果与提取的芯片缺陷图像ROI的特征进行关联，从而对提取的芯片缺陷图像进行类别划分；根据缺陷图像ROI特征的几何特征和灰度特征将分类后缺陷图像进行等级划分。
缺陷图像ROI的特征包含几何特征和灰度特征，其中几何特征又包含面积特征、周长特征、紧凑性特征特征、重心坐标特征、矩形度特征、占空比特征和偏心率特征，灰度特征又包含灰度方差特征、灰度均值特征和灰度熵特征。
分类后缺陷图像的等级划分方法可分为：
类型一，采用单一缺陷图像ROI的特征的单一指标进行划分，即以几何特征或灰度特征的某一评价指标为划分依据；
类型二，采用单一缺陷图像ROI的特征的组合指标进行划分，即以几何特征或灰度特征的至少两个评价指标为划分依据；
类型三，采用组合缺陷图像ROI的特征的单一指标进行划分，即以几何特征和灰度特征的各一个评价指标为划分依据；
类型四，采用组合缺陷图像ROI的特征的组合指标进行划分，即以几何特征的至少两个评价指标和灰度特征的至少两个评价指标进行组合作为划分依据。
通过采用上述技术方案：当采用类型三中组合缺陷图像ROI的特征的单一指标进行等级划分，即以几何特征和灰度特征的各一个评价指标为划分依据时，设采用几何特征中的面积特征指标和灰度特征的灰度均值指标组合的形式为划分依据时，首先提取分类后各缺陷图像缺陷区域的像素点数量S，设定像素点数量阈值等级A1、A2、A3、、、AN，然后根据灰度均值指标计算公式
Figure DEST_PATH_IMAGE004
，其中i为像素值，p（i）=h（i）/n为灰度值分布概率，且i=1，2，3，、、、，L-1，n代表图像大小，计算得出图像缺陷区域的灰度均值
Figure DEST_PATH_IMAGE007
，设定灰度均值阈值等级
Figure DEST_PATH_IMAGE007A
1、
Figure DEST_PATH_IMAGE007AA
2、
Figure DEST_PATH_IMAGE007AAA
3、、、
Figure DEST_PATH_IMAGE007AAAA
N，当S＜A1，且
Figure DEST_PATH_IMAGE007_5A
＜
Figure DEST_PATH_IMAGE007_6A
1时，该缺陷图像为等级一，当A1≤S＜A2，且
Figure DEST_PATH_IMAGE007_7A
1≤
Figure DEST_PATH_IMAGE007_8A
＜
Figure DEST_PATH_IMAGE007_9A
2时，该缺陷图像为等级二，依次类推，可以将同类别的缺陷图像划分为N个等级。
实施例4
一种基于深度学习技术的远端芯片缺陷检测系统，包括硬件系统、软件系统和训练模块，硬件系统包括网络服务设备、图像存储设备、数据库和负载均衡器，软件系统包括图像处理软件、算法处理软件和服务器终端平台软件，检测系统的检测流程包括以下步骤：
步骤一，通过网络服务设备，使用5G网络传输进行对接，获取现有芯片缺陷的待检图片，并将待检图片存储至图像存储设备，启动缺陷测试软件，输入测试软件SN码后开始读取待检图片存储文件夹中的芯片缺陷图像信息；
步骤二，采用图像处理软件对芯片缺陷图像进行预处理；
步骤三，进行人工标记获取包括所有缺陷类别的标准数据集，并将获取的标准数据集存储至数据库中；
步骤四，采用算法处理软件进行芯片缺陷区域特征提取，并对提取后的芯片缺陷进行类别划分和等级划分；
步骤五，启动服务器终端平台软件，输入SN码后，将检测结果通过5G网络传输至显示设备，输出检测结果。
步骤四的具体流程如下：
采用模板匹配定位算法对单一芯片缺陷区域ROI进行精确定位；采用阈值分割算法将缺陷图像ROI从背景区域中分割；对芯片缺陷图像ROI的特征进行提取；通过神经网络缺陷分类算法对标准数据集中人工标记的样品进行学习，并将学习结果与提取的芯片缺陷图像ROI的特征进行关联，从而对提取的芯片缺陷图像进行类别划分；根据缺陷图像ROI特征的几何特征和灰度特征将分类后缺陷图像进行等级划分。
缺陷图像ROI的特征包含几何特征和灰度特征，其中几何特征又包含面积特征、周长特征、紧凑性特征特征、重心坐标特征、矩形度特征、占空比特征和偏心率特征，灰度特征又包含灰度方差特征、灰度均值特征和灰度熵特征。
分类后缺陷图像的等级划分方法可分为：
类型一，采用单一缺陷图像ROI的特征的单一指标进行划分，即以几何特征或灰度特征的某一评价指标为划分依据；
类型二，采用单一缺陷图像ROI的特征的组合指标进行划分，即以几何特征或灰度特征的至少两个评价指标为划分依据；
类型三，采用组合缺陷图像ROI的特征的单一指标进行划分，即以几何特征和灰度特征的各一个评价指标为划分依据；
类型四，采用组合缺陷图像ROI的特征的组合指标进行划分，即以几何特征的至少两个评价指标和灰度特征的至少两个评价指标进行组合作为划分依据。
通过采用上述技术方案：当采用类型四中组合缺陷图像ROI的特征的组合指标进行划分，即以几何特征的至少两个评价指标和灰度特征的至少两个评价指标进行组合作为划分依据时，设采用几何特征中的面积特征、紧凑性特征和灰度特征的灰度均值指标以及灰度方差四个指标组合的形式为划分依据时，首先提取分类后各缺陷图像缺陷区域的像素点数量S，设定像素点数量阈值等级A1、A2、A3、、、AN，然后提取分类后各缺陷图像缺陷区域边缘像素点数量L，并根据紧凑性指标计算公式
Figure DEST_PATH_IMAGE008
，计算得出图像缺陷区域的紧凑性C，设定紧凑性阈值等级C1、C2、C3、、、CN，根据灰度均值指标计算公式，计算得出图像缺陷区域的灰度均值
Figure DEST_PATH_IMAGE007_10A
，设定灰度均值阈值等级
Figure DEST_PATH_IMAGE007_11A
1、
Figure DEST_PATH_IMAGE007_12A
2、
Figure DEST_PATH_IMAGE007_13A
3、、、
Figure DEST_PATH_IMAGE007_14A
N，根据灰度方差指标计算公式
Figure DEST_PATH_IMAGE010
，计算得出图像缺陷区域的灰度均值Vr，设定灰度方差阈值等级Vr1、Vr2、Vr3、、、VrN，当同时满足S＜A1、C＜C1、
Figure DEST_PATH_IMAGE007_15A
＜
Figure DEST_PATH_IMAGE007_16A
1，且Vr＜Vr1时，该缺陷图像为等级一，依次类推，可以将同类别的缺陷图像划分为N个等级。
需要说明的是，本发明为一种基于深度学习技术的远端芯片缺陷检测系统，在使用时，通过网络服务设备，使用5G网络传输进行对接，获取现有芯片缺陷的待检图片，并将待检图片存储至图像存储设备，启动缺陷测试软件，输入测试软件SN码后开始读取待检图片存储文件夹中的芯片缺陷图像信息，采用图像处理软件对芯片缺陷图像进行预处理，进行人工标记获取包括所有缺陷类别的标准数据集，并将获取的标准数据集存储至数据库中，采用算法处理软件进行芯片缺陷区域特征提取，并对提取后的芯片缺陷进行类别划分和等级划分，启动服务器终端平台软件，输入SN码后，将检测结果通过5G网络传输至显示设备，输出检测结果。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于深度学习技术的远端芯片缺陷检测系统，包括硬件系统、软件系统和训练模块，其特征在于：所述硬件系统包括网络服务设备、图像存储设备、数据库和负载均衡器，所述软件系统包括图像处理软件、算法处理软件和服务器终端平台软件，所述检测系统的检测流程包括以下步骤：
步骤一，通过网络服务设备，使用5G网络传输进行对接，获取现有芯片缺陷的待检图片，并将待检图片存储至图像存储设备，启动缺陷测试软件，输入测试软件SN码后开始读取待检图片存储文件夹中的芯片缺陷图像信息；
步骤二，采用图像处理软件对芯片缺陷图像进行预处理；预处理包括多芯片缺陷图像分切至单幅缺陷图像和单一芯片缺陷图像的旋转与校正；多芯片缺陷图像分切至单幅缺陷图像包括图像滤波、二值化处理、投影特征提取、投影区域标记、投影区域划分；单一芯片缺陷图像的旋转与校正用于消除单一芯片缺陷图像中的中间部位，采用边缘检测算子获取芯片边缘图像，并提取边缘图像中的最长直线，通过数学模型计算最长直线的倾斜角度，得到倾斜角度值后，将图像进行旋转校正；
步骤三，进行人工标记获取包括所有缺陷类别的标准数据集，并将获取的标准数据集存储至数据库中；
步骤四，采用算法处理软件进行芯片缺陷区域特征提取，并对提取后的芯片缺陷进行类别划分和等级划分；
步骤五，启动服务器终端平台软件，输入SN码后，将检测结果通过5G网络传输至显示设备，输出检测结果。
2.根据权利要求1所述的一种基于深度学习技术的远端芯片缺陷检测系统，其特征在于：多芯片缺陷图像分切至单幅缺陷图像的具体流程如下：
图像滤波：在输入多个芯片缺陷图像后，采用中值滤波器对多芯片缺陷图像进行去噪声处理，以消除生产过程中微粒和灰尘造成的图像噪声；
二值化处理：提取多芯片缺陷图像滤波后图像的灰度直方图，设定阈值后，进行二值化处理，以有效区分背景与芯片主体机构；
投影特征提取：提取多芯片缺陷图像的二值化图像的行列统计特征，观察芯片主体与框架的分布状态；
投影区域标记：在确定单芯片框架分布状态后，对芯片框架的位置进行标记；
投影区域划分：在对芯片框架的位置进行标记后，沿框架的外轮廓对标记的框架位置进行区域的划分，从而可以得到单一的芯片缺陷图像。
3.根据权利要求1所述的一种基于深度学习技术的远端芯片缺陷检测系统，其特征在于：步骤三中所述的缺陷类别分别为崩边、划伤、胶多余物、金层颗粒、裂纹、桥变形、图形缺损、异色九大类别，且每一种缺陷类别在标准数据集中人工标记的样品数量不少于500个。
4.根据权利要求1所述的一种基于深度学习技术的远端芯片缺陷检测系统，其特征在于：步骤四的具体流程如下：
采用模板匹配定位算法对单一芯片缺陷区域ROI进行精确定位；
采用阈值分割算法将缺陷图像ROI从背景区域中分割；
对芯片缺陷图像ROI的特征进行提取；
通过神经网络缺陷分类算法对标准数据集中人工标记的样品进行学习，并将学习结果与提取的芯片缺陷图像ROI的特征进行关联，从而对提取的芯片缺陷图像进行类别划分；
根据缺陷图像ROI特征的几何特征和灰度特征将分类后缺陷图像进行等级划分。
5.根据权利要求4所述的一种基于深度学习技术的远端芯片缺陷检测系统，其特征在于：所述缺陷图像ROI的特征包含几何特征和灰度特征，其中几何特征又包含面积特征、周长特征、紧凑性特征特征、重心坐标特征、矩形度特征、占空比特征和偏心率特征，灰度特征又包含灰度方差特征、灰度均值特征和灰度熵特征。
6.根据权利要求4和5所述的一种基于深度学习技术的远端芯片缺陷检测系统，其特征在于：所述分类后缺陷图像的等级划分方法可分为：
类型一，采用单一缺陷图像ROI的特征的单一指标进行划分，即以几何特征或灰度特征的某一评价指标为划分依据；
类型二，采用单一缺陷图像ROI的特征的组合指标进行划分，即以几何特征或灰度特征的至少两个评价指标为划分依据；
类型三，采用组合缺陷图像ROI的特征的单一指标进行划分，即以几何特征和灰度特征的各一个评价指标为划分依据；
类型四，采用组合缺陷图像ROI的特征的组合指标进行划分，即以几何特征的至少两个评价指标和灰度特征的至少两个评价指标进行组合作为划分依据。
7.根据权利要求3所述的一种基于深度学习技术的远端芯片缺陷检测系统，其特征在于：所述桥变形缺陷的检测步骤如下：
步骤1）找寻芯片生产过程中刻蚀过渡导致的连接处烧蚀或者芯片生产过程中刻蚀不足导致的连接区域扩大；
步骤2）提取芯片缺陷图像ROI的几何特征和灰度特征；
步骤3）将提取的芯片缺陷图像ROI的几何特征和灰度特征与通过神经网络缺陷分类算法对标准数据集中人工标记的样品进行学习的结果进行关联；
步骤4）分析关联结果中的决策评价值和非决策评价值，并根据分析结果判定提取图像的类别；
所述决策评价值为紧凑性特征特征、矩形度特征、灰度方差特征和灰度均值特征，所述非决策评价值为除决策评价值外的所有几何特征和灰度特征。
CN202111096252.5A 2021-09-18 2021-09-18 一种基于深度学习技术的远端芯片缺陷检测系统 Pending CN113870202A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111096252.5A CN113870202A (zh) 2021-09-18 2021-09-18 一种基于深度学习技术的远端芯片缺陷检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111096252.5A CN113870202A (zh) 2021-09-18 2021-09-18 一种基于深度学习技术的远端芯片缺陷检测系统

Publications (1)

Publication Number Publication Date
CN113870202A true CN113870202A (zh) 2021-12-31

Family

ID=78996615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111096252.5A Pending CN113870202A (zh) 2021-09-18 2021-09-18 一种基于深度学习技术的远端芯片缺陷检测系统

Country Status (1)

Country Link
CN (1) CN113870202A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375679A (zh) * 2022-10-24 2022-11-22 广东工业大学 一种缺陷芯片寻边寻点定位方法及装置
CN115375952A (zh) * 2022-10-18 2022-11-22 沃图水泵(上海)有限公司江苏分公司 一种芯片胶层缺陷分类方法
CN116629711A (zh) * 2023-07-21 2023-08-22 苏州友得利金属制品有限公司 一种基于钢管质量检测的分流处理方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829914A (zh) * 2019-02-26 2019-05-31 视睿（杭州）信息科技有限公司 检测产品缺陷的方法和装置
CN109919908A (zh) * 2019-01-23 2019-06-21 华灿光电（浙江）有限公司 发光二极管芯片缺陷检测的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919908A (zh) * 2019-01-23 2019-06-21 华灿光电（浙江）有限公司 发光二极管芯片缺陷检测的方法和装置
CN109829914A (zh) * 2019-02-26 2019-05-31 视睿（杭州）信息科技有限公司 检测产品缺陷的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周小萌: "《基于深度学习的IC芯片外观缺陷识别算法研究》", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
邹文: "《基于机器视觉的PCB贴片元器件焊点定位与缺陷检测》", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375952A (zh) * 2022-10-18 2022-11-22 沃图水泵(上海)有限公司江苏分公司 一种芯片胶层缺陷分类方法
CN115375679A (zh) * 2022-10-24 2022-11-22 广东工业大学 一种缺陷芯片寻边寻点定位方法及装置
CN115375679B (zh) * 2022-10-24 2023-01-20 广东工业大学 一种缺陷芯片寻边寻点定位方法及装置
CN116629711A (zh) * 2023-07-21 2023-08-22 苏州友得利金属制品有限公司 一种基于钢管质量检测的分流处理方法及系统
CN116629711B (zh) * 2023-07-21 2023-10-27 苏州友得利金属制品有限公司 一种基于钢管质量检测的分流处理方法及系统

Similar Documents

Publication Publication Date Title
CN108982508B (zh) 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN115082419B (zh) 一种吹塑箱包生产缺陷检测方法
CN113870202A (zh) 一种基于深度学习技术的远端芯片缺陷检测系统
CN110210477B (zh) 一种数字式仪表读数识别方法
CN111652213A (zh) 一种基于深度学习的船舶水尺读数识别方法
CN114820625B (zh) 一种汽车顶块缺陷检测方法
CN116645367B (zh) 一种高端制造用的钢板切割质量检测方法
CN111582294A (zh) 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用
CN109540925B (zh) 基于差影法与局部方差测量算子的复杂瓷砖表面缺陷检测方法
CN110866430A (zh) 一种车牌识别方法及装置
CN110648330B (zh) 摄像头玻璃的缺陷检测方法
CN113706490B (zh) 一种晶片缺陷检测方法
CN114495098B (zh) 一种基于显微镜图像的盘星藻类细胞统计方法及系统
CN113240623B (zh) 一种路面病害检测方法及装置
CN114910480A (zh) 一种基于机器视觉的晶圆表面缺陷检测方法
CN113393426A (zh) 一种轧钢板表面缺陷检测方法
CN113177924A (zh) 一种工业流水线产品瑕疵检测方法
CN110458019B (zh) 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN112396580B (zh) 一种圆形零件缺陷检测方法
CN113989196A (zh) 一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法
CN116385440B (zh) 一种弧形刀片视觉检测方法
CN111950556A (zh) 一种基于深度学习的号牌印刷质量检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination