CN117036342B - 一种芯片缺陷识别方法及系统 - Google Patents

一种芯片缺陷识别方法及系统 Download PDF

Info

Publication number
CN117036342B
CN117036342B CN202311280308.1A CN202311280308A CN117036342B CN 117036342 B CN117036342 B CN 117036342B CN 202311280308 A CN202311280308 A CN 202311280308A CN 117036342 B CN117036342 B CN 117036342B
Authority
CN
China
Prior art keywords
image
chip
vector
feature
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311280308.1A
Other languages
English (en)
Other versions
CN117036342A (zh
Inventor
陈燕
柳建勇
陈魁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sunchip Technology Co ltd
Original Assignee
Shenzhen Mold Micro Semiconductor Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mold Micro Semiconductor Co ltd filed Critical Shenzhen Mold Micro Semiconductor Co ltd
Priority to CN202311280308.1A priority Critical patent/CN117036342B/zh
Publication of CN117036342A publication Critical patent/CN117036342A/zh
Application granted granted Critical
Publication of CN117036342B publication Critical patent/CN117036342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30072—Microarray; Biochip, DNA array; Well plate
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及机器视觉领域，揭露一种芯片缺陷识别方法及系统，所述方法包括：采集待识别芯片的芯片图像，对芯片图像进行去噪处理，得到去噪图像，提取去噪图像的特征标志，计算特征标志的角度特征、距离特征及局部二值特征，并融合角度特征、距离特征及局部二值特征的直方图归一化向量，得到标志融合向量，对标志融合向量与预构建芯片模板图像的模板融合向量进行特征标志匹配，构建芯片图像与预构建芯片模板图像之间的仿射变换矩阵；计算去噪图像的仿射图像与预构建芯片模板图像的差分二值图像；对差分二值图像进行连通区域检测，得到缺陷连通区域，识别缺陷连通区域的芯片缺陷类别。本发明可以提高芯片缺陷识别效率。

Description

一种芯片缺陷识别方法及系统
技术领域
本发明涉及机器视觉领域，尤其涉及一种芯片缺陷识别方法及系统。
背景技术
芯片缺陷识别是指对芯片的外观或性能中的异常进行区分和辨别，其中，芯片缺陷的类别多种多样，包括划痕、黑点、孔洞、色差、杂质、破损、污渍等。严重的芯片缺陷甚至能够影响产品的使用状况和寿命，因此芯片的缺陷识别在芯片工业生产线中是非常关键的一环，其可以积极地反馈产品质量信息，以便人们及时掌控各生产环节的健康状况，及时分拣出缺陷芯片。
目前传统的对于芯片的缺陷识别常应用深度学习的方法，深度学习模型是简单的连续的几何变换链，将一个向量空间映射到另一个向量空间，一般情况下，在构建好神经网络模型后，神经网络的训练就变成了层与层之间权重的学习，随着神经网络规模的不断扩充，要学习的权重参数也越来越多，神经网络的运算复杂度变得越来越大，时间成本增加，使得在线实用性受限，从而导致芯片缺陷识别效率不高。
发明内容
为了解决上述技术问题，本发明提供了一种芯片缺陷识别方法，可以提高芯片缺陷识别效率。
第一方面，本发明提供了一种芯片缺陷识别方法，包括：
采集待识别芯片的芯片图像，对所述芯片图像进行去噪处理，得到去噪图像，提取所述去噪图像的特征标志，并计算所述特征标志的质心和哈里斯角点；
根据所述质心和所述哈里斯角点，计算所述特征标志的角度特征、距离特征及局部二值特征，并分别计算所述角度特征、所述距离特征及所述局部二值特征的角度直方图、距离直方图及局部二值直方图，分别对所述角度直方图、所述距离直方图及所述局部二值直方图进行归一化，得到归一角度向量、归一距离向量及归一二值向量；
对所述归一角度向量、所述归一距离向量及所述归一二值向量进行融合，得到标志融合向量，对所述标志融合向量与预构建芯片模板图像的模板融合向量进行特征标志匹配，得到匹配点对，根据所述匹配点对，构建所述芯片图像与所述预构建芯片模板图像之间的仿射变换矩阵；
根据所述仿射变换矩阵，对所述去噪图像进行仿射变换，得到仿射图像，计算所述仿射图像与所述预构建芯片模板图像的差分二值图像；
对所述差分二值图像进行连通区域检测，得到缺陷连通区域，识别所述缺陷连通区域的芯片缺陷类别。
在第一方面的一种可能实现方式中，所述计算所述特征标志的质心和哈里斯角点，包括：
提取所述特征标志的构成像素点，根据构成像素点，确定所述特征标志的构成点集；
根据所述构成点集，利用下述公式计算所述特征标志的质心：
其中，表示质心的横坐标，/>表示构成点集中像素点的横坐标，/>表示质心的纵坐标，/>表示构成点集中像素点的纵坐标，/>表示构成点集中像素点的序号，/>表示构成点集中像素点的数量；
计算所述特征标志的每一像素点的哈里斯矩阵；
根据所述哈里斯矩阵，计算所述像素点的响应得分；
在所述响应得分大于预设的阈值时，判定所述像素点为所述特征标志的哈里斯角点。
在第一方面的一种可能实现方式中，所述根据所述质心和所述哈里斯角点，计算所述特征标志的角度特征、距离特征及局部二值特征，包括：
根据所述质心和所述哈里斯角点，构建所述特征标志的特征点集，选取所述特征点集中的任意一点为参考特征点，计算所述参考特征点和所述质心之间的单位参考向量；
识别所述参考特征点在所述特征点集中的其余特征点，构建所述参考特征点和所述其余特征点之间的位置特征向量；
计算所述位置特征向量和所述单位参考向量之间的夹角，将所述夹角作为所述特征标志的角度特征；
计算所述位置特征向量的模长，将所述模长作为所述特征标志的距离特征；
将所述特征标志划分为若干个子区域，计算所述子区域的子区域二值特征，根据所述区域二值特征，确定所述特征标志的局部二值特征。
在第一方面的一种可能实现方式中，所述分别计算所述角度特征、所述距离特征及所述局部二值特征的角度直方图、距离直方图及局部二值直方图，包括：
对所述局部二值特征进行十进制转换，得到转换局部特征；
根据所述转换局部特征，利用下述公式计算所述角度特征、所述距离特征及所述局部二值特征的角度直方图、距离直方图及局部二值直方图：
其中，表示角度直方图，/>表示第/>个角度特征，/>表示距离直方图，/>表示第/>个距离特征，/>局部二值直方图，/>表示第/>个转换局部特征，/>表示角度直方图的统计分辨率，/>表示角度特征的序号，/>表示角度特征的数量。
在第一方面的一种可能实现方式中，所述对所述标志融合向量与预构建芯片模板图像的模板融合向量进行特征标志匹配，得到匹配点对，包括：
对所述标志融合向量中的向量分量进行两两分组，得到分组向量，对所述分组向量进行全排列，得到排列向量序列；
计算所述排列向量序列与所述模板融合向量之间卡方相似度，在所述卡方相似度小于预设阈值时，识别所述标志融合向量对应的待匹配标志与预构建芯片模板图像的模板融合向量对应的模板标志；
构建所述待匹配标志和所述模板标志之间的映射关系；
根据所述映射关系，确定所述待匹配标志和所述模板标志之间的匹配点对。
在第一方面的一种可能实现方式中，所述计算所述排列向量序列与所述模板融合向量之间卡方相似度，包括：
利用下述公式计算所述排列向量序列与所述模板融合向量之间卡方相似度：
其中，表示卡方相似度，/>表示排列向量序列中的归一角度向量，/>表示模板融合向量中的归一角度向量，/>表示排列向量序列中的归一距离向量，/>表示模板融合向量中的归一距离向量，/>表示排列向量序列中的归一二值向量，/>表示模板融合向量中的归一二值向量，/>表示权重参数，/>表示模板融合向量的向量分量序号，/>表示模板融合向量的维数。
在第一方面的一种可能实现方式中，所述根据所述匹配点对，构建所述芯片图像与所述预构建芯片模板图像之间的仿射变换矩阵，包括：
分别识别所述芯片图像和所述芯片模板的图像坐标系和模板坐标系，根据所述图像坐标系和所述模板坐标系，构建所述匹配点对线性方程组；
利用最小二乘法，求解所述线性方程组的最小二乘解，将所述最小二乘解作为所述芯片图像与所述预构建芯片模板图像之间的仿射变换矩阵。
在第一方面的一种可能实现方式中，所述对所述差分二值图像进行连通区域检测，得到缺陷连通区域，包括：
对所述差分二值图像进行二值化处理，得到二值化图像；
利用下述公式对所述二值化图像进行连通性分析，得到连通性状态：
其中，表示二值化图像的游程像素在第/>行的起始位置，/>表示二值化图像的游程像素在第/>行的终止位置，/>表示二值化图像的游程像素在第/>行的起始位置，/>表示二值化图像的游程像素在第/>行的终止位置；
在所述连通性状态为连通时，确定所述二值化图像的缺陷连通区域。
在第一方面的一种可能实现方式中，所述识别所述缺陷连通区域的芯片缺陷类别，包括：
计算所述缺陷连通区域的连通特征，拼接所述连通特征为拼接连通向量，对所述拼接连通向量进行降维处理，得到降维连通向量；
利用预设训练好的芯片缺陷类别识别模型，计算所述降维连通向量的缺陷类别得分；在所述缺陷类别得分大于预设阈值时，将所述缺陷类别得分对应的缺陷类别作为最终的芯片缺陷类别。
第二方面，本发明提供了一种芯片缺陷识别系统，所述系统包括：
特征标志提取模块，用于采集待识别芯片的芯片图像，对所述芯片图像进行去噪处理，得到去噪图像，提取所述去噪图像的特征标志，并计算所述特征标志的质心和哈里斯角点；
特征标志特征计算模块，用于根据所述质心和所述哈里斯角点，计算所述特征标志的角度特征、距离特征及局部二值特征，并分别计算所述角度特征、所述距离特征及所述局部二值特征的角度直方图、距离直方图及局部二值直方图，分别对所述角度直方图、所述距离直方图及所述局部二值直方图进行归一化，得到归一角度向量、归一距离向量及归一二值向量；
仿射矩阵构建模块，用于对所述归一角度向量、所述归一距离向量及所述归一二值向量进行融合，得到标志融合向量，对所述标志融合向量与预构建芯片模板图像的模板融合向量进行特征标志匹配，得到匹配点对，根据所述匹配点对，构建所述芯片图像与所述预构建芯片模板图像之间的仿射变换矩阵；
差分二值图像计算模块，用于根据所述仿射变换矩阵，对所述去噪图像进行仿射变换，得到仿射图像，计算所述仿射图像与所述预构建芯片模板图像的差分二值图像；
缺陷类别识别模块，用于对所述差分二值图像进行连通区域检测，得到缺陷连通区域，识别所述缺陷连通区域的芯片缺陷类别。
与现有技术相比，本方案的技术原理及有益效果在于：
本方案首先通过采集待识别芯片的芯片图像可以得到原始目标处理对象，对所述芯片图像进行去噪处理，得到去噪图像可以去除成像设备与外部环境噪声干扰等影响，提高所述芯片图像的图像质量，以更好地表达芯片特征，提取所述去噪图像的特征标志可以确定去噪图像的关键特征对象，以为后续只在关键特征对象上进行匹配，避免了在全局上寻找特征，极大地减少计算量，提高识别的实时性，及计算所述特征标志的质心和哈里斯角点可以确定后续用于与预构建芯片模板图像匹配的关键点，并根据所述质心和所述哈里斯角点，计算所述特征标志的角度特征、距离特征及局部二值特征可以得到特征标志点的方位环境特征和局部纹理特征，以为后续与芯片模板进行特征标志匹配，及分别计算所述角度特征、所述距离特征及所述局部二值特征的角度直方图、距离直方图及局部二值直方图可以得到芯片的角度、距离及局部纹理的统计特征，分别对所述角度直方图、所述距离直方图及所述局部二值直方图进行归一化可以得到芯片的方位环境特征向量及局部纹理特征，以为后续的特征标志的匹配前提；其次，本方案通过对所述归一角度向量、所述归一距离向量及所述归一二值向量进行融合是对数据标准化处理，消除角度、距离及局部纹理之间的量纲影响，以解决角度、距离及局部纹理之间的可比性，并对所述标志融合向量与预构建芯片模板图像的模板融合向量进行特征标志匹配可以确定匹配点对，以作为后续与芯片模板匹配的基础，提高芯片缺陷识别效率，及根据所述匹配点对，构建所述芯片图像与所述预构建芯片模板图像之间的仿射变换矩阵可以确定芯片图像与芯片模板之间的转换关系，以将两种图像转换到同一坐标系中，方便比较匹配；进一步地，本方案通过根据所述仿射变换矩阵，对所述去噪图像进行仿射变换可以将去噪图像转换到与芯片模板相同的坐标系中，方便后续的模板匹配，并计算所述仿射图像与所述预构建芯片模板图像的差分二值图像可以确定所述仿射图像与所述预构建芯片模板图像之间的差异区域，从而为后续分析待识别芯片的芯片缺陷类别提供区域定位，及对所述差分二值图像进行连通区域检测可以得到芯片缺陷的区域位置，再通过识别所述缺陷连通区域的芯片缺陷类别可以识别芯片缺陷最终类别以实现问题意图并提高缺陷识别效率。因此，本发明实施例提出的一种芯片缺陷识别方法及系统，可以提高芯片缺陷类别在线识别的实用性和芯片缺陷类别识别效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种芯片缺陷识别方法的流程示意图；
图2为本发明一实施例提供的一种芯片缺陷识别系统的模块示意图。
具体实施方式
应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种芯片缺陷识别方法，所述芯片缺陷识别方法的执行主体包括但不限于服务端、终端等能够被配置为执行本发明实施例提供的该方法的电子设备中的至少一种。换言之，所述芯片缺陷识别方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参阅图1所示，是本发明一实施例提供的芯片缺陷识别方法的流程示意图。其中，图1中描述的芯片缺陷识别方法包括以下步骤S1-S5：
S1、采集待识别芯片的芯片图像，对所述芯片图像进行去噪处理，得到去噪图像，提取所述去噪图像的特征标志，并计算所述特征标志的质心和哈里斯角点。
本发明实施例中，所述芯片图像是对芯片的一种相似性的、生动性的描述或写真，是人类认识芯片的最常用的信息载体，其可以通过工业数字相机采集。其中，所述芯片是半导体元件产品的统称。
进一步地，本发明实施例通过对所述芯片图像进行去噪处理，得到去噪图像可以去除成像设备与外部环境噪声干扰等影响，提高所述芯片图像的图像质量，以更好地表达芯片特征。其中，所述去噪图像是指通过去除图像噪声的方法后所得到的图像。
进一步地，作为本发明的一个可选实施例，所述对所述芯片图像进行去噪处理，得到去噪图像可以通过中值滤波、均值滤波、自适应维纳滤波器以及小波去噪等算法等实现。
进一步地，本发明实施例通过提取所述去噪图像的特征标志可以确定去噪图像的关键特征对象，以为后续只在关键特征对象上进行匹配，避免了在全局上寻找特征，极大地减少计算量，提高识别的实时性。其中，所述特征标志实质是用来构成一些平面及测量内容的易于定位相对稳定的参照物，如芯片的引脚位置，芯片上特定的图案标记、角点以及关键点等。
进一步地，作为本发明的一个可选实施例，所述提取所述去噪图像的特征标志，包括：获取所述去噪图像对应的芯片类型，根据所述芯片类型，识别所述去噪图像的参照物；根据所述参照物，确定所述去噪图像的特征标志。
进一步地，本发明实施例通过计算所述特征标志的质心和哈里斯角点可以确定后续用于与预构建芯片模板图像匹配的关键点。
进一步地，作为本发明的一个可选实施例，所述计算所述特征标志的质心和哈里斯角点，包括：
提取所述特征标志的构成像素点，根据构成像素点，确定所述特征标志的构成点集；
根据所述构成点集，利用下述公式计算所述特征标志的质心：
其中，表示质心的横坐标，/>表示构成点集中像素点的横坐标，/>表示质心的纵坐标，/>表示构成点集中像素点的纵坐标，/>表示构成点集中像素点的序号，/>表示构成点集中像素点的数量；
计算所述特征标志的每一像素点的哈里斯矩阵；
根据所述哈里斯矩阵，计算所述像素点的响应得分；
在所述响应得分大于预设的阈值时，判定所述像素点为所述特征标志的哈里斯角点。
进一步地，作为本发明的一个可选实施例，所述计算所述特征标志的每一像素点的哈里斯矩阵，包括：利用预设的固定窗口，计算所述去噪图像的每一像素点在所述固定窗口内的水平方向和垂直方向的空间梯度；根据所述空间梯度，利用所述固定窗口的窗口函数，计算所述去噪图像的每一像素点的哈里斯矩阵。
所述哈里斯矩阵如下述形式：
其中，表示窗口函数，/>表示特征标志的像素/>在水平方向的水平灰度梯度，/>表示特征标志的像素/>在垂直方向的垂直灰度梯度，/>表示所述水平灰度梯度的平方，/>表示所述垂直灰度梯度的平方，/>所述水平灰度梯度与所述垂直灰度梯度的乘积。
进一步地，作为本发明的一个实施例，所述根据所述哈里斯矩阵，计算所述像素点的响应得分，包括：
计算所述像素点的响应得分，如下述公式：
其中，表示特征标志在像素/>的响应得分，/>表示特征标志在像素的哈里斯矩阵的行列式，/>表示特征标志在像素/>的哈里斯矩阵的迹，/>表示经验系数，通常/>[0.04,0.06]，/>、/>表示特征标志在像素/>的哈里斯矩阵的特征值。
S2、根据所述质心和所述哈里斯角点，计算所述特征标志的角度特征、距离特征及局部二值特征，并分别计算所述角度特征、所述距离特征及所述局部二值特征的角度直方图、距离直方图及局部二值直方图，分别对所述角度直方图、所述距离直方图及所述局部二值直方图进行归一化，得到归一角度向量、归一距离向量及归一二值向量。
本发明实施例通过根据所述质心和所述哈里斯角点，计算所述特征标志的角度特征、距离特征及局部二值特征可以得到特征标志点的方位环境特征和局部纹理特征，以为后续与芯片模板进行特征标志匹配。
进一步地，作为本发明的一个可选实施例，所述根据所述质心和所述哈里斯角点，计算所述特征标志的角度特征、距离特征及局部二值特征，包括：根据所述质心和所述哈里斯角点，构建所述特征标志的特征点集，选取所述特征点集中的任意一点为参考特征点，计算所述参考特征点和所述质心之间的单位参考向量；识别所述参考特征点在所述特征点集中的其余特征点，构建所述参考特征点和所述其余特征点之间的位置特征向量；计算所述位置特征向量和所述单位参考向量之间的夹角，将所述夹角作为所述特征标志的角度特征；计算所述位置特征向量的模长，将所述模长作为所述特征标志的距离特征；将所述特征标志划分为若干个子区域，计算所述子区域的子区域二值特征，根据所述区域二值特征，确定所述特征标志的局部二值特征。
可选地，所述计算所述参考特征点和所述质心之间的单位参考向量，包括：
分别构建所述参考特征点与预构建的坐标原点之间的参考特征向量及构建所述质心与预构建的坐标原点之间的质心特征向量；
根据所述参考特征向量和所述质心特征向量，利用下述公式计算所述参考特征点和所述质心之间的单位参考向量：
其中，表示参考特征点和所述质心之间的单位参考向量，/>表示质心特征向量，表示参考特征向量。
可选地，所述计算所述位置特征向量和所述单位参考向量之间的夹角，包括：
其中，表示第/>个位置特征向量和所述单位参考向量之间的夹角，/>表示单位参考向量，/>表示位置特征向量，/>表示位置特征向量的序号，/>表示位置特征向量的数量。
可选地，所述计算所述子区域的子区域二值特征，包括：对所述子区域进行灰度化处理，得到子区域灰度图像，对所述子区域灰度图像中的每个像素，获取所述像素的邻域像素，计算所述邻域像素与所述像素的像素差值，根据所述像素差值，确定所述子区域的子区域二值特征。其中，当所述像素差值大于0时，所述子区域二值特征在所述邻域像素的位置标记为1，当所述像素差值不大于0时，所述子区域二值特征在所述邻域像素的位置标记为0。
进一步地，本发明实施例通过分别计算所述角度特征、所述距离特征及所述局部二值特征的角度直方图、距离直方图及局部二值直方图可以得到芯片的角度、距离及局部纹理的统计特征。其中，所述直方图是一种统计报告图，由一系列高度不等的纵向条纹或线段表示数据分布的情况。
进一步地，作为本发明的一个可选实施例，所述分别计算所述角度特征、所述距离特征及所述局部二值特征的角度直方图、距离直方图及局部二值直方图，包括：
对所述局部二值特征进行十进制转换，得到转换局部特征；
根据所述转换局部特征，利用下述公式计算所述角度特征、所述距离特征及所述局部二值特征的角度直方图、距离直方图及局部二值直方图：
其中，表示角度直方图，/>表示第/>个角度特征，/>表示距离直方图，/>表示第/>个距离特征，/>表示局部二值直方图，/>表示第/>个转换局部特征，/>表示角度直方图的统计分辨率，/>表示角度特征的序号，/>表示角度特征的数量。
进一步地，本发明实施例通过分别对所述角度直方图、所述距离直方图及所述局部二值直方图进行归一化可以得到芯片的方位环境特征向量及局部纹理特征，以为后续的特征标志的匹配前提。
进一步地，作为本发明的一个可选实施例，所述分别对所述角度直方图、所述距离直方图及所述局部二值直方图进行归一化，得到归一角度向量、归一距离向量及归一二值向量，包括：
其中，表示归一角度特征向量，/>表示角度直方图，/>表示归一距离特征向量，表示距离直方图，/>表示归一二值向量，/>表示局部二值直方图，/>表示角度直方图的统计级数，/>表示角度直方图的统计分辨率。
S3、对所述归一角度向量、所述归一距离向量及所述归一二值向量进行融合，得到标志融合向量，对所述标志融合向量与预构建芯片模板图像的模板融合向量进行特征标志匹配，得到匹配点对，根据所述匹配点对，构建所述芯片图像与所述预构建芯片模板图像之间的仿射变换矩阵。
本发明实施例通过对所述归一角度向量、所述归一距离向量及所述归一二值向量进行融合是对数据标准化处理，消除角度、距离及局部纹理之间的量纲影响，以解决角度、距离及局部纹理之间的可比性。
进一步地，作为本发明的一个可选实施例，所述对所述归一角度向量、所述归一距离向量及所述归一二值向量进行融合，得到标志融合向量可以通过拼接算法实现。
进一步地，本发明实施例通过对所述标志融合向量与预构建芯片模板图像的模板融合向量进行特征标志匹配可以确定匹配点对，以作为后续与芯片模板匹配的基础，提高芯片缺陷识别效率。
进一步地，作为本发明的一个可选实施例，所述对所述标志融合向量与预构建芯片模板图像的模板融合向量进行特征标志匹配，得到匹配点对，包括：对所述标志融合向量中的向量分量进行两两分组，得到分组向量，对所述分组向量进行全排列，得到排列向量序列；计算所述排列向量序列与所述模板融合向量之间卡方相似度，在所述卡方相似度小于预设阈值时，识别所述标志融合向量对应的待匹配标志与预构建芯片模板图像的模板融合向量对应的模板标志；构建所述待匹配标志和所述模板标志之间的映射关系；根据所述映射关系，确定所述待匹配标志和所述模板标志之间的匹配点对。其中，所述预设阈值是指一个效应能够产生的临界值，其可根据卡方检验临界值表设定。
进一步地，作为本发明的一个可选实施例，所述计算所述排列向量序列与所述模板融合向量之间卡方相似度，包括：
利用下述公式计算所述排列向量序列与所述模板融合向量之间卡方相似度：
其中，表示卡方相似度，/>表示排列向量序列中的归一角度向量，/>表示模板融合向量中的归一角度向量，/>表示排列向量序列中的归一距离向量，/>表示模板融合向量中的归一距离向量，/>表示排列向量序列中的归一二值向量，/>表示模板融合向量中的归一二值向量，/>表示权重参数，/>表示模板融合向量的向量分量序号，/>表示模板融合向量的维数。
进一步地，本发明实施例通过根据所述匹配点对，构建所述芯片图像与所述预构建芯片模板图像之间的仿射变换矩阵可以确定芯片图像与芯片模板之间的转换关系，以将两种图像转换到同一坐标系中，方便比较匹配。其中，所述仿射变换矩阵是表征在几何上两个向量空间之间的一个仿射变换或者仿射映射关系的矩阵。
进一步地，作为本发明的一个可选实施例，所述根据所述匹配点对，构建所述芯片图像与所述预构建芯片模板图像之间的仿射变换矩阵，包括：分别识别所述芯片图像和所述芯片模板的图像坐标系和模板坐标系，根据所述图像坐标系和所述模板坐标系，构建所述匹配点对线性方程组；利用最小二乘法，求解所述线性方程组的最小二乘解，将所述最小二乘解作为所述芯片图像与所述预构建芯片模板图像之间的仿射变换矩阵。其中 ，所述最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。
进一步地，作为本发明的一个可选实施例，所述根据所述图像坐标系和所述模板坐标系，构建所述匹配点对线性方程组，包括：
利用下述公式，构建所述匹配点对线性方程组：
其中，，/>分别表示第一个匹配点对在模板坐标系下的横坐标和纵坐标，/>，/>分别表示第一个匹配点对在模板坐标系下的横坐标和纵坐标，/>，/>分别表示第/>个匹配点对在图像坐标系下的横坐标和纵坐标，/>，/>分别表示第/>个匹配点对在模板坐标系下的横坐标和纵坐标，/>，/>，/>，/>表示旋转放缩因子，/>，/>表示平移因子，/>表示匹配点对的数量。
S4、根据所述仿射变换矩阵，对所述去噪图像进行仿射变换，得到仿射图像，计算所述仿射图像与所述预构建芯片模板图像的差分二值图像。
本发明实施例通过根据所述仿射变换矩阵，对所述去噪图像进行仿射变换可以将去噪图像转换到与芯片模板相同的坐标系中，方便后续的模板匹配。
进一步地，作为本发明的一个可选实施例，所述根据所述仿射变换矩阵，对所述去噪图像进行仿射变换，得到仿射图像，包括：
根据所述仿射变换矩阵，利用下述公式对所述去噪图像进行仿射变换，得到仿射图像：
其中，表示仿射图像，/>表示由匹配点对在图像坐标系下的横纵坐标构成的图像坐标矩阵，/>表示仿射变换矩阵。
可选地，所述如形式如下：
其中，表示图像坐标矩阵，/>，/>，/>，/>表示匹配点对在图像坐标系下的横纵坐标。
进一步地，本发明实施例通过计算所述仿射图像与所述预构建芯片模板图像的差分二值图像可以确定所述仿射图像与所述预构建芯片模板图像之间的差异区域，从而为后续分析待识别芯片的芯片缺陷类别提供区域定位，所述差分二值图像可通过对所述仿射图像与所述预构建芯片模板图像进行差分算法实现。
S5、对所述差分二值图像进行连通区域检测，得到缺陷连通区域，识别所述缺陷连通区域的芯片缺陷类别。
本发明实施例通过对所述差分二值图像进行连通区域检测可以得到芯片缺陷的区域位置。
进一步地，作为本发明的一个可选实施例，所述对所述差分二值图像进行连通区域检测，得到缺陷连通区域，包括：
对所述差分二值图像进行二值化处理，得到二值化图像；
利用下述公式对所述二值化图像进行连通性分析，得到连通性状态：
其中，表示二值化图像的游程像素在第/>行的起始位置，/>表示二值化图像的游程像素在第/>行的终止位置，/>表示二值化图像的游程像素在第/>行的起始位置，/>表示二值化图像的游程像素在第/>行的终止位置；
在所述连通性状态为连通时，确定所述二值化图像的缺陷连通区域。
进一步地，本发明实施例通过识别所述缺陷连通区域的芯片缺陷类别可以识别芯片缺陷最终类别以实现问题意图并提高缺陷识别效率。
进一步地，作为本发明的一个可选实施例，所述识别所述缺陷连通区域的芯片缺陷类别，包括：计算所述缺陷连通区域的连通特征，拼接所述连通特征为拼接连通向量，对所述拼接连通向量进行降维处理，得到降维连通向量；利用预设训练好的芯片缺陷类别识别模型，计算所述降维连通向量的缺陷类别得分；在所述缺陷类别得分大于预设阈值时，将所述缺陷类别得分对应的缺陷类别作为最终的芯片缺陷类别。其中，所述连通特征是指表征空间连通性的根本特性和特点，其包括连通区域的外接矩形、面积、周长、质心坐标等特征。
与现有技术相比，本方案的技术原理及有益效果在于：
本方案首先通过采集待识别芯片的芯片图像可以得到原始目标处理对象，对所述芯片图像进行去噪处理，得到去噪图像可以去除成像设备与外部环境噪声干扰等影响，提高所述芯片图像的图像质量，以更好地表达芯片特征，提取所述去噪图像的特征标志可以确定去噪图像的关键特征对象，以为后续只在关键特征对象上进行匹配，避免了在全局上寻找特征，极大地减少计算量，提高识别的实时性，及计算所述特征标志的质心和哈里斯角点可以确定后续用于与预构建芯片模板图像匹配的关键点，并根据所述质心和所述哈里斯角点，计算所述特征标志的角度特征、距离特征及局部二值特征可以得到特征标志点的方位环境特征和局部纹理特征，以为后续与芯片模板进行特征标志匹配，及分别计算所述角度特征、所述距离特征及所述局部二值特征的角度直方图、距离直方图及局部二值直方图可以得到芯片的角度、距离及局部纹理的统计特征，分别对所述角度直方图、所述距离直方图及所述局部二值直方图进行归一化可以得到芯片的方位环境特征向量及局部纹理特征，以为后续的特征标志的匹配前提；其次，本方案通过对所述归一角度向量、所述归一距离向量及所述归一二值向量进行融合是对数据标准化处理，消除角度、距离及局部纹理之间的量纲影响，以解决角度、距离及局部纹理之间的可比性，并对所述标志融合向量与预构建芯片模板图像的模板融合向量进行特征标志匹配可以确定匹配点对，以作为后续与芯片模板匹配的基础，提高芯片缺陷识别效率，及根据所述匹配点对，构建所述芯片图像与所述预构建芯片模板图像之间的仿射变换矩阵可以确定芯片图像与芯片模板之间的转换关系，以将两种图像转换到同一坐标系中，方便比较匹配；进一步地，本方案通过根据所述仿射变换矩阵，对所述去噪图像进行仿射变换可以将去噪图像转换到与芯片模板相同的坐标系中，方便后续的模板匹配，并计算所述仿射图像与所述预构建芯片模板图像的差分二值图像可以确定所述仿射图像与所述预构建芯片模板图像之间的差异区域，从而为后续分析待识别芯片的芯片缺陷类别提供区域定位，及对所述差分二值图像进行连通区域检测可以得到芯片缺陷的区域位置，再通过识别所述缺陷连通区域的芯片缺陷类别可以识别芯片缺陷最终类别以实现问题意图并提高缺陷识别效率。因此，本发明实施例提出的一种芯片缺陷识别方法及系统，可以提高芯片缺陷类别在线识别的实用性和芯片缺陷类别识别效率。
如图2所示，是本发明芯片缺陷识别系统的功能模块图。
本发明所述芯片缺陷识别系统200可以安装于电子设备中。根据实现的功能，所述芯片缺陷识别系统可以包括特征标志提取模块201、特征标志特征计算模块202、仿射矩阵构建模块203、差分二值图像计算模块204以及缺陷类别识别模块205。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本发明实施例中，关于各模块/单元的功能如下：
所述特征标志提取模块201，用于采集待识别芯片的芯片图像，对所述芯片图像进行去噪处理，得到去噪图像，提取所述去噪图像的特征标志，并计算所述特征标志的质心和哈里斯角点；
所述特征标志特征计算模块202，用于根据所述质心和所述哈里斯角点，计算所述特征标志的角度特征、距离特征及局部二值特征，并分别计算所述角度特征、所述距离特征及所述局部二值特征的角度直方图、距离直方图及局部二值直方图，分别对所述角度直方图、所述距离直方图及所述局部二值直方图进行归一化，得到归一角度向量、归一距离向量及归一二值向量；
所述仿射矩阵构建模块203，用于对所述归一角度向量、所述归一距离向量及所述归一二值向量进行融合，得到标志融合向量，对所述标志融合向量与预构建芯片模板图像的模板融合向量进行特征标志匹配，得到匹配点对，根据所述匹配点对，构建所述芯片图像与所述预构建芯片模板图像之间的仿射变换矩阵；
所述差分二值图像计算模块204，用于根据所述仿射变换矩阵，对所述去噪图像进行仿射变换，得到仿射图像，计算所述仿射图像与所述预构建芯片模板图像的差分二值图像；
所述缺陷类别识别模块205，用于对所述差分二值图像进行连通区域检测，得到缺陷连通区域，识别所述缺陷连通区域的芯片缺陷类别。
详细地，本发明实施例中所述芯片缺陷识别系统200中的所述各模块在使用时采用与上述的图1中所述的芯片缺陷识别方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
应该了解，所述实施例仅为说明之用，在专利发明范围上并不受此结构的限制。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种芯片缺陷识别方法，其特征在于，所述方法包括：
采集待识别芯片的芯片图像，对所述芯片图像进行去噪处理，得到去噪图像，提取所述去噪图像的特征标志，所述特征标志为芯片的方位环境特征向量及局部纹理特征，并计算所述特征标志的质心和哈里斯角点；
根据所述质心和所述哈里斯角点，计算所述特征标志的角度特征、距离特征及局部二值特征，并分别计算所述角度特征、所述距离特征及所述局部二值特征的角度直方图、距离直方图及局部二值直方图，分别对所述角度直方图、所述距离直方图及所述局部二值直方图进行归一化，得到归一角度向量、归一距离向量及归一二值向量；
对所述归一角度向量、所述归一距离向量及所述归一二值向量进行融合，得到标志融合向量，对所述标志融合向量与预构建芯片模板图像的模板融合向量进行特征标志匹配，得到匹配点对，根据所述匹配点对，构建所述芯片图像与预构建芯片模板图像之间的仿射变换矩阵；
根据所述仿射变换矩阵，对所述去噪图像进行仿射变换，得到仿射图像，计算所述仿射图像与所述预构建芯片模板图像的差分二值图像；
对所述差分二值图像进行连通区域检测，得到缺陷连通区域，识别所述缺陷连通区域的芯片缺陷类别。
2.如权利要求1所述的芯片缺陷识别方法，其特征在于，所述计算所述特征标志的质心和哈里斯角点，包括：
提取所述特征标志的构成像素点，根据构成像素点，确定所述特征标志的构成点集；
根据所述构成点集，利用下述公式计算所述特征标志的质心：
其中，/>表示质心的横坐标，/>表示构成点集中像素点的横坐标，/>表示质心的纵坐标，/>表示构成点集中像素点的纵坐标，/>表示构成点集中像素点的序号，/>表示构成点集中像素点的数量；
计算所述特征标志的每一像素点的哈里斯矩阵；
根据所述哈里斯矩阵，计算所述像素点的响应得分；
在所述响应得分大于预设的阈值时，判定所述像素点为所述特征标志的哈里斯角点。
3.如权利要求1所述的芯片缺陷识别方法，其特征在于，所述根据所述质心和所述哈里斯角点，计算所述特征标志的角度特征、距离特征及局部二值特征，包括：
根据所述质心和所述哈里斯角点，构建所述特征标志的特征点集，选取所述特征点集中的任意一点为参考特征点，计算所述参考特征点和所述质心之间的单位参考向量；
识别所述参考特征点在所述特征点集中的其余特征点，构建所述参考特征点和所述其余特征点之间的位置特征向量；
计算所述位置特征向量和所述单位参考向量之间的夹角，将所述夹角作为所述特征标志的角度特征；
计算所述位置特征向量的模长，将所述模长作为所述特征标志的距离特征；
将所述特征标志划分为若干个子区域，计算所述子区域的子区域二值特征，根据所述区域二值特征，确定所述特征标志的局部二值特征。
4.如权利要求1所述的芯片缺陷识别方法，其特征在于，所述分别计算所述角度特征、所述距离特征及所述局部二值特征的角度直方图、距离直方图及局部二值直方图，包括：
对所述局部二值特征进行十进制转换，得到转换局部特征；
根据所述转换局部特征，利用下述公式计算所述角度特征、所述距离特征及所述局部二值特征的角度直方图、距离直方图及局部二值直方图：
其中，/>表示角度直方图，/>表示第/>个角度特征，/>表示距离直方图，/>表示第/>个距离特征，/>局部二值直方图，/>表示第/>个转换局部特征，/>表示角度直方图的统计分辨率，/>表示角度特征的序号，/>表示角度特征的数量。
5.如权利要求1所述的芯片缺陷识别方法，其特征在于，所述对所述标志融合向量与预构建芯片模板图像的模板融合向量进行特征标志匹配，得到匹配点对，包括：
对所述标志融合向量中的向量分量进行两两分组，得到分组向量，对所述分组向量进行全排列，得到排列向量序列；
计算所述排列向量序列与所述模板融合向量之间卡方相似度，在所述卡方相似度小于预设阈值时，识别所述标志融合向量对应的待匹配标志与预构建芯片模板图像的模板融合向量对应的模板标志；
构建所述待匹配标志和所述模板标志之间的映射关系；
根据所述映射关系，确定所述待匹配标志和所述模板标志之间的匹配点对。
6.如权利要求5所述的芯片缺陷识别方法，其特征在于，所述计算所述排列向量序列与所述模板融合向量之间卡方相似度，包括：
利用下述公式计算所述排列向量序列与所述模板融合向量之间卡方相似度：
其中，/>表示卡方相似度，/>表示排列向量序列中的归一角度向量，/>表示模板融合向量中的归一角度向量，/>表示排列向量序列中的归一距离向量，/>表示模板融合向量中的归一距离向量，/>表示排列向量序列中的归一二值向量，/>表示模板融合向量中的归一二值向量，/>表示权重参数，/>表示模板融合向量的向量分量序号，/>表示模板融合向量的维数。
7.如权利要求1所述的芯片缺陷识别方法，其特征在于，所述根据所述匹配点对，构建所述芯片图像与所述预构建芯片模板图像之间的仿射变换矩阵，包括：
分别识别所述芯片图像和所述芯片模板的图像坐标系和模板坐标系，根据所述图像坐标系和所述模板坐标系，构建所述匹配点对线性方程组；
利用最小二乘法，求解所述线性方程组的最小二乘解，将所述最小二乘解作为所述芯片图像与所述预构建芯片模板图像之间的仿射变换矩阵。
8.如权利要求1所述的芯片缺陷识别方法，其特征在于，所述对所述差分二值图像进行连通区域检测，得到缺陷连通区域，包括：
对所述差分二值图像进行二值化处理，得到二值化图像；利用下述公式对所述二值化图像进行连通性分析，得到连通性状态：
其中，/>表示二值化图像的游程像素在第/>行的起始位置，表示二值化图像的游程像素在第/>行的终止位置，/>表示二值化图像的游程像素在第/>行的起始位置，/>表示二值化图像的游程像素在第/>行的终止位置；
在所述连通性状态为连通时，确定所述二值化图像的缺陷连通区域。
9.如权利要求1所述的芯片缺陷识别方法，其特征在于，所述识别所述缺陷连通区域的芯片缺陷类别，包括：
计算所述缺陷连通区域的连通特征，拼接所述连通特征为拼接连通向量，对所述拼接连通向量进行降维处理，得到降维连通向量；
利用预设训练好的芯片缺陷类别识别模型，计算所述降维连通向量的缺陷类别得分；在所述缺陷类别得分大于预设阈值时，将所述缺陷类别得分对应的缺陷类别作为最终的芯片缺陷类别。
10.一种芯片缺陷识别系统，其特征在于，所述系统包括：
特征标志提取模块，用于采集待识别芯片的芯片图像，对所述芯片图像进行去噪处理，得到去噪图像，提取所述去噪图像的特征标志，并计算所述特征标志的质心和哈里斯角点；
特征标志特征计算模块，用于根据所述质心和所述哈里斯角点，计算所述特征标志的角度特征、距离特征及局部二值特征，并分别计算所述角度特征、所述距离特征及所述局部二值特征的角度直方图、距离直方图及局部二值直方图，分别对所述角度直方图、所述距离直方图及所述局部二值直方图进行归一化，得到归一角度向量、归一距离向量及归一二值向量；
仿射矩阵构建模块，用于对所述归一角度向量、所述归一距离向量及所述归一二值向量进行融合，得到标志融合向量，对所述标志融合向量与预构建芯片模板图像的模板融合向量进行特征标志匹配，得到匹配点对，根据所述匹配点对，构建所述芯片图像与所述预构建芯片模板图像之间的仿射变换矩阵；
差分二值图像计算模块，用于根据所述仿射变换矩阵，对所述去噪图像进行仿射变换，得到仿射图像，计算所述仿射图像与所述预构建芯片模板图像的差分二值图像；
缺陷类别识别模块，用于对所述差分二值图像进行连通区域检测，得到缺陷连通区域，识别所述缺陷连通区域的芯片缺陷类别。
CN202311280308.1A 2023-10-07 2023-10-07 一种芯片缺陷识别方法及系统 Active CN117036342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311280308.1A CN117036342B (zh) 2023-10-07 2023-10-07 一种芯片缺陷识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311280308.1A CN117036342B (zh) 2023-10-07 2023-10-07 一种芯片缺陷识别方法及系统

Publications (2)

Publication Number Publication Date
CN117036342A CN117036342A (zh) 2023-11-10
CN117036342B true CN117036342B (zh) 2024-02-06

Family

ID=88632128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311280308.1A Active CN117036342B (zh) 2023-10-07 2023-10-07 一种芯片缺陷识别方法及系统

Country Status (1)

Country Link
CN (1) CN117036342B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252876B (zh) * 2023-11-17 2024-02-09 江西斯迈得半导体有限公司 一种led支架缺陷检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110794396A (zh) * 2019-08-05 2020-02-14 上海埃威航空电子有限公司 基于激光雷达和导航雷达的多目标识别方法及系统
CN114419007A (zh) * 2022-01-21 2022-04-29 西安交通大学 多策略融合深度学习网络模型的缺陷类型识别方法及系统
CN114677348A (zh) * 2022-03-22 2022-06-28 聚时科技(上海)有限公司 一种基于视觉的ic芯片缺陷的检测方法、系统和存储介质
CN116503316A (zh) * 2023-01-12 2023-07-28 合肥喆塔科技有限公司 一种基于图像处理的芯片缺陷量测方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110794396A (zh) * 2019-08-05 2020-02-14 上海埃威航空电子有限公司 基于激光雷达和导航雷达的多目标识别方法及系统
CN114419007A (zh) * 2022-01-21 2022-04-29 西安交通大学 多策略融合深度学习网络模型的缺陷类型识别方法及系统
CN114677348A (zh) * 2022-03-22 2022-06-28 聚时科技(上海)有限公司 一种基于视觉的ic芯片缺陷的检测方法、系统和存储介质
CN116503316A (zh) * 2023-01-12 2023-07-28 合肥喆塔科技有限公司 一种基于图像处理的芯片缺陷量测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于HALCON的贴片IC焊接缺陷检测算法研究;李文静 等;兵器装备工程学报(第08期);全文 *
李文静 等.基于HALCON的贴片IC焊接缺陷检测算法研究.兵器装备工程学报.2020,(第08期),全文. *

Also Published As

Publication number Publication date
CN117036342A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
Hassanin et al. A real-time approach for automatic defect detection from PCBs based on SURF features and morphological operations
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN110264448B (zh) 一种基于机器视觉的绝缘子故障检测方法
CN108520226B (zh) 一种基于躯体分解和显著性检测的行人重识别方法
CN109409355B (zh) 一种新型变压器铭牌识别的方法及装置
CN111611874B (zh) 基于ResNet和Canny的人脸口罩佩戴检测方法
CN111709909A (zh) 基于深度学习的通用印刷缺陷检测方法及其模型
CN111091544B (zh) 铁路货车转向架侧面一体架构断裂故障检测方法
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
CN112288761B (zh) 一种异常发热的电力设备检测方法、装置和可读存储介质
US20140301608A1 (en) Chemical structure recognition tool
CN111445459A (zh) 一种基于深度孪生网络的图像缺陷检测方法及系统
CN117036342B (zh) 一种芯片缺陷识别方法及系统
CN106682641A (zh) 基于fhog‑lbph特征的图像行人识别方法
CN103617413B (zh) 一种在图像中识别物体的方法
CN111127417B (zh) 一种基于sift特征匹配和改进ssd算法的印刷缺陷检测方法
Shen et al. Adaptive pedestrian tracking via patch-based features and spatial–temporal similarity measurement
CN113221881B (zh) 一种多层级的智能手机屏幕缺陷检测方法
CN110222661B (zh) 一种用于运动目标识别及跟踪的特征提取方法
CN113516619B (zh) 一种基于图像处理技术的产品表面瑕疵识别方法
CN112001362A (zh) 一种图像分析方法、图像分析装置及图像分析系统
CN109753962A (zh) 基于混合网络的自然场景图像中文本区域的处理方法
CN111368742A (zh) 基于视频分析的双黄交通标线的重建识别方法及系统
CN111462310A (zh) 一种基于多视几何的螺栓缺陷空间定位方法
CN110795995B (zh) 数据处理方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240205

Address after: 518000 the second and third floors of building 4, phase II factory building, Fu'an industrial city, Dayang Development Zone, Fuyong street, Bao'an District, Shenzhen City, Guangdong Province

Applicant after: SHENZHEN SUNCHIP TECHNOLOGY CO.,LTD.

Country or region after: China

Address before: 518000 509, block D, Huafeng Bao'an Zhigu science and Technology Innovation Park, No. 4 Yintian Road, Yantian community, Xixiang street, Bao'an District, Shenzhen, Guangdong Province

Applicant before: Shenzhen mold micro Semiconductor Co.,Ltd.

Country or region before: China