CN115147414B - 一种双极型功率晶体管表面击穿缺陷检测方法 - Google Patents

一种双极型功率晶体管表面击穿缺陷检测方法 Download PDF

Info

Publication number
CN115147414B
CN115147414B CN202211063935.5A CN202211063935A CN115147414B CN 115147414 B CN115147414 B CN 115147414B CN 202211063935 A CN202211063935 A CN 202211063935A CN 115147414 B CN115147414 B CN 115147414B
Authority
CN
China
Prior art keywords
gray
gray level
value
area
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211063935.5A
Other languages
English (en)
Other versions
CN115147414A (zh
Inventor
陈泽洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANTONG SANXIN PLASTICS EQUIPMENT TECHNOLOGY CO LTD
Original Assignee
NANTONG SANXIN PLASTICS EQUIPMENT TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANTONG SANXIN PLASTICS EQUIPMENT TECHNOLOGY CO LTD filed Critical NANTONG SANXIN PLASTICS EQUIPMENT TECHNOLOGY CO LTD
Priority to CN202211063935.5A priority Critical patent/CN115147414B/zh
Publication of CN115147414A publication Critical patent/CN115147414A/zh
Application granted granted Critical
Publication of CN115147414B publication Critical patent/CN115147414B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/34Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Testing Of Individual Semiconductor Devices (AREA)

Abstract

本发明涉及图像处理领域,具体涉及一种双极型功率晶体管表面击穿缺陷检测方法,包括:获取晶体管塑胶区域灰度图;得到孔洞遮盖后的塑胶区域灰度图;构建灰度梯度矩阵;将灰度梯度矩阵分为4个区域,利用第二和第三区域中的矩阵元素值得到所有条件熵;利用条件熵最大时的阈值对孔洞遮盖后的塑胶区域灰度图进行阈值分割,获取疑似缺陷区域;对疑似缺陷区域的边缘进行滑窗遍历,根据滑窗内边缘的平滑程度得到划痕;对划痕进行遮盖,得到孔洞、划痕遮盖后的塑胶区域灰度图;根据孔洞、划痕遮盖后的塑胶区域灰度直方图确定孔洞、划痕遮盖后的塑胶区域灰度图中的击穿裂纹区域。上述方法用于晶体管表面击穿缺陷检测,可提高检测效率。

Description

一种双极型功率晶体管表面击穿缺陷检测方法
技术领域
本发明涉及图像处理领域,具体涉及一种双极型功率晶体管表面击穿缺陷检测方法。
背景技术
双极型功率晶体管是电子设备中常用的一种晶体管。在双极型功率晶体管的实际使用过程中,当集电极电压升高时,首先会出现一次击穿,阻尼急剧增加,当电压增加到某一临界值后,C、E极压降会突然降低,形成很大的过电流,造成二次击穿,从而导致双极型功率晶体管的塑胶区域产生击穿裂纹缺陷,进而影响整个电路板的正常使用。因此,对使用过程中的双极型功率晶体管的塑胶区域进行表面击穿缺陷检测是很有必要的。
现有的对使用过程中的双极型功率晶体管的塑胶区域进行表面击穿缺陷检测方法为:依赖检测人员的经验对双极型功率晶体管的塑胶区域表面是否存在击穿缺陷进行检测。
但是,现有的对使用过程中的双极型功率晶体管的塑胶区域进行表面击穿缺陷检测方法主观性强,检测精度和效率无法保证。因此,亟需一种方法用于提高双极型功率晶体管的塑胶区域表面击穿缺陷检测的精度和效率。
发明内容
本发明提供一种双极型功率晶体管表面击穿缺陷检测方法,以解决现有的双极型功率晶体管表面击穿缺陷检测方法效率低、精度低的问题。
本发明提供一种双极型功率晶体管表面击穿缺陷检测方法,包括:获取晶体管塑胶区域灰度图;得到孔洞遮盖后的塑胶区域灰度图;构建灰度梯度矩阵;将灰度梯度矩阵分为4个区域,利用第二和第三区域中的矩阵元素值得到所有条件熵;利用条件熵最大时的阈值对孔洞遮盖后的塑胶区域灰度图进行阈值分割,获取疑似缺陷区域;对疑似缺陷区域的边缘进行滑窗遍历,根据滑窗内边缘的平滑程度得到划痕;对划痕进行遮盖,得到孔洞、划痕遮盖后的塑胶区域灰度图;根据孔洞、划痕遮盖后的塑胶区域灰度直方图确定孔洞、划痕遮盖后的塑胶区域灰度图中的击穿裂纹区域,相比于现有技术,本发明结合计算机视觉和图像处理,根据晶体管塑胶区域的灰度和梯度特征构建灰度梯度矩阵,利用缺陷像素点在灰度梯度矩阵中的分布特征获取最优分割阈值,进而获取疑似缺陷区域。然后根据不同缺陷的特征确定出疑似缺陷区域中的击穿裂纹缺陷。本发明可有效提高缺陷检测的精度和效率。
为达到上述目的,本发明采用如下技术方案,一种双极型功率晶体管表面击穿缺陷检测方法,包括:
获取双极型功率晶体管塑胶区域灰度图;
对塑胶区域灰度图进行边缘检测,利用获得的正常孔洞邻域像素点的灰度值对每一个正常孔洞进行遮盖,得到孔洞遮盖后的塑胶区域灰度图;
分别对孔洞遮盖后的塑胶区域灰度图及其对应的梯度图进行归一化处理,利用归一化后的塑胶区域灰度图和塑胶区域梯度图构建灰度梯度矩阵;
分别获取图像分割的灰度值阈值和梯度值阈值的取值范围,遍历取值范围中每一个灰度值阈值和每一个梯度值阈值将灰度梯度矩阵划分为4个区域,利用第二区域和第三区域中的各矩阵元素值,计算得到灰度值阈值和梯度值阈值对应的所有条件熵;
将条件熵最大时对应的灰度值阈值和梯度值阈值作为图像分割的最优灰度值阈值和最优梯度值阈值,利用最优灰度值阈值和最优梯度值阈值对孔洞遮盖后的塑胶区域灰度图进行阈值分割,获取疑似缺陷区域;
设置滑窗,对疑似缺陷区域的边缘进行滑窗遍历,利用滑窗内两两相邻边缘像素点的坐标得到滑窗内边缘的平滑程度,根据滑窗内边缘的平滑程度得到完整的划痕边缘;
利用完整的划痕边缘对应的划痕区域周围邻域内所有像素点的灰度值均值对划痕进行遮盖,得到孔洞、划痕遮盖后的塑胶区域灰度图;
获取孔洞、划痕遮盖后的塑胶区域灰度图对应的灰度直方图,对灰度直方图进行拉伸,得到拉伸后的灰度直方图;
根据拉伸后的灰度直方图中的波峰数量确定出孔洞、划痕遮盖后的塑胶区域灰度图中的击穿裂纹区域。
进一步的,所述一种双极型功率晶体管表面击穿缺陷检测方法,所述孔洞遮盖后的塑胶区域灰度图是按照如下方式得到:
对塑胶区域灰度图进行边缘检测,得到塑胶区域灰度图中的孔洞边缘;
计算每一个孔洞的各段孔洞边缘的曲率,将各段孔洞边缘的曲率都近似相等的孔洞作为塑胶区域灰度图中的正常孔洞,得到塑胶区域灰度图中的所有正常孔洞;
计算塑胶区域灰度图中每一个正常孔洞的邻域像素点的灰度值均值,将每一个正常孔洞内像素点的灰度值设置为该孔洞的邻域像素点的灰度值均值,对每一个正常孔洞进行遮盖,得到孔洞遮盖后的塑胶区域灰度图。
进一步的,所述一种双极型功率晶体管表面击穿缺陷检测方法,所述灰度梯度矩阵是按照如下方式构建:
计算孔洞遮盖后的塑胶区域灰度图中各像素点的梯度值,根据各像素点的梯度值获取孔洞遮盖后的塑胶区域梯度图;
利用孔洞遮盖后的塑胶区域灰度图中的最大灰度级和最大灰度值,对孔洞遮盖后的塑胶区域灰度图进行归一化处理,得到归一化后的塑胶区域灰度图;
利用孔洞遮盖后的塑胶区域梯度图中的最大梯度级和最大梯度值,对孔洞遮盖后的塑胶区域梯度图进行归一化处理,得到归一化后的塑胶区域梯度图;
利用归一化后的塑胶区域灰度图中的各像素点的灰度值和归一化后的塑胶区域梯度图中的各像素点的梯度值构建灰度梯度矩阵。
进一步的,所述一种双极型功率晶体管表面击穿缺陷检测方法,所述疑似缺陷区域是按照如下方式获取:
设置图像分割的初始灰度值阈值和初始梯度值阈值;
利用初始灰度值阈值和初始梯度值阈值将灰度梯度矩阵划分为4个区域,分别为第一区域、第二区域、第三区域和第四区域;
分别利用第二区域和第三区域中的各矩阵元素值,计算得到第二区域和第三区域中的每个矩阵元素的概率;
利用第二区域中的每个矩阵元素的概率计算得到孔洞遮盖后的塑胶区域灰度图中缺陷区域与文字区域的背景熵;
利用第三区域中的每个矩阵元素的概率计算得到孔洞遮盖后的塑胶区域灰度图中背景区域的边缘熵;
根据孔洞遮盖后的塑胶区域灰度图中缺陷区域与文字区域的背景熵和背景区域的边缘熵,计算得到初始灰度值阈值和初始梯度值阈值对应的条件熵;
按照上述方式遍历图像分割的灰度值阈值和梯度值阈值的所有取值范围,得到所有条件熵,将条件熵最大时对应的灰度值阈值和梯度值阈值作为图像分割的最优灰度值阈值和最优梯度值阈值;
利用图像分割的最优灰度值阈值和最优梯度值阈值对孔洞遮盖后的塑胶区域灰度图进行阈值分割,获取疑似缺陷区域。
进一步的,所述一种双极型功率晶体管表面击穿缺陷检测方法,所述孔洞、划痕遮盖后的塑胶区域灰度图是按照如下方式得到:
设置滑窗,对疑似缺陷区域的边缘进行滑窗遍历,利用滑窗内两两相邻边缘像素点的坐标计算得到滑窗内每个边缘像素点的斜率;
计算滑窗内所有边缘像素点的斜率的均值;
利用滑窗内每个边缘像素点的斜率和所有边缘像素点的斜率的均值,计算得到滑窗内边缘的平滑程度;
设置阈值,对滑窗内边缘的平滑程度进行判断:当滑窗内边缘的平滑程度小于等于阈值时,则该滑窗内的边缘为划痕边缘;当滑窗内边缘的平滑程度大于阈值时,则该滑窗内的边缘为其他边缘;
将距离相近的划痕边缘进行合并,得到完整的划痕边缘;
获取完整的划痕边缘对应的划痕区域周围邻域内所有像素点的灰度值均值,将划痕区域内的像素点的灰度值设置为该划痕区域周围邻域内所有像素点的灰度值均值,对划痕进行遮盖,得到孔洞、划痕遮盖后的塑胶区域灰度图。
进一步的,所述一种双极型功率晶体管表面击穿缺陷检测方法,所述孔洞、划痕遮盖后的塑胶区域灰度图中的击穿裂纹区域是按照如下方式确定出:
统计孔洞、划痕遮盖后的塑胶区域灰度图中各像素点的灰度值,得到灰度直方图;
对灰度直方图进行拉伸,得到拉伸后的灰度直方图;
对拉伸后的灰度直方图进行判断:当拉伸后的灰度直方图中存在三个波峰时,则孔洞、划痕遮盖后的塑胶区域灰度图中存在击穿裂纹,且第一个波峰区域对应的像素点即为击穿裂纹像素点;当拉伸后的灰度直方图中只存在两个波峰时,则孔洞、划痕遮盖后的塑胶区域灰度图中不存在击穿裂纹。
进一步的,所述一种双极型功率晶体管表面击穿缺陷检测方法,所述双极型功率晶体管塑胶区域灰度图是按照如下方式获取:
采集双极型功率晶体管的表面图像;
对双极型功率晶体管的表面图像进行语义分割,获取晶体管塑胶区域图像;
对晶体管塑胶区域图像进行灰度化处理,获取晶体管塑胶区域灰度图。
本发明的有益效果是:本发明结合计算机视觉和图像处理,根据晶体管塑胶区域的灰度和梯度特征构建灰度梯度矩阵,利用缺陷像素点在灰度梯度矩阵中的分布特征获取最优分割阈值,进而获取疑似缺陷区域。然后根据不同缺陷的特征确定出疑似缺陷区域中的击穿裂纹缺陷。本发明可有效提高缺陷检测的精度和效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种双极型功率晶体管表面击穿缺陷检测方法流程示意图;
图2为本发明实施例2提供的一种双极型功率晶体管表面击穿缺陷检测方法流程示意图;
图3为本发明实施例2提供的一种双极型功率晶体管表面击穿缺陷示意图;
图4为本发明实施例2提供的一种灰度梯度矩阵划分区域示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
本发明实施例提供一种双极型功率晶体管表面击穿缺陷检测方法,如图1所示,包括:
S101、获取双极型功率晶体管塑胶区域灰度图。
其中,灰度图,又称灰阶图。把白色与黑色之间按对数关系分为若干等级,称为灰度。
S102、对塑胶区域灰度图进行边缘检测,利用获得的正常孔洞邻域像素点的灰度值对每一个正常孔洞进行遮盖,得到孔洞遮盖后的塑胶区域灰度图。
其中,边缘检测是图像处理和计算机视觉中的基本问题,边缘检测的目的是标识数字图像中亮度变化明显的点。
S103、分别对孔洞遮盖后的塑胶区域灰度图及其对应的梯度图进行归一化处理,利用归一化后的塑胶区域灰度图和塑胶区域梯度图构建灰度梯度矩阵。
其中,灰度梯度矩阵反映了图像中灰度和梯度的分布规律,同时也给出了各像素点与其邻域像素点的空间关系,对图像的纹理能很好的描绘,对于具有方向性的纹理可以从梯度的方向上反映出来。
S104、分别获取图像分割的灰度值阈值和梯度值阈值的取值范围,遍历取值范围中每一个灰度值阈值和每一个梯度值阈值将灰度梯度矩阵划分为4个区域,利用第二区域和第三区域中的各矩阵元素值,计算得到灰度值阈值和梯度值阈值对应的所有条件熵。
其中,处于第二区域的像素点的灰度值大梯度值小,对应晶体管上缺陷区域与文字区域的背景熵。
S105、将条件熵最大时对应的灰度值阈值和梯度值阈值作为图像分割的最优灰度值阈值和最优梯度值阈值,利用最优灰度值阈值和最优梯度值阈值对孔洞遮盖后的塑胶区域灰度图进行阈值分割,获取疑似缺陷区域。
其中,根据最大熵原理得到最优分割阈值。
S106、设置滑窗,对疑似缺陷区域的边缘进行滑窗遍历,利用滑窗内两两相邻边缘像素点的坐标得到滑窗内边缘的平滑程度,根据滑窗内边缘的平滑程度得到完整的划痕边缘。
其中,若滑窗内的边缘像素点的凹凸程度越小,则是划痕的概率越大。
S107、利用完整的划痕边缘对应的划痕区域周围邻域内所有像素点的灰度值均值对划痕进行遮盖,得到孔洞、划痕遮盖后的塑胶区域灰度图。
其中,孔洞、划痕遮盖后的塑胶区域灰度图排除了孔洞、划痕对缺陷检测的干扰。
S108、获取孔洞、划痕遮盖后的塑胶区域灰度图对应的灰度直方图,对灰度直方图进行拉伸,得到拉伸后的灰度直方图。
其中,灰度直方图是关于灰度级分布的函数,是对图像中灰度级分布的统计。
S109、根据拉伸后的灰度直方图中的波峰数量确定出孔洞、划痕遮盖后的塑胶区域灰度图中的击穿裂纹区域。
其中,通过直方图拉伸进行图像增强,使得第一个波峰与第二个波峰能够区分出来。
实施例2
本实施例设计一种基于图像处理的双极型功率晶体管表面击穿缺陷检测方法,根据表面灰度的变化获得疑似缺陷,从而检测晶体管是否异常。
本发明实施例提供一种双极型功率晶体管表面击穿缺陷检测方法,如图2所示,包括:
S201、获得塑胶区域灰度图。
如图3所示,晶体管表面的击穿缺陷主要表现为击穿裂纹缺陷,当塑胶区域内的元器件瞬时电流过大,元器件损坏或电流直接击穿外层的塑胶区域形成裂纹。
本实施例首先通过布设高清相机,采集双极型功率晶体管正反面的图像,然后对正反面的图像分别进行检测。
进行缺陷检测时,只需要对晶体管表面的塑胶区域进行缺陷检测即可,因此需要将晶体管表面的塑胶区域从图像中分割出来。本实施例采用DNN语义分割的方式来识别分割图像中的目标。
该DNN网络的相关内容如下:
1.使用的数据集为俯视采集的晶体管RGB图像数据集。
2.需要分割的像素共分为三类,即训练集对应标签标注过程为:单通道的语义标签,对应位置像素属于背景类的标注为0,属于晶体管塑胶区域的标注为1,属于金属引脚区域的标注为2。
3.网络的任务是分类,所有使用的 loss 函数为交叉熵损失函数。
通过语义分割得到的0-1掩膜图像与原图像相乘,得到的图像中只含有晶体管塑胶区域的图像,去除了背景以及金属引脚的干扰。
至此,完成了晶体管表面图像的采集。然后对分割出来的图像进行灰度化处理,获得塑胶区域灰度图。
S202、得到孔洞遮盖后的塑胶区域灰度图。
在对晶体管表面的击穿缺陷进行检测时,因为晶体管原本就存在圆形孔洞以及凹刻的文字,会对击穿缺陷的纹理信息产生影响,所以需要排除晶体管表面本身纹理对缺陷检测的影响。
通过边缘检测算法获得塑胶区域灰度图的所有边缘,包含孔洞,疑似缺陷,以及自身纹理的边缘。因为塑胶区域灰度图原本就存在圆形的孔洞,在对疑似缺陷进行灰度计算时,会受到其影响,因此需要将其去除。根据边缘检测后的塑胶区域灰度图,计算塑胶区域灰度图中各孔洞边缘的曲率,获得曲率处处近似相等的连通域。
曲率处处近似相等的连通域为晶体管塑胶区域正常的孔洞。设任意孔洞某一段边 缘曲线的圆的半径为,圆的方程为:,根据曲率公式:,计算得到 任意孔洞的每一段边缘曲线的曲率。K表示曲率,表示圆方程的二阶导数,表示圆方程 的一阶导数。
,孔洞为晶体管塑胶区域正常的孔洞,获取该孔洞周围邻域 内所有像素点的灰度值均值q,将该孔洞内的像素点的灰度值设置为q,对该孔洞进行遮盖, 排除晶体管塑胶区域原本就存在的孔洞的影响。u表示任意孔洞的边缘曲线的段数。
孔洞的周围邻域的获取方法:获取孔洞的中心位置和半径a,设置半径b,b>a,将以孔洞的中心为圆心,a为半径的圆形和以孔洞的中心为圆心,b为半径的圆形组成的环形区域作为孔洞的周围邻域。
至此,得到孔洞遮盖后的塑胶区域灰度图。
S203、构建灰度梯度矩阵。
对于晶体管表面的自身纹理以及孔洞信息,通过传统的阈值分割方法能够将其分割出来,但是由于击穿缺陷形成的裂纹,纹理很细小,传统的阈值分割算法不能将其分割出来或分割的不完整,使得检测出来的缺陷不准确。灰度图的灰度值包含了图像的基本纹理信息,而梯度的变化包含了图像边缘信息,因此本实施例根据图像的灰度以及梯度的变化,构建灰度梯度矩阵,对图像中的微小裂纹缺陷进行检测,灰度梯度矩阵反映了图像中灰度和梯度的分布规律,同时也给出了各像素点与其邻域像素点的空间关系,对图像的纹理能很好的描绘,对于具有方向性的纹理可以从梯度的方向上反映出来。
计算孔洞遮盖后的塑胶区域灰度图中各像素点的梯度值,根据梯度值获取孔洞遮 盖后的塑胶区域梯度图
将图像的梯度信息加入到灰度共生矩阵中,使矩阵更能包含图像的纹理基元以及 排列信息。设孔洞遮盖后的塑胶区域灰度图的大小为,其中。矩阵元素定义为在归一化的灰度图和 归一化的梯度图中灰度为且梯度为的像素点数量,定义归一化后的灰度 图为:
式中,表示取整函数,为孔洞遮盖后的塑胶区域灰度图中的最大灰度级,为孔洞遮盖后的塑胶区域灰度图的最大灰度值。
定义归一化后的梯度图像为:
式中,为孔洞遮盖后的塑胶区域梯度图中的最大梯度级,为孔洞遮盖后的 塑胶区域梯度图的最大梯度值。梯度的计算为公知技术,在此不再赘述。灰度梯度矩阵为,其中,。其中矩阵的第行的第列元素的像素点个数,灰度值为、梯度值为的矩阵概率为:
灰度级表示灰度图包含基础信息的层次范围,灰度级越大则图像中包含基础信息层次越丰富。
S204、获得最优分割阈值。
由上述方法获得的灰度梯度矩阵,其大小为,假设为图像分割的最优 阈值,其中,t表示灰度值的最优阈值,s表示梯度值的最优阈值。则灰度梯度矩阵被分为四 个部分,如图4所示,横轴方向表示灰度值,纵轴方向表示梯度值,由于晶体管表面的灰度值 比产生的缺陷的灰度值小,而缺陷边缘的梯度值较大,所以缺陷边缘像素点对应的处 于阈值s的下方的可能性较大,将整个矩阵区域分为四个区域,用1区、2区、3区、4区表示。因 此寻找最优阈值,将1、3区域和2、4区域分开。
各区域中每个矩阵元素值的概率为:
同理,可得其他三个区域的每个矩阵元素值的概率:
式中,用矩阵元素值和该区域内的元素值总数作比,表示每个矩阵元素值的概率,其求和符号的上脚标与下角标均表示所在区间的范围。因为在对晶体管阈值分割时,晶体管是黑色,灰度值较小,而晶体管上的文字和裂纹信息相较于晶体管表面的灰度值较大,因此根据分析,处于2区域的像素点的灰度值大梯度值小,对应晶体管上缺陷区域与文字区域的背景熵,处于3区域的像素点的灰度值小梯度值大,对应晶体管背景区域的边缘熵,其中背景区域表示晶体管的无缺陷区域,计算公式如下:
其中,表示晶体管上缺陷区域与文字区域的背景熵,表 示晶体管背景区域的边缘熵。
因此,在为分割阈值时的条件熵为:
取值最大时,对应的为最佳分割阈值。其表示式为:
根据最大熵原理得到最优分割阈值,对晶体管表面灰度以及梯度变化的地 方进行分割:获取孔洞遮盖后的塑胶区域灰度图中灰度值大于,梯度值小于的像素点, 然后对这些像素点进行连通域分析,将各连通域作为疑似缺陷区域。
S205、获得划痕区域。
根据上述方法进行阈值分割,得到晶体管表面的疑似缺陷区域,由于击穿形成的裂纹会和原本表面的文字信息混淆,且若表面存在划痕时,会对裂纹缺陷的识别产生影响,所以需要将划痕与裂纹缺陷区分。
划痕与击穿裂纹缺陷的边缘变化特征不同,击穿裂纹缺陷的边缘存在毛刺,而划痕的边缘相较于裂纹是比较光滑的,因此根据其边缘的变化将晶体管表面的裂纹缺陷与划痕进行区分。
本实施例根据疑似缺陷的边缘像素点的变化,来描述其边缘的平滑程度。设置一个5*5的滑窗,沿着分割出来的疑似缺陷的边缘进行滑动,根据滑窗内部像素点的平整度来描述其边缘的平滑程度,若滑窗内的像素点的凹凸程度越大,则表明是疑似缺陷的概率越大,若其凹凸程度越小,则是划痕的概率越大。
对滑窗建立直角坐标系,计算两个相邻边缘像素点之间的斜率。计算公式如下:
式中,表示第个边缘像素点的斜率,表示第个边缘像素点的横坐标,表 示第个边缘像素点的纵坐标,表示第个边缘像素点的横坐标,表示第 个边缘像素点的纵坐标。则根据边缘所有像素点的斜率判断边缘的平滑程度。计算公式如 下:
式中,表示边缘的平滑程度,表示边缘像素点的数量,表示所有边缘像素点 的斜率的均值。
通过上述方法获得边缘的平滑程度,当时,表明边缘像素点的凹凸程度 变化比较剧烈,为疑似缺陷边缘。当时,表明边缘像素点的凹凸程度变化比较平 缓,为划痕边缘。将距离相近的划痕边缘进行合并,得到完整的划痕边缘,进而得到划痕区 域。
获取该划痕周围邻域内所有像素点的灰度值均值Q,将该划痕内的像素点的灰度值设置为Q,对该划痕进行遮盖,得到孔洞、划痕遮盖后的塑胶区域灰度图。划痕的周围邻域的获取方法:获取划痕的最小外接矩形z的大小为A×B,设置以划痕的中心为中心,大小为(A+&)×(B+&)的矩形z’,将外接矩形z和矩形z’的差异区域作为划痕的周围邻域。
S206、获得击穿裂纹。
因为晶体管表面的文字信息是凹刻在晶体管的表面,其灰度值比晶体管表面的灰度值大,而击穿裂纹的灰度值比晶体管表面的灰度值小,因此根据表面灰度值的变化将击穿裂纹和原本表面的文字信息区分开。
对孔洞、划痕遮盖后的塑胶区域灰度图中的像素点的灰度值进行统计,获得对应的灰度直方图,因为晶体管的背景、文字信息区域和缺陷区域之间的灰度差值比较明显,因此在直方图中会形成三个波峰,第一个波峰是击穿裂纹区域,第二个波峰是晶体管背景区域,第三个波峰是文字及图案信息。但是细小的击穿裂纹在孔洞、划痕遮盖后的塑胶区域灰度图中表现的不是特别明显,通过直方图拉伸进行图像增强,使得第一个波峰与第二个波峰能够区分出来。
根据得到的灰度直方图可以直观判断塑胶区域是否存在击穿裂纹区域:当灰度直方图中存在三个波峰时,则存在击穿裂纹,且第一个波峰区域对应的像素点即为击穿裂纹像素点;当灰度直方图中只存在两个波峰时,则不存在击穿裂纹。
接下来对击穿裂纹的大小进行计算:
拉伸后的灰度直方图中第一个波峰区域内灰度值w对应的频数为。w的取值范围 为()。表示第一个波峰区域内的最小灰度值,表示第一个波峰区域内 的最大灰度值。
计算击穿裂纹区域的灰度值所占的比例。计算公式如下:
式中,表示击穿裂纹区域的灰度值所占的比例。表示拉伸后的灰度直方图的 所有频数的总和。根据的大小,可以判断击穿裂纹区域的大小,由此得到击穿裂纹区域的 大小。
通过上述方法获得晶体管表面的缺陷,然后对晶体管表面的缺陷进行标记。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.一种双极型功率晶体管表面击穿缺陷检测方法,其特征在于,包括:
获取双极型功率晶体管塑胶区域灰度图;
对塑胶区域灰度图进行边缘检测,利用获得的正常孔洞邻域像素点的灰度值对每一个正常孔洞进行遮盖,得到孔洞遮盖后的塑胶区域灰度图;
分别对孔洞遮盖后的塑胶区域灰度图及其对应的梯度图进行归一化处理,利用归一化后的塑胶区域灰度图和塑胶区域梯度图构建灰度梯度矩阵;
所述灰度梯度矩阵是按照如下方式构建:
计算孔洞遮盖后的塑胶区域灰度图中各像素点的梯度值,根据各像素点的梯度值获取孔洞遮盖后的塑胶区域梯度图;
利用孔洞遮盖后的塑胶区域灰度图中的最大灰度级和最大灰度值,对孔洞遮盖后的塑胶区域灰度图进行归一化处理,得到归一化后的塑胶区域灰度图;
利用孔洞遮盖后的塑胶区域梯度图中的最大梯度级和最大梯度值,对孔洞遮盖后的塑胶区域梯度图进行归一化处理,得到归一化后的塑胶区域梯度图;
利用归一化后的塑胶区域灰度图中的各像素点的灰度值和归一化后的塑胶区域梯度图中的各像素点的梯度值构建灰度梯度矩阵;
分别获取图像分割的灰度值阈值和梯度值阈值的取值范围,遍历取值范围中每一个灰度值阈值和每一个梯度值阈值将灰度梯度矩阵划分为4个区域,利用第二区域和第三区域中的各矩阵元素值,计算得到灰度值阈值和梯度值阈值对应的所有条件熵;所述灰度值阈值和梯度值阈值对应的所有条件熵是按照如下方式得到:
设置图像分割的初始灰度值阈值和初始梯度值阈值;
利用初始灰度值阈值和初始梯度值阈值将灰度梯度矩阵划分为4个区域,分别为第一区域、第二区域、第三区域和第四区域;
分别利用第二区域和第三区域中的各矩阵元素值,计算得到第二区域和第三区域中的每个矩阵元素的概率;
利用第二区域中的每个矩阵元素的概率计算得到孔洞遮盖后的塑胶区域灰度图中缺陷区域与文字区域的背景熵;
利用第三区域中的每个矩阵元素的概率计算得到孔洞遮盖后的塑胶区域灰度图中背景区域的边缘熵;
根据孔洞遮盖后的塑胶区域灰度图中缺陷区域与文字区域的背景熵和背景区域的边缘熵,计算得到初始灰度值阈值和初始梯度值阈值对应的条件熵;
按照上述方式遍历图像分割的灰度值阈值和梯度值阈值的所有取值范围,得到所有条件熵;
将条件熵最大时对应的灰度值阈值和梯度值阈值作为图像分割的最优灰度值阈值和最优梯度值阈值,利用最优灰度值阈值和最优梯度值阈值对孔洞遮盖后的塑胶区域灰度图进行阈值分割,获取疑似缺陷区域;
设置滑窗,对疑似缺陷区域的边缘进行滑窗遍历,利用滑窗内两两相邻边缘像素点的坐标得到滑窗内边缘的平滑程度,根据滑窗内边缘的平滑程度得到完整的划痕边缘;
利用完整的划痕边缘对应的划痕区域周围邻域内所有像素点的灰度值均值对划痕进行遮盖,得到孔洞、划痕遮盖后的塑胶区域灰度图;
获取孔洞、划痕遮盖后的塑胶区域灰度图对应的灰度直方图,对灰度直方图进行拉伸,得到拉伸后的灰度直方图;
根据拉伸后的灰度直方图中的波峰数量确定出孔洞、划痕遮盖后的塑胶区域灰度图中的击穿裂纹区域。
2.根据权利要求1所述的一种双极型功率晶体管表面击穿缺陷检测方法,其特征在于,所述孔洞遮盖后的塑胶区域灰度图是按照如下方式得到:
对塑胶区域灰度图进行边缘检测,得到塑胶区域灰度图中的孔洞边缘;
计算每一个孔洞的各段孔洞边缘的曲率,将各段孔洞边缘的曲率都近似相等的孔洞作为塑胶区域灰度图中的正常孔洞,得到塑胶区域灰度图中的所有正常孔洞;
计算塑胶区域灰度图中每一个正常孔洞的邻域像素点的灰度值均值,将每一个正常孔洞内像素点的灰度值设置为该孔洞的邻域像素点的灰度值均值,对每一个正常孔洞进行遮盖,得到孔洞遮盖后的塑胶区域灰度图。
3.根据权利要求1所述的一种双极型功率晶体管表面击穿缺陷检测方法,其特征在于,所述孔洞、划痕遮盖后的塑胶区域灰度图是按照如下方式得到:
设置滑窗,对疑似缺陷区域的边缘进行滑窗遍历,利用滑窗内两两相邻边缘像素点的坐标计算得到滑窗内每个边缘像素点的斜率;
计算滑窗内所有边缘像素点的斜率的均值;
利用滑窗内每个边缘像素点的斜率和所有边缘像素点的斜率的均值,计算得到滑窗内边缘的平滑程度;
设置阈值,对滑窗内边缘的平滑程度进行判断:当滑窗内边缘的平滑程度小于等于阈值时,则该滑窗内的边缘为划痕边缘;当滑窗内边缘的平滑程度大于阈值时,则该滑窗内的边缘为其他边缘;
将距离相近的划痕边缘进行合并,得到完整的划痕边缘;
获取完整的划痕边缘对应的划痕区域周围邻域内所有像素点的灰度值均值,将划痕区域内的像素点的灰度值设置为该划痕区域周围邻域内所有像素点的灰度值均值,对划痕进行遮盖,得到孔洞、划痕遮盖后的塑胶区域灰度图。
4.根据权利要求1所述的一种双极型功率晶体管表面击穿缺陷检测方法,其特征在于,所述孔洞、划痕遮盖后的塑胶区域灰度图中的击穿裂纹区域是按照如下方式确定出:
统计孔洞、划痕遮盖后的塑胶区域灰度图中各像素点的灰度值,得到灰度直方图;
对灰度直方图进行拉伸,得到拉伸后的灰度直方图;
对拉伸后的灰度直方图进行判断:当拉伸后的灰度直方图中存在三个波峰时,则孔洞、划痕遮盖后的塑胶区域灰度图中存在击穿裂纹,且第一个波峰区域对应的像素点即为击穿裂纹像素点;当拉伸后的灰度直方图中只存在两个波峰时,则孔洞、划痕遮盖后的塑胶区域灰度图中不存在击穿裂纹。
5.根据权利要求1所述的一种双极型功率晶体管表面击穿缺陷检测方法,其特征在于,所述双极型功率晶体管塑胶区域灰度图是按照如下方式获取:
采集双极型功率晶体管的表面图像;
对双极型功率晶体管的表面图像进行语义分割,获取晶体管塑胶区域图像;
对晶体管塑胶区域图像进行灰度化处理,获取晶体管塑胶区域灰度图。
CN202211063935.5A 2022-09-01 2022-09-01 一种双极型功率晶体管表面击穿缺陷检测方法 Active CN115147414B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211063935.5A CN115147414B (zh) 2022-09-01 2022-09-01 一种双极型功率晶体管表面击穿缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211063935.5A CN115147414B (zh) 2022-09-01 2022-09-01 一种双极型功率晶体管表面击穿缺陷检测方法

Publications (2)

Publication Number Publication Date
CN115147414A CN115147414A (zh) 2022-10-04
CN115147414B true CN115147414B (zh) 2023-08-29

Family

ID=83415954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211063935.5A Active CN115147414B (zh) 2022-09-01 2022-09-01 一种双极型功率晶体管表面击穿缺陷检测方法

Country Status (1)

Country Link
CN (1) CN115147414B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330772B (zh) * 2022-10-12 2023-03-28 南通通力油泵有限公司 一种在线焊点质量检测方法
CN115661105B (zh) * 2022-11-05 2023-06-20 东莞市蒂安斯实业有限公司 基于人工智能的汽车模型视觉检测方法
CN115631392B (zh) * 2022-12-26 2023-04-07 西南石油大学 一种基于深度学习的晶体tem图像物相区域划分方法
CN115690105B (zh) * 2022-12-30 2023-03-21 无锡康贝电子设备有限公司 一种基于计算机视觉的铣刀划痕检测方法
CN116228768B (zh) * 2023-05-09 2023-07-21 济宁众达利电气设备有限公司 一种电子元器件表面划痕检测方法
CN116740070B (zh) * 2023-08-15 2023-10-24 青岛宇通管业有限公司 基于机器视觉的塑料管道外观缺陷检测方法
CN117132844B (zh) * 2023-10-27 2024-01-23 江苏惠汕新能源集团有限公司 一种基于图像处理的光伏板裂纹与划痕的分类方法
CN117252877B (zh) * 2023-11-17 2024-02-02 济南界龙科技有限公司 基于图像特征的二极体导线架质量检测方法
CN117291922B (zh) * 2023-11-27 2024-01-30 浙江日井泵业股份有限公司 一种不锈钢多级泵叶轮缺陷视觉检测方法
CN117437238B (zh) * 2023-12-22 2024-03-29 深圳宝铭微电子有限公司 一种封装ic表面缺陷视觉检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800107A (zh) * 2012-07-06 2012-11-28 浙江工业大学 一种基于改进最小交叉熵的运动目标检测方法
CN106228138A (zh) * 2016-07-26 2016-12-14 国网重庆市电力公司电力科学研究院 一种融合区域和边缘信息的道路检测算法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800107A (zh) * 2012-07-06 2012-11-28 浙江工业大学 一种基于改进最小交叉熵的运动目标检测方法
CN106228138A (zh) * 2016-07-26 2016-12-14 国网重庆市电力公司电力科学研究院 一种融合区域和边缘信息的道路检测算法

Also Published As

Publication number Publication date
CN115147414A (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN115147414B (zh) 一种双极型功率晶体管表面击穿缺陷检测方法
CN111626190B (zh) 基于聚类分区进行刻度识别的水位监测方法
Zhou et al. Automated visual inspection of glass bottle bottom with saliency detection and template matching
CN115249246B (zh) 一种光学玻璃表面缺陷检测方法
CN103345755B (zh) 一种基于Harris算子的棋盘格角点亚像素提取方法
CN115035122B (zh) 基于人工智能的集成电路晶圆表面缺陷检测方法
CN103543394A (zh) 一种高压电气设备放电紫外成像量化参数提取方法
CN115294140A (zh) 一种五金零件缺陷检测方法及系统
Zhang et al. An accurate fuzzy measure-based detection method for various types of defects on strip steel surfaces
CN114882026B (zh) 基于人工智能的传感器外壳缺陷检测方法
CN114820625B (zh) 一种汽车顶块缺陷检测方法
CN114612469A (zh) 产品缺陷检测方法、装置、设备及可读存储介质
CN114782329A (zh) 一种基于图像处理的轴承缺陷损伤程度评估方法及系统
CN115775250A (zh) 基于数字图像分析的金手指电路板缺陷快速检测系统
CN115861307B (zh) 基于人工智能的筋膜枪供电驱动板焊接故障检测方法
CN116883408B (zh) 基于人工智能的积算仪壳体缺陷检测方法
CN116152242B (zh) 一种篮球用天然皮革缺陷可视化检测系统
CN113609984A (zh) 一种指针式仪表读数识别方法、装置及电子设备
CN111695373A (zh) 斑马线的定位方法、系统、介质及设备
CN115290663A (zh) 基于光学检测的Mini LED晶圆外观缺陷检测方法
CN116523922B (zh) 一种轴承表面缺陷识别方法
CN114742849B (zh) 一种基于图像增强的水准仪距离测量方法
Kong et al. Detection of water-stains defects in TFT-LCD based on machine vision
CN115880228A (zh) 多缺陷合并方法、装置、计算机设备及存储介质
Luo et al. A fast circle detection method based on threshold segmentation and validity check for FPC images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant