CN109447172A - 一种激光芯片缺陷图像的特征提取技术 - Google Patents

一种激光芯片缺陷图像的特征提取技术 Download PDF

Info

Publication number
CN109447172A
CN109447172A CN201811310873.7A CN201811310873A CN109447172A CN 109447172 A CN109447172 A CN 109447172A CN 201811310873 A CN201811310873 A CN 201811310873A CN 109447172 A CN109447172 A CN 109447172A
Authority
CN
China
Prior art keywords
image
scattering
defect
laser chip
defect image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811310873.7A
Other languages
English (en)
Inventor
贾华宇
马珺
李明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN201811310873.7A priority Critical patent/CN109447172A/zh
Publication of CN109447172A publication Critical patent/CN109447172A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明是计算机视觉和图像处理领域，针对傅里叶变换和小波变换等特征提取方法所存在的变形稳定性差的问题加以改进。将所有沿着路径的输出散射信号，先通过计算小波系数模量，然后迭代应用到传递信号的每一层。散射通过在下一层恢复小波系数，避免了信息的丢失。通过深度卷积网络进行散射化，解出一阶和二阶散射系数，得到具体的散射卷积网络架构，最终输出缺陷特征。

Description

一种激光芯片缺陷图像的特征提取技术
技术领域
本发明属于计算机视觉和图像处理领域，具体涉及图像特征提取技术，尤其是一种激光芯片缺陷图像特征提取技术。
背景技术
缺陷类型自动识别技术是目前激光器芯片检测系统的重要技术之一，也是光学和图像领域的研究热点。对于激光器芯片，由于缺陷有裂痕，杂质，静电损伤，腔面错位等多种形式，而且缺陷部位尺寸较小，也无现成的缺陷图像数据库。对缺陷图像的特征提取极为关键。缺陷的特征向量通常需要具有平移不变性，也就是对于变形要具有一定的稳定性。平移的不变性表示可用配准算法、自相关或用傅里叶变换的模量来构造。然而，该不变量对于变形并不稳定。为了避免傅里叶变换的不稳定性，可使用局部波的形式，如小波更换正弦波。小波为局部函数且变换结果对于变形来说很稳定，但是其髙频却不具有平移不变性。
发明内容
本发明就是针对傅里叶变换和小波变换等特征提取方法所存在的变形稳定性差的问题，加以改进。本发明提出一种变形稳定性较高的基于散射变换的深度卷积网络的激光芯片缺陷图片特征提取技术。
本发明解决其技术问题所采用的技术方案是：
一种激光芯片缺陷图像的特征提取技术,所述方法包括以下步骤：
1)采集到包含激光芯片缺陷的图像；
2)对采集到的包含激光芯片缺陷的图像进行缺陷区域的分离提取；
3)将分离提取得到的缺陷图像基于散射变换的深度卷积网络的特征提取，过程如下:通过扩张和旋转小波变换得到二维方向小波，再建立平移不变的二维方向小波，随后对小波模进行新的小波再分解从而恢复高频信息，再在小波变换和模量操作子上进一步迭代，利用迭代后的小波系数计算出下一层的所有传递信号，解出一阶和二阶散射系数，得到具体的散射卷积网络架构；
4)通过支持向量机SVM进行分类。
进一步，所述步骤3)中，通过扩张和旋转小波变换，获得二维的方向小波如式：
ψj,γ＝2-2jψ(2-jr-γu)
式中j>0，确定了ψj,γ的尺度，u代表ψj,γ的位置索引，r-γ代表ψj,γ旋转-γ度，确定了ψj,γ的方向；
然后对缺陷图像信号f进行小波变换，通过与均值滤波器进行卷积建立平移不变的二维方向小波，如式：
对小波模|f*ψγ|进行新的小波再分解，恢复高频信息，进而获得新的不变特征，如式：
定义小波模传播算子
式中Wj,γ＝ψj,γ(2-ju)
沿路经j1→j2(j1>j2)，γ1→γ2迭代一次可得：
上式表明的两个功能：低通滤波获取信号的稳定特征即散射系数；对小波模|f*ψj1,γ1|进行再分解，恢复因高频信息。
沿卷积网络中所有可能的路径迭代|p|次，可得到|p|阶散射系数SJ(p)f:
式中，j|p|<…<j1<J，(γ1,…γ|p|)∈(0，2π)，|p|<M<J，M为最大路径长度。
按阶次|p|由低到高将所有散射系数聚集，写成向量形式，即得到图像的散射表达
SFf＝(SJ(p)f),(0≤|p|≤M)
将散射卷积网络的前两层散射能量特征即一阶和二阶散射系数作为激光芯片缺陷图像的相似性度量特征。
更进一步，所述步骤1)中，利用透射电镜采集包含激光芯片缺陷的图像。
再进一步，所述步骤2)中，使用基于轮廓模型的图像分割方法。首先通过高斯滤波窗口对表面缺陷图像进行滤波处理，将滤波前后的图像从RGB颜色空间转换到Lab颜色空间，然后分别计算未滤波的缺陷图像的平均向量Iμ(x,y)和滤波后的缺陷图像的平均向量If(x,y)：
Iμ(x,y)＝[Lμ aμ bμ]T，If(x,y)＝[Lf af bf]T
将这两个向量代入S(x,y)中计算得到显著值：
S(x,y)＝||Iμ(x,y)-If(x,y)||
使用显著提取技术获得缺陷的显著图像。
对显著图像进行滤波和二值化处理；而后使用线扫描操作来获得反光干扰区域，并提取其边缘；最后使用形态学理论的边缘处理方法去除反光伪缺陷边缘，并获得缺陷目标。
再进一步，如所述步骤4)中，选取一定数量分离提取得到的缺陷图像作为样本，通过SVM分类器对样本进行训练，训练时依次把某个类别的样本归为一类,其他剩余的样本归为另一类，这样k个类别的样本就构造出了k个SVM,对于k个训练集进行训练，得到k个训练文件，对于要测试的特征向量，分别利用这k个训练文件进行测试，得到k个测试结果f1(x),f1(x),.,fk(x)，最终，去测试结果中的值最大的作为该特征向量的分类结果。
本发明所引入的深度卷积网络具有建立大尺度不变性的能力，且对变形更具稳定性。散射变换通过计算一连串的小波分解和模运算得到包括多尺度和多方向信息的局部描述。散射系数组成的卷积网络对于变形来说具有平移不变性和连续性，同时保留了信号能量等属性指导网络体系结构的优化，保留重要的信息的同时避免无用的计算。解决了现有技术中存在的傅里叶变换和小波变换等特征提取方法所存在的变形稳定性差的问题。
附图说明
在下文中将基于实例并参考附图来对本发明进行更详细的描述。其中：
图1为系统流程图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1，一种激光芯片缺陷图像的特征提取方法，包括以下步骤：
1)采集到包含激光芯片缺陷的图像
利用透射电镜采集包含激光芯片缺陷的图像。
2)对采集到的包含激光芯片缺陷的图像进行缺陷区域的分离提取，过程如下：
首先通过高斯滤波窗口对表面缺陷图像进行滤波处理，将滤波前后的图像从RGB颜色空间转换到Lab颜色空间，然后分别计算未滤波的缺陷图像的平均向量Iμ(x,y)和滤波后的缺陷图像的平均向量If(x,y)：
Iμ(x,y)＝[Lμ aμ bμ]T，If(x,y)＝[Lf af bf]T
将这两个向量代入S(x,y)中计算得到显著值：
S(x,y)＝||Iμ(x,y)-If(x,y)||
使用显著提取技术获得缺陷的显著图像。
对显著图像进行滤波和二值化处理；而后使用线扫描操作来获得反光干扰区域，并提取其边缘；最后使用形态学理论的边缘处理方法去除反光伪缺陷边缘，并获得缺陷目标。
3)将处理后的图像做基于散射变化的深度卷积网络的激光芯片缺陷图像特征提取。
通过扩张和旋转小波变换得到二维方向小波，再建立平移不变的二维方向小波，随后对小波模进行新的小波再分解从而恢复高频信息，再在小波变换和模量操作子上进一步迭代，利用迭代后的小波系数计算出下一层的所有传递信号，解出一阶和二阶散射系数，得到具体的散射卷积网络架构。
4)通过支持向量机SVM进行分类。
进一步，所述步骤3)中，通过扩张和旋转小波变换，获得二维的方向小波如式:
ψj,γ＝2-2jψ(2-jr-γu)
式中j>0，确定了ψj,γ的尺度，u代表ψj,γ的位置索引，r-γ代表ψj,γ旋转-γ度，确定了ψj,γ的方向。
然后对缺陷图像信号f进行小波变换，通过与均值滤波器进行卷积建立平移不变的二维方向小波，如式：
对小波模进行新的小波再分解，恢复高频信息，进而获得新的不变特征，如式：
定义小波模传播算子
沿路经j1→j2(j1>j2)，γ1→γ2迭代一次可得：
上式表明的两个功能：低通滤波获取信号的稳定特征即散射系数；对|f*ψj1,γ1|进行再分解，恢复高频信息。
沿卷积网络中所有可能的路径迭代|p|次，可得到|p|阶散射系数SJ(p)f:
式中，j|p|<…<j1<J，(γ1,…γ|p|)∈(0，2π)，|p|<M<J，M为最大路径长度。
按阶次|p|由低到高将所有散射系数聚集，写成向量形式，即得到图像的散射表达
SFf(x)＝(SJ(p)f(x)),(0≤|p|≤M)
将散射卷积网络的前两层散射能量特征即一阶和二阶散射系数作为激光芯片缺陷图像的相似性度量特征。
4)通过支持向量机SVM进行分类，选取一定数量分离提取得到的缺陷图像作为样本，采用SVM分类器对样本进行训练，训练时依次把某个类别的样本归为一类,其他剩余的样本归为另一类，这样k个类别的样本就构造出了k个SVM,对于k个训练集进行训练，得到k个训练文件，对于要测试的特征向量，分别利用这k个训练文件进行测试，得到k个测试结果f1(x),f1(x),.,fk(x)，最终，去测试结果中的值最大的作为该特征向量的分类结果。

Claims (5)

1.一种激光芯片缺陷图像的特征提取技术，其特征在于：所述步骤如下：
1)采集到包含激光芯片缺陷的图像；
2)对采集到的包含激光芯片缺陷的图像进行缺陷区域的分离提取；
3)将分离提取得到的缺陷图像基于散射变换的深度卷积网络的特征提取，过程如下：通过扩张和旋转小波变换得到二维方向小波，再建立平移不变的二维方向小波，随后对小波模进行新的小波再分解从而恢复高频信息，再在小波变换和模量操作子上进一步迭代，利用迭代后的小波系数计算出下一层的所有传递信号，解出一阶和二阶散射系数，得到具体的散射卷积网络架构；
4)通过支持向量机SVM进行分类。
2.根据权利要求1所述的一种激光芯片缺陷图像的特征提取技术，其特征在于：所述步骤3)中，基于散射变换的深度卷积网络的激光芯片缺陷图片特征提取技术过程如下：通过扩张和旋转小波变换，获得二维的方向小波为：
ψj,γ＝2-2jψ(2-jr-γu)
式中j>0，表示ψj,γ的尺度，u代表ψj,γ的位置索引，r-γ代表ψj,γ旋转-γ度，确定了ψj,γ的方向，γ∈(0，2π)；
然后对缺陷图像信号f进行小波变换，通过与均值滤波器进行卷积建立平移不变的二维方向小波，如式：
式中代表均值滤波器；
对小波模|f*ψj,γ|进行新的小波再分解，恢复高频信息，进而获得新的不变特征，如式：
式中j2<j1<J，整数J∈N，N表示自然数，J为散射变化定义中的散射变换的空间尺度；
定义小波模传播算子
式中Wj,γ＝ψj,γ(2-ju)；
沿路经j1→j2(j1>j2)，γ1→γ2迭代一次可得：
通过均值滤波获取缺陷图像信号的稳定特征即散射系数；再对进行再分解，恢复因均值滤波损失的高频信息；
沿卷积网络中所有可能的路径迭代|p|次，可得到|p|阶散射系数SJ(p)f:
式中，j|p|<…<j1<J，(γ1,…γ|p|)∈(0，2π)，|p|<M<J，M为最大路径长度；
按阶次|p|由低到高将所有散射系数聚集，写成向量形式，即得到图像的散射表达：
SFf＝(SJ(p)f),(0≤|p|≤M)
通过深度卷积网络进行散射化，得到具体的散射卷积网络架构，解出一阶和二阶散射系数作为激光芯片缺陷图像的相似性度量特征。
3.根据权利要求1所述的一种激光芯片缺陷图像的特征提取技术，其特征在于：如所述步骤1)，利用透射电镜采集包含激光芯片缺陷的图像。
4.根据权利要求1所述的一种激光芯片缺陷图像的特征提取技术，其特征在于：如所述步骤2)，使用基于轮廓模型的图像分割方法：首先通过高斯滤波窗口对表面缺陷图像进行滤波处理，将滤波前后的图像从RGB颜色空间转换到Lab颜色空间，然后分别计算未滤波的缺陷图像的平均向量Iμ(x,y)和滤波后的缺陷图像的平均向量If(x,y)：
Iμ(x,y)＝[Lμ aμ bμ]T
If(x,y)＝[Lf af bf]T
将这两个向量代入S(x,y)中计算得到显著值：
S(x,y)＝||Iμ(x,y)-If(x,y)||
使用显著提取技术获得缺陷的显著图像；
对显著图像进行滤波和二值化处理；而后使用线扫描操作来获得反光干扰区域，并提取其边缘；最后使用形态学理论的边缘处理方法去除反光伪缺陷边缘，并获得缺陷图像。
5.根据权利要求1所述的一种激光芯片缺陷图像的特征提取技术，其特征在于：所述步骤4)中，选取一定数量分离提取得到的缺陷图像作为样本，通过SVM分类器对样本进行训练，训练时依次把某个类别的样本归为一类,其他剩余的样本归为另一类，这样k个类别的样本就构造出了k个SVM，对于k个训练集进行训练，得到k个训练文件，对于要测试的特征向量，分别利用这k个训练文件进行测试，得到k个测试结果f1(x),f1(x),.,fk(x)，最终，去测试结果中的值最大的作为该特征向量的分类结果。
CN201811310873.7A 2018-11-06 2018-11-06 一种激光芯片缺陷图像的特征提取技术 Pending CN109447172A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811310873.7A CN109447172A (zh) 2018-11-06 2018-11-06 一种激光芯片缺陷图像的特征提取技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811310873.7A CN109447172A (zh) 2018-11-06 2018-11-06 一种激光芯片缺陷图像的特征提取技术

Publications (1)

Publication Number Publication Date
CN109447172A true CN109447172A (zh) 2019-03-08

Family

ID=65551174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811310873.7A Pending CN109447172A (zh) 2018-11-06 2018-11-06 一种激光芯片缺陷图像的特征提取技术

Country Status (1)

Country Link
CN (1) CN109447172A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144427A (zh) * 2019-12-30 2020-05-12 深圳泺息科技有限公司 图像特征提取方法、装置、设备及可读存储介质
CN111353223A (zh) * 2020-02-25 2020-06-30 太原理工大学 一种激光器芯片腔面微缺陷的损伤发展预测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103278511A (zh) * 2013-05-17 2013-09-04 南京大学 基于多尺度角点特征提取的晶片缺陷检测方法
CN104504403A (zh) * 2015-01-16 2015-04-08 重庆大学 一种基于散射变换的旋转机械故障预测方法
CN105069796A (zh) * 2015-08-12 2015-11-18 西安电子科技大学 基于小波散射网络的sar图像分割方法
CN105718944A (zh) * 2016-01-19 2016-06-29 上海交通大学 基于核空间的深度散射卷积网络学习方法和系统
CN107122710A (zh) * 2017-03-20 2017-09-01 浙江工业大学 一种基于散射卷积网络的手指静脉特征提取方法
CN107563999A (zh) * 2017-09-05 2018-01-09 华中科技大学 一种基于卷积神经网络的芯片缺陷识别方法
CN107862249A (zh) * 2017-10-18 2018-03-30 太原理工大学 一种分叉掌纹识别方法及装置
CN108564098A (zh) * 2017-11-24 2018-09-21 西安电子科技大学 基于散射全卷积模型的极化sar分类方法
CN108613802A (zh) * 2018-05-10 2018-10-02 重庆大学 一种基于深度混合网络结构的机械故障诊断方法
US20180286048A1 (en) * 2013-10-11 2018-10-04 Mauna Kea Technologies Method for characterizing images acquired through a video medical device

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103278511A (zh) * 2013-05-17 2013-09-04 南京大学 基于多尺度角点特征提取的晶片缺陷检测方法
US20180286048A1 (en) * 2013-10-11 2018-10-04 Mauna Kea Technologies Method for characterizing images acquired through a video medical device
CN104504403A (zh) * 2015-01-16 2015-04-08 重庆大学 一种基于散射变换的旋转机械故障预测方法
CN105069796A (zh) * 2015-08-12 2015-11-18 西安电子科技大学 基于小波散射网络的sar图像分割方法
CN105718944A (zh) * 2016-01-19 2016-06-29 上海交通大学 基于核空间的深度散射卷积网络学习方法和系统
CN107122710A (zh) * 2017-03-20 2017-09-01 浙江工业大学 一种基于散射卷积网络的手指静脉特征提取方法
CN107563999A (zh) * 2017-09-05 2018-01-09 华中科技大学 一种基于卷积神经网络的芯片缺陷识别方法
CN107862249A (zh) * 2017-10-18 2018-03-30 太原理工大学 一种分叉掌纹识别方法及装置
CN108564098A (zh) * 2017-11-24 2018-09-21 西安电子科技大学 基于散射全卷积模型的极化sar分类方法
CN108613802A (zh) * 2018-05-10 2018-10-02 重庆大学 一种基于深度混合网络结构的机械故障诊断方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BRUNA, JOAN等: "Invariant Scattering Convolution Networks", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
宋克臣: "面向硅钢板表面缺陷的检测与识别方法研究", 《万方数据》 *
宋登元,王秀山: "超大规模集成电路芯片的激光缺陷检测技术", 《激光杂志》 *
徐振淞等: "基于小波分析的倒装芯片主动红外缺陷检测", 《红外与激光工程》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144427A (zh) * 2019-12-30 2020-05-12 深圳泺息科技有限公司 图像特征提取方法、装置、设备及可读存储介质
CN111144427B (zh) * 2019-12-30 2023-10-13 深圳新秦科技有限公司 图像特征提取方法、装置、设备及可读存储介质
CN111353223A (zh) * 2020-02-25 2020-06-30 太原理工大学 一种激光器芯片腔面微缺陷的损伤发展预测方法
CN111353223B (zh) * 2020-02-25 2023-06-16 太原理工大学 一种激光器芯片腔面微缺陷的损伤发展预测方法

Similar Documents

Publication Publication Date Title
Khan A survey: Image segmentation techniques
Jiang et al. Fast segmentation of range images into planar regions by scan line grouping
Kutyniok et al. Image separation using wavelets and shearlets
CN111242864A (zh) 一种基于Gabor纹理约束的手指静脉图像修复方法
CN103279955B (zh) 图像匹配方法和系统
CN104408692A (zh) 一种基于深度学习的图像模糊模型参数分析方法
CN112115871B (zh) 适用于行人目标检测的高低频交织边缘特征增强方法
CN115272306B (zh) 利用梯度运算的太阳能电池板栅线增强方法
CN109447172A (zh) 一种激光芯片缺陷图像的特征提取技术
Poojitha et al. Hybrid unified deep learning network for highly precise Gleason grading of prostate cancer
Appleton et al. A morphological filter for removing'Cirrus-like'emission from far-infrared extragalactic IRAS fields
Long* et al. Characterization of migrated seismic volumes using texture attributes: a comparative study
Ayazi et al. Comparison of traditional and machine learning base methods for ground point cloud labeling
Selvarajan et al. Extraction of man-made features from remote sensing imageries by data fusion techniques
Thamilselvan et al. A novel profuse clustering technique for image denoising
Vartiainen et al. Detection of irregularities in regular patterns
Rapacz et al. Automatic extraction of leaf venation complex networks
Ray et al. Active contour segmentation guided by AM-FM dominant component analysis
Zhang et al. Deep encoder-decoder network based on the up and down blocks using wavelet transform for cloud detection
CN107220985A (zh) 基于图划分粒子群优化的sar图像自动分割方法
Garg et al. Rapid technique to eliminate moving shadows for accurate vehicle detection
Randen et al. Optimal filtering scheme for unsupervised texture feature extraction
Naouai et al. Line recognition algorithm using constrained delaunay triangulation
Zhao et al. Identification of Hybrid Cellular Automata Using Image Segmentation Methods.
Shi et al. Segmentation Method of Pedestrian Object in Ground Point Cloud Image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190308