CN103514445A - 基于多流形学习的带钢表面缺陷识别方法 - Google Patents

Abstract

本发明涉及一种基于多流形学习的带钢表面缺陷识别方法。其技术方案是：对于任一副带钢表面缺陷图像向量化的向量数据点X_i分别选择类别相同和类别不同的K个近邻点建立对应的同类数据子图和异类数据子图，计算同类数据子图最小误差线性表示系数矩阵W_intra和异类数据子图最小误差线性表示系数矩阵W_inter；然后分别建立同类数据子图散度S_inter和异类数据子图散度S_intra；进而以最大化异类数据子图散度S_inter与同类数据子图散度S_intra之差来寻找低维投影矩阵A；经过低维投影后，采用最近邻方法来判定未知类别的带钢表面缺陷图像的类别。本发明通过局部线性表示来探测各流形的局部结构，能够提高带钢表面缺陷图像的识别率。

Description

基于多流形学习的带钢表面缺陷识别方法

技术领域

本发明属于带钢表面缺陷识别技术领域。特别是涉及一种基于多流形学习的带钢表面缺陷识别方法。

背景技术

带钢是钢铁工业的主要产品形式之一，是航空航天、汽车轮船制造等必备原材料。故带钢的质量检测尤为重要，关系到许多制造行业的发展，而表面质量是带钢最为重要质量因素之一，是企业赢得市场的重要条件。因此，带钢表面质量的检测由于其重要的实用价值正受到越来越多的重视。

钢板表面质量检测经历了人工目测检测、传统无损检测和基于机器视觉检测的三个发展阶段。人工目视检测表面缺陷的方法效率低、容易漏检、劳动强度大和实时性差。传统无损检测方法包括涡流检测、红外检测、漏磁检测和激光检测等,这些方法检到的缺陷类型少,检测实时性不强,检测的表面缺陷分辨率也不高,无法有效评估产品的表面质量状况。目前,基于机器视觉的表面质量检测方法是研究的热点,该方法用摄相机采集钢板表面图像,然后通过图像处理和分析提取缺陷图像特征,进行缺陷的自动分类。但在进行分类时，依然采用比较传统的数据分析方法如神经网络、小波分析和核局部保持投影、独立分量分析和主成分分析等方法，分类效果不好，应用效果不显著。

发明内容

本发明旨在克服现有技术缺陷，目的在于提出一种效率高和效果好的基于多流形学习的带钢表面缺陷识别方法。

为实现上述技术方案，本发明采用的技术方案的具体步骤是：

（1）对原始采集的带钢表面缺陷图像依次进行灰度化处理、平滑处理、归一化处理和向量化，得到一副带钢表面缺陷图像预处理后的向量数据点X_i，所有带钢表面缺陷图像预处理后的向量数据X_i构成矩阵数据X。

（2）对每一副带钢表面缺陷图像预处理后的向量数据点X_i，从所有带钢表面缺陷图像预处理后的矩阵数据X中寻找与一副带钢表面缺陷图像预处理后的向量数据点X_i距离最小和类别相同的K个向量数据点，组成同类数据点的局部邻域，由同类数据点的局部邻域进行线性表示，计算最小误差的线性表示系数(W_ij)_intra：

$\min {\left|\right|X_i-\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}{X}_j\left|\right|}^2---\left(1\right)$

式（1）的解为

$W_{\mathrm{intra}}=\underset{j}{\mathrm{\Σ}}{G}_{\mathrm{ij}}^{-1}/\underset{\mathrm{ij}}{\mathrm{\Σ}}{G}_{\mathrm{ij}}^{-1}---\left(2\right)$

式（2）中:X_i和X_j分别表示类别相同的不同副的带钢表面缺陷图像向量化的向量数据点；i和j分别表示自然数，i≠j；

G_ij表示局部格莱姆矩阵，

表示一副带钢表面缺陷图像预处理后的向量数据X_i在同类数据点局部邻域的均值， ${\stackrel{\‾}{X}}_i=[X_i-X_{\mathrm{il}},,...,X_i-X_{\mathrm{ik}}];$

表示一副带钢表面缺陷图像预处理后的向量数据X_j在同类数据点局部邻域的均值， ${\stackrel{\‾}{X}}_j=[X_j-X_{\mathrm{jl}},,...,X_j-X_{\mathrm{jk}}].$

（3）对于每一副带钢表面缺陷图像预处理后的向量数据点X_i，从所有带钢表面缺陷图像预处理后的矩阵数据X中寻找与一副带钢表面缺陷图像预处理后的向量数据点X_i距离最小和类别不同的K个向量数据点，组成异类数据点的局部邻域，由异类数据点的局部邻域进行线性表示，计算最小误差的线性表示系数(W_ij)_inter；

$\mathrm{\ϵ}\left(W_{\mathrm{inter}}\right)=\min {\left|\right|X_i-\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}{X}_j\left|\right|}^2---\left(3\right)$

式（3）的解为

$W_{\mathrm{intra}}=\underset{j}{\mathrm{\Σ}}{G}_{\mathrm{ij}}^{-1}/\underset{\mathrm{ij}}{\mathrm{\Σ}}{G}_{\mathrm{ij}}^{-1}---\left(4\right)$

式（4）中:X_i和X_j表示类别不同且不同副的带钢表面缺陷图像向量化的向量数据点；i和j表示自然数，i≠j；

G_ij表示局部格莱姆矩阵，

表示一副带钢表面缺陷图像预处理后的向量数据X_i在异类数据点局部邻域的均值， ${\stackrel{\‾}{X}}_i=[X_i-X_{\mathrm{il}},,...,X_i-X_{\mathrm{ik}}];$

表示一副带钢表面缺陷图像预处理后的向量数据X_j在异类数据点局部邻域的均值， ${\stackrel{\‾}{X}}_j=[X_j-X_{\mathrm{jl}},,...,X_j-X_{\mathrm{jk}}].$

（4）对于其余的任一副带钢表面缺陷图像预处理后的向量数据X_i都重复步骤（2）和步骤（3）。

构建同类数据子图和异类数据子图，得到同类数据子图的最小误差线性表示矩阵W_intra和异类数据子图的最小误差线性表示矩阵W_inter。

（5）计算同类数据子图散度S_intra和异类数据子图散度S_inter：

S_intra＝X(I-W_intra)^T(I-W_intra)X^T        (5)

S_inter＝X(I-W_inter)^T(I-W_inter)X^T       (6)

式（5）和式（6）中：I表示单位矩阵。

构建目标函数:

maxA^T(S_inter-S_intra)A       (7)

式（7）中：A表示低维投影矩阵。

（6）对(S_inter-S_intra)进行特征值分解

(S_inter-S_intra)f＝λf         (8)

式（8）中：λ表示特征值；

f表示特征向量。

将特征值λ按照由大到小顺序进行排列，取前d个特征值对应特征向量f组成低维投影矩阵A。

（7）对于未知类别的一副带钢表面缺陷图像预处理后的向量数据点X_i，在带钢表面缺陷图像预处理后的向量数据点X_i投影后的向量数据在低维空间内的投影

Y_i＝A^TX_i       (9)

式（9）中：T表示低维投影矩阵A的转置。

（8）在低维空间内，采用最近邻法对未知类别的每一副带钢表面缺陷图像预处理后的向量数据点X_i的缺陷类别进行识别。

所述的从所有带钢表面缺陷图像预处理后的矩阵数据X中寻找与一副带钢表面缺陷图像预处理后的向量数据点X_i距离最小和类别相同的K个向量数据点是：计算每一副带钢表面缺陷图像预处理后的向量数据点X_i与所有带钢表面缺陷图像预处理后的矩阵数据X中具有相同类别的向量数据点之间的欧式距离，按照由小到大进行排列，取前K个作为同类数据点局部邻域。

所述的从所有带钢表面缺陷图像预处理后的矩阵数据X中寻找与一副带钢表面缺陷图像预处理后的向量数据点X_i距离最小和类别不同的K个向量数据点是：计算每一副带钢表面缺陷图像预处理后的向量数据点X_i与所有带钢表面缺陷图像预处理后的矩阵数据X中具有不同类别的向量数据点之间的欧式距离，按照由小到大进行排列，取前K个作为异类数据点局部邻域。

所述最近邻法是：在低维空间进行分类时，采用K近邻分类器，K为1。

由于采用上述技术方案，本发明的有益效果是：

本发明采用多流形学习方法提取带钢表面缺陷图像的特征，一方面利用向量数据的类别信息来建立同类数据子图和异类数据子图，另一方面在各子图中采用局部线性表示来计算各子图权值，保持了多流形的局部结构信息，同时以最大化表示异类数据的异类数据子图散度和表示同类数据的同类数据子图散度之差，寻找最佳分类子空间，提高带钢表面缺陷的识别效率。

最后计算测试样本的类别预测正确率，本发明与比较传统的方法如LPP相比，识别率提高了2.34%。

因此，本发明具有效率高和效果好的特点，

具体实施方式

下面结合具体实施方式对本发明作进一步的描述，并非对其保护范围的限制。

实施例1

一种基于多流形学习的带钢表面缺陷识别方法，其具体步骤是：

（1）对原始采集的带钢表面缺陷图像依次进行灰度化处理、平滑处理、归一化处理和向量化，得到一副带钢表面缺陷图像预处理后的向量数据点X_i，所有带钢表面缺陷图像预处理后的向量数据X_i构成矩阵数据X。本实施例采集到4类带钢表面缺陷图像，4类带钢表面缺陷图像的缺陷类别是指焊缝、边缘锯齿、夹杂和抬头纹；每一类数据共40幅，每幅尺寸为100*100，一副带钢表面缺陷图像预处理后的向量数据点X_i为10000维，所有带钢表面缺陷图像预处理后的向量数据X_i构成160*10000的矩阵数据X。

（2）对每一副带钢表面缺陷图像预处理后的向量数据点X_i，从所有带钢表面缺陷图像预处理后的矩阵数据X中寻找与一副带钢表面缺陷图像预处理后的向量数据点X_i距离最小和类别相同的K个向量数据点（K设为10），组成同类数据点的局部邻域。其中，同类是指如果一副带钢表面缺陷图像预处理后的向量数据点X_i是属于同一类别缺陷为同类，如焊缝缺陷类，那么一副带钢表面缺陷图像预处理后的向量数据点X_i的同类数据点的局部邻域也属于焊缝缺陷类型。由同类数据点的局部邻域进行线性表示，计算最小误差的线性表示系数(W_ij)_intra

$\min {\left|\right|X_i-\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}{X}_i\left|\right|}^2---\left(1\right)$

式（1）的解为

$W_{\mathrm{intra}}=\underset{j}{\mathrm{\Σ}}{G}_{\mathrm{ij}}^{-1}/\underset{\mathrm{ij}}{\mathrm{\Σ}}{G}_{\mathrm{ij}}^{-1}---\left(2\right)$

式（2）中:X_i和X_j分别表示类别相同的不同副的带钢表面缺陷图像向量化的向量数据点；i和j分别表示小于或等于160的自然数，i≠j；

G_ij表示局部格莱姆矩阵，

表示一副带钢表面缺陷图像预处理后的向量数据X_i在同类数据点局部邻域的均值， ${\stackrel{\‾}{X}}_i=[X_i-X_{\mathrm{il}},,...,X_i-X_{\mathrm{ik}}];$

表示一副带钢表面缺陷图像预处理后的向量数据X_j在同类数据点局部邻域的均值， ${\stackrel{\‾}{X}}_j=[X_j-X_{\mathrm{jl}},,...,X_j-X_{\mathrm{jk}}].$

（3）对于每一副带钢表面缺陷图像预处理后的向量数据点X_i，从所有带钢表面缺陷图像预处理后的矩阵数据X中寻找与一副带钢表面缺陷图像预处理后的向量数据点X_i距离最小和类别不同的K个向量数据点（K设为10），组成异类数据点的局部邻域。其中，异类是指如果一副带钢表面缺陷图像预处理后的向量数据点X_i是属于不同类别缺陷为异类，如焊缝缺陷类和边缘锯齿缺陷类为异类，那么一副带钢表面缺陷图像预处理后的向量数据点X_i的异类数据点的局部邻域是除了焊缝缺陷外的其他类型。由异类数据点的局部邻域进行线性表示，计算最小误差的线性表示系数(W_ij)_inter

$\mathrm{\ϵ}\left(W_{\mathrm{inter}}\right)=\min {\left|\right|X_i-\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}{X}_j\left|\right|}^2---\left(3\right)$

式（3）的解为

$W_{\mathrm{intra}}=\underset{j}{\mathrm{\Σ}}{G}_{\mathrm{ij}}^{-1}/\underset{\mathrm{ij}}{\mathrm{\Σ}}{G}_{\mathrm{ij}}^{-1}---\left(4\right)$

式（4）中:X_i和X_j分别表示类别不同且不同副的带钢表面缺陷图像向量化的向量数据点；i和j分别表示小于或等于160的自然数，i≠j；

G_ij表示局部格莱姆矩阵，

表示一副带钢表面缺陷图像预处理后的向量数据X_i在异类数据点局部邻域的均值， ${\stackrel{\‾}{X}}_i=[X_i-X_{\mathrm{il}},,...,X_i-X_{\mathrm{ik}}];$

表示一副带钢表面缺陷图像预处理后的向量数据X_j在异类数据点局部邻域的均值， ${\stackrel{\‾}{X}}_j=[X_j-X_{\mathrm{jl}},,...,X_j-X_{\mathrm{jk}}].$

（4）对于其余的任一副带钢表面缺陷图像预处理后的向量数据X_i都重复步骤（2）和步骤（3）。

构建同类数据子图和异类数据子图，得到同类数据子图的最小误差线性表示矩阵W_intra和异类数据子图的最小误差线性表示矩阵W_inter。

（5）计算同类数据子图散度S_intra和异类数据子图散度S_inter：

S_intra＝X(I-W_intra)^T(I-W_intra)X^T         (5)

S_inter＝X(I-W_inter)^T(I-W_inter)X^T        (6)

式（5）和式（6）中：I表示单位矩阵。

构建目标函数

maxA^T(S_inter-S_intra)A                  (7)

式（7）中，A表示低维投影矩阵。

（6）对(S_inter-S_intra)进行特征值分解

(S_inter-S_intra)f＝λf          (8)

式（8）中：λ表示特征值；

f表示特征向量。

将特征值λ按照由大到小顺序进行排列，取前d个特征值对应特征向量f组成低维投影矩阵A，在设置K为10时，取前100个特征值对应的特征向量构成低维投影矩阵A为10000*100。

（7）对于未知类别的一副带钢表面缺陷图像预处理后的向量数据点X_i，在带钢表面缺陷图像预处理后的向量数据点Xi投影后的向量数据在低维空间内的投影

Y_i＝A^TX_i            (9)

式（9）中：T表示低维投影矩阵A的转置。

（8）在低维空间内，采用最近邻法对未知类别的每一副带钢表面缺陷图像预处理后的向量数据点X_i的缺陷类别进行识别。

本具体实施方式采用多流形学习方法提取带钢表面缺陷图像的特征，一方面利用向量数据的类别信息来建立同类数据子图和异类数据子图，另一方面在各子图中采用局部线性表示来计算各子图权值，保持了多流形的局部结构信息，同时以最大化表示异类数据的异类数据子图散度和表示同类数据的同类数据子图散度之差，寻找最佳分类子空间，提高带钢表面缺陷的识别效率。

最后计算测试样本的类别预测正确率，本具体实施方式与比较传统的方法如LPP相比，识别率提高了2.34%。

因此，本发明具有效率高和效果好的特点。

Claims (2)

1.一种基于多流形学习的带钢表面缺陷识别方法，其特征在于所述带钢表面缺陷识别方法的具体步骤是：

（1）对原始采集的带钢表面缺陷图像依次进行灰度化处理、平滑处理、归一化处理和向量化，得到一副带钢表面缺陷图像预处理后的向量数据点X_i，所有带钢表面缺陷图像预处理后的向量数据X_i构成矩阵数据X；

（2）对每一副带钢表面缺陷图像预处理后的向量数据点X_i，从所有带钢表面缺陷图像预处理后的矩阵数据X中寻找与一副带钢表面缺陷图像预处理后的向量数据点X_i距离最小和类别相同的K个向量数据点，组成同类数据点的局部邻域，由同类数据点的局部邻域进行线性表示，计算最小误差的线性表示系数(W_ij)_intra：

$\min {\left|\right|X_i-\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}{X}_j\left|\right|}^2---\left(1\right)$

式（1）的解为

$W_{\mathrm{intra}}=\underset{j}{\mathrm{\Σ}}{G}_{\mathrm{ij}}^{-1}/\underset{\mathrm{ij}}{\mathrm{\Σ}}{G}_{\mathrm{ij}}^{-1}---\left(2\right)$

式（2）中:X_i和X_j分别表示类别相同的不同副的带钢表面缺陷图像向量化

的向量数据点，i和j分别表示自然数，i≠j，

G_ij表示局部格莱姆矩阵，

表示一副带钢表面缺陷图像预处理后的向量数据X_i在同类数据点局部邻域的均值， ${\stackrel{\‾}{X}}_i=[X_i-X_{\mathrm{il}},,...,X_i-X_{\mathrm{ik}}],$

表示一副带钢表面缺陷图像预处理后的向量数据X_j在同类数据点局部邻域的均值， ${\stackrel{\‾}{X}}_j=[X_j-X_{\mathrm{jl}},,...,X_j-X_{\mathrm{jk}}];$

（3）对于每一副带钢表面缺陷图像预处理后的向量数据点X_i，从所有带钢表面缺陷图像预处理后的矩阵数据X中寻找与一副带钢表面缺陷图像预处理后的向量数据点X_i距离最小和类别不同的K个向量数据点，组成异类数据点的局部邻域，由异类数据点的局部邻域进行线性表示，计算最小误差的线性表示系数(W_ij)_inter；

$\mathrm{\ϵ}\left(W_{\mathrm{inter}}\right)=\min {\left|\right|X_i-\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}{X}_j\left|\right|}^2---\left(3\right)$

式（3）的解为

$W_{\mathrm{intra}}=\underset{j}{\mathrm{\Σ}}{G}_{\mathrm{ij}}^{-1}/\underset{\mathrm{ij}}{\mathrm{\Σ}}{G}_{\mathrm{ij}}^{-1}---\left(4\right)$

式（4）中:X_i和X_j分别表示类别不同且不同副的带钢表面缺陷图像向量化的向量数据点，i和j表示自然数，i≠j，

G_ij表示局部格莱姆矩阵，

表示一副带钢表面缺陷图像预处理后的向量数据X_i在异类数据点局部邻域的均值， ${\stackrel{\‾}{X}}_i=[X_i-X_{\mathrm{il}},,...,X_i-X_{\mathrm{ik}}],$

表示一副带钢表面缺陷图像预处理后的向量数据X_j在异类数据点局部邻域的均值， ${\stackrel{\‾}{X}}_j=[X_j-X_{\mathrm{jl}},,...,X_j-X_{\mathrm{jk}}];$

（4）对于其余的任一副带钢表面缺陷图像预处理后的向量数据X_i都重复步骤（2）和步骤（3）；

构建同类数据子图和异类数据子图，得到同类数据子图的最小误差线性表示矩阵W_intra和异类数据子图的最小误差线性表示矩阵W_inter；

（5）计算同类数据子图散度S_intra和异类数据子图散度S_inter：

S_intra＝X(I-W_intra)^T(I-W_intra)X^T        (5)

S_inter＝X(I-W_inter)^T(I-W_inter)X^T         (6)

式（5）和式（6）中：I表示单位矩阵；

构建目标函数:

maxA^T(S_inter-S_intra)A       (7)

式（7）中：A表示低维投影矩阵；

（6）对(S_inter-S_intra)进行特征值分解

(S_inter-S_intra)f＝λf        (8)

式（8）中：λ表示特征值，

f表示特征向量；

将特征值λ按照由大到小顺序进行排列，取前d个特征值对应特征向量f组成低维投影矩阵A；

（7）对于未知类别的一副带钢表面缺陷图像预处理后的向量数据点X_i，在带钢表面缺陷图像预处理后的向量数据点X_i投影后的向量数据在低维空间内的投影

Y_i＝A^TX_i       (9)

式（9）中：T表示低维投影矩阵A的转置；

（8）在低维空间内，采用最近邻法对未知类别的每一副带钢表面缺陷图像预处理后的向量数据点X_i的缺陷类别进行识别。

2.根据权利要求1所述的基于多流形学习的带钢表面缺陷识别方法，其特征在于所述最近邻法是，在低维空间进行分类时，采用K近邻分类器，K为1。