CN115439405A - 一种钢板表面缺陷的分类方法 - Google Patents

Abstract

本发明涉及钢板表面缺陷分类领域。一种钢板表面缺陷的分类方法，获取工业拍摄到的钢板表面缺陷图像，图像预处理后采取融合降维处理后形成一个42维特征向量；建立KD‑Tree；42维特征向量输入TWSVM算法训练获得最优TWSVM模型；训练好的TWSVM模型以概率的形式进行输出，并输出测试样本所属缺陷种类的概率值；设定概率阈值，将概率值小于设定概率阈值的测试样本在KD‑Tree中搜寻测试样本的最近邻样本进行二次判定，最终结果将作为这些低于设定概率阈值的测试样本的所属缺陷类型。本发明利用双分类器最大化的提升了钢板表面缺陷的分类效果。

Description

一种钢板表面缺陷的分类方法

技术领域

本发明涉及钢板表面缺陷分类领域。

背景技术

钢材是当今在世界上最重要的材料之一，常用于楼房建设、轨道交通、零部件制造等多方面，起着无可替代的作用。表面质量和其他性能是衡量质量的重要参数，尤其是在钢板表面。目前，工业中所生产的钢板表面存在着各种各样的缺陷，这些缺陷会使成品的质量降低。为了提高钢板的质量，我们往往会针对各类的表面缺陷采取不同的技术方法来进行二次修磨加工处理，同时对缺陷比较大、难以修复的钢板进行废弃回收，所以对钢板缺陷的准确分类尤为重要。如今，在钢板工业自动化生产的过程中，产品自动化生产大大降低了工人在一线生产所面临的危险系数，同时也提高了产品加工的质量和速度。同样，为了更快、更准地判断钢板表面缺陷类型，需要建立起一套完备的算法供计算机学习，从而更准确地识别。虽然深度学习是近年来非常热门的领域，但是需要大量样本做训练和海量参数运算等弊端，从而造成模型地训练时间漫长。所以，相对于深度学习，利用传统地机器学习更适合小样本的学习，也能更快地训练出模型。

在传统分类方法中,KNN、SVM等都可以用于钢板表面类型的分类，但传统的KNN分类器在大数据中难以处理高维数据，并在异类之间重叠度高的部分容易判错，而SVM的优点是考虑结构风险最小化，适用于小样本、非线性和高维的分类问题，能有效避免过拟合，具有良好的泛化性能。上述传统算法虽然都可以做分类，但是对于新样本所属缺陷类型的预测，这些分类器将直接输出一个分类结果，并没有输出所预测的缺陷类别的可信概率值，导致无法确定所预测结果的可信度。而且单个分类器分类可信度不高，无法更加准确预测缺陷类别。

发明内容

本发明所要解决的技术问题是：如何解决背景技术中提到无法更加准确预测钢板表面缺陷类别的问题。

本发明所采用的技术方案是：一种钢板表面缺陷的分类方法，包括步骤如下：

S1：获取工业拍摄到的钢板表面缺陷图像，并划分为训练集和测试集；

S2：将S1获取的图像进行图像预处理；

S3：提取预处理后图像的HOG、GLCM特征和几何特征，对HOG和GLCM特征采取融合降维处理后与几何特征融合在一起形成一个42维特征向量；

S4：利用S3得到的42维特征向量建立KD-Tree；

S5：将S3得到的42维特征向量输入TWSVM算法训练获得最优TWSVM模型；

S6：将S5中训练好的TWSVM模型以概率的形式进行输出，并输出测试样本所属缺陷种类的概率值；

S7：设定概率阈值，将S6中概率值小于设定概率阈值的测试样本在S4建立的KD-Tree中搜寻测试样本的最近邻样本进行二次判定，最终结果将作为这些低于设定概率阈值的测试样本的所属缺陷类型。

所述的步骤S1中获取的工业拍摄到的钢板表面缺陷图像，分为6类缺陷，分别是裂纹(Cr)、夹杂物(In)、斑块(Pa)、麻点(PS)、压入氧化皮(RS)和刮痕(Sc)，将这些图片每类的80％划分为训练集，20％划分为测试集。

所述的步骤S2中，由于相机在现场的高温环境下极易产生噪声和模糊，所以我们在图像灰度化处理后需要对图像进行灰度变换和去除噪声，以此来改善画质，使图像的显示效果更加清晰，以便下一步提取更有用的特征。具体步骤如下：

S21：首先将图像灰度化；

S22：采用灰度变换，从空间域上调整图像对比度来改善视觉效果。

每张图像的像素点坐标(μ,v)的灰度值f(μ,ν)范围为[a,b]，经过灰度变换后的图像的像素点坐标(μ,ν)灰度值g(μ,v)范围为[a',b']；

f(μ,v)和g(μ,ν)的关系如下：

a、b、a'、b'为大于等于0且小于等于255的值；

S23:采用Gabor滤波对经过灰度变换后的图像进行去噪、平滑处理。

所述的步骤S3步骤中具体包括如下：

S31：对经过图像预处理的图像计算灰度共生矩阵(GLCM)和方向梯度直方图(HOG)，分别得到关于图像纹理信息的特征、局部区域梯度方向的信息特征；

S32：将图像纹理信息的特征、局部区域梯度方向的信息特征进行融合，使得每张图像都能转化成一行高维特征向量，最终每张图像共得到共计337维的特征向量，由于特征融合后维数过高容易造成过拟合，采用PCA降维降至37维；

S33：几何特征提取时，对经过图像预处理的图像，进行二值化操作，用阈值对灰度图像进行黑白色分割，采用迭代法对阈值进行选取，具体步骤如下；

S331首先对每张图像求出最大灰度值和最小灰度值，取最大灰度值和最小灰度值的平均灰度值作为初始阈值t；

S332用初始阈值t分割图像成两部分R₁、R₂，其中，R₁为灰度值小于等于阈值t的部分，R₂为灰度值大于阈值t的部分，分别计算R₁和R₂平均灰度值为t₁和t₂；

S333计算新的阈值t_new＝(t₁+t₂)/2；

S334比较t和t_new，若相等，则t_new为迭代阈值；若不相等，则t＝t_new，重复S332-S333，直到t＝＝t_new；

S335根据迭代得到的阈值对灰度图像进行二值化；

S34：利用形态学腐蚀操作除去一些细小的颗粒点，随后利用形态学膨胀操作填补缺陷目标区域的空洞并将断裂开的缺陷目标区域进行合并，利用Canny算子进行边缘检测，提取缺陷目标区域几何特征，包括数量、缺陷区域面积、区域占空比、最大缺陷区域面积、最大区域周长，共计5维特征；

S35：将S32，S34提取的特征进行拼接，每张图像最终会得到一个42维的特征向量，为了使不同的特征之间具有显著可比性，然后归一化，将数据映射在[0,1]之间，方式如下：

其中，xⁱ为当前样本中的第i个维度的特征值，x^min为当前样本中最小特征值，x^max为当前样本中最大特征值，x^norm为xⁱ归一化后的值。

S4步骤构建KD-Tree具体如下：

S41：KD-Tree描述(简介)：KD-Tree形如二叉树，KD-Tree的每个非叶子结点可以通过超平面分成两个子空间，并且每个子空间同样可以用相同的方式来划分。所有子空间分为两部分，左子空间和右子空间(或上子空间和下子空间)。即，在K维数据集上构造一颗KD-Tree表示由K维数据集构成的K维空间的分区。也就是说，树中的每个结点对应于K维超矩形区域。

S42：将训练集中每张钢板表面缺陷图片按上述步骤S21-S35操作后，每张图像会获得K维数的特征向量，可以表示为

其中

表示为表示第K维的特征值。假设训练集T：T＝{(x_i,y_i)|x_i∈R^K,i＝1,2,...,m}，其中m为样本数量，y_i为数据标签，R^K为K维空间；

S43：首先初始化分割轴：计算m个样本对应每个维度上的方差，然后降序排序，选取最大方差的维度k，将

方差最大的特征所对应的坐标轴作为分割轴；

S44：对训练集T中所有的样本数据k维度的值进行升序排序，以中位数对应的样本为切分点，同时将其作为KD-Tree根结点，通过切分点与

所在坐标轴垂直的超平面来实现对根节点划分，此时的根结点将被划分两个子区域；

S45：以根结点为基准，构造出深度为1的左右子结点，深度指所有结点最大层次数，根结点处深度为0，将所有样本点第k维特征小于切分点的归为左子结点，将大于切分点的归为右子结点；

S46：重复上述步骤S44、S45，继续按方差大小更新分割轴，对于下一深度h的结点，选择x^l为切分坐标轴，其中l为剩余特征中方差最大的维度，以该结点区域所有样本点第l维特征的中位数对应的样本作为切分点，继续划分子区域，构造深度为h+1的左子结点和右子结点，将所有样本点第l维特征小于切分点的归为左子结点，将大于切分点的归为右子结点；

S47：按方差由大到小依次把K维特征遍历一遍，如果没有分完就继续遍历，直到两个子区域内没有样本点存在时停止，完成KD-Tree的构造。

S5具体步骤如下：

TWSVM简介：TWSVM与传统SVM虽然都是经典的二分类算法，但有所不同，TWSVM实际上由两个超平面构成，意在使得每一个分类超平面尽可能地靠近一类样本点而远离另一类样本点，从而最大化程度将两类样本分开。

S51：考虑到钢板表面缺陷实际上是一个n分类(多分类)问题，这里采取“一对多”的策略，将n类缺陷中的一类作为正样本，其余n-1类作为负样本，构造出n个TWSVM二分类器。当测试样本进行分类时，计算它到所有超平面的距离，距离最小的那一超平面对应的类别即为测试样本的类别；

S52：为了构造上述每个TWSVM分类器，首先定义K维特征数据训练样本集T＝{(x_i,y_i)|x_i∈R^K,i＝1,2,...,m}，这里x_i是每个缺陷样本，因为采用了“一对多”的策略，所以会将目前所有类别的缺陷样本分为两类，分别称为正样本和负样本，此时y_i＝{+1,-1}为样本标签，然后将训练样本集T划分成大小为m₁×K矩阵A和大小为m₂×K矩阵B，其中m₁+m₂＝m；

S52：为了更好地判别样本所属类别，采用核函数将TWSVM从低维空间到高维希尔伯特空间中构造两个超平面K(x^T,C^T)u₁+b₁＝0，K(x^T,C^T)u₂+b₂＝0,其中C＝[A^T B^T]；

S53：选取径向基核函数，其形式如下：

其中，x_i、x_j为样本数据，σ为非零参数；

S54：建立非线性TWSVM原始优化问题：

s.t.-(K(B,C^T)u₁+e₂b₁)+q₂≥e₂,q₂≥0

s.t.(K(A,C^T)u₂+e₁b₂)+q₁≥e₁,q₁≥0

其中，u₁、u₂为超平面的法向量，b₁、b₂为对应超平面的偏移向量，c₁、c₂为惩罚参数，q₁、q₂为松弛变量，e₁、e₂适当维数的1向量，K(,)为核函数；

S56：对上述两式通过引入拉格朗日乘子向量α₁，α₂、β₁，β₂然后建立拉格朗日函数：

S57：对上述优化问题，根据库恩塔克条件(K.K.T),求出其对偶问题，最终确定S52中的两个超平面，令H＝[K(A,C^T)e₁]，G＝[K(B,C^T)e₂]，则原始优化问题的对偶问题可表示为：

s.t.0≤α₁≤c₁e₂

s.t.0≤α₂≤c₂e₁

S61：将钢板表面缺陷图像测试样本x经过特征提取后，输入到S5训练的TWSVM模型中，其类别可以通过TWSVM分类决策函数进行判别，函数具体如下：

其中，f_λ(x)为决策函数，λ为对应类别，u_λ为超平面法向量，b_λ为超平面偏移向量，K(,)为核函数，采用“一对多”策略后，对于n个多分类问题，TWSVM会为每个缺陷类别构造一个超平面，也就是说对于n个分类问题会构造n个超平面。

S62：由于S61中的判别公式是硬输出，只能反映样本所属的类别标签，没有反应测试样本到超平面之间距离的程度，不利于进一步的后续处理，所以通过将距离转换为概率的软输出形式，以此来反映样本所属类别的可信度，具体方法如下：

其中，P₁…P_n∈[0,1]

上式反映了测试样本被判别为n个缺陷类别的可信概率值，分别为P₁、P₂、…、P_n，测试样本距离哪个超平面近，则被判定为相应超平面所属的缺陷类型的可信概率值越大。

S63：根据测试样本到每个超平面的可信概率值，选择可信概率值大的作为可信超平面，并输出相应可信概率值P_xMax：

P_xMax＝argmax{P₁,P₂,…,P_n}

S7中在KD-Tree中搜寻测试样本的最近邻样本具体步骤如下：

S71：设定概率阈值，区分可信任样本集合S_trust和不可信任样本集合S_distrust，具体如下：

如果可信概率值大于等于ε(本实验选取0.92)，则判断此测试样本为可信任样本，并直接确定该测试样本的所属缺陷类型，否则判定为不可信任样本，转为下一步操作继续对此进行判定。

S72：依次对不可信任样本集S_distrust中的测试样本进行KD-Tree最近邻查找；

S73：首先对应之前S41划分的方法，按照方差由大到小所对应的维度作为分割轴，将S_distrust中每个不信任样本依次从根结点出发，不断递归向下访问KD-Tree，直到子结点为叶结点，将此叶结点暂时定为“当前最近点”；

S74：以不可信任样本点到“当前最近点”的距离为半径，构建一个超球体；

S75：回溯“当前最近点”的父结点，检查父结点的另一个子结点包含的超矩形区域是否和超球体相交，如果相交就移动到另一个子结点，继续递归进行搜索，若出现距离更小的近邻点，则更新“当前最近点”；

S76：如果不相交，则向上回溯，出现比“当前最近点”距离更近的子结点，则更新当前结点为“当前最近点”；

S77：重复步骤S75,S76，直到回到根结点，最后一次更新的“当前最近点”即为最近邻点；

S78：对S_distrust中每个不可信任样本都通过上述方法在KD-Tree中找到最近邻样本；

S7中二次判定具体步骤如下：

S81：将最近邻样本所属缺陷类型与S63中已判定的缺陷类型进行对比；

S82：缺陷类型若一致，则直接输出缺陷类型；

S83：若不一致，则将最近邻样本对应的缺陷类型以1概率值输出，与S6中对应的缺陷类型可信概率值P_l进行求和平均，得到新的可信概率值P′_l，公式如下：

S84：将可信概率值由高到低重新排序，选出最大的可信概率值；

S85：根据最大可信概率值对应的所属缺陷类型来二次判别不可信任样本所属的缺陷类型，并将判别的类型作为最终判定。

本发明的有益效果是：TWSVM是基于SVM改进的一个二分类算法，可以在保证分类精度的条件下，还能降低训练时间，有良好的泛化性能。本发明利用TWSVM算法的速度优势进行钢板表面缺陷的分类工作，并将TWSVM的分类结果以概率的形式输出，同时结合KD-Tree，将低于设定概率阈值的测试样本继续寻找最近邻样本，因为最近邻样本的可信度较高，所以将概率进行相应的加权，最后通过概率值的排序，选出概率最大值，最终判定低于阈值的测试样本的缺陷类型，本方法能够最大限度地提升分类准确率，解决单分类器所带来的问题，这为后期的加工处理提供良好的条件支持。

本发明提供了一种钢板表面缺陷的分类方法。本方法弥补了现有的用单个分类器对钢板表面缺陷分类所带来的误判和准确率低等不足，利用双分类器最大化的提升了钢板表面缺陷的分类效果。步骤如下：S1获取工业拍摄到的钢板表面缺陷图像；S2将S1获取的图像进行图像预处理；S3提取预处理后图像的HOG、GLCM特征和几何特征，降维处理后作为特征向量；S4将S3得到的特征向量特征建立KD-Tree；S5将S3得到的特征向量输入TWSVM算法训练获得最优模型；S6将S5中训练好的TWSVM模型以概率的形式进行输出，并输出测试样本所属缺陷类型的概率值，将最大概率值所对应的缺陷类型作为所得预测缺陷类型；S7将S6中最大概率值小于设定概率阈值的测试样本在S4建立的KD-Tree中搜寻测试样本的最近邻样本。S8将S7找到的最近邻样本对应的缺陷类型与S6中最大概率值对应的缺陷类型进行比较，若一致，则直接输出缺陷类型，若不一致，则将最近邻样本对应的缺陷类型以1概率与S6中预测对应的概率进行加权求和，取所有缺陷类型对应概率值的最大概率值所对应的缺陷种类，来最终确定这些低于设定概率阈值的测试样本的所属缺陷类型。以此来提高分类的总体准确率。

附图说明

图1是本发明的流程示意图；

图2是TWSVM二分类示意图；

图3是KD-Tree建立过程示意图；

图4是KD-Tree搜索最近邻过程示意图。

具体实施方式

一种钢板表面缺陷的分类方法，包括步骤如下：

S1：获取工业拍摄到的钢板表面缺陷图像，并划分为训练集和测试集；

获取的工业拍摄到的钢板表面缺陷图像，分为6类缺陷，分别是裂纹(Cr)、夹杂物(In)、斑块(Pa)、麻点(PS)、压入氧化皮(RS)和刮痕(Sc)，其中每类缺陷300张，总共1800张样本图片。将这些图片每类的80％划分为训练集，20％划分为测试集。

S2：将S1获取的图像进行图像预处理；

由于相机在现场的高温环境下极易产生噪声和模糊，所以我们在图像灰度化处理后需要对图像进行灰度变换和去除噪声，改善画质，使图像的显示效果更加清晰，以便下一步提取更有用的特征。具体步骤如下：

S21：首先将图像灰度化；

S22：采用灰度变换，从空间域上调整图像对比度来改善视觉效果。

每张图像的像素点坐标(μ,ν)的灰度值f(μ,v)范围为[a,b]，经过灰度变换后的图像的像素点坐标(μ,v)灰度值g(μ,ν)范围为[a',b']；

f(μ,v)和g(μ,ν)的关系如下：

a、b、a'、b'为大于等于0且小于等于255的值；

S23:采用Gabor滤波对经过灰度变换后的图像进行去噪、平滑处理。

S3：提取预处理后图像的HOG、GLCM特征和几何特征，对HOG和GLCM特征采取融合降维处理后与几何特征融合在一起形成一个42维特征向量；

S31：对经过图像预处理的图像计算灰度共生矩阵(GLCM)和方向梯度直方图(HOG)，分别得到关于图像纹理信息的特征、局部区域梯度方向的信息特征；

S32：将图像纹理信息的特征、局部区域梯度方向的信息特征进行融合，使得每张图像都能转化成一行高维特征向量，最终每张图像共得到共计337维的特征向量，由于特征融合后维数过高容易造成过拟合，采用PCA降维降至37维；

S33：几何特征提取时，对经过图像预处理的图像，进行二值化操作，用阈值对灰度图像进行黑白色分割，采用迭代法对阈值进行选取，具体步骤如下；

S331首先对每张图像求出最大灰度值和最小灰度值，取最大灰度值和最小灰度值的平均灰度值作为初始阈值t；

S332用初始阈值t分割图像成两部分R₁、R₂，其中，R₁为灰度值小于等于阈值t的部分，R₂为灰度值大于阈值t的部分，分别计算R₁和R₂平均灰度值为t₁和t₂；

S333计算新的阈值t_new＝(t₁+t₂)/2；

S334比较t和t_new，若相等，则t_new为迭代阈值；若不相等，则t＝t_new，重复S332-S333，直到t＝＝t_new；

S335根据迭代得到的阈值对灰度图像进行二值化；

S34：利用形态学腐蚀操作除去一些细小的颗粒点，随后利用形态学膨胀操作填补缺陷目标区域的空洞并将断裂开的缺陷目标区域进行合并，利用Canny算子进行边缘检测，提取缺陷目标区域几何特征，包括数量、缺陷区域面积、区域占空比、最大缺陷区域面积、最大区域周长，共计5维特征；

S35：将S32，S34提取的特征进行拼接，每张图像最终会得到一个42维的特征向量，为了使不同的特征之间具有显著可比性，然后归一化，将数据映射在[0,1]之间，方式如下：

其中，xⁱ为当前样本中的第i个维度的特征值，x^min为当前样本中最小特征值，x^max为当前样本中最大特征值，x^norm为xⁱ归一化后的值。

S4：利用S3得到的42维特征向量建立KD-Tree；

S41：KD-Tree描述(简介)：KD-Tree形如二叉树，KD-Tree的每个非叶子结点可以通过超平面分成两个子空间，并且每个子空间同样可以用相同的方式来划分。所有子空间分为两部分，左子空间和右子空间(或上子空间和下子空间)。即，在K维数据集上构造一颗KD-Tree表示由K维数据集构成的K维空间的分区。也就是说，树中的每个结点对应于K维超矩形区域。

S42：将训练集中每张钢板表面缺陷图片按上述步骤S21-S35操作后，每张图像会获得K维数的特征向量，可以表示为

其中

表示为表示第K维的特征值。假设训练集T：T＝{(x_i,y_i)|x_i∈R^K,i＝1,2,...,m}，其中m为样本数量，y_i为数据标签，R^K为K维空间；

S43：首先初始化分割轴：计算m个样本对应每个维度上的方差，然后降序排序，选取最大方差的维度k，将

方差最大的特征所对应的坐标轴作为分割轴；

S44：对训练集T中所有的样本数据k维度的值进行升序排序，以中位数对应的样本为切分点，同时将其作为KD-Tree根结点，通过切分点与

所在坐标轴垂直的超平面来实现对根节点划分，此时的根结点将被划分两个子区域；

S45：以根结点为基准，构造出深度为1的左右子结点，深度指所有结点最大层次数，根结点处深度为0，将所有样本点第k维特征小于切分点的归为左子结点，将大于切分点的归为右子结点；

S46：重复上述步骤S44、S45，继续按方差大小更新分割轴，对于下一深度h的结点，选择x^l为切分坐标轴，其中l为剩余特征中方差最大的维度，以该结点区域所有样本点第l维特征的中位数样本作为切分点，继续划分子区域，构造深度为h+1的左子结点和右子结点，将所有样本点第l维特征小于切分点的归为左子结点，将大于切分点的归为右子结点；

S47：按方差由大到小依次把K维特征遍历一遍，如果没有分完就继续遍历，直到两个子区域内没有样本点存在时停止，完成KD-Tree的构造。

S5：将S3得到的42维特征向量输入TWSVM算法训练获得最优TWSVM模型；

TWSVM简介：TWSVM与传统SVM虽然都是经典的二分类算法，但有所不同，TWSVM实际上由两个超平面构成，意在使得每一个分类超平面尽可能地靠近一类样本点而远离另一类样本点，从而最大化程度将两类样本分开。

S51：考虑到钢板表面缺陷实际上是一个n分类(多分类)问题，这里采取“一对多”的策略，将n类缺陷中的一类作为正样本，其余n-1类作为负样本，构造出n个TWSVM二分类器。当测试样本进行分类时，计算它到所有超平面的距离，距离最小的那一超平面对应的类别即为测试样本的类别；

S52：为了构造上述每个TWSVM分类器，首先定义K维特征数据训练样本集T＝{(x_i,y_i)|x_i∈R^K,i＝1,2,...,m}，这里x_i是每个缺陷样本，因为采用了“一对多”的策略，所以会将目前所有类别的缺陷样本分为两类，分别称为正样本和负样本，此时y_i＝{+1,-1}为样本标签，然后将训练样本集T划分成大小为m₁×K矩阵A和大小为m₂×K矩阵B，其中m₁+m₂＝m；

S52：为了更好地判别样本所属类别，采用核函数将TWSVM从低维空间到高维希尔伯特空间中构造两个超平面K(x^T,C^T)u₁+b₁＝0，K(x^T,C^T)u₂+b₂＝0,其中C＝[A^T B^T]；

S53：选取径向基核函数，其形式如下：

其中，x_i、x_j为样本数据，σ为非零参数；

S54：建立非线性TWSVM原始优化问题：

s.t.-(K(B,C^T)u₁+e₂b₁)+q₂≥e₂,q₂≥0

s.t.(K(A,C^T)u₂+e₁b₂)+q₁≥e₁,q₁≥0

其中，u₁、u₂为超平面的法向量，b₁、b₂为对应超平面的偏移量，c₁、c₂为惩罚参数，q₁、q₂为松弛变量，e₁、e₂适当维数的1向量，K(,)为核函数；

S56：对上述两式通过引入拉格朗日乘子向量α₁，α₂、β₁，β₂然后建立拉格朗日函数：

S57：对上述优化问题，根据库恩塔克条件(K.K.T),求出其对偶问题，最终确定S52中的两个超平面，令H＝[K(A,C^T)e₁]，G＝[K(B,C^T)e₂]，则原始优化问题的对偶问题可表示为：

s.t.0≤α₁≤c₁e₂

s.t.0≤α₂≤c₂e₁

S6：将S5中训练好的TWSVM模型以概率的形式进行输出，并输出测试样本所属缺陷种类的概率值；

S61：将钢板表面缺陷图像测试样本x经过特征提取后，输入到S5训练的TWSVM模型中，其类别可以通过TWSVM分类决策函数进行判别，函数具体如下：

其中，fλ(x)为决策函数，λ为对应类别，u_λ为超平面法向量，b_λ为超平面偏移向量，K(,)为核函数，采用“一对多”策略后，对于n个多分类问题，TWSVM会为每个缺陷类别构造一个超平面，也就是说对于n个分类问题会构造n个超平面。

S62：由于S61中的判别公式是硬输出，只能反映样本所属的类别标签，没有反应测试样本到超平面之间距离的程度，不利于进一步的后续处理，所以通过将距离转换为概率的软输出形式，以此来反映样本所属类别的可信度，具体方法如下：

其中，P₁…P_n∈[0,1]

上式反映了测试样本被判别为n个缺陷类别的可信概率值，分别为P₁、P₂、…、P_n，测试样本距离哪个超平面近，则被判定为相应超平面所属的缺陷类型的可信概率值就越大。

S63：根据测试样本到每个超平面的可信概率值，选择可信概率值大的作为可信超平面，并输出相应可信概率值P_xMax：

P_xMax＝argmax{P₁,P₂,…,P_n}。

本发明收集的钢板表面缺陷图像共分为6类缺陷，分别是裂纹(Cr)、夹杂物(In)、斑块(Pa)、麻点(PS)、压入氧化皮(RS)和刮痕(Sc)，通过训练模型，最终获得对应缺陷类型的六个超平面，随机选择12个测试样本，输出每个测试样本到六个超平面的可信概率值以及对应的缺陷类型，如表1所示。

S7：设定概率阈值，将S6中概率值小于设定概率阈值的测试样本在S4建立的KD-Tree中搜寻测试样本的最近邻样本进行二次判定，最终结果将作为这些低于设定概率阈值的测试样本的所属缺陷类型。

S71：设定概率阈值，区分可信任样本集合S_trust和不可信任样本集合S_distrust，具体如下：

如果可信概率值大于等于ε(本实验选取0.92)，则判断此测试样本为可信任样本，并直接确定该测试样本的所属缺陷类型，否则判定为不可信任样本，转为下一步操作继续对此进行判定。

S72：依次对不可信任样本集S_distrust中的测试样本进行KD-Tree最近邻查找；

S73：首先对应之前S41划分的方法，按照方差由大到小所对应的维度作为分割轴，将S_distrust中每个不信任样本依次从根结点出发，不断递归向下访问KD-Tree，直到子结点为叶结点，将此叶结点暂时定为“当前最近点”；

S74：以不可信任样本点到“当前最近点”的距离为半径，构建一个超球体；

S75：回溯“当前最近点”的父结点，检查父结点的另一个子结点包含的超矩形区域是否和超球体相交，如果相交就移动到另一个子结点，继续递归进行搜索，若出现距离更小的近邻点，则更新“当前最近点”；

S76：如果不相交，则向上回溯，出现比“当前最近点”距离更近的子结点，则更新当前结点为“当前最近点”；

S77：重复步骤S75,S76，直到回到根结点，最后一次更新的“当前最近点”即为最近邻点；

S78：对S_distrust中每个不可信任样本都通过上述方法在KD-Tree中找到最近邻样本。

针对表一中的低于概率阈值的测试样本，在经过KD-Tree搜索最近邻后，采用本发明得到的最终判定结果如下表2所示：

S81：将最近邻样本所属缺陷类型与S63中已判定的缺陷类型进行对比；

S82：缺陷类型若一致，则直接输出缺陷类型；

S83：若不一致，则将最近邻样本对应的缺陷类型以1概率值输出，与S6中对应的缺陷类型可信概率值P_l进行求和平均，得到新的可信概率值P′_l，公式如下：

S84：将可信概率值由高到低重新排序，选出最大的可信概率值；

S85：根据最大可信概率值对应的所属缺陷类型来二次判别不可信任样本所属的缺陷类型，并将判别的类型作为最终判定。

表1，表2中的测试样本对应的真实所属类型缺陷如表3所示：

本方法弥补了现有的用单个分类器对钢板表面缺陷分类所带来的误判和准确率低等不足，利用双分类器最大化的提升了钢板表面缺陷的分类效果。

Claims (9)

1.一种钢板表面缺陷的分类方法，其特征在于：包括步骤如下：

S1：获取工业拍摄到的钢板表面缺陷图像，并划分为训练集和测试集；

S2：将S1获取的图像进行图像预处理；

S3：提取预处理后图像的HOG、GLCM特征和几何特征，对HOG和GLCM特征采取融合降维处理后与几何特征融合在一起形成一个42维特征向量；

S4：利用S3得到的42维特征向量建立KD-Tree；

S5：将S3得到的42维特征向量输入TWSVM算法训练获得最优TWSVM模型；

S6：将S5中训练好的TWSVM模型以概率的形式进行输出，输出测试样本所属缺陷种类的可信概率值；

S7：设定概率阈值，将S6中可信概率值小于设定概率阈值的测试样本在S4建立的KD-Tree中搜寻测试样本的最近邻样本进行二次判定，最终结果将作为这些低于设定概率阈值的测试样本的所属缺陷类型。

2.根据权利要求1所述的一种钢板表面缺陷的分类方法，其特征在于：所述的步骤S1中获取的工业拍摄到的钢板表面缺陷图像，分为6类缺陷，分别是裂纹、夹杂物、斑块、麻点、压入氧化皮和刮痕，将这些图片每类的80％划分为训练集，20％划分为测试集。

3.根据权利要求1所述的一种钢板表面缺陷的分类方法，其特征在于：所述的步骤S2中，包括如下步骤：

S21：首先将图像灰度化；

S22：采用灰度变换，从空间域上调整图像对比度来改善视觉效果；

每张图像的像素点坐标(μ,v)的灰度值f(μ,v)范围为[a,b]，经过灰度变换后的图像的像素点坐标(μ,ν)灰度值g(μ,ν)范围为[a',b']；

f(μ,ν)和g(μ,ν)的关系如下：

a、b、a'、b'为大于等于0且小于等于255的值；

S23:采用Gabor滤波对经过灰度变换后的图像进行去噪、平滑处理。

4.根据权利要求1所述的一种钢板表面缺陷的分类方法，其特征在于：所述的步骤S3步骤中具体包括如下：

S31：对经过图像预处理的图像计算灰度共生矩阵(GLCM)和方向梯度直方图(HOG)，分别得到关于图像纹理信息的特征、局部区域梯度方向的信息特征；

S32：将图像纹理信息的特征、局部区域梯度方向的信息特征进行融合，使得每张图像都能转化成一行高维特征向量，最终每张图像共得到共计337维的特征向量，由于特征融合后维数过高容易造成过拟合，采用PCA降维降至37维；

S33：几何特征提取时，对经过图像预处理的图像，进行二值化操作，用阈值对灰度图像进行黑白色分割，采用迭代法对阈值进行选取，具体步骤如下；

S331首先对每张图像求出最大灰度值和最小灰度值，取最大灰度值和最小灰度值的平均灰度值作为初始阈值t；

S332根据阈值t分割图像成两部分R₁、R₂，其中，R₁为灰度值小于等于阈值t的部分，R₂为灰度值大于阈值t的部分，分别计算R₁和R₂平均灰度值为t₁和t₂；

S333计算新的阈值t_new＝(t₁+t₂)/2；

S334比较t和t_new，若相等，则t_new为迭代阈值；若不相等，则t＝t_new，重复S332-S333，直到t＝＝t_new；

S335根据迭代得到的阈值对灰度图像进行二值化；

S34：利用形态学腐蚀操作除去一些细小的颗粒点，随后利用形态学膨胀操作填补缺陷目标区域的空洞并将断裂开的缺陷目标区域进行合并，利用Canny算子进行边缘检测，提取缺陷目标区域几何特征，包括数量、缺陷区域面积、区域占空比、最大缺陷区域面积、最大区域周长，共计5维特征；

S35：将S32，S34提取的特征进行拼接，每张图像最终会得到一个42维的特征向量，为了使不同的特征之间具有显著可比性，然后归一化，将数据映射在[0,1]之间，方式如下：

其中，xⁱ为当前样本中的第i个维度的特征值，x^min为当前样本中最小特征值，x^max为当前样本中最大特征值，x^norm为xⁱ归一化后的值。

5.根据权利要求1所述的一种钢板表面缺陷的分类方法，其特征在于：S4步骤构建KD-Tree具体如下：

S41：KD-Tree形如二叉树，KD-Tree的每个非叶子结点可以通过超平面分成两个子空间，并且每个子空间同样可以用相同的方式来划分，所有子空间分为两部分，左子空间和右子空间即，在K维数据集上构造一颗KD-Tree表示由K维数据集构成的K维空间的分区，也就是说，树中的每个结点对应于K维超矩形区域；

S42：训练集中每张钢板表面缺陷图片会获得K维数的特征向量，可以表示为

其中

表示为表示第K维的特征值；

假设训练集T：T＝{(x_i,y_i)|x_i∈R^K,i＝1,2,…,m}，其中m为样本数量，y_i为数据标签，R^K为K维空间；

S43：首先初始化分割轴：计算m个样本对应每个维度上的方差，然后降序排序，选取最大方差的维度k，将

方差最大的特征所对应的坐标轴作为分割轴；

S44：对训练集T中所有的样本数据k维度的值进行升序排序，以中位数对应的样本为切分点，同时将其作为KD-Tree根结点，通过切分点与

所在坐标轴垂直的超平面来实现对根节点划分，此时的根结点将被划分两个子区域；

S45：以根结点为基准，构造出深度为1的左右子结点，深度指所有结点最大层次数，根结点处深度为0，将所有样本点第k维特征小于切分点的归为左子结点，将大于切分点的归为右子结点；

S46：重复上述步骤S44、S45，继续按方差大小更新分割轴，对于下一深度h的结点，选择x^l为切分坐标轴，其中l为剩余特征中方差最大的维度，以该结点区域所有样本点第l维特征的中位数对应的样本作为切分点，继续划分子区域，构造深度为h+1的左子结点和右子结点，将所有样本点第l维特征小于切分点的归为左子结点，将大于切分点的归为右子结点；

S47：按方差由大到小依次把K维特征遍历一遍，如果没有分完就继续遍历，直到两个子区域内没有样本点存在时停止，完成KD-Tree的构造。

6.根据权利要求5所述的一种钢板表面缺陷的分类方法，其特征在于：S5具体步骤如下：

S51：考虑到钢板表面缺陷实际上是一个n分类问题，这里采取“一对多”的策略，将n类缺陷中的一类作为正样本，其余n-1类作为负样本，构造出n个TWSVM二分类器，当测试样本进行分类时，计算它到所有超平面的距离，距离最小的那一超平面对应的类别即为测试样本的类别；

S52：为了构造上述每个TWSVM分类器，首先定义K维特征数据训练样本集T＝{(x_i,y_i)|x_i∈R^K,i＝1,2,…,m}，这里x_i是每个缺陷样本，因为采用了“一对多”的策略，所以会将目前所有类别的缺陷样本分为两类，分别称为正样本和负样本，此时y_i＝{+1,-1}为样本标签，然后将训练样本集T划分成大小为m₁×K矩阵A和大小为m₂×K矩阵B，其中m₁+m₂＝m；

S52：为了更好地判别样本所属类别，采用核函数将TWSVM从低维空间到高维希尔伯特空间中构造两个超平面K(x^T,C^T)u₁+b₁＝0，K(x^T,C^T)u₂+b₂＝0,其中C＝[A^T B^T]；

S53：选取径向基核函数，其形式如下：

其中，x_i、x_j为样本数据，σ为非零参数；

S54：建立非线性TWSVM原始优化问题：

其中，u₁、u₂为超平面的法向量，b₁、b₂为对应超平面的偏移向量，c₁、c₂为惩罚参数，q₁、q₂为松弛变量，e₁、e₂适当维数的1向量，K(,)为核函数；

S56：对上述两式通过引入拉格朗日乘子向量α₁，α₂、β₁，β₂然后建立拉格朗日函数：

S57：对上述优化问题，根据库恩塔克条件(K.K.T),求出其对偶问题，最终确定S52中的两个超平面，令H＝[K(A,C^T) e₁]，G＝[K(B,C^T) e₂]，则原始优化问题的对偶问题可表示为：

7.根据权利要求6所述的一种钢板表面缺陷的分类方法，其特征在于：S6具体步骤如下：

S61：将钢板表面缺陷图像测试样本x经过特征提取后，输入到S5训练的TWSVM模型中，其类别可以通过TWSVM分类决策函数进行判别，函数具体如下：

其中，f_λ(x)为决策函数，λ为对应类别，u_λ为超平面法向量，b_λ为超平面偏移向量，K(,)为核函数，采用“一对多”策略后，对于n个多分类问题，TWSVM会为每个缺陷类别构造一个超平面，也就是说对于n个分类问题会构造n个超平面；

S62：由于S61中的判别公式是硬输出，只能反映样本所属的类别标签，没有反应测试样本到超平面之间距离的程度，不利于进一步的后续处理，所以通过将距离转换为概率的软输出形式，以此来反映样本所属类别的可信度，具体方法如下：

其中，P₁…P_n∈[0,1]；

上式反映了测试样本被判别为n个缺陷类别的可信概率值，分别为P₁、P₂、…、P_n，测试样本距离哪个超平面近，则被判定为相应超平面所属的缺陷类型的可信概率值就越大；

S63：根据测试样本到每个超平面的可信概率值，选择可信概率值大的作为可信超平面，并输出相应可信概率值P_xMax：

P_xMax＝argmax{P₁,P₂,…,P_n}。

8.根据权利要求7所述的一种钢板表面缺陷的分类方法，其特征在于：S7中在KD-Tree中搜寻测试样本的最近邻样本具体步骤如下：

S71：设定概率阈值，区分可信任样本集合S_trust和不可信任样本集合S_distrust，具体如下：

如果可信概率值大于等于ε(本实验选取0.92)，则判断此测试样本为可信任样本，并直接确定该测试样本的所属缺陷类型，否则判定为不可信任样本，转为下一步操作继续对此进行判定；

S72：依次对不信任样本集S_distrust中的测试样本进行KD-Tree最近邻查找；

S73：首先对应之前S41划分的方法，按照方差由大到小所对应的维度作为分割轴，将S_distrust中每个不可信任样本依次从根结点出发，不断递归向下访问KD-Tree，直到子结点为叶结点，将此叶结点暂时定为“当前最近点”；

S74：以不可信任样本点到“当前最近点”的距离为半径，构建一个超球体；

S75：回溯“当前最近点”的父结点，检查父结点的另一个子结点包含的超矩形区域是否和超球体相交，如果相交就移动到另一个子结点，继续递归进行搜索，若出现距离更小的近邻点，则更新“当前最近点”；

S76：如果不相交，则向上回溯，出现比“当前最近点”距离更近的子结点，则更新当前结点为“当前最近点”；

S77：重复步骤S75,S76，直到回到根结点，最后一次更新的“当前最近点”即为最近邻点；

S78：对S_distrust中每个不可信任样本都通过上述方法在KD-Tree中找到最近邻样本。

9.根据权利要求8所述的一种钢板表面缺陷的分类方法，其特征在于：S7中二次判定具体步骤如下：

S81：将最近邻样本所属缺陷类型与S63中已判定的缺陷类型进行对比；

S82：缺陷类型若一致，则直接输出缺陷类型；

S83：若不一致，则将最近邻样本对应的缺陷类型以1概率值输出，与S6中对应的缺陷类型可信概率值P_l进行求和平均，得到新的可信概率值P′_l，公式如下：

S84：将可信概率值由高到低重新排序，选出最大的可信概率值；

S85：根据最大可信概率值对应的所属缺陷类型来二次判别不可信任样本所属的缺陷类型，并将判别的类型作为最终判定。

Images