CN105719291A - 品种可选择的表面缺陷图像分类系统 - Google Patents

Abstract

本申请公开了一种品种可选择的表面缺陷图像分类系统，该系统主要由三级分类器组成，第一级通过主观评价机制识别环境突变产生的部分未知类型的缺陷、有明显固定规律的缺陷和非缺陷图像；第二级是将第一级无法识别的图像通过主分类器获得所有缺陷图像的类型；第三级是第一级和第二级识别的结果进行再次分类。该分类器结构更加优化，能够快速判断钢材表面的缺陷类型，并且该方法更加适合于工业生产的环境；可以自动适应于多品种的带钢的带钢表面缺陷的分类；操作简单，算法衔接良好，输入参量少，便于适用和维护。该分类器是机器视觉表面缺陷检测系统在混合品种生产中的关键部分。

Description

品种可选择的表面缺陷图像分类系统

技术领域

本发明属于材料表面的光学检测技术领域，特别是涉及一种品种可选择的表面缺陷图像分类系统，主要应用于钢种表面缺陷检测。

背景技术

带钢是钢铁工业的主要产品形式之一，是航空航天、汽车轮船制造等必备原材料，关系到许多制造行业的发展。近年来，带钢的需求量不断增加，并要求具有较高的表面质量。而在其轧制过程中，由于连铸钢坯、轧制设备及轧制工艺等原因，导致轧制钢板表面出现了裂纹、氧化铁皮、结疤、辊印、刮伤、孔洞和麻点等缺陷，这些缺陷不仅影响了产品外观，更重要的是降低了产品的抗腐蚀性、抗磨性及疲劳强度等使用性能，因此给产品埋下了安全隐患。故带钢的表面质量检测尤为重要。

由于现有国外各大公司表面缺陷检测系统一套分类器只能针对一个钢种进行缺陷检测，而国内一条生产线通常生产多类钢种，为此需要一种新的分类器，以适应生产线上多个钢种表面缺陷的高识别率分类。

发明内容

本发明的目的在于提供一种品种可选择的表面缺陷图像分类系统，以克服现有技术中只能针对一个钢种进行缺陷检测的技术问题。

为实现上述目的，本发明提供如下技术方案：

本申请实施例公开了一种品种可选择的表面缺陷图像分类系统，包括：

第一级分类子系统，识别环境突变产生的部分未知类型的缺陷、有明显固定规律的缺陷和非缺陷图像，获得第一级分类结果，并将无法识别图像的常见图像特征以及原始图像归一化后图像传输给第二级分类子系统，同时将第一级分类结果传输给第三级分类子系统；

第二级分类子系统，将第一级分类子系统无法识别的图像通过主分类器获得所有缺陷图像的类型，获得第二级分类结果，并将第二级分类结果传输给第三级分类子系统，该主分类器为基于固定特征的决策树分类器、或基于图像Isomap降维的SVM分类器；

第三级分类子系统，将第一级分类子系统和第二级分类子系统识别的结果进行再次分类，将已分类的缺陷进一步细分至可用于实际产品分级判次的程度。

优选的，在上述的品种可选择的表面缺陷图像分类系统中，所述常见图像特征至少包括形状、颜色、位置和质心。

优选的，在上述的品种可选择的表面缺陷图像分类系统中，所述第三级分类子系统将已分类的缺陷至少按照长度、宽度、严重度特征进行细分。

优选的，在上述的品种可选择的表面缺陷图像分类系统中，所述的基于固定特征的决策树分类器，在特征提取后再经过决策树算法获得分类规则，测试图像通过同样的特征提取后进入分类规则，并预测获得结果。

优选的，在上述的品种可选择的表面缺陷图像分类系统中，所述的基于图像Isomap降维的SVM子分类器训练图像和测试图像分别经过dls-Isomap算法和增量GRNN拟合的降维过程，分类算法使用的是SVM算法。

优选的，在上述的品种可选择的表面缺陷图像分类系统中，所述的dls-Isomap算法流程包括：

步骤1：构造邻域图，给定参数k或者是ε，使用k-nn方法或者ε半径方法建立加权邻接图G，采用监督k-nn和ε半径邻域图连接方式，其具体内容如下：

(1)如果label(i)＝label(j)，其中i,j∈L时，邻域连接方式满足以下两个条件：首先d(x_i,x_i')＜ε，其中i,i'∈M；其次i∈N_k(t)或i'∈N_k(t)，N_k(t)是t的k个最邻近点；

(2)如果label(i)≠label(j)，其中i,j∈L时，类间邻域图的连接方式为保持类间点最小欧式距离。计算不同类L1和L2间的最小距离D_min(i,j)＝min_{i∈L1,j∈L2}(d(x_i,x_j))，定义矩阵LM存储最小类间距离，即LM＝{D_min(i,j)}，i,j∈L，LM为对称矩阵；循环判断d(x_i,x_j)，如果d(x_i,x_j)＝D_min(i,j)，建立点i和点j之间的边界连接；如果两类间有多组点间距离同时等于最小距离，则建立多个边界连接；

步骤2：计算每对点之间的最短路径近似计算测地距，假设流形中两点之间的测地距可用邻域图中相关点之间的最短路径来表示，设g_ij为v_i和v_j最短路径的长度，最短路径用Floyd算法，那么g_ij可以近似v_i和v_j之间的测地距，记录对称矩阵；

步骤3：用MDS方法将R^D嵌入到较低的空间R^d中，找到嵌入向量Z_i；i∈M，定义Z＝(z₁；……；z_n)，K是内积矩阵，满足条件：

$\underset{i}{\Σ}{z}_i=0---\left(1\right)$

K＝-HSH/2(2)

其中H＝{h_ij}，h_ij＝δ_ij-1/n，δ_ij为Kroneckerδ，那么S＝{g_ij ²}；然后在非递增序列中找出K的前d维特征向量{k₁,k₂,…,k_d}，以及其相关特征值{v₁,v₂,…,v_d}；在新的空间的第i个点的第p个分量为：

其中p＝1,2，…,d(3)

通过上述步骤获得dls-Isomap算法两类数据降维图，区分2组及其以上品种的分类任务。

所述第一级分类子系统为过滤器，用以过滤掉噪声型缺陷。

优选的，在上述的品种可选择的表面缺陷图像分类系统中，所述系统应用于冷轧用热轧带钢时，所述噪声型缺陷种类至少包括高亮度、高暗度、水渍干涸、正常周期缺、极小缺陷、极大缺陷。

优选的，在上述的品种可选择的表面缺陷图像分类系统中，所述系统应用于冷轧用热轧带钢时，所述第三级分类子系统用于区分翘皮和夹杂次品。

与现有技术相比，本发明的优点在于：本发明系统可以针对多个钢种进行检测，另外采用dls-Isomap降维算法联合SVM分类算法能够在带有水渍、氧化等非固定形态图像干扰的分类中获得更好的结果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1所示为本发明具体实施例中表面缺陷图像分类系统的原理方框图；

图2所示为本发明具体实施例中基于固定特征的决策树子分类器的原理方框图；

图3所示为本发明具体实施例中基于图像Isomap降维的SVM子分类器的原理方框图；

图4所示为本发明具体实施例中dls-Isomap算法两类数据降维图；

图5所示为本发明具体实施例中冷轧用热轧带钢表面缺陷图像分类实验结果表。

具体实施方式

结合图1至4所示，本实施例公开一种品种可选择的表面缺陷图像分类器，该分类器主要由三级带钢表面缺陷分类子系统组成：

第一级通过主观评价机制识别环境突变产生的部分未知类型的缺陷、有明显固定规律的缺陷和非缺陷图像，而且这些缺陷一定是能被主观评价机制描述的；

第二级是将第一级无法识别的图像通过主分类器获得所有缺陷图像的类型，其分类规则可以选择由基于固定特征的决策树分类器实现，也可以选择基于图像Isomap降维的SVM分类器实现；

第三级是第一级和第二级识别的结果进行再次分类，通过主观评价机制将已分类的缺陷按照长度、宽度、严重度等特征进一步细分至可用于实际产品分级判次的程度。

进一步地，分类器之间数据传输为：

第一级和第二级之间数据的传送为第一级未分类图像提取的形状、颜色、位置和质心等常见图像特征以及原始图像归一化后图像的传输；

第一级和第三级之间的数据传输为常见图像特征及其分类结果的传输；

第二级和第三级之间数据的传输为常见图像特征及其分类结果的传输；因此在编程实现时，数据的调用较为简单，仅仅调用各级分类结果、常见图像特征和归一化的原始图像即可。

进一步，所述的基于固定特征的决策树分类器在特征提取后再经过决策树算法获得分类规则，测试图像通过同样的特征提取后进入分类规则，并预测获得结果。

进一步，所述的基于图像Isomap降维的SVM子分类器训练图像和测试图像分别经过dls-Isomap算法和增量GRNN拟合的降维过程，分类算法使用的是SVM算法。

更进一步地的，所述的dls-Isomap算法流程包括：

步骤1：构造邻域图，给定参数k或者是ε，使用k-nn方法或者ε半径方法建立加权邻接图G，采用监督k-nn和ε半径邻域图连接方式，其具体内容如下：

(1)如果label(i)＝label(j)，其中i,j∈L时，邻域连接方式满足以下两个条件：首先d(x_i,x_i')＜ε，其中i,i'∈M；其次i∈N_k(t)或i'∈N_k(t)，N_k(t)是t的k个最邻近点；

(2)如果label(i)≠label(j)，其中i,j∈L时，类间邻域图的连接方式为保持类间点最小欧式距离。计算不同类L1和L2间的最小距离D_min(i,j)＝min_{i∈L1,j∈L2}(d(x_i,x_j))，定义矩阵LM存储最小类间距离，即LM＝{D_min(i,j)}，i,j∈L，LM为对称矩阵；循环判断d(x_i,x_j)，如果d(x_i,x_j)＝D_min(i,j)，建立点i和点j之间的边界连接；如果两类间有多组点间距离同时等于最小距离，则建立多个边界连接；

步骤2：计算每对点之间的最短路径近似计算测地距，假设流形中两点之间的测地距可用邻域图中相关点之间的最短路径来表示，设g_ij为v_i和v_j最短路径的长度，最短路径用Floyd算法，那么g_ij可以近似v_i和v_j之间的测地距，记录对称矩阵；

步骤3：用MDS方法将R^D嵌入到较低的空间R^d中，找到嵌入向量Z_i；i∈M，定义Z＝(z₁；……；z_n)，K是内积矩阵，满足条件：

$\underset{i}{\Σ}{z}_i=0---\left(1\right)$

K＝-HSH/2(2)

其中H＝{h_ij}，h_ij＝δ_ij-1/n，δ_ij为Kroneckerδ，那么S＝{g_ij ²}；然后在非递增序列中找出K的前d维特征向量{k₁,k₂,…,k_d}，以及其相关特征值{v₁,v₂,…,v_d}；在新的空间的第i个点的第p个分量为：

其中p＝1,2，…,d(3)

通过上述步骤获得dls-Isomap算法两类数据降维图，区分2组及其以上品种的分类任务。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

热轧生产线的冷轧用热轧带钢表面缺陷图像分类实验中,训练集采用2个月内收集到的典型缺陷，其缺陷图像总数为2336幅。选择不同工况下6卷带钢，提取每卷的表面缺陷图像作为测试集。

在该应用中，本实施例仅将一级分类器设置为过滤器，过滤掉噪声型缺陷，设置框架1条，可分区高亮度、高暗度、水渍干涸、正常周期缺、极小缺陷、极大缺陷等十多种缺陷类型，并在图5中使用噪声型缺陷同一表示。

二级分类器选择该节中所述的两种主分类器，其中表1中的C4.5代表基于固定特征的决策树分类器，SVM代表基于图像Isomap降维的SVM分类器。三级分类器用于区分翘皮和夹杂次品，工艺允许的部分为产品可以放行的部分，工艺拒绝的部分为不能放行的部分。

实验结果如图5所示，表中的“数量”是采集到的每卷带钢表面缺陷图像经过人工识别统计获得的各类缺陷“实际数量”，同时以“错误量”来记录噪声型缺陷的过滤错误量。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (9)

1.一种品种可选择的表面缺陷图像分类系统，其特征在于，包括：

第一级分类子系统，识别环境突变产生的部分未知类型的缺陷、有明显固定规律的缺陷和非缺陷图像，获得第一级分类结果，并将无法识别图像的常见图像特征以及原始图像归一化后图像传输给第二级分类子系统，同时将第一级分类结果传输给第三级分类子系统；

第二级分类子系统，将第一级分类子系统无法识别的图像通过主分类器获得所有缺陷图像的类型，获得第二级分类结果，并将第二级分类结果传输给第三级分类子系统，该主分类器为基于固定特征的决策树分类器、或基于图像Isomap降维的SVM分类器；

第三级分类子系统，将第一级分类子系统和第二级分类子系统识别的结果进行再次分类，将已分类的缺陷进一步细分至可用于实际产品分级判次的程度。

2.根据权利要求1所述的品种可选择的表面缺陷图像分类系统，其特征在于：所述常见图像特征至少包括形状、颜色、位置和质心。

3.根据权利要求1所述的品种可选择的表面缺陷图像分类系统，其特征在于：所述第三级分类子系统将已分类的缺陷至少按照长度、宽度、严重度特征进行细分。

4.根据权利要求1所述的品种可选择的表面缺陷图像分类系统，其特征在于：所述的基于固定特征的决策树分类器，在特征提取后再经过决策树算法获得分类规则，测试图像通过同样的特征提取后进入分类规则，并预测获得结果。

5.根据权利要求1所述的品种可选择的表面缺陷图像分类系统，其特征在于：所述的基于图像Isomap降维的SVM子分类器训练图像和测试图像分别经过dls-Isomap算法和增量GRNN拟合的降维过程，分类算法使用的是SVM算法。

6.根据权利要求5所述的品种可选择的表面缺陷图像分类系统，其特征在于：所述的dls-Isomap算法流程包括：

步骤1：构造邻域图，给定参数k或者是ε，使用k-nn方法或者ε半径方法建立加权邻接图G，采用监督k-nn和ε半径邻域图连接方式，其具体内容如下：

(1)如果label(i)＝label(j)，其中i,j∈L时，邻域连接方式满足以下两个条件：首先d(x_i,x_i')＜ε，其中i,i'∈M；其次i∈N_k(t)或i'∈N_k(t)，N_k(t)是t的k个最邻近点；

(2)如果label(i)≠label(j)，其中i,j∈L时，类间邻域图的连接方式为保持类间点最小欧式距离。计算不同类L1和L2间的最小距离D_min(i,j)＝min_{i∈L1,j∈L2}(d(x_i,x_j))，定义矩阵LM存储最小类间距离，即LM＝{D_min(i,j)}，i,j∈L，LM为对称矩阵；循环判断d(x_i,x_j)，如果d(x_i,x_j)＝D_min(i,j)，建立点i和点j之间的边界连接；如果两类间有多组点间距离同时等于最小距离，则建立多个边界连接；

步骤2：计算每对点之间的最短路径近似计算测地距，假设流形中两点之间的测地距可用邻域图中相关点之间的最短路径来表示，设g_ij为v_i和v_j最短路径的长度，最短路径用Floyd算法，那么g_ij可以近似v_i和v_j之间的测地距，记录对称矩阵；

步骤3：用MDS方法将R^D嵌入到较低的空间R^d中，找到嵌入向量Z_i；i∈M，定义Z＝(z₁；......；z_n)，K是内积矩阵，满足条件：

$\underset{i}{\Σ}{z}_i=0---\left(1\right)$

K＝-HSH/2(2)

其中H＝{h_ij}，h_ij＝δ_ij-1/n，δ_ij为Kronecker^δ，那么S＝{g_ij ²}；然后在非递增序列中找出K的前d维特征向量{k₁,k₂,…,k_d}，以及其相关特征值{v₁,v₂,…,v_d}；在新的空间的第i个点的第p个分量为：

$z_{i,p}=\sqrt{{\mathrm{\λ}}_p}{v}_{i,p}$ 其中p＝1,2，…,d(3)

通过上述步骤获得dls-Isomap算法两类数据降维图，区分2组及其以上品种的分类任务。

7.根据权利要求1所述的品种可选择的表面缺陷图像分类系统，其特征在于：所述第一级分类子系统为过滤器，用以过滤掉噪声型缺陷。

8.根据权利要求7所述的品种可选择的表面缺陷图像分类系统，其特征在于：所述系统应用于冷轧用热轧带钢时，所述噪声型缺陷种类至少包括高亮度、高暗度、水渍干涸、正常周期缺、极小缺陷、极大缺陷。

9.根据权利要求1所述的品种可选择的表面缺陷图像分类系统，其特征在于：所述系统应用于冷轧用热轧带钢时，所述第三级分类子系统用于区分翘皮和夹杂次品。