CN103267764B - 基于邻域信息评估的热轧钢板表面缺陷图像识别方法 - Google Patents

Abstract

本发明一种基于邻域信息评估的热轧钢板表面缺陷图像识别方法，属于模式识别和机器视觉领域，本发明在钢板表面缺陷图像的特征提取中引入了局部二值模式的特征提取方法，该方法提取的特征具有：同类缺陷的特征集中而不同类型缺陷特征区分度较高；本发明在局部二值模式的特征提取中引入了邻域信息评估窗口，可以有效抵抗特征受到的噪声干扰影响；本发明在局部二值模式的特征提取中引入了邻域信息评估窗口，还可以有效解决由于照明和材料的变化影响而使得缺陷特征发生改变。

Description

基于邻域信息评估的热轧钢板表面缺陷图像识别方法

技术领域

本发明属于模式识别和机器视觉领域，具体涉及一种基于邻域信息评估的热轧钢板表面缺陷图像识别方法。

背景技术

热轧钢板是钢铁工业的主要产品之一，许多情况下其产品质量将直接影响最终产品的质量和性能。随着市场竞争的日趋激烈，钢板的产品质量已成为国内外钢铁市场竞争的关键性指标之一，其质量的优劣直接关系到钢铁企业的经济效益、生存和发展。由于受生产条件的局限，钢板的表面不可避免地会存在不同形式、不同类别的缺陷，且尺寸大小、缺陷数量及其分布的差异很大。不同性质的缺陷，如夹杂物、氧化皮、麻点、针眼、疤痕、刮痕、裂纹、孔洞等，都将直接影响板带钢产品的质量。也正是由于表面缺陷的多样性和复杂性，各国钢铁生产企业对表面质量的检测都十分重视，不惜花费巨资改进检测技术、提高检测水平。

热轧钢板表面缺陷自动化检测系统主要包括两个组成部分：快速检测和缺陷识别。第一部分主要包括采集图像、图像预处理和检测疑似缺陷。第二部分主要包括目标缺陷区域的分割，特征提取和选择以及分类识别。由于含有表面缺陷的钢板图像具有较为复杂的特征，相互之间有的具有较大差异，有的特征较为接近，因此要准确的实现对缺陷的识别，必须对缺陷进行有效的特征提取。然而，在当前的表面检测系统的特征提取过程中，有三个需要解决的关键问题：

（1）同类缺陷在外观上具有较大差异，同时不同类型缺陷具有很大的相似性。即同类缺陷的特征过于分散，不集中；而不同类型缺陷特征之间存在明确的重叠现象，特征区分度不高；

（2）由于照明和材料的变化影响，缺陷特征将发生很大的变化，稳定性下降，从而导致识别率的下降；

（3）当前大部分的缺陷特征容易受到噪声的干扰，因而降低了识别率的稳定性。

发明内容

针对现有技术的不足，本发明提出一种基于邻域信息评估的热轧钢板表面缺陷图像识别方法，以达到提高对热轧钢板表面缺陷图像识别的准确度、抗噪声干扰性的目的。

一种基于邻域信息评估的热轧钢板表面缺陷图像识别方法，包括如下步骤：

步骤1、采用线阵工业相机采集钢板表面图像；

步骤2、采用图像灰度投影方法对采集的钢板表面图像进行检测，判断是否为缺陷图像，若是，则执行步骤3,，否则将图像删除；

步骤3、采用活动轮廓模型的分割方法对缺陷图像进行分割，判断是否有缺陷区域，若有，则执行步骤4，否则将图像删除；

步骤4、采用基于邻域信息评估的局部二值模式提取缺陷图像的特征；

步骤5、将缺陷图像的特征输入到支持向量机分类器中对钢板缺陷进行分类。

步骤4所述的采用基于邻域信息评估的局部二值模式提取缺陷图像的特征，具体步骤如下：

步骤4-1、将表面缺陷图像进行归一化处理；

步骤4-2、确定局部二值模式中评估窗口的邻域中心g_c，并将其周围P个邻域像素点依次作为评估中心a_p；

步骤4-3、从P个邻域像素点中随机确定第一个评估中心a_p，并以该评估中心作为另一个邻域中心确定另一个窗口，计算该窗口内邻域中心周围像素点的平均灰度值，并将该平均灰度值赋给该窗口内邻域中心，即评估中心a_p；

步骤4-4、重复步骤4-3依次计算获得邻域中心g_c周围的P个邻域像素点的灰度值；

步骤4-5、将P个评估中心a_p依次与邻域中心g_c进行比较，并将比较结果依次赋值至P个评估中心：

$s(a_p-g_c)=\left\{\begin{array}{cc}1& a_p-g_c\&GreaterEqual;0\\ 0& a_p-g_c<0\end{array}\right.---\left(1\right)$

其中，s表示评估中心a_p和邻域中心g_c之间的函数；

步骤4-6、根据P个评估中心a_p值获得基于邻域信息评估的局部二值模式特征值，公式如下：

$\mathrm{AELBP}=\underset{p=0}{\overset{P-1}{\mathrm{\&Sigma;}}}{a}_p{2}^p---\left(2\right)$

其中，AELBP为特征值；

步骤4-7；将邻域中心g_c按照从左至右、从上至下的顺序逐步更新选取邻域中心，重复步骤4-2到步骤4-6，确定完整钢板缺陷区域特征。

步骤5所述的对钢板缺陷进行分类，类型包括氧化铁皮、斑块、网纹、麻点、夹杂和划伤。

步骤4-2所述的确定局部二值模式中评估窗口的邻域中心g_c，该邻域中心初始位置位于距离缺陷图像左侧第三列与距离上端第三行的相交像素点。

本发明与目前现有的技术相比具有几个明显优点：

1）本发明在钢板表面缺陷图像的特征提取中引入了局部二值模式的特征提取方法，该方法提取的特征具有：同类缺陷的特征集中而不同类型缺陷特征区分度较高。

2）本发明在局部二值模式的特征提取中引入了邻域信息评估窗口，可以有效抵抗特征受到的噪声干扰影响。

3）本发明在局部二值模式的特征提取中引入了邻域信息评估窗口，还可以有效解决由于照明和材料的变化影响而使得缺陷特征发生改变。

附图说明

图1为本发明一种实施例的基于邻域信息评估的热轧钢板表面缺陷图像识别方法流程图；

图2为图像灰度投影方法示意图；

图3为本发明一种实施例的活动轮廓模型的分割方法流程图；

图4为本发明一种实施例的缺陷图像示意图。

具体实施方式

下面结合附图对本发明一种实施例做进一步说明。

一种基于邻域信息评估的热轧钢板表面缺陷图像识别方法，如图1所示，包括如下步骤：

步骤1、采用线阵工业CCD相机采集钢板表面图像；

步骤2、采用图像灰度投影方法对采集的钢板表面图像进行检测，判断是否为缺陷图像，若是，则执行步骤3,，否则将图像删除；

图像灰度投影方法是实际应用中经常使用的，该方法简单快速，对于线型缺陷较为有效，尤其当线型缺陷处于水平位置或垂直位置时效果更佳。该方法主要原理是：将图像的像素灰度值分别沿X方向和Y方向投影，以各行、各列像素灰度值的平均值作为投影，通过与设定的阈值作比较，找到异常的投影值可准确地定位疑似缺陷图像。

如图2所示，一幅实际像素大小为100×100的划伤缺陷图像，取该缺陷图像中的一部分，像素大小为10×10，其像素灰度值如图所示，图像中有一组像素组成的缺陷区域（图中第六列）。将图像各行、各列的像素灰度值分别沿X方向和Y方向投影，在X方向的投影结果中，前9个数值比最后一个明显偏大，说明这9行中有缺陷像素点存在；在Y方向投影结果中，244这个值也明显偏大，说明这一列中有缺陷像素点存在，最终可以确定图像中的缺陷区域。

本发明实施例中，图像中X方向像素点灰度值阈值是100，Y方向像素点灰度值阈值是120。

步骤3、采用活动轮廓模型的分割方法对缺陷图像进行分割，判断是否有缺陷区域，若有，则执行步骤4，否则将图像删除；

如图3所示，本发明实施例中采用采用活动轮廓模型的分割方法对缺陷图像进行分割，首先初始化水平集函数及各参数，计算各变量值，更新水平集函数，迭代100次。

步骤4、采用基于邻域信息评估的局部二值模式提取缺陷图像的特征；

步骤4-1、将表面缺陷图像进行归一化处理；

本发明实施例中，将表面缺陷图像归一化到平均灰度值为128，标准差为20；

步骤4-2、确定局部二值模式中评估窗口的邻域中心g_c，并将其周围8个邻域像素点依次作为评估中心a_p；

如图4所示，本发明实施例中，评估窗口大小为3×3，所述的邻域中心初始位置位于距离缺陷图像左侧第三列与距离上端第三行的相交像素点，即为缺陷图像左上角5×5窗口的中心像素点，该像素点（邻域中心g_c）灰度值为118，其周围8个邻域像素点的灰度值依次为165、231、201、134、129、157、213、88；

步骤4-3、从8个邻域像素点中确定第一个评估中心a_p，并以该评估中心作为另一个邻域中心确定另一个窗口，计算该窗口内邻域中心周围像素点的平均灰度值，并将该平均灰度值赋给该窗口内邻域中心，即评估中心a_p；

如图4所示，本发明实施例中随机选取的第一个评估中心a_p为灰度值为129的像素点，以该像素点为邻域中心确定一个窗口，该窗口邻域中心周围8个像素点的灰度值依次为118、134、251、153、139、110、153、157，将上述8个像素值的平均值为152，将上述灰度值152赋值给评估中心a_p，即将原评估中心a_p灰度值129修改为152。

步骤4-4、重复步骤4-3依次计算获得邻域中心g_c周围的8个邻域像素点的灰度值；

如图4所示，本发明实施例中重复步骤4-3获得新的8个邻域像素点的灰度值依次为179、163、178、186、152、141、153、182；

步骤4-5、将8个评估中心a_p依次与邻域中心g_c进行比较，即将8个邻域像素点的灰度值为179、163、178、186、152、141、153、182依次与邻域中心g_c的灰度值118作比较；并将比较结果依次赋值至8个评估中心：

$s(a_p-g_c)=\left\{\begin{array}{cc}1& a_p-g_c\&GreaterEqual;0\\ 0& a_p-g_c<0\end{array}---\left(1\right)\right.$

其中，s表示评估中心a_p和邻域中心g_c之间的函数；

如图4所示，本发明实施例中比较后的结果均为1；

步骤4-6、根据P个评估中心a_p值获得基于邻域信息评估的局部二值模式特征值，公式如下：

$\mathrm{AELBP}=\underset{p=0}{\overset{P-1}{\mathrm{\&Sigma;}}}{a}_p{2}^p---\left(2\right)$

其中，AELBP为特征值；

步骤4-7；将邻域中心g_c按照从左至右、从上至下的顺序逐步更新选取邻域中心，（按照从左至右、从上至下的顺序作为新的评估窗口的邻域中心），重复步骤4-2到步骤4-6，确定完整钢板缺陷区域特征。

步骤5、将缺陷图像的特征输入到支持向量机分类器中对钢板缺陷进行分类。

本发明实施例中采用Intel Pentium(R)Duo-Core2.8GHz中央处理器，Matlab7.10对钢板缺陷进行分类。

本发明实施例在缺陷图像样本库中进行识别实验。其中实验所用的六类样本库的分别为：氧化铁皮、斑块、网纹、麻点、夹杂和划伤。每一类样本的个数都有300幅200×200像素的图像，总样本个数为1800幅。其中，从每一类中随机选取150幅图像作为训练，其余150幅作为测试，即总的训练样本为900幅图像，测试样本也为900幅图像。得到的混淆矩阵结果如表1所示。

表1

从表1中的结果可以看出，本发明的整体识别率为98.67%，其中氧化铁皮缺陷的识别率最高（100%），而识别率相对最低的麻点缺陷也达到96.67%，因而有效的证明了本发明在钢板表面缺陷图像识别方面的出色性能。

为了进一步测试本发明对噪声干扰的鲁棒性，本实验将不同的高斯噪声（即不同的SNR值表示不同的噪声影响程度，SNR值越小受噪声影响越大）加入到测试样本中，而训练样本不加噪声。训练和测试的样本个数都和实验一相同。实验得到的平均识别率如表2所示。

表2

从表2中的结果可以看出，即使在高斯噪声干扰的情况下本发明获得了令人满意的识别率：在SNR=50时，识别率为98.67%，即识别率没有发生变化；而当SNR=40时，识别率也只是下降了0.14个百分点；而在噪声干扰非常严重的情况下（即SNR=20），本发明依然可以获得37.09%的识别率。因此，通过实验二充分证明了本发明对噪声干扰的鲁棒性。

Claims (3)

1.一种基于邻域信息评估的热轧钢板表面缺陷图像识别方法，其特征在于：包括如下步骤：

步骤1、采用线阵工业相机采集钢板表面图像；

步骤2、采用图像灰度投影方法对采集的钢板表面图像进行检测，判断是否为缺陷图像，若是，则执行步骤3，否则将图像删除；

步骤3、采用活动轮廓模型的分割方法对缺陷图像进行分割，判断是否有缺陷区域，若有，则执行步骤4，否则将图像删除；

步骤4、采用基于邻域信息评估的局部二值模式提取缺陷图像的特征，具体步骤如下：

步骤4-1、将表面缺陷图像进行归一化处理；

步骤4-2、确定局部二值模式中评估窗口的邻域中心g_c，并将其周围P个邻域像素点依次作为评估中心a_p；

步骤4-3、从P个邻域像素点中随机确定第一个评估中心a_p，并以该评估中心作为另一个邻域中心确定另一个窗口，计算该窗口内邻域中心周围像素点的平均灰度值，并将该平均灰度值赋给该窗口内邻域中心，即评估中心a_p；

步骤4-4、重复步骤4-3依次计算获得邻域中心g_c周围的P个邻域像素点的灰度值；

步骤4-5、将P个评估中心a_p依次与邻域中心g_c进行比较，并将比较结果依次赋值至P个评估中心：

$s(a_p-g_c)=\left\{\begin{array}{cc}1& a_p-g_c\&GreaterEqual;0\\ 0& a_p-g_c<0\end{array}\right.---\left(1\right)$

其中，s表示评估中心a_p和邻域中心g_c之间的函数；

步骤4-6、根据P个评估中心a_p值获得基于邻域信息评估的局部二值模式特征值，公式如下：

$\mathrm{AELBP}=\underset{p=0}{\overset{P-1}{\mathrm{\&Sigma;}}}{a}_p{2}^p---\left(2\right)$

其中，AELBP为特征值；

步骤4-7；将邻域中心g_c按照从左至右、从上至下的顺序逐步更新选取邻域中心，重复

步骤4-2到步骤4-6，确定完整钢板缺陷区域特征；

步骤5、将缺陷图像的特征输入到支持向量机分类器中对钢板缺陷进行分类。

2.根据权利要求1所述的基于邻域信息评估的热轧钢板表面缺陷图像识别方法，其特征在于：步骤5所述的对钢板缺陷进行分类，类型包括氧化铁皮、斑块、网纹、麻点、夹杂和划伤。

3.根据权利要求1所述的基于邻域信息评估的热轧钢板表面缺陷图像识别方法，其特征在于：步骤4-2所述的确定局部二值模式中评估窗口的邻域中心g_c，该邻域中心初始位置位于距离缺陷图像左侧第三列与距离上端第三行的相交像素点。