CN103593670A - 一种基于在线序列极限学习机的铜板带表面缺陷检测方法 - Google Patents

Abstract

基于在线序列极限学习机的铜板带表面缺陷检测方法，包括以下步骤：通过图像采集模块获取到铜板带表面的图像；采用掩模大小为7×7的中值滤波方法对采集的铜板带表面图像进行增强以减少所含噪声，降低噪声对表面图像质量的影响；对铜板带表面图像进行顶帽变换处理，减少光照不均匀性的影响；采用基于8邻域差值的铜板带表面图像预检方法；对预检后判断为存在表面缺陷的铜板带表面图像，采用一种图像分割方法分割出表面图像中的缺陷；提取各缺陷的几何、灰度、形状、纹理等特征，并采用主成分分析方法对铜板带表面缺陷特征维数进行优化降维处理；设计基于在线序列极限学习机的铜板带表面缺陷分类器，并利用样本进行训练；提取待检测铜板带表面图像的特征，识别出表面缺陷的类型。

Description

一种基于在线序列极限学习机的铜板带表面缺陷检测方法

技术领域

本专利涉及一种利用计算机视觉技术来检测铜板带表面缺陷的方法。 

背景技术

在我国，铜板带是铜加工材中的一个重要品种，被广泛应用于电子通信、机械制造、航空航天工业等领域。近些年，随着现代电子、通讯和半导体产业的发展，使得对低端铜板带产品的需求逐渐萎缩,随之而来的却是高端产品的需求不断增加，进而针对铜板带的质量特别提出了“精密铜板带”的要求，即铜板带具有“高表面、高性能和高精密度”的质量要求。铜带表面质量是决定其产品质量的一个重要指标。由于生产设备、工艺和环境等因素的影响，铜带在生产过程中表面会出现划痕、起皮、污渍等缺陷，这些缺陷严重影响铜带产品的质量。由于铜板带生产环境的复杂、恶劣，铜板带成型后流水线式的高速运行以及铜板带具有的表面高反光性，致使普遍采用的人目视觉检测、红外检测、超声波检测等检测方法存在检测效率低、漏检率高、检测精度低等弊端。另外，存储铜板带表面缺陷的信息，避免购货方以产品表面缺陷为理由的退货和索赔，也是铜板带生产企业关心的问题。 

随着基于计算机视觉的表面缺陷检测方法在不同材料上的成功应用，计算机视觉技术在铜板带表面缺陷检测方面也获得了大量的关注。Liang（河海大学，2008）等提出了基于SVM-RBF理论的铜板带表面缺陷检测方法，利用小波方法去除图像噪声，提取缺陷图像的PZML矩，利用SVM-RBF分类器识别缺陷类型。Zhang（河海大学，2008）等提出了基于智能融合的铜板带表面缺陷识别方法，该方法通过提取表面缺陷图像的不变矩特征，利用BP神经网络分类器对表面缺陷进行分类，结合遗传算法的专家系统，实现铜板带表面缺陷的检测和识别。Wang（河海大学，2008）等提出了基于计算机视觉的铜板带表面缺陷检测理论，利用径向基神经网络识别铜板带表面缺陷。Zhang（河海大学，2008）等提出了基于模糊神经网络的铜板带表面缺陷检测方法，利用模糊小波神经网络分类器实现缺陷类型的识别。张学武（河海大学，2010）等结合小波提出了基于机器视觉的铜板带检测方法，该方法将铜板带图像分成多个子图像，对每个子图像进行小波处理，最后利用SVM进行缺陷类型分类。沈昱明（上海理工大学，2010）等将机器视觉与LabView相结合，开发了基于机器视觉和LabView图像处理技术的在线铜板带表面检测系统，该系统采用CCD面阵相机和采集卡获取铜板带表面图像，差影法目标检测图像是否存在缺陷，Canny边缘检测算法分割缺陷图像，并通过基于BP神经网络的分类器识别缺陷类型。张学武（河海大学，2011）等引入神经解剖学和心 理学方面的研究成果，提出了基于视觉仿生机理的铜板带表面缺陷检测理论，并获得了中国发明专利200910232677.7，名称为基于视觉仿生的铜带表面质量智能检测装置及方法。 

由于铜板带表面缺陷出现的概率小于5%，当前的计算机视觉检测方法对获取的每一帧图像都进行分割、表面缺陷特征提取等操作，花费了大量时间在正常图像的处理上，降低了系统的实时性，存在检测效率不高、缺陷类型识别准确度低等不足。 

发明内容

为了克服现有计算视觉技术在铜板带表面缺陷检测方法的不足，本发明提出了一种基于在线序列极限学习机的铜板带表面缺陷检测方法。 

本发明解决其技术问题的技术方案包含如下步骤： 

1）通过图像采集模块获取到铜板带表面的图像。 

2）采用掩模大小为7×7的中值滤波方法对采集的铜板带表面图像进行增强以减少所含噪声，降低噪声对表面图像质量的影响。 

3）对铜板带表面图像进行顶帽变换处理，减少光照不均匀性的影响。 

4）为提高检测效率，本发明中提出了一种基于8邻域差值的铜板带表面图像预检方法，它能快速的检测出铜板带表面图像是否含有缺陷，具体地，对每一帧表面图像进行预检包括如下步骤： 

步骤4.1：对顶帽变换之后的图像做灰度化处理： 

f(i,j)=(299R_(i,j)+578G_(i,j)+114B_(i,j))/1000 

其中，f(i,j)表示像素(i,j)的灰度值,i=0,1,2,…,M-1,j=0,1,2,…,N-1,M和N分别为图像的宽和高，单位为像素；R_(i,j)、G_(i,j)和B_(i,j)分别为彩色图像对应像素(i,j)的红色、绿色和蓝色分量值； 

步骤4.2：用3×3大小的算子逐行扫描灰度图像中的每一个像素点P，以该点为中心，对其周围的3×3的8邻域进行计算，通过计算像素点P的上下两行、左右两列的对应像素点的灰度值的差，得出新的灰度值P′： 

$P^{\′}=\frac{\left(\right|P_1-P_7|+|P_2-P_6|+|P_3-P_5\left|\right)+\left(\right|P_1-P_3|+|P_8-P_4|+|P_7-P_5\left|\right)}{6}$

其中，P_i（i=1,2,…,8）表示P的8邻域像素的灰度值，P₁为8邻域左上角的点，其余的围绕着P点按顺时针方向顺序编号； 

步骤4.3：统计P′的直方图，计算直方图的峰值个数δ，如果该数目大于设定的阈值δ₀， 则表明图像存在表面缺陷；否则，是无缺陷图像。 

步骤4.4：阈值δ₀是通过计算无缺陷铜板带表面图像获得，为了提高检测的精确度，计算多帧无缺陷图像的平均值获得δ₀，同时随着检测时间而自适应的调整阈值δ₀，具体的调整方法如下： 

δ₀=0.8*δ₁+0.2*δ₂

其中，δ₁为新获得的阈值，δ₂为前一个使用的阈值。 

5）对预检后判断为存在表面缺陷的铜板带表面图像，采用一种图像分割方法分割出表面图像中的缺陷，具体步骤如下： 

步骤5.1：获取连续两帧铜板带表面图像，计算第一帧和第二帧图像的梯度直方图，且对每一帧进行基于8邻域差值的预检处理； 

步骤5.2：若第一帧为无缺陷图像且第二帧是含有缺陷的图像，则通过第一帧图像的梯度直方图，累积计算梯度幅值的像素数目κ，当κ大于图像像素总数的99%时的梯度幅值记为Τ，则第二帧图像的Canny边缘检测时的高阈值Τ_h、低阈值Τ_l的计算方法如下： 

Τ_h=Τ 

Τ_l=0.4*Τ_h

第二帧图像经过Τ_h选择和Τ_l连接的Canny边缘检测后，缺陷区域内会存在少量的假边缘，但是铜板带表面图像的背景区域中出现的假边缘会被过滤，单个缺陷的最外层的真实边缘会被保留，该边缘所包围的区域即为被分割出的表面缺陷； 

步骤5.3：若第一帧和第二帧均为无缺陷图像，则后续表面缺陷图像的Canny边缘检测和连接时的高阈值Τ_h的计算方法如下： 

Τ_h=Τ_f

其中，Τ_f为计算第二帧图像的梯度直方图获取的高阈值； 

步骤5.4：若第一帧为无缺陷图像且第二帧是含有缺陷的图像，则后续表面缺陷图像的Canny边缘检测和连接时的高阈值Τ_h的计算方法如下： 

Τ_h=Τ_w

其中，Τ_w为第一帧无缺陷的表面图像的梯度直方图获取的阈值； 

步骤5.5：若第一帧为有缺陷或两帧均为有缺陷的表面图像，则利用已保存的阈值Τ_h作为所需要的Canny边缘检测和连接的高阈值。 

6）提取各缺陷的几何、灰度、形状、纹理等特征，并采用主成分分析方法对铜板带表面缺陷特征维数进行优化降维处理，具体步骤如下： 

步骤6.1：提取各表面缺陷的特征数据，如下： 

几何特征之表面缺陷区域边界的长度T₁：

其中，N_e和N_o分别表示边界链码中偶步和奇步的像素数目； 

几何特征之面积T₂，即表面缺陷边界和区域内的像素个数： 

$T_2=\underset{x=1}{\overset{N}{\mathrm{\Σ}}}\underset{y=1}{\overset{M}{\mathrm{\Σ}}}R(x,y)$

通过灰度图像中各像素的灰度值，可以获得图像的像素概率分布，形成图像的直方图特征，灰度直方图的计算如下： 

$p\left(b\right)=\frac{N_b}{M},b=\mathrm{0,1},...,L-1$

其中，b为灰度图像的量化级，共L（1≤L≤256）级。p(b)表示第b级出现的概率，N_b表示灰度值为b的像素数，M表示像素的总数； 

灰度特征之均值T₃：

灰度特征之方差T₄：

其中

表示所有像素的平均灰度值； 

灰度特征之歪度T₅： $T_5=\frac{1}{{T_4}^3}\underset{b=0}{\overset{L-1}{\mathrm{\Σ}}}{(b-\stackrel{\‾}{b})}^{3}p\left(b\right);$

灰度特征之峭度T₆： $T_6=\frac{1}{{T_4}^4}\underset{b=0}{\overset{L-1}{\mathrm{\Σ}}}{(b-\stackrel{\‾}{b})}^{4}p\left(b\right)-3;$

灰度特征之能量T₇：

灰度特征之熵T₈： $T_8=-\underset{b=0}{\overset{L-1}{\mathrm{\Σ}}}p\left(b\right){\log }_2\left(p\left(b\right)\right);$

形状特征之面积比T₉：

其中A表示表面缺陷的像素面积，S表示铜板表面图像的像素面积； 

形状特征之宽高比T₁₀：

其中，W和L分别为缺陷的最小外接矩形的像素宽和像素长； 

形状特征之线性度T₁₁：其中，P表示缺陷的边界周长，单位为像素； 

形状特征之矩形度T₁₂：其中，A_R表示缺陷的最小外接矩形的像素面积； 

形状特征之圆形度T₁₃：

不变矩是描述表面缺陷区域的方法之一，它反映表面缺陷的几何矩特性，并且对表面缺陷的旋转、尺度变化和镜像不敏感，缺陷区域D的(i,j)阶几何矩为：其中，点(x,y)是缺陷区域D的内点或边界点，i=0,1,2,…,j=0,1,2,…； 

缺陷区域D的中心矩定义为：

为缺陷区域D的重心坐标， 

其中M₁₀和M₀₁是缺陷区域的1阶几何矩，M₀₀是缺陷区域的0阶几何矩； 

中心矩μ_ij虽然对区域平移具有不变性，但对旋转和尺度变化依然敏感，可通过对μ_ij进行归一化得到尺度的不变性，计算如下：

形状特征之7个不变的归一化中心矩组合T₁₄-T₂₀： 

T₁₄=η₂₀+η₀₂

$T_{15}={({\mathrm{\η}}_{20}-{\mathrm{\η}}_{02})}^2+{4\mathrm{\η}}_{11}^2$

T₁₆=(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²

T₁₇=(η₃₀+η₁₂)²+(η₂₁+η₀₃)²

T₁₈=(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²] 

+(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²] 

T₁₉=(η₂₀-η₀₂)[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]+ 

4η₁₁[(η₃₀+η₁₂)+(η₂₁+η₀₃)] 

T₂₀=(3η₂₁-η₀₃)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²] 

+(3η₁₂-η₀₃)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²] 

纹理特征之对比度T_k：

其中i和j均为像素的灰度，L是像素的灰度级，θ表示灰度共生矩阵的生成方向，k=21、25、29、33时分别对应于θ为0°、45°、90°和135°的对比度值，d表示两个像素的空间距离，

表示归一化后的灰度共生矩阵，由式

计算得到，P(i,j,d,θ)表示灰度共生矩阵，对比度T_k反映图像的清晰度和纹理沟纹的深浅程度，其值越大表面缺陷纹理沟纹越深，视觉效果越好，反之，其值越小则表面缺陷纹理沟纹越浅，视觉效果越不清晰； 

纹理特征之二阶矩T_a：

其中a=22、26、30、34分别对应于θ为0°、45°、90°和135°的二阶矩，T_a反映图像灰度分布均匀程度和纹理粗细的程度，其值越小则表面缺陷的纹理越均匀，其值越大则表面缺陷的纹理分布越不均匀； 

纹理特征之相关度T_c：

其中c=23、29、31、35分别对应于θ为0°、45°、90°和135°的相关度值，其中，μ₁，μ₂，σ₁，σ₂定义如下： 

${\mathrm{\μ}}_1=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}i\hat{P}(i,j,d,\mathrm{\θ})$

${\mathrm{\μ}}_2=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}j\hat{P}(i,j,d,\mathrm{\θ})$

${\mathrm{\σ}}_1=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{J=0}{\overset{l-1}{\mathrm{\Σ}}}(i-{\mathrm{\μ}}_1)\hat{P}(i,j,d,\mathrm{\θ})$

${\mathrm{\σ}}_2=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}(j-{\mathrm{\μ}}_2)\hat{P}(i,j,d,\mathrm{\θ})$

T_c反映空间灰度共生矩阵元素在行或列方向上的相似程度，其值越大则表面缺陷的矩阵元素值越均匀相等； 

纹理特征之逆差矩T_d：

其中d=24、30、32、36分别对应于θ为0°、45°、90°和135°的逆差矩，T_d反映图像纹理的同质性，度量图像纹理局部变化的多少，其值越大表明表面缺陷纹理的不同区域间的变化越小，局部越均匀，反之则表明表面缺陷不 同区域间的纹理变化越大，局部越不均匀； 

步骤6.2：首先，计算铜板带表面缺陷图像特征样本集的相关矩阵其中r_ij（i,j=1,2,…,m）表示特征T_i和T_j的相关系数，其计算方法如下： 

$r_{\mathrm{ij}}=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}(t_{\mathrm{ki}}-\stackrel{\‾}{t_i})(t_{\mathrm{kj}}-\stackrel{\‾}{t_j})/\sqrt{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{(t_{\mathrm{ki}}-\stackrel{\‾}{t_i})}^2{(t_{\mathrm{kj}}-\stackrel{\‾}{t_j})}^2}$

其中t_ki表示第k幅缺陷样本图像的特征T_i的值，

表示所有图像的特征T_i的平均值； 

然后，通过|R-λI|=0计算特征值以及对应的特征向量

最后，计算

其中α_i表示根据特征值排序后的第i个特征对于缺陷识别的贡献度，当β≥β₀时，β₀为事先选定的累积贡献度，p为经过优选后的主要特征的数量，并通过

将特征T_i(i=1,2,…,36)映射成p(p<36)个主成分并满足缺陷识别的要求，达到降维优化的目的，从而提高计算效率，其中T=[T₁,T₂,…,T₃₆]^T，y_i为映射后的特征向量。 

7）设计基于在线序列极限学习机的铜板带表面缺陷分类器，并利用样本进行训练，步骤如下： 

步骤7.1：设计基于在线序列极限学习机的分类器输入层和输出层 

分类器的输入层和输出层的设计主要是确定分类器的输入层、输出层的神经元数目，令铜板带表面缺陷的特征数为n，如果将这n个特征直接作为学习机的输入层的神经元数目，则其计算复杂度会很高，因此，利用前述主成分分析方法将这n个特征优化降维为p个属性，以此作为的输入层的神经元数目，归纳总结铜板带表面的主要缺陷类型，这些缺陷类型数H即为输出层的神经元数目； 

为防止特征向量即p个属性取值处于较大范围的属性压倒那些取值处于相对较小范围的属性，本发明采用最大最小化规格方法将具体的属性的取值范围映射到[0，1]，并针对主成分特征向量中不同属性的规格化操作中的最大最小取值的选取，采用全体样本矩阵中该属性的最大、最小值，具体的归一化计算方法如下： 

$v^{\&prime;}=\frac{v-s_{\min }}{s_{\max }-s_{\min }}$

其中，v、v′是主成分特征向量S的某一个主成分属性值及归一化后的值，s_min、s_max是该属性在样本矩阵中的最大值、最小值； 

步骤7.2：设计分类器的激励函数 

设计分类器的激励函数就是选择隐层神经元的传递函数，极限学习机中的激励函数需要是可微的，本发明选择Sigmoid函数：

步骤7.3：设计隐层 

分类器隐层的设计主要是确定隐层神经元的数目，是极限学习机分类器设计的关键部分；隐层神经元的数目的设置是一个复杂的问题，通常是根据设计者的经验或者不断的实验来确定相对最优的数目，无法通过一个理想的计算式来获得；隐层神经元的数目的确定是受具体的问题、输入层神经元数目、输出层神经元数目等因素的约束；隐层神经元的数目如果设置的太小，则分类器的适应性差，如果设置的太大，则分类器的计算复杂度将无法接受；本发明中的极限学习机分类器的隐层神经元数目的设置由下式通过迭代计算而来：n_i+1=n_i+σ，其中，n_i为隐层神经元数目，初始值为n₀=log₂m，m为输入层神经元数目，σ为调节因子，取值范围为[1,5]，本发明中取3。当迭代k次后测试和训练的精确度曲线趋于平衡，增速减缓且精确度均高于90%时，对应的n_k即为本发明的分类器的隐层神经元的数目； 

步骤7.4：设计分类器的初始值 

分类器的初始值的设计主要是分配极限学习机的输入层神经元与隐层神经元之间的连接权值和隐层神经元的偏移量，由于激励函数是可微的，极限学习机的连接权值、偏移量具有随机以及在训练过程中不需要改变的特点，因此，本发明中的分类器的连接权值、偏移量设置为[0,1]范围内的随机值； 

步骤7.5：训练分类器 

将N个训练样本按待分类的铜板带表面缺陷类型数分成H个子样本集，分别对H个子样本集训练H个分类器，计算出每个样本集的中心值C_i，i=1，…，H。 

8）提取待检测铜板带表面图像的特征，将其经过主成分优化的特征向量数据输入训练好的分类器，通过计算DW_i=min‖x_j-C_i‖，从而识别出表面缺陷的类型，其中x_j即为特征向量，DW_i即为找到的子分类器，表面缺陷类型识别出后，在原始的图像上标记出缺陷，并将表面缺陷的相关信息存入存储服务器，并对严重级别的缺陷进行声光警示。 

本发明利用在线序列极限学习机的快速、高精确度的识别率，结合图像滤波技术、目标检测技术、顶帽变换技术、图像分割技术，提取铜板带表面缺陷的多种特征，利用主成分分 析优化特征维数，实现了铜板带表面缺陷的自动、高效、高精度的检测，满足了铜板带生产企业的需求，同时本发明的检测方法可以适用于其他材料的表面缺陷检测，具有广阔的市场前景和应用价值。 

附图说明

图1是铜板带表面缺陷检测流程图。 

图2像素灰度值P′计算过程。 

图3预检流程图。 

图4特征维数与识别率和计算量的关系图。 

图5主成分的累积贡献度。 

图6铜板带表面缺陷分类器。 

图7分类器更新流程图。 

图8铜板带表面缺陷识别结果。 

具体实施方式

如图1所示，本发明的铜板带表面缺陷检测方法流程图。首先通过图像采集模块获取到铜板带表面的图像，由于图像噪声的存在而影响后续的处理效果，需要先对表面图像进行去噪、增强处理，同时为了减少光照不均匀性的影响，对表面图像进行顶帽变换处理。实际生产中铜板带表面出现缺陷的概率为5%左右，因此，需要通过表面缺陷图像的预检来减少计算量，提高系统的实时性。对存在表面缺陷的图像进行分割处理，分割出表面图像中的缺陷，进而对各个缺陷提取它们各自的一些几何、纹理等特征。通过训练好的分类器，则可以识别出表面缺陷的类型，并在原始的图像上标记出缺陷，将表面缺陷的相关信息存入存储服务器，并对严重级别的缺陷进行声光警示。 

本发明的检测方法的具体实施方式如下： 

1、图像采集模块 

本发明的铜板带表面图像的采集模块由彩色线阵CCD相机、编码器和线阵LED光源组成。由编码器采集铜板带运行的速度信息，编码成控制信号传送给彩色线阵CCD相机，控制相机的采集铜板带表面图像的频率，完成铜板带表面图像的采集。可控线阵LED光源根据铜板带生产车间的光照情况，提供合适的光照。 

2、图像处理模块 

图像处理模块是本发明的重要组成部分。本发明的检测方法的流程图如图1所示。首先 通过图像采集模块获取到铜板带表面的图像，进而对表面图像进行去噪、增强处理。对表面图像进行顶帽变换处理和含有缺陷的铜板带表面图像的预检，对存在表面缺陷的图像进行分割处理，分离出表面图像中的缺陷，进而对各个缺陷提取它们各自的一些几何、纹理等特征。通过训练好的分类器，识别出表面缺陷的类型，并在原始的图像上标记出缺陷，将表面缺陷的相关信息存入存储服务器，并对严重级别的缺陷进行声光警示。 

（1）图像滤波 

由于受生产环境、图像采集设备、图像传送等一些因素的影响，图像会含有一定量的噪声。这些噪声将严重影响后续的表面缺陷图像分割、表面缺陷特征提取等处理的效果。本发明采用掩模大小为7×7的中值滤波方法对采集的铜板带表面图像进行增强以减少所含噪声，降低噪声对表面图像质量的影响。 

（2）顶帽变换 

由于企业生产环境的复杂性，铜板带在图像采集设备获取其表面图像时一帧图像获得的光照经常不均匀，严重影响后续的处理过程。顶帽变换是灰度形态学的一个重要应用，其主要用于解决非均匀光照问题，本发明采用顶帽变换处理获取的铜板带表面图像，减少光照不均匀对表面缺陷图像的影响。 

（3）基于8邻域差值的铜板带表面图像预检 

针对当前判断铜板带表面图像中是否含有缺陷的目标检测方法存在的问题，本发明提出基于8邻域差值的铜板带表面图像预检算法，如图3所示，其步骤如下： 

步骤3.1：对顶帽变换之后的图像做灰度化处理： 

f(i,j)=(299R_(i,j)+578G_(i,j)+114B_(i,j))/1000 

其中，f(i,j)表示像素(i,j)的灰度值,i=0,1,2,…,M-1,j=0,1,2,…,N-1,M和N分别为图像的宽和高，单位为像素；R_(i,j)、G_(i,j)和B_(i,j)分别为彩色图像对应像素(i,j)的红色、绿色和蓝色分量值。 

步骤3.2：利用3×3大小的算子逐行扫描灰度图像中的每一个像素点P，算子如图2所示，以P点为中心，对其周围的3×3的8邻域进行计算，通过计算像素点P的上下两行、左右两列的对应像素点的灰度值的差，得出新的灰度值P′： 

$P^{\&prime;}=\frac{\left(\right|P_1-P_7|+|P_2-P_6|+|P_3-P_5\left|\right)+\left(\right|P_1-P_3|+|P_8-P_4|+|P_7-P_5\left|\right)}{6}$

其中，P_i（i=1,2,…,8）表示P的8邻域像素的灰度值，P₁为8邻域左上角的点，其余的按顺时针方向围绕着P点顺序编号，如图2所示。 

步骤3.3：统计P′的直方图，计算直方图的峰值个数δ，如果该数目大于设定的阈值δ₀，则表明图像存在表面缺陷；否则，是无缺陷图像。 

步骤3.4：阈值δ₀是通过计算无缺陷铜板带表面图像获得。为了提高检测的精确度，计算多帧无缺陷图像的平均值获得δ₀，同时随着检测时间而自适应的调整阈值δ₀。具体的调整方法如下： 

δ₀=0.8*δ₁+0.2*δ₂

其中，δ₁为新获得的阈值，δ₂为前一个使用的阈值。 

（4）图像分割 

对预检后判断为存在表面缺陷的铜板带表面图像，采用本发明中的图像分割方法分割出表面图像中的缺陷，具体步骤如下： 

步骤4.1：获取连续两帧铜板带表面图像，计算第一帧和第二帧图像的梯度直方图，且对每一帧进行基于8邻域差值的预检处理。 

步骤4.2：若第一帧为无缺陷图像且第二帧是含有缺陷的图像，则通过第一帧图像的梯度直方图，累积计算梯度幅值的像素数目κ，当κ大于图像像素总数的99%时的梯度幅值记为Τ，则第二帧图像的Canny边缘检测时的高阈值Τ_h、低阈值Τ_l的计算方法如下： 

Τ_h=Τ 

Τ_l=0.4*Τ_h

第二帧图像经过Τ_h选择和Τ_l连接的Canny边缘检测后，缺陷区域内会存在少量的假边缘，但是铜板带表面图像的背景区域中出现的假边缘会被过滤，单个缺陷的最外层的真实边缘会被保留，该边缘所包围的区域即为被分割出的表面缺陷。 

步骤4.3：若第一帧和第二帧均为无缺陷图像，则后续表面缺陷图像的Canny边缘检测和连接时的高阈值Τ_h的计算方法如下： 

Τ_h=Τ_f

其中，Τ_f为计算第二帧图像的梯度直方图获取的高阈值。 

步骤4.4：若第一帧为无缺陷图像且第二帧是含有缺陷的图像，则后续表面缺陷图像的Canny边缘检测和连接时的高阈值Τ_h的计算方法如下： 

Τ_h=Τ_w

其中，Τ_w为第一帧无缺陷的表面图像的梯度直方图获取的阈值。 

步骤4.5：若第一帧为有缺陷或两帧均为有缺陷的表面图像，则利用已保存的阈值Τ_h作 为所需要的Canny边缘检测和连接的高阈值。 

（5）表面缺陷特征提取和选择 

表面缺陷特征的提取是图像识别的重要前提。因为铜板带表面缺陷类型的多样性和复杂性，单一的图像特征很难实现对多种类型的缺陷的区分，所以本发明将提取表面缺陷图像的多种特征。图像的特征主要有以下四种： 

1）几何特征 

图像的几何特征是指铜板带表面图像中缺陷的位置、方向、周长和面积等方面的特征，具有直观性和简单性。 

表面缺陷区域边界的长度T₁：属于表面缺陷区域边界的长度。将像素看作是一个个点，则周长的计算可以通过计算链码的长度。如果链码的值为偶数则长度为1，如果链码的值为奇数则长度为其中，N_e和N_o分别表示边界链码中偶步和奇步的像素数目。 

表面缺陷区域面积T₂，即表面缺陷边界和区域内的像素个数： 

$T_2=\underset{x=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{M}{\mathrm{\&Sigma;}}}R(x,y)$

2）灰度特征 

图像的灰度反映图像的亮度信息，图像的灰度特征可以通过图像灰度直方图获得。灰度直方图代表的是图像中相同灰度值的像素点的个数与整个图像的像素数之间的关系。灰度特征主要有均值、方差、能量、熵、歪度以及峭度等。 

通过灰度图像中各像素的灰度值，可以获得图像的像素概率分布，形成图像的直方图特征。灰度直方图的计算如下： 

$p\left(b\right)=\frac{N_b}{M},b=\mathrm{0,1},...,L-1$

其中，b为灰度图像的量化级，共L（1≤L≤256）级。p(b)表示第b级出现的概率，N_b表示灰度值为b的像素数，M表示像素的总数。 

均值T₃： $T_3=\underset{b=0}{\overset{L-1}{\mathrm{\&Sigma;}}}\mathrm{bp}\left(b\right)$

方差T₄：

其中

表示所有像素的平均灰度值 

歪度T₅： $T_5=\frac{1}{{T_4}^3}\underset{b=0}{\overset{L-1}{\mathrm{\&Sigma;}}}{(b-\stackrel{\&OverBar;}{b})}^{3}p\left(b\right)$

峭度T₆： $T_6=\frac{1}{{T_4}^4}\underset{b=0}{\overset{L-1}{\mathrm{\&Sigma;}}}{(b-\stackrel{\&OverBar;}{b})}^{4}p\left(b\right)-3$

能量T₇： $T_7=\underset{b=0}{\overset{L-1}{\mathrm{\&Sigma;}}}p{\left(b\right)}^2$

熵T₈： $T_8=-\underset{b=0}{\overset{L-1}{\mathrm{\&Sigma;}}}p\left(b\right){\log }_2\left(p\left(b\right)\right)$

3）形状特征 

形状特征是图像主要的描述特征之一，主要包括表面缺陷面积与铜板带图像面积之比、表面缺陷的宽高比、圆形度、矩形度。 

面积比T₉：

其中A表示表面缺陷的像素面积，S表示铜板表面图像的像素面积。 

宽高比T₁₀：

其中，W和L分别为缺陷的最小外接矩形的像素宽和像素长。 

线性度T₁₁：

其中，P表示缺陷的边界周长，单位为像素。 

矩形度T₁₂：

其中，A_R表示缺陷的最小外接矩形的像素面积。 

圆形度T₁₃：

不变矩是描述表面缺陷区域的方法之一，它反映表面缺陷的几何矩特性，并且对表面缺陷的旋转、尺度变化和镜像不敏感。缺陷区域D的(i,j)阶几何矩为：

其中，点(x,y)是缺陷区域D的内点或边界点，i=0,1,2,…,j=0,1,2,… 

缺陷区域D的中心矩定义为：，其中，

为缺陷区域D的重心坐标，由下式计算：

其中M₁₀和M₀₁是缺陷区域的1阶几何矩，M₀₀是缺陷区域的0阶几何矩。 

中心矩μ_ij虽然对区域平移具有不变性，但对旋转和尺度变化依然敏感，可通过对μ_ij进行归一化得到尺度的不变性，计算如下：

7个不变的归一化中心矩组合T₁₄-T₂₀： 

T₁₄=η₂₀+η₀₂

$T_{15}={({\mathrm{\&eta;}}_{20}-{\mathrm{\&eta;}}_{02})}^2+{4\mathrm{\&eta;}}_{11}^2$

T₁₆=(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²

T₁₇=(η₃₀+η₁₂)²+(η₂₁+η₀₃)²

T₁₈=(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²] 

+(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²] 

T₁₉=(η₂₀-η₀₂)[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]+ 

4η₁₁[(η₃₀+η₁₂)+(η₂₁+η₀₃)] 

T₂₀=(3η₂₁-η₀₃)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²] 

+(3η₁₂-η₀₃)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²] 

4）纹理特征 

纹理是一种反映像素灰度的空间分布属性，通常表现为局部不规则但宏观存在规律的特征。一般表现为灰度与颜色的变化，以及纹理基元的反复出现性和排列规则性。主要的纹理特征量有：粗糙度、对比度、相关度、逆差矩。 

对比度T_k：

其中i和j均为像素的灰度，L是像素的灰度级，θ表示灰度共生矩阵的生成方向，k=21、25、29、33时分别对应于θ为0°、45°、90°和135°的对比度值，d表示两个像素的空间距离，

表示归一化后的灰度共生矩阵，由式计算得到，P(i,j,d,θ)表示灰度共生矩阵。对比度T_k反映图像的清晰度和纹理沟纹的深浅程度，其值越大表面缺陷纹理沟纹越深，视觉效果越好，反之，其值越小则表面缺陷纹理沟纹越浅，视觉效果越不清晰。 

二阶矩T_a：其中a=22、26、30、34分别对应于θ为0°、45°、90°和135°的二阶矩。T_a反映图像灰度分布均匀程度和纹理粗细的程度，其值越小则表面缺陷的纹理越均匀，其值越大则表面缺陷的纹理分布越不均匀。 

相关度T_c：

其中c=23、29、31、35分别对应于θ为0°、 45°、90°和135°的相关度值。 

其中，μ₁，μ₂，σ₁，σ₂定义如下： 

${\mathrm{\&mu;}}_1=\underset{i=0}{\overset{L-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{L-1}{\mathrm{\&Sigma;}}}i\hat{P}(i,j,d,\mathrm{\&theta;})$

${\mathrm{\&mu;}}_2=\underset{i=0}{\overset{L-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{L-1}{\mathrm{\&Sigma;}}}j\hat{P}(i,j,d,\mathrm{\&theta;})$

${\mathrm{\&sigma;}}_1=\underset{i=0}{\overset{L-1}{\mathrm{\&Sigma;}}}\underset{J=0}{\overset{l-1}{\mathrm{\&Sigma;}}}(i-{\mathrm{\&mu;}}_1)\hat{P}(i,j,d,\mathrm{\&theta;})$

${\mathrm{\&sigma;}}_2=\underset{i=0}{\overset{L-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{L-1}{\mathrm{\&Sigma;}}}(j-{\mathrm{\&mu;}}_2)\hat{P}(i,j,d,\mathrm{\&theta;})$

T_c反映空间灰度共生矩阵元素在行或列方向上的相似程度，其值越大则表面缺陷的矩阵元素值越均匀相等。 

逆差矩T_d：其中d=24、30、32、36分别对应于θ为0°、45°、90°和135°的逆差矩，T_d反映图像纹理的同质性，度量图像纹理局部变化的多少，其值越大表明表面缺陷纹理的不同区域间的变化越小，局部越均匀，反之则表明表面缺陷不同区域间的纹理变化越大，局部越不均匀。 

本发明从图像的灰度特征、几何特征、形状特征和纹理特征等方面提取了图像的不同特征参数。直观上通常认为提取的图像的特征向量的维数越多，越可以了解图像更多方面的属性。拥有了更多的图像属性，便可以获得更高的识别率，但是，实际情况证明并不是这种情况。 

如图4所示，一方面，对于已知的一定数目的样本而言，存在一个最大的特征数目，实际选用的图像特征趋近这个数目时性能得到提升，超过这个数目时性能反倒退化。这种现象也就是模式识别中的所谓的“维度灾难”；另一方面，特征维数影响整体的计算量，当维数逐渐增多时，下一步的分类器的计算量将大大提高，进而增加整个系统的计算量。 

基于以上所述原因，必须通过特征组合优化降低特征维数，降低计算量和提高识别率。特征组合优化即是通过对已有的高维特征进行组合，建立新的低维的特征向量子集。线性组合特征优化是特征组合优化常用的一种方法，具有简单、易理解和计算量小等特点。本发明采用线性组合优化中的主成分分析方法（Principal Component Analysis,PCA）作为表面缺陷图像特征的优化方法。 

首先，计算铜板带表面缺陷图像特征样本集的相关矩阵

其中r_ij（i,j=1,2,…,m） 表示特征T_i和T_j的相关系数，其计算方法如下： 

$r_{\mathrm{ij}}=\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}(t_{\mathrm{ki}}-\stackrel{\&OverBar;}{t_i})(t_{\mathrm{kj}}-\stackrel{\&OverBar;}{t_j})/\sqrt{\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{(t_{\mathrm{ki}}-\stackrel{\&OverBar;}{t_i})}^2{(t_{\mathrm{kj}}-\stackrel{\&OverBar;}{t_j})}^2}$

其中t_ki表示第k幅缺陷样本图像的特征T_i的值，

表示所有图像的特征T_i的平均值。 

然后，通过|R-λI|=0计算特征值

以及对应的特征向量

最后，计算其中α_i表示根据特征值排序后的第i个特征对于缺陷识别的贡献度，当β≥β₀时，β₀为事先选定的累积贡献度，p为经过优选后的主要特征的数量，并通过下式将特征T_i(i=1,2,…,36)映射成p(p<36)个主成分并满足缺陷识别的要求，达到降维优化的目的，从而提高计算效率。 

$y_i=W_i^{*}T,(i=\mathrm{1,2,3},...,p)$

其中T=[T₁,T₂,…,T₃₆]^T，y_i为映射后的特征向量。 

从图5中可以看出，当主成分维数达到9时，主成分累积贡献度大于90%，已经包含了原始特征的大部分信息，所以本发明取每类表面缺陷前9个主成分特征组成该表面缺陷的特征向量。 

（6）在线序列极限学习机分类器 

步骤6.1：设计基于在线序列极限学习机的分类器输入层和输出层 

分类器的输入层和输出层的设计主要是确定分类器的输入层、输出层的神经元数目。令铜板带表面缺陷的特征数为n，如果将这n个特征直接作为学习机的输入层的神经元数目，则其计算复杂度会很高，因此，利用前述主成分分析方法将这n个特征优化降维为p个属性，以此作为的输入层的神经元数目。归纳总结铜板带表面的主要缺陷类型，这些缺陷类型数H即为输出层的神经元数目。 

为防止特征向量即p个属性取值处于较大范围的属性压倒那些取值处于相对较小范围的属性。本发明采用最大最小化规格方法将具体的属性的取值范围映射到[0，1]，并针对主成分特征向量中不同属性的规格化操作中的最大最小取值的选取，采用全体样本矩阵中该属性的最大、最小值，具体的归一化计算方法如下： 

$v^{\&prime;}=\frac{v-s_{\min }}{s_{\max }-s_{\min }}$

其中，v、v′是主成分特征向量S的某一个主成分属性值及归一化后的值，s_min、s_max是该属性在样本矩阵中的最大值、最小值 

步骤6.2：设计分类器的激励函数 

设计分类器的激励函数就是选择隐层神经元的传递函数，极限学习机中的激励函数需要是可微的，本发明选择Sigmoid函数：

步骤6.3：设计隐层 

分类器隐层的设计主要是确定隐层神经元的数目，是极限学习机分类器设计的关键部分。隐层神经元的数目的设置是一个复杂的问题，通常是根据设计者的经验或者不断的实验来确定相对最优的数目，无法通过一个理想的计算式来获得。隐层神经元的数目的确定是受具体的问题、输入层神经元数目、输出层神经元数目等因素的约束。隐层神经元的数目如果设置的太小，则分类器的适应性差，如果设置的太大，则分类器的计算复杂度将无法接受。本发明中的极限学习机分类器的隐层神经元数目的设置由下式通过迭代计算而来：n_i+1=n_i+σ，其中，n_i为隐层神经元数目，初始值为n₀=log₂m，m为输入层神经元数目，σ为调节因子，取值范围为[1,5]，本发明中取3。当迭代k次后测试和训练的精确度曲线趋于平衡，增速减缓且精确度均高于90%时，对应的n_k即为本发明的分类器的隐层神经元的数目。 

步骤6.4：设计分类器的初始值 

分类器的初始值的设计主要是分配极限学习机的输入层神经元与隐层神经元之间的连接权值和隐层神经元的偏移量。由于激励函数是可微的，极限学习机的连接权值、偏移量具有随机以及在训练过程中不需要改变的特点，因此，本发明中的分类器的连接权值、偏移量设置为[0,1]范围内的随机值。 

步骤6.5：训练分类器 

将N个训练样本按待分类的铜板带表面缺陷类型数分成H个子样本集，分别对H个子样本集训练H个分类器，计算出每个样本集的中心值C_i，i=1，…，H。 

本发明基于在线序列极限学习机的铜板带表面缺陷分类器如图6所示。 

分类器的识别率关系到整个系统的性能，仅通过一次训练的分类器对以后出现的待分类数据进行识别，其识别效果会随着时间的推移而受到影响。本发明铜板带表面缺陷分类器是基于OS-ELM理论设计，可以实现分类器的自动更新，具体的更新方法如图7所示。通过本发明的铜板带表面缺陷检测方法，对4种常见的铜板带表面缺陷的检测结果如图8所示。 

（7）在线序列极限学习机分类器 

提取待检测铜板带表面图像的特征，将其经过主成分优化的特征向量数据输入训练好的 分类器，通过计算DW_i=min‖x_j-C_i‖，从而识别出表面缺陷的类型，其中x_j即为特征向量，DW_i即为找到的子分类器。表面缺陷类型识别出后，在原始的图像上标记出缺陷，并将表面缺陷的相关信息存入存储服务器，并对严重级别的缺陷进行声光警示。 

Claims (1)

1.一种基于在线序列极限学习机的铜板带表面缺陷检测方法，包含如下步骤：

1）通过图像采集模块获取到铜板带表面的图像；

2）采用掩模大小为7×7的中值滤波方法对采集的铜板带表面图像进行增强以减少所含噪声，降低噪声对表面图像质量的影响；

3）对铜板带表面图像进行顶帽变换处理，减少光照不均匀性的影响；

4）为提高检测效率，本发明中提出了一种基于8邻域差值的铜板带表面图像预检方法，它能快速的检测出铜板带表面图像是否含有缺陷，具体地，对每一帧表面图像进行预检包括如下步骤：

4.1：对顶帽变换之后的图像做灰度化处理：

f(i,j)=(299R_(i,j)+578G_(i,j)+114B_(i,j))/1000

其中，f(i,j)表示像素(i,j)的灰度值,i=0,1,2,…,M-1,j=0,1,2,…,N-1,M和N分别为图像的宽和高，单位为像素；R_(i,j)、G_(i,j)和B_(i,j)分别为彩色图像对应像素(i,j)的红色、绿色和蓝色分量值；

4.2：用3×3大小的算子逐行扫描灰度图像中的每一个像素点P，以该点为中心，对其周围的3×3的8邻域进行计算，通过计算像素点P的上下两行、左右两列的对应像素点的灰度值的差，得出新的灰度值P′：

$P^{\&prime;}=\frac{\left(\right|P_1-P_7|+|P_2-P_6|+|P_3-P_5\left|\right)+\left(\right|P_1-P_3|+|P_8-P_4|+|P_7-P_5\left|\right)}{6}$

其中，P_i（i=1,2,…,8）表示P的8邻域像素的灰度值，P₁为8邻域左上角的点，其余的按顺时针方向围绕着P点顺序编号；

4.3：统计P′的直方图，计算直方图的峰值个数δ，如果该数目大于设定的阈值δ₀，则表明图像存在表面缺陷；否则，是无缺陷图像。

4.4：阈值δ₀是通过计算无缺陷铜板带表面图像获得，为了提高检测的精确度，计算多帧无缺陷图像的平均值获得δ₀，同时随着检测时间而自适应的调整阈值δ₀，具体的调整方法如下：

δ₀=0.8*δ₁+0.2*δ₂

其中，δ₁为新获得的阈值，δ₂为前一个使用的阈值。

5）对预检后判断为存在表面缺陷的铜板带表面图像，采用一种图像分割方法分割出表面图像中的缺陷，具体步骤如下：

5.1：获取连续两帧铜板带表面图像，计算第一帧和第二帧图像的梯度直方图，且对每一帧进行基于8邻域差值的预检处理；

5.2：若第一帧为无缺陷图像且第二帧是含有缺陷的图像，则通过第一帧图像的梯度直方图，累积计算梯度幅值的像素数目κ，当κ大于图像像素总数的99%时的梯度幅值记为Τ，则第二帧图像的Canny边缘检测时的高阈值Τ_h、低阈值Τ_l的计算方法如下：

Τ_h=Τ

Τ_l=0.4*Τ_h

第二帧图像经过Τ_h选择和Τ_l连接的Canny边缘检测后，缺陷区域内会存在少量的假边缘，但是铜板带表面图像的背景区域中出现的假边缘会被过滤，单个缺陷的最外层的真实边缘会被保留，该边缘所包围的区域即为被分割出的表面缺陷；

5.3：若第一帧和第二帧均为无缺陷图像，则后续表面缺陷图像的Canny边缘检测和连接时的高阈值Τ_h的计算方法如下：

Τ_h=Τ_f

其中，Τ_f为计算第二帧图像的梯度直方图获取的高阈值；

5.4：若第一帧为无缺陷图像且第二帧是含有缺陷的图像，则后续表面缺陷图像的Canny边缘检测和连接时的高阈值Τ_h的计算方法如下：

Τ_h=Τ_w

其中，Τ_w为第一帧无缺陷的表面图像的梯度直方图获取的阈值；

5.5：若第一帧为有缺陷或两帧均为有缺陷的表面图像，则利用已保存的阈值Τ_h作为所需要的Canny边缘检测和连接的高阈值。

6）提取各缺陷的几何、灰度、形状、纹理等特征，并采用主成分分析方法对铜板带表面缺陷特征维数进行优化降维处理，具体步骤如下：

6.1：提取各表面缺陷的特征数据，如下：

几何特征之表面缺陷区域边界的长度T₁：

其中，N_e和N_o分别表示边界链码中偶步和奇步的像素数目；

几何特征之面积T₂，即表面缺陷边界和区域内的像素个数：

$T_2=\underset{x=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{M}{\mathrm{\&Sigma;}}}R(x,y)$

通过灰度图像中各像素的灰度值，可以获得图像的像素概率分布，形成图像的直方图特征，灰度直方图的计算如下：

$p\left(b\right)=\frac{N_b}{M},b=\mathrm{0,1},...,L-1$

其中，b为灰度图像的量化级，共L（1≤L≤256）级。p(b)表示第b级出现的概率，N_b表示灰度值为b的像素数，M表示像素的总数；

灰度特征之均值T₃：

灰度特征之方差T₄：

其中

表示所有像素的平均灰度值；

灰度特征之歪度T₅： $T_5=\frac{1}{{T_4}^3}\underset{b=0}{\overset{L-1}{\mathrm{\&Sigma;}}}{(b-\stackrel{\&OverBar;}{b})}^{3}p\left(b\right);$

灰度特征之峭度T₆： $T_6=\frac{1}{{T_4}^4}\underset{b=0}{\overset{L-1}{\mathrm{\&Sigma;}}}{(b-\stackrel{\&OverBar;}{b})}^{4}p\left(b\right)-3;$

灰度特征之能量T₇：

灰度特征之熵T₈： $T_8=-\underset{b=0}{\overset{L-1}{\mathrm{\&Sigma;}}}p\left(b\right){\log }_2\left(p\left(b\right)\right);$

形状特征之面积比T₉：

其中A表示表面缺陷的像素面积，S表示铜板表面图像的像素面积；

形状特征之宽高比T₁₀：

其中，W和L分别为缺陷的最小外接矩形的像素宽和像素长；

形状特征之线性度T₁₁：

其中，P表示缺陷的边界周长，单位为像素；

形状特征之矩形度T₁₂：

其中，A_R表示缺陷的最小外接矩形的像素面积；

形状特征之圆形度T₁₃：

不变矩是描述表面缺陷区域的方法之一，它反映表面缺陷的几何矩特性，并且对表面缺陷的旋转、尺度变化和镜像不敏感，缺陷区域D的(i,j)阶几何矩为：其中，点(x,y)是缺陷区域D的内点或边界点，i=0,1,2,…,j=0,1,2,…；

缺陷区域D的中心矩定义为：

为缺陷区域D的重心坐标，

其中M₁₀和M₀₁是缺陷区域的1阶几何矩，M₀₀是缺陷区域的0阶几何矩；

中心矩μ_ij虽然对区域平移具有不变性，但对旋转和尺度变化依然敏感，可通过对μ_ij进行归一化得到尺度的不变性，计算如下：

形状特征之7个不变的归一化中心矩组合T₁₄-T₂₀：

T₁₄=η₂₀+η₀₂

$T_{15}={({\mathrm{\&eta;}}_{20}-{\mathrm{\&eta;}}_{02})}^2+{4\mathrm{\&eta;}}_{11}^2$

T₁₆=(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²

T₁₇=(η₃₀+η₁₂)²+(η₂₁+η₀₃)²

T₁₈=(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]

+(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

T₁₉=(η₂₀-η₀₂)[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]+

4η₁₁[(η₃₀+η₁₂)+(η₂₁+η₀₃)]

T₂₀=(3η₂₁-η₀₃)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]

+(3η₁₂-η₀₃)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

纹理特征之对比度T_k：其中i和j均为像素的灰度，L是像素的灰度级，θ表示灰度共生矩阵的生成方向，k=21、25、29、33时分别对应于θ为0°、45°、90°和135°的对比度值，d表示两个像素的空间距离，

表示归一化后的灰度共生矩阵，由式

计算得到，P(i,j,d,θ)表示灰度共生矩阵，对比度T_k反映图像的清晰度和纹理沟纹的深浅程度，其值越大表面缺陷纹理沟纹越深，视觉效果越好，反之，其值越小则表面缺陷纹理沟纹越浅，视觉效果越不清晰；

纹理特征之二阶矩T_a：

其中a=22、26、30、34分别对应于θ为0°、45°、90°和135°的二阶矩，T_a反映图像灰度分布均匀程度和纹理粗细的程度，其值越小则表面缺陷的纹理越均匀，其值越大则表面缺陷的纹理分布越不均匀；

纹理特征之相关度T_c：

其中c=23、29、31、35分别对应于θ为0°、45°、90°和135°的相关度值，其中，μ₁，μ₂，σ₁，σ₂定义如下：

${\mathrm{\&mu;}}_1=\underset{i=0}{\overset{L-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{L-1}{\mathrm{\&Sigma;}}}i\hat{P}(i,j,d,\mathrm{\&theta;})$

${\mathrm{\&mu;}}_2=\underset{i=0}{\overset{L-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{L-1}{\mathrm{\&Sigma;}}}j\hat{P}(i,j,d,\mathrm{\&theta;})$

${\mathrm{\&sigma;}}_1=\underset{i=0}{\overset{L-1}{\mathrm{\&Sigma;}}}\underset{J=0}{\overset{l-1}{\mathrm{\&Sigma;}}}(i-{\mathrm{\&mu;}}_1)\hat{P}(i,j,d,\mathrm{\&theta;})$

${\mathrm{\&sigma;}}_2=\underset{i=0}{\overset{L-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{L-1}{\mathrm{\&Sigma;}}}(j-{\mathrm{\&mu;}}_2)\hat{P}(i,j,d,\mathrm{\&theta;})$

T_c反映空间灰度共生矩阵元素在行或列方向上的相似程度，其值越大则表面缺陷的矩阵元素值越均匀相等；

纹理特征之逆差矩T_d：

其中d=24、30、32、36分别对应于θ为0°、45°、90°和135°的逆差矩，T_d反映图像纹理的同质性，度量图像纹理局部变化的多少，其值越大表明表面缺陷纹理的不同区域间的变化越小，局部越均匀，反之则表明表面缺陷不同区域间的纹理变化越大，局部越不均匀；

6.2：首先，计算铜板带表面缺陷图像特征样本集的相关矩阵其中r_ij（i,j=1,2,…,m）表示特征T_i和T_j的相关系数，其计算方法如下：

$r_{\mathrm{ij}}=\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}(t_{\mathrm{ki}}-\stackrel{\&OverBar;}{t_i})(t_{\mathrm{kj}}-\stackrel{\&OverBar;}{t_j})/\sqrt{\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{(t_{\mathrm{ki}}-\stackrel{\&OverBar;}{t_i})}^2{(t_{\mathrm{kj}}-\stackrel{\&OverBar;}{t_j})}^2}$

其中t_ki表示第k幅缺陷样本图像的特征T_i的值，

表示所有图像的特征T_i的平均值；

然后，通过|R-λI|=0计算特征值

以及对应的特征向量 $W_i^{*}(i=\mathrm{1,2,3},...,m);$

最后，计算

以及

其中α_i表示根据特征值排序后的第i个特征对于缺陷识别的贡献度，当β≥β₀时，β₀为事先选定的累积贡献度，p为经过优选后的主要特征的数量，并通过

将特征T_i(i=1,2,…,36)映射成p(p<36)个主成分并满足缺陷识别的要求，达到降维优化的目的，从而提高计算效率，其中T=[T₁,T₂,…,T₃₆]^T，y_i为映射后的特征向量。

7）设计基于在线序列极限学习机的铜板带表面缺陷分类器，并利用样本进行训练，步骤如下：

7.1：设计基于在线序列极限学习机的分类器输入层和输出层，

分类器的输入层和输出层的设计主要是确定分类器的输入层、输出层的神经元数目，令铜板带表面缺陷的特征数为n，如果将这n个特征直接作为学习机的输入层的神经元数目，则其计算复杂度会很高，因此，利用前述主成分分析方法将这n个特征优化降维为p个属性，以此作为的输入层的神经元数目，归纳总结铜板带表面的主要缺陷类型，这些缺陷类型数H即为输出层的神经元数目；

为防止特征向量即p个属性取值处于较大范围的属性压倒那些取值处于相对较小范围的属性，本发明采用最大最小化规格方法将具体的属性的取值范围映射到[0，1]，并针对主成分特征向量中不同属性的规格化操作中的最大最小取值的选取，采用全体样本矩阵中该属性的最大、最小值，具体的归一化计算方法如下：

$v^{\&prime;}=\frac{v-s_{\min }}{s_{\max }-s_{\min }}$

其中，v、v′是主成分特征向量S的某一个主成分属性值及归一化后的值，s_min、s_max是该属性在样本矩阵中的最大值、最小值；

7.2：设计分类器的激励函数

设计分类器的激励函数就是选择隐层神经元的传递函数，极限学习机中的激励函数需要是可微的，本发明选择Sigmoid函数：

7.3：设计隐层

分类器隐层的设计主要是确定隐层神经元的数目，是极限学习机分类器设计的关键部分；隐层神经元的数目的设置是一个复杂的问题，通常是根据设计者的经验或者不断的实验来确定相对最优的数目，无法通过一个理想的计算式来获得；隐层神经元的数目的确定是受具体的问题、输入层神经元数目、输出层神经元数目等因素的约束；隐层神经元的数目如果设置的太小，则分类器的适应性差，如果设置的太大，则分类器的计算复杂度将无法接受；本发明中的极限学习机分类器的隐层神经元数目的设置由下式通过迭代计算而来：n_i+1=n_i+σ，其中，n_i为隐层神经元数目，初始值为n₀=log₂m，m为输入层神经元数目，σ为调节因子，取值范围为[1,5]，本发明中取3。当迭代k次后测试和训练的精确度曲线趋于平衡，增速减缓且精确度均高于90%时，对应的n_k即为本发明的分类器的隐层神经元的数目；

7.4：设计分类器的初始值

分类器的初始值的设计主要是分配极限学习机的输入层神经元与隐层神经元之间的连接权值和隐层神经元的偏移量，由于激励函数是可微的，极限学习机的连接权值、偏移量具有随机以及在训练过程中不需要改变的特点，因此，本发明中的分类器的连接权值、偏移量设置为[0,1]范围内的随机值；

7.5：训练分类器

将N个训练样本按待分类的铜板带表面缺陷类型数分成H个子样本集，分别对H个子样本集训练H个分类器，计算出每个样本集的中心值C_i，i=1，…，H；

8）提取待检测铜板带表面图像的特征，将其经过主成分优化的特征向量数据输入训练好的分类器，通过计算DW_i=min‖x_j-C_i‖，从而识别出表面缺陷的类型，其中x_j即为特征向量，DW_i即为找到的子分类器，表面缺陷类型识别出后，在原始的图像上标记出缺陷，并将表面缺陷的相关信息存入存储服务器，并对严重级别的缺陷进行声光警示。

Images