CN103544499B - 一种基于机器视觉的表面瑕疵检测的纹理特征降维方法 - Google Patents

Abstract

一种基于机器视觉的表面瑕疵检测的纹理特征降维方法，去除训练样本中的噪声样本和安全样本，以边界样本代替随机选取样本作为特征权值迭代时所用的样本集合，特征权值计算时，根据重要程度的差异赋予三个最近邻样本不同的样本权值，增强了对类别相关性强的特征选择的针对性，降低噪声的干扰程度，具有更强的适应性；求取相关系数矩阵，设定自适应阈值，剔除冗余特征，提取了与类别相关性强的特征，在保证分类识别准确率的同时，降低了特征维数，大大提高了在线特征提取及分类识别的速度，解决了高维特征可能含有冗余特征，甚至是噪声特征，从而导致的在线特征提取时间长、预测准确率降低的问题。

Description

一种基于机器视觉的表面瑕疵检测的纹理特征降维方法

技术领域

本发明涉及基于机器视觉的工业图像识别分类方法，具体是指一种工业产品图像的纹理特征降维方法，属于机器视觉表面瑕疵自动检测研究技术领域。

背景技术

基于机器视觉的自动检测技术与人工视觉相比，具有速度快、精度高、永不疲劳的优点，在工业生产流水线上，正逐步代替人工视觉检测，这不仅降低人力成本而且可实现对产品质量的严格控制。

特征选取是工件瑕疵识别分类的关键步骤之一，所选取特征的好坏在很大程度上影响着最终识别分类的效果。为了对样本进行较为全面的描述，通常采用多维的复合特征而不是单一的特征来表示。高维的特征数据可能存在一定相关性，含有许多冗余特征，甚至是噪声特征，对识别正确率产生负面影响。此外，工业现场对实时性要求较高，特征维数过大，会导致运算量变大，学习时间变长，不利于对工件快速识别分类。如何选取与类别相关性强的特征，同时又能尽可能得降低图像特征的维数，减少在线预测时间，显得至关重要。

特征降维技术可以降低特征维数，提高分类器分类性能。特征降维可以分为特征提取和特征选择。近年来有不少经典的特征提取方法被提出，如主成分分析(PCA)、独立成分分析(ICA)、核主成分分析(KPCA)等。经过这些方法处理后，虽然特征维数下降了，但是新的特征失去了原有的物理意义，由此带来的一个问题是：在线检测时仍然需要计算降维前的所有特征值，从而使得在线预测计算量大大提高，时间消耗大。有研究者提出用于两类样本特征降维的Relief算法和与之对应的多类样本特征降维的ReliefF方法，这类算法虽然能找到与类别相关性强的特征子集且不改变特征的原有物理意义，但是仍然存在一些不足之处，如：未考虑不同样本的差异性、无法去除冗余特征、容易受到噪声的干扰适应性能较差等。

发明内容

本发明为了解决高维特征可能含有的冗余特征，甚至是噪声特征，从而导致的在线特征提取时间长、预测准确率降低的问题，提供一种适用于纹理工件表面瑕疵检测的离线特征降维方法。

为达此目的，本发明通过如下技术方案实现：整个流程可分为离线训练和在线预测两个过程，具体如下：

离线训练过程：

(1)构造Gabor滤波器组，对每个训练图像利用Gabor滤波器组进行卷积变换获得Gabor子图，并对相同尺度不同方向的子图进行融合。存储Gabor滤波器组G，用于在线特征提取过程。

(2)提取融合后不同尺度的图像的灰度均值、方差和灰度共生矩阵的对比度、相关性、信息熵等统计量作为特征，组成训练样本特征数据矩阵。

(3)对提取特征进行降维。

(3.1)找出与类别相关性强的特征。去除噪声点，寻找所有训练样本中的边界样本，根据所得边界样本数据对每一维特征权值进行迭代，权值越大表示其对应的特征与类别相关性越强。比较每一维特征权值与阈值TH1的大小：若权值小于TH1，则将该维特征所对应的状态标志位置0，否则置1。由此得到所有特征状态标志向量mark1。

(3.2)去除冗余特征。将训练样本特征数据矩阵按照权值大小降序排列，计算相关系数矩阵RHO，并根据相关系数矩阵计算阈值TH2。找出与最大权值特征相关系数最大的特征，并比较该相关系数与TH2的大小。若大于TH2，则将该维特征删除，并将其对应状态标志位置0；否则置1。再找出与次最大特征相关系数最大的特征，比较与TH2的大小。以此类推，直到把权值最小的冗余特征去除。由此得到所有特征状态标志向量mark2。

(3.3)将mark1和mark2按位与运算得到mark即为最终所有特征的状态标志向量。将mark中状态标志为0对应的特征删除，保留标志位为1的特征。存储特征状态标志向量mark，用于在线特征提取过程。

(4)根据降维后所得的训练样本特征矩阵，训练分类器模型，并存储分类器模型系数model。本发明采用分类精度高、实时性能好、推广能力强的最小二乘支持向量机作为分类器。

在线预测过程：

(1)下载Gabor滤波器组G，对预测图像进行卷积变换获得Gabor子图，并对相同尺度不同方向的子图进行融合。

(2)下载特征状态标志向量mark并判断每一维特征的标志位是0或1：如果是0，则不进行该维特征值的计算，否则计算该维特征值。

(3)下载离线训练所得分类器模型model，利用所提取的预测图像特征，对表面缺陷进行识别分类。

本发明的有益效果是：本发明提供了一种基于机器视觉的表面瑕疵检测的纹理特征降维方法，去除训练样本噪声点和安全样本点，以边界样本代替随机选取样本作为特征权值迭代时所用的样本集合，特征权值计算时，以k(k取3)个最近邻代替一个最近邻且根据三个最近邻的重要程度赋予不同的样本权值，增强样本选择的针对性，减少所受噪声的干扰，适应性更好；此外弥补了Relief等算法无法剔除冗余特征的不足，提取了与类别相关性强的特征，在保证分类识别准确率的同时，降低了特征维数，大大提高了在线特征提取及分类识别的速度，解决了高维特征可能含有许多冗余特征，甚至是噪声特征，从而导致的在线特征提取时间长、预测准确率降低的问题。

附图说明

图1是本发明整体流程。

图2是离线训练纹理特征降维流程图

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合具体实施例，并参照附图，对本发明作进一步详细说明。

本发明一种基于机器视觉的表面瑕疵检测的纹理特征降维方法，整个流程可分为离线训练和在线预测两个过程。如图1所示，离线训练部分主要由Gabor小波变换、图像融合、特征提取和特征降维和分类器学习5个子部分组成；在线预测过程与离线过程基本相同，但只需要下载并利用离线训练时所得的Gabor滤波器组系数G、每维特征状态标志向量mark和分类器模型model。

进一步的，离线训练过程具体实现步骤为：

步骤一、对图像进行Gabor变换。

(1)读取工业智能相机拍照所得工件表面图像n张，其中有瑕疵工件和合格工件图像数量大致相等。

(2)构造二维Gabor滤波器组。Gabor小波变换是一种非常规范的图像处理算法。采用具有4个方向(θ＝[0°，45°，90°，135°])和5个尺度(λ＝[0，1，2，3，4])的Gabor滤波器组。存储Gabor滤波器组G，用于在线特征提取过程。分别用不同方向不同尺度的Gabor滤波器与图像进行卷积，获得20副Gabor分量子图。

(3)图像融合。以f(v，u)表示原图像经过Gabor小波变换后获得的20副分量子图，其中v∈{0，1，2，3，4}表示5个不同尺度，u∈{1，2，3，4}表示4个不同方向。将相同尺度不同方向的子图按照下式进行融合：

由此20副分量子图融合成5个不同尺度的子图。

步骤二、对每幅子图进行特征提取，获得原图像的特征向量表示。

提取每幅子图f_v的特征值，v∈{0，1，2，3，4}。此处提取灰度均值、灰度方差、对比度、相关性、信息熵、逆差矩、均值、方差、非相似度等9个作为每幅子图的特征，其中均值：

方差：

求取每幅子图灰度共生矩阵p，位置算子为向右一个像素和向下一个像素。

对比度：

信息熵：

非相似度：

所提取特征的计算式子属于公知，此处不一一列举所有特征值计算式子。经过以上步骤，每张工件图像有5副子图，每副子图可以提取9个特征值，再将每幅子图所提取的特征按顺序排列成一个1*m(m为45)的特征向量feature：

feature＝[μ₁，μ₂，…，μ₅，δ₁，…，δ₅…TNS₁，…，TNS₅]对每一张训练训练样本图像提取特征，这样n张训练样本图像，即可以得到一个n*m维的训练样本特征矩阵X。同时，将瑕疵工件的图像的类别标签记为1，合格工件的图像的类别标签记为-1，组成对应的训练样本类别标签向量label。

步骤三、如附图2所示，对所提取的特征进行降维，获得降维后的特征矩阵和特征状态标志向量。

(1)找出与类别相关性强的特征。

(1.1)剔除安全样本和噪声样本

对于n*m维的训练样本特征矩阵X中的每一个样本x_n，计算出它与其余样本之间的欧式距离：

找出与x_n距离最小的5个样本训练，判断这5个训练样本类别标签是否与x_n的类别标签一致。如果5个最近邻样本的类别均与x_n的类别相同或者均与x_n不同，则将x_n视为安全样本或者噪声样本剔除。由此获得只含边界样本的特征矩阵X_new。

(1.2)计算模糊差异度量。

对于X_new中的每个样本x_n，分别找出其k(k＝3)个最近邻同类、异类样本H＝[H₁(x_n)，H₂(x_n)，H₃(x_n)，]和M＝[M₁(x_n)，M₂(x_n)，M₃(x_n)]。每一维特征对应初始权值w_j＝1/m，j∈{1，2，…，m}，计算样本x_n与最近邻异类样本x_i的差异度式中为绝对误差距离，为样本x_n的第j维特征值。可得样本x_i作为x_n的最近邻异类样本的模糊隶属度对于x_n到最近邻异类样本的第j维特征的模糊差异度量由下面公式得到：

其中，为样本x_n与最近邻异类样本M中第i个样本的第j维特征的绝对误差距离。

使用同样的方法，可以得样本x_n与最近邻同类样本x_i的差异度式中为绝对误差距离，为样本x_n的第j维特征值。可得样本x_i作为x_n的最近邻同类样本的模糊隶属度进一步的，对于x_n到最近邻同类样本的第j维特征的模糊差异度量由下面公式得到：

其中，为样本x_n与最近邻同类样本H中第i个样本的第j维特征的绝对误差距离。

(1.3)对每一维特征权值进行迭代。

权值按照下式进行更新：

式中其中N是剔除安全样本和噪声样本后保留下来的训练样本总个数。

(1.4)找出权值较小的特征。

X_new中所有样本循环迭代结束后可得最终每一个特征的权值w_j。计算阈值TH1＝1/m。初始化1*m维特征状态标志向量mark1，令其每个元素均为1。比较每一维特征权值与阈值TH1的大小：若权值小于TH1，该维特征与类别相关性小，则将该维特征所对应的状态标志位置0；否则，该维特征与类别相关性大，置1。由此得到所有特征状态标志向量mark1。

(2)去除冗余特征。

(2.1)将训练样本X_new的所有特征按照特征权值大小降序排列。第一列所在特征对应权值最大，第二类次之，依次类推直到第m列。计算相关系数矩阵：RHO

其中其中i，j＝1，2…m称为第i维特征向量v_i与第j维特征向量为v_j之间的相关系数。cov(v_i，v_j)是v_i与v_j之间的协方差，σ_i和σ_j分别是v_i和v_j的标准差。RHO第i行表示第i个特征与所有特征之间的相关系数。ρ_ij的值为零时，表示v_i与v_j为线性不相关，|ρ_ij|越大，表示v_i与v_j之间相关性越大。

(2.2)计算阈值TH2，取相关系数矩阵绝对值，即RHO＝|RHO|。先令对角线上的元素ρ_ii＝0。再根据下面的式子得到阈值：

初始化1*m维特征状态标志向量mark2，令其每个元素均为1。

(2.3)找出与权值最大的特征之间相关系数最大的特征，并比较该相关系数与阈值TH2的大小关系。如果大于TH2，则将该特征作为冗余特征删除，并在mark2中将与该特征对应的状态标志位置为0；否则置为1。移除权值最大的特征。

(2.4)找出与剩余特征中权值最大的特征之间相关系数最大的特征，并比较该相关系数与阈值TH2的大小关系。如果大于TH2，则将该特征作为冗余特征删除，并在mark2中将与该特征对应的状态标志位置为0；否则置为1。移除权值最大的特征。以此类推，重复该过程，直到把权值最小的冗余特征也去除为止。

(3)对特征状态标志向量mark1和mark2进行按位与运算，获得原始特征最终对应的状态标志mark。mark是由0和1组成的行向量，其维数与离线过程所提取特征个数一致，它记录着原始训练样本特征中每一维特征对应的状态：0表示该维特征被删除，1表示该维特征被保留。依据mark的标志状态，对训练样本特征进行筛选，获得降维之后的训练样本特征矩阵。存储mark，用于在线特征提取过程。

步骤四、最小二乘支持向量机具有分类精度高、实时性能好、推广能力强等优点。本发明利用降维后的训练样本特征矩阵和样本类别标签，采用最小二乘支持向量机进行离线学习，获得分类器模型。存储分类器模型model，用于在线工件表面瑕疵的识别分类。

在线预测过程

离线训练过程完成后进行在线预测过程。在线预测过程的步骤与离线过程基本一致，描述如下：

步骤一、读取工业智能相机拍照所得未知类别的工件表面图像，下载离线训练所得的Gabor滤波器组，对图像进行Gabor变换并对相同尺度不同方向的Gabor分量子图进行融合，最终获得5副子图。

步骤二、特征提取。在特征提取时首先下载离线训练得到的每一维特征状态标志向量mark。对某一维特征值计算前，判断其状态标志是否为1：如果状态标志为1，则提取该维特征，并进入下一维特征提取前的状态标志判断；如果状态标志为0，则放弃对该维特征值的计算，直接进入下一维特征提取前的状态标志判断。在线预测过程只需要提取离线降维之后的被保留下来的特征，从而大大减小了在线特征提取的时间消耗。

步骤三、表面瑕疵识别分类。下载离线训练所得的分类器模型，利用提取的特征，对未知类别的工件表面图像进行分类识别。如果分类器输出结果为1，则该工件表面存在瑕疵；如果分类器输出结果为-1，则该工件为合格工件。

Claims (3)

1.一种基于机器视觉的表面瑕疵检测的纹理特征降维方法，其特征是，包含如下几个步骤：

(1)找出与类别相关性强的特征，首先剔除安全样本和噪声样本，然后计算模糊差异度量，并对每一维特征权值进行迭代，找出权值较小的特征，由此得到所有特征状态标志向量mark1；

(2)去除冗余特征，包含如下步骤：

(2.1)将训练样本X_new的所有特征按照特征权值大小降序排列，第一列所在特征对应权值最大，第二类次之，依次类推直到第m列，计算相关系数矩阵RHO：

其中其中i，j＝1，2…m称为第i维特征向量v_i与第j维特征向量为v_j之间的相关系数，cov(v_i，v_j)是v_i与v_j之间的协方差，σ_i和σ_j分别是v_i和v_j的标准差，RHO第i行表示第i个特征与所有特征之间的相关系数，ρ_ij的值为零时，表示v_i与v_j为线性不相关，|ρ_ij|越大，表示v_i与v_j之间相关性越大；

(2.2)计算阈值TH2，取相关系数矩阵绝对值，即RHO＝|RHO|，先令对角线上的元素ρ_ii＝0，再根据下面的式子得到阈值：

$TH2=\frac{\underset{i=1}{\overset{m}{\Σ}}\max \left(RHO\right(i,:\left)\right)}{m}$

初始化1*m维特征状态标志向量mark2，令其每个元素均为1；

(2.3)找出与权值最大的特征之间相关系数最大的特征，并比较该相关系数与阈值TH2的大小关系，如果大于TH2，则将该特征作为冗余特征删除，并在mark2中将与该特征对应的状态标志位置为0，否则置为1，移除权值最大的特征；

(2.4)找出与剩余特征中权值最大的特征之间相关系数最大的特征，并比较该相关系数与阈值TH2的大小关系，如果大于TH2，则将该特征作为冗余特征删除，并在mark2中将与该特征对应的状态标志位置为0，否则置为1，移除权值最大的特征，以此类推，重复该过程，直到把权值最小的冗余特征也去除为止；

(3)将mark1和mark2按位与运算得到mark即为最终所有特征的状态标志向量mark，存储状态标志向量mark，用于在线特征提取过程。

2.根据权利要求1所述基于机器视觉的表面瑕疵检测的纹理特征降维方法，其特征是：所述步骤(1)中找出与类别相关性强的特征，包含如下步骤：

(1.1)剔除安全样本和噪声样本；对于n*m维的训练样本特征矩阵X中的每一个样本x_n，计算出它与其余样本之间的欧式距离；找出与x_n距离最小的5个样本训练，判断这5个训练样本类别标签是否与x_n的类别标签一致，如果5个最近邻样本的类别均与x_n的类别相同或者均与x_n不同，则将x_n视为安全样本或者噪声样本剔除；由此获得只含边界样本的特征矩阵X_new；

(1.2)计算模糊差异度量；对于X_new中的每个样本x_n，分别找出其k(k＝3)个最近邻同类、异类样本H＝[H₁(x_n)，H₂(x_n)，H₃(x_n)，]和M＝[M₁(x_n)，M₂(x_n)，M₃(x_n)]；每一维特征对应初始权值w_j＝1/m，j∈{1，2，…，m}，计算样本x_n与最近邻异类样本x_i的差异度式中为绝对误差距离，为样本x_n的第j维特征值，可得样本x_i作为x_n的最近邻异类样本的模糊隶属度对于x_n到最近邻异类样本的第j维特征的模糊差异度量由下面公式得到：

$f\_dif(x_n^j,M_i^j(x_n\left)\right)=\underset{i=1}{\overset{k}{\Σ}}{\mathrm{\μ}}_{ni}^{2}dif(x_n^j,M_i^j(x_n\left)\right)$

其中，为样本x_n与最近邻异类样本M中第i个样本的第j维特征的绝对误差距离；

使用同样的方法，可以得样本x_n与最近邻同类样本x_i的差异度式中为绝对误差距离，为样本x_n的第j维特征值，可得样本x_i作为x_n的最近邻同类样本的模糊隶属度进一步的，对于x_n到最近邻同类样本的第j维特征的模糊差异度量由下面公式得到：

$f\_dif(x_n^j,H_i^j(x_n\left)\right)=\underset{i=1}{\overset{k}{\Σ}}{v}_{ni}^{2}dif(x_n^j,H_i^j(x_n\left)\right)$

其中，为样本x_n与最近邻同类样本H中第i个样本的第j维特征的绝对误差距离；

(1.3)对每一维特征权值进行迭代；权值按照下式进行更新：

$w_j=w_j+\frac{1}{N*k}*\[\underset{j=1}{\overset{k}{\Σ}}f\_dif(x_n^j,M_i^j(x_n\left)\right)-\underset{i=1}{\overset{k}{\Σ}}dif(x_n^j,H_i^j(x_n\left)\right)\]$

式中其中N是剔除安全样本和噪声样本后保留下来的训练样本总个数；

(1.4)找出权值较小的特征；X_new中所有样本循环迭代结束后可得最终每一个特征的权值w_j，计算阈值TH1＝1/m，初始化1*m维特征状态标志向量mark1，令其每个元素均为1；比较每一维特征权值与阈值TH1的大小：若权值小于TH1，该维特征与类别相关性小，则将该维特征所对应的状态标志位置0，否则该维特征与类别相关性大，置1；由此得到所有特征的状态标志向量mark1。

3.根据权利要求1所述基于机器视觉的表面瑕疵检测的纹理特征降维方法，其特征是：所述步骤(3)，将mark1和mark2按位与运算得到mark即为最终所有特征的状态标志向量，将mark中状态标志为0对应的特征删除，保留标志位为1的特征，存储状态标志向量mark，用于在线特征提取过程。