CN112669321B

CN112669321B - 一种基于特征提取及算法分类的喷砂不均检测方法

Info

Publication number: CN112669321B
Application number: CN202110300415.0A
Authority: CN
Inventors: 邱增帅; 王肖亮; 王罡; 潘正颐; 侯大为
Original assignee: Changzhou Weiyizhi Technology Co Ltd
Current assignee: Changzhou Weiyizhi Technology Co Ltd
Priority date: 2021-03-22
Filing date: 2021-03-22
Publication date: 2021-08-03
Anticipated expiration: 2041-03-22
Also published as: CN112669321A

Abstract

本发明公开了一种基于特征提取及算法分类的喷砂不均检测方法，具体步骤如下：第一步骤、采集图像；第二步骤、图像筛选；第三步骤、边缘检测；第四步骤、拟合四边求角点；第五步骤、投影变换；第六步骤、提取亮度变化曲线；第七步骤、模型分类；第八步骤、输出分类结果。该基于特征提取及算法分类的喷砂不均检测方法，针对笔记本外观检测的喷砂不均缺陷，阐述了详细的算法，不需要人力，直接通过图像处理技术，能够自动进行正确的分类，筛选出喷砂不均的缺陷产品，避免因人工对比而造成无法确定统一标准的问题。

Description

一种基于特征提取及算法分类的喷砂不均检测方法

技术领域

本发明涉及缺陷检测的技术领域，尤其是一种基于特征提取及算法分类的喷砂不均检测方法。

背景技术

在正常情况下，笔记本电脑表面应该呈现相同的亮度，而喷砂不均导致不同区域呈现的亮度不同，影响美观。目前，针对笔记本外观检测方向的技术，在一些专利文献也有所记载，具体如下：

中国专利（申请号CN201710859341.8、申请日20170921、公开号CN107677688A、公开日20180209）公开了一种笔记本电脑外观检测装置，属于笔记本外观检测方向，更多的是一种进行多角度全方位的采集图像的装置，装置中会对明显的缺陷进行检测但未说明检测算法，最后不良品从装置出来之后，依旧需要人力与良品图像进行对比才算完成真正的检测，虽然已经大幅提高了效率，但是还是无法避免使用人力去判别。

中国专利（申请号CN201621002736.3、申请日20160831、公开号CN205996818U、授权公告日20170308）公开了一种刀片双面自动喷砂装置，该刀片喷砂装置仅是一种结构，其中的喷砂检测部分也不包括其原理。

发明内容

本发明要解决的技术问题是：为了解决上述背景技术中存在的问题，提供一种基于特征提取及算法分类的喷砂不均检测方法，对于喷砂不均缺陷能够自动进行正确的分类，减少人工成本。

本发明解决其技术问题所采用的技术发明是：一种基于特征提取及算法分类的喷砂不均检测方法，具体步骤如下：

第一步骤、采集图像：采集笔记本电脑的图像，且背景与产品有明显的区别；

第二步骤、图像筛选：对图像进行阈值分割，根据背景黑色区域像素值中的最大值，选择阈值，选择阈值后进行二值化分割得到二值图，筛选后的图像保证了产品处于图像的中间；

第三步骤、边缘检测：二值化后，对图像进行边缘检测，从图像四周的边缘向图像中的产品探测，即通过固定范围的边缘探测搜索产品的边缘，像素值从0变为255时记为边缘，进而获得四条边缘；

第四步骤、拟合四边求角点：在获得四条边缘后，分别对每条边缘进行最小二乘拟合，求得对应直线，获得四条直线后，计算两两交点，获得四个角点；

第五步骤、投影变换：知道角点以后，通过透视变换，把图像从一般的四边形转化为矩形的图像；

第六步骤、提取亮度变化曲线：提取亮度变化曲线特征；

第七步骤、模型分类：通过正常的样本特征生成模型，模型是一群正常的样本点，其中，正常的样本是喷涂均匀的样本；

第八步骤、输出分类结果：使用不同的R和T进行分类，分类结果使用分类问题的衡量指标进行评价，最后选择衡量指标最好的一组R和T作为算法分类器的参数，其中，R表示以某一样本点为中心，半径为R的范围；T表示在R范围内，正常样本点个数的阈值，如果超过T个，则判定为喷砂均匀的样本，如果少于T个，则判定为喷砂不均的样本。

进一步具体地限定，上述技术方案中，在第六步骤中，在提取亮度变化曲线特征时，用八次多项式来拟合亮度变化曲线，进而表示每个亮度变化曲线的特征，通过比较八次多项式的系数来区分正常产品和喷砂不均的产品。

或者，进一步具体地限定，上述技术方案中，在第六步骤中，在提取亮度变化曲线特征时，直接用像素值作为特征，再使用PCA降维后进行分类。

或者，进一步具体地限定，上述技术方案中，在第六步骤中，在提取亮度变化曲线特征时，使用像素的变化量作为特征，像素的变化量由前后像素值相减得到，再使用PCA降维后进行分类。

进一步具体地限定，上述技术方案中，在第七步骤中，模型分类采用的是KNN模型分类，通过正常的样本特征生成KNN模型，KNN模型是一群正常的样本点。

或者，进一步具体地限定，上述技术方案中，在第七步骤中，模型分类采用的是One-Class SVM模型分类，通过正常的样本特征生成One-Class SVM模型，One-Class SVM模型是一群正常的样本点特征组成的集群。

进一步具体地限定，上述技术方案中，在第八步骤中，所述的衡量指标为F1-score。

本发明的有益效果是：本发明提供的一种基于特征提取及算法分类的喷砂不均检测方法，针对笔记本外观检测的喷砂不均缺陷，阐述了详细的算法，不需要人力，直接通过图像处理技术，能够自动进行正确的分类，筛选出喷砂不均的缺陷产品，避免了因人工对比而造成无法确定统一标准的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术发明，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是相机采集的图像；

图2是边缘探索示意图；

图3是边缘检测流程图；

图4是边缘检测结果；

图5是产品角点检测；

图6是透视变换后的图像；

图7是八次曲线拟合喷砂不均图像效果图；

图8是八次曲线拟合正常图像效果图；

图9是算法分类示意图；

图10是KNN训练和分类流程图；

图11是整体流程图。

具体实施方式

为了使本发明所解决的技术问题、技术发明及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

见图1、图2、图3、图4、图5、图6、图7、图8、图9、图10和图11，一种基于特征提取及算法分类的喷砂不均检测方法，具体步骤如下：

第一步骤、采集图像：采集笔记本电脑的图像，且背景与产品有明显的区别。

见图1，背景部分为黑色，笔记本电脑呈现灰色的纹理。

第二步骤、图像筛选：对图像进行阈值分割，根据背景黑色区域像素值中的最大值，选择阈值，选择阈值后进行二值化分割得到二值图，筛选后的图像保证了产品处于图像的中间。

背景黑色区域的像素值在0～5范围内，有些在拍摄时的瑕疵或噪点会有到最大40的像素值跳动，而产品表面的像素值在60～90范围内，因此可以选择50作为阈值进行二值化分割得到二值图。二值化后，背景为黑色，像素值为0；产品为白色，像素值为255。筛选条件是：二值化后，在图像四周边缘上的像素值必须都为0，而不能为255，且整个图像像素值为255的面积需要在产品大小近似的范围内。

第三步骤、边缘检测：二值化后，对图像进行边缘检测，从图像四周的边缘向图像中的产品探测，即通过固定范围的边缘探测搜索产品的边缘，像素值从0变为255时记为边缘，进而获得四条边缘。

边缘检测时需要整个产品都处于图像中，所以在边缘检测之前，先要进行图像筛选，筛选后的图像保证了产品处于图像的中间。

见图2，对于二值化后的图像，图中箭头表示的是从图像边缘向内探测的路径，每一个边的两条箭头之间表示边缘探测的范围，该范围的取值条件是：在产品整体处于图像中间的情况下，任意移动产品，探测范围都能分别在产品四边的范围中。见图3，边缘探测流程是：在二值化的图像上，先设定探测范围及方向，沿着探测方向上的点取3*3范围的像素均值，寻找均值从小于170到大于170的过渡点，另外，过渡点后2个点也需要同时满足均值大于170的标准，当同时满足这两个条件后，判定为边缘点，进而获得该方向上的边缘点，反之，如果过渡点后2个点不满足均值大于170的标准，则可能是噪点，继续寻找。如果在探测结束时仍未找到同时满足以上标准的边缘点，这是因为已经探测出物体所在范围，无法找到边缘，则查找结束，把已经找到边缘点作为结果。该判断方法是为了避免背景中一些噪点的影响，确保找到的点为产品真实的边缘（见图4）。

第四步骤、拟合四边求角点：在获得四条边缘后，分别对每条边缘进行最小二乘拟合，求得对应直线，获得四条直线后，计算两两交点，获得四个角点，如图5所示。

第五步骤、投影变换：知道角点以后，通过透视变换，把图像从一般的四边形转化为矩形的图像，如图6所示。

该投影变换的方法是：把不同角度下的产品图像投影到同样的视平面，可以使所有不同图像上的产品统一成同平面的矩形图像，便于下一步计算水平方向上的亮度变化曲线。

第六步骤、提取亮度变化曲线：提取亮度变化曲线特征，在提取亮度变化曲线特征时，用八次多项式（八次曲线）来拟合亮度变化曲线，进而表示每个亮度变化曲线的特征，通过比较八次多项式的系数来区分正常产品和喷砂不均的产品。

在图像左侧的列方向上平均分成30个起点，然后每个起点从左往右计算亮度变化曲线。亮度变化曲线的计算方法为求当前列坐标从左往右横向3*3区域的平均像素值。一般来说，正常产品的亮度变化曲线会在一个比较小的正常亮度区间波动，而喷砂不均的产品的亮度变化曲线会偏离正常亮度区间或进行幅度较大的波动。从数学原理上说，正常产品的亮度变化曲线的方程会与喷砂不均的亮度变化曲线的方程相差较远。

选八次多项式的原因是其能比较恰当地形容曲线特征，低次的多项式项数少不能对曲线进行明显的区分，而太高次的多项式会使正常范围内的曲线区分过大。亮度散点用八次曲线拟合后的喷砂不均图像如图7所示，正常图像如图8所示，可以看出喷砂不均的图像波动较大而正常图像波动较小。

多项式拟合原理如下，多项式的表达式如下所示：

（1）

其中，k表示多项式的次数，

表示第k项的系数，其中k=0,1,2……，拟合多项式就是求系数a的值。当已知用于拟合的点集后，把自变量x带入多项式计算拟合函数值f(x)与真实值y的差方，公式如下：

（2）

多项式拟合的过程即为求取一组系数a，使得loss的值最小，其中loss表示把自变量x带入多项式计算拟合函数值f(x)与真实值y之差的平方和，即拟合函数值f(x)与真实值y之间的误差。

拟合函数值f(x)包括

，其中

表示第一个离散点的x做出预测的拟合函数值。

真实值y包括

，其中

表示第一个离散点的真实值。

通过对每个多项式系数a求偏导，以偏导为0来求取使loss值最小的一组系数a。求偏导公式如下：

（3）

其中，n表示样本数，k表示多项式次数，

是偏导数标记，i是从1到n的正整数。

公式（3）化简得：

（4）

对所有系数a共有k+1个等式，可以把它们组成一个矩阵等式：

（5）

X中的第一行表示k=0时等式左边的含x项，A中的一列表示等式左边所有含a的系数，Y中的第一行表示k=0时等式右边的结果与X中的第一行对应。X和Y中的第1到k+1行对应上文说的k+1个等式，如k=0时，公式（4）变为：

（6）

对应X、A和Y为：

（7）

（8）

（9）

所以对应k+1个等式，X和Y对应的行数增加，得到的X、A和Y分别为：

（10）

（11）

（12）

通过矩阵计算求得多项式系数

～

。

其中，k=8，对于每一条曲线都能获得9个系数，以此代表每条亮度变化曲线的特征，然后对9个系数的特征进行算法分类。把图像上的像素转化为八次曲线的系数作为特征的目的是在保留主要信息即亮度变化信息的条件下降低成统一的特征维数。如果直接使用曲线像素值作为特征，第一会导致维数过大，计算量过大；第二会包括其他不必要的信息；第三不同图像的曲线长度会有少许不同，无法直接比较。

第七步骤、模型分类：模型分类采用的是KNN模型分类，通过正常的样本特征生成KNN模型，KNN模型是一群正常的样本点，其中，正常的样本是喷涂均匀的样本。对应图10中正常样本生成KNN模型。其中，KNN（K最近邻分类算法）是数据挖掘分类技术中最简单的方法之一，所谓K最近邻，说的是每个样本都可以用它最接近的K个邻近值来代表。

从20张正常图像中共取出600个正常亮度变化曲线的样本点。在判断新的样本点时，通过以新样本点为中心，半径为R的范围内有多少个正常的样本点，如果超过一个阈值T，那么这个样本点就分为正常样本。而R和T值的选择根据采集到的喷砂不均的样本进行计算获取，对应图10中喷砂不均样本查找最佳R和T。另外采集了10张正常图像和10张喷砂不均的图像，分别提取300个正常和喷砂不均的亮度变化曲线样本，即从10张正常图像中提取300个正常亮度变化曲线样本，从10张喷砂不均的图像中提取300个喷砂不均的亮度变化曲线样本。

第八步骤、输出分类结果：使用不同的R和T进行分类，分类结果使用分类问题的衡量指标进行评价，最后选择衡量指标最好的一组R和T作为算法分类器的参数，其中，R表示以某一样本点为中心，半径为R的范围；T表示在R范围内，正常样本点个数的阈值，如果超过T个，则判定为喷砂均匀的样本，如果少于T个，则判定为喷砂不均的样本。分类结果使用F1-score进行评价，最后选择F1-score最好的一组R和T作为KNN算法分类器的参数。F1-score是统计学中用来衡量二分类模型精确度的一种指标，同时兼顾了分类模型的精确率和召回率，F1-score可以看作是模型精确率和召回率的一种调和平均，它的最大值是1，最小值是0。

在实际使用时，新样本通过设定好的R和T判断是否为喷砂不均的样本，对应图10中使用查找到的最佳R和T对待测样本分类，并得到分类结果。如图9所示，图中的黑色点为正常样本，灰色点为待测样本，以待测样本为中心，画半径为R的圆，通过判断圆内正常样本的数量来分类。如果灰色圆形范围内的正常点数大于T则是正常样本，反之则是喷砂不均样本。假设以T=3为例，图中下方的点为正常样本，而上方的点为喷砂不均样本。由于一张图像有30条亮度变化曲线，仅凭少数几条不正常的曲线不能判断该产品就为喷砂不均。因此，在这里设置了一个阈值来判断整体是否是喷砂不均的产品。在实际需求中，选择4条及以上作为判断整体产品是否合格的阈值。在不同的要求下可以选择不同的阈值来进行分类。

实施例2

与实施例1相比，实施例2的区别在于：在提取亮度变化曲线特征时，直接用像素值作为特征，而不转化为八次多项式曲线，即不直接使用30条亮度变化曲线作为特征，再使用PCA降维后进行分类。其中，PCA（主成分分析）是一种统计方法，通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。主成分能保留亮度变化曲线区别较大的特征，即正常产品的均匀性和喷砂不均产品的波动性，再根据主成分特征进行同实施例1的KNN分类。

正常产品亮度是均匀的，曲线较为光滑；而喷砂不均的产品存在亮度变化，曲线较为波动。PCA算法能把变化明显的特征保留下来，区分出正常和喷砂不均的产品。

实施例3

与实施例1相比，实施例3的区别在于：在提取亮度变化曲线特征时，使用像素的变化量作为特征，像素的变化量由亮度变化曲线后一个值减前一个值得到，如亮度变化曲线的值为1,2,3,1,...，那么像素的变化量为1,1,-2,...，最后再使用PCA降维后进行同实施例1的KNN分类。

正常产品由于亮度均匀，像素值相减结果较小；喷砂不均产品亮度变化大，像素值相减结果偏大。对得到的曲线进行分类就能区分出正常产品和喷砂不均的产品。

实施例4

与实施例1相比，实施例4的区别在于：模型分类采用的是One-Class SVM模型分类，而不使用KNN分类，通过正常的样本特征生成One-Class SVM（单分类支持向量机）模型，One-Class SVM模型是一群正常的样本点特征组成的集群，对于异常（喷砂不均）的样本点，会偏离正常样本点集群较远，通过距离分类出喷砂不均的产品。

以上所述的，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术发明及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims

1.一种基于特征提取及算法分类的喷砂不均检测方法，其特征在于，具体步骤如下：

第六步骤、提取亮度变化曲线：提取亮度变化曲线特征，在提取亮度变化曲线特征时，用八次多项式来拟合亮度变化曲线，进而表示每个亮度变化曲线的特征，通过比较八次多项式的系数来区分正常产品和喷砂不均的产品；

第七步骤、模型分类：通过正常的样本特征生成模型，模型是一群正常的样本点，其中，正常的样本是喷涂均匀的样本；模型分类采用的是KNN模型分类，通过正常的样本特征生成KNN模型，KNN模型是一群正常的样本点；

2.根据权利要求1所述的一种基于特征提取及算法分类的喷砂不均检测方法，其特征在于：在第六步骤中，在提取亮度变化曲线特征时，直接用像素值作为特征，再使用PCA降维后进行分类。

3.根据权利要求1所述的一种基于特征提取及算法分类的喷砂不均检测方法，其特征在于：在第六步骤中，在提取亮度变化曲线特征时，使用像素的变化量作为特征，像素的变化量由前后像素值相减得到，再使用PCA降维后进行分类。

4.根据权利要求1所述的一种基于特征提取及算法分类的喷砂不均检测方法，其特征在于：在第八步骤中，所述的衡量指标为F1-score。