CN109523505B

CN109523505B - 一种基于机器视觉的陶瓷砖表面花纹缺陷检测方法

Info

Publication number: CN109523505B
Application number: CN201811087281.3A
Authority: CN
Inventors: 潘俊洋
Original assignee: Shenzhen Zhixin Precision Instrument Co ltd
Current assignee: Shenzhen Zhixin Precision Instrument Co ltd
Priority date: 2018-09-18
Filing date: 2018-09-18
Publication date: 2021-06-11
Anticipated expiration: 2038-09-18
Also published as: CN109523505A

Abstract

本发明涉及一种基于机器视觉的陶瓷砖表面花纹缺陷检测方法，包括：S1、获取标准花纹图像并通过相机标定法对标准花纹图像进行标定，根据标定结果获取最终的待测花纹图像S2、获取标准花纹图像中的非背景像素和待测花纹图像中的非背景像素并分别分配标识；S3、基于特征匹配算法，从标识对应的像素中提取满足第一匹配关系的标准特征点和待测特征点；S4、基于FLANN算法与灰度形心梯度向量，对标准图像特征点描述符和待测图像特征点描述符分别增加属性；S5、基于KNN算法，获取与标准特征点满足第二匹配关系的待测特征点；S6、进行矢量计算，获取待测特征点和标准特征点的转移关系矩阵；S7、获取标准花纹图像和待测花纹图像的对应区域的色差，以确认是否存在缺陷。实施本发明，能够简单快速的实现非接触式陶瓷砖表面花纹缺陷实时检测。

Description

一种基于机器视觉的陶瓷砖表面花纹缺陷检测方法

技术领域

本发明涉及缺陷检测技术领域，更具体地说，涉及一种基于机器视觉的陶瓷砖表面花纹缺陷检测方法。

背景技术

陶瓷砖作为重要建筑装饰材料，其需求量仍在不断增大，我国的陶瓷机械的设备水平在不断提高，但生产设备、工艺设计以及产品检测等方面仍与意大利等陶瓷砖生产强国有着不小的差距。国外高端陶瓷砖产品的涌入对于国内陶瓷砖生产厂家是一个严峻的考验。人们对于陶瓷砖的花纹样式、尺寸大小以及产品品质的要求越来越高，中高端以及高端的陶瓷砖使用率不断扩大，使得高品质陶瓷砖的生产、检测技术水平的提高愈加迫切。

目前我国陶瓷砖产业的总体特点是：(1)市场需求量大，高产仍为中低端产品；(2)国内外竞争激烈，高端产品市场占比难以扩大；(3)陶瓷砖生产技术虽然有所提高，但总体水平仍远落后于国际水平。

陶瓷砖产品的品质同陶瓷砖生产、加工以及最后检测的仪器设备密切相关。目前，虽然国内已有一些陶瓷砖表面缺陷检测设备的研究，但这些检测设备基本用于小规模测试阶段，大部分厂家仍沿用人工抽检，并且对于表面花纹及色彩的检测，目前的研究多选用HIS模型，选取H分量进行色差分析，多用于品种分类，检测不全面，难以达到对花纹纹理色彩的缺陷判断。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述部分技术缺陷，提供一种基于机器视觉的陶瓷砖表面花纹缺陷检测方法。

本发明解决其技术问题所采用的技术方案是：构造一种基于机器视觉的陶瓷砖表面花纹缺陷检测方法，包括：

S1、获取标准花纹图像并通过相机标定法对所述标准花纹图像进行标定；根据标定结果获取最终的待测花纹图像；

S2、扫描所述标准花纹图像以获取所述标准花纹图像中的非背景像素并分配第一标识；扫描所述待测花纹图像以获取所述待测花纹图像中的非背景像素并分配第二标识；

S3、基于特征匹配算法，从所述第一标识对应的像素中提取标准特征点，并从所述第二标识对应的像素中提取与所述标准特征点满足第一匹配关系的待测特征点；

S4、基于FLANN算法与灰度形心梯度向量，对所述标准特征点的描述符增加第一属性，并对待测特征点的描述符增加第二属性；基于FLANN的描述符对特征点进行二次描述，对其定义一个表示方向的属性，以包含所述特征点的局部区域计算出该区域内的灰度形心，根据所述灰度形心对提取出的特征点标明主方向，局部区域矩的公式是：

m_pq＝∑_x,yx^py^qI(x,y)

公式中，x，y代表所测区域内的计算点的坐标，I代表该点的灰度值；

则这些矩计算特征点区域上的灰度形心为：

则二次描述的FAST特征点的主方向为：

θ＝tan^-1(m₀₁,m₁₀)；

S5、基于KNN算法，针对所述第一属性、第二属性，以及特征点对间的欧式距离，进行比较分类，以获取与所述标准特征点满足第二匹配关系的待测特征点；

S6、对满足所述匹配关系的待测特征点进行矢量计算，以获取所述待测特征点坐标与所述标准特征点坐标的转移关系矩阵；

S7、根据所述转移关系矩阵获取所述标准花纹图像和所述待测花纹图像的对应区域的色差，以确认是否存在缺陷。

优选地，在所述步骤S7中，当确认存在缺陷时，执行以下步骤：

S8、提取所述标准花纹图像的RGB三通道数据以获取对应的第一一维矩阵，提取所述待测花纹图像的RGB三通道数据以获取对应的第二一维矩阵，比较所述第二一维矩阵和第一一维矩阵相关性以确认所述待测花纹图像的缺陷是否真实。

优选地，在所述步骤S1中，所述相机标定法包括张正友标定法。

优选地，在所述步骤S1后，还执行以下步骤：

S1-1、对所述标准花纹图像和所述待测花纹图像进行平滑滤波。

优选地，所述平滑滤波采用的方法包括：均值滤波法、高斯滤波法和超限邻域平滑滤波法中的任意一种。

优选地，在所述步骤S2中，基于8邻域联通区域标记法进行联通区域搜索，以对所述标准花纹图像和所述待测花纹图像分别进行扫描。

优选地，所述步骤S3中，所述特征匹配算法包括：SIFT算法、SURF算法和ORB算法中的任意一种。

优选地，在所述步骤S5中，还包括：基于劳氏算法对所述第二匹配关系进行进一步筛选，以获取第三匹配关系。

优选地，在所述步骤S6中，所述转移关系矩阵包括：旋转矩阵和/或平移矩阵。

优选地，在所述步骤S7中，所述获取所述标准花纹图像和所述待测花纹图像的对应区域的色差还包括：采用色差公式进行区域色差计算。

实施本发明的一种基于机器视觉的陶瓷砖表面花纹缺陷检测方法，具有以下有益效果：针对国内陶瓷砖表面花纹复杂的现象，能够简单快速的实现非接触式陶瓷砖表面花纹缺陷实时检测。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明一种基于机器视觉的陶瓷砖表面花纹缺陷检测方法第一实施例的程序流程图；

图2是本发明一种基于机器视觉的陶瓷砖表面花纹缺陷检测方法第二实施例的程序流程图；

图3、图4是标准特征点与待测特征点匹配关系示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

如图1所示，在本发明的一种基于机器视觉的陶瓷砖表面花纹缺陷检测方法第一实施例中，包括以下步骤：S1、获取标准花纹图像并通过相机标定法对标准花纹图像进行标定，根据标定结果获取最终的待测花纹图像；具体的，陶瓷砖表面缺陷涉及到尺寸检测，尺寸检测分为总体大小尺寸以及边缘缺陷检测，在检测前对相机进行标定，提取出特征点并进行标定，将图像坐标进行统一，优化相机径向畸变以及得到像素与实际尺寸之间的换算关系。同时改善相机拍摄的径向畸变时，减小图片尺寸误差，标定完成后可以将相机拍摄图片尺寸误差在允许范围内。然后通过标定结果获取待测花纹图像。

S2、扫描标准花纹图像以获取标准花纹图像中的非背景像素并分配第一标识；扫描待测花纹图像以获取待测花纹图像中的非背景像素并分配第二标识；具体的，对标准花纹图像和待测花纹图像分别进行扫描，对其中的非背景像素分别分配对应的标识，例如，对标准花纹图像的非背景像素分配第一标识，对待测花纹图像的非背景图像分配第二标识。

进一步的，在上面的基础上，可以基于8邻域联通区域标记法进行联通区域搜索，以对标准花纹图像和待测花纹图像分别进行扫描。详细操作为，通过8邻域联通区域标记法进行联通区域搜索并对图像进行扫描，找到一个非背景像素点为其分配一个未使用过的标识，并以该像素点为起点，对其8邻域内的像素点进行遍历筛选，将其中非背景像素点标记上同样的标识，以各非背景像素点为起点进行重复操作，这里可以理解对已经标识的不会再去重新标识，背景像素点会有一个统一的标识，当我们对领域点进行标识时，非背景像素是一个标识，背景像素点是另一个统一的标识。多次迭代，直到这些像素点的8邻域内没有未被标识的非背景像素点为止。然后继续扫描，找到一个未被标记的非背景像素点重复以上操作，直到图像中所有的非背景像素点都被分配标识。这里对标准花纹图像和待测花纹图像进行同样的操作，直到对标准花纹图像中的所有非背景像素均分配了第一标识；对待测花纹图像中的所有的非背景像素均分配了第二标识。

S3、基于特征匹配算法，从第一标识对应的像素中提取标准特征点，并从第二标识对应的像素中提取与标准特征点满足第一匹配关系的待测特征点；具体的，对标准花纹图像和待测花纹图像中的所有非背景像素进行分配标识后，可以通过特征匹配算法进行特征点提取，根据检测点定义一个邻域，通过待测点的灰度值与邻区内相邻点的灰度值进行比较来判断出与其满足匹配关系的待测特征点，速度快。可以理解这里满足的匹配关系只是进行初步匹配。

具体的，这里的特征匹配算法可以包括：SIFT算法、SURF算法和ORB算法中的任意一种。SIFT是一种对图像局部特征进行描述，拥有尺度不变性的描述子，能够在不同尺度空间中检测提取极值点。对光滑表面以及特殊视角的特征提取效果较差。SURF相当于是SIFT算子的改进版，比SIFT的多维度计算节省了降采样的时间，处理速度明显提高。SURF特征点检测算法中特征点的检测是基于Hessian矩阵，该矩阵中行列式的极值点就是特征点所在的像素点。

对比上述的SIFT算法和SURF算法，ORB算法运用快速的Fast算法进行特征点检测，并通过BRIEF算法对检测到的点进行描述以生成描述符。这里ORB算法可以采用FAST-9算子，可以理解，若在任意一像素点周围邻域存在一定量的与该像素点处于不同区域的像素点，则该像素点被提取出作为FAST特征点，如下特征点响应函数：

式中：I(x)指待测点周围任意一像素点的灰度值；I(p)指当前待测点的灰度值；P表示待测点的坐标；ε_d为设定的、图像中任意一像素点与其临近圆周上的16个像素点的灰度值的差值，当该差值大于一个设定阈值时，响应函数值f_CRF变为1。当N大于9时则该待测点为FAST特征点。由于FAST特征点不能适应尺度变化，需要对提取出的特征点运用Harris算法进行评价以筛选出较优点，再运用图像金字塔进行图像压缩，得到同尺度图像，并针对检测出的特征点生成描述符。这里Harris算法可以将图像分为边缘区域、特征区域以及普通区域等三类检测区域。设任意图像为f，可以理解为一个多维的矩阵，其中任意一个子窗口为w，则w∈f，将这个子窗口进行沿水平和垂直方向分别平移Δx，Δy，则平移前后灰度差的平方和为：

对(x,y)处使用泰勒公式可以得到f(x+Δx,y+Δy)的一阶近似：

式中：f_x(x,y)，f_y(x,y)是图像f(x,y)在x，y方向上的偏导数，通过计算可以得出：

由对称矩阵的性质A²＝A^TA，则：

其中A(x,y)为局部结构矩阵：

通过计算局部矩阵A(x,y)的特征值λ₁、λ₂，根据特征值进行最终的特征点判断：

(1)λ₁、λ₂都非常小时，该待测点在x，y方向梯度都较小，所以该待测点处于图像的平坦区域，为平坦点；

(2)λ₁、λ₂中一大一小时，该点只在某一方向上梯度较大，所以说明该点在边缘区域，为垂直边缘点；

(3)λ₁、λ₂都较大时，该待测点为特征点。

所以特征点函数可以表示为：

R＝det(A(x,y)-a(traceA(x,y)))²

式中det(A(x,y))是结构矩阵的行列式的值，traceA(x,y)指的是矩阵的迹。α值为推荐值0.04。

这里通过BRIEF描述符对检测到的特征点进行描述，使得ORB特征点的检测具有了旋转不变性的能力。其具体是通过选取相对较少的灰度值计算强度比进行邻域的特征的描述实现。

对于一个M*M模板的邻域矩阵P，定义一个测试准则τ：

其中，P(x)为x＝(u,v)处邻域P的灰度值；

选取n个检测点(x,y)，这样就可以将测试准则确定，生成BRIEF描述子：

根据所需要的识别速度及准确率，这里n值选取256。

S4、基于FLANN算法与灰度形心梯度向量，对标准特征点的描述符增加第一属性，并对满足第一匹配关系的待测特征点的描述符增加第二属性；具体的，基于FLANN的描述符对特征点进行二次描述，对其定义一个表示方向的属性，例如，以包含特征点的局部区域计算出该区域内的灰度形心，根据灰度形心对提取出的特征点标明主方向，局部区域矩的公式是：

m_pq＝∑_x,yx^py^qI(x,y)

公式中，x，y代表所测区域内的计算点的坐标，I代表该点的灰度值。

则这些矩计算特征点区域上的灰度形心为：

则二次描述的FAST特征点的主方向为：

θ(tan^-1(m₀₁,m₁₀)。

S5、基于KNN算法，针对所述第一属性、第二属性，以及特征点对间的欧式距离，进行比较分类，以获取与标准特征点满足第二匹配关系的；具体的，通过KNN算法对已经初步配对好的特征点对进行进一步分类，提取出正确的匹配对。即通过标准特征点的第一属性和待测特征点的第二属性来确认标准特征点和待测特征点满足初步的匹配，即满足第二匹配关系。更详细的为，KNN最邻近规则分类算法中，将一定已知分类的样本存放于容器中，对于待测的未知分类样本Xu，通过欧氏距离选取距离该样本Xu最近的N个已分类的样本点，以投票准则，通过该N个样本点中的多数类别来确定样本点Xu的分类。以对已经配对的匹配对进行正确配对的筛选。如图3所示，待测特征点与标准特征点为准确配对，如图4所示，待测特征点与标准特征点为误配对。在这里可以设定选取已分类的样本点距离阈值为T，确定满足该距离阈值的最邻近的已分类的样本点的数量为N＝7，当待测特征点中已分类的样本点与待分类样本点Xu的距离d2与标准特征点中已分类的样本点与待分类样本点Xu的距离d1之差在该距离阈值T之内时，距离d2为准确距离，当最邻近中准确距离占多数，则判断此待测特征点与标准特征点对为准确匹配对，即满足第二匹配关系。

S6、对满足匹配关系的待测特征点进行矢量计算，以获取待测特征点坐标与所述标准特征点坐标的转移关系矩阵；具体的，对筛选出的满足匹配关系的特征点进行矢量运算，计算出待测特征点与标准特征点之间的矢量关系，以获取待测特征点的坐标与标准特征点的坐标之间的转移关系矩阵。

S7、根据转移关系矩阵获取标准花纹图像和待测花纹图像的对应区域的色差，以确认是否存在缺陷。具体的，通过上面计算的转移关系矩阵，可以获取标准花纹图像和待测花纹图像完全对应关系，然后通过色差公式进行区域色差计算，通过色差判断待测花纹图像是否存在缺陷。并根据判定结果对陶瓷砖进行判定，然后结束整个检测过程或者进行新的检测。

进一步的，获取标准花纹图像和待测花纹图像的对应区域的色差还包括：采用色差公式进行区域色差计算。具体的，这里可以采用CIELAB色差公式进行区域色差计算。

这里的需要注意的是，上述的对标准花纹图像和待测花纹图像的操作步骤可以分开进行，例如对标准花纹图像进行操作，并对存储结果进行存储，然后基于每一个需要测试的待测花纹图像进行单独操作，对比确认。

进一步的，如图2所示，在步骤S7中，当确认存在缺陷时，执行以下步骤：S8、提取标准花纹图像的RGB三通道数据以获取对应的第一一维矩阵，提取待测花纹图像的RGB三通道数据以获取对应的第二一维矩阵，比较第二一维矩阵和第一一维矩阵相关性以确认待测花纹图像的缺陷是否真实。具体的，由于部分陶瓷砖花纹呈非固定角度的对称性，防止由于不同位置特征点存在相同梯度方向而导致匹配失误，可以在特征匹配检测的基础上加入彩色直方图的对比法，综合判定花纹纹理缺陷。具体为，通过绘制彩色图像的R、G、B三色直方图，将RGB三维矩阵按顺序合并为一维数组，对数组数据与标准图像数据进行如下数据相关性计算，得出相似度d(H₁,H₂)的表达式：

其中：H₁为标准图RGB三通道数值的排列数组，H₂为待测物体采集图RGB三通道数值的排列数组，N为数组中元素的总数。考虑环境及拍照效果等因素可以设置大于0.98为数据相似，即待测花纹图像没有缺陷。

进一步的，在步骤S1中，相机标定法包括张正友标定法。具体的，张正友标定法不需要其它特殊辅助设备支持，标定准确、简单，标定块为正方形的黑白棋格，易于设计标定块，灰度梯度特征明显，能够准确检测到四角特征点位置。其具体操作如下，采集图像中任意一个二维点m＝(u,v)，其对应的三维空间中的点坐标为M＝(X,Y,Z)，～表示增广向量，即

则获取到的工业相机拍摄的二维图片位置坐标与空间的三维坐标关系如下：

式中s为尺度因子，由于

为齐次坐标，所以s并不会影响坐标值；

A表示相机的内参，R表示旋转矩阵，t表示平移矩阵。内参矩阵A可以表示为：

式中，(μ₀,v₀)为坐标系原点，α、β为图像轴比例因子，γ表示轴间的倾斜角度。

为了简化运算，将标定模板定义在与实际拍摄物体完全平行的平面上，即设定Z＝0的平面，则空间坐标和图像坐标之间的映射关系可以表示为：H＝λA(R,t)，假设H＝(h₁ h₂h₃)，则：

(h₁ h₂ h₃)＝λA(r₁ r₂ t)

H为3*3矩阵，矩阵9个元素中有一个为齐次坐标，所以至少联立8个方程进行求解，提取至少4个特征点进行H的求解。

建立畸变方程处理模型，解决一般情况下相机存在的径向畸变问题：

其中：

为图像矫正后的坐标，(x,y)为图像原坐标，k₁k₂为径向畸变系数，已知n幅图片的m个点，最后可以通过最小二乘法求解这个方程组的解。

进一步的，在步骤S1后，还执行以下步骤：

S1-1、对标准花纹图像和待测花纹图像进行平滑滤波。具体的，由于生产环境较为恶劣及硬件设备的影响，设备采集到的图像不可避免的会有噪声的存在，噪声会将一个简单阈值处理的问题变得难以解决。为了避免干扰，一般会在图像预处理时对图像进行平滑滤波。

进一步的，平滑滤波采用的方法包括：均值滤波法、高斯滤波法和超限邻域平滑滤波法中的任意一种。具体的，常用的平滑滤波方法包括均值滤波法、高斯滤波法和超限邻域平滑滤波法，在采用超限领域平均法的实施例中，当某个像素点处的灰度值减去其领域灰度均值大于某个设定的阈值时，才会执行均值滤波操作，否则认为该点为噪声点，无需进行处理。相比于最常用的均值滤波方法，超限邻域平滑滤波法不仅能有效的消除图像噪声，而且对于较小灰度差下的图像细节有更好的保护作用，防止细节丢失影响接下来的缺陷检测。其原理如下式：

其中，T为分割阈值，f(i,j)为原图像中的灰度值，f_a(i,j)为原图像中邻域的灰度平均值，g(i,j)为运算后进行替代的图像灰度值。

进一步的，在步骤S5中，还包括：基于劳氏算法对第二匹配关系进行进一步筛选，以获取第三匹配关系。具体的，可以对获取到的满足第二匹配关系的正确匹配的标准特征点和待测特征点运用劳氏算法进行进一步的筛选，得到满足第三匹配关系的待测特征点，获得更加准确的标准特征点和待测特征点的配对。

进一步的，在步骤S6中，转移关系矩阵包括：旋转矩阵和/或平移矩阵。具体的，在这里通过筛选出的特征点匹配对进行矢量运算，算出旋转和平移矩阵，这里也可以为单独的旋转矩阵或者平移矩阵。

可以理解的，以上实施例仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制；应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，可以对上述技术特点进行自由组合，还可以做出若干变形和改进，这些都属于本发明的保护范围；因此，凡跟本发明权利要求范围所做的等同变换与修饰，均应属于本发明权利要求的涵盖范围。

Claims

1.一种基于机器视觉的陶瓷砖表面花纹缺陷检测方法，其特征在于，包括：

S1、获取标准花纹图像并通过相机标定法对所述标准花纹图像进行标定，根据标定结果获取最终的待测花纹图像；

S4、基于FLANN算法与灰度形心梯度向量，对所述标准特征点的描述符增加第一属性，并对所述满足第一匹配关系的待测特征点的描述符增加第二属性；基于FLANN的描述符对特征点进行二次描述，对其定义一个表示方向的属性，以包含特征点的局部区域计算出该区域内的灰度形心，根据所述灰度形心对提取出的特征点标明主方向，局部区域矩的公式是：

m_pq＝∑_x,yx^py^qI(x,y)

则这些矩计算特征点区域上的灰度形心为：

则二次描述的FAST特征点的主方向为：

θ＝tan^-1(m₀₁,m₁₀)；

2.根据权利要求1所述的基于机器视觉的陶瓷砖表面花纹缺陷检测方法，其特征在于，在所述步骤S7中，当确认存在缺陷时，执行以下步骤：

3.根据权利要求1所述的基于机器视觉的陶瓷砖表面花纹缺陷检测方法，其特征在于，在所述步骤S1中，所述相机标定法包括张正友标定法。

4.根据权利要求1所述的基于机器视觉的陶瓷砖表面花纹缺陷检测方法，其特征在于，在所述步骤S1后，还执行以下步骤：

5.根据权利要求4所述的基于机器视觉的陶瓷砖表面花纹缺陷检测方法，其特征在于，所述平滑滤波采用的方法包括：均值滤波法、高斯滤波法和超限邻域平滑滤波法中的任意一种。

6.根据权利要求1所述的基于机器视觉的陶瓷砖表面花纹缺陷检测方法，其特征在于，在所述步骤S2中，基于8邻域联通区域标记法进行联通区域搜索，以对所述标准花纹图像和所述待测花纹图像分别进行扫描。

7.根据权利要求1所述的基于机器视觉的陶瓷砖表面花纹缺陷检测方法，其特征在于，所述步骤S3中，所述特征匹配算法包括：SIFT算法、SURF算法和ORB算法中的任意一种。

8.根据权利要求1所述的基于机器视觉的陶瓷砖表面花纹缺陷检测方法，其特征在于，在所述步骤S5中，还包括：基于劳氏算法对所述第二匹配关系进行进一步筛选，以获取第三匹配关系。

9.根据权利要求1所述的基于机器视觉的陶瓷砖表面花纹缺陷检测方法，其特征在于，在所述步骤S6中，所述转移关系矩阵包括：旋转矩阵和/或平移矩阵。

10.根据权利要求1所述的基于机器视觉的陶瓷砖表面花纹缺陷检测方法，其特征在于，在所述步骤S7中，所述获取所述标准花纹图像和所述待测花纹图像的对应区域的色差还包括：采用色差公式进行区域色差计算。