CN105069779A

CN105069779A - 一种建筑陶瓷表面花纹图案质量检测方法

Info

Publication number: CN105069779A
Application number: CN201510422916.0A
Authority: CN
Inventors: 童垸林; 张汗灵; 胡峰松
Original assignee: Individual
Current assignee: Individual
Priority date: 2015-07-20
Filing date: 2015-07-20
Publication date: 2015-11-18
Anticipated expiration: 2035-07-20
Also published as: CN105069779B

Abstract

本发明属于一种建筑陶瓷表面花纹图案质量检测方法，方法是通过视觉显著性模型与卷积神经网络模型相结合，自动检测建筑陶瓷表面花案显著性区域，采用Grabcut自动分割表面花纹图案，利用卷积神经网络模型对表面花纹图案的质量进行检测，达到了很高的检测准确率。本发明能够对建筑陶瓷和彩色建筑陶瓷表面花纹图案质进行有效检测，有节省劳力，降低劳动强度，工作效率高和检测精度高的优点。

Description

一种建筑陶瓷表面花纹图案质量检测方法

技术领域

本发明属于一种建筑陶瓷表面花纹图案质量检测方法，特别适合于彩色建筑陶瓷的检测。

背景技术

我国建筑陶瓷表面质量检测还处于初级阶段，对于建筑陶瓷产品表面的质量检测主要通过人工测量的方式。由于生产线上的建筑陶瓷产品运行速度很快，某些检测只能依靠抽检的方式进行，造成漏检、误检的概率很高。因此，建筑陶瓷表面质量的智能检测在建筑陶瓷产品的品质控制方面至关重要。

目前大多数表面缺陷算法集中于低层特征的提取，都是人工设计的特征提取方法，不能适应环境的变化。深度神经网络，近几年来语音识别和图像领域取得了很大的成功，深度神经网络可以利用监督或无监督的方法直接从图像数据或低层特征中自动提取高层图像特征，填补了高层特征和低层特征的鸿沟，大大提高算法的检测性能。

视觉显著性机制是人眼视觉系统的重要组成部分，指人在面对复杂场景时，会将注意力快速集中在少数感兴趣的区域，然后利用有限的处理能力对该区域进行优先处理。若将视觉显著性机制应用到物体检测中，能够快速地提取与目标相关的显著区域，对图像中的显著区域和非显著区域进行不同的处理，可以减少背景对物体检测的干扰，将有限的计算资源用于处理感兴趣区域，提高物体检测的效率和准确率。视觉显著性检测能够预测出人们对建筑陶瓷表面花纹图案，实现自动分割。

综上所述，深度神经网络和显著性检测各有优势，因此，在本发明中，提出基于深度神经网络的显著性检测方法，自动检测建筑陶瓷表面花纹图案质量，将减轻工人劳动强度，提高检测准确率，促进建筑陶瓷表面质量检测产品的更新换代，促进创新装备的国产化和研制开发。

目前，国内外还没有基于深度神经网络的显著性目标检测的自动检测建筑陶瓷表面花纹图案质量的方法的公开文献。

发明内容

本发明的发明目的是提供一种建筑陶瓷表面花纹图案质量检测方法，能够对建筑陶瓷和彩色建筑陶瓷表面花纹图案质进行有效检测，有节省劳力，降低劳动强度，工作效率高和检测精度高的优点。

为达到上述发明目的，本发明采用的技术方案包括如下步骤：

(1)提取基于卷积神经网络视觉显著性模型的建筑陶瓷表面花纹图案特征，包括，

基于视觉显著性模型的建筑陶瓷表面花纹图案的粗略显著性图，

基于卷积神经模型的建筑陶瓷表面花纹图案的精细显著性图，

基于Grabcut方法自动分割待检测的建筑陶瓷表面花纹图案，

针对分割的建筑陶瓷表面花纹图案，提取颜色和纹理特征；

(2)训练卷积神经网络模型；

将步骤(1)提取的建筑陶瓷表面花纹图案特征和标准的建筑陶瓷表面花纹图案标记样本特征，训练卷积神经网络模型，检测建筑陶瓷表面缺陷；

(3)在线检测建筑陶瓷产品表面花纹图案的质量，包括：

采集包含待检测建筑陶瓷的图像；

利用步骤(1)所述方法，提取建筑陶瓷表面花纹图案及特征；

利用步骤(2)训练的卷积神经网络模型，检测建筑陶瓷表面缺陷。

所述的在步骤(1)中的粗略显著性图的过程为：

显著性模型采取了一个由粗到细的两级策略，在第一级中，提出融合对比度先验知识显著性图、中心先验显著性图和边界先验显著性图来得到粗糙显著性图；第二级中，融合基于边界先验知识的背景能量项、基于粗糙显著性图的数据能量项以及基于光滑先验的光滑能量项，提出了新的能量方程：

\begin{matrix} S^{*} = \arg \min_{S} \frac{1}{2} (Σ_{i = 1}^{N} (1 - {ctr}_{i}) \cdot S_{i}^{2} + Σ_{i = 1}^{N} S_{coar} (i) \cdot {(S_{i} - 1)}^{2} + Σ_{i = 1}^{N} λ_{i} \cdot {(S_{i} - S_{coar} (i))}^{2} \\ + Σ_{i = 1}^{N} T_{i} \cdot {(S_{i} - Z_{i})}^{2} + Σ_{i, j = 1}^{N} w_{ij} \cdot {(S_{i} - S_{j})}^{2}) \end{matrix}

其中i表示图像中第i个超像素，N代表图像中超像素个数，S_i表示超像素i的显著性值，T_i表示确定的超像素(前景或背景)，Z_i表示确定的显著性超像素，ctr_i表示任何一个超像素和边界超像素的相关性，S_coar(i)表示在粗糙显著性图中超像素i的显著性值；

对上述能量方程求导，并令其为0，求得最优解为：

S^*＝(C+V+X+T+D-W)^-1(V+Xy+TZ)

其中C＝diag{1-ctr₁，1-ctr₂，K，1-ctr_N}表示背景先验知识矩阵，

V＝diag{S_coar(1)，S_coar(2)，K，S_coar(N)}表示粗糙显著性图先验矩阵，X＝diag{λ₁，λ₂，K，λ_N}是表示λ_i值的对角矩阵，T＝diag{T₁，T₂，K，T_N}表示确定的前景和背景像素；W＝[w_ij]_N×N表示颜色相关矩阵，D＝diag{d₁₁，d₂₂，K，d_NN}是一个对角矩阵，d_ii＝∑_jw_ij是颜色相关矩阵的列向量之和；y＝[S_coar(1)，S_coar(2)，K，S_coar(N)]^T是粗糙显著性图中超像素的显著性值向量；

Z＝[Z₁，Z₂，K，Z_N]^T表示确定的前景像素向量。

所述的在步骤(1)中的精细显著性图的过程为：

采集标准建筑陶瓷表面花纹图案的标记样本和生产线采集的建筑陶瓷产品图像，利用步骤(1)获得生产线上采集的建筑陶瓷产品表面花纹图案样本；离线训练卷积神经网络模型，实现建筑陶瓷表面花纹图案精细显著性图；网络模型都由卷积层、最大池化层和全连接层组成。

所述的在步骤(1)中的Grabcut自动分割待检测的建筑陶瓷表面花纹图案过程为：

采用卷积神经网络视觉注意模型获得显著图(SaliencyMap)，构建图模型时的上下文；灰度最高的区域对应目标硬约束，灰度最低的区域对应于背景硬约束；通过设定阈值范围，由总显著图自动确定视频帧中目标和背景的区域分布，形成GraphCuts的硬约束，其它像素可转换为视频帧对应点归属前景或背景的概率，用来设置图模型的终端与节点间的边权值(区域惩罚)；然后利用视频帧的边界特性，设置图模型的节点之间的边权值(边界惩罚)，从而构建出一个完整的图模型；将最大概率的标记问题转化为能量函数最小化问题，用图论的方法来求解，最终实现自动分割的相关算法。

所述的在步骤(2)中的训练卷积神经网络模型过程为：

这里采用双级卷积神经网络模型，第一级卷积神经网络模型，获取被检测建筑陶瓷表面花纹图案的精细显著性图，第二级卷积神经网络模型，分类被检测建筑陶瓷表面花纹图案表面缺陷。模型的训练采用贝叶斯优化，估计隐变量，学习网络的超参数。

所述的在步骤(3)中在线检测建筑陶瓷产品表面花纹图案质量过程为：

(a)对生产线上的建筑陶瓷产品，利用步骤(1)所述方法，自动分割待检测建筑陶瓷表面花纹图案；

(b)对分割的建筑陶瓷表面花纹图案，利用步骤(1)所述方法，提取其颜色、纹理特征和形状特征；

基于步骤(2)所得到的卷积神经网络模型，对产品进行分类，多次计算其平均值，发现待检测表面花纹图案与标准表面花纹图案匹配相似度大于98％，被认为是合格产品。

本发明与现有技术相比具有下列优点：

本发明能够对建筑陶瓷和彩色建筑陶瓷表面花纹图案质进行有效检测，有节省劳力，降低劳动强度，工作效率高和检测精度高的优点。本发明通过视觉显著性模型与卷积神经网络模型相结合，自动检测建筑陶瓷表面花案显著性区域，采用Grabcut自动分割表面花纹图案，利用卷积神经网络模型对表面花纹图案的质量进行检测，达到了很高的检测准确率。据测试本发明的检测准确率为99.99％。

附图说明

图1是本发明的系统流程图。

图2是建筑陶瓷产品图像。

图3是建筑陶瓷产品图像显著性图。

图4是分割建筑陶瓷表面花纹图案。

具体实施方式

如图1至图4所示，本发明采用的技术方案包括如下步骤：

基于Grabcut方法自动分割待检测的建筑陶瓷表面花纹图案，

针对分割的建筑陶瓷表面花纹图案，提取颜色和纹理特征；

(2)训练卷积神经网络模型；

(3)在线检测建筑陶瓷产品表面花纹图案的质量，包括：

采集包含待检测建筑陶瓷的图像；

利用步骤(1)所述方法，提取建筑陶瓷表面花纹图案及特征；

所述的在步骤(1)中的粗略显著性图的过程为：

\begin{matrix} S^{*} = \arg \min_{S} \frac{1}{2} (Σ_{i = 1}^{N} (1 - {ctr}_{i}) \cdot S_{i}^{2} + Σ_{i = 1}^{N} S_{coar} (i) \cdot {(S_{i} - 1)}^{2} + Σ_{i = 1}^{N} λ_{i} \cdot {(S_{i} - S_{coar} (i))}^{2} \\ + Σ_{i = 1}^{N} T_{i} \cdot {(S_{i} - Z_{i})}^{2} + Σ_{i, j = 1}^{N} w_{ij} \cdot {(S_{i} - S_{j})}^{2}) \end{matrix}

对上述能量方程求导，并令其为0，求得最优解为：

S^*＝(C+V+X+T+D-W)^-1(V+Xy+TZ)

Z＝[Z₁，Z₂，K，Z_N]^T表示确定的前景像素向量。

所述的在步骤(1)中的精细显著性图的过程为：

所述的在步骤(2)中的训练卷积神经网络模型过程为：

下面结合附图及实施例对本发明作进一步描述：

实施例一：参见图1所示，一种建筑陶瓷表面花纹图案质量检测方法，包括如下步骤：

(一)提取检测样本的显著性特征：

(1)对待检测建筑陶瓷产品的500幅图像样本，如图2，计算其视觉显著性图，如图3。显著性模型采取了一个由粗到细的两级策略。在第一级中，提出融合对比度先验知识显著性图、中心先验显著性图和边界先验显著性图来得到粗糙显著性图。第二级中，融合基于边界先验知识的背景能量项、基于粗糙显著性图的数据能量项以及基于光滑先验的光滑能量项，提出了新的能量方程：

\begin{matrix} S^{*} = \arg \min_{S} \frac{1}{2} (Σ_{i = 1}^{N} (1 - {ctr}_{i}) \cdot S_{i}^{2} + Σ_{i = 1}^{N} S_{coar} (i) \cdot {(S_{i} - 1)}^{2} + Σ_{i = 1}^{N} λ_{i} \cdot {(S_{i} - S_{coar} (i))}^{2} \\ + Σ_{i = 1}^{N} T_{i} \cdot {(S_{i} - Z_{i})}^{2} + Σ_{i, j = 1}^{N} w_{ij} \cdot {(S_{i} - S_{j})}^{2}) \end{matrix}

其中i表示图像中第i个超像素，N代表图像中超像素个数，S_i表示超像素i的显著性值，T_i表示确定的超像素(前景或背景)，Z_i表示确定的显著性超像素，ctr_i表示任何一个超像素和边界超像素的相关性，S_coar(i)表示在粗糙显著性图中超像素i的显著性值。

对上述能量方程求导，并令其为0，求得最优解为：

S^*＝(C+V+X+T+D-W)^-1(V+Xy+TZ)

V＝diag{S_coar(1)，S_coar(2)，K，S_coar(N)}表示粗糙显著性图先验矩阵，X＝diag{λ₁，λ₂，K，λ_N}是表示λ_i值的对角矩阵，T＝diag{T₁，T₂，K，T_N}表示确定的前景和背景像素。W＝[w_ij]_N×N表示颜色相关矩阵，D＝diag{d₁₁，d₂₂，K，d_NN}是一个对角矩阵，d_ii＝∑_jw_ij是颜色相关矩阵的列向量之和。

y＝[S_coar(1)，S_coar(2)，K，S_coar(N)]^T是粗糙显著性图中超像素的显著性值向量，Z＝[Z₁，Z₂，K，Z_N]^T表示确定的前景像素向量。

(2)Grabcut自动分割待检测的建筑陶瓷表面花纹图案，如图4：采用卷积神经网络视觉注意模型获得显著图(SaliencyMap)，构建图模型时的上下文。灰度最高的区域对应目标硬约束，灰度最低的区域对应于背景硬约束。通过设定阈值范围，由总显著图自动确定视频帧中目标和背景的区域分布，形成GraphCuts的硬约束，其它像素可转换为视频帧对应点归属前景或背景的概率，用来设置图模型的终端与节点间的边权值(区域惩罚)。然后利用视频帧的边界特性，设置图模型的节点之间的边权值(边界惩罚)，从而构建出一个完整的图模型。将最大概率的标记问题转化为能量函数最小化问题，用图论的方法来求解，最终实现自动分割的相关算法。

(二)样本训练：

将步骤(一)方法分割出的建筑陶瓷产品图像表面花纹图案，提取其颜色、纹理特征和形状特征，训练双通道深度卷积神经网络模型，第一通道卷积神经网络模型，获取被检测建筑陶瓷表面花纹图案的精细显著性图，第二通道卷积神经网络模型，分类被检测建筑陶瓷表面花纹图案表面缺陷，网络模型都由五层组成，四个卷积层，一个全连接层。模型的训练采用贝叶斯优化，估计隐变量，学习网络的超参数。

(三)缺陷检测：

在线检测时，对生产线上的建筑陶瓷产品，采用步骤(一)方法计算其显著性图，自动分割待检测建筑陶瓷表面花纹图案；提取其颜色、纹理特征和形状特征；利用已经训练好的卷积神经网络模型，对产品进行分类，多次计算其平均值，发现待检测表面花纹图案与标准表面花纹图案匹配相似度大于0.98，被认为是合格产品。。

本发明中，利用采集的建筑陶瓷产品图像，训练多层卷积神经网络，得到最优分类器，对在线建筑陶瓷产品进行分类，在产品生产线，检测高度为1米，检测速度为10块/分钟，检测准确为99.99％。

总之，本发明能够对建筑陶瓷和彩色建筑陶瓷表面花纹图案质进行有效检测，有节省劳力，降低劳动强度，工作效率高和检测精度高的优点。

Claims

1.一种建筑陶瓷表面花纹图案质量检测方法，其特征在于，包括如下步骤：

基于Grabcut方法自动分割待检测的建筑陶瓷表面花纹图案，

针对分割的建筑陶瓷表面花纹图案，提取颜色和纹理特征；

(2)训练卷积神经网络模型；

(3)在线检测建筑陶瓷产品表面花纹图案的质量，包括：

采集包含待检测建筑陶瓷的图像；

利用步骤(1)所述方法，提取建筑陶瓷表面花纹图案及特征；

2.根据权利要求1所述的一种建筑陶瓷表面花纹图案质量检测方法，其特征在于：所述的在步骤(1)中的粗略显著性图的过程为：

\begin{matrix} S^{*} = \arg \min_{S} \frac{1}{2} {(Σ_{i = 1}^{N} (1 - {ctr}_{i}) \cdot S_{i}^{2} + Σ_{i = 1}^{N} S_{coar} (i) \cdot {(S_{i} - 1)}^{2} + Σ_{i = 1}^{N} λ_{i} \cdot (S_{i} - S_{coar} (i))}^{2} \\ + Σ_{i = 1}^{N} T_{i} \cdot {(S_{i} - Z_{i})}^{2} + Σ_{i, j = 1}^{N} w_{ij} \cdot {(S_{i} - S_{j})}^{2}) \end{matrix}

对上述能量方程求导，并令其为0，求得最优解为：

S^*＝(C+V+X+T+D-W)^-1(V+Xy+TZ)

V＝diag{S_coar(1)，S_coar(2)，K，S_coar(N)}表示粗糙显著性图先验矩阵，X＝diag{λ₁，λ₂，K，λ_N}是表示λ_i值的对角矩阵，T＝diag{T₁，T₂，K，T_N}表示确定的前景和背景像素；

W＝[w_ij]_N×N表示颜色相关矩阵，D＝diag{d₁₁，d₂₂，K，d_NN}是一个对角矩阵，d_ii＝∑_jw_ij是颜色相关矩阵的列向量之和；y＝[S_coar(1)，S_coar(2)，K，S_coar(N)]^T是粗糙显著性图中超像素的显著性值向量；Z＝[Z₁，Z₂，K，Z_N]^T表示确定的前景像素向量。

3.根据权利要求1所述的一种建筑陶瓷表面花纹图案质量检测方法，其特征在于：所述的在步骤(1)中的精细显著性图的过程为：

4.根据权利要求1所述的一种建筑陶瓷表面花纹图案质量检测方法，其特征在于：所述的在步骤(1)中的Grabcut自动分割待检测的建筑陶瓷表面花纹图案过程为：

采用卷积神经网络视觉注意模型获得显著图(SaliencyMap)，构建图模型时的上下文：灰度最高的区域对应目标硬约束，灰度最低的区域对应于背景硬约束；通过设定阈值范围，由总显著图自动确定视频帧中目标和背景的区域分布，形成GraphCuts的硬约束，其它像素可转换为视频帧对应点归属前景或背景的概率，用来设置图模型的终端与节点间的边权值(区域惩罚)；然后利用视频帧的边界特性，设置图模型的节点之间的边权值(边界惩罚)，从而构建出一个完整的图模型；将最大概率的标记问题转化为能量函数最小化问题，用图论的方法来求解，最终实现自动分割的相关算法。

5.根据权利要求1所述的一种建筑陶瓷表面花纹图案质量检测方法，其特征在于：所述的在步骤(2)中的训练卷积神经网络模型过程为：

这里采用双级卷积神经网络模型，第一级卷积神经网络模型，获取被检测建筑陶瓷表面花纹图案的精细显著性图，第二级卷积神经网络模型，分类被检测建筑陶瓷表面花纹图案表面缺陷，模型的训练采用贝叶斯优化，估计隐变量，学习网络的超参数。

6.根据权利要求1所述的一种建筑陶瓷表面花纹图案质量检测方法，其特征在于：所述的在步骤(3)中在线检测建筑陶瓷产品表面花纹图案质量过程为：