CN111652098B - 产品表面缺陷检测方法及装置 - Google Patents

Abstract

本发明公开了一种产品表面缺陷检测方法，包括以下步骤：采集包含产品表面的样本图片，将每张所述样本图片按照产品表面的轮廓特点或者按照设定的大小均匀分成样本子图，并标记所述样本子图是否有缺陷；对所述样本子图进行数据增强，得到数据增强后的训练样本；利用统计方法得到所述训练样本的统计特征，结合样本图片和其对应的统计特征得到合成训练样本；根据所述合成训练样本，利用深度学习方法以及相似性度量函数得到缺陷检测模型；采用所述缺陷检测模型对待测产品表面图像进行预测，判断待测产品表面是否含有缺陷；本发明还公开了一种产品表面缺陷检测装置，本发明大大提高产品表面缺陷检测的精度。

Description

产品表面缺陷检测方法及装置

技术领域

本发明涉及工业检测和计算机视觉技术领域，特别是一种产品表面缺陷检测方法及装置。

背景技术

在传统工业制造业生产场景中，质检是生产流程中的关键环节，比如在冰箱、电视、汽车、印刷线路板、芯片和液晶显示器等领域中，对产品的表面状态进行检测是对产品质量进行控制的一种重要手段，判断产品是否存在瑕疵和缺陷，并根据检测结果对产品做相应的处理。

产品的表面缺陷种类众多，例如划痕、污点，磕碰等等，这些缺陷都是需要检出的。传统的零件生产中的检测环节一般通过人工检测的方式进行，这增加了人力负担，并且很多细微的缺陷通过人很难检测出来。因此，通过计算机视觉系统检测产品表面缺陷，以代替人工检测是目前本领域需要解决的问题，然而现有的通过计算机视觉系统检测产品表面缺陷存在检测率低、模型提取不准确等缺陷，以及模型训练时，没有对缺陷样本和无缺陷样本的相似性足够大这个目标进行专门的优化的问题。

发明内容

为解决现有技术中存在的问题，本发明的目的是提供一种产品表面缺陷检测方法及装置，本发明适用于工业检测领域的产品表面缺陷检测场景，能在少样本情况下进行产品表面缺陷检测工作，而且检测率高。

为实现上述目的，本发明采用的技术方案是：一种产品表面缺陷检测方法，包括以下步骤：

采集包含产品表面的样本图片，将每张所述样本图片按照产品表面的轮廓特点或者按照设定的大小均匀分成样本子图，并标记所述样本子图是否有缺陷；

对所述样本子图进行数据增强，得到数据增强后的训练样本；

利用统计方法得到所述训练样本的统计特征，结合样本图片和其对应的统计特征得到合成训练样本；

根据所述合成训练样本，利用深度学习方法以及相似性度量函数得到缺陷检测模型；

采用所述缺陷检测模型对待测产品表面图像进行预测，判断待测产品表面是否含有缺陷。

作为一种优选的实施方式，对所述样本子图进行数据增强，得到数据增强后的训练样本具体包括：

采用数据增强方法对所述样本子图进行翻转、缩放、旋转变换，得到更多的训练样本；采用深度学习方法GAN网络生成更多的训练样本。

作为另一种优选的实施方式，利用统计方法得到所述训练样本的统计特征具体包括：

利用随机场模型得到训练样本的随机场特征；利用小波变换得到训练样本的小波特征。

作为另一种优选的实施方式，结合样本图片和其对应的统计特征得到合成训练样本具体包括：

将所述随机场特征和小波特征与样本图片按照通道方向进行排列组合，得到合成训练样本。

作为另一种优选的实施方式，利用深度学习方法以及相似性度量函数得到缺陷检测模型具体包括：

利用深度学习方法，构建一个卷积神经网络模型，提取所述合成训练样本的深度特征，并利用相似性度量函数计算有缺陷样本和无缺陷样本深度特征之间的相似性距离L₁，以及无缺陷样本和无缺陷样本深度特征之间的相似性距离L₂；

以最大化L₁，以及以最小化L₂为目标，优化所述卷积神经网络模型，得到缺陷检测模型。

作为另一种优选的实施方式，采用所述缺陷检测模型对待测产品表面图像进行预测，判断待测产品表面是否含有缺陷包括：

将每张待测图片按照产品表面的轮廓特点或者按设定的大小均匀分成待测子图，利用统计方法得到所述待测子图的统计特征，具体包括：利用随机场模型得到待测子图的随机场特征，利用小波变换得到待测子图的小波特征；

结合待测子图和其对应的统计特征得到合成待测样本，具体包括：将待测子图的随机场特征和小波特征与待测子图按照通道方向进行排列，得到合成待测样本；

将合成待测样本送入到所述缺陷检测模型，计算合成待测样本特征与所述缺陷检测模型训练的正常样本特征之间的相似性距离是否超过预先设定的阈值，如果超过所述阈值，则说明待测产品表面存在缺陷，否则说明待测产品表面无缺陷。

本发明还提供一种产品表面缺陷检测装置，包括：

图像采集模块，用于采集包含产品表面的样本图片；

训练模块，用于将每张所述样本图片按照产品表面的轮廓特点或者按设定的大小均匀分成样本子图，并标记所述样本子图是否有缺陷,对所述样本子图进行数据增强，得到数据增强后的训练样本，利用统计方法得到所述训练样本的统计特征，结合样本图片和其对应的统计特征得到合成训练样本；根据所述合成训练样本，利用深度学习方法以及相似性度量函数得到缺陷检测模型；

检测模块，用于采用所述缺检测陷模型对待测产品表面图像进行预测，判断待测产品表面是否含有缺陷。

作为一种优选的实施方式，所述训练模块中：

对所述样本子图进行数据增强，得到数据增强后的训练样本具体包括：采用数据增强方法对所述样本子图进行翻转、缩放、旋转变换，得到更多的训练样本；采用深度学习方法GAN网络生成更多的训练样本；

利用统计方法得到所述训练样本的统计特征具体包括：利用随机场模型得到训练样本的随机场特征；利用小波变换得到训练样本的小波特征；

结合样本图片和其对应的统计特征得到合成训练样本具体包括：将所述随机场特征和小波特征与样本图片按照通道方向进行排列组合，得到合成训练样本；

利用深度学习方法以及相似性度量函数根据所述合成训练样本得到缺陷检测模型具体包括：

利用深度学习方法，构建一个卷积神经网络模型，提取所述合成训练样本的深度特征，并利用相似性度量函数计算有缺陷样本和无缺陷样本深度特征之间的相似性距离L₁，以及无缺陷样本和无缺陷样本深度特征之间的相似性距离L₂；

以最大化L₁，以及以最小化L₂为目标，优化所述卷积神经网络模型，得到缺陷检测模型。

作为另一种优选的实施方式，所述检测模块中，采用所述缺陷检测模型对待测产品表面图像进行预测，判断待测产品表面是否含有缺陷包括：

将每张待测图片按照产品表面的轮廓特点或者按设定的大小均匀分成待测子图，利用统计方法得到所述待测子图的统计特征，具体包括：利用随机场模型得到待测子图的随机场特征，利用小波变换得到待测子图的小波特征；

结合待测子图和其对应的统计特征得到合成待测样本，具体包括：将待测子图的随机场特征和小波特征与待测子图按照通道方向进行排列，得到合成待测样本；

将合成待测样本送入到所述缺陷检测模型，计算合成待测样本特征与所述缺陷检测模型训练的正常样本特征之间的相似性距离是否超过预先设定的阈值，如果超过所述阈值，则说明待测产品表面存在缺陷，否则说明待测产品表面无缺陷。

本发明的有益效果是：

本发明只需要少量的训练样本就可以得到大量的训练样本，结合统计方法和深度学习方法，在少量缺陷样本情况下能够生成大量训练样本，能准确提取缺陷特征，大大提高产品表面缺陷检测的精度及准确率，自动检测，节省了人力；解决了现有技术中产品表面缺陷检测训练样本很少且容易出现误判，导致检测结果不准确的技术问题。

附图说明

图1为本发明实施例1中缺陷检测模型的训练流程框图；

图2为本发明实施例1的产品表面缺陷检测方法的流程框图；

图3为本发明实施例2的产品表面缺陷检测装置结构示意图。

具体实施方式

下面结合附图对本发明的实施例进行详细说明。

实施例1

如图1所示，一种产品表面缺陷检测方法，包括以下步骤：

步骤101，采集包含产品表面的样本图片，每张样本图片按照产品表面的轮廓特点分成样本子图或者按设定的大小均匀分成样本子图，并标记样本图片是否有缺陷；

通过图片进行缺陷检测的方法对于图像的成像质量要求很高，高质量的成像图像是准确缺陷检测的必要条件。所以本实施例具体采用了相机阵列获取包含产品表面的超过十亿像素的图片，相机阵列具有参考相机。

获取包含产品表面的超过十亿像素图片步骤如下：

a.用除参考相机以外的相机进行正常采集局部图片，用参考相机进行全局变曝光采集，使用不同长度的曝光时间对全局进行多次曝光采样，获得不同强度范围入射光的细节；

b.对参考相机变曝光采集到的视频图像进行曝光融合，得到全局高动态范围低时域噪声的图像；

c.对未进行变曝光采集的局部视频图像预处理，按照设定的比例缩小，利用零均值归一化互相关匹配找到缩小后图像在变曝光融合后的全局图中的位置，从全局图中裁剪出最佳匹配块，放大到与局部图像同样大小，作为参考块；

d.对局部图像进行特征点提取匹配及变换，利用图割技术将局部图像进行拼接。该方法可以得到高动态范围超过十亿像素的图像。

每张图片按照产品表面的轮廓特点分成样本子图或者按设定的大小均匀分成样本子图，并标记样本子图是否有缺陷，步骤如下：如果产品表面的轮廓区分明显则按照不同的轮廓区域将样本图片划分成不同的样本子图，如果产品表面的轮廓区分不明显，按照设定的大小分成多张大小相同的样本子图。假设得到的图片像素为十亿，产品表面的轮廓区分不明显。十亿像素图片宽高为32768的正方形图片，为了避免缺陷在分割处出现，以长、宽为0.2*32768＝6554像素的大小，步长为0.1*32768＝3277像素进行分割。所以一共可以切分成81张大小相同的图片，即81张尺寸为6554x 6554的样本子图。标记每张样本子图是否有缺陷。

步骤102，对样本子图进行数据增强，得到数据增强后的训练样本。步骤如下：

a.采用数据增强方法对子图进行翻转、缩放、旋转等变换，得到更多的训练样本；

b.采用深度学习方法GAN网络(Generative Adversarial Networks)生成更多的训练样本；

首先构建GAN模型的两个组成部分：生成器(generator)和判别器(discriminator)。它们都是由参数确定的卷积神经网络：表示为G和D。判别网络的参数为最大化正确区分真实数据和伪造数据(生成网络伪造的数据)的概率这一目标而优化，而生成网络的目标是最大化判别网络不能识别其伪造的样本的概率。输入一个向量z，该向量取样自一个潜分布(latent distribution)，应用由网络定义的函数G至该向量，得到G(z)。判别网络交替接受G(z)和x(一张真实合成训练样本)，输出输入为真的概率。通过适当的超参数调优和足够的训练迭代次数，生成网络和判别网络将一起收敛(通过梯度下降方法进行参数更新)至描述伪造数据的分布和取样真实数据的分布相一致的点。这样就由GAN网络生成了大量的训练样本。

步骤103，利用统计方法得到每张训练样本的统计特征，结合样本图片和它对应的统计特征得到合成训练样本,步骤如下：

a.利用随机场模型得到训练样本的随机场特征。

本实施例采用非因果关系的高斯马尔科夫随机场模型，它假设图像中一个像素的观测值具有马尔科夫性，即每个像素的观测值只与它周围的像素有关。并且每个位置的像素，周围的每个像素对它的观测值的影响是同等重要的，不存在哪一个方向影响更大。

假定图像{y(v)}_v∈Ω的尺寸为MxM，非因果关系的高斯马尔科夫随机场模型的单元格为Ω，则每个像素的观测值可以用以下公式(1)(2)表达：

B(θ)y＝ε (2)

其中B(θ)是模型的参数，y是当前像素点领域R内的像素形成的列向量，ε是更新噪声并且服从

模型的参数用公式(3)(4)计算如下：

将公式(3)(4)代入公式(1)中可以得到图像的随机场特征。

b.利用小波变换得到图片的小波特征。

本实施例采用冗余离散小波变换(RDWD)得到一个多层的小波特征图。

步骤104，结合样本图片和它对应的统计特征得到合成训练样本，具体为：将随机场特征和小波特征与样本图片按照通道方向进行排列，得到合成训练样本。

步骤105，利用深度学习方法以及相似性度量函数，根据合成训练样本得到缺陷检测模型，步骤如下：

a.利用深度学习方法，构建一个卷积神经网络，提取合成训练样本的深度特征，本实施例采用darknet53卷积网络。并利用相似性度量函数计算有缺陷样本和无缺陷样本深度特征之间的相似性距离L₁，无缺陷样本和无缺陷样本深度特征之间的相似性距离L₂，如公式(5)(6)所示：

其中v_i，v_j为正常合成样本用darknet53网络得到的特征，v′_i，v′_j为缺陷合成样本用darknet53网络得到的特征，

代表正常样本和有缺陷训练样本得到的对应特征的协方差矩阵。

c.以最大化L₁，以最小化L₂为目标，优化卷积神经网络模型，得到缺陷检测模型。利用反向传播算法优化卷积神经网络参数，得到最终的缺陷检测模型。

步骤106，采用缺陷检测模型对待测产品表面图像进行预测，判断产品表面是否含有缺陷，如图2所示，包括：

a.每张待测图片按照产品表面的轮廓特点分成待测子图或者按设定的大小均匀分成待测子图，对待测子图利用非因果关系的高斯马尔科夫随机场模型得到待测子图的随机场特征，再利用冗余离散小波变换(RDWD)得到一个多层的小波特征图；

b.将随机场特征和小波特征与待测图片按照通道方向进行排列，得到合成待测样本；

c.将合成待测样本送入到训练好的darknet53缺陷检测模型，得到图片的深度特征，计算合成待测样本特征与缺陷检测模型训练的正常样本特征的相似性距离是否超过阈值，如果超过阈值则判断产品表面有缺陷，否则产品表面无缺陷。

本实施例的产品表面缺陷检测方法利用相机阵列获取包含产品表面的高分辨率图片，按照产品表面的轮廓特点分成样本子图或者按设定的大小均匀分成样本子图。采用传统数据增强方法以及深度学习方法对样本子图进行数据增强，得到大量的训练样本；利用统计方法得到每张样本子图的统计特征，结合样本图片和它对应的统计特征得到合成训练样本；利用深度学习方法以及相似性度量函数，根据合成训练样本，得到缺陷检测模型；采用缺陷模型对待测产品表面图像进行预测，判断图片是否含有缺陷。根据所有待测子图的检测结果，判断产品表面是否有缺陷。该方法可以利用少量的样本图片得到精确的缺陷检测算法，能大大提高产品表面缺陷检测的精度。

实施例2

如图3所示，一种产品表面缺陷检测装置，包括：图像采集模块、训练模块和检测模块。

图像采集模块，用于采集包含产品表面的样本图片。

利用相机阵列获取图片，相机阵列具有参考相机。用除参考相机以外的相机进行正常采集局部图片，用参考相机进行全局变曝光采集，使用不同长度的曝光时间对全局进行多次曝光采样，获得不同强度范围入射光的细节；通过图像整合，归一化处理以及特征点提取匹配及变换和图像拼接技术得到高动态范围超过十亿像素的图像。

训练模块，用于将每张图片按照产品表面的轮廓特点分成样本子图或者按设定的大小均匀分成样本子图，采用数据增强方法对样本子图进行翻转、缩放、旋转等变换，得到更多的训练样本；采用深度学习方法GAN网络对样本子图进行数据增强，得到大量的训练样本。利用统计方法得到每张训练样本的统计特征，非因果关系的高斯马尔科夫随机场模型和冗余离散小波变换得到随机场特征及小波特征，将样本图片和它对应的随机场特征及小波特征按照通道排列得到合成训练样本；根据合成训练样本，利用卷积神经网络darknet53以及相似性度量函数得到缺陷检测模型；

检测模块，用于采用缺陷检测模型对待测产品表面图像进行预测，判断产品表面是否含有缺陷，包括：对待测图片按照产品表面的轮廓特点分成待测子图或者按设定的大小均匀分成待测子图，利用非因果关系的高斯马尔科夫随机场模型和冗余离散小波变换得到随机场特征及小波特征，将样本图片和它对应的随机场特征及小波特征按照通道排列得到合成训练样本；将合成样本送入到训练好的darknet53模型，得到图片的深度特征，计算合成样本特征与正常样本特征之间的特征的相似性距离是否超过阈值，如果超过阈值则判断产品表面有缺陷，否则产品表面无缺陷。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (6)

1.一种产品表面缺陷检测方法，其特征在于，包括以下步骤：

采集包含产品表面的样本图片，将每张所述样本图片按照产品表面的轮廓特点或者按照设定的大小均匀分成样本子图，并标记所述样本子图是否有缺陷；

对所述样本子图进行数据增强，得到数据增强后的训练样本；

利用统计方法得到所述训练样本的统计特征，结合样本图片和其对应的统计特征得到合成训练样本；

利用统计方法得到所述训练样本的统计特征具体包括：

利用随机场模型得到训练样本的随机场特征；利用小波变换得到训练样本的小波特征；

结合样本图片和其对应的统计特征得到合成训练样本具体包括：

将所述随机场特征和小波特征与样本图片按照通道方向进行排列组合，得到合成训练样本；

根据所述合成训练样本，利用深度学习方法以及相似性度量函数得到缺陷检测模型；

采用所述缺陷检测模型对待测产品表面图像进行预测，判断待测产品表面是否含有缺陷。

2.根据权利要求1所述的产品表面缺陷检测方法，其特征在于，对所述样本子图进行数据增强，得到数据增强后的训练样本具体包括：

采用数据增强方法对所述样本子图进行翻转、缩放、旋转变换，得到更多的训练样本；采用深度学习方法GAN网络生成更多的训练样本。

3.根据权利要求1所述的产品表面缺陷检测方法，其特征在于，利用深度学习方法以及相似性度量函数得到缺陷检测模型具体包括：

利用深度学习方法，构建一个卷积神经网络模型，提取所述合成训练样本的深度特征，并利用相似性度量函数计算有缺陷样本和无缺陷样本深度特征之间的相似性距离L₁，以及无缺陷样本和无缺陷样本深度特征之间的相似性距离L₂；

以最大化L₁，以及以最小化L₂为目标，优化所述卷积神经网络模型，得到缺陷检测模型。

4.根据权利要求1-3任一项所述的产品表面缺陷检测方法，其特征在于，采用所述缺陷检测模型对待测产品表面图像进行预测，判断待测产品表面是否含有缺陷包括：

将每张待测图片按照产品表面的轮廓特点或者按设定的大小均匀分成待测子图，利用统计方法得到所述待测子图的统计特征，具体包括：利用随机场模型得到待测子图的随机场特征，利用小波变换得到待测子图的小波特征；

结合待测子图和其对应的统计特征得到合成待测样本，具体包括：将待测子图的随机场特征和小波特征与待测子图按照通道方向进行排列，得到合成待测样本；

将合成待测样本送入到所述缺陷检测模型，计算合成待测样本特征与所述缺陷检测模型训练的正常样本特征之间的相似性距离是否超过预先设定的阈值，如果超过所述阈值，则说明待测产品表面存在缺陷，否则说明待测产品表面无缺陷。

5.一种产品表面缺陷检测装置，其特征在于，包括：

图像采集模块，用于采集包含产品表面的样本图片；

训练模块，用于将每张所述样本图片按照产品表面的轮廓特点或者按设定的大小均匀分成样本子图，并标记所述样本子图是否有缺陷,对所述样本子图进行数据增强，得到数据增强后的训练样本，利用统计方法得到所述训练样本的统计特征，结合样本图片和其对应的统计特征得到合成训练样本；根据所述合成训练样本，利用深度学习方法以及相似性度量函数得到缺陷检测模型；

所述训练模块中：

对所述样本子图进行数据增强，得到数据增强后的训练样本具体包括：采用数据增强方法对所述样本子图进行翻转、缩放、旋转变换，得到更多的训练样本；采用深度学习方法GAN网络生成更多的训练样本；

利用统计方法得到所述训练样本的统计特征具体包括：利用随机场模型得到训练样本的随机场特征；利用小波变换得到训练样本的小波特征；

结合样本图片和其对应的统计特征得到合成训练样本具体包括：将所述随机场特征和小波特征与样本图片按照通道方向进行排列组合，得到合成训练样本；

利用深度学习方法以及相似性度量函数根据所述合成训练样本得到缺陷检测模型具体包括：

利用深度学习方法，构建一个卷积神经网络模型，提取所述合成训练样本的深度特征，并利用相似性度量函数计算有缺陷样本和无缺陷样本深度特征之间的相似性距离L₁，以及无缺陷样本和无缺陷样本深度特征之间的相似性距离L₂；

以最大化L₁，以及以最小化L₂为目标，优化所述卷积神经网络模型，得到缺陷检测模型；

检测模块，用于采用所述缺陷 检测模型对待测产品表面图像进行预测，判断待测产品表面是否含有缺陷。

6.根据权利要求5所述的产品表面缺陷检测装置，其特征在于，所述检测模块中，采用所述缺陷检测模型对待测产品表面图像进行预测，判断待测产品表面是否含有缺陷包括：

将每张待测图片按照产品表面的轮廓特点或者按设定的大小均匀分成待测子图，利用统计方法得到所述待测子图的统计特征，具体包括：利用随机场模型得到待测子图的随机场特征，利用小波变换得到待测子图的小波特征；

结合待测子图和其对应的统计特征得到合成待测样本，具体包括：将待测子图的随机场特征和小波特征与待测子图按照通道方向进行排列，得到合成待测样本；

将合成待测样本送入到所述缺陷检测模型，计算合成待测样本特征与所述缺陷检测模型训练的正常样本特征之间的相似性距离是否超过预先设定的阈值，如果超过所述阈值，则说明待测产品表面存在缺陷，否则说明待测产品表面无缺陷。

Images