CN115908323A - 一种基于机器视觉的产品表面异常的智能检测方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的产品表面异常的智能检测方法，属于机器视觉领域、异常检测技术领域。该方法步骤如下：首先采集产品表面的图像数据并筛选，全方位覆盖待测产品的表面并划分区域，训练集为表面正常图像；其次，选择合适的神经网络结构，结合MSE、Cosine、SSIM构造损失函数，训练并保存模型参数；将验证图像的异常热度图与正常图像的热度图比较，确定最优阈值；最后对测试图像进行预处理、网络计算和后处理操作，确定是否有异常及异常所在位置。本发明仅使用正常产品的表面图像训练神经网络，不需要预先采集对应各种异常表面的图像作为训练数据，适用于对流水线上产品表面的各种可能缺陷进行智能检测。

Description

一种基于机器视觉的产品表面异常的智能检测方法

技术领域

本申请涉及机器视觉领域、异常检测技术领域，具体涉及一种基于机器视觉的产品表面的异常智能检测方法。

背景技术

随着工业4.0时代的到来，机器视觉在智能制造业领域的作用越来越重要。目前在工业自动化领域，机器视觉系统通常包括光源、镜头、工业相机、图像采集卡等硬件以及视觉处理软件。对物体进行非接触检测，提高加工精度、发现产品异常并进行自动分析决策，是先进制造业的重要组成部分。

工业流水线上生产的产品需要经过多道加工工序完成整个生产流程，每道工序都可能出现瑕疵，导致各种表面异常问题，包括凹陷、凸起、裂缝、划痕、污点等。为保障产品的质量，产品表面的异常检测尤为必要。传统的人工检查效率低、速度慢、精度不高、可靠性差，基于机器视觉的流水线工业产品表面异常检测系统不仅降低了人力运营成本和物料管理成本，还提高了检测效率。

现有的技术大多需要依赖已知异常样本，需要了解已有的异常种类，采集足量的异常样本，学习已知的异常类型和特征，这种方法对已知的特定异常类型可以取得较好的效果，但是表面异常类型千变万化，无法一一穷举，难免会碰到事先没有预测到的新异常。常见的使用异常数据集进行神经网络模型训练和测试的方法，其本质上是有监督训练，对异常数据需求较高，而异常样本在所有产品中只是少量存在，获取大规模异常数据集存在较大困难。

发明内容

针对上述技术问题，本发明提供了一种基于机器视觉的产品表面异常的智能检测方法，能够判断产品表面是否存在异常，并自动分割出存在异常的区域。

所述的表面异常检测系统包括光源、相机、卷积神经网络和异常特征提取分析模块。

技术方案

为实现上述目的，本发明提供一种基于机器视觉的产品表面异常智能检测方法，包括以下步骤：

步骤1：图像数据集采集和筛选，全方位覆盖待测的工业产品表面。

步骤2：使用神经网络处理图像，选择合适的网络结构，采用MSE(Mean SquareError，均方误差)、Cosine(余弦相似度)、SSIM(Structure Similarity Index Measure，结构相似度)相结合的损失函数，训练并保存模型参数。

步骤3：后处理及测试。将验证图像的异常热度图与正常图像的热度图比较，确定阈值。对测试图像进行预处理、网络计算和后处理操作，确定是否有异常及异常所在位置。

进一步的，所述步骤1具体包括：

步骤1.1：指定光源和拍摄角度，数据集采集场景与实际异常检测系统工作场景保持一致，拍摄到的图像需要有足够的分辨率，拍摄背景需要保持不变并且尽可能为纯黑色。

步骤1.2：按流水线工业产品表面部位划分区域，对于面积较大的区域，分为多个小区域。

步骤1.3：对采集的数据预处理并提取目标前景、剔除背景。将原始图像进行定位、裁剪、统一输入大小，确保主体在图像中间，使用纯色背景且尽可能为黑色，减少不必要的背景。提取出前景Mask图像，与原图大小一致，背景区域为0，前景区域为1。前景内部若存在断裂、空洞，可使用闭运算操作填补。

在流水线上产品位置和相机位置相对固定，可以选择一个样本确定图像中产品的位置以及产品区域的分割规则，而其他同批次的样本都与此相同。

步骤1.4：筛选数据集，剔除不清晰的低质量图像，训练数据集使用正常图像，有异常的图像保留为验证数据集或测试数据集。

依据一个样本图像中所关注的区域确定Mask图像，使用既定的Mask图像将相机拍摄到的其他产品图像中相应区域提取出来，将背景以及不关注的区域屏蔽。

使用经过预处理的训练数据集进行训练，步骤2中所述的使用神经网络处理图像过程包括：

步骤2.1：设计卷积神经网络模型，网络主体分为编码器和解码器结构，编码器与解码器保持基本对称。

步骤2.2：构造损失函数。结合MSE、Cosine和SSIM，构造损失函数：

其中α＞0，β＞0，x为网络输入，Y为网络输出，h、w、c分别为输入图像的高、宽、通道数。为避免整体损失L取值为负，添加θ参数进行调整，θ＞log2+β。

步骤2.3：设定合适的训练参数，使用步骤1中处理好的图像训练，并保存模型参数。

训练结束后可使用步骤1中预留的测试集，也可实时采集图像测试，实时采集的图像需同样完成步骤1.4中预处理操作。

步骤3后处理和测试过程包括以下几个部分：

步骤3.1：使用score表示对应的相似度得分：score＝0.5×[1-SSIM(X，Y)]。选择一张正常图像作为样例，输入已完成训练的模型，模型输出得到预测图像。使用SSIM方法对输入和输出图像进行相似性比较，计算相似度得分并得到样例图像热度图1。

步骤3.2：将验证图像输入已完成训练的模型进行测试，得到验证图像热度图1。

步骤3.3：步骤3.1和3.2中的热度图1进行比较，获得定量比较得分并得到验证图像热度图2。此处的相似性比较可以使用SSIM方法或MSE方法。

注意验证图像热度图2高度依赖样例图像，样例图像的选择及质量会直接影响测试结果。因此要求比较的图像拥有同样的摆放位置和拍摄角度，或者用于比较的两张图像已经进行大小、位置等的调整，在此任务下不考虑位置变化。经过第二次的相似性比较，所有图像中共同的非异常区域被抑制，异常区域凸显出来。

步骤3.4：使用SVM(support vector machines，支持向量机)对热度图分类。将验证集的图像经过步骤3.3得到的热度图2用于训练SVM。训练好的SVM分类器可直接将新的测试样本划分为有无异常两类。

步骤3.5：利用Mask排除背景等无关区域，前景部分根据步骤3.4中得到的热度图2确定异常部位，设定合适的阈值，超过阈值的点为异常所在位置。

工作原理

流水线上的生产场景较为固定且便于控制，使得正常图像和异常图像样本之间有很多相似处，但是异常种类繁多、异常区域往往较小且不明显。本发明将正常样本作为训练数据，旨在通过网络训练和后处理比较找出异常样本与正常样本之间的细微差别，适合工业生产场景使用。

有益效果

本发明所提供的一种基于机器视觉的产品表面异常的智能检测方法，相对于现有技术，具有以下优点：

1.不需要构建异常图像数据集，训练图像全部是无异常图像。获取大规模的训练图像简单方便。

2.不仅能判定表面异常产品，还能定位异常位置，给人工二次审核提供方便。

3.多次相似性比较，排除一些因为噪声等导致的差别，进一步排除非异常区域。

4.使用轻量级网络，训练和测试过程都比较快，测试环节可以实现实时检测。

附图说明

图1为本发明的流水线工业产品异常检测流程图；

图2为本发明的一种实施例的编解码网络结构示意图；

图3为本发明的一种实施例的前景提取Mask图；

图4为本发明的一种实施例的无异常样例处理效果图；

图5为本发明的一种实施例的有异常图像处理效果图；

图6为本发明的后处理操作流程图。

具体实施方式

下面结合附图对本发明实施的方法和系统进行更清晰、完整的说明。

如图1所示为本发明提供的一种基于机器视觉的产品表面的异常智能检测方法，包括以下步骤：

步骤1：数据集采集和筛选。采集的流水线工业产品图像需要全方位覆盖待测产品的表面。

步骤1.1：指定光源和拍摄角度，数据集采集场景与实际异常检测系统工作的工业场景保持一致，拍摄到的图像需要有足够的分辨率，拍摄背景需要保持不变并且尽可能为纯黑色。

实施例所使用的图像DPI(Dots Per Inch，每英寸点数)范围在300～350之间。收集一定数量的产品图像，以杯壶产品为例，为覆盖完整的杯壶外表面，至少需要三个摄像头，三摄像头与产品连线夹角为120度。而为了拥有更清晰的图像以及更多正对杯壶表面的照片。需要更多的相机进行拍摄，可在杯壶顶部上方放置一个相机，主要采集杯盖图像，而杯身部分使用三个夹角为120度的相机拍摄。另外，对于杯壶内部图像采集，由于杯壶一般是单面开口，需要额外提供光源，并且拍摄的相机需要靠近杯口或伸进杯内。

步骤1.2：按流水线工业产品表面部位划分区域，对于面积较大的部位，分为多个小区域。

以杯壶产品为例，杯盖单独作为一个区域；杯盖和背身连接处作为一个区域，此区域表面法向通常都不是水平或竖直，而是有一定的角度用以过渡，对于360度环形区域，可分为三个或三个以上的小区域；杯身外表面一周也近似环形区域，可分为三个或三个以上的小区域；杯底的拍摄需要移动杯体，我们可将杯体倒置，使杯底一面朝上，将杯底区域作为一个区域；而杯底与杯身交界处，类似于杯盖与杯身交接处，为环形区域，可分为三个或三个以上的小区域。

步骤1.3：对采集的数据预处理并提取目标前景、剔除背景。将原始图像进行定位、裁剪、统一输入大小，确保主体在图像中间，减少不必要的背景。使用纯色背景且尽可能为黑色，可以给图像分割和目标提取带来方便。提取前景生成的Mask图像，与原图大小一致，背景区域为0，前景区域为1。前景内部存在断裂、空洞，使用闭运算操作填补。

在流水线上产品位置和相机位置相对固定，我们可以选择一个样本确定图像中产品的位置，以及产品区域的分割规则，而其他同批次的样本都与此相同。以杯壶产品为例，拍摄到的杯身图像可包含杯盖与杯身连接部分以及杯底与杯身连接部分，可以将拍摄到的杯身图像分割为三部分：杯身主体部分、杯盖与杯身连接部分、杯底与杯身连接部分。

步骤1.4：筛选数据集，剔除不清晰的低质量图像，训练数据集使用正常图像，有异常的图像保留为验证数据集或测试数据集。

在产品区域分割这个过程中，可以使用Mask图像，依据一个样本图像中所关注的区域确定Mask图像，使用既定的Mask图像将相机拍摄到的其他产品图像中相应区域提取出来，将背景以及不关注的区域屏蔽。而在训练之前，我们对采集到的图像进行人为检查，确保训练图像都为高质量完整图像并且无异常。若有不清晰的图像，则将其丢弃重新采集。若存在异常，则保留为验证集或测试集。

步骤2：使用神经网络处理图像。

步骤2.1：设计卷积神经网络模型，如图2所示。网络主体分为编码器和解码器结构，编码器与解码器保持基本对称。

实施例中输入图像为1024×1024，编码器输出为8×8×512，解码器输出与输入图像大小保持一致。如图2所示网络结构中，每经过一个卷积层计算后使用ReLU函数激活，卷积层步长stride为2，卷积核大小kernelsize为4。以上操作每进行一次，特征图的长和高缩减为原来的一半。解码器与之相反，每经过一次上采样，特征图的长和高扩大为原来的两倍。网络输出大小为1024×1024，与输入图像保持一致。

编码器与解码器都是非线性计算，我们期望网络输出图像与能够与正常图像尽可能接近。在训练过程中，输入图像就是正常图像，能够直接作为ground truth进行约束。输入图像经过编码器计算后，保留一些关键的特征，通过解码器还原为完整图像，网络权重保留的信息为正常图像共同特征信息。将正常图像集合视为原始空间，网络输出图像的集合为其子空间，网络训练使其子空间不断接近原始空间。

步骤2.2：构造损失函数。

SSIM是结构相似性衡量指标，用于判断两张图像的相似性。与均方误差损失(MSE)和余弦损失(Cosine)相比，SSIM更接近人的主观评价，SSIM函数可表示为：

其中，X是网络输入图像，Y是网络输出的预测图像。μ_X是输入图像X的平均值，μ_Y是预测图像Y的平均值，σ_X是输入图像X的方差，σ_Y是预测图像Y的方差，σ_XY是输入图像X和预测图像Y的协方差。

实施例中使用Mean SSIM(MSSIM，平均结构相似度)：

其中M为窗口大小。根据经验，参数选择：窗口大小为11x11，高斯加权公式标准差为1.5。

结合均方误差损失(MSE)、余弦损失(Cosine)和SSIM损失，构造损失函数如下：

其中α＞0，β＞0，X为网络输入，Y为网络输出，h、w、c分别为输入图像的高、宽、通道数。为避免整体损失L取值为负，添加θ参数进行调整，θ＞log2+β。

实施例中α＝1，β＝0.5，θ＝1。MSE损失、Cosine损失和SSIM损失占同等重要地位。根据SSIM函数取值范围[-1，1]，理论整体损失L最小值为1.5-log2。

步骤2.3：设定合适的训练参数，使用步骤1中处理好的图像训练，并保存模型参数。

步骤3：后处理及测试。

将测试图像的热度图与正常图像的热度图比较，给样本打分，确定是否存在异常。确定异常图像热度图阈值，有异常样本使用热度图确定异常所在位置。验证集中包含正常图像及异常图像，用于阈值等参数确定。完成上述设定后，可直接对新采集的测试样本进行异常检测。

步骤3.1：选择一张正常图像作为样例，输入已完成训练的模型，模型输出得到预测图像。使用SSIM方法对输入和输出图像进行相似性比较，计算相似度得分并得到样例图像热度图1。SSIM函数值域为[-1，1]。取值为1表示两张图像完全相同，数值越小表示两图差异越大。为了使得相似度数值与相似程度正相关并且取值范围固定在[0，1]之间，使用score表示对应的相似度得分：score＝0.5×[1-SSIM(X，Y)]。

实施例如图4所示，左图为正常样例图，右图为正常图像样例热度图1(以灰度图表示)。正常样例输入图像和输出的预测图相比，在背景交界处以及结构复杂处容易产生差异，但是在产品主体大部分区域可以表现一致。

步骤3.2：将验证图像输入已完成训练的模型进行测试，得到验证图像热度图1。

这部分操作与步骤3.1类似，只是处理对象不同，此处选择的验证集中的图像，包含正常图像和异常图像。

实施例如图5所示，为了便于说明，展示异常图像以显示检测效果，第一列为有异常的验证图像，第二列为验证图像的热度图1。在异常存在的部位，验证图像热度图1中会出现明显的高亮区域。验证图像热度图1其他区域与样例热度图1基本一致。热度图中亮度显示大致反映了存在异常的概率，每个点的数值范围是[0,1]。数值越接近1，存在异常的概率越大，在热度图中颜色越亮；数值越接近0，存在异常的概率越小，在热度图中颜色越接近黑色。

步骤3.3：再次进行相似性比较，步骤3.1和3.2中的热度图1进行比较，获得定量比较得分并得到验证图像热度图2。此处的相似性比较可以使用SSIM方法或MSE方法，且不仅限于此。

注意验证图像热度图2高度依赖样例图像，样例图像的选择及质量会直接影响测试结果。因此要求比较的图像拥有同样的摆放位置和拍摄角度，或者用于比较的两张图像已经进行大小、位置等的调整，在此任务下不考虑位置变化。经过第二次的相似性比较，所有图像中共同的非异常区域被抑制，异常区域凸显出来。

实施例如图5所示，使用SSIM方法再次进行相似度比较，第三列为验证图像热度图2。产品边缘以及结构复杂区域在热度图1中可能会有微弱显示，异常区域在热度图1中高亮显示。但是在热度图2中，产品边缘以及结构复杂区域几乎不显示，只有异常区域明显显示。

步骤3.4：使用SVM对热度图分类。将验证集的图像经过步骤3.3得到的热度图2用于训练SVM。训练好的SVM分类器可直接将新的测试样本划分为有无异常两类。

热度图2中已经可以将异常区域高亮显示，我们可以简单地设定一个阈值，若热度图2中存在超过阈值的点即认为是存在异常。但是不能排除还有少数点会超过阈值，对于这个二分类任务需要更高的准确度和可信度，因此使用SVM作为辅助。真正的异常区域会成片、连续存在，而伪异常区域较小且离散，类似于噪声。

步骤3.5：确定在步骤3.4中判定为异常图像的异常所在区域。

利用Mask排除背景等无关区域，前景部分根据步骤3.4中得到的热度图2确定异常区域，设定合适的阈值，超过阈值的点为异常所在位置。

如实施例杯盖部位阈值可设定为0.95,热度图2大于阈值的部分标出即为异常区域。如图5所示为异常图像处理结果，第一列为有异常的测试图像原图，第二列为测试图像热度图1(以灰度图表示)，第三列为测试图像热度图2，第四列为最终分割出的异常区域。

如实施例螺丝阈值可设定为0.95,热度图2大于阈值的部分标出即为异常区域。如图5所示为异常图像处理结果，第一列为有异常的测试图像原图，第二列为测试图像热度图1(以灰度图表示)，第三列为测试图像热度图2。

完成阈值设定后，利用步骤1中所述方法采集测试集，进行相同的预处理操作，使用训练好的网络得到预测图并进行后处理计算，得到有无异常两类的分类结果，有异常的图像获得异常区域分割图像。

Claims (5)

1.一种基于机器视觉的产品表面异常的智能检测方法，其特征在于，包括以下步骤：

步骤1：图像数据集采集和筛选，全方位覆盖待测的产品表面；

步骤1.1：指定光源和拍摄角度，数据集采集场景与实际异常检测系统工作场景保持一致，拍摄到的图像需要有足够的分辨率，拍摄背景需要保持不变并且尽可能为纯黑色；

步骤1.2：按流水线工业产品部位划分区域，对于面积较大的部位，分为多个小区域；

步骤1.3：对采集的数据预处理并提取目标前景、剔除背景；

步骤1.4：筛选数据集，剔除不清晰的低质量图像，训练数据集使用正常图像，有异常的图像保留为验证数据集或测试数据集。依据一个样本图像中所关注的区域确定Mask图像，使用既定的Mask图像将相机拍摄到的其他产品图像中相应区域提取出来，将背景以及不关注的区域屏蔽；

步骤2：使用神经网络处理图像，选择合适的网络结构，采用MSE、Cosine、SSIM相结合的损失函数，训练并保存模型参数；

步骤2.1：设计卷积神经网络模型，网络主体分为编码器和解码器结构，编码器与解码器保持基本对称；

步骤2.2：结合MSE、Cosine和SSIM，构造损失函数；

步骤2.3：设定合适的训练参数，使用步骤1中处理好的图像训练，并保存模型参数；

步骤3：后处理及测试。将验证图像的热度图与表面正常图像的热度图比较，确定阈值。对测试图像进行预处理、网络计算和后处理操作，确定是否有异常及异常所在位置；

步骤3.1：选择一张正常图像作为样例，输入已完成训练的模型，模型输出得到预测图像。使用SSIM方法对输入和输出图像进行相似性比较，计算相似度得分并得到样例图像热度图1；

步骤3.2：将验证图像输入已完成训练的模型进行测试，得到验证图像热度图1；

步骤3.3：步骤3.1和3.2中的热度图1进行比较，获得定量比较得分并得到验证图像热度图2；此处的相似性比较可以使用SSIM方法或MSE方法。

步骤3.4：使用SVM对热度图分类，将测试样本划分为有无异常两类。

步骤3.5：利用Mask排除无关区域，设定合适的阈值，根据热度图2确定异常部位。

2.根据权利要求1步骤1所述的图像数据集采集和预处理方法，其特征在于，图像采集场景尽可能保持一致；将原始图像进行定位、裁剪、统一输入大小确保主体在图像中间，使用纯色背景且尽可能为黑色，减少不必要的背景；提取出前景Mask图像，与原图大小一致，背景区域为0，前景区域为1；前景内部若存在断裂、空洞，可使用闭运算操作填补；按需划分为小区域，训练数据集使用正常表面的图像，在流水线产品缺陷检测应用中，产品位置和相机位置相对固定，可以选择一个样本确定图像中产品的位置以及产品区域的分割规则，而其他同批次的样本都与此相同。

3.根据权利要求1步骤2所述的损失函数，结合MSE、Cosine和SSIM，构造的损失函数为：

其中α>0，β>0，X为网络输入，Y为网络输出，h、w、c分别为输入图像的高、宽、通道数；为避免整体损失L取值为负，添加θ参数进行调整，θ>log2+β。

4.根据权利要求1步骤3所述的两次相似度比较，其中若使用SSIM方法进行相似度比较，对应的相似度得分score＝0.5×[1-SSIM(X,Y)]。

5.根据权利要求1中步骤3所述的后处理和测试方法，注意验证图像热度图2高度依赖样例图像，样例图像的选择及质量会直接影响测试结果；因此要求比较的图像拥有同样的摆放位置和拍摄角度，或者用于比较的两张图像已经进行大小、位置等的调整，在此任务下不考虑位置变化；经过第二次的相似性比较，所有图像中共同的非异常区域被抑制，异常区域被凸显。

Images