CN111539931A - 一种基于卷积神经网络和边界限定优化的外观异常检测方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络和边界限定优化的外观异常检测方法，本发明涉及检测技术领域，包括以下步骤：(1)：建立卷积神经网络，对所拍摄的外观图像进行特征提取；(2)：定义训练网络的目标函数，训练数据三元组(x^a,x^p,xⁿ)；(3)：收集训练样本图像，根据检测目标收集大小为m×m的训练样本图像，标记属于同一类的样本以及不同类的样本，基于(2)的目标函数优化网络参数直至收敛；(4)：图像对比，对两个输入图像，判断相同位置大小为m×m的子图像是否属于同一类，如果不属于同一类，则标识两张输入图像的差异区域。本发明通过建立卷积神经网络，根据目标函数对网络进行训练，再利用网络对产品外观图像进行特征提取，最后通过图像特征对比的形式找出图像差异，确定外观异常情况，有效提高外观异常检测的效率及准确性。

Description

一种基于卷积神经网络和边界限定优化的外观异常检测方法

技术领域

本发明涉及检测技术领域，特别是指一种基于卷积神经网络和边界限定优化的外观异常检测方法。

背景技术

在产品加工过程中，可能会因各种因素导致加工的出现凹凸或划痕等外观异常，如不进行监控，一旦带有较大外观异常的产品流入后续生产工序，会造成更大的经济损失。现在产品外观异常检测是通过质量工程师人工确认是否有异常，成本高、效率低、误检率高。因此，迫切需要一种满足自动化生产需求的外观异常检测方法。

发明内容

本发明提出一种基于卷积神经网络和边界限定优化的外观异常检测方法，解决了现有技术中外观异常检测手段欠缺的问题。

本发明的技术方案是这样实现的：

一种基于卷积神经网络和边界限定优化的外观异常检测方法，包括以下步骤：

步骤(1)：建立卷积神经网络，所述卷积神经网络由卷积层，池化层，或者残差网络模块构成；

步骤(2)：定义训练网络的目标函数，训练数据三元组(x^a,x^p,xⁿ)，x^a，x^p和xⁿ均为大小为m×m的图像，其中，x^a表示参考样本图像，x^p与x^a为相似的样本，属于一类的样本，即为正样本，xⁿ与x^a为不相似的样本，不属于一类的样本，即为负样本，网络学习的过程就是学习图像的特征，对于三元组，使得x^p与x^a的距离，小于xⁿ与x^a的距离；

步骤(3)：收集训练样本图像，拍摄待检测产品的外观图像，根据检测目标收集大小为m×m训练样本图像，标记属于同一类相似的样本，不同类有差异的样本，以及外观有缺陷的样本，基于步骤(2)的目标函数优化网络参数直至收敛；

步骤(4)：图像对比，对两个输入大小为m×m的图像，利用训练的卷积神经网络提取特征，根据特征判断输入图像是否属于同一类，如果不属于同一类，则标识两张输入图像存在差异。

作为优选，所述步骤(1)中，当网络的输入图像大小为m×m，通过网络的处理，最后一层输出的张量的大小为1×1×n，输出n个特征。

作为优选，对输出的n个特征进行L2范数的归一化，得到输入图像的n维特征表达，用x表示输入网络的大小为m×m的图像，用f(x)来表示网络对输入图像的映射，f(x)的输出是一个n维向量。

作为优选，所述步骤(2)中，学习的过程就是学到一种表示，对于尽可能多的三元组，使得x^p与x^a的距离，小于xⁿ与x^a的距离。即：

其中α和m是两个阈值参数，考虑N个三元组，训练网络最小化目标函数：

其中[v]₊＝max{0,v}，利用不满足条件的三元组，优化网路参数。

作为优选，所述步骤(4)具体包括：

步骤(41)：大小为m×m的两张图像x₁与x₂比对，将x₁与x₂作为网络的输入图像，得到两个n维的特征，如果

则判断这两张图像属于同一类，否则判断这两张图像属于不同的类，两张图像有差异；

步骤(42)：基于模板的图像差异比较，为比较一张图像X_c与模板图像X_r的差异，首先利用训练好的网络提取特征图，将X_c与X_r作为网络的输入图像，得到两个大小c×r×n的特征图，c和r的大小由输入图像的大小以及网络的降采样率决定，特征图中每一位置的1×1×n特征可以映射回原图像的一个大小为m×m的子图像，对两个特征图中每个位置的特征进行步骤(41)的比较，这样的到X_c与X_r哪些位置存在差异。

本发明的有益效果在于：通过建立卷积神经网络对输入图像进行特征提取，利用训练样本基于目标函数训练网络参数；检测过程，利用训练好的卷积神经网络对外观图像进行特征提取，最后通过特征对比的形式找出图像差异，确定外观异常情况，有效提高外观异常检测的效率及准确性。

附图说明

图1是本发明基于卷积神经网络和边界限定优化的外观异常检测方法的流程图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

现结合附图和具体实施方式对本发明进一步说明。

如图1所示，一种基于卷积神经网络和边界限定优化的外观异常检测方法，包括以下步骤：

步骤(1)：建立深度卷积神经网络对所拍摄的外观图像进行特征提取，深度卷积神经网络由卷积层，池化层，或者残差网络模块构成。令用于训练网络参数的图像大小为m×m，通过网络的处理，最后一层输出张量的大小为1×1×n，输出n个特征，对输出的n个特征进行L2范数的归一化，得到大小为m×m的图像的n维特征表达，用x表示输入网络的m×m图像，用f(x)来表示网络对输入图像的映射，f(x)的输出是一个n维向量。

步骤(2)：定义训练网络的目标函数，训练数据三元组(x^a,x^p,xⁿ)，其中，x^a表示参考样本图像，x^p与x^a为相似的样本，属于一类的样本，即为正样本，xⁿ与x^a为不相似的样本，不属于一类的样本，即为负样本，学习的过程就是学到一种表示，对于三元组，使得x^p与x^a的距离，小于xⁿ与x^a的距离，即：

其中α和m是两个阈值参数，考虑N个三元组，训练网络最小化目标函数：

其中[v]₊＝max{0,v}，利用不满足条件的三元组，优化网路参数。

步骤(3)：收集训练样本图像，拍摄待检测产品的外观图像，根据检测目标收集大小为m×m训练样本图像，标记属于同一类相似的样本，不同类有差异的样本，以及外观有缺陷的样本，基于步骤(2)的目标函数优化网络参数直至收敛。

步骤(4)：图像对比，具体包括：

步骤(41)：大小为m×m的两张图像x₁与x₂比对，将x₁与x₂作为网络的输入图像，得到两个n维的特征，如果

则判断这两张图像属于同一类，否则判断这两张图像属于不同的类，这两张图像有差异；

步骤(42)：基于模板的图像差异比较，为比较一张图像X_c与模板图像X_r的差异，首先利用训练好的网络提取特征图，将X_c与X_r作为网络的输入图像，得到两个大小c×r×n的特征图，c和r的大小由输入图像的大小以及网络的降采样率决定，特征图中每一位置的1×1×n特征可以映射回原图像的一个大小为m×m的子图像，对两个特征图中每个位置的特征进行步骤(41)的比较，这样的到X_c与X_r哪些位置存在差异。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于卷积神经网络和边界限定优化的外观异常检测方法，其特征在于：包括以下步骤：

步骤(1)：建立卷积神经网络，所述卷积神经网络由卷积层，池化层，或者残差网络模块构成；

步骤(2)：定义训练网络的目标函数，训练数据三元组(x^a,x^p,xⁿ)，x^a，x^p和xⁿ均为大小为m×m的图像，其中，x^a表示参考样本图像，x^p与x^a为相似的样本，属于一类的样本，即为正样本，xⁿ与x^a为不相似的样本，不属于一类的样本，即为负样本，网络学习的过程就是学习图像的特征，对于三元组，使得x^p与x^a的距离，小于xⁿ与x^a的距离；

步骤(3)：收集训练样本图像，拍摄待检测产品的外观图像，根据检测目标收集大小为m×m训练样本图像，标记属于同一类相似的样本，不同类有差异的样本，以及外观有缺陷的样本，基于步骤(2)的目标函数优化网络参数直至收敛；

步骤(4)：图像对比，对两个输入大小为m×m的图像，利用训练的卷积神经网络提取特征，根据特征判断输入图像是否属于同一类，如果不属于同一类，则标识两张输入图像存在差异。

2.根据权利要求1所述的一种基于卷积神经网络和边界限定优化的外观异常检测方法，其特征在于：所述步骤(1)中，当网络的输入图像大小为m×m，通过网络的处理，最后一层输出的张量的大小为1×1×n，输出n个特征。

3.根据权利要求2所述的一种基于卷积神经网络和边界限定优化的外观异常检测方法，其特征在于：对输出的n个特征进行L2范数的归一化，得到输入图像的n维特征表达，用x表示输入网络的大小为m×m的图像，用f(x)来表示网络对输入图像的映射，f(x)的输出是一个n维向量。

4.根据权利要求3所述的一种基于卷积神经网络和边界限定优化的外观异常检测方法，其特征在于：所述步骤(2)中，学习的过程就是学到一种表示，对于尽可能多的三元组，使得x^p与x^a的距离，小于xⁿ与x^a的距离。即：

其中α和m是两个阈值参数，考虑N个三元组，训练网络最小化目标函数：

其中[v]₊＝max{0,v}，利用不满足条件的三元组，优化网路参数。

5.根据权利要求4所述的一种基于卷积神经网络和边界限定优化的外观异常检测方法，其特征在于：所述步骤(4)具体包括：

步骤(41)：大小为m×m的两张图像x₁与x₂比对，将x₁与x₂作为网络的输入图像，得到两个n维的特征，如果

则判断这两张图像属于同一类，否则判断这两张图像属于不同的类，两张图像有差异；

步骤(42)：基于模板的图像差异比较，为比较一张图像X_c与模板图像X_r的差异，首先利用训练好的网络提取特征图，将X_c与X_r作为网络的输入图像，得到两个大小c×r×n的特征图，c和r的大小由输入图像的大小以及网络的降采样率决定，特征图中每一位置的1×1×n特征可以映射回原图像的一个大小为m×m的子图像，对两个特征图中每个位置的特征进行步骤(41)的比较，这样的到X_c与X_r哪些位置存在差异。

Images