CN113689390A - 一种无缺陷样本学习的异常检测方法 - Google Patents

Abstract

本发明公开了一种无缺陷样本学习的异常检测方法，所述方法包括S1：获取无缺陷样本图像并进行预处理，得到灰度图；S2：利用灰度图建立子图像灰度高斯混合模型，并保存高斯混合模型参数；S3：构建损失函数并用于引导训练神经网络；S4：利用训练好的神经网络进行异常检测。本发明无需缺陷样本，节省了样本获取的成本，同时适用任意异常样本，具有较强的泛化能力，实用性强，检测准确率高。

Description

一种无缺陷样本学习的异常检测方法

技术领域

本发明涉及深度学习技术领域，更具体地，涉及一种无缺陷样本学习的异常检测方法。

背景技术

随着我国行业制造水平和人民消费水平的不断提升，制造业对工业产品的质量有了更高的要求，同时产品表面质量对产品的直接使用和再加工都有重要影响。在工业生产中，生产者都需要对成品或中间产物进行质量的检测和统计，实现对产品进行按指标分拣，并达到对生产工艺的监督、改进的效用。

现今有全自动化、半自动化甚至全人工的生产方式，但在大部分的质检环节仍然依靠人工目视检测。造成这种局面的原因主要在于缺陷存在随机性、多样性等特点，而人的经验在质量的辨别当中就显得尤为重要。这些经验，在以往很长一段时间内难以被量化为数学关系且形成一种固化且易于复制的规则。人工检测的弊端十分明显：劳动强度大、效率低且质量得不到保障。考虑到人工成本越来越高，人身安全的保障意识越来越重，效率相对于机器处于劣势的人工质检将会慢慢从工业检测环节中逐渐消失，在产品线的质量控制阶段引入机器视觉和智能检测方法，对产品表面的缺陷进行准确的识别，对实现工业流水线质检环节的自动化具有重要意义。

现有的基于有监督深度学习的工业产品缺陷检测方法需要大量标记样本，这样的样本通常是难以获得且高成本的，而且标记的过程不仅费时费力，并且由于人工主观因素的影响，标记可能存在偏差，这些都会影响网络的训练和实际的检测。并且，用这些样本训练的模型，模型泛化性能较差。当产品出现新的缺陷类型，训练的模型可能会产生漏检。

现有技术中，公开号为：CN113095400A中国发明专利，于2021年7月9日公开了一种用于机器视觉缺陷检测的深度学习模型训练方法，基于少量缺陷产品外观图像和大量正常产品外观图像进行模型训练，采用负样本扩增方法对少量缺陷产品外观图像进行样本扩增，具体包括如下步骤：将缺陷产品外观图像中的缺陷部分截取出来，形成缺陷图像；对缺陷图像进行扩增处理，形成大量人工缺陷图像；通过图像融合的方式将人工缺陷图像融入到正常产品外观图像中的随机位置，形成人工缺陷产品外观图像；将人工缺陷产品外观图像列入训练样本集用于模型训练。该方案依赖的有缺陷的产品图像，无法解决模型泛化能力差的问题。

发明内容

本发明为克服上述现有技术中工业产品缺陷检测方法依赖大量的缺陷样品，检测准确率低，泛化能力差的缺陷，提供一种无缺陷样本学习的异常检测方法。

本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：

一种无缺陷样本学习的异常检测方法，包括以下步骤：

S1：获取无缺陷样本图像并进行预处理，得到灰度图；

S2：利用灰度图建立子图像灰度高斯混合模型，并保存高斯混合模型参数；

S3：构建损失函数并用于引导训练神经网络；

S4：利用训练好的神经网络进行异常检测。

进一步地，步骤S2所述利用灰度图建立子图像灰度高斯混合模型，并保存高斯混合模型参数具体步骤为：

设灰度图的大小为m×n，灰度图记为S，将S分成p×q块子图像；

其中，每个子图像S_kl是m_k×n_l矩阵形式，称为一个Patch，其中

将子图像S_kl从中心向外逆时针遍历，展开为1×(m_k×n_l)向量，记为x_k,l；

将展开向量拟合混合高斯模型，所述混合高斯模型表达式为：

其中m表示训练样本个数，

表示第i个训练样本k行l列Patch的展开向量，得到高斯混合模型参数为

进一步地，在神经网络的训练中，将训练样本图像作为神经网络的输入，并利用构建的损失函数引导神经网络训练，其中对训练样本图像进行通道拓展处理并进行多尺度切割，具体步骤为：

将训练样本图像拓展为三通道，同时额外插入第四通道并将第四通道设为全0；

在训练样本图像上随机选择位置按照预设的两种尺度切割，记切割出的子图像尺寸分别为H_big×W_big×4,H_small×W_small×4，并且有mod(m,H_big)＝0，mod(m,H_small)＝0，mod(m,W_big)＝0，mod(m,W_small)＝0，并将切割出的子图像输入至神经网络。

进一步地，步骤S3的具体过程为：构建损失函数的具体过程为：

根据工业产品具有高度相似性，引导神经网络将不同图像的同一位置的子图像编码相近，则损失函数如下：

f_θ为神经网络编码器，p_i为当前子图像，p_i′为另一样本图像同一位置的子图像；

利用图像灰度变化具有上下文相关性，随机挑选当前Patch临近的一个Patch，让神经网络预测二者相对位置，以更好地提取图像信息，则损失函数：

L_SSL＝Cross-entropy(y,C_φ(f_θ(p₁),f_θ(p₂)))

C_φ是一个8分类器，p₁是当前子图像,p₂是从临近区域随机选择的一个子图像；构建统一的损失函数：

L_{Patch SVDD}＝λL_SVDD+L_SSL

利用统一的损失函数引导训练神经网络。

进一步地，利用训练好的神经网络进行异常检测，具体步骤为：

S401：将训练样本按照固定的位置进行多尺度切割并输入至神经网络，输出向量并保存；

S402：获取测试样本的先验异常评分，并将先验异常评分标准化至测试样本的灰度图，得到异常评分灰度图；

S403：测试样本进行通道拓展并按照固定的位置进行多尺度切割，然后输入至神经网络，输出特征向量；

S404：将测试样本的特征向量分别与训练样本同一位置及周边位置编码所得向量计算欧氏距离，将欧氏距离的最小值作为子图像异常分数，并映射至测试样本原图像中该子图像位置；

S405：将不同尺度下的检测结果做矩阵对应元素相乘得到融合结果。

进一步地，步骤S401将训练样本按照固定的位置进行多尺度切割并输入至神经网络，输出向量并保存，具体为：

从训练样本图像左上角开始切割，得到(m/H_big)×(n/W_big)个H_big×W_big×4子图像和(m/H_small)×(n/W_small)个H_small×W_small×4子图像，将切割后的子图像输入神经网络，输出编码后的向量并保存。

进一步地，步骤S402获取测试样本的先验异常评分，并将先验异常评分标准化至测试样本的灰度图具体步骤为：

S4021：将测试样本图像处理为灰度图，并将灰度图分块得到子图像；

S4022：将子图像从中心向外逆时针遍历进行向量展开；

S4023：将得到的向量利用先验异常评分公式计算出每个子图像的异常分数，利用预设阈值判断出先验异常的子图像；

S4024：将每个先验异常的子图像的异常分数标准化到灰度图中。

进一步地，先验异常评分公式具体为：

表示第j个训练样本k行l列Patch的展开向量，

是训练样本k行l列Patch展开向量拟合得到的高斯混合模型参数，μ_k,l为

中的高斯均值，

表示第j个训练样本k行l列Patch异常分数。

进一步地，通过先验异常评分公式计算得出先验异常分数，将先验异常分数与预设的阈值比较，若先验异常分数大于或等于预设的阈值，则判定该子图像先验异常，该子图像的异常分数为当前计算出的先验异常分数；

若先验异常分数小于预设的阈值，则判定该子图像无先验异常，该子图像区域的异常分数为0；

将得到的每个先验异常的子图像的异常分数标准化到灰度图中。

进一步地，在测试阶段中，测试样本图像进行三通道拓展，同时额外增加第四通道，并将第四通道第四设为异常评分灰度图；

将通道拓展后的测试样本图像从左上角开始并按照两个尺度切割，将切割后得到的子图像输入至神经网络，输出特征向量。

与现有技术相比，本发明技术方案的有益效果是：

本发明利用无缺陷样本图像拟合混合高斯模型，对测试样本异常评分，得到先验信息；通过分割多尺度的子图像块结合改进深度支持向量数据描述和自监督学习训练神经网络，得到测试样本的特征向量，计算测试样本的特征向量与训练样本同一位置及周边位置特征向量欧氏距离得到异常分数，本发明无需缺陷样本，节省了样本获取的成本，本发明适用任意异常样本，具有较强的泛化能力，实用性强，检测准确率高。

附图说明

图1为本发明一种无缺陷样本学习的异常检测方法训练阶段流程图。

图2为本发明利用训练好的神经网络进行异常检测流程图。

图3为本发明构建子图像灰度高斯混合模型流程图。

图4为本发明获取异常评分灰度图的流程图。

图5为本发明实施例测试样本原图。

图6为本发明实施例测试样本Ground truth图。

图7为本发明实施例测试样本的异常评分灰度图。

图8为本发明实施例神经网络检测结果图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

实施例1

如图1所示，一种无缺陷样本学习的异常检测方法，所述方法包括训练阶段和测试阶段，其中训练阶段包括以下步骤：

S1，获取无缺陷样本图像并进行预处理，得到灰度图；

需要说明的是，所述的无缺陷样本即正常的样本，将无缺陷样本图像进行灰度化预处理得到灰度图。

S2，利用灰度图建立子图像灰度高斯混合模型，并保存高斯混合模型参数；

如图3所示，建立子图像灰度高斯混合模型具体步骤为：

S201，设灰度图的大小为m×n，灰度图记为S，将S分成p×q块子图像；

1*9向量：

例如，以3X3的子图像为例，展开后为

其中，每个子图像S_kl是m_k×n_l矩阵形式，称为一个Patch，其中

S202，将子图像S_kl从中心向外逆时针遍历，展开为1×(m_k×n_l)向量，记为x_k,l；

S203，将展开向量拟合混合高斯模型，所述混合高斯模型表达式为：

其中m表示训练样本个数，

表示第i个训练样本k行l列Patch的展开向量，得到高斯混合模型参数为

S3，构建损失函数并用于引导训练神经网络；

需要说明的是，本发明损失函数包括两个部分：位置相关子图像支持向量数据描述(Position-Patch SVDD)的损失函数和自监督学习的损失函数，其中位置相关子图像支持向量数据描述的损失函数将每个子图像位置的特征作为一个聚类中心，引导神经网络训练。

具体步骤如下：

根据工业产品具有高度相似性，引导神经网络将不同图像的同一位置的子图像编码相近，则损失函数如下：

f_θ为神经网络编码器，p_i为当前子图像，p_i′为另一样本图像同一位置的子图像；

利用图像灰度变化具有上下文相关性，随机挑选当前Patch临近的一个Patch，让神经网络预测二者相对位置，以更好地提取图像信息，则损失函数：

L_SSL＝Cross-entropy(y,C_φ(f_θ(p₁),f_θ(p₂)))

C_φ是一个8分类器，p₁是当前子图像,p₂是从临近区域随机选择的一个子图像；构建统一的损失函数：

L_{Patch SVDD}＝λL_SVDD+L_SSL。

需要说明的是，在神经网络的训练中，将训练样本图像作为神经网络的输入，并利用构建的损失函数引导神经网络训练，其中对训练样本图像进行通道拓展处理并进行多尺度切割，具体步骤为：

将训练样本图像拓展为三通道，同时额外插入第四通道并将第四通道设为全0；

在训练样本图像上随机选择位置按照预设的两种尺度切割，记切割出的子图像尺寸分别为H_big×W_big×4,H_small×W_small×4，并且有mod(m,H_big)＝0，mod(m,H_small)＝0，mod(m,W_big)＝0，mod(m,W_small)＝0，并将切割出的子图像输入至神经网络；

S4：利用训练好的神经网络进行异常检测；

具体步骤为：

S401：将训练样本按照固定的位置进行多尺度切割并输入至神经网络，输出向量并保存；

步骤S401将训练样本按照固定的位置进行多尺度切割并输入至神经网络，输出向量并保存；

具体过程为：将训练样本按照固定的位置进行多尺度切割并输入至神经网络，输出向量并保存，具体为：

从训练样本图像左上角开始切割，得到(m/H_big)×(n/W_big)个H_big×W_big×4子图像和(m/H_small)×(n/W_small)个H_small×W_small×4子图像，将切割后的子图像输入神经网络，输出编码后的向量并保存。

S402：获取测试样本的先验异常评分，并将先验异常评分标准化至测试样本的灰度图，得到异常评分灰度图；

步骤402中获取测试样本的先验异常评分，并将先验异常评分标准化至测试样本的灰度图，得到异常评分灰度图；如图4所示，具体步骤为：

S4021，将测试样本图像处理为灰度图，并将灰度图分块得到子图像；

S4022，将子图像从中心向外逆时针遍历进行向量展开；

S4023，将得到的向量利用先验异常评分公式计算出每个子图像的异常分数，利用预设阈值判断出先验异常的子图像；

S4024，将每个先验异常的子图像的异常分数标准化到灰度图中。其中，所述将每个子图像的异常分数标准化到灰度图中即将所述将每个子图像的异常分数归一化处理，然后乘以255后再取整。

其中，先验异常评分公式具体为：

表示第j个训练样本k行l列Patch的展开向量，

是训练样本k行l列Patch展开向量拟合得到的高斯混合模型参数，μ_k,l为

中的高斯均值，

表示第j个训练样本k行l列Patch异常分数。

在本发明中，通过先验异常评分公式计算得出先验异常分数，将先验异常分数与预设的阈值比较，若先验异常分数大于或等于预设的阈值则，则判定该子图像先验异常，该子图像的异常分数为当前计算出的先验异常分数；

若先验异常分数小于预设的阈值，则判定该子图像无先验异常，该子图像区域的异常分数为0；

将得到的每个先验异常的子图像的异常分数标准化到灰度图中。

S403：测试样本进行通道拓展并按照固定的位置进行多尺度切割，然后输入至神经网络，输出特征向量；

具体过程为：将测试样本图像进行三通道拓展，同时额外增加第四通道，并将第四通道第四设为异常评分灰度图；

将通道拓展后的测试样本图像从左上角开始并按照两个尺度切割，将切割后得到的子图像输入至神经网络，输出特征向量。

S404：将测试样本的特征向量分别与训练样本同一位置及周边位置编码所得向量计算欧氏距离，将欧氏距离的最小值作为子图像异常分数，并映射至测试样本原图像中该子图像位置；

S405：将不同尺度下的检测结果做矩阵对应元素相乘得到融合结果。也就是将子图像异常分数与该子图像(每个子图像都是矩阵的形式)对应矩阵的元素相乘得到融合结果。

如图5-图8所示，示出了测试样本的图像的检测过程，其中图5为测试样本原图，图6为测试样本Ground truth图，图7为测试样本的异常评分灰度图，图8为神经网络检测结果图。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种无缺陷样本学习的异常检测方法，其特征在于，包括以下步骤：

S1：获取无缺陷样本图像并进行预处理，得到灰度图；

S2：利用灰度图建立子图像灰度高斯混合模型，并保存高斯混合模型参数；

S3：构建损失函数并用于引导训练神经网络；

S4：利用训练好的神经网络进行异常检测。

2.根据权利要求1所述的一种无缺陷样本学习的异常检测方法，其特征在于，步骤S2所述利用灰度图建立子图像灰度高斯混合模型，并保存高斯混合模型参数具体步骤为：

设灰度图的大小为m×n，灰度图记为S，将S分成p×q块子图像；

其中，每个子图像S_kl是m_k×n_l矩阵形式，称为一个Patch，其中

将子图像S_kl从中心向外逆时针遍历，展开为1×(m_k×n_l)向量，记为x_k,l；

将展开向量拟合混合高斯模型，所述混合高斯模型表达式为：

其中m表示训练样本个数，

表示第i个训练样本k行l列Patch的展开向量，得到高斯混合模型参数为

3.根据权利要求1所述的一种无缺陷样本学习的异常检测方法，其特征在于，

在神经网络的训练中，将训练样本图像作为神经网络的输入，并利用构建的损失函数引导神经网络训练，其中对训练样本图像进行通道拓展处理并进行多尺度切割，具体步骤为：

将训练样本图像拓展为三通道，同时额外插入第四通道并将第四通道设为全0；

在训练样本图像上随机选择位置按照预设的两种尺度切割，记切割出的子图像尺寸分别为H_big×W_big×4,H_small×W_small×4，并且有mod(m,H_big)＝0，mod(m,H_small)＝0，mod(m,W_big)＝0，mod(m,W_small)＝0，并将切割出的子图像输入至神经网络。

4.根据权利要求1所述的一种无缺陷样本学习的异常检测方法，其特征在于，步骤S3的具体过程为：构建损失函数的具体过程为：

根据工业产品具有高度相似性，引导神经网络将不同图像的同一位置的子图像编码相近，则损失函数如下：

f_θ为神经网络编码器，p_i为当前子图像，p_i′为另一样本图像同一位置的子图像；

利用图像灰度变化具有上下文相关性，随机挑选当前Patch临近的一个Patch，让神经网络预测二者相对位置，以更好地提取图像信息，则损失函数：

L_SSL＝Cross-entropy(y,C_φ(f_θ(p₁),f_θ(p₂)))

C_φ是一个8分类器，p₁是当前子图像,p₂是从临近区域随机选择的一个子图像；

构建统一的损失函数：

L_{Patch SVDD}＝λL_SVDD+L_SSL

利用统一的损失函数引导训练神经网络。

5.根据权利要求1所述的一种无缺陷样本学习的异常检测方法，其特征在于，利用训练好的神经网络进行异常检测，具体步骤为：

S401：将训练样本按照固定的位置进行多尺度切割并输入至神经网络，输出向量并保存；

S402：获取测试样本的先验异常评分，并将先验异常评分标准化至测试样本的灰度图，得到异常评分灰度图；

S403：测试样本进行通道拓展并按照固定的位置进行多尺度切割，然后输入至神经网络，输出特征向量；

S404：将测试样本的特征向量分别与训练样本同一位置及周边位置编码所得向量计算欧氏距离，将欧氏距离的最小值作为子图像异常分数，并映射至测试样本原图像中该子图像位置；

S405：将不同尺度下的检测结果做矩阵对应元素相乘得到融合结果。

6.根据权利要求5所述的一种无缺陷样本学习的异常检测方法，其特征在于，步骤S401将训练样本按照固定的位置进行多尺度切割并输入至神经网络，输出向量并保存，具体为：

从训练样本图像左上角开始切割，得到(m/H_big)×(n/W_big)个H_big×W_big×4子图像和(m/H_small)×(n/W_small)个H_small×W_small×4子图像，将切割后的子图像输入神经网络，输出编码后的向量并保存。

7.根据权利要求5所述的一种无缺陷样本学习的异常检测方法，其特征在于，步骤S402获取测试样本的先验异常评分，并将先验异常评分标准化至测试样本的灰度图具体步骤为：

将测试样本图像处理为灰度图，并将灰度图分块得到子图像；

将子图像从中心向外逆时针遍历进行向量展开；

将得到的向量利用先验异常评分公式计算出每个子图像的异常分数，利用预设阈值判断出先验异常的子图像；

将每个先验异常的子图像的异常分数标准化到灰度图中。

8.根据权利要求7所述的一种无缺陷样本学习的异常检测方法，其特征在于，先验异常评分公式具体为：

表示第j个训练样本k行l列Patch的展开向量，

是训练样本k行l列Patch展开向量拟合得到的高斯混合模型参数，μ_k,l为

中的高斯均值，

表示第j个训练样本k行l列Patch异常分数。

9.根据权利要求7所述的一种无缺陷样本学习的异常检测方法，其特征在于，通过先验异常评分公式计算得出先验异常分数，将先验异常分数与预设的阈值比较，若先验异常分数大于或等于预设的阈值，则判定该子图像先验异常，该子图像的异常分数为当前计算出的先验异常分数；

若先验异常分数小于预设的阈值，则判定该子图像无先验异常，该子图像区域的异常分数为0；

将得到的每个先验异常的子图像的异常分数标准化到灰度图中。

10.根据权利要求1所述的一种无缺陷样本学习的异常检测方法，其特征在于，在测试阶段中，测试样本图像进行三通道拓展，同时额外增加第四通道，并将第四通道第四设为异常评分灰度图；

将通道拓展后的测试样本图像从左上角开始并按照两个尺度切割，将切割后得到的子图像输入至神经网络，输出特征向量。

Images