CN110070526A - 基于深度神经网络热度图预测的缺陷检测方法 - Google Patents

Abstract

本发明提供了一种基于深度神经网络热度图预测的缺陷检测方法，包括：步骤1，对获取的图像进行预处理；步骤2，深度神经网络热度图预测；步骤3，根据预测输出的热力图点进行缺陷点聚类分析以获得缺陷的集合；步骤4，对所述集合中缺陷类型进行预测；步骤5，针对不同类型的缺陷，提取相应的缺陷特征；步骤6，根据所述缺陷特征和图像对缺陷进行分级处理。本发明可以利用缺陷的几何特征及其类别信息进行缺陷的分级处理，依生产现场的需要，灵活的控制缺陷的判定。另一方面，本发明把单一模型的功能分散在多个模块，从而比单一模型有着更好的性能，更有利于优化整个流程的检测速度。

Description

基于深度神经网络热度图预测的缺陷检测方法

技术领域

本发明涉及缺陷检测技术领域，特别涉及一种基于深度神经网络热度图预测的缺陷检测方法。

背景技术

工业产品的表面缺陷检测是工业生产过程中的重要的一个环节，便于及时的发现产品和工艺的缺陷，控制产品的质量。基于机器视觉的表面缺陷检测技术已经广泛地应用在工业生产的各个环节中，对于提高生产效率，确保自动化生产中的产品质量起到了重要的作用。基于机器视觉的表面缺陷检测包括两个主要的步骤，第一步是对产品进行高清晰的成像，确保产品缺陷能在图像是表现出来，第二步是对来自于成像设备的图像进行分析处理，告诉用户图像中哪个地方有缺陷，以及缺陷的类别，位置信息等。基于传统图像处理和机器学习方法的表面缺陷检测，虽然经历了多年的发展，但仍然存在很多的问题，例如，算法适应性差，良品率低，不好控制等。深度学习是一项革命性的机器学习方法和技术，在多个领域表现出了优异的性能，例如人脸识别，物体分类等。深度学习有望解决工业表面缺陷检测这一难题。

近几年，深度学习技术已经初步应用于工业表面缺陷检测，但是性能上离真正解决问题还有相当长的距离。主要的原因是，一方面，技术方案过于单一，例如设计一个单一的复杂的模型对输入图像中的固定大小的矩形区域进行分类，判断该区域有没有缺陷。另一方面，技术方案的设计没有深入的结合工业生产的实际情况，因而造成技术方案落地困难。表现出来的问题有：检测速度慢，导致生产效率低；缺陷的判定尺度不能灵活的满足不同客户、不同生产时期良品率的变化；对计算资源的要求高，通常需要1到2个英伟达1080TI的GPU才满足算力的要求；切换产品时需要收集和标注大量的数据，影响生产的效率。

发明内容

本发明提供了一种基于深度神经网络热度图预测的缺陷检测方法，以解决上述至少一个技术问题。

为解决上述问题，作为本发明的一个方面，提供了一种基于深度神经网络热度图预测的缺陷检测方法，包括：步骤1，对获取的图像进行预处理；步骤2，深度神经网络热度图预测；步骤3，根据预测输出的热力图点进行缺陷点聚类分析以获得缺陷的集合；步骤4，对所述集合中缺陷类型进行预测；步骤5，针对不同类型的缺陷，提取相应的缺陷特征；步骤6，根据所述缺陷特征和图像对缺陷进行分级处理。

优选地，步骤1包括：消除不同的产品外观、颜色、亮度、成像条件和技术等因素的影响，对输入图像进行归一化处理。

优选地，步骤2中的神经网络为基于Resnet18的深度卷积神经网络，该网络的输入是256×256的灰度图或者RGB三通道图像；该网络的输出包含：类别C和区域打分R_{_ij}；其中，C表示输入的图像里是否包含有缺陷，区域打分R_{_ij}把256×256的区域分成4x4或者2x2大小的格子，每个格子有个分数R_{_ij}∈[0,1],表示缺陷的强弱，即0表示没有缺陷，而1表示为最强的缺陷；类别C用来过滤区域的打分R_{_ij},即当C的值大于一个预设的T_{_h}时候才认为输入图像包含有缺陷，此时保留每个区域的打分。

优选地，步骤4中对热力图点进行聚类，从而形成一个个的缺陷。

优选地，聚类的方法基于DBSCAN算法。

优选地，缺陷的类别数目是任意的，其取决于应用的需求。

优选地，缺陷分类的基础模型是VGG16深度卷积网络模型。

优选地，为了兼顾分类的准确率和预测效率，裁剪了部分网络层次，以减小了卷积滤波器的个数。

优选地，步骤5中，对不同类型的缺陷，提取长度、宽度、外接矩形框大小、对比度、缺陷重心等以详细描述缺陷的几何和图像特征。

本发明可以利用缺陷的几何特征及其类别信息进行缺陷的分级处理，依生产现场的需要，灵活的控制缺陷的判定。另一方面，本发明把单一模型的功能分散在多个模块，从而比单一模型有着更好的性能，更有利于优化整个流程的检测速度。

附图说明

图1示意性地示出了本发明的流程图；

图2示意性地示出了神经网络结构示意图；

图3示意性地示出了预测的热力图；

图4示意性地示出了缺陷热力图点聚类分析图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

本发明的目的是为了解决当前工业表面缺陷检测中存在的实际问题，例如：深度学习模型体积大，参数个数庞大，从而导致检测速度慢，另一方面，工业生产现场的外观缺陷检测情况复杂，具体表现在：1)缺陷的形态和种类繁多，2)用户对缺陷的要求非常苛刻，要求算法能准确的检出微弱的缺陷，并精确的定量描述缺陷的几何形态，3)用户对缺陷的判定没有固定的标准，对良品率的要求在实际过程中灵活多变。

针对传统视觉检测方法和单一深度神经网络的不足，我们提出基于深度神经网络热度图预测的缺陷检测方法，旨在解决工业表面缺陷检测中，检测速度慢，输出缺陷判定不灵活，对硬件资源要求高的问题，具体包括如下步骤：

1.图像的预处理：实际工业生产场景中，不同的产品外观、颜色、亮度各不相同，成像条件和技术也千变万化，为了考虑到算法的通用性，图像预处理模块将消除这些因素的影响，包括对输入图像进行颜色，亮度调整归一化,I＝(I-u)/σ。

2.深度神经网络热度图预测：

在该步骤中，我们设计了基于Resnet18的深度卷积神经网络。该网络的输入是256×256的灰度图或者RGB三通道图像。输出包含两个部分：类别C，和区域打分R_{_ij}，其中C表示输入的图像里是否包含有缺陷，区域打分R_{_ij}把256×256的区域分成4x4或者2x2大小的格子，每个格子有个分数R_{_ij}∈[0,1],表示缺陷的强弱，即0表示没有缺陷，而1表示为最强的缺陷。类别C用来过滤区域的打分R_{_ij},即当C的值大于一个预设的T_{_h}时候才认为输入图像包含有缺陷，此时保留每个区域的打分。

3.缺陷点聚类分析：热力图预测模型输出如图4所示的热力图点(红色部分)。不同的缺陷有不同的几何形态或者工艺形态，为了对缺陷的类别进行判定，我们还需要对热力图点进行聚类，形成一个个的缺陷。聚类的方法基于DBSCAN算法，基本思想是如果像素I_{_ij}和I'_{_ij}的距离dist(I_{_ij},I'_{_ij})<ε,那么这两个像素属于同一个类。

4.缺陷的分类：热力图点经过聚类分析后得到缺陷的集合。该步骤是对缺陷的类别进行预测。缺陷的类别数目是任意的，取决于应用的需求。分类的基础模型是VGG16深度卷积网络模型。为了兼顾分类的准确率和预测效率，我们裁剪了部分的网络层次，减小了卷积滤波器的个数。另一方面，考虑到缺陷几何形状的千变万化，模型的输入时多尺度的，包括三种尺寸的大小，即64x64，128x128和128x64。

5.缺陷的集合特征提取：对不同类型的缺陷，我们提取了诸如长度，宽度，外接矩形框大小，对比度，缺陷重心等以详细的描述缺陷的几何和图像特征。用户有了这些特征，就可以对缺陷进行分级处理，适应生产线上动态的需求变化。

上述的技术方案，与当前的主流方案相比，有着如下几个方面的不同和优点：

(1)该方案基于缺陷热力图的预测：预测缺陷的热力图不仅可以输出缺陷具体的位置信息，还输出缺陷的强弱，且输出精度是可调的，可以适应不同的应用需求。

(2)热力图点的聚类分析：不仅便于用户对缺陷的分类，满足用户现场对工艺的控制和诊断，还有利用户对缺陷密度的控制。

(3)该方案把缺陷的检测分成热力图预测和缺陷分类两个主要步骤，有利于灵活的配置多模型的算法。例如，多个热力图预测模型，多个分类模型的串联，并联构成更加复杂的算法流程。

本发明首先通过深度神经网络预测出输入图像的热度图，该热度图包含对缺陷的像素级的描述，包括位置和强弱。然后，在此基础上，就可以很方便的利用缺陷的热度图信息，对缺陷进行分类，计算缺陷的几何特征等。客户可以利用缺陷的几何特征及其类别信息进行缺陷的分级处理，依生产现场的需要，灵活的控制缺陷的判定。另一方面，本发明把单一模型的功能分散在多个模块，从而比单一模型有着更好的性能，更有利于优化整个流程的检测速度。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度神经网络热度图预测的缺陷检测方法，其特征在于，包括：

步骤1，对获取的图像进行预处理；

步骤2，深度神经网络热度图预测；

步骤3，根据预测输出的热力图点进行缺陷点聚类分析以获得缺陷的集合；

步骤4，对所述集合中缺陷类型进行预测；

步骤5，针对不同类型的缺陷，提取相应的缺陷特征；

步骤6，根据所述缺陷特征和图像对缺陷进行分级处理。

2.根据权利要求1所述的基于深度神经网络热度图预测的缺陷检测方法，其特征在于，步骤1包括：消除不同的产品外观、颜色、亮度、成像条件和技术等因素的影响，对输入图像进行归一化处理。

3.根据权利要求1和2所述的基于深度神经网络热度图预测的缺陷检测方法，其特征在于，步骤2中的神经网络为基于Resnet18的深度卷积神经网络，

该网络的输入是256×256的灰度图或者RGB三通道图像；

该网络的输出包含：类别C和区域打分R_{_ij}；

其中，C表示输入的图像里是否包含有缺陷，区域打分R_{_ij}把256×256的区域分成4x4或者2x2大小的格子，每个格子有个分数R_{_ij}∈[0,1],表示缺陷的强弱，即0表示没有缺陷，而1表示为最强的缺陷；类别C用来过滤区域的打分R_{_ij},即当C的值大于一个预设的T_{_h}时候才认为输入图像包含有缺陷，此时保留每个区域的打分。

4.根据权利要求1所述的基于深度神经网络热度图预测的缺陷检测方法，其特征在于，步骤4中对热力图点进行聚类，从而形成一个个的缺陷。

5.根据权利要求4所述的基于深度神经网络热度图预测的缺陷检测方法，其特征在于，聚类的方法基于DBSCAN算法。

6.根据权利要求1所述的基于深度神经网络热度图预测的缺陷检测方法，其特征在于，缺陷的类别数目是任意的，其取决于应用的需求。

7.根据权利要求1所述的基于深度神经网络热度图预测的缺陷检测方法，其特征在于，缺陷分类的基础模型是VGG16深度卷积网络模型。

8.根据权利要求7所述的基于深度神经网络热度图预测的缺陷检测方法，其特征在于，为了兼顾分类的准确率和预测效率，裁剪了部分网络层次，以减小了卷积滤波器的个数。

9.根据权利要求1所述的基于深度神经网络热度图预测的缺陷检测方法，其特征在于，步骤5中，对不同类型的缺陷，提取长度、宽度、外接矩形框大小、对比度、缺陷重心等以详细描述缺陷的几何和图像特征。