CN113392915A - 一种基于深度学习的工业零件缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的工业零件缺陷检测方法，涉及工业质检领域，主要包括步骤：获取预设数量的工业零件原始图像及经过缺陷标记后的缺陷标注图；根据缺陷标注图获取卷积池化处理后的特征图，将特征图与池化阶段中各池化层的输出进行融合，并利用初始卷积核卷积得到分割网络；调整卷积核大小依次对分割网络进行训练；根据原始图像和缺陷标注图对相应分割网络的输出结果进行分类训练，得到分类网络；根据分割网络和分类网络对工业零件原始图像进行缺陷程度、缺陷位置和缺陷种类判断。本发明通过先后池化‑上采样‑融合的处理，将缺陷分割的问题转换为分类问题，利用卷积神经网络擅长分类的优势，实现工业零件的缺陷标注和分类的高效性。

Description

一种基于深度学习的工业零件缺陷检测方法

技术领域

本发明涉及工业质检领域，具体涉及一种基于深度学习的工业零件缺陷检测方法。

背景技术

在工业生产过程中，最终对工件表面的缺陷检测是最重要的。最主要采用的方法人工目测检测的方法，但其需要对员工进行培训，而小部分工厂也会采用例如ResNet50深层卷积网络和FPN结构构建特征金字塔，寻找缺陷特征，采用RetinaNet构建缺陷检测头模块，采用DeepLab V3或者U-NET构建语义特征提取模块来寻找缺陷的标记图像，但是他们都忽略了最重要的OK/NG检测无法自定检测的严苛程度，亦或者是在采用单独的OK/NG分类模型进行检测了例如IMAGENET进行分类。

人工目视法针对各种复杂的场景都可以适用，但是长时间的目视会让检测员工产生眼神经疲劳，导致检测效率和质量的下降，加上个体的不同，每个员工对标准的把控不同，导致出场的产品参差不齐。所以需要有一种客观准确的方法来进行工业上的缺陷检测。一种方案是采用Deeplab v3构建语义特征提取模块，但是如何寻找合适的rate，在增大感受野解决网格效应的同时避免模型退化是一个需要多次实验才能得出结果的问题，其不能满足工业4.0的速度要求，并且Deeplab v3参数量巨大，训练时间和训练需要的前期数据需求大，后期检测时间也很长，不能很好满足工业流水线的实时性要求；还有一种方案是采用ResNet50，不过其模型的参数量依旧巨大，需要专业的gpu并联而且训练几天才能达到比较好的效果，虽然在普通电脑上可以采用retrain的方式但是retrain的模型特征不一定符合当前需要检测的缺陷种类；一种方案是使用RetinaNet，它在准确度上达到很高的水平，但是只依靠RetinaNet进行检测并不能在工业检测上满足好坏检测以及缺陷位置标记，其结果无法给出综合评判好坏的分值也无法实现缺陷的像素分割；一种方案是采用U-NET，该网络模型在医学影像图像上有较为优秀的结果，但是针对工业图像由于工况的复杂性而难以收敛，收敛之后也有很大的可能性出现过拟合现象。

发明内容

为解决上述问题，本发明提出利用一个包含分割和分类在内的融合神经网络，在有限的参数量不影响检测速度的前提下保证输出缺陷位置图像分辨率和清晰的缺陷边界，并且给出OK/NG的分值以供工厂质检人员自行控制检测严苛程度，一种基于深度学习的工业零件缺陷检测方法，包括步骤：

S1：获取预设数量的工业零件原始图像及经过缺陷标记后的缺陷标注图；

S2：根据缺陷标注图获取卷积池化处理后的特征图，将特征图与池化阶段中各池化层的输出进行融合，并利用初始卷积核卷积得到分割网络；

S3：调整卷积核大小依次对分割网络进行训练；

S4：根据原始图像和缺陷标注图对相应分割网络的输出结果进行分类训练，得到分类网络；

S5：根据分割网络和分类网络对工业零件原始图像进行缺陷程度、缺陷位置和缺陷种类判断。

进一步地，所述步骤S1中，缺陷标注图为根据缺陷的种类，在原始图像缺陷对应位置设置相应灰度值的掩膜图像。

进一步地，所述步骤S2中，池化处理包括第一池化层至第三池化层，各池化层为别有预设数量的卷积层，池化层之间通过最大池化下采样层连接。

进一步地，特征图与池化阶段的池化层融合的具体步骤为：

对特征图依次进行三次上采样，其中，第一次上采样的输出与第三池化层的输出拼接融合，第二次上采样的输出与第二池化层的输出拼接融合，第三次上采样的输出与第一池化层的输出拼接融合。

进一步地，所述特征图在上采样后的输出和相应池化层的输出尺寸大小一致。

进一步地，所述步骤S4中，在进行分类训练前，还需通过近似最大函数结合交叉熵损失函数对分割网络的输出结果进行处理，以获得分割后含有特征概率的缺陷图像。

进一步地，所述近似最大函数为：

式中，P_k(x)为第x个像素点出现第k个特征的概率，a_k(x)为第x个像素点在第k个特征的激活函数，k为特征的类别数。

进一步地，所述交叉熵损失函数为：

式中，k＝{1，2...K}为每个像素正确的标签，Ω为特征空间，ω(x)为第x个像素点的权重，E为分割网络转换为分类网络的能量损失；ω_c为类别的初始预设权重值，d1为到最近缺陷边界的距离，d2为到第二近缺陷边界的距离，ω₀和σ为预设像素值。

进一步地，所述步骤S3之后还包括步骤，

S31：判断训练后分割网络的输出结果是否满足预设精度，若是，进入步骤S4，否则，返回步骤S3。

与现有技术相比，本发明至少含有以下有益效果：

(1)本发明所述的一种基于深度学习的工业零件缺陷检测方法，通过先后池化-上采样-融合的处理，将缺陷分割的问题转换为分类问题，从而可以很好的利用卷积神经网络擅长分类的优势，实现工业零件的缺陷标注和分类；

(2)通过多池化层的融合，相比于一般神经网络的分类器直接依赖于最后一层的输出(深层的复杂度高)，融合后的输出能够更加充分结合浅层的简单特征，所以即使对于小样本也不容易过拟合；

(3)由于数据的融合，网络层数较少，在保证检测结果质量的同时，还提高了检测效率；

(4)采用分段是训练策略，先进行缺陷位置和缺陷程度的分割训练，再转换为分类训练，可以很好的在小参数量上重头训练并防止过拟合现象的发生，拥有良好的泛化性。

附图说明

图1为一种基于深度学习的工业零件缺陷检测方法的方法步骤图；

图2为池化-上采样-融合过程的结构示意图。

具体实施方式

以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

实施例一

为解决现有技术手段中，对于工业零件缺陷的检测，人工检测标准不统一、持续性低，模块化智能检测的前期学习时间成本高、参数需求量大、无法满足新工业速度要求的问题。本发明提出了一种新的融合神经网络，从而实现在有限的参数量下即实现检测速度的高效性，又能够保证输出的缺陷位置图像分辨率和清晰度的可辨性，其具体如图1所示，一种基于深度学习的工业零件缺陷检测方法，包括步骤：

S1：获取预设数量的工业零件原始图像及经过缺陷标记后的缺陷标注图(对工业零件原始图像的缺陷处进行缺陷标记的图像)；

S2：根据缺陷标注图获取卷积池化处理后的特征图，将特征图与池化阶段中各池化层的输出进行融合，并利用初始卷积核卷积得到分割网络；

S3：调整卷积核大小依次对分割网络进行训练；

S4：根据原始图像和缺陷标注图对相应分割网络的输出结果进行分类训练，得到分类网络；

S5：根据分割网络和分类网络对工业零件原始图像进行缺陷程度、缺陷位置和缺陷种类判断。

进一步地，为了保证工业零件缺陷检测严苛度的可控性，给出OK/NG的分值以供工厂质检人员参考，在步骤S3之后还包括步骤，

S31：判断训练后分割网络的输出结果是否满足预设精度，若是，进入步骤S4，否则，返回步骤S3。

需要说明的是，预设精度是人为设置，可以根据工业零件缺陷的出厂标准自行设定，本实施例中不再对其进行具体限定。

基于上述步骤，以下来对本发明的思路进行细化说明。本发明整体采用的是卷积神经网络，但卷积神经网络的优势在于分类，而且利用卷积神经网络进行分类只需要极小的参数量就可以达到检测要求，进而无需花费大量时间进行参数计算，有着先天的计算效率优势(因此本发明所述方法只需少量数量的零件原始图像和缺陷标记后的缺陷标注图，其是依据需求进行的数量设定，具体预设数量的值不在此实施例中进行具体限定)。为了发挥出卷积神经网络的这一优势，以解决现有工业零件缺陷检测中存在的问题，本发明提出了分段式的网络编写训练策略，主要包括缺陷位置和图像整体好坏的判断(也即是对缺陷位置进行划分的分割训练，步骤S1至S3)，而后将各卷积层融合成整体网络，再对其进行利用卷积神经网络的优势进行分类训练。这样处理的好处在于，可以很好的在小参数量的情况下反复训练并防止过拟合现象的发生，从而使其拥有良好的泛化性。

在进行网络训练前，我们需要先采集一定数量的工业零件原始图像，并在其缺陷位置在对应的掩膜图像中用灰度值255标记，当然，如果需要分辨不同的缺陷种类，也可以用不同的灰度值来表示不同的缺陷，并标记整张图像的分类，命名分别为OKn和NGn(n为图像编号)。

在获取一定数量的原始图像和缺陷标记后的缺陷标记图的输入(对应图2中的Input)后，我们通过卷积池化网络对其进行三次池化处理以便得到最终的特征图。一般的，现有技术通常是直接将底层输出的特征图进行上采样后对其进行分类，然而这样的处理方式明显会丢失大量的信息，这就容易导致最终缺陷位置的标注出现偏移和扩大，而对于体积较小的缺陷，需要池化更多的次数才能对其进行准确分辨，这样就导致了过拟合的发生。在这里，本发明提出，通过将特征图上采样后和对应的池化层输出的特征图进行融合以解决这类问题。

如图2所示，是对本发明所述池化-上采样-融合过程的结构示意图，其主要包括三个模糊特征提取层(由缺陷标记图依次进行三次卷积池化处理获得)，和三个细节特征提取层。每个提取层在不同的感受野下拥有不同的滤波器来对图像细节进行拟合，下采样各提取层之间通过卷积池化下采样层(也即是卷积池化输出结果MaxPooling2D)连接,上采样各提取层之间通过反卷积上采样层(也即是反卷积上采样输出结果UpSampling2D)连接。在第一个模糊特征提取层中采用四个含有32个滤波器的卷积层(conv)，第二个模糊特征提取层中采用六个含有64个滤波器的卷积层，第三个模糊特征提取层中采用四个含有128个滤波器的卷积层；第一个细节特征提取层采用四个含有64个滤波器的卷积层并连接第三个模糊特征提取层，第二个细节特征提取层采用含有三个含有64个滤波器的卷积层并连接第二个模糊特征提取层，第三个细节特征提取层采用含有三个含有32个滤波器的卷积层并连接第一个模糊特征提取层。需要说明的是，两两卷积层之间的融合需要保证尺寸的一致，因此，为了方便最终的融合，本实施例中将融和前的模糊特征均转换为1024个特征向量，并通过初始卷积核卷积得到一个多维数组Tensor(Tensor的初始构建一般要求用(1,1)的卷积核)，形成了分割网络。

而后，通过不断调整卷积核的大小以使其适应不同大小的缺陷特征分割需求，需要说明的是，卷积核的大小取决于缺陷的大小和背景干扰的大小来设计，基本遵循在大感受野的时候采用更大一些的卷积核，在经过卷积池化处理之后逐步缩小卷积核，但是需要增大滤波器的数量来增强细节的表达能力，更好的分割缺陷的边界。

还需要说明的是，上述中所述的特征提取层均含经过relu激活的Conv2D层和BatchNormalization层，在进行缺陷分割的过程中，每一层卷积后都会用到BatchNormalization进行正则化。由于网络融合采用的是级联合并的形式，每一层的卷积在其最后的分割输出中都会有所显示，所以需要BatchNormalization让每一层的值在有效的范围内传递下去，而且采用了正则化之后，训练的收敛速度能够有效提升到三倍左右。

在这里，本发明所述的网络训练方法的前半部分，通过多尺度融合的方式连接了整个网络，由于工业零件表面斑驳复杂，加上缺陷大小、种类、颜色各有不同的问题，基于多维尺度融合的方式完美的解决该问题，每个尺度上的缺陷特征都能在最后输出的图像中有所体现，占有一定的权重，即不同大小的缺陷都能被检测出来。而模糊特征提取加细节特征提取的融合，正是借鉴了定位加分类的思想，将分割问题转换为卷积神经网络最擅长的分类问题，大大加快了拟合的速度，也提升了检测的准确率，从而将困扰已久的缺陷边界分割不明显的问题进行解决。

神经网络每一层提取的特征都相当于对输入数据的一个非线性变化，而随着深度的增加，变换的复杂度也逐渐增加。而本发明所述方法中使用的网络，在解码(decoder)阶段的结构(上采样并与对应池化层融合的结构)能够充分结合浅层较为简单的特征，所以即使对于小样本也不容易过拟合，而由于数据的融合，所以不需要很多的网络层数就能够得到足够多的特征信息，因此在其速度上也比一般的网络快一倍以上，而检测结果的质量并没有下降，甚至还有所提升。

在上述操作完成分割网络的输出后，就需要将分割网络进行转换，以便进行分类训练。在这里本发明通过近似最大函数结合交叉熵损失函数来对分割网络的输出结果进行处理，以获得分割后含有特征概率的缺陷图像，其中近似最大函数为：

式中，P_k(x)为第x个像素点出现第k个特征的概率，a_k(x)为第x个像素点在第k个特征的激活函数，k为特征的类别数。

而交叉熵损失函数为：

式中，k＝{1，2...K}为每个像素正确的标签，Ω为特征空间，ω(x)为第x个像素点的权重，X为对于所有像素的整体描述，E为分割网络转换为分类网络的能量损失；ω_c为类别的初始预设权重值，d1为到最近缺陷边界的距离，d2为到第二近缺陷边界的距离，ω₀和σ为预设像素值(基于经验，一般ω₀＝10，σ≈5)。

其中，训练完成后分割网络会保存网络结构，在进行分类训练是会将参数设置为不可训练并且添加分类层，继续训练。而由于分类网络采用分割网络的输出和分割网络输出之后经过卷积的输出合并，并采用一个二分类计算方便用户最后对质量严苛程度进行把控。同时，因为大部分的数据来源于分割网络的输出，所以分类网络仅需七万多个参数就达到了99％以上的正确率，参数量相比于基于IMAGENET的Inception v3的2320000个减少了将近五千倍，并且在相同数据集上测试，acc也提升了将近8个百分点。

综上所述，本发明所述的一种基于深度学习的工业零件缺陷检测方法，通过先后池化-上采样-融合的处理，将缺陷分割的问题转换为分类问题，从而可以很好的利用卷积神经网络擅长分类的优势，实现工业零件的缺陷标注和分类。

通过多池化层的融合，相比于一般神经网络的分类器直接依赖于最后一层的输出(深层的复杂度高)，融合后的输出能够更加充分结合浅层的简单特征，所以即使对于小样本也不容易过拟合。由于数据的融合，网络层数较少，在保证检测结果质量的同时，还提高了检测效率。

整体采用分段是训练策略，先进行缺陷位置和缺陷程度的分割训练，再转换为分类训练，可以很好的在小参数量上重头训练并防止过拟合现象的发生，拥有良好的泛化性。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”、“一”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

Claims (9)

1.一种基于深度学习的工业零件缺陷检测方法，其特征在于，包括步骤：

S1：获取预设数量的工业零件原始图像及经过缺陷标记后的缺陷标注图；

S2：根据缺陷标注图获取卷积池化处理后的特征图，将特征图与池化阶段中各池化层的输出进行融合，并利用初始卷积核卷积得到分割网络；

S3：调整卷积核大小依次对分割网络进行训练；

S4：根据原始图像和缺陷标注图对相应分割网络的输出结果进行分类训练，得到分类网络；

S5：根据分割网络和分类网络对工业零件原始图像进行缺陷程度、缺陷位置和缺陷种类判断。

2.如权利要求1所述的一种基于深度学习的工业零件缺陷检测方法，其特征在于，所述步骤S1中，缺陷标注图为根据缺陷的种类，在原始图像缺陷对应位置设置相应灰度值的掩膜图像。

3.如权利要求1所述的一种基于深度学习的工业零件缺陷检测方法，其特征在于，所述步骤S2中，池化处理包括第一池化层至第三池化层，各池化层为别有预设数量的卷积层，池化层之间通过最大池化下采样层连接。

4.如权利要求3所述的一种基于深度学习的工业零件缺陷检测方法，其特征在于，特征图与池化阶段的池化层融合的具体步骤为：

对特征图依次进行三次上采样，其中，第一次上采样的输出与第三池化层的输出拼接融合，第二次上采样的输出与第二池化层的输出拼接融合，第三次上采样的输出与第一池化层的输出拼接融合。

5.如权利要求4所述的一种基于深度学习的工业零件缺陷检测方法，其特征在于，所述特征图在上采样后的输出和相应池化层的输出尺寸大小一致。

6.如权利要求1所述的一种基于深度学习的工业零件缺陷检测方法，其特征在于，所述步骤S4中，在进行分类训练前，还需通过近似最大函数结合交叉熵损失函数对分割网络的输出结果进行处理，以获得分割后含有特征概率的缺陷图像。

7.如权利要求6所述的一种基于深度学习的工业零件缺陷检测方法，其特征在于，所述近似最大函数为：

式中，P_k(x)为第x个像素点出现第k个特征的概率，a_k(x)为第x个像素点在第k个特征的激活函数，k为特征的类别数。

8.如权利要求7所述的一种基于深度学习的工业零件缺陷检测方法，其特征在于，所述交叉熵损失函数为：

式中，k＝{1，2...K}为每个像素正确的标签，Ω为特征空间，ω(x)为第x个像素点的权重，E为分割网络转换为分类网络的能量损失；ω_c为类别的初始预设权重值，d1为到最近缺陷边界的距离，d2为到第二近缺陷边界的距离，ω₀和σ为预设像素值。

9.如权利要求1所述的一种基于深度学习的工业零件缺陷检测方法，其特征在于，所述步骤S3之后还包括步骤，

S31：判断训练后分割网络的输出结果是否满足预设精度，若是，进入步骤S4，否则，返回步骤S3。

Images