CN115829983A - 一种基于知识蒸馏的高速工业场景视觉质量检测方法 - Google Patents

Abstract

本发明涉及视觉检测技术领域，更具体地说，它涉及一种基于知识蒸馏的高速工业场景视觉质量检测方法，其技术方案要点是，包括以下步骤：S1、拍摄具有缺陷的产品图像，对所述图像进行处理以获得数据集；S2、构建教师网络模型，训练所述教师网络模型，获得第二教师网络模型训练参数Θ_t；S3、构建学生网络模型，基于所述第二教师网络模型训练参数Θ_t训练所述学生网络模型，获得第二学生网络模型训练参数Θ_s；S4、待检测目标图像输入所述学生网络模型，所述学生网络模型基于所述第二学生网络模型训练参数Θ_s和所述第二教师网络模型训练参数Θ_t输出所述待检测目标图像的检测结果。本发明既提高了视觉质量检测的准确性，又保持了较高的实时性能。

Description

一种基于知识蒸馏的高速工业场景视觉质量检测方法

技术领域

本发明涉及视觉检测技术领域，更具体地说，它涉及一种基于知识蒸馏的高速工业场景视觉质量检测方法。

背景技术

随着近几年深度学习的快速发展，许多深度学习算法引用到各个行业；而在工业界，视觉质量检测是工业自动化中重要的一环，基于深度学习的视觉质量检测技术已经应用到许多工业场景代替人工肉眼检测，包括电子、包装和印刷等行业。

目前大多数基于深度学习的方法都需要在大规模数据集上训练参数量大的复杂模型，以实现特定的工业智能应用；为了确保基于深度学习的方法所构建的视觉检测网络模型可以快速、准确地识别出缺陷，则需大量的计算能力和内存资源消耗，但是现有工业制造的技术远远达不到所需的要求，导致目前工业智能应用中基于深度学习的方法所构建的轻量化视觉检测网络模型在检测过程中存在检测速度慢和缺陷识别率低的问题。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于知识蒸馏的高速工业场景视觉质量检测方法，具有检测效率高、缺陷识别准确的优点。

本发明的上述技术目的是通过以下技术方案得以实现的，一种基于知识蒸馏的高速工业场景视觉质量检测方法，包括以下步骤：

S1、拍摄具有缺陷的产品图像，对所述图像进行处理以获得数据集；

S2、构建教师网络模型，训练所述教师网络模型，获得第二教师网络模型训练参数

S3、构建学生网络模型，基于所述第二教师网络模型训练参数

训练所述学生网络模型，获得第二学生网络模型训练参数

S4、待检测目标图像输入所述学生网络模型，所述学生网络模型基于所述第二学生网络模型训练参数

和所述第二教师网络模型训练参数

输出所述待检测目标图像的检测结果。

在其中一个实施例中，所述步骤S1包括以下步骤：

S11、拍摄有缺陷的产品图像；

S12、对所述产品图像进行数据扩充，构建图像数据集I_h＝[I_h1,I_h2,...I_hK]；

S13、对所述图像数据集I_h＝[I_h1,I_h2,...I_hK]进行缺陷标定，获得标签数据集I_a＝[I_a1,I_a2,...I_aK]。

在其中一个实施例中，所述步骤S2包括以下步骤：

S21、在yolov5-m模型的基础上加入注意力模块，获得所述教师网络模型；

S22、训练所述教师网络模型，获得所述第二教师网络模型训练参数

在其中一个实施例中，所述注意力模块在Coordinate Attention的基础上加入了LA模块。

在其中一个实施例中，所述步骤S22具体包括：

S221、将所述图像数据集I_h与标签数据集I_a输入到所述教师网络模型中，获取所述图像数据集I_h与所述标签数据集I_a的第一特征图与第一图像预测结果，其数学模型为：

G_IT＝F_T(I_h,I_a,heads₁,Θ_t)

F_T(·)为神经网络函数，表示所述教师网络模型，heads₁为网络预测的结果参数，I_h表示训练所述教师网络模型的输入图像，I_a表示所述输入图像的缺陷标签，Θ_t表示所述第一教师网络模型训练参数；

S222、多次重复步骤S221，获得多个所述第一教师网络模型训练参数Θ_t；

S223、选取最后一个所述第一教师网络模型训练参数Θ_t作为所述第二教师网络模型训练参数

在其中一个实施例中，所述步骤S3包括以下步骤：

S31、基于yolov5模型，构建学生网络模型；

S32、基于所述第二教师网络模型训练参数

对所述学生网络模型进行训练，获得所述第二学生网络模型训练参数

在其中一个实施例中，所述步骤S32包括以下步骤：

S321、将所述所述第二教师网络模型训练参数

所述图像数据集I_h与标签数据集I_a输入到所述学生网络模型中，获取所述图像数据集I_h与所述标签数据集I_a的第二特征图与第二图像预测结果，其数学模型为：

G_IS＝F_S(I_h,I_a,heads₂,Θ_s,Θ_t)

上式中F_S(·)为神经网络函数，表示学生网络模型，heads₂为网络预测的结果参数，Θ_s表示第一学生模型训练参数；

S322、多次重复步骤S321，获得多个所述第一学生网络模型训练参数Θ_s；

S323、选取最后一个所述第一学生网络模型训练参数Θ_s作为所述第二学生网络模型训练参数数

在其中一个实施例中，所述步骤S321具体包括：对所述第二特征图进行特征自适应，获得第三特征图，其数学模型表示如下：

F^Ad＝Adap(heads₂)

上式中heads₂为原始尺寸特征参数，Adap(·)为特征自适应过程；

神经网络Softmax输出层将所述第二图像预测结果转化为概率值p，同时输出层产生软化后的概率向量q_i，用于蒸馏损失函数的计算，其计算过程表示如下：

上式中qⁱ为“软化”后的概率向量，T为温度系数，预测结果取自然对数得到某一类的logit值zⁱ，预测结果取自然对数得到所有类的logit值z_j；

在所述学生网络模型训练的过程中，所述学生网络模型的损失函数为L_loss，其过程表示如下：

L_loss＝L_gt+λL_kd

上式中L_kd表示学生网络模型和教师网络模型预测结果的蒸馏损失函数，L_gt表示学生网络模型的检测损失，λ表示模拟损失加权因子，H和W分别表示特征图的长和宽，N表示特征图上像素点个数和，C表示通道个数，i和j表示目标锚点在特征图上的坐标。

在其中一个实施例中，所述步骤S3还包括以下步骤：

S33、基于所述第二教师网络模型训练参数

构建知识蒸馏模块，用于优化所述教师网络模型和所述学生网络模型；

所述知识蒸馏模块提取所述第一特征图与所述第三特征图，计算所述第三特征图的蒸馏损失，所述第三特征图的蒸馏损失与所述学生网络模型的检测损失结合优化所述教师网络模型和所述学生网络模型。

在其中一个实施例中，所述步骤S4包括以下步骤：

S41、拍摄待检测目标，获得待检测目标图像W；

S42、将所述待检测目标图像W输入到所述学生网络模型内；

S43、所述学生网络模型对所述目标图像进行视觉质量检测获得异常得分Score_m，其表示过程如下：

当异常得分Score_m＞φ，表示所拍摄的待检测产品存在质量问题，当异常得分Score_m＜φ，表示所拍摄的待检测产品不存在质量问题，其中φ表示异常临界值。

上述一种基于知识蒸馏的高速工业场景视觉质量检测方法，具有以下有益效果：

本发明针对轻量级模型会导致性能下降问题，构建基于yo lov5m改进的网络更深、性能更好的教师网络模型，用教师网络模型中的监督信息来训练轻量级学生模型，由此提高轻量级模型性能，既可得到的轻量级学生模型提高了视觉质量检测的准确性，同时保持了较高的实时性能，有利于在高速工业场景视觉质量检测的嵌入式设备等边缘设备部署中推广，同时也有利于基于知识蒸馏的深度学习方法在工业视觉质量检测的应用研究。

附图说明

图1是本实施例的流程示意图；

图2是本实施例中整体神经网络架构示意图；

图3是本实施例中教师网络模型架构示意图；

图4是本实施中注意力模块示意图；

图5是本实施例中学生网络模型架构示意图。

图6是本实施例中知识蒸馏网络架构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

一种基于知识蒸馏的高速工业场景视觉质量检测方法,如图1、图2和图6所示，包括以下步骤：

S1、拍摄具有缺陷的产品图像，对图像进行处理以获得数据集；

具体的，步骤S1包括以下步骤：

S11、使用工业相机拍摄拍ψ＝200张缺陷的产品图像；

S12、对上述200张产品图像分别通过调整图像亮度、旋转图像的方式扩充到K＝5000张图像，然后构建图像数据集I_h＝[I_h1,I_h2,...I_h5000]；

S13、使用Roboflow平台对图像数据集I_h＝[I_h1,I_h2,...I_h5000]进行缺陷标定，获得标签数据集I_a＝[I_a1,I_a2,...I_a5000]。

S2、构建教师网络模型，训练教师网络模型，获得第二教师网络模型训练参数

具体的，如图3所示，S21、在yolov5-m模型的基础上加入注意力模块，获得教师网络模型；

其中，如图4所示，注意力模块在Coordinate Attention的基础上创新地加入了LA模块，LA模块能够校正通道中的特征信息，剔除无用的特征信息，从而加强特征信息，由此得到性能更好的教师网络模型。

S22、训练教师网络模型，获得第二教师网络模型训练参数

具体的，S221、将图像数据集I_h与标签数据集I_a输入到教师网络模型中，获取图像数据集I_h与标签数据集I_a的第一特征图与第一图像预测结果，其数学模型为：

G_IT＝F_T(I_h,I_a,heads₁,Θ_t)

F_T(·)为神经网络函数，表示教师网络模型，heads₁为网络预测的结果参数，I_h表示训练教师网络模型的输入图像，I_a表示输入图像的缺陷标签，Θ_t表示第一教师网络模型训练参数。

S222、重复训练教师网络模型500次后，获得500个第一教师网络模型训练参数Θ_t；

S223、选取最后一个第一教师网络模型训练参数Θ_t作为第二教师网络模型训练参数

如图5所示，S3、构建学生网络模型，基于第二教师网络模型训练参数

训练学生网络模型，获得第二学生网络模型训练参数

具体的，S31、基于yolov5模型，构建学生网络模型，其中学生网络模型为浅层、参数量小的轻量化yolov5-s模型，轻量化模型具有检测速度快，检测精度差的特点；

S32、基于第二教师网络模型训练参数

对学生网络模型进行训练，获得第二学生网络模型训练参数

具体的，S321、将第二教师网络模型训练参数

图像数据集I_h与标签数据集I_a输入到学生网络模型中，获取图像数据集I_h与标签数据集I_a的第二特征图与第二图像预测结果，其数学模型为：

G_IS＝F_S(I_h,I_a,heads₂,Θ_s,Θ_t)

上式中F_S(·)为神经网络函数，表示学生网络模型，heads₂为网络预测的结果参数，Θ_s表示第一学生模型训练参数。

优选的，为了保证知识蒸馏的效果，必须使第一特征图与第二特征图的大小一致，因此在学生网络模型训练的过程中需要对第二特征图进行特征自适应，获得第三特征图，其数学模型表示如下：

F^Ad＝Adap(heads₂)

上式中heads₂为原始尺寸特征参数，Adap(·)为特征自适应过程。

同时，在训练学生网络模型的过程中，神经网络Softmax输出层将第二图像预测结果转化为概率值p，同时输出层产生软化后的概率向量qⁱ，用于蒸馏损失函数的计算，其计算过程表示如下：

上式中qⁱ为“软化”后的概率向量，T为温度系数，预测结果取自然对数得到某一类的logit值zⁱ，预测结果取自然对数得到所有类的logit值z_j；

在学生网络模型训练的过程中，学生网络模型的损失函数为L_loss，其过程表示如下：

L_loss＝L_gt+λL_kd

上式中L_kd表示学生网络模型和教师网络模型预测结果的蒸馏损失函数，L_gt表示学生网络模型的检测损失，λ表示模拟损失加权因子，H和W分别表示特征图的长和宽，N表示特征图上像素点个数和，C表示通道个数，i和j表示目标锚点在特征图上的坐标；

S322、重复训练学生网络模型500次后，获得500个第一学生网络模型训练参数Θ_s；

S323、选取最后一个第一学生网络模型训练参数Θ_s作为第二学生网络模型训练参数数

进一步的，基于第二教师网络模型训练参数

构建知识蒸馏模块，用于优化教师网络模型和学生网络模型；

知识蒸馏模块提取第一特征图与第三特征图，计算第三特征图的蒸馏损失，第三特征图的蒸馏损失与学生网络模型的检测损失结合优化教师网络模型和学生网络模型。

S4、学生网络模型对待检测目标图像进行检测并输出检测结果；

具体的，S41、拍摄待检测目标，获得待检测目标图像W；

S42、将待检测目标图像W输入到学生网络模型内；

S43、学生网络模型对目标图像进行视觉质量检测获得异常得分Score_m，其表示过程如下：

当异常得分Score_m＞φ，表示所拍摄的待检测产品存在质量问题，当异常得分Score_m＜φ，表示所拍摄的待检测产品不存在质量问题，其φ＝0.7表示异常临界值。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于知识蒸馏的高速工业场景视觉质量检测方法，其特征在于，包括以下步骤：

S1、拍摄具有缺陷的产品图像，对所述图像进行处理以获得数据集；

S2、构建教师网络模型，训练所述教师网络模型，获得第二教师网络模型训练参数

S3、构建学生网络模型，基于所述第二教师网络模型训练参数

训练所述学生网络模型，获得第二学生网络模型训练参数

S4、待检测目标图像输入所述学生网络模型，所述学生网络模型基于所述第二学生网络模型训练参数

和所述第二教师网络模型训练参数

输出所述待检测目标图像的检测结果。

2.根据权利要求1所述的一种基于知识蒸馏的高速工业场景视觉质量检测方法，其特征在于，所述步骤S1包括以下步骤：

S11、拍摄有缺陷的产品图像；

S12、对所述产品图像进行数据扩充，构建图像数据集I_h＝[I_h1,I_h2,...I_hK]；

S13、对所述图像数据集I_h＝[I_h1,I_h2,...I_hK]进行缺陷标定，获得标签数据集I_a＝[I_a1,I_a2,...I_aK]。

3.根据权利要求2所述的一种基于知识蒸馏的高速工业场景视觉质量检测方法，其特征在于，所述步骤S2包括以下步骤：

S21、在yolov5-m模型的基础上加入注意力模块，获得所述教师网络模型；

S22、训练所述教师网络模型，获得所述第二教师网络模型训练参数

4.根据权利要求3所述的一种基于知识蒸馏的高速工业场景视觉质量检测方法，其特征在于：所述注意力模块在Coordinate Attention的基础上加入了LA模块。

5.根据权利要求3所述的一种基于知识蒸馏的高速工业场景视觉质量检测方法，其特征在于，所述步骤S22具体包括：

S221、将所述图像数据集I_h与标签数据集I_a输入到所述教师网络模型中，获取所述图像数据集I_h与所述标签数据集I_a的第一特征图与第一图像预测结果，其数学模型为：

G_IT＝F_T(I_h,I_a,heads₁,Θ_t)

F_T(·)为神经网络函数，表示所述教师网络模型，heads₁为网络预测的结果参数，I_h表示训练所述教师网络模型的输入图像，I_a表示所述输入图像的缺陷标签，Θ_t表示所述第一教师网络模型训练参数；

S222、多次重复步骤S221，获得多个所述第一教师网络模型训练参数Θ_t；

S223、选取最后一个所述第一教师网络模型训练参数Θ_t作为所述第二教师网络模型训练参数

6.根据权利要求3或5所述的一种基于知识蒸馏的高速工业场景视觉质量检测方法，其特征在于，所述步骤S3包括以下步骤：

S31、基于yolov5模型，构建学生网络模型；

S32、基于所述第二教师网络模型训练参数

对所述学生网络模型进行训练，获得所述第二学生网络模型训练参数

7.根据权利要求6所述的一种基于知识蒸馏的高速工业场景视觉质量检测方法，其特征在于，所述步骤S32包括以下步骤：

S321、将所述所述第二教师网络模型训练参数

所述图像数据集I_h与标签数据集I_a输入到所述学生网络模型中，获取所述图像数据集I_h与所述标签数据集I_a的第二特征图与第二图像预测结果，其数学模型为：

G_IS＝F_S(I_h,I_a,heads₂,Θ_s,Θ_t)

上式中F_S(·)为神经网络函数，表示学生网络模型，heads₂为网络预测的结果参数，Θ_s表示第一学生模型训练参数；

S322、多次重复步骤S321，获得多个所述第一学生网络模型训练参数Θ_s；

S323、选取最后一个所述第一学生网络模型训练参数Θ_s作为所述第二学生网络模型训练参数数

8.根据权利要求7所述的一种基于知识蒸馏的高速工业场景视觉质量检测方法，其特征在于，所述步骤S321具体包括：对所述第二特征图进行特征自适应，获得第三特征图，其数学模型表示如下：

F^Ad＝Adap(heads₂)

上式中heads₂为原始尺寸特征参数，Adap(·)为特征自适应过程；

神经网络Softmax输出层将所述第二图像预测结果转化为概率值p，同时输出层产生软化后的概率向量q_i，用于蒸馏损失函数的计算，其计算过程表示如下：

上式中q_i为“软化”后的概率向量，T为温度系数，预测结果取自然对数得到某一类的logit值z_i，预测结果取自然对数得到所有类的logit值z_j；

在所述学生网络模型训练的过程中，所述学生网络模型的损失函数为L_loss，其过程表示如下：

L_loss＝L_gt+λL_kd

上式中L_kd表示学生网络模型和教师网络模型预测结果的蒸馏损失函数，L_gt表示学生网络模型的检测损失，λ表示模拟损失加权因子，H和W分别表示特征图的长和宽，N表示特征图上像素点个数和，C表示通道个数，i和j表示目标锚点在特征图上的坐标。

9.根据权利要求8所述的一种基于知识蒸馏的高速工业场景视觉质量检测方法，其特征在于，所述步骤S3还包括以下步骤：

S33、基于所述第二教师网络模型训练参数

构建知识蒸馏模块，用于优化所述教师网络模型和所述学生网络模型；

所述知识蒸馏模块提取所述第一特征图与所述第三特征图，计算所述第三特征图的蒸馏损失，所述第三特征图的蒸馏损失与所述学生网络模型的检测损失结合优化所述教师网络模型和所述学生网络模型。

10.根据权利要求8所述的一种基于知识蒸馏的高速工业场景视觉质量检测方法，其特征在于，所述步骤S4包括以下步骤：

S41、拍摄待检测目标，获得待检测目标图像W；

S42、将所述待检测目标图像W输入到所述学生网络模型内；

S43、所述学生网络模型对所述目标图像进行视觉质量检测获得异常得分Score_m，其表示过程如下：

当异常得分Score_m＞φ，表示所拍摄的待检测产品存在质量问题，当异常得分Score_m＜φ，表示所拍摄的待检测产品不存在质量问题，其中φ表示异常临界值。

Images