CN115965609B - 利用知识蒸馏的陶瓷基板瑕疵智能检测方法 - Google Patents

Abstract

本申请公开了一种利用知识蒸馏的陶瓷基板瑕疵智能检测方法，涉及深度学习目标检测领域，该方法综合高分辨率样本图像和低分辨率样本图像分别输入教师网络模型得到的特征图计算教师网络模型的总损失函数来训练教师网络模型，然后基于知识蒸馏的方法利用教师网络模型指导训练学生网络模型，综合高低分辨率样本图像输入教师网络模型得到的融合特征以及低分辨率样本图像输入学生网络模型的特征图计算学生网络模型的总损失函数，最终指导学生网络模型训练得到瑕疵检测模型，即便是针对低分辨率的待测图像也能实现较高的检测准确率，从而可以在检测速度和检测准确率上都有较优表现，对陶瓷基板的瑕疵检测效率高。

Description

利用知识蒸馏的陶瓷基板瑕疵智能检测方法

技术领域

本申请涉及深度学习目标检测领域，尤其是一种利用知识蒸馏的陶瓷基板瑕疵智能检测方法。

背景技术

陶瓷基板是一种具有较大载流能力的超薄复合基板，是大功率电力电子电路结构的基础材料。在陶瓷基板的生产过程中，常出现镀金层损伤、边缘多金、缺瓷、油污、掺杂异物等瑕疵，快速而准确地检测并剔除这些存在瑕疵的陶瓷基板是保证生产质量的重要环节，具有重要意义。

目前在实际工业生产现场中常用的陶瓷基板的瑕疵检测主要分为两个阶段。第一阶段是驱动硬件采集陶瓷基板的表面图像，第二阶段利用瑕疵检测算法对采集的图像进行处理及预测，判断陶瓷基板是否存在瑕疵。但是由于陶瓷基板瑕疵形状多变、尺寸跨度大，且多金和缺瓷瑕疵有较多小目标，样本量小，各类瑕疵数量分布不均匀，因此瑕疵检测的难度较大。为了保证采集图像的质量以提高检测准确性，需要控制第一阶段的硬件运动较为平缓，这会导致所需时间较长，检测速度太慢，效率太低，难以应用在实际工业生产现场。若要减少硬件运动的时间以提高整体检测速度，单次硬件运动需要拍摄的瑕疵表面图像区域变大，处理后地相同区域大小的陶瓷基板的图像分辨率下降，基板上的瑕疵相对缩小，又会导致检测瑕疵的难度进一步增加，检测的准确率较低。

发明内容

本申请人针对上述问题及技术需求，提出了一种利用知识蒸馏的陶瓷基板瑕疵智能检测方法，本申请的技术方案如下：

一种利用知识蒸馏的陶瓷基板瑕疵智能检测方法，该方法包括：

构建知识蒸馏框架中的教师网络模型和学生网络模型，教师网络模型和学生网络模型具有相同的模型主体结构，且模型主体结构依次包括主干网络、颈部网络和头部网络；

综合陶瓷基板的高分辨率样本图像和低分辨率样本图像分别输入教师网络模型得到的特征图计算教师网络模型的总损失函数LOSS^T，并利用总损失函数LOSS^T训练得到教师网络模型的模型参数；低分辨率样本图像是对高分辨率样本图像下采样r倍得到的，且高分辨率样本图像的分辨率大于第一分辨率阈值，低分辨率样本图像的分辨率小于第二分辨率阈值；

加载教师网络模型的模型参数至学生网络模型；

根据高分辨率样本图像输入教师网络模型得到的颈部网络特征、低分辨率样本图像输入教师网络模型得到的颈部网络特征、低分辨率样本图像输入学生网络模型得到的颈部网络特征确定知识蒸馏损失LOSS_KD；

根据知识蒸馏损失LOSS_KD以及低分辨率样本图像输入学生网络模型得到的预测损失得到学生网络模型的总损失函数LOSS^S，并利用总损失函数LOSS^S训练学生网络模型得到瑕疵检测模型；

利用瑕疵检测模型对待测陶瓷基板的待测图像进行瑕疵检测，得到待测陶瓷基板的瑕疵检测结果。

其进一步的技术方案为，计算教师网络模型的总损失函数LOSS^T的方法包括：

将高分辨率样本图像输入教师网络模型得到对应的预测损失以及颈部网络特征/>s为参数；

将低分辨率样本图像输入教师网络模型得到对应的预测损失以及颈部网络特征/>r为偶数；

基于预测损失颈部网络特征/>预测损失/>以及颈部网络特征计算得到教师网络模型的总损失函数LOSS^T。

其进一步的技术方案为，基于预测损失颈部网络特征/>预测损失以及颈部网络特征/>计算得到教师网络模型的总损失函数LOSS^T的方法包括：

对各个参数s取值下的颈部网络特征和颈部网络特征/>进行特征融合得到融合特征F_s；

将融合特征F_s输入头部网络计算得到预测损失

确定教师网络模型的总损失函数λ为参数。

其进一步的技术方案为，确定知识蒸馏损失LOSS_KD的方法包括：

对高分辨率样本图像输入教师网络模型得到的颈部网络特征和低分辨率样本图像输入教师网络模型得到的颈部网络特征/>进行特征融合得到融合特征F_s；

计算融合特征F_s与低分辨率样本图像输入学生网络模型得到的颈部网络特征之间的知识蒸馏损失LOSS_KD，s为参数，r为偶数。

其进一步的技术方案为，计算融合特征F_s与颈部网络特征之间的知识蒸馏损失LOSS_KD的方法包括：

确定其中，/>表示计算任一参数s取值下的融合特征F_s与颈部网络特征/>之间的L1损失。

其进一步的技术方案为，对任一参数s取值的颈部网络特征和颈部网络特征进行特征融合得到融合特征F_s的方法包括：

对颈部网络特征进行卷积运算降低通道数得到处理后的颈部网络特征/>处理后的颈部网络特征/>与颈部网络特征/>具有相同的特征尺寸H×W以及相同的特征通道数C；

对处理后的颈部网络特征和颈部网络特征/>进行特征融合得到融合特征F_s。

其进一步的技术方案为，对任一参数s取值下处理后的颈部网络特征和颈部网络特征/>进行特征融合得到融合特征F_s的方法包括：

将处理后的颈部网络特征和颈部网络特征/>沿着特征通道的方向进行通道拼接得到拼接特征N_conl∈R^2C×H×W；

对拼接特征N_conl沿着X方向进行平均池化得到对拼接特征N_conl沿着Y方向进行平均池化得到/>

将和/>处理成相同的维度并依次经过通道拼接层、卷积层、批归一化层和非线性卷积层得到N_con2∈R^{2C/r×1×(H+W)}；

将N_con2∈R^{2C/r×1×(H+W)}进行分离并分别依次经过卷积层和Sigmoid函数，得到和/>

将和/>相乘得到权重矩阵h_s∈R^2C×H×W，按权重矩阵h_s在特征通道维度上的索引顺序将权重矩阵h_s分成维度为C×H×W的两个特征块依次为h_s{0}和h_s{1}；

将处理后的颈部网络特征与特征块h_s{0}进行矩阵相乘得到第一结果，将颈部网络特征/>与特征块h_s{1}进行矩阵相乘得到第二结果；

将第一结果和第二结果相加得到融合特征F_s。

其进一步的技术方案为，得到学生网络模型的总损失函数LOSS^S的方法包括：确定

其进一步的技术方案为，对于教师网络模型和学生网络模型中的任意一个网络模型，将高分辨率样本图像和低分辨率样本图像中的任意一种样本图像输入网络模型得到预测损失的方法包括：

将样本图像输入网络模型输出多种尺寸的特征图，将特征图划分为若干个单元网格，并在每个单元网格内利用若干个先验框预测得到预测框；

利用所有单元网格内的预测框与对应的真实框的位置尺寸信息计算得到定位损失LOSS_reg；基于梯度均衡机制利用所有单元网格内的预测框与对应的真实框的置信度计算得到置信度损失LOSS_GHM-C；利用所有单元网格内的预测框与对应的真实框的目标类别计算得到分类损失LOSS_cls；

得到样本图像输入网络模型的预测损失LOSS＝LOSS_reg+LOSS_GHM-C+LOSS_cls。

其进一步的技术方案为，

其中，λ_coord＝2-w×h，w×h是当前的特征图的尺寸，M²是特征图包含的单元网格的数量，B是每个单元网格中的预测框的数量；表示特征图的第i个单元网格中的第j个预测框中包含瑕疵目标；特征图的任意第i个单元网格中的第j个预测框的位置尺寸信息包括横坐标偏移量/>纵坐标偏移量/>宽边比/>和高边比/>特征图的任意第i个单元网格中的第j个预测框对应的真实框的位置尺寸信息包括横坐标偏移量/>纵坐标偏移量/>宽边比/>和高边比/>

N是特征图中包含的预测框的总数量且N＝M²×B，是特征图中任意第n个预测框的置信度p_n及其对应的真实框的置信度/>计算得到的交叉熵损失；GD(g_t)表示当前的预测框所在的以梯度模值g_t为中心的预定子区间的梯度密度且其中，/> ε为预设均分长度，k是第g_k个预测框的梯度模值；

P_ij(c)表示特征图的第i个单元网格中的第j个预测框中包含的瑕疵目标属于类别c的概率，表示特征图的第i个单元网格中的第j个预测框对应的真实框中包含的瑕疵目标属于类别c的概率，集合classes包括瑕疵目标的所有类别。

本申请的有益技术效果是：

本申请公开了一种利用知识蒸馏的陶瓷基板瑕疵智能检测方法，该方法基于知识蒸馏的方法，将高分辨率样本图像和低分辨率样本图像输入教师网络模型，综合高低分辨率样本图像的特征图计算总损失函数来训练教师网络模型，再利用教师网络模型指导学生网络模型训练，综合高低分辨率样本图像输入教师网络模型的特征图以及低分辨率样本图像输入学生网络模型的特征图计算学生网络模型的总损失函数，最终指导学生网络模型训练得到瑕疵检测模型，即便是针对低分辨率的待测图像也能实现较高的检测准确率，从而可以在检测速度和检测准确率上都有较优表现，对陶瓷基板的瑕疵检测效率高。

附图说明

图1是本申请一个实施例中的陶瓷基板瑕疵智能检测方法的方法流程图。

图2是教师网络模型和学生网络模型所采用的模型主体结构的示意图。

图3是计算教师网络模型的总损失函数的信息流示意图。

图4是对高分辨率样本图像的颈部网络特征和低分辨率样本图像的颈部网络特征进行特征融合的信息流示意图。

图5是计算学生网络模型的总损失函数的信息流示意图。

具体实施方式

下面结合附图对本申请的具体实施方式做进一步说明。

本申请公开了一种利用知识蒸馏的陶瓷基板瑕疵智能检测方法，请参考图1所示的流程图，该方法包括如下步骤：

1、构建知识蒸馏框架中的教师网络模型和学生网络模型，教师网络模型和学生网络模型具有相同的模型主体结构。本申请中的教师网络模型和学生网络模型分别基于YOLOV4模型构建，模型主体结构依次包括主干网络、颈部网络和头部网络，请参考图2示出的模型主体结构。任意一个图像输入该模型主体结构后，主干网络先对输入的图像进行多尺度特征提取，然后依次经过颈部网络和头部网络处理，最终输出多种尺寸的特征图，实现多尺度预测，如图2以网络模型最终输出多种尺寸的特征图y₁、y₂、y₃和y₄为例。

2、将陶瓷基板的高分辨率样本图像和低分辨率样本图像分别输入教师网络模型得到特征图。其中，低分辨率样本图像是对高分辨率样本图像下采样r倍得到的，且高分辨率样本图像的分辨率大于第一分辨率阈值，低分辨率样本图像的分辨率小于第二分辨率阈值，第一分辨率阈值大于第二分辨率阈值。r为偶数，一般取值2或4，也即r∈{2,4}。

3、综合高分辨率样本图像对应的特征图和低分辨率样本图像的特征计算教师网络模型的总损失函数LOSS^T，并训练得到教师网络模型的模型参数。该步骤包括如下步骤，请参考图3：

(1)将高分辨率样本图像输入教师网络模型得到对应的预测损失以及颈部网络特征/>s为参数。将低分辨率样本图像输入教师网络模型得到对应的预测损失以及颈部网络特征/>r为偶数。随着参数s的取值增大，对应表示的颈部网络特征的特征尺寸越小。

如图3所示，高分辨率样本图像输入教师网络模型后，主干网络对高分辨率样本图像进行多尺度特征提取后输入颈部网络，颈部网络输出颈部网络特征给头部网络，根据头部网络输出的特征图可以得到预测损失除此之外，还保存颈部网络输出的颈部网络特征。

同样的，如图3所示，低分辨率样本图像输入教师网络模型后，主干网络对低分辨率样本图像进行多尺度特征提取后输入颈部网络，颈部网络输出颈部网络特征给头部网络，根据头部网络输出的特征图可以得到预测损失除此之外，还保存颈部网络输出的颈部网络特征。

(2)基于预测损失颈部网络特征/>预测损失/>以及颈部网络特征计算得到教师网络模型的总损失函数LOSS^T。

为了使指导学生网络训练的教师网络特征同时能包含两种分辨率图像的信息，设计了一个特征融合模块将来自不同分辨率图像的颈部网络特征进行融合生成新的融合特征并参与教师网络模型的损失函数的计算。

也即首先对各个参数s取值下的颈部网络特征和颈部网络特征/>进行特征融合得到融合特征F_s。比如当参数r为2时，将高分辨率样本图像得到的颈部网络特征/>与低分辨率样本图像得到的/>进行特征融合，图3以此为例，参数r为其他取值时同理。

如上举例可以看出，在进行特征融合时，将不同层的颈部网络特征进行特征融合，因此在本申请中，高分辨率样本图像输入教师网络模型得到的颈部网络特征并不包括所有层的颈部网络特征，而是包括最低的r/2层颈部网络特征之外的其他各个高层的颈部网络特征。类似的，低分辨率样本图像输入教师网络模型得到的颈部网络特征/>并不包括所有层的颈部网络特征，而是包括最高的r/2层颈部网络特征之外的其他各个低层的颈部网络特征。比如在图3中，以颈部网络输出共4层颈部网络特征且参数r为2为例，则高分辨率样本图像输入教师网络模型得到的颈部网络特征包括高层的三层颈部网络特征低分辨率样本图像输入教师网络模型得到的颈部网络特征包括底层的三层颈部网络特征/>在图3所示的实例中，s∈[3,5]。

考虑到陶瓷基板的瑕疵目标通常较小，较少的顶层的颈部网络特征会被激活去参与预测，即图3中这一条支路较少参与预测，但若是直接去掉此支路则会导致性能下降，底层无法获取从/>所在的层级传递的高维特征信息。基于此，考虑到不存在高分辨率样本图像的颈部网络特征与/>对应，在设计特征融合时，只利用低分辨率样本图像的底层的颈部网络特征/>参与特征融合以及预测，由于最底层的/>对应的特征尺寸更大，有着更加精细化的特征，能在一定程度上提高小目标检测的能力。同样的，在参数r为不同取值时都可以进行类似的设计，保留低分辨率样本图像的顶层尺度较小的颈部网络特征但不参与特征融合，仅作为特征层输送高维特征信息给底层特征。

另外，在将高分辨率样本图像输入教师网络模型输出颈部网络特征后，对颈部网络特征/>进行卷积运算降低通道数得到处理后的颈部网络特征/>使得在参数s取值相同的情况下，处理后的颈部网络特征/>与颈部网络特征/>具有相同的特征尺寸H×W以及相同的特征通道数C，方便后续融合以及利用知识蒸馏进行训练。

将融合特征F_s输入头部网络计算得到预测损失最终可以确定教师网络模型的总损失函数/>λ为参数且λ∈[0.2,0.4]，一般可以取值为0.4。

对任一参数s取值下处理后的颈部网络特征和颈部网络特征/>进行特征融合得到融合特征F_s的方法包括，请参考图4：

(a)将处理后的颈部网络特征和颈部网络特征/>沿着特征通道的方向进行通道拼接得到拼接特征N_conl∈R^2C×H×W；

(b)对拼接特征N_conl沿着X方向进行平均池化得到对拼接特征N_conl沿着Y方向进行平均池化得到/>可以反映拼接特征在X方向上的关联性，以反映拼接特征在Y方向上的关联性。

(c)将和/>处理成相同的维度并依次经过通道拼接层、卷积层、批归一化层和非线性卷积层得到N_con2∈R^{2C/r×1×(H+W)}，使得拼接特征的通道信息和空间信息发生了交互。

(d)将N_con2∈R^{2C/r×1×(H+W)}进行分离为和/>并对依次经过卷积层和Sigmoid函数得到/>对/>依次经过卷积层和Sigmoid函数得到/>此时的/>和/>融合了两个颈部网络特征之间的空间信息和通道信息。

(e)将和/>相乘得到权重矩阵h_s∈R^2C×H×W，按权重矩阵h_s在特征通道维度上的索引顺序将权重矩阵h_s分成维度为C×H×W的两个特征块依次为h_s{0}和h_s{1}。

(f)将处理后的颈部网络特征与特征块h_s{0}进行矩阵相乘得到第一结果，将颈部网络特征/>与特征块h_s{1}进行矩阵相乘得到第二结果；

(g)将第一结果和第二结果相加得到融合特征F_s。最终得到的融合特征F_s不仅从高分辨率样本图像的颈部网络特征和低分辨率样本图像的颈部网络特征中选取了最合适的特征信息，而且同时考虑了通道和空间上的最优特征信息。

4、利用上述得到模型参数的教师网络模型对学生网络模型进行指导训练，首先，直接加载教师网络模型的模型参数至学生网络模型。

5、然后根据高分辨率样本图像输入教师网络模型得到的颈部网络特征、低分辨率样本图像输入教师网络模型得到的颈部网络特征、低分辨率样本图像输入学生网络模型得到的颈部网络特征确定知识蒸馏损失LOSS_KD。包括，请参考图5：

首先对高分辨率样本图像输入教师网络模型得到的颈部网络特征和低分辨率样本图像输入教师网络模型得到的颈部网络特征/>进行特征融合得到融合特征F_s。该步骤与上述步骤3相同，不再赘述。

然后计算融合特征F_s与低分辨率样本图像输入学生网络模型得到的颈部网络特征之间的知识蒸馏损失LOSS_KD。在一个实施例中，按照计算公式得到知识蒸馏损失LOSS_KD，其中，/>表示计算任一参数s取值下的融合特征F_s与颈部网络特征/>之间的L1损失。

在该步骤中，低分辨率样本图像输入学生网络模型得到的颈部网络特征并不包括所有层的颈部网络特征，而是包括最高的r/2层颈部网络特征之外的其他各个低层的颈部网络特征。

6、根据知识蒸馏损失LOSS_KD以及低分辨率样本图像输入学生网络模型得到的预测损失得到学生网络模型的总损失函数LOSS^S。在一个实施例中，学生网络模型的总损失函数/>λ用来平衡预测损失/>和知识蒸馏损失LOSS_KD各自占据的比重，该参数λ即为教师网络模型的总损失函数中的参数λ。最后利用总损失函数LOSS^S训练学生网络模型得到瑕疵检测模型。

7、训练得到瑕疵检测模型后，即可利用得到的该瑕疵检测模型对待测陶瓷基板的待测图像进行瑕疵检测，得到待测陶瓷基板的瑕疵检测结果。检测该待测图像可以是各种分辨率的图像，尤其可以是现有陶瓷基板瑕疵检测方法无法适用的低分辨率图像，也即本申请得到的瑕疵检测模型可以适用于分辨率小于第二分辨率阈值的待测图像，分辨率小于第二分辨率阈值的待测图像比如分辨率可以是608*608，或者分辨率更小为224*224。

在上述各个步骤中，对于教师网络模型和学生网络模型中的任意一个网络模型，将高分辨率样本图像和低分辨率样本图像中的任意一种样本图像输入该网络模型得到预测损失的方法包括：

将样本图像输入网络模型输出多种尺寸的特征图，将特征图划分为若干个单元网格，并在每个单元网格内利用若干个先验框预测得到预测框；

利用所有单元网格内的预测框与对应的真实框的位置尺寸信息计算得到定位损失LOSS_reg；基于梯度均衡机制利用所有单元网格内的预测框与对应的真实框的置信度计算得到置信度损失LOSS_GHM-C；利用所有单元网格内的预测框与对应的真实框的目标类别计算得到分类损失LOSS_cls。然后得到样本图像输入网络模型的预测损失LOSS＝LOSS_reg+LOSS_GHM-C+LOSS_cls。其中：

其中，λ_coord＝2-w×h，w×h是当前的特征图的尺寸，M²是特征图包含的单元网格的数量，B是每个单元网格中的预测框的数量；表示特征图的第i个单元网格中的第j个预测框中包含瑕疵目标；特征图的任意第i个单元网格中的第j个预测框的位置尺寸信息包括横坐标偏移量/>纵坐标偏移量/>宽边比/>和高边比/>特征图的任意第i个单元网格中的第j个预测框对应的真实框的位置尺寸信息包括横坐标偏移量/>纵坐标偏移量/>宽边比/>和高边比/>

N是特征图中包含的预测框的总数量且是特征图中任意第n个预测框的置信度p_n及其对应的真实框的置信度/>计算得到的交叉熵损失；GD(g_t)表示当前的预测框所在的以梯度模值g_t为中心的预定子区间的梯度密度且其中，/> ε为预设均分长度，k是第g_k个预测框的梯度模值。

P_ij(c)表示特征图的第i个单元网格中的第j个预测框中包含的瑕疵目标属于类别c的概率，表示特征图的第i个单元网格中的第j个预测框对应的真实框中包含的瑕疵目标属于类别c的概率，集合classes包括瑕疵目标的所有类别。

通过上述计算预测损失的方法，可以得到高分辨率样本图像输入教师网络模型后的预测损失低分辨率样本图像输入教师网络模型后的预测损失/>融合特征F_s输入头部网络后的预测损失/>以及低分辨率样本图像输入学生网络模型后得到的预测损失/>

以上所述的仅是本申请的优选实施方式，本申请不限于以上实施例。可以理解，本领域技术人员在不脱离本申请的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本申请的保护范围之内。

Claims (8)

1.一种利用知识蒸馏的陶瓷基板瑕疵智能检测方法，其特征在于，所述方法包括：

构建知识蒸馏框架中的教师网络模型和学生网络模型，所述教师网络模型和所述学生网络模型具有相同的模型主体结构，且模型主体结构依次包括主干网络、颈部网络和头部网络；

综合陶瓷基板的高分辨率样本图像和低分辨率样本图像分别输入所述教师网络模型得到的特征图计算所述教师网络模型的总损失函数LOSS^T，并利用总损失函数LOSS^T训练得到所述教师网络模型的模型参数；所述低分辨率样本图像是对所述高分辨率样本图像下采样r倍得到的，且所述高分辨率样本图像的分辨率大于第一分辨率阈值，所述低分辨率样本图像的分辨率小于第二分辨率阈值；

加载所述教师网络模型的模型参数至所述学生网络模型；

根据高分辨率样本图像输入所述教师网络模型得到的颈部网络特征、低分辨率样本图像输入所述教师网络模型得到的颈部网络特征、低分辨率样本图像输入所述学生网络模型得到的颈部网络特征确定知识蒸馏损失LOSS_KD，包括：对高分辨率样本图像输入所述教师网络模型得到的颈部网络特征和低分辨率样本图像输入所述教师网络模型得到的颈部网络特征/>进行特征融合得到融合特征F_s，计算融合特征F_s与低分辨率样本图像输入所述学生网络模型得到的颈部网络特征/>之间的知识蒸馏损失s为参数，r为偶数，/>表示计算任一参数s取值下的融合特征F_s与颈部网络特征/>之间的L1损失；

根据知识蒸馏损失LOSS_KD以及低分辨率样本图像输入所述学生网络模型得到的预测损失得到所述学生网络模型的总损失函数LOSS^S，并利用总损失函数LOSS^S训练所述学生网络模型得到瑕疵检测模型；

利用所述瑕疵检测模型对待测陶瓷基板的待测图像进行瑕疵检测，得到所述待测陶瓷基板的瑕疵检测结果。

2.根据权利要求1所述的方法，其特征在于，计算所述教师网络模型的总损失函数LOSS^T的方法包括：

将高分辨率样本图像输入所述教师网络模型得到对应的预测损失以及颈部网络特征/>s为参数；

将低分辨率样本图像输入所述教师网络模型得到对应的预测损失LOSS_l ^T以及颈部网络特征r为偶数；

基于预测损失颈部网络特征/>预测损失/>以及颈部网络特征/>计算得到所述教师网络模型的总损失函数LOSS^T。

3.根据权利要求2所述的方法，其特征在于，基于预测损失颈部网络特征/>预测损失/>以及颈部网络特征/>计算得到所述教师网络模型的总损失函数LOSS^T的方法包括：

对各个参数s取值下的颈部网络特征和颈部网络特征/>进行特征融合得到融合特征F_s；

将所述融合特征F_s输入头部网络计算得到预测损失

确定所述教师网络模型的总损失函数λ为参数。

4.根据权利要求1或3所述的方法，其特征在于，对任一参数s取值的颈部网络特征和颈部网络特征/>进行特征融合得到融合特征F_s的方法包括：

对颈部网络特征进行卷积运算降低通道数得到处理后的颈部网络特征/>处理后的颈部网络特征/>与颈部网络特征/>具有相同的特征尺寸H×W以及相同的特征通道数C；

对处理后的颈部网络特征和颈部网络特征/>进行特征融合得到融合特征F_s。

5.根据权利要求4所述的方法，其特征在于，对任一参数s取值下处理后的颈部网络特征和颈部网络特征/>进行特征融合得到融合特征F_s的方法包括：

将处理后的颈部网络特征和颈部网络特征/>沿着特征通道的方向进行通道拼接得到拼接特征N_conl∈R^2C×H×W；

对拼接特征N_conl沿着X方向进行平均池化得到对拼接特征N_conl沿着Y方向进行平均池化得到/>

将和/>处理成相同的维度并依次经过通道拼接层、卷积层、批归一化层和非线性卷积层得到N_con2∈R^{2C/r×1×(H+W)}；

将N_con2∈R^{2C/r×1×(H+W)}进行分离并分别依次经过卷积层和Sigmoid函数，得到和/>

将和/>相乘得到权重矩阵h_s∈R^2C×H×W，按权重矩阵h_s在特征通道维度上的索引顺序将权重矩阵h_s分成维度为C×H×W的两个特征块依次为h_s{0}和h_s{1}；

将处理后的颈部网络特征与特征块h_s{0}进行矩阵相乘得到第一结果，将颈部网络特征/>与特征块h_s{1}进行矩阵相乘得到第二结果；

将所述第一结果和所述第二结果相加得到融合特征F_s。

6.根据权利要求3所述的方法，其特征在于，得到所述学生网络模型的总损失函数LOSS^S的方法包括：确定

7.根据权利要求1所述的方法，其特征在于，对于教师网络模型和学生网络模型中的任意一个网络模型，将高分辨率样本图像和低分辨率样本图像中的任意一种样本图像输入所述网络模型得到预测损失的方法包括：

将所述样本图像输入所述网络模型输出多种尺寸的特征图，将特征图划分为若干个单元网格，并在每个单元网格内利用若干个先验框预测得到预测框；

利用所有单元网格内的预测框与对应的真实框的位置尺寸信息计算得到定位损失LOSS_reg；基于梯度均衡机制利用所有单元网格内的预测框与对应的真实框的置信度计算得到置信度损失LOSS_GHM-C；利用所有单元网格内的预测框与对应的真实框的目标类别计算得到分类损失LOSS_cls；

得到所述样本图像输入所述网络模型的预测损失LOSS＝LOSS_reg+LOSS_GHM-C+LOSS_cls。

8.根据权利要求7所述的方法，其特征在于，

其中，λ_coord＝2-w×h，w×h是当前的特征图的尺寸，M²是特征图包含的单元网格的数量，B是每个单元网格中的预测框的数量；表示特征图的第i个单元网格中的第j个预测框中包含瑕疵目标；特征图的任意第i个单元网格中的第j个预测框的位置尺寸信息包括横坐标偏移量/>纵坐标偏移量/>宽边比/>和高边比/>特征图的任意第i个单元网格中的第j个预测框对应的真实框的位置尺寸信息包括横坐标偏移量/>纵坐标偏移量/>宽边比/>和高边比/>

N是特征图中包含的预测框的总数量且N＝M²×B，是特征图中任意第n个预测框的置信度p_n及其对应的真实框的置信度/>计算得到的交叉熵损失；GD(g_t)表示当前的预测框所在的以梯度模值g_t为中心的预定子区间的梯度密度且其中，/> ε为预设均分长度，k是第g_k个预测框的梯度模值；

P_ij(c)表示特征图的第i个单元网格中的第j个预测框中包含的瑕疵目标属于类别c的概率，表示特征图的第i个单元网格中的第j个预测框对应的真实框中包含的瑕疵目标属于类别c的概率，集合classes包括瑕疵目标的所有类别。