CN115797701A - 目标分类方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请涉及计算机视觉技术领域，特别涉及一种目标分类方法、装置、电子设备及存储介质，其中，方法包括：获取训练图像集；将训练图像集中的训练图像分别输入训练完成的图像质量评价模型和老师模型，输出所有训练图像的质量分数和类别置信度；筛选质量分数和类别置信度均大于对应阈值、且类别正确的多个第一图像，根据每个第一图像进行迭代数据增广得到满足预设条件的多个第二图像，并根据每个第二图像和对应类别置信度生成不同置信度分布的软标签；利用不同置信度分布的软标签和训练图像集训练学生模型，利用学生模型预测图像的实际质量和图像中的目标类型。由此，解决了关技术中模型“过度自信”，输出的类别置信度可靠性差等问题。

Description

目标分类方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机视觉技术领域，特别涉及一种目标分类方法、装置、电子设备及存储介质。

背景技术

目标分类是计算机视觉中十分重要的研究领域之一，是物体检测、图像分割、物体跟踪、行为分析、人脸识别等其他高层视觉任务的基础。其定义为给定一组各自被标记为有限类别的图像，通过模型提取图像的语义信息，进而判断该图像所属类别。不失一般性，用图1中二分类作为图像分类示意图，经过模型判别，最后根据不同类别的置信度决定该图像所属的目标类型。

传统的图像分类方法通常采用图2所示的流程，首先对输入图像进行预处理(缩放、颜色变换、随机裁剪等)，然后提取预处理后的特征，传统手工设计的特征包括方向梯度直方图、颜色直方图、尺度不变特征转换(SIFT)等，这些特征通常只用于描述图像的局部信息，常用词袋模型(Bag of Words)将其组合，形成最终的特征编码用于模型训练。但是传统的方法，都强依赖于人类专家经验，往往很难充分挖掘数据中的分布信息，难以应对多变的图像场景，鲁棒性和繁化性难以得到保证。

近年来基于深度学习的目标分类方法已经远超传统方法，但在实际使用中发现，基于深度学习所构建出的模型容易面临“模型过度自信”的情形，主要表现为模型对所预测类别往往能达到很高的置信度，即便在目标被截断或目标模糊等情况，也容易产生较高的置信度。

发明内容

本申请提供一种目标分类方法、装置、电子设备及存储介质，以解决相关技术中模型“过度自信”，输出的类别置信度可靠性差等问题。

本申请第一方面实施例提供一种目标分类方法，包括以下步骤：获取训练图像集；将所述训练图像集中的训练图像分别输入训练完成的图像质量评价模型和老师模型，输出所有训练图像的质量分数和类别置信度；筛选所述质量分数和所述类别置信度均大于对应阈值、且类别正确的多个第一图像，根据每个第一图像进行迭代数据增广得到满足预设条件的多个第二图像，并根据每个第二图像和对应类别置信度生成不同置信度分布的软标签，其中，所述第二图像的图像质量低于所述第一图像的图像质量；利用所述不同置信度分布的软标签和所述训练图像集训练学生模型，直到满足训练停止条件停止迭代训练，得到训练完成的学生模型，利用所述学生模型预测图像的实际质量和图像中的目标类型。

根据上述技术手段，本申请实施例可以利用图像质量评价模型和老师模型输出训练图像的质量分数和类别置信度，筛选符合条件的训练图像，对图像进行增广，增广后的图像用于生成不同软标签分布的样本，用于训练学生模型，能从模型角度更加客观的评价图像质量，软标签的分布更加广泛，不同分布的软标签作为监督信号指导学生模型的学习，使得学生模型最终输出的类别置信度更加符合预期，提升学生模型输出置信度的可靠性。

可选地，所述根据每个第一图像进行迭代数据增广得到满足预设条件的多个第二图像，包括：对所述第一图像进行数据增广得到第二图像；将所述第二图像输入所述图像质量评价模型，输出所述第二图像的质量分数，若所述第二图像的质量分数小于预设分数，将所述第二图像输入所述老师模型，输出所述第二图像的类别置信度，若所述类别置信度对应类别正确、且处于预设置信度区间，则得到所述满足预设条件的第二图像；若所述第二图像的质量分数大于预设分数，则对所述第二图像进行迭代数据增广，直到所述第二图像的质量分数小于预设分数、对应类别置信度对应类别正确且处于预设置信度区间，停止迭代。

根据上述技术手段，本申请实施例可以通过数据增广技术改变图像质量和像素内容，使得得到的图像质量下降，通过老师模型输出的置信度符合预设的置信度范围，且老师模型对该样本的类别判别正确，得到第二图像，为后面训练学生模型提供软标签。

可选地，在根据每个第一图像进行迭代数据增广得到满足预设条件的多个第二图像之前，还包括：获取训练所需的置信度分布需求；根据所述置信度分布需求调整置信度区间，得到满足所述置信度分布需求的所述预设置信度区间。

根据上述技术手段，本申请实施例可以根据训练所需的置信度分布需求来调整预设置信度区间，使得进行增广后的多个图像的软标签更具多样性。

可选地，在直到所述第二图像的质量分数小于预设分数、对应类别置信度对应类别正确且处于预设置信度范围之前，还包括：获取所述数据增广的迭代次数；判断所述迭代次数是否大于所述预设次数，若所述迭代次数大于预设次数，则停止迭代。

根据上述技术手段，本申请实施例可以在训练过程中循环使用数据增广，直至生成多个满足所有置信度分布要求的图像，如果超过预设迭代次数则停止，表明本次迭代不产生额外的训练样本和标签。

可选地，所述利用所述不同置信度分布的软标签和所述训练图像集训练学生模型，直到满足训练停止条件停止迭代训练，得到训练完成的学生模型，包括：获取所述所有训练图像中类别置信度最高、且类别正确的目标训练图像；根据所述目标训练图像的类别置信度构建损失函数，根据所述不同置信度分布的软标签和所述训练图像集训练学生模型，输出类别预测结果；利用所述损失函数计算所述类别预测结果的训练损失值，并通过反向传播更新所述学生模型，直到所述学生模型收敛，得到训练完成的学生模型。

根据上述技术手段，本申请实施例可以利用训练图像中类别置信度最高、且类别正确的目标训练图像中的数据进行训练学生模型，输出类别预测结果并通过损失函数计算类别预测结果的训练损失值，更新学生模型，使得学生模型能够得到更广泛置信度分布的指导，提升最终输出的置信度的可靠性。

可选地，使用多种不同模型作为老师模型，根据所述多个老师模型输出的类别置信度的均值作为最终类别置信度。

根据上述技术手段，本申请实施例可以使用多种不同模型作为老师模型，最终对将多个老师模型输出的类别置信度进行平均操作得到最终的置信度，提高置信度。

可选地，使用多种图像质量评价模型输出质量分数，根据所述多个质量分数的均值作为最终质量分数。

根据上述技术手段，本申请实施例可以使用多种图像质量评价模型，对最终输出的质量分数进行平均操作，得到最终的图像质量分数，提高置信度，客观评价图像质量。

可选地，若类别置信度对应类别与真实类别一致，则判定所述类别置信度对应类别正确。

本申请第二方面实施例提供一种目标分类方法，包括以下步骤：获取待预测的图像；将所述待预测的图像输入训练完成的学生模型，输出所述图像实际质量和图像中的目标类型，所述学生模型基于不同置信度分布的软标签和训练图像集训练得到，其中，利用训练完成的图像质量评价模型和老师模型预测训练图像集中的训练图像质量分数和类别置信度，筛选所述质量分数和所述类别置信度均大于对应阈值、且类别正确的多个图像，并对所述多个图像分别进行迭代数据增广确定不同置信度分布的软标签。

本申请第三方面实施例提供一种目标分类装置，包括：第一获取模块，用于获取训练图像集；输入模块，用于将所述训练图像集中的训练图像分别输入训练完成的图像质量评价模型和老师模型，输出所有训练图像的质量分数和类别置信度；筛选模块，用于筛选所述质量分数和所述类别置信度均大于对应阈值、且类别正确的多个第一图像，根据每个第一图像进行迭代数据增广得到满足预设条件的多个第二图像，并根据每个第二图像和对应类别置信度生成不同置信度分布的软标签，其中，所述第二图像的图像质量低于所述第一图像的图像质量；训练模块，用于利用所述不同置信度分布的软标签和所述训练图像集训练学生模型，直到满足训练停止条件停止迭代训练，得到训练完成的学生模型，利用所述学生模型预测图像的实际质量和图像中的目标类型。

本申请第四方面实施例提供一种目标分类装置，包括：第二获取模块，用于获取待预测的图像；输出模块，用于将所述待预测的图像输入训练完成的学生模型，输出所述图像实际质量和图像中的目标类型，所述学生模型基于不同置信度分布的软标签和训练图像集训练得到，其中，利用训练完成的图像质量评价模型和老师模型预测训练图像集中的训练图像质量分数和类别置信度，筛选所述质量分数和所述类别置信度均大于对应阈值、且类别正确的多个图像，并对所述多个图像分别进行迭代数据增广确定不同置信度分布的软标签。

本申请第五方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的目标分类方法。

本申请第六方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的目标分类方法。

由此，本申请至少具有如下有益效果：

(1)本申请实施例可以利用图像质量评价模型和老师模型输出训练图像的质量分数和类别置信度，筛选符合条件的训练图像，对图像进行增广，增广后的图像用于生成不同软标签分布的样本，用于训练学生模型，能从模型角度更加客观的评价图像质量，软标签的分布更加广泛，不同分布的软标签作为监督信号指导学生模型的学习，使得学生模型最终输出的类别置信度更加符合预期，提升学生模型输出置信度的可靠性。

(2)本申请实施例可以通过数据增广技术改变图像质量和像素内容，使得得到的图像质量下降，通过老师模型输出的置信度符合预设的置信度范围，且老师模型对该样本的类别判别正确，得到第二图像，为后面训练学生模型提供软标签。

(3)本申请实施例可以根据训练所需的置信度分布需求来调整预设置信度区间，使得进行增广后的多个图像的软标签更具多样性。

(4)本申请实施例可以在训练过程中循环使用数据增广，直至生成多个满足所有置信度分布要求的图像，如果超过预设迭代次数则停止，表明本次迭代不产生额外的训练样本和标签。

(5)本申请实施例可以利用训练图像中类别置信度最高、且类别正确的目标训练图像中的数据进行训练学生模型，输出类别预测结果并通过损失函数计算类别预测结果的训练损失值，更新学生模型，使得学生模型能够得到更广泛置信度分布的指导，提升最终输出的置信度的可靠性。

(6)本申请实施例可以使用多种不同模型作为老师模型，最终对将多个老师模型输出的类别置信度进行平均操作得到最终的置信度，提高置信度。

(7)本申请实施例可以使用多种图像质量评价模型，对最终输出的质量分数进行平均操作，得到最终的图像质量分数，提高置信度，客观评价图像质量。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为相关技术的二分类示意图；

图2为相关技术的分类方法示意图；

图3为根据本申请实施例提供的一种目标分类方法的流程图；

图4为根据本申请一个实施例提供的目标分类方法的流程图；

图5为根据本申请实施例提供的模型效果示意图；

图6为根据本申请实施例提供的一种目标分类方法的流程图；

图7为根据本申请实施例提供的目标分类装置的示例图；

图8为根据本申请实施例提供的目标分类装置的示例图；

图9为根据本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

图像分类技术有着广泛的应用，如安防领域的视频结构化分析、交通领域的交通场景识别、互联网领域的图像检索、医学领域的图像识别等。传统分类的模型一般包括支持向量机(SVM)、K近邻、决策树等，最终经过模型输出预测结果。

在传统方法中，无论特征设计，还是模型构建，都强依赖于人类专家经验，往往很难充分挖掘数据中的分布信息，难以应对多变的图像场景，鲁棒性和繁化性难以得到保证。近年来，神经网络的兴起为大规模图像多标签分类注入新的活力，尤其是卷积神经网络，其位移、旋转和缩放不变性等特性使其具有强大的特征拟合能力，可提取到鲁棒性更强的特征，能对图像进行全面且深层的表达。CNN是一种前馈神经网络，有局部感受野、权值共享和池化操作三个特征，使得CNN的训练参数远远少于全连接网络，增加了网络训练速度，又能减少过拟合的风险。当前，无论学术研究，或是工业应用，基于深度学习技术的目标分类方法已经产生了无可替代的作用，未来也定将持续发挥其强大的能力。

虽然基于深度学习的目标分类方法已经远超传统方法，但在实际使用中发现，基于深度学习所构建出的模型容易面临“模型过度自信”的情形，主要表现为模型对所预测类别往往能达到很高的置信度，即便在目标被截断或目标模糊等情况，也容易产生较高的置信度。在实际业务场景中，常需要根据模型预测置信度，动态调整分类的结果，以平衡预测结果的精度和召回，而“模型过度自信”情况，容易影响最终结果的合理性。为了解决这个问题，需要构建一种学习方法，满足：i)当图像质量不佳(如目标模糊、截断、强/弱光照等)时，模型对目标的预测置信度适当偏低，ii)目标质量较佳(目标清晰/较清晰、纹理可辨、对比对明显或较明显、分辨率较高等)时，模型对目标的预测置信度适当偏高。考虑到基于深度学习所构建的模型在训练时，通常通过“硬标签(Hard label)”作为监督信息，但事实上同一个数据包含不同类别的信息，直接标注为hard label会导致大量信息的损失，进而影响最终模型取得的效果。如何为目标产生分布合理的“软标签(soft label)”作为训练的监督信息，成为解决模型“过度自信”的直接有效的方法。

当前，已有相关的文献在解决类似问题。如下：

1.论文《Rethinking the inception architecture for computer vision》提出直接改变标签值的概率分布，如公式1所示，将其从one-hot形式转化为目标

值是软标签的概率分布。作者认为one-hot的编码方式需要错误类的logit趋向于负无穷，这样会导致正确类和错误类的logit输出误差很大，模型的泛化能力不强。并且因为网络训练时会有一些正则化的存在，logit的输出很难是负无穷。label-smooth的编码方式只要正确类和错误类有一定的数值误差即可。但是作者这种直接强行以相同的方式给目标分配软标签的方法缺乏合理性，且忽略了不通样本之间的差异性，难以产生合理的监督信息。

2.论文《Distilling the Knowledge in a Neural Network》首次提出使用蒸馏学习来通过teacher模型输出的soft label作为监督信息，通过KL散度构建学习范式，优化student模型性能，但是论文并没有约束student模型输出置信度的分布，无法保证student的“过度自信”情况。以该理论为基础，后来有关蒸馏学习的一系列论文，也同样存在这个问题。

有相关的专利中提出使用知识蒸馏和软标签生成的相关技术，如下：

1.一种数据有限和不平衡的语义软标签图像识别方法及装置，方法包括：构建语义软标签图像识别模型；在大规模文本数据集上对自监督网络进行预训练，获得词嵌入模块；利用词嵌入模块，对训练数据集中的每个类别，生成对应的软标签；将训练数据集输入特征提取器中获取特征向量，使用对应软标签来指导训练，得到训练好的语义软标签图像识别模型；将测试数据集输入训练好的语义软标签图像识别模型中进行测试，获得图像识别结果。本方法通过在大规模文本数据集上训练词嵌入模块，并利用其对数据集的每个类生成对应的包含丰富语义信息的软标签，在数据有限和不平衡的情况下，帮助训练得到泛化性能强的图像识别模型，提高了识别性能。但是该方法主要针对数据不平衡的情况而提出的解决方法，并未考虑到模型预测过程中的软标签分布情况；

2.一种基于软标签回归的无监督特征选择方法和系统，包括：获取遥感图像作为数据样本，对获取的数据样本进行特征提取，得到特征数据集；基于模糊聚类学习数据样本的软标签，通过稀疏回归模型学习特征选择矩阵，基于软标签和特征选择矩阵学习，构建基于软标签回归的无监督特征选择的目标函数；求解基于软标签回归的无监督特征选择的目标函数，得到特征选择矩阵；基于特征选择矩阵计算各个特征的重要性指标，将特征按照重要性指标从大到小排序，选择前k个特征构成特征子集，通过获取的特征子集对遥感图像进行分类。将软标签学习和特征选择矩阵学习建立了关联，求解了遥感图像更具判别性的特征子集，提高了遥感图像识别的准确性。该方法中，软标签的生成强依赖样本特征的提取和聚类方法的结果，该软标不直接用于模型的训练，无法解决模型“过度自信”的情况。

3.构建经过预先训练的教师网络以及具有多层级的分支输出的学生网络；将训练数据分别输入教师网络和学生网络，得到教师网络输出的概率分布以及各个分支输出的概率分布和特征；计算各个分支的知识蒸馏损失和自蒸馏损失；然后通过各个分支的知识蒸馏损失和自蒸馏损失计算对应的整体损失函数，并更新学生网络的参数；对学生网络各个分支输出的概率分布进行融合，得到对应的最终概率分布；重复上述步骤，直至学生网络训练至收敛。本发明能够通过教师网络和学生网络自身来协同优化和训练学生网络，使得不增加教师网络的复杂度并能够基于学生网络的输出进行自监督和自学习。该方法通过多分支蒸馏和自蒸馏提升学生的性能，但是未考虑到所生成的软标签的分布情况；

4.教师自适应联合知识蒸馏，对教师模型的中间层特征，选择深度神经网络对这些特征进行融合，并用加权预测融合各个教师模型的预测结果，得到最终的特征让学生模型学习并构造学生模型的最终损失函数。对于不同的样本，学生模型能够有偏向的学习不同的教师模型的预测结果，将不同教师模型传递的知识有差异的结合，形成更加有效的软标签，引导学生模型的学习，使得学生模型的学习更加有效，令学生模型的最终使用效果更好。该方法中，融合多个教室网络的预测结果作为软标签，指导学生的训练，但是对于同一个样本，难以形成覆盖范围更广的软标签的分布。

下面参考附图描述本申请实施例的目标分类方法、装置、电子设备及存储介质。针对上述背景技术中提到的当前的图像分类问题中，并没有针对模型的“过度自信”问题提出有效的解决办法的问题，本申请提供了一种目标分类方法，在该方法中，通过使用图像质量评价和知识蒸馏的方式，在训练过程中，自动生成多种样本，又为不同的样本自适应地生成软标签，且生成的软标签可满足不同分布，通过生成样本和不同分布的标签，结合原始数据及其原始标签共同训练学生模型，可提升学生模型最终输出的类别置信度的可靠性。由此，解决了相关技术中模型“过度自信”，输出的类别置信度可靠性差等问题。

需要说明的是，为阐述本申请的目标分类方法，定义相关变量。设一次迭代训练样本为{(X₀,0),(X₁,10,…,(X_N,N)}，其中每个X_i表示第i个训练图像样本，对应的y_i表示该样本的真值标签，且y_i∈R^K是one-hot形式的标签，其中K表示类别数量。设样本X_i属于第f个类别，则有y_i＝[0,0,...,1,...,0]，其中的1位于第f位。模型用K表示，老师模型表示为M_t，学生模型表示为M_s。用η_t和η_s分别表示老师模型和学生模型输出的类别置信度中的最高值。图像质量评价模型用M_eval表示。利用图像质量评价模型对目标X_i的评价得分记为E_i，类别数为K。

具体而言，图3为本申请实施例所提供的一种目标分类方法的流程示意图。

如图3所示，该目标分类方法包括以下步骤：

在步骤S101中，获取训练图像集。

在步骤S102中，将训练图像集中的训练图像分别输入训练完成的图像质量评价模型和老师模型，输出所有训练图像的质量分数和类别置信度。

其中，使用多种图像质量评价模型输出质量分数，根据多个质量分数的均值作为最终质量分数。

其中，使用多种不同模型作为老师模型，根据多个老师模型输出的类别置信度的均值作为最终类别置信度。

需要说明的是，图像质量模型选取无参考图像质量评价的算法模型，旨在对输入的训练数据进行质量评分，从模糊、噪声、对比度、失真、块效应等方面为输入数据进行综合质量评估，得到E_i，表示样本X_i的分数；对老师模型进行训练的期间，遵循常规的深度学习图像分类的设置方法，包括但不限于数据增广、交叉熵损失函数的使用等。

可以理解的是，本申请使用多种图像质量评价模型输出质量分数，将质量分数进行平均操作作为最终的质量分数，使用多种不同模型作为老师模型，将类别置信度进行平均操作作为最终的置信度，可以提升模型输出结果的置信度，从而提高目标分类的可靠性。

在步骤S103中，筛选质量分数和类别置信度均大于对应阈值、且类别正确的多个第一图像，根据每个第一图像进行迭代数据增广得到满足预设条件的多个第二图像，并根据每个第二图像和对应类别置信度生成不同置信度分布的软标签，其中，第二图像的图像质量低于第一图像的图像质量。

其中，质量分数阈值可以设置为σ，类别置信度阈值可以设置为μ。

需要说明的是，本申请实施需要筛选质量分数E_i>σ，类别置信度大于μ，且类别正确的图像，此种图像质量较佳，可用于生成不同软标签分布的样本。

其中，预设条件可以依据具体情况进行设定，对此不做限制。

可以理解的是，本申请实施例可以筛选符合条件的第一图像后，通过降低样本质量的数据增广方式，得到满足条件的第二图像，根据第二图像和对应类别置信度生成不同置信度分布的软标签。

其中，数据增广方式可以使用多种增广技术的组合，比如调整模糊度、对比度、色度、饱和度等。

在本申请实施例中，根据每个第一图像进行迭代数据增广得到满足预设条件的多个第二图像，包括：对第一图像进行数据增广得到第二图像；将第二图像输入图像质量评价模型，输出第二图像的质量分数，若第二图像的质量分数小于预设分数，将第二图像输入老师模型，输出第二图像的类别置信度，若类别置信度对应类别正确、且处于预设置信度区间，则得到满足预设条件的第二图像；若第二图像的质量分数大于预设分数，则对第二图像进行迭代数据增广，直到第二图像的质量分数小于预设分数、对应类别置信度对应类别正确且处于预设置信度区间，停止迭代。

其中，预设分数和预设置信度区间均可依据具体情况进行设定，不做具体限定，比如预设分数可以设置为原始分数E_i，预设置信度区间可以设置为{(0.5,0.7],(0.7,0.8],(0.8,0.85],(0.85,0.9],(0.9,0.95]}等。

具体而言，以预设分数为原始分数为E_i为例，本申请实施例将第一图像通过降低样本质量的数据增广方式，比如通过调整清晰度、亮度、色度、饱和度和对比度等，降低其质量，得到第二图像，直至使得质量评价模型得到的分数小于原始得分E_i，然后将第二图像输入老师模型，输出类别置信度，如果类别置信度对应的类别正确且满足多个预定义范围的其中一个，如{(0.5,0.7],(0.7,0.8],(0.8,0.85],(0.85,0.9],(0.9,0.95]}等，则得到满足预设条件的第二图像。如果第二图像的质量分数大于原始得分E_i，需要进行迭代数据增广，直至满足条件，迭代停止。

在本申请实施例中，若类别置信度对应类别与真实类别一致，则判定类别置信度对应类别正确。

在本申请实施例中，在根据每个第一图像进行迭代数据增广得到满足预设条件的多个第二图像之前，还包括：获取训练所需的置信度分布需求；根据置信度分布需求调整置信度区间，得到满足置信度分布需求的预设置信度区间。

可以理解的是，本申请实施例可以根据训练所需的置信度分布需求来调整预设置信度区间，从而获取到所需的第二图像，使得进行增广后的多个图像的软标签更具多样性。

在本申请实施例中，在直到第二图像的质量分数小于预设分数、对应类别置信度对应类别正确且处于预设置信度范围之前，还包括：获取数据增广的迭代次数；判断迭代次数是否大于预设次数，若迭代次数大于预设次数，则停止迭代。

其中，预设次数依据具体情况进行设定，对此不做限制，比如可以为4次或5次。

可以理解是，本申请实施例在多次数据增广仍未达到降低质量或得到预定义的置信度范围内的输出，则停止增广。设置增广上线为H次，超过则停止，表明本次迭代不产生额外的训练样本和标签。

在步骤S104中，利用不同置信度分布的软标签和训练图像集训练学生模型，直到满足训练停止条件停止迭代训练，得到训练完成的学生模型，利用学生模型预测图像的实际质量和图像中的目标类型。

可以理解的是，本申请实施例可以将上述步骤中通过数据增广得到的第二图像集和老师模型输出的置信度分布作为软标签，用于训练学生模型。通过这种方式，让网络模型自行构建不同分布的置信度，指导学生网络的模型，使得学生网络能得到更广泛置信度分布的指导，提升最终输出的置信度的可靠性，满足：对于图像质量较佳的样本，能够输出高置信度的分类结果，对于质量不佳的样本，能够输出置信度较低的分类结果。

需要说明的是，对于学生模型，其接受的输入为原始数据和降低图像质量的数据，通过这种方式，可在线训练学生网络，不但使其接受的样本更加具有多样性，真值标签的监督信息也具有多样性，提升其鲁棒性和输出置信度的可靠性。

在本申请实施例中，利用不同置信度分布的软标签和训练图像集训练学生模型，直到满足训练停止条件停止迭代训练，得到训练完成的学生模型，包括：获取所有训练图像中类别置信度最高、且类别正确的目标训练图像；根据目标训练图像的类别置信度构建损失函数，根据不同置信度分布的软标签和训练图像集训练学生模型，输出类别预测结果；利用损失函数计算类别预测结果的训练损失值，并通过反向传播更新学生模型，直到学生模型收敛，得到训练完成的学生模型。

具体而言，本申请实施例首先需要获取训练图像中置信度最高且类别正确的目标训练图像，其次根据类别置信度构建损失函数，以增广后的图像及老师模型输出的软标签指导学生模型，输出类别预测结果，最后根据损失函数计算训练损失值，并通过反向传播更新学生模型，促进模型收敛，得到训练完成的学生模型。

下面通过一个具体实施例来阐述目标分类方法，主要内容如下：

1、使用已有标注的训练数据{(X₀,0),(X₁,1),…,(X_N,N)}，对老师模型M_t进行训练。训练期间，遵循常规的深度学习图像分类的设置方法，包括但不限于数据增广、交叉熵损失函数的使用等。然后为老师模型设置类别置信度阈值μ，当老师模型输出的最高类别的置信度值低于阈值，则该样本不通过数据增广调整置信度；

2、选取无参考图像质量评价的算法模型M_eval，旨在对输入的训练数据进行质量评分，从模糊、噪声、对比度、失真、块效应等方面为输入数据进行综合质量评估，得到E_i，表示样本X_i的分数。然后为图像质量分数设置阈值σ，当满足得分E_i>σ时，表示样本X_i满足高质量要求。

3、构建基于图像质量评价和知识蒸馏动态调整软标签分布范围的目标分类方法，其一次迭代的训练过程如图4所示。在一次迭代训练的过程中，用到了已经训练好的老师模型以及图像质量评价模型。其主要过程如下：

(1)输入本次迭代所需要的数据，记作D∈R^B×C×H×W，其中B表示本轮迭代的图像数量，C表示每张图像的通道，H和W分别表示图像的宽和高。数据D分别流向“学生模型”和“图像质量评价模型与训练完成的老师模型的组合(后续简称组合模型)”。

(2)数据D流向组合模型后，得到该数据的质量评价分数E∈R^B老师模型对数据预测的结果P＝{p_i∈R^K|i＝0,…,}，是经过softmax函数输出的类别置信度向量，如果p_i最高的置信度对应的类别和真值相等，则p_i作为样本X_i的软标签指导学生网络的训练。

(3)对于数据D中的样本X_i，如果质量分数E_i>σ且max{p₀,1,…,_K}>，则认为该样本质量较佳，且以高置信度正常输出，该样本被用作制定不同软标签分布的样本。通过降低样本质量的数据增广方式，比如通过调整清晰度、亮度、色度、饱和度和对比度等，降低其质量，直至使得质量评价模型得到的分数小于原始得分，然后将增广后的图像送至老师模型，输出预测置信度，如果最高置信度对应的类别正确且置信度满足多个预定义范围的其中之一，如{(0.5-0.7],(0.7,0.8],(0.8,0.85],(0.85,0.9],(0.9,0.95]}等，则把本次数据增广得到的图像和老师模型输出的置信度分布作为软标签，用于训练学生网络。通过这种方式，让网络模型自行构建不同分布的置信度，指导学生网络的模型，使得学生网络能得到更广泛置信度分布的指导，提升最终输出的置信度的可靠性，满足：对于图像质量较佳的样本，能够输出高置信度的分类结果，对于质量不佳的样本，能够输出置信度较低的分类结果。

(4)对于(3)中所述的数据增广，如果多次数据增广仍未达到降低质量或得到预定义的置信度范围内的输出，则停止增广。设置增广上线为H次，超过则停止，表明本次迭代不产生额外的训练样本和标签。

综上，本申请实施例提出的目标分类方法不但在训练过程中有监督地扩充训练数据，还能根据图像质量评价和知识蒸馏扩充软标签，自动生成训练样本以及软标签真值，不但扩充了训练数据，且扩充其标签的分布。在软标签生成过程中，依据老师模型和图像质量评价模型，生成可动态定义范围的软标签，使得生成软标签分布更加广泛，有利于优化学生模型的置信度可靠性。相比于现有的蒸馏学习生成软标签的方法。本方法能够控制生成软标签的分布范围，使其监督信息更具多样化，并且可以构建出一种端到端学习的框架，更方面实际搭建和部署，可进行在线训练优化，解决模型在对目标类别进行预测过程中，出现的“过度自信”的情况，提升模型置信度的可靠性，满足实际业务中，根据置信度修改目标类型，有效调整召回率和精度的需求。

为展示本方法的效果，本申请以佩戴安全帽的预测置信度为例进行说明。图5所示为模型优化前后的佩戴安全帽预测情况。按照图5所示的箭头方向，图像质量逐渐变差，模型在优化前置信度普遍偏高，置信度和图像质量无明显正相关性，置信度无法反映出图像质量的关系。优化后的学生模型的预测置信度随着图像质量下降而下降，其置信度能直接反映图像质量，符合预期结果。

根据本申请实施例提出的目标分类方法，可以利用图像质量评价模型和老师模型输出训练图像的质量分数和类别置信度，筛选符合条件的训练图像，对图像进行增广，增广后的图像用于生成不同软标签分布的样本，用于训练学生模型，能从模型角度更加客观的评价图像质量，软标签的分布更加广泛，不同分布的软标签作为监督信号指导学生模型的学习，使得学生模型最终输出的类别置信度更加符合预期，提升学生模型输出置信度的可靠性；可以通过数据增广技术改变图像质量和像素内容，使得得到的图像质量下降，通过老师模型输出的置信度符合预设的置信度范围，且老师模型对该样本的类别判别正确，得到第二图像，为后面训练学生模型提供软标签；可以根据训练所需的置信度分布需求来调整预设置信度区间，使得进行增广后的多个图像的软标签更具多样性；可以在训练过程中循环使用数据增广，直至生成多个满足所有置信度分布要求的图像，如果超过预设迭代次数则停止，表明本次迭代不产生额外的训练样本和标签；可以利用训练图像中类别置信度最高、且类别正确的目标训练图像中的数据进行训练学生模型，输出类别预测结果并通过损失函数计算类别预测结果的训练损失值，更新学生模型，使得学生模型能够得到更广泛置信度分布的指导，提升最终输出的置信度的可靠性；可以使用多种不同模型作为老师模型，最终对将多个老师模型输出的类别置信度进行平均操作得到最终的置信度，提高置信度；可以使用多种图像质量评价模型，对最终输出的质量分数进行平均操作，得到最终的图像质量分数，提高置信度，客观评价图像质量。

图6是本申请实施例的一种目标分类方法的流程图。

如图6所示，该目标分类方法包括以下步骤：

在步骤S201中，获取待预测的图像。

在步骤S202中，将待预测的图像输入训练完成的学生模型，输出图像实际质量和图像中的目标类型，学生模型基于不同置信度分布的软标签和训练图像集训练得到，其中，利用训练完成的图像质量评价模型和老师模型预测训练图像集中的训练图像质量分数和类别置信度，筛选质量分数和类别置信度均大于对应阈值、且类别正确的多个图像，并对多个图像分别进行迭代数据增广确定不同置信度分布的软标签。

其中，学生模型在上述实施例中已经进行阐述，此处不再赘述。

综上，本申请实施例可以将待预测的图像输入训练完成的学生模型中，输出图像实际质量和图像中的目标类型。

其次参照附图为根据本申请提供的目标分类装置。

图7、图8为目标分类装置的方框示意图。

如图7所示，该目标分类装置10包括：第一获取模块101、输入模块102、筛选模块103和训练模块104。

其中，第一获取模块101用于获取训练图像集；输入模块102用于将训练图像集中的训练图像分别输入训练完成的图像质量评价模型和老师模型，输出所有训练图像的质量分数和类别置信度；筛选模块103用于筛选质量分数和类别置信度均大于对应阈值、且类别正确的多个第一图像，根据每个第一图像进行迭代数据增广得到满足预设条件的多个第二图像，并根据每个第二图像和对应类别置信度生成不同置信度分布的软标签，其中，第二图像的图像质量低于第一图像的图像质量；训练模块104用于利用不同置信度分布的软标签和训练图像集训练学生模型，直到满足训练停止条件停止迭代训练，得到训练完成的学生模型，利用学生模型预测图像的实际质量和图像中的目标类型。

如图8所示，该目标分类装置20包括：第二获取模块201和输出模块202。

其中，第二获取模块201用于获取待预测的图像；输出模块202用于将待预测的图像输入训练完成的学生模型，输出图像实际质量和图像中的目标类型，学生模型基于不同置信度分布的软标签和训练图像集训练得到，其中，利用训练完成的图像质量评价模型和老师模型预测训练图像集中的训练图像质量分数和类别置信度，筛选质量分数和类别置信度均大于对应阈值、且类别正确的多个图像，并对多个图像分别进行迭代数据增广确定不同置信度分布的软标签。

需要说明的是，前述对目标分类方法实施例的解释说明也适用于该实施例的目标分类装置，此处不再赘述。

根据本申请实施例提出的目标分类装置，可以利用图像质量评价模型和老师模型输出训练图像的质量分数和类别置信度，筛选符合条件的训练图像，对图像进行增广，增广后的图像用于生成不同软标签分布的样本，用于训练学生模型，能从模型角度更加客观的评价图像质量，软标签的分布更加广泛，不同分布的软标签作为监督信号指导学生模型的学习，使得学生模型最终输出的类别置信度更加符合预期，提升学生模型输出置信度的可靠性；可以通过数据增广技术改变图像质量和像素内容，使得得到的图像质量下降，通过老师模型输出的置信度符合预设的置信度范围，且老师模型对该样本的类别判别正确，得到第二图像，为后面训练学生模型提供软标签；可以根据训练所需的置信度分布需求来调整预设置信度区间，使得进行增广后的多个图像的软标签更具多样性；可以在训练过程中循环使用数据增广，直至生成多个满足所有置信度分布要求的图像，如果超过预设迭代次数则停止，表明本次迭代不产生额外的训练样本和标签；可以利用训练图像中类别置信度最高、且类别正确的目标训练图像中的数据进行训练学生模型，输出类别预测结果并通过损失函数计算类别预测结果的训练损失值，更新学生模型，使得学生模型能够得到更广泛置信度分布的指导，提升最终输出的置信度的可靠性；可以使用多种不同模型作为老师模型，最终对将多个老师模型输出的类别置信度进行平均操作得到最终的置信度，提高置信度；可以使用多种图像质量评价模型，对最终输出的质量分数进行平均操作，得到最终的图像质量分数，提高置信度，客观评价图像质量。

图9为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：

存储器901、处理器902及存储在存储器901上并可在处理器902上运行的计算机程序。

处理器902执行程序时实现上述实施例中提供的目标分类方法。

进一步地，电子设备还包括：

通信接口903，用于存储器901和处理器902之间的通信。

存储器901，用于存放可在处理器902上运行的计算机程序。

存储器901可能包含高速RAM(Random Access Memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。

如果存储器901、处理器902和通信接口903独立实现，则通信接口903、存储器901和处理器902可以通过总线相互连接并完成相互间的通信。总线可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral Component，外部设备互连)总线或EISA(Extended Industry Standard Architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器901、处理器902及通信接口903，集成在一块芯片上实现，则存储器901、处理器902及通信接口903可以通过内部接口完成相互间的通信。

处理器902可能是一个CPU(Central Processing Unit，中央处理器)，或者是ASIC(Application Specific Integrated Circuit，特定集成电路)，或者是被配置成实施本申请实施例的一个或多个集成电路。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的目标分类方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (13)

1.一种目标分类方法，其特征在于，包括以下步骤：

获取训练图像集；

将所述训练图像集中的训练图像分别输入训练完成的图像质量评价模型和老师模型，输出所有训练图像的质量分数和类别置信度；

筛选所述质量分数和所述类别置信度均大于对应阈值、且类别正确的多个第一图像，根据每个第一图像进行迭代数据增广得到满足预设条件的多个第二图像，并根据每个第二图像和对应类别置信度生成不同置信度分布的软标签，其中，所述第二图像的图像质量低于所述第一图像的图像质量；

利用所述不同置信度分布的软标签和所述训练图像集训练学生模型，直到满足训练停止条件停止迭代训练，得到训练完成的学生模型，利用所述学生模型预测图像的实际质量和图像中的目标类型。

2.根据权利要求1所述的方法，其特征在于，所述根据每个第一图像进行迭代数据增广得到满足预设条件的多个第二图像，包括：

对所述第一图像进行数据增广得到第二图像；

将所述第二图像输入所述图像质量评价模型，输出所述第二图像的质量分数，若所述第二图像的质量分数小于预设分数，将所述第二图像输入所述老师模型，输出所述第二图像的类别置信度，若所述类别置信度对应类别正确、且处于预设置信度区间，则得到所述满足预设条件的第二图像；

若所述第二图像的质量分数大于预设分数，则对所述第二图像进行迭代数据增广，直到所述第二图像的质量分数小于预设分数、对应类别置信度对应类别正确且处于预设置信度区间，停止迭代。

3.根据权利要求2所述的方法，其特征在于，在根据每个第一图像进行迭代数据增广得到满足预设条件的多个第二图像之前，还包括：

获取训练所需的置信度分布需求；

根据所述置信度分布需求调整置信度区间，得到满足所述置信度分布需求的所述预设置信度区间。

4.根据权利要求2所述的方法，其特征在于，在直到所述第二图像的质量分数小于预设分数、对应类别置信度对应类别正确且处于预设置信度范围之前，还包括：

获取所述数据增广的迭代次数；

判断所述迭代次数是否大于所述预设次数，若所述迭代次数大于预设次数，则停止迭代。

5.根据权利要求1所述的方法，其特征在于，所述利用所述不同置信度分布的软标签和所述训练图像集训练学生模型，直到满足训练停止条件停止迭代训练，得到训练完成的学生模型，包括：

获取所述所有训练图像中类别置信度最高、且类别正确的目标训练图像；

根据所述目标训练图像的类别置信度构建损失函数，根据所述不同置信度分布的软标签和所述训练图像集训练学生模型，输出类别预测结果；

利用所述损失函数计算所述类别预测结果的训练损失值，并通过反向传播更新所述学生模型，直到所述学生模型收敛，得到训练完成的学生模型。

6.根据权利要求1所述的方法，其特征在于，使用多种不同模型作为老师模型，根据所述多个老师模型输出的类别置信度的均值作为最终类别置信度。

7.根据权利要求1所述的方法，其特征在于，使用多种图像质量评价模型输出质量分数，根据所述多个质量分数的均值作为最终质量分数。

8.根据权利要求1所述的方法，其特征在于，若类别置信度对应类别与真实类别一致，则判定所述类别置信度对应类别正确。

9.一种目标分类方法，其特征在于，包括以下步骤：

获取待预测的图像；

将所述待预测的图像输入训练完成的学生模型，输出所述图像实际质量和图像中的目标类型，所述学生模型基于不同置信度分布的软标签和训练图像集训练得到，其中，利用训练完成的图像质量评价模型和老师模型预测训练图像集中的训练图像质量分数和类别置信度，筛选所述质量分数和所述类别置信度均大于对应阈值、且类别正确的多个图像，并对所述多个图像分别进行迭代数据增广确定不同置信度分布的软标签。

10.一种目标分类装置，其特征在于，包括：

第一获取模块，用于获取训练图像集；

输入模块，用于将所述训练图像集中的训练图像分别输入训练完成的图像质量评价模型和老师模型，输出所有训练图像的质量分数和类别置信度；

筛选模块，用于筛选所述质量分数和所述类别置信度均大于对应阈值、且类别正确的多个第一图像，根据每个第一图像进行迭代数据增广得到满足预设条件的多个第二图像，并根据每个第二图像和对应类别置信度生成不同置信度分布的软标签，其中，所述第二图像的图像质量低于所述第一图像的图像质量；

训练模块，用于利用所述不同置信度分布的软标签和所述训练图像集训练学生模型，直到满足训练停止条件停止迭代训练，得到训练完成的学生模型，利用所述学生模型预测图像的实际质量和图像中的目标类型。

11.一种目标分类装置，其特征在于，包括：

第二获取模块，用于获取待预测的图像；

输出模块，用于将所述待预测的图像输入训练完成的学生模型，输出所述图像实际质量和图像中的目标类型，所述学生模型基于不同置信度分布的软标签和训练图像集训练得到，其中，利用训练完成的图像质量评价模型和老师模型预测训练图像集中的训练图像质量分数和类别置信度，筛选所述质量分数和所述类别置信度均大于对应阈值、且类别正确的多个图像，并对所述多个图像分别进行迭代数据增广确定不同置信度分布的软标签。

12.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-9任一项所述的目标分类方法。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-9任一项所述的目标分类方法。

Images