CN115830387A - 一种模型训练方法、训练装置、分类方法及分类装置 - Google Patents

Abstract

本申请实施例提出了一种模型训练方法、训练装置、分类方法及分类装置，够基于较少的训练样本训练出性能较高的图像分类模型，从而实现较为准确的分类识别效果。其中，模型训练方法包括：获取携带有标签值的M张图像样本并进行数据增强处理，基于增强处理后的图像样本，构建若干训练样本对，形成训练集；其中，标签值用于表征图像样本的类别，M为不小于2的正整数；将训练集中每个训练样本对输入特征提取网络，得到每个训练样本对的特征向量；输入每个训练样本对的特征向量至基准分类模型，得到联合损失；根据联合损失调整基准分类模型中的训练参数并训练基准分类模型，得到目标分类模型。

Description

一种模型训练方法、训练装置、分类方法及分类装置

【技术领域】

本申请涉及人工智能技术领域，尤其涉及一种模型训练方法、训练装置、分类方法及分类装置。

【背景技术】

随着对图像识别存在需求的应用场景越来越多，对于图像识别的精准度要求越来越高。现有技术中，获取图像识别精准度较高的图像识别模型，往往需要大规模的样本来进行训练，但是在某些场景下，所能获得的训练样本十分有限，便导致训练出的图像识别模型性能较差。

【发明内容】

本申请实施例提供了一种模型训练方法、训练装置、分类方法及分类装置，能够基于较少的训练样本训练出性能较高的图像分类模型，从而实现较为准确的分类识别效果。

第一方面，本申请提供了一种模型训练方法，所述方法包括：

获取携带有标签值的M张图像样本并进行数据增强处理，基于增强处理后的图像样本，构建若干训练样本对，形成训练集；其中，所述标签值用于表征图像样本的类别，M为不小于2的正整数；

将训练集中每个训练样本对输入特征提取网络，得到每个训练样本对的特征向量；

输入每个训练样本对的特征向量至基准分类模型，得到联合损失；

根据所述联合损失调整所述特征提取网络和所述基准分类模型中的训练参数并训练所述特征提取网络和所述基准分类模型，得到目标分类模型。

本申请实施例中，获取携带有标签值的图像样本，对图像样本进行数据增强处理，基于数据增强处理后的图像样本，构建若干个训练样本对，形成训练集，通过训练集中若干个训练样本对模型进行训练，获得目标分类模型，即通过数据增强处理增加了用于训练的图像样本数量，又以样本对的方式进行训练，使该目标分类模型在大量训练样本对的基础上既学习了每个训练样本对中每张图像样本的图像特征，又学习了每个训练样本对两张图像样本之间的图像特征差异，从而训练出性能较高的图像分类模型。

可选的，对所述M张图像样本进行数据增强处理包括：

对所述M张图像样本进行第一数据增强处理，所述第一数据增强处理包括：水平与垂直翻转处理、模糊变化处理、亮度变化处理、随机裁剪处理，将经所述第一数据增强处理后的图像样本与所述M张图像样本作为增强处理后的图像样本；或者，

基于生成模型对所述M张图像样本进行第二数据增强处理，将经所述第二数据增强处理后的图像样本与所述M张图像样本作为增强处理后的图像样本；或者，

对所述M张图像样本进行第一数据增强处理，所述第一数据增强处理包括：水平与垂直翻转处理、模糊变化处理、亮度变化处理、随机裁剪处理，基于生成模型对经所述第一数据增强处理后的图像样本，以及所述M张图像样本进行第二数据增强处理，将经所述第二数据增强处理后的图像样本与经所述第一数据增强处理后的图像样本、以及所述M张图像样本作为增强处理后的图像样本。

本申请实施例中，当所获取到能够进行训练的图像样本较少时，可以采用第一数据增强处理，即采用水平与垂直翻转处理、模糊变化处理、亮度变化处理、随机裁剪处理等方式，来增加用于训练的图像样本的多样性；或者，采用第二数据增强处理，即通过生成模型的生成能力来增加图像样本数量；或者，基于第一数据增强处理以及第二数据增强处理，来增加图像样本数量，以便于能够训练出性能较高的图像分类模型。

可选的，所述基于增强处理后的图像样本，构建若干训练样本对，形成训练集包括：

基于图像样本的标签值，根据增强处理后的图像样本，构建多类子数据集，每类所述子数据集包含有多个类别相同的图像样本；

从每个所述子数据集中随机抽取两张图像样本、和/或从任意两个子数据集中分别抽取一张图像样本，构建若干训练样本对，并对每个所述训练样本对设置相应的标签值；

利用构建的若干训练样本对，形成训练集。

本申请实施例中，将进行增强处理后的图像样本基于图像样本的标签值构建多类子数据集，从子数据集中随机抽取两张样本组成样本对，所组成的样本对中的图像样本可以为标签值相同的样本或是标签值不相同的样本，以便于可以基于同类样本对以及不同类样本对基准分类模型进行训练，从而训练出性能较高的图像分类模型。

可选的，所述训练样本对包括两个相同类别的图像样本或两个不同类别的图像样本；所述特征提取网络包括第一特征提取网络和第二特征提取网络；所述将训练集中每个训练样本对输入特征提取网络，得到每个训练样本对的特征向量包括：

将每个训练样本对中两张图像样本分别输入第一特征提取网络和第二特征提取网络，得到每个训练样本对中两张图像样本的特征向量。

本申请实施例中，将每个训练样本对中两张图像样本分别输入第一特征提取网络和第二特征提取网络，通过两个特征提取网络同时输入到两个特征提取网络，提高特征提取的效率。

可选的，所述输入每个训练样本对的特征向量至基准分类模型，得到联合损失包括：

将每个训练样本对中两张图像样本的特征向量输入至所述基准分类模型，得到每个训练样本对中两张图像样本的损失；

计算每个训练样本对中两张图像样本的特征向量之间的绝对差值向量，将每个训练样本对中两张图像样本的特征向量之间的绝对差值向量输入至所述基准分类模型，得到每个训练样本对的损失；

将每个训练样本对中两张图像样本的损失与每个训练样本对的损失进行加权求和，得到联合损失。

本申请实施例中，将训练样本对的特征向量输入到基准分类模型中，得到联合损失，联合损失由两部分构成，第一部分是，两个图像样本的特征向量所对应的损失；第二部分是，两个特征向量之间的绝对差值向量所对应的损失，将上面两部分进行加权求和得到联合损失，通过对上述联合损失进行优化，便可以得到基准分类模型适用于上述两种情况(单图像样本预测与双图像样本预测)的最优参数，便可以获得性能较高的图像分类模型。

可选的，所述基准分类模型包括：第一子网络、第二子网络与第三子网络；

其中，所述第一子网络中包含有第一全连接层、第一分类器和第一激活函数，所述第一全连接层用于将训练样本对中一张图像样本的特征向量进行特征缩放，所述第一分类器用于将经所述第一全连接层特征缩放后的特征向量进行分类，得到训练样本对中一张图像样本的类别预测结果；所述第一激活函数用于基于所述第一分类器的分类结果，结合对应的图像样本的标签值，计算训练样本对中一张图像样本的损失；

其中，所述第二子网络中包含有第二全连接层、第二分类器与第二激活函数，其中，所述第二全连接层用于将训练样本对中另一张图像样本的特征向量进行特征缩放，所述第二分类器用于将经所述第二全连接层特征缩放后的特征向量进行分类，得到训练样本对中另一张图像样本的类别预测结果；所述第二激活函数用于基于所述第二分类器的分类结果，结合对应的图像样本的标签值，计算训练样本对中另一张图像样本的损失；

其中，所述第三子网络中包含有第三全连接层、第三分类器和第三激活函数，其中，所述第三全连接层用于将训练样本对中两张图像样本的特征向量之间的绝对差值向量进行特征缩放，所述第三分类器用于将经所述第三全连接层特征缩放后的绝对差值向量进行分类，得到训练样本对中两张图像样本的类别一致性的预测结果；所述第三激活函数用于基于所述第三分类器的分类结果，结合训练样本对的标签值，计算训练样本对的损失。

本申请实施例中，基准分类模型中包含有三个子网络进行学习训练，每个子网络中都包含了连接层、分类器与激活函数，通过第一子网络与第二子网络基于单个训练样本的输出预测值与标签值之间的损失不断减小，以及第三子网络基于样本对一致性的预测值与实际值之间的损失不断减小来反向更新基准分类模型的内部参数，从而获得性能较高的图像分类模型。

可选的，根据所述联合损失调整所述基准分类模型中的训练参数并训练所述基准分类模型，得到目标分类模型包括：

将所述联合损失反馈到所述基准分类模型中并调整所述基准分类模型中的训练参数；

根据所述联合损失训练所述基准分类模型，直至所述联合损失低于预设阈值，则停止训练；

将包含所述训练参数的所述基准分类模型，确定为目标分类模型。

本申请实施例中，基于联合损失对于基准分类模型进行训练，通过联合损失不断调整基准分类模型的参数，直至联合损失满足预设条件时所对应基准分类模型的性能满足要求，便可以获得性能较高的目标分类模型。

第二方面，本申请实施例提供了一种模型训练装置，所述装置包括：包括处理器和存储介质，所述存储介质包括可读指令，所述可读指令用于被所述处理器执行如第一方面任一实施例所述方法的步骤。

第三方面，本申请提供了一种图像分类方法，所述方法包括：

获取待分类的目标图像以及包含有多类标准样本子集的标准样本集，基于每类标准样本子集与目标图像，构建多组待测样本对；

将所述多组待测样本对输入至目标分类模型，得到目标图像属于每类标准样本子集所属类别的概率，形成概率数组；所述目标分类模型为根据携带有标签值的M张图像样本构成的若干训练样本对训练得到；

归一化处理所述概率数组，选取归一化的概率数组中概率最大的类别作为所述目标图像的类别。

本申请实施例中，用于训练目标分类模型的训练样本会根据类别组成标准样本集，可以认为标准样本集中所包含的图像样本为目标分类模型能够准确识别对应类别的图像样本，将标准样本子集中的图像样本与待分类的目标图像组成样本对输入到目标分类模型中，获得待分类样本属于每类样本的概率值，并通过归一化处理，以待分类样本所属类别的最大概率值所对应类别作为该待分类目标图像的类别，从而保证了目标分类模型的识别准确性。

可选的，每类所述标准样本子集包含有多个相同类别的图像样本；所述基于每类标准样本子集与目标图像，构建多组待测样本对包括：

选取每类所述标准样本子集中所有图像样本分别与目标图像构成待测样本对，得到每类所述标准样本子集相对应的若干待测样本对；

将所有标准样本子集相对应的所有待测样本对进行整合，得到多组待测样本对。

本申请实施例中，将每类标准样本子集中所有图像样本分别与目标图像构成待测样本对，可以认为标准样本子集中的图像样本可以很好的被目标分类模型正确识别，通过将目标图像与目标分类模型已经学习过的图像样本组成待测样本对进行分类，既能基于已经学习过的图像样本的输出结果判断目标分类模型是否准确，也能够通过两个样本之间的一致性预测值来得到目标图像所属的类别，保证了目标图像类别的识别准确性。

可选的，所述将所述多组待测样本对输入至训练好的目标分类模型，得到目标图像属于每类标准样本子集所属类别的概率值，形成概率数组包括：

将每类标准样本子集与目标图像所组成的所有待测样本对输入目标分类模型，得到所有待测样本对的类别一致性的预测结果，其中，所述预测结果包括类别相同和类别不同；

计算所有预测结果中类别相同的预测结果数量与待测样本对数量的比值，得到待识别的目标图像对属于每类标准样本子集所属类别的概率；

基于目标图像属于标准样本集中所有标准样本子集所属类别的概率，构建概率数组。

本申请实施例中，将待测样本对输入到目标分类模型中，会得到对于待测样本对中两个样本类别一致性的预测结果，将预测结果为类别相同的预测数量与样本对数量的比值，作为目标图像所属对应类别的概率，基于目标图像所属每一类别的概率构建概率数组，进而确定出目标图像所述的类别，保证了目标图像类别的识别准确性。

第四方面，本申请实施提供了一种图像分类装置，所述装置包括：

通信器，用于接收待分类的目标图像以及包含有多类标准样本子集的标准样本集；

处理器，耦接所述通信器，用于：基于每类标准样本子集与目标图像，构建多组待测样本对；将所述多组待测样本对输入至训练好的目标分类模型，得到目标图像属于每类标准样本子集所属类别的概率，形成概率数组，所述目标分类模型为根据携带有标签值的M张图像样本构成的若干训练样本对训练得到；归一化处理所述概率数组，选取归一化的概率数组中概率最大的类别作为所述目标图像的类别。

【附图说明】

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种模型训练方法的流程示意图；

图2为本申请实施例提供的一种训练集构成的流程示意图；

图3为本申请实施例提供的一种样本对构建的流程示意图；

图4为本申请实施例提供的一种特征提取网络的结构示意图；

图5为本申请实施例提供的一种联合损失的计算流程图；

图6为本申请实施例提供的一种基准分类模型的结构示意图；

图7为本申请实施例提供的一种图像分类方法的流程示意图；

图8为本申请实施例提供的一种图像类别计算方法的流程示意图；

图9为本申请实施例提供的一种模型训练装置的结构示意图；

图10为本申请实施例提供的一种图像分类装置的结构示意图。

【具体实施方式】

为了更好的理解本说明书的技术方案，下面结合附图对本申请实施例进行详细描述。

应当明确，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本说明书保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

随着对图像识别存在需求的应用场景越来越多，对于图像识别的精准度要求越来越高。

经研究发现，目前，获取图像识别精准度较高的图像识别模型，往往需要大规模的样本来进行训练，但是在某些场景下，所能获得的训练样本十分有限，便导致训练出的图像识别模型性能较差。

鉴于此，本申请实施例提供了一种模型训练方法，该方法中，获取携带有标签值的图像样本，对图像样本进行数据增强处理，基于数据增强处理后的图像样本，构建若干个训练样本对，形成训练集，通过训练集中若干个训练样本对模型进行训练，获得目标分类模型，即通过数据增强处理增加了用于训练的图像样本数量，又以样本对的方式进行训练，使该目标分类模型在大量训练样本对的基础上既学习了每个训练样本对中每张图像样本的图像特征，又学习了每个训练样本对两张图像样本之间的图像特征差异，从而训练出性能较高的图像分类模型。

下面结合附图对本申请实施例提供的技术方案进行介绍。请参见图1，本申请实施例提供了一种模型训练方法，该方法的流程描述如下：

步骤101：获取携带有标签值的多张图像样本并进行数据增强处理，基于增强处理后的图像样本，构建若干训练样本对，形成训练集。

图2是本申请实施例提供的训练集构成的流程示意图。在一种实施例中，步骤101的具体实现方式如下：

步骤201：获取携带有标签值的M张图像样本。

本申请实施例中，可以获取携带有标签值的M张图像样本，该标签值用于表征图像样本所属类别，M为不小于2的正整数。

例如，图像样本可以为已焊接焊点的焊点状态的图像，对应标签值为1或者0，标签值为1表征该图像样本的焊点状态符合标准，标签值为0表征该图像样本的焊点状态不符合标准。当然，也可以是其他场景下的图像样本，此处不做特别限制。

步骤202：对获取的M张图像样本进行数据增强处理，得到数据增强处理后的图像样本。

在一些实施例中，考虑到，当对于训练的图像样本的获取可能较为困难，且获取到的图像样本形式较为单一时，以此为样本进行训练后的分类模型可能会存在识别性能较低的问题。

因此，本申请实施例中，可以采用数据增强处理的方式来对于图像样本的数量进行扩增，以便于能够基于扩增后的图像样本进行训练，从而得到性能较高的图像分类模型。

本申请实施例中，采用的数据增强处理的方式有：

数据增强机制一：本申请实施例中，可以对M张图像样本进行第一数据增强处理，第一数据增强处理包括：水平与垂直翻转处理、模糊变化处理、亮度变化处理、随机裁剪处理，从而获得经第一数据增强处理后的图形样本，即第一数据增强处理后的图形样本可以认为是在M张图像样本的基础上额外生成的，因此，将上述经第一数据增强处理后的图形样本与原本的M张图像样本共同作为增强处理后的图像样本对模型训练，有利于增加用于训练的图像样本的多样性，提高训练所得的目标分类模型的识别准确性。

数据增强机制二：本申请实施例中，可以对M张用于训练的图像样本输入到生成模型中进行第二数据增强处理，从而获得经第二数据增强处理后的图形样本，即第二数据增强处理后的图形样本可以认为是在M张图像样本的基础上额外生成的，因此，将上述经第二数据增强处理后的图形样本与原本的M张图像样本共同作为增强处理后的图像样本对模型训练，有利于增加用于训练的图像样本的多样性，提高训练所得的目标分类模型的识别准确性。其中，生成模型可以为对抗网络GAN，此处不做特别限定。

数据增强机制三：本申请实施例中，可以对M张用于训练的图像样本进行第一数据增强处理，第一数据增强处理包括：水平与垂直翻转处理、模糊变化处理、亮度变化处理、随机裁剪处理，从而获得经第一数据增强处理后的图形样本，即第一数据增强处理后的图形样本可以认为是在M张图像样本的基础上额外生成的，在此基础上，再对经第一数据增强处理后的图像样本以及原M张图像样本进行第二数据增强处理，从而获得经第二数据增强处理后的图形样本，即第二数据增强处理后的图形样本可以认为是在经第一数据增强处理后的图形样本的基础上额外生成的，最后，将上述经第一数据增强处理后的图形样本、经第二数据增强处理后的图形样本与原本的M张图像样本共同作为增强处理后的图像样本对模型训练，有利于增加用于训练的图像样本的多样性，提高训练所得的目标分类模型的识别准确性。

本申请实施例中，采用上述的数据增强处理方式对获取的数量少的图像样本进行数量扩增，采用扩增后的图像样本进行训练以提高模型对图像类别的识别精度。

本申请实施例中，采用混合数据增强方法进行数据扩增，对于样本量极少的类别，采用模式扩增(第一数据增强处理)和量级扩增(第二数据增强处理)相结合的混合增强方式进行数据增强，增加样本的多样性，扩增样本数量。

步骤203：基于数据增强处理后的图像样本，构建若干样本对，形成训练集。

图3是本申请实施例提供的样本对构建的流程示意图。在一些实施例中，在对数量少的图像样本进行数量扩增后，基于数据扩增后的图像样本构建多类子数据集，基于图像样本的标签值，从每个子数据集中抽取两张图像样本、和/或从任意两个子数据集中分别抽取一张图像样本，构建若干训练样本对，并对每个训练样本对设置相应的标签值。

本申请实施例中，训练样本对包括正样本对和负样本对，将来自同一类子数据集的两张图像样本组成的样本对作为正样本对，设置正样本对的标签值为[1,0]；将来自不同类子数据集的两张图像样本组成的样本对作为负样本对，设置负样本对的标签值为[0,1]，样本对的组成形式如图3所示。

本申请实施例中，将构建的若干训练样本对作为模型的训练集，用于进行后续目标分类模型的训练。

步骤102：将训练集中每个训练样本对输入特征提取网络，得到每个训练样本对的特征向量。

本申请实施例中，在基于构建的若干训练样本对，形成训练集后，可以基于每个训练样本对中两张图像样本对模型进行训练，即可以认为训练得到的模型既基于单张图像样本的图像特征进行学习，又基于任意两张图像的相似度进行学习，从而可以在有限的图像样本中学习到更多的图像特性，从而得到性能较高的图像分类模型。

本申请实施例中，可以先将训练集中所有训练样本对输入到特征提取网络中进行特征提取，以便于基准分类模型基于所提取到的特征向量进行学习。例如，以训练集中一训练样本对中包含第i张图像样本与第j张图像样本为例，将该训练样本对输入特征提取网络，得到该训练样本对中第i张图像样本与第j张图像样本的特征向量。

图4是本申请实施例中特征提取网络的结构示意图。请参阅图4，在一些实施例中，特征提取网络包括第一特征提取网络和第二特征提取网络，第一特征提取网络用于提取训练样本对中一图像样本的特征向量，第二特征提取网络用于提取训练样本对中另一图像样本的特征向量。示例性的，第一特征提取网络和第二特征提取网络可以使用ResNet残差神经网络或是Inception网络来进行特征提取。特征提取网络采用深度可分离卷积替代标准卷积，在大幅减少参数量的同时仍能保持较大的容量，非常适合少量图像样本下的图像识别任务。

考虑到，用于训练集的训练样本对中可能会包含有其他参数特征，在进行特征提取时可能会存在特征提取网络不能很好区分出本次训练所重点关注的特征，造成所提取的特征中过多包含了其他参数特征，使得基准分类模型学习到一些无关的图像特征，进而影响到最终目标分类模型的性能。

因此，本申请实施例中，可以基于与后续分类任务相关的图像特征来对基准分类模型进行针对性训练，即减少与后续分类任务无关的图像特征的干扰，从而可以提高最终所获得的目标分类模型的性能。

作为一种可能的实施方式，在特征提取网络中引入了Attention机制，关注目标区域，抑制其他无用信息，进一步提取有效特征。

步骤103：输入每个训练样本对的特征向量至基准分类模型，得到联合损失。

在一种实施例中，每个训练样本对包括同类别的两张图像样本或者不同类别的两张图像样本。将每个训练样本对输入到特征提取网络，得到每个训练样本对中两张图像样本的特征向量后，将每个训练样本对中两张图像样本的特征向量输入至基准分类模型，得到联合损失。

图5是本申请实施例提供的联合损失的计算流程图。请参阅图5，在一些实施例中，联合损失的计算方法如下：

步骤301：将每个训练样本对中两张图像样本的特征向量输入至基准分类模型，得到每个训练样本对中两张图像样本的损失。

图6是本申请实施例提供的基准分类模型的结构示意图。在一些实施例中，请参见图6，该基准分类模型包括第一子网络、第二子网络与第三子网络，其中，第一子网络用于基于训练样本对中一张图像样本的特征向量输出对应的类别预测结果，结合该图像样本的标签值，计算该图像样本的损失；第二子网络用于基于训练样本对中另一张图像样本的特征向量输出对应的类别预测结果，结合另一张图像样本的标签值，计算另一张图像样本的损失；第三子网络用于基于训练样本对中两张图像样本的特征向量之间的相似度输出对应的类别一致性的预测结果，结合该样本对的标签值，计算该训练样本对的损失。

在一种实施例中，第一子网络包括第一全连接层、第一分类器和第一激活函数，第一全连接层用于将训练样本对中一张图像样本的特征向量进行特征缩放；第一分类器用于将经第一全连接层特征缩放后的训练样本对中一张图像样本的特征向量进行分类，得到该图像样本所对应的类别预测结果；第一激活函数用于基于第一分类器的分类结果，结合该图像样本的标签值，计算该图像样本所对应的损失。

在一种实施例中，第二子网络中包含有第二全连接层、第二分类器和第二激活函数，第二全连接层用于将训练样本对中另一张图像样本的特征向量进行缩放；第二分类器用于将经第二全连接层特征缩放后的训练样本对中另一张图像样本的特征向量进行分类，得到另一张图像样本所对应的类别预测结果；第二激活函数用于基于第二分类器的分类结果，结合另一张图像样本的标签值，计算训练样本对中另一张图像样本所对应的损失。

在一种实施例中，第三子网络包括第三全连接层、第三分类器与第三激活函数，第三全连接层用于将训练样本对中两张图像样本的特征向量之间的绝对差值向量进行特征缩放；第三分类器用于将经过第三全连接层特征缩放后的训练样本对中两张图像样本的特征向量之间的绝对超值向量进行分类，得到该训练样本对中两张图像样本的类别一致性的预测结果；第三激活函数用于基于第三分类器的分类结果，结合该训练样本对的标签值，计算该训练样本对的损失。

本申请实施例中，将每个训练样本对中两张图像样本的特征向量分别输入至基准分类模型的第一子网络和第二子网络，得到每个训练样本对中两张图像样本的类别预测值以及损失值。

步骤302：计算每个训练样本对中两张图像样本的特征向量之间的绝对差值向量，将每个训练样本对中两张图像样本的特征向量之间的绝对差值向量输入至基准分类模型，得到每个训练样本对的损失值。

在一种实施例中，计算每个训练样本对中两张图像样本的特征向量之间的绝对差值向量，将每个训练样本对中两张图像样本的特征向量之间的绝对差值向量输入至基准分类模型的第三子网络，得到每个训练样本对对应的类别一致性的预测值以及损失值。

步骤303：将每个训练样本对中两张图像样本的损失与每个训练样本对的损失进行加权求和，得到联合损失。

下面以一训练样本对包含第i张图像样本和第j张图像样本为例，对联合损失的计算方法进行说明。将第i张图像样本和第j张图像样本的特征向量输入到基准分类模型，得到联合损失，联合损失包括第i张图像样本的类别预测值与标签值之间的第一损失、第j张图像样本的类别预测值与标签值之间的第二损失，以及第i张图像样本与第j张图像样本的类别一致性的预测值与类别一致性的真实值之间的第三损失，i与j不相同，且均为不大于M的正整数。

例如，将第i张图像样本的特征向量和第j张图像样本的特征向量分别输入到基准分类模型的第一子网络和第二子网络，得到第i张图像样本和第j张图像样本对应的第一损失和第二损失。其中，第一子网络用于基于第i张图像样本的特征向量输出对应的类别预测值，结合第i张图像样本的标签值，计算第i张图像样本的第一损失；第二子网络用于基于第j张图像样本的特征向量输出对应的类别预测值，结合第j张图像样本的标签值，计算第j张图像样本的第二损失。

根据第i张图像样本的特征向量和第j张图像样本的特征向量，计算绝对差值向量，将该绝对值向量输入基准分类模型的第三子网络，得到样本对的第三损失。第三子网络用于基于第i张图像样本与第j张图像样本的特征向量之间的绝对差值向量输出对应的类别一致性的预测值，结合该训练样本对的标签值，计算训练样本对的第三损失。

将第i张图像样本的第一损失、第j张图像样本的第二损失以及样本对的第三损失进行加权求和，得到该训练样本对的联合损失。

计算得到训练集中所有训练样本对的联合损失后，将所有训练样本对的联合损失进行求和，得到整体的联合损失。

应理解，可以将训练集中所有训练样本对经过特征提取网络后，将其对应的特征向量输入至基准分类模型，得到联合损失，并基于联合损失调整基准分类模型的训练参数并对基准分类模型进行训练，直至联合损失满足预设要求。其中，联合损失的计算公式(1)如下：

其中：Loss表示联合损失，Y_ireal表示第i张图像样本的标签值，Y_ipred表示基准分类模型对第i张图像样本的类别预测值，cross1表示第i张图像样本的标签值与对应的类别预测值之间的第一损失，Y_jreal表示第j张图像样本的标签值，Y_jpred表示基准分类模型对第i张图像样本的类别预测值，cross2表示第j张图像样本的标签值与对应的类别预测值之间的第二损失，X_real表示第i张图像样本与第j张图像样本的类别一致性的真实值，X_pred表示第i张图像样本与第j张图像样本的类别一致性的预测值，cross3表示第i张图像样本与第j张图像样本的类别一致性的预测值与类别一致性的真实值之间的第三损失。

应理解，上述联合损失可以认为从两个方面对基准分类进行训练，第一方面：通过使基准分类模型对于输入的每个训练样本对中两个图像样本单个的输出预测值与标签值之间的损失值不断减小，来反向更新基准分类模型的内部参数，使其特征识别网络识别能力增强；第二方面：计算出输入的每个训练样本对中两个图像样本的相似度，使得基准分类模型基于相似度输出两个样本一致性的预测值与实际值之间的损失不断减小，来反向更新基准分类模型的内部参数，使其特征识别网络识别能力增强。

步骤104：根据联合损失调整基准分类模型中的训练参数并训练基准分类模型，得到目标分类模型。

在一些实施例中，根据联合损失调整基准分类模型中的训练参数并训练基准分类模型，得到目标分类模型包括：

将联合损失反馈到基准分类模型中并调整基准分类模型中的训练参数；

根据联合损失训练基准分类模型，直至联合损失低于预设阈值，则停止训练；

将包含训练参数的基准分类模型，确定为目标分类模型。

本申请实施例中，训练过程中，当联合损失满足预设要求，可以认为此时基准分类模型的性能较高，满足使用要求。例如，可以设定预设阈值，当联合损失的值小于预设阈值时，则满足要求，结束训练，将包含训练参数的基准分类模型，确定为目标分类模型。

本申请实施例中，当联合损失小于预设阈值时，当前模型参数所对应的基准分类模型对于单张图像样本的类别预测以及双图像样本的类别一致性预测的准确性均较高，进而得到性能较高的目标分类模型。

本申请实施例提供的模型训练方法，通过构造单样本分类任务的第一子网络和第二子网络、以及样本对分类任务的第三子网络，使得模型既可以分辨两个图像样本是否属于同一类别，也能识别单个图像样本的类别，可以对不同分类任务中的噪声进行平均，分担各自的过拟合风险，得到更为泛化的特征表示，有利于提高模型的有效性。

本申请实施例提供的模型训练方法，提高模型分类准确率，可以有效降低模型对大批量数据的依赖；在确保一定的准确率的前提下，可以有效减少收集图像样本的时长。

请参见图7，本申请实施例还提供了一种图像分类方法，该方法的流程描述如下：

步骤401：获取待分类的目标图像以及包含有多类标准样本子集的标准样本集，基于每类标准样本子集与目标图像，构建多组待测样本对。

本申请实施例中，标准样本集包括多类标准样本子集，每类标准样本子集包含多个相同类别的图像样本。

在一种实施例中，待测样本对的构建方法为：

选取每类标准样本子集中所有图像样本分别与目标图像构成待测样本对，得到每类标准样本子集相对应的若干待测样本对；

将所有标准样本子集相对应的若干待测样本对进行整合，得到多组待测样本对。

步骤402：将多组待测样本对输入到目标分类模型，得到目标图像属于每个标准样本子集所属类别的概率值，形成概率数组，目标分类模型为根据携带有标签值的M张图像样本构成的若干训练样本对训练得到。

本申请实施例中，该目标分类模型已经基于训练集中每个训练样本对中的两张训练样本的特征向量进行训练，能够很好的对于图像样本进行分类，提高图像分类的准确性。该目标分类模型的具体训练方法参见上述实施例，在此不再赘述。

考虑到，目标分类模型中是需要同时输入两个图像样本的特征向量进行分析处理，然后分别输出每个图像样本的类别预测值以及所输入的两个图像样本是否为同一类别的类别一致性预测值。

因此，本申请实施例中，需要从用做训练的图像样本中根据类别选择部分图像样本作为标准样本集，可以认为标准样本集中的图像样本可以很好的被目标分类模型正确识别，在将待分类的目标图像输入到目标分类模型前，需要将待分类的目标图像与标准样本集中的图像样本组成样本对一起输入到目标分类模型中，获得待分类的目标图像属于每个图像类别的概率值，并通过归一化处理，以待分类的目标图像所属类别的最大概率值所对应类别作为该待分类的目标图像的类别预测值，通过与每个类别的图像样本进行对比获得最大概率值的预测方法，提高了图像分类的准确性。

下面对目标图像属于每个图像类别的概率值的计算方法进行详细说明。请参见图8，计算目标图像属于每个标准样本子集所属类别的概率值的流程描述如下：

步骤501，将每类标准样本子集与目标图像所组成的所有样本对输入目标分类模型，得到所有样本对类别一致性的预测结果；

步骤502，计算预测结果中预测为类别相同的预测结果数量与样本对数量的比值，得到待识别的目标图像对属于每个标准样本子集所对应类别的概率；

步骤503，基于目标图像属于标准样本集中所有标准样本子集所属类别的概率，构建概率数组。

在一种实施例中，以第K类标准样本集为例，计算目标图像属于第K类标准样本子集所对应类别的概率的流程如下：

(1)假设标准样本集中第K类标准样本子集包含有i个图像样本，将目标图像x与第K类标准样本子集中i个图像样本构成i个样本对，分别为(x,K₁)，(x,K₂)，(x,K₃)······(x,K_i)；

(2)将i个样本对输入目标分类模型，得到i个分类结果Cls_1，Cls_2，…，Cls_i；

(3)统计i个分类结果中将样本对中两个图像判别为同一类样本的个数m；

(4)计算目标图像x属于第K类的概率P(K)，并将其存入概率数组P[K]＝P(K)；

其中，

(5)重复以上四步，计算出目标图像属于N类中每一类的概率P(N)，并存入概率数组P[N]。

步骤403，归一化处理概率数组。

本申请实施例中，计算出待分类的目标图像属于标准样本集中所有标准样本子集所对应的类别的概率值后，对所有概率值进行归一化处理，获得目标图像属于每一类别的归一化概率。

示例性的，归一化后目标图像属于第K类的概率为：

步骤404，选取归一化概率数组中概率最大的类别作为目标图像的类别。

本申请实施例中，确定出归一化概率中最大归一化概率值所对应的标准样本集中的类别，将归一化概率值最大的类别作为目标图像的预测类别。

示例性的，在归一化概率数组Y[N]中取概率最大的类别y作为待测样本x的类别，其中y＝argmax(YpN])。

本申请实施例提供的图像分类方法，利用标准样本集中多类标准样本子集与目标图像构成样本对，并将构成的样本对输入目标分类模型，得到样本对类别一致性的预测结果，基于预测结果，计算目标图像属于标准样本集中所有类别的概率，选取归一化后最大概率所对应的类别作为目标图像的类别，实现了对目标图像的准备识别分类，提高了图像分类的准确性。

请参见图9，本申请实施例还提供一种模型训练装置，该装置包括至少一个处理器601，处理器601用于执行存储器中存储的计算机程序，实现本申请实施例提供的如图1所示的模型训练方法流程示意图步骤。

可选的，处理器601具体可以是中央处理器、特定ASIC，可以是一个或多个用于控制程序执行的集成电路。

可选的，该装置还可以包括与至少一个处理器601连接的存储器602，存储器602可以包括ROM、RAM和磁盘存储器。存储器602用于存储处理器601运行时所需的数据，即存储有可被至少一个处理器601执行的指令，至少一个处理器601通过执行存储介质602存储的指令，执行如图1所示的方法。其中，存储介质602的数量为一个或多个。其中，存储器602的数量为一个或多个。

请参见图10，本申请实施例还提供一种图像分类装置，该装置包括：

通信器701，用于接收待分类的目标图像以及包含有多类标准样本子集的标准样本集；

处理器702，耦接通信器，用于：基于每类标准样本子集与目标图像，构建多组待测样本对；将多组待测样本对输入至训练好的目标分类模型，得到目标图像属于每类标准样本子集所属类别的概率，形成概率数组，目标分类模型为根据携带有标签值的M张图像样本构成的若干训练样本对训练得；归一化处理概率数组，选取归一化的概率数组中概率最大的类别作为目标图像的类别。

本申请实施例还提供一种计算机存储介质，其中，计算机存储介质存储有计算机指令，当计算机指令在计算机上运行时，使得计算机执行如图1、2、5、7和8的方法。

以上仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims (12)

1.一种模型训练方法，其特征在于，所述方法包括：

获取携带有标签值的M张图像样本并进行数据增强处理，基于增强处理后的图像样本，构建若干训练样本对，形成训练集；其中，所述标签值用于表征图像样本的类别，M为不小于2的正整数；

将所述训练集中每个训练样本对输入特征提取网络，得到每个训练样本对的特征向量；

输入每个训练样本对的特征向量至基准分类模型，得到联合损失；

根据所述联合损失调整所述基准分类模型中的训练参数并训练所述基准分类模型，得到目标分类模型。

2.根据权利要求1所述的方法，其特征在于，对所述M张图像样本进行数据增强处理包括：

对所述M张图像样本进行第一数据增强处理，所述第一数据增强处理包括：水平与垂直翻转处理、模糊变化处理、亮度变化处理、随机裁剪处理，将经所述第一数据增强处理后的图像样本与所述M张图像样本作为增强处理后的图像样本；或者，

基于生成模型对所述M张图像样本进行第二数据增强处理，将经所述第二数据增强处理后的图像样本与所述M张图像样本作为增强处理后的图像样本；或者，

对所述M张图像样本进行第一数据增强处理，所述第一数据增强处理包括：水平与垂直翻转处理、模糊变化处理、亮度变化处理、随机裁剪处理，基于生成模型对经所述第一数据增强处理后的图像样本，以及所述M张图像样本进行第二数据增强处理，将经所述第二数据增强处理后的图像样本与经所述第一数据增强处理后的图像样本、以及所述M张图像样本作为增强处理后的图像样本。

3.根据权利要求1所述的方法，其特征在于，所述基于增强处理后的图像样本，构建若干训练样本对，形成训练集包括：

基于图像样本的标签值，根据增强处理后的图像样本，构建多类子数据集，每类所述子数据集包含有多个类别相同的图像样本；

从每个所述子数据集中随机抽取两张图像样本、和/或从任意两个子数据集中分别抽取一张图像样本，构建若干训练样本对，并对每个所述训练样本对设置相应的标签值；

利用构建的若干训练样本对，形成训练集。

4.根据权利要求1所述的方法，其特征在于，所述训练样本对包括两个相同类别的图像样本或两个不同类别的图像样本；所述特征提取网络包括第一特征提取网络和第二特征提取网络；将所述训练集中每个训练样本对输入特征提取网络，得到每个训练样本对的特征向量包括：

将每个训练样本对中两张图像样本分别输入第一特征提取网络和第二特征提取网络，得到每个训练样本对中两张图像样本的特征向量。

5.根据权利要求4所述的方法，其特征在于，所述输入每个训练样本对的特征向量至基准分类模型，得到联合损失包括：

将每个训练样本对中两张图像样本的特征向量输入至所述基准分类模型，得到每个训练样本对中两张图像样本的损失；

计算每个训练样本对中两张图像样本的特征向量之间的绝对差值向量，将每个训练样本对中两张图像样本的特征向量之间的绝对差值向量输入至所述基准分类模型，得到每个训练样本对的损失；

将每个训练样本对中两张图像样本的损失与每个训练样本对的损失进行加权求和，得到联合损失。

6.根据权利要求5所述的方法，其特征在于，所述基准分类模型包括：第一子网络、第二子网络与第三子网络；

其中，所述第一子网络中包含有第一全连接层、第一分类器和第一激活函数，所述第一全连接层用于将训练样本对中一张图像样本的特征向量进行特征缩放，所述第一分类器用于将经所述第一全连接层特征缩放后的特征向量进行分类，得到训练样本对中一张图像样本的类别预测结果；所述第一激活函数用于基于所述第一分类器的分类结果，结合对应的图像样本的标签值，计算训练样本对中一张图像样本的损失；

其中，所述第二子网络中包含有第二全连接层、第二分类器与第二激活函数，其中，所述第二全连接层用于将训练样本对中另一张图像样本的特征向量进行特征缩放，所述第二分类器用于将经所述第二全连接层特征缩放后的特征向量进行分类，得到训练样本对中另一张图像样本的类别预测结果；所述第二激活函数用于基于所述第二分类器的分类结果，结合对应的图像样本的标签值，计算训练样本对中另一张图像样本的损失；

其中，所述第三子网络中包含有第三全连接层、第三分类器和第三激活函数，其中，所述第三全连接层用于将训练样本对中两张图像样本的特征向量之间的绝对差值向量进行特征缩放，所述第三分类器用于将经所述第三全连接层特征缩放后的绝对差值向量进行分类，得到训练样本对中两张图像样本的类别一致性的预测结果；所述第三激活函数用于基于所述第三分类器的分类结果，结合训练样本对的标签值，计算训练样本对的损失。

7.根据权利要求1所述的方法，其特征在于，根据所述联合损失调整所述基准分类模型中的训练参数并训练所述基准分类模型，得到目标分类模型包括：

将所述联合损失反馈到所述基准分类模型中并调整所述基准分类模型中的训练参数；

根据所述联合损失训练所述基准分类模型，直至所述联合损失低于预设阈值，则停止训练；

将包含所述训练参数的所述基准分类模型，确定为目标分类模型。

8.一种模型训练装置，其特征在于，所述装置包括：包括处理器和存储介质，所述存储介质包括可读指令，所述可读指令用于被所述处理器执行如权利要求1-7任一所述的模型训练方法。

9.一种图像分类方法，其特征在于，所述方法包括：

获取待分类的目标图像以及包含有多类标准样本子集的标准样本集，基于每类标准样本子集与目标图像，构建多组待测样本对；

将所述多组待测样本对输入至目标分类模型，得到目标图像属于每类标准样本子集所属类别的概率，形成概率数组，所述目标分类模型为根据携带有标签值的M张图像样本构成的若干训练样本对训练得到；

归一化处理所述概率数组，选取归一化的概率数组中概率最大的类别作为所述目标图像的类别。

10.根据权利要求9所述的方法，其特征在于，每类所述标准样本子集包含有多个相同类别的图像样本；所述基于每类标准样本子集与目标图像，构建多组待测样本对包括：

选取每类所述标准样本子集中所有图像样本分别与目标图像构成待测样本对，得到每类所述标准样本子集相对应的若干待测样本对；

将所有标准样本子集相对应的所有待测样本对进行整合，得到多组待测样本对。

11.根据权利要求9所述的方法，其特征在于，所述将所述多组待测样本对输入至训练好的目标分类模型，得到目标图像属于每类标准样本子集所属类别的概率值，形成概率数组包括：

将每类标准样本子集与目标图像所组成的所有待测样本对输入目标分类模型，得到所有待测样本对的类别一致性的预测结果，其中，所述预测结果包括类别相同和类别不同；

计算所有预测结果中类别相同的预测结果数量与待测样本对数量的比值，得到待识别的目标图像对属于每类标准样本子集所属类别的概率；

基于目标图像属于标准样本集中所有标准样本子集所属类别的概率，构建概率数组。

12.一种图像分类装置，其特征在于，所述装置包括：

通信器，用于接收待分类的目标图像以及包含有多类标准样本子集的标准样本集；

处理器，耦接所述通信器，用于：基于每类标准样本子集与目标图像，构建多组待测样本对；将所述多组待测样本对输入至训练好的目标分类模型，得到目标图像属于每类标准样本子集所属类别的概率，形成概率数组，所述目标分类模型为根据携带有标签值的M张图像样本构成的若干训练样本对训练得到；归一化处理所述概率数组，选取归一化的概率数组中概率最大的类别作为所述目标图像的类别。

Images