CN113269307A - 神经网络训练方法以及目标重识别方法 - Google Patents

Abstract

本公开涉及神经网络训练方法以及目标重识别方法，该神经网络包括至少一第一网络以及第二网络，该训练方法包括：将样本图像组的第一特征信息输入该第一网络，得到第一处理信息；将该样本图像组的第二特征信息输入第二网络，得到第二处理信息；基于第一处理信息、第二处理信息和样本图像组的标签，确定训练损失；基于训练损失优化一个第一网络和第二网络；训练损失基于以下至少一部分构成：基于第一处理信息和第二处理信息确定的迁移损失，基于第一分类结果、第二分类结果和样本图像组的标签确定的分类损失，第一分类结果通过对第一处理信息进行分类得到，第二分类结果通过对第二处理信息进行分类得到。本公开得到的第二网络具备强信息提取能力。

Description

神经网络训练方法以及目标重识别方法

技术领域

本公开涉及计算机视觉技术领域，尤其涉及神经网络训练方法以及目标重识别方法。

背景技术

在基于图像的相关应用中，可能由于视角原因、天气原因、时间原因、视觉遮挡原因或跨摄像头等原因导致图像库中的图像存在类间相似度高，类内相似度低的问题，而相关技术从图像中提取出的信息质量有限，难以准确对于图像库中的各个图像进行区分，也难以对图像中的目标进行准确地识别。为了提升图像信息的提取质量，相关技术也提出了一些改进方案，但是这些改进方案或需要引入额外的标注信息，或需要设计高复杂度的神经网络。额外的标注信息带来了数据获取困难，而高复杂度的神经网络也造成了部署困难，更难以落地到应用上。

发明内容

为了解决上述至少一个技术问题，本公开提出神经网络训练方案以及目标重识别方案。

根据本公开的一方面，提供了神经网络训练方法，所述神经网络包括至少一第一网络以及第二网络，其包括：将样本图像组的第一特征信息输入所述至少一第一网络，得到每一所述第一网络输出的第一处理信息；将所述样本图像组的第二特征信息输入所述第二网络，得到第二处理信息；基于所述第一处理信息、所述第二处理信息和所述样本图像组的标签，确定训练损失；基于所述训练损失优化所述至少一个第一网络和所述第二网络；其中，所述训练损失基于以下中的至少一部分构成：基于所述第一处理信息和所述第二处理信息确定的迁移损失，以及基于第一分类结果、第二分类结果和所述样本图像组的标签确定的分类损失，所述第一分类结果通过对所述第一处理信息进行分类得到，所述第二分类结果通过对所述第二处理信息进行分类得到。基于上述配置，可以在第一网络和第二网络之间通过进行知识迁移达到互补学习共同优化的效果，同时提升第一网络和第二网络的信息提取能力。

在一些可能的实施方式中，所述第一处理信息包括基于所述第一特征信息提取的第一显著特征以及对所述第一显著特征降维后得到的第一降维特征；所述第二处理信息包括基于所述第二特征信息提取的第二显著特征以及对所述第二显著特征降维后得到的第二降维特征，所述迁移损失基于以下中的至少一部分构成：注意力损失分量、关系损失分量以及逻辑损失分量；其中，所述注意力损失分量基于所述第一显著特征与所述第二显著特征确定；所述关系损失分量基于所述第一降维特征与所述第二降维特征确定；所述逻辑损失分量基于所述第一分类结果与所述第二分类结果确定。基于上述配置，可以实现第一网络和第二网络之间，注意力信息、关系信息和逻辑信息三个维度的信息双向迁移，显著提升第一网络和第二网络的信息提取能力。

在一些可能的实施方式中，基于所述第一显著特征与所述第二显著特征确定注意力损失分量的方法，包括：确定每一所述第一显著特征与所述第二显著特征的差异；基于所述差异与设定阈值的差值最小化，确定所述注意力损失分量。基于上述配置，通过注意力损失分量刻画第一网络和第二网络之间的注意力提取能力差异，训练损失中包括注意力损失，可以使得在训练过程中第一网络学习到的注意力知识和第二网络学习到的注意力知识可以进行双向迁移，同时提升第一网络和第二网络的信息提取能力。

在一些可能的实施方式中，所述第一降维特征包括所述样本图像组中每个样本图像对应的第一降维向量，所述第二降维特征包括所述样本图像组中每个样本图像对应的第二降维向量，基于所述第一降维特征与第二降维特征确定所述关系损失分量的方法，包括：对于任一第一降维特征，基于所述第一降维特征中各第一降维向量之间的相似性，确定所述第一降维特征对应的第一样本间关系；基于所述第二降维特征中各第二降维向量之间的相似性，确定所述第二降维特征对应的第二样本间关系；基于所述第二样本间关系和所述第一样本间关系之间的距离最小化，确定所述关系损失分量。基于上述配置，通过关系损失分量对第一网络和第二网络进行约束，可以使得在训练过程中第一网络学习到的关系知识和第二网络学习到的关系知识可以进行双向迁移。

在一些可能的实施方式中，在所述神经网络包括多个第一网络的情况下，所述基于所述第二样本间关系和每一所述第一样本间关系之间的距离最小化，确定所述关系损失分量，包括：将每一所述第一样本间关系的加权平均结果确定为第一目标样本间关系；确定所述第一目标样本间关系和所述第二样本间关系的范式距离；基于所述范式距离中的最小距离确定所述关系损失。基于上述配置，通过准确确定关系损失分量，可以提升关系迁移效果，进而提升训练效果。

在一些可能的实施方式中，基于所述第一分类结果与所述第二分类结果确定所述逻辑损失分量的方法，包括：根据各所述第一分类结果确定目标第一分类结果；确定所述目标第一分类结果与所述第二分类结果之间的第一散度分量；根据所述第一散度分量，确定所述逻辑损失。基于上述配置，可以通过确定逻辑信息损失分量，实现在训练过程中软标签知识在第一网络和第二网络之间的双向迁移，提升第一网络和第二网络的信息提取能力。

在一些可能的实施方式中，在所述神经网络包括多个第一网络的情况下，所述根据所述第一散度分量，确定所述逻辑损失包括：获取散度对抗阈值；对于任意两第一分类结果，确定所述两第一分类结果之间的散度，将所述散度与所述散度对抗阈值的差值确定为第二散度分量；根据所述第一散度分量和各所述第二散度分量，得到所述逻辑损失。基于上述配置，通过提供逻辑信息损失分量的计算方法，可以准确计算得到第二网络和各第一网络产生的软标签损失，提升逻辑信息迁移效果，进而提升训练效果。

在一些可能的实施方式中，所述样本图像组包括多类样本图像，同类样本图像具备相同标签，基于第一分类结果、第二分类结果和所述样本图像组的标签确定分类损失，包括：确定第一识别损失分量，所述第一识别损失分量表征所述样本图像组的标签与每一所述第一分类结果之间的差异；确定第二识别损失分量，所述第二识别损失分量表征所述样本图像组的标签与所述第二分类结果之间的差异；根据所述第一识别损失分量和所述第二识别损失分量，确定目标识别损失；根据所述第一降维特征和所述样本图像组的标签，确定第一类内相似度和第一类间相似度；根据所述第二降维特征和所述样本图像组的标签，确定第二类内相似度和第二类间相似度；根据所述第一类内相似度、所述第一类间相似度、所述第二类内相似度和所述第二类间相似度，确定类识别损失；根据所述目标识别损失和所述类识别损失，确定所述分类损失。基于上述配置，通过准确计算上述分类损失，可以从分类角度约束训练过程，提升神经网络的图像信息提取能力。

在一些可能的实施方式中，所述将样本图像组的第一特征信息输入所述至少一第一网络，得到每一所述第一网络输出的第一处理信息之前，所述方法还包括：获取所述样本图像组的样本图像的监督特征信息以及所述样本图像的第三特征信息，其中，所述监督特征信息为表征所述样本图像的局部位置的信息，所述第三特征信息为表征所述样本图像的全局位置的信息；融合所述监督特征信息和所述第三特征信息，得到所述样本图像组的第一特征信息。基于上述配置，可以使得输入第一网络的第一特征信息不仅包括全局位置的信息还包括局部位置的信息，从而强化第一特征信息中的局部显著特征，提升该第一网络对局部显著特征相关的局部位置的信息提取能力。

在一些可能的实施方式中，所述将样本图像组的第一特征信息输入所述至少一第一网络，得到每一所述第一网络输出的第一处理信息，包括：对所述第一特征信息进行特征提取，得到所述第一显著特征；对所述第一显著特征进行特征压缩处理，得到第一特征压缩信息；对所述第一特征压缩信息进行全局平均池化处理，得到所述第一降维特征。基于上述配置，可以提升第一降维特征准确度。

根据本公开的第二方面，提供了一种目标重识别方法，所述方法包括：获取待识别图像；将所述待识别图像输入第二网络，通过第二网络提取图像特征；基于所述图像特征和目标图像库对应的图像库特征的相似度，从所述目标图像库中匹配出与所述待识别图像包含的目标相同的图像，所述图像库特征包括所述目标图像库中每一图像对应的图像特征。基于上述配置，可以在目标图像库中查找到与待识别图像包括相同目标的图像，从而完成目标重识别。具备重识别准确度高的显著优势，并由于使用的第二网络结构简单，因此重识别速度快，部署成本低。

根据本公开的第三方面，提供一种神经网络训练装置，所述神经网络包括至少一第一网络以及第二网络，所述装置包括：第一处理模块，用于将样本图像组的第一特征信息输入所述至少一第一网络，得到每一所述第一网络输出的第一处理信息；第二处理模块，用于将所述样本图像组的第二特征信息输入所述第二网络，得到第二处理信息；训练损失确定模块，用于基于所述第一处理信息、所述第二处理信息和所述样本图像组的标签，确定训练损失；优化模块，用于基于所述训练损失优化所述至少一个第一网络和所述第二网络；其中，所述训练损失基于以下中的至少一部分构成：基于所述第一处理信息和所述第二处理信息确定的迁移损失，以及基于第一分类结果、第二分类结果和所述样本图像组的标签确定的分类损失，所述第一分类结果通过对所述第一处理信息进行分类得到，所述第二分类结果通过对所述第二处理信息进行分类得到。

在一些可能的实施方式中，所述第一处理信息包括基于所述第一特征信息提取的第一显著特征以及对所述第一显著特征降维后得到的第一降维特征；所述第二处理信息包括基于所述第二特征信息提取的第二显著特征以及对所述第二显著特征降维后得到的第二降维特征，所述迁移损失基于以下中的至少一部分构成：注意力损失分量、关系损失分量以及逻辑损失分量；其中，所述注意力损失分量基于所述第一显著特征与所述第二显著特征确定；所述关系损失分量基于所述第一降维特征与所述第二降维特征确定；所述逻辑损失分量基于所述第一分类结果与所述第二分类结果确定。

在一些可能的实施方式中，所述训练损失确定模块用于确定每一所述第一显著特征与所述第二显著特征的差异；基于所述差异与设定阈值的差值最小化，确定所述注意力损失分量。

在一些可能的实施方式中，所述第一降维特征包括所述样本图像组中每个样本图像对应的第一降维向量，所述第二降维特征包括所述样本图像组中每个样本图像对应的第二降维向量，所述训练损失确定模块还用于对于任一第一降维特征，基于所述第一降维特征中各第一降维向量之间的相似性，确定所述第一降维特征对应的第一样本间关系；基于所述第二降维特征中各第二降维向量之间的相似性，确定所述第二降维特征对应的第二样本间关系；基于所述第二样本间关系和所述第一样本间关系之间的距离最小化，确定所述关系损失分量。

在一些可能的实施方式中，在所述神经网络包括多个第一网络的情况下，所述训练损失确定模块还用于将每一所述第一样本间关系的加权平均结果确定为第一目标样本间关系；确定所述第一目标样本间关系和所述第二样本间关系的范式距离；基于所述范式距离中的最小距离确定所述关系损失。

在一些可能的实施方式中，所述训练损失确定模块还用于根据各所述第一分类结果确定目标第一分类结果；确定所述目标第一分类结果与所述第二分类结果之间的第一散度分量；根据所述第一散度分量，确定所述逻辑损失。

在一些可能的实施方式中，在所述神经网络包括多个第一网络的情况下，所述训练损失确定模块还用于获取散度对抗阈值；对于任意两第一分类结果，确定所述两第一分类结果之间的散度，将所述散度与所述散度对抗阈值的差值确定为第二散度分量；根据所述第一散度分量和各所述第二散度分量，得到所述逻辑损失。

在一些可能的实施方式中，所述样本图像组包括多类样本图像，同类样本图像具备相同标签，所述训练损失确定模块还用于确定第一识别损失分量，所述第一识别损失分量表征所述样本图像组的标签与每一所述第一分类结果之间的差异；确定第二识别损失分量，所述第二识别损失分量表征所述样本图像组的标签与所述第二分类结果之间的差异；根据所述第一识别损失分量和所述第二识别损失分量，确定目标识别损失；根据所述第一降维特征和所述样本图像组的标签，确定第一类内相似度和第一类间相似度；根据所述第二降维特征和所述样本图像组的标签，确定第二类内相似度和第二类间相似度；根据所述第一类内相似度、所述第一类间相似度、所述第二类内相似度和所述第二类间相似度，确定类识别损失；根据所述目标识别损失和所述类识别损失，确定所述分类损失。

在一些可能的实施方式中，所述装置还包括图像信息处理模块，用于获取所述样本图像组的样本图像的监督特征信息以及所述样本图像的第三特征信息，其中，所述监督特征信息为表征所述样本图像的局部位置的信息，所述第三特征信息为表征所述样本图像的全局位置的信息；融合所述监督特征信息和所述第三特征信息，得到所述样本图像组的第一特征信息。

在一些可能的实施方式中，所述第一处理模块用于对所述第一特征信息进行特征提取，得到所述第一显著特征；对所述第一显著特征进行特征压缩处理，得到第一特征压缩信息；对所述第一特征压缩信息进行全局平均池化处理，得到所述第一降维特征。

根据本公开的第四方面，提供了一种目标重识别装置，包括：待识别图像获取模块，用于获取待识别图像；提取结果获取模块，用于将所述待识别图像输入第二网络，通过第二网络提取图像特征；重识别模块，用于基于所述图像特征和目标图像库对应的图像库特征的相似度，从所述目标图像库中匹配出与所述待识别图像包含的目标相同的图像，所述图像库特征包括所述目标图像库中每一图像对应的图像特征；其中，所述第二网络根据第一方面中任意一项所述的神经网络训练方法得到。

根据本公开的第五方面，提供了一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如第一方面中任意一项所述的神经网络训练方法或第二方面所述的目标重识别方法。

根据本公开的第六方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如第一方面中任意一项所述的神经网络训练方法或第二方面所述的目标重识别方法。

根据本公开的第七方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行第一方面中任意一项所述的神经网络训练方法或第二方面所述的目标重识别方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1示出根据本公开实施例的一种神经网络训练方法的流程图；

图2示出根据本公开实施例的伙伴学习的示意图；

图3示出根据本公开实施例的第一处理信息获取方法的流程图；

图4示出根据本公开实施例的注意力知识的迁移示意图；

图5示出根据本公开实施例的确定注意力损失分量的方法的流程图；

图6示出根据本公开实施例的第一样本间关系和第二样本间关系的迁移示意图；

图7示出根据本公开实施例的确定关系损失分量的方法的流程图；

图8示出根据本公开实施例的第一分类结果和第二分类结果的迁移示意图；

图9示出根据本公开实施例的确定逻辑损失分量的方法的流程图；

图10示出根据本公开实施例的确定分类损失的方法的流程图；

图11示出根据本公开实施例的无监督神经网络的结构示意图；

图12示出根据本公开实施例的有监督神经网络的结构示意图；

图13示出根据本公开实施例的应用第二网络进行目标重识别的方法流程图；

图14示出根据本公开实施例的神经网络训练装置的框图；

图15示出根据本公开实施例的目标重识别装置的框图；

图16示出根据本公开实施例的一种电子设备的框图；

图17示出根据本公开实施例的另一种电子设备的框图。

具体实施方式

下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

本公开实施例提供一种神经网络训练方法，上述训练方法可以依赖于较少的标注信息进行训练，得到的神经网络在实际应用过程中部署难度较低，并且可以实现高质量的信息提取，提取到充分的具备判别力的信息，可以被广泛应用于图像或视频的目标检测、目标识别、目标重识别等应用场景及其扩展，本公开实施例对此不做限定。

示例性的，本公开实施例提供的技术方案可以应用于目标重识别场景中，本公开实施例还提供了基于上述神经网络进行目标重识别的方法。以车辆重识别场景为例，车辆重识别的目的是在底库中检索出包含目标车辆的重识别图像，可以基于上述神经网络对包含目标车辆的待识别图像进行信息提取，得到第一提取结果，基于上述神经网络对底库中的图像进行信息提取，得到第二提取结果，通过比较上述第一提取结果和上述第二提取结果的相似度即可在上述底库中确定出目标重识别图像，上述目标重识别图像与上述待识别图像中包含相同车辆。车辆重识别可以被广泛应用到跨摄像头的车辆追踪，智能交通，城市救援等诸多的应用场景。

示例性的，本公开实施例提供的技术方案还可以被应用于人脸检测中，人脸检测的目的是在底库中检索出包括目标人脸的重识别图像。可以基于上述神经网络对包含目标人脸的待识别图像进行信息提取，得到第三提取结果，基于上述神经网络对底库中的图像进行信息提取，得到第四提取结果，通过比较上述第三提取结果和上述第四提取结果的相似度即可在上述底库中确定出目标重识别图像，上述目标重识别图像与上述待识别图像中包含相同目标人脸。人脸检测可以被广泛地应用到涉密保护，移动支付以及数据安全等诸多应用场景。

本公开实施例提供的神经网络训练方法以及基于上述神经网络进行目标重识别的方法可以由终端设备、服务器或其它类型的电子设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该神经网络训练方法以及基于上述神经网络进行目标重识别的方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。下面以电子设备作为执行主体为例对本公开实施例的神经网络训练方法以及基于上述神经网络进行目标重识别的方法进行说明。

图1示出根据本公开实施例的一种神经网络训练方法的流程图，上述神经网络包括至少一第一网络以及第二网络，如图1所示，上述方法包括：

S10.将样本图像组的第一特征信息输入上述至少一第一网络，得到每一上述第一网络输出的第一处理信息。

本公开实施例中神经网络可以包括第二网络和至少一个第一网络，第二网络着重提取图像的全局信息，第一网络着重提取图像的局部信息，不同的第一网络侧重提取不同位置的局部信息，第一网络和第二网络通过伙伴学习来完成训练过程。本公开实施例中伙伴学习指不同网络通过对各自获取到的知识进行互补学习，从而对各自的相关参数进行优化的方法，具体地，第一网络可以将学习到的知识向第二网络进行反向迁移，第二网络将学习到的知识向第一网络进行反向迁移，同时提升第一网络和第二网络的信息提取能力。

图2示出了本公开实施例中伙伴学习的示意图。全局信息和局部信息通常可以分别对应代指粗粒度的特征和细粒度的特征。以车辆图像为例，第二网络提取到的全局信息可以包括车辆类型、车辆形状、车辆颜色、车辆在图像中的角度等信息，第一网络提取到的局部信息可以包括灯饰、年检标识、车内装饰物、车身划痕、车内是否有人，哪个位置有人等信息。通过第一网络和第二网络彼此之间的知识迁移，使得知识少的一方获得成长的同时知识多的一方也可以获得成长。

本公开实施例中，上述神经网络可以以样本图像组为训练样本。上述样本图像组中包括多类样本图像，同类样本图像具备相同标签。以一个样本图像组包括M*N个样本图像为例，该样本图像组中的样本图像可以被分为M类，每类包括N个样本图像，该N个样本图像中目标对应的类相同。示例性的，以将上述神经网络应用于车辆重识别领域为例，M*N的样本图像组中样本图像可以涵盖M个不同的车辆，每个车辆对应有N个样本图像，该N个样本图像中均包括该车辆。

本公开实施例中每个第一网络均可以对上述样本图像组的第一特征信息进行处理，得到该第一网络输出的第一处理信息。在一个实施例中，上述第一处理信息包括基于上述第一特征信息提取的第一显著特征以及对上述第一显著特征降维后得到的第一降维特征。图3示出根据本公开实施例的第一处理信息获取方法的流程图。上述将样本图像组的第一特征信息输入上述至少一第一网络，得到每一上述第一网络输出的第一处理信息，包括：

S11.对上述第一特征信息进行特征提取，得到上述第一显著特征。

在一些可能的实施方式中，可以通过上述第一网络中的至少一级特征提取网络对上述第一特征信息进行特征提取以得到上述第一显著特征。若在特征提取的过程中得到多个不同尺度分别对应的特征提取结果，可以将获取到的特征提取结果进行融合得到上述第一显著特征。本公开实施例不限定融合的具体方法，降维、加法、乘法、内积、卷积的至少一种及其组合都可以被用于进行融合。例如，可以通过残差网络进行多尺度特征提取，通过多尺度特征提取可以同时获得底层和高层的特征，并且细节特征更为充分，通过多尺度特征融合可以对底层和高层特征信息有效的融合，进而最终提高第一显著特征的准确度。

S12.对上述第一显著特征进行特征压缩处理，得到第一特征压缩信息。

在一个可行的实施方式中，可以通过上述第一网络中的特征压缩网络对上述第一显著特征进行特征压缩处理，得到第一特征压缩信息。

S13.对上述第一特征压缩信息进行全局平均池化处理，得到上述第一降维特征。

在一个可行的实施方式中，可以通过上述第一网络中的全连接网络进行全局平均池化处理，在经过全局平均池化处理后，可以得到第一降维特征。上述第一降维特征包括上述样本图像组中每个样本图像对应的一维形式的第一降维向量，即每个样本图像对应于一个第一降维向量，从而达到了降维目的。

基于上述配置，本公开实施例通过对样本图像组的第一特征信息依次进行特征提取、特征压缩以及全局平均池化，可以得到对应于样本图像组的准确的第一降维特征。

本公开实施例并不对样本图像组的第一特征信息进行限定，其可以被理解为包括上述样本图像组中各样本图像的全局位置的信息。本公开实施例并不限定获取第一特征信息的具体方式。

在一个实施例中，可以基于卷积神经网络对样本图像组中的样本图像进行特征提取，得到样本图像组的第一特征信息。

在另一个实施例中，还可以为部分或全部第一网络引入监督信息，强化输入该第一网络的第一特征信息中的局部特征。可以获取上述样本图像组的样本图像的监督特征信息以及上述样本图像的第三特征信息，其中，上述监督特征信息为表征上述样本图像的局部位置的信息，上述第三特征信息为表征上述样本图像的全局位置的信息；融合上述监督特征信息和上述第三特征信息，得到上述样本图像组的第一特征信息。

本公开实施例并不限定监督特征信息以及第三特征信息的获取方法，示例性的，可以基于预训练的监督特征提取网络对样本图像组中的样本图像进行监督特征提取，得到上述监督特征信息，可以基于卷积神经网络对样本图像组中的图像进行特征提取，得到上述第三特征信息。

基于上述配置，可以使得输入第一网络的第一特征信息不仅包括全局位置的信息还包括局部位置的信息，从而强化第一特征信息中的局部显著特征，提升该第一网络对局部显著特征相关的局部位置的信息提取能力。本公开实施例认为，监督特征信息的引入可以强化第一网络对于局部位置进行信息提取的能力，从而在适量减少第一网络的数量的前提下，并不显著降低神经网络中第一网络和第二网络的训练效果。

S20.将上述样本图像组的第二特征信息输入上述第二网络，得到第二处理信息。

本公开实施例中第二处理信息包括基于上述第二特征信息提取的第二显著特征以及对上述第二显著特征降维后得到的第二降维特征。上述第二网络对上述第二特征信息进行特征提取，得到上述第二显著特征。对上述第二显著特征进行特征压缩处理，得到第二特征压缩信息。对上述第二特征压缩信息进行全局平均池化处理，得到上述第二降维特征。上述第二网络处理上述第二特征信息的方法与上述第一网络处理第一特征信息的方法基于相同构思，在此不再赘述。

在一个实施例中，样本图像组的第一特征信息与第二特征信息可以是相同的特征信息。示例性的，可以对于样本图像组进行特征提取，将特征提取结果作为上述第一特征信息输入上述第一网络，以及将上述特征提取的结果作为上述第二特征信息输入上述第二网络。

在另一个实施例中，样本图像组的第一特征信息与第二特征信息也可以是不同的特征信息。示例性的，第一特征信息可以为图像的局部位置相关的特征信息，第二特征信息可以为图像的全局位置相关的特征信息。示例性的，可以对于样本图像组进行特征提取，得到第三特征信息，将该第三特征信息直接作为上述第二特征信息，输入上述第二网络。融合第三特征信息以及上述样本图像组的监督特征信息，得到第一特征信息，将该第一特征信息输入上述第一网络。

S30.基于上述第一处理信息、上述第二处理信息和上述样本图像组的标签，确定训练损失。

本公开实施例中，上述训练损失基于以下中的至少一部分构成：基于上述第一处理信息和上述第二处理信息确定的迁移损失，以及基于第一分类结果、第二分类结果和上述样本图像组的标签确定的分类损失，上述第一分类结果通过对上述第一降维特征进行分类得到，上述第二分类结果通过对上述第二降维特进行分类得到。在一个可行的实施例中，上述训练损失可以根据其包括的各损失的加权求和结果确定，本公开实施例并不对权值进行限定，示例性的，可以均为1。

本公开实施例中，上述迁移损失基于以下中的至少一部分构成：注意力损失分量、关系损失分量以及逻辑损失分量；其中，上述注意力损失分量基于上述第一显著特征与上述第二显著特征确定；上述关系损失分量基于上述第一降维特征与上述第二降维特征确定；上述逻辑损失分量基于上述第一分类结果与上述第二分类结果确定。在一个可行的实施例中，上述迁移损失可以根据其包括的各损失分量的加权求和结果确定，本公开实施例并不对权值进行限定，示例性的，可以均为1。

本公开实施例中，通过注意力损失分量刻画第一网络和第二网络之间的注意力提取能力差异，训练损失中包括注意力损失，可以使得在训练过程中第一网络学习到的注意力知识和第二网络学习到的注意力知识可以进行双向迁移，同时提升第一网络和第二网络的信息提取能力。

图4示出根据本公开实施例的注意力知识的迁移示意图。图4左侧示例性表达第一网络逐级获取局部注意力信息的处理流程，图4右侧示例性表达第二网络逐级获取全局注意力信息的处理流程，在训练过程中，相对应的各层网络层的双向箭头表征彼此进行注意力知识双向迁移。不同级学习到的注意力知识可以不同，通过注意力知识双向迁移可以提升各级网络层的信息提取能力，本公开实施例并不对网络层的级数进行限定。

图5示出根据本公开实施例的确定注意力损失分量的方法的流程图。基于上述第一显著特征与上述第二显著特征确定注意力损失分量的方法，包括：

S311.确定每一上述第一显著特征与上述第二显著特征的差异。

本公开实施例中的第一网络和第二网络可以执行进行相同级数的特征提取操作，示例性的，第一网络可以对于第一特征信息进行T级特征提取(T为不小于1的正整数)，得到包括T级第一特征提取结果的第一显著特征，相应的，第二网络也可以对于第二特征信息进行T级特征提取，得到包括T级第二特征提取结果的第二显著特征。上述第一显著特征与上述第二显著特征的差异可以通过各级特征提取结果差异的加权求和结果表征，每一级特征提取结果差异表征该级的第一特征提取结果与该级的第二特征提取结果之间的差异。本公开实施例并不限定每一级特征结果差异对应的权值，可以根据实际情况进行设定，不同级特征提取结果差异对应的权值可以相同或不同。在一个实施例中，在存在一个第一显著特征的情况下，可以根据公式

计算第一显著特征与第二显著特征之间的差异，其中，L_att表示上述第二显著特征与上述第一显著特征的差异，T表示级数，L_att-i表示上述第一显著特征中第i级第一特征提取结果，G_att-i表示上述第二显著特征中第i级第二特征提取结果。在存在多个第一显著特征的情况下，可以将各第一显著特征进行加权平均后带入上述公式

计算上述差异，本公开并不限制权值。可以根据实际情况进行设定，比如，可以将权值都设置为1。

S312.基于上述差异与设定阈值的差值最小化，确定上述注意力损失分量。

基于上述配置，可以准确计算得到第一网络和第二网络学习到的注意力知识的差异，根据该差异优化第一网络和第二网络的参数，使得第一网络和第二网络均可以具备较强的信息提取能力。

本公开实施例中，影响知识迁移的一个重要因素除了注意力之外，还有样本之间的关系信息,可以通过关系损失分量对第一网络和第二网络进行约束，使得在训练过程中第一网络学习到的关系知识和第二网络学习到的关系知识可以进行双向迁移。

为了进行关系信息的迁移，本公开实施例基于上述第二网络输出的第二降维结果得到第二样本间关系，并且基于上述第一网络输出的第一降维结果得到第一样本间关系。本公开实施例中以样本图像组为上述神经网络的输入，得到的上述第一降维特征包括上述样本图像组中每个样本图像对应的第一降维向量，上述第二降维特征包括上述样本图像组中每个样本图像对应的第二降维向量。上述第一样本间关系即为基于上述第一降维结果中的各第一降维向量确定的样本间关系信息，上述第二样本间关系信息即为基于上述第二降维结果中的各第二降维向量确定的样本间关系信息。

图6示出根据本公开实施例的第一样本间关系和第二样本间关系的迁移示意图。图6左侧示例性表达基于第一网络得到的第一样本间关系，图6右侧示例性表达基于第二网络得到的第二样本间关系，上述第一样本间关系和上述第二样本间关系之间的双向箭头表达双向迁移过程。

图7示出根据本公开实施例的确定关系损失分量的方法的流程图。基于上述第一降维特征与第二降维特征确定上述关系损失分量的方法，包括：

S321.对于任一第一降维特征，基于上述第一降维特征中各第一降维向量之间的相似性，确定上述第一降维特征对应的第一样本间关系。

在一个实施例中，样本图像组可以由M*N个样本图像构成，N和M的含义请参考前文。相应的，第一降维特征由M*N个第一降维向量构成，本公开实施例中可以将其表达为LR。可以通过S(LR)＝(LR)^T(LR)确定第一样本间关系，其中，S(LR)表示第一样本间关系，(LR)^T为LR的转置矩阵。本公开实施例中通过准确得到第一样本间关系，提升关系迁移效果，进而提升训练效果。

S322.基于上述第二降维特征中各第二降维向量之间的相似性，确定上述第二降维特征对应的第二样本间关系。

第二样本间关系的获取过程与前文基于相同的发明构思，在此不再赘述，第二降维特征通过GR表征，第二样本间关系通过S(GR)表征。

S323.基于上述第二样本间关系和上述第一样本间关系之间的距离最小化，确定上述关系损失分量。

在一个可行的实施方式中，可以根据公式

确定关系损失，符号||||_F表示范式距离，

表示基于神经网络中全部第一网络确定的第一目标样本间关系。将基于所述范式距离确定的最小距离确定为上述关系损失分量。若存在一个第一网络，基于该第一网络得到第一样本间关系S(LR)，则

若存在多个第一网络，则

为各第一网络得到的第一样本间关系的加权平均结果，本公开不限定权值，可以根据实际情况进行设定，比如，可以将权值都设置为1。本公开实施例通过准确确定关系损失分量，可以提升关系迁移效果，进而提升训练效果。

本公开实施例认为软标签知识的迁移也可以用于提升伙伴学习的效果。软标签知识表征一种逻辑信息。以对第一降维特征进行分类处理得到的第一分类结果为例，上述分类处理可以分类出其处理能力范围内的多个类目。第一分类结果体现了样本图像组的样本图像中的目标属于上述多个类目的概率分布。对第二降维特征进行上述分类处理得到的第二分类结果表达相同含义。上述第一分类结果和第二分类结果都属于一种软标签知识。逻辑信息损失分量体现第一分类结果和第二分类结果中这种概率分布的差异性。本公开实施例中，可以通过确定逻辑信息损失分量，实现在训练过程中软标签知识在第一网络和第二网络之间的双向迁移，进一步提升第一网络和第二网络的信息提取能力。本公开实施例并不对分类处理进行限定，其可以根据开源的分类器实施，也可以通过训练好的神经网络实施。

图8示出根据本公开实施例的第一分类结果和第二分类结果的迁移示意图。图8左侧表达了第一网络对应的第一分类结果中的概率分布，图8右侧表达了第二网络对应的第二分类结果中的概率分布，上述第一分类结果和上述第二分类结果之间的双向箭头表达上述第一网络和上述第二网络的软标签知识双向迁移过程。

图9示出根据本公开实施例的确定逻辑损失分量的方法的流程图。基于上述第一分类结果与上述第二分类结果确定上述逻辑损失分量的方法，包括：

S331.根据各上述第一分类结果确定目标第一分类结果。

在上述神经网络包括一个第一网络的情况下，该第一网络对应的第一分类结果即为该目标第一分类结果。在上述神经网络包括多个第一网络的情况下，可以对各第一分类结果进行加权平均操作，得到上述目标第一分类结果。本公开实施例并不限定使用的权值，示例性的，可以均为1。

S332.确定上述目标第一分类结果与上述第二分类结果之间的第一散度分量。

本公开实施例中提及的散度均可以为KL(Kullback–Leibler Divergence)散度。KL散度为两个概率分布间差异的非对称性度量，其可以被理解为两个概率分布的信息熵的差值。本公开实施例中可以使用公式

表示上述第一散度分量，G表示第二分类结果，

表示目标第一分类结果。

S333.根据上述第一散度分量，确定上述逻辑损失。

在上述神经网络只包括一个第一网络的情况下，上述第一散度分量即为上述逻辑损失。在上述神经网络包括多个第一网络的情况下，可以获取散度对抗阈值。对于任意两第一分类结果，确定上述两第一分类结果之间的散度，将上述散度与上述散度对抗阈值的差值确定为第二散度分量。根据上述第一散度分量和各上述第二散度分量，得到上述逻辑损失。

本公开实施例中可以通过公式KL(L_i||L_j)-θ_KL计算第二散度分量，其中L_i，L_j分别表示不同的两第一分类结果，KL(L_i||L_j)表示上述两第一分类结果之间的散度，θ_KL表示散度对抗阈值，在一个实施例中可以设置θ_KL为0.3，本公开实施例不对其具体数值进行限定。上述逻辑损失可以通过上述第一散度分量和各上述第二散度分量的加权求和结果确定，本公开实施例并不限定使用的权值，示例性的，可以均为1。

本公开实施例中通过提供逻辑信息损失分量的计算方法，可以准确计算得到第二网络和各第一网络产生的软标签损失，提升逻辑信息迁移效果，进而提升训练效果。

图10示出根据本公开实施例的确定分类损失的方法的流程图。基于第一分类结果、第二分类结果和上述样本图像组的标签确定分类损失，包括：

S341.确定第一识别损失分量，上述第一识别损失分量表征上述样本图像组的标签与每一上述第一分类结果之间的差异。

样本图像组的标签包括各样本图像的标注，样本图像的标注表征样本图像中的真实目标。第一分类结果表示的是样本图像组中各样本图像对应的预测目标。示例性的，样本图像A中的真实目标为第一车牌号对应的车辆，即样本图像中的车辆属于第一车牌号的概率为1，属于其它车牌号的概率为0；而其中一个第一网络对应的第一分类结果中记录的是样本图像A中的车辆依次属于第i车牌号的概率(i≤M)，M的含义请参考前文。根据该样本图像组的标签与该第一分类结果即可确定上述第一网络产生的识别损失，各第一网络产生的识别损失的加权求和结果即为上述第一识别损失分量，本公开实施例并不对权值进行具体限定，示例性的，可以均为1。若神经网络只包括一个第一网络，则该第一网络的识别损失即为上述第一识别损失分量。

S342.确定第二识别损失分量，上述第二识别损失分量表征上述样本图像组的标签与上述第二分类结果之间的差异。

本公开实施例中第二识别损失分量的确定方法可以参考步骤S341，在此不做赘述。

S343.根据上述第一识别损失分量和上述第二识别损失分量，确定目标识别损失。

在一个实施例中，上述目标识别损失可以由第一识别损失分量和第二识别损失分量加权求和得到，本公开实施例对于权值不进行限定。

S344.根据上述第一降维特征和上述样本图像组的标签，确定第一类内相似度和第一类间相似度。

沿用前文示例，样本图像组可以包括M*N个图像，该样本图像组可以被分为M个类，每个类中的N各图像均对应相同标签，隶属于不同类的样本图像对应的是不同的标签。对于任一第一降维特征，该第一降维特征中包含每个样本图像进行降维处理后得到的第一降维向量。对于每个类而言，计算隶属于该类的任意两个样本图像的第一降维向量之间的第一距离，将数值最大的第一距离确定为上述类的类内相似度，将各个类的类内相似度的最大值确定为上述第一类内相似度。并且，可以确定出隶属于不同类的任意两个样本图像对应的第一降维向量之间的第二距离，将数值最大的第二距离确定为上述第一类间相似度。

S345.根据上述第二降维特征和上述样本图像组的标签，确定第二类内相似度和第二类间相似度。

第二类内相似度和第二类间相似度的确定方法与步骤S344类似，在此不做赘述。

S346.根据上述第一类内相似度、上述第一类间相似度、上述第二类内相似度和上述第二类间相似度，确定类识别损失。

在一些场景中，由于图像库中图像质量参差不齐，可能出现包括相同目标的不同图像之间的相似度较低(类内相似度低)的问题以及包括不同目标的不同图像之间的相似度较高(类间相似度高)的问题，而图像库存在的类内相似度低和类间相似度高的问题可能导致对于相似的不同目标或者不相似的相同目标的识别能力下降，本公开实施例通过在训练过程中引入类识别损失，可以使得神经网络在训练优化的过程中自动训练得到对于类内相似度低和类间相似度高的目标的高信息提取能力。

在一个实施例中，上述根据上述第一类内相似度、上述第一类间相似度、上述第二类内相似度和上述第二类间相似度，确定类识别损失，包括：

S3461:根据上述第一类内相似度和上述第二类内相似度，计算类内损失。

在一个可行的实施例中，可以将上述第一类内相似度和上述第二类内相似度的加权结果作为上述类内损失，本公开不限定权值的具体数值。

S3462:根据上述第一类间相似度和上述第二类间相似度，计算类间损失。

在一个可行的实施例中，可以将上述第一类间相似度和上述第二类间相似度的加权结果作为上述类间损失，本公开也不限定权值的具体数值。

S3463:根据上述类内损失和上述类间损失的差值，得到类识别损失。

本公开实施例中根据上述类内损失和上述类间损失的差值，得到类识别损失，可以通过这种类识别损失的计算方法，从确保类间损失大于类内损失的角度对神经网络的训练过程进行约束，提升神经网络的信息提取能力。

S347.根据上述目标识别损失和上述类识别损失，确定上述分类损失。

本公开实施例可以根据上述目标识别损失和上述类识别损失的加权结果，确定上述分类损失。通过准确计算上述分类损失，可以从分类角度约束训练过程，提升神经网络的图像信息提取能力。

S40.基于上述训练损失优化上述至少一个第一网络和上述第二网络。

本公开实施例中包括上述至少一个第一网络和上述第二网络的神经网络可以为无监督神经网络或有监督神经网络。

图11示出根据本公开实施例的无监督神经网络的结构示意图。神经网络1包括图像特征提取网络11、第一网络12和第二网络13。图像特征提取网络11对样本图像组进行特征提取，得到第一特征信息和第二特征信息。第一网络12可以对于第一特征信息中的局部位置依次进行特征提取、特征压缩和全局平均池化，得到上述第一降维结果，第二网络13可以对于第二特征信息中的全局位置依次进行特征提取、特征压缩和全局平均池化，得到上述第二降维结果。神经网络1在不需要额外引入监督信息的情况下可以基于上述训练损失进行优化。神经网络1中的第一网络12的数量仅为示例，本公开实施例对此不做限定，不同的第一网络12可以关注不同的局部位置。

本公开实施例中，可以通过提升第一网络12的数量关注尽可能多的局部位置，这相较于需要依赖于额外的标注信息的相关技术而言，对于人工标注的依赖程度更低，可适用于标注信息不足、数据采集困难的场景。示例性的，在以车辆图像信息提取场景中，可以设置两个第一网络12，一个第一网络12学习车辆上半部分，另一个第一网络12学习车辆下半部分。本公开中图像特征提取网络11、第一网络12和第二网络13均可以为卷积结构，本公开对于卷积结构不做限定，其可以属于残差网络(Residual Network，Resnet)的一种可行结构，比如可以为Resnet18，Resnet50或Resnet101。

图12示出根据本公开实施例的有监督神经网络的结构示意图。神经网络2包括图像特征提取网络21、第一网络22、第二网络23以及监督网络24。图像特征提取网络21对样本图像组进行特征提取，得到第三特征信息。监督网络24可以对样本图像组进行监督特征信息提取，得到监督特征信息。将该第三特征信息与该监督特征信息融合，可以得到第一特征信息。第一网络22可以对于第一特征信息中的局部位置依次进行特征提取、特征压缩和全局平均池化，得到上述第一降维结果，第二网络23可以对于第三特征信息中的全局位置依次进行特征提取、特征压缩和全局平均池化，得到上述第二降维结果。神经网络2中的第一网络22的数量仅为示例，本公开实施例对此不做限定，可以引入监督特征信息对其中部分第一网络的训练过程进行监督，不同的第一网络可以使用不同的监督特征信息，本公开对此不做限定。

示例性的，在以车辆图像信息提取场景中，监督网络可以输出车窗位置信息作为监督特征信息，从而使得对融合有该监督特征信息的第一特征信息进行处理的第一网络可以更准确地对车窗位置的信息进行学习。通过引入额外的监督信息，提升了第一网络对于特定位置的信息提取能力。

本公开实施例并不限定基于上述训练损失对上述神经网路进行优化的方法，示例性的，可以使用梯度下降法，随机梯度下降法或批量梯度下降法。本公开实施例也不限定上述优化的停止条件，示例性的，可以根据训练损失的数值或神经网络参数调整的次数确定停止条件。

本公开实施例通过在第一网络和第二网络之间，进行多层次的知识迁移达到了互补学习共同优化的效果，比如，第二网络关注图像全局位置信息，通过多层次的知识迁移，与关注图像局部位置信息的第一网络进行互补学习，可以使得第二网络同样也具备关注图像局部位置信息的能力，显著提升第二网络的信息提取能力，基于第二网络即可提取到充分具备判别力的信息。直接将训练后的第二网络部署在应用场景中即可独立完成高质量的信息提取，显著降低部署成本，同时又保证高准确度的信息提取效果。

在部署第二网络的场景中，图13示出根据本公开实施例的应用第二网络进行目标重识别的方法流程图。上述目标重识别方法包括：

S10-1：获取待识别图像。

以车辆重识别场景为例，上述待识别图像中可以包括待识别的车辆A。

S20-1：将上述待识别图像输入第二网络，通过第二网络提取图像特征。

步骤S20-1中的第二网络可以根据上述神经网络训练方法训练得到，其可以对于上述待识别图像依次进行特征提取、特征压缩和全局平均池化处理，得到上述图像特征。

S30-1：基于上述图像特征和目标图像库对应的图像库特征的相似度，从上述目标图像库中匹配出与所述待识别图像包含的目标相同的图像，所述图像库特征包括上述目标图像库中每一图像对应的图像特征。

本公开实施例并不限定图像库特征的获取方法，在一个实施例中，可以使用上述第二网络对目标图像库中每一图像进行提取，得到上述每一图像对应的图像特征，进而得到图像库特征。

本公开实施例并不限定匹配方法，在一个实施例中，可以计算目标图像库中每一图像对应的图像特征与待识别图像的图像特征之间的距离，根据该距离进行匹配。比如，可以将小于预设距离阈值的距离所对应的目标图像库中的图像确定为目标重识别图像；或，按照距离升序的顺序对上述目标图像库中的图像进行排序；根据排序结果确定上述目标重识别图像，本公开实施例中目标重识别图像与待识别图像包含相同的目标。

基于上述配置，本公开实施例可以在目标图像库中查找到与待识别图像包括相同目标的图像，从而完成目标重识别。具备重识别准确度高的显著优势，并由于使用的第二网络结构简单，因此重识别速度快，部署成本低。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格地执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。

此外，本公开还提供了神经网络训练装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种神经网络训练方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。

此外，本公开还提供了目标重识别装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种目标重识别方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。

图14示出根据本公开实施例的一种神经网络训练装置的框图；如图14所示，上述装置包括：

第一处理模块10，用于将样本图像组的第一特征信息输入上述至少一第一网络，得到每一上述第一网络输出的第一处理信息。

第二处理模块20，用于将上述样本图像组的第二特征信息输入上述第二网络，得到第二处理信息。

训练损失确定模块30，用于基于上述第一处理信息、上述第二处理信息和上述样本图像组的标签，确定训练损失。

优化模块40，用于基于上述训练损失优化上述至少一个第一网络和上述第二网络；

其中，上述训练损失基于以下中的至少一部分构成：基于上述第一处理信息和上述第二处理信息确定的迁移损失，以及基于第一分类结果、第二分类结果和上述样本图像组的标签确定的分类损失，上述第一分类结果通过对上述第一处理信息进行分类得到，上述第二分类结果通过对上述第二处理信息进行分类得到。

在一些可能的实施方式中，上述第一处理信息包括基于上述第一特征信息提取的第一显著特征以及对上述第一显著特征降维后得到的第一降维特征；上述第二处理信息包括基于上述第二特征信息提取的第二显著特征以及对上述第二显著特征降维后得到的第二降维特征，上述迁移损失基于以下中的至少一部分构成：注意力损失分量、关系损失分量以及逻辑损失分量；其中，上述注意力损失分量基于上述第一显著特征与上述第二显著特征确定；上述关系损失分量基于上述第一降维特征与上述第二降维特征确定；上述逻辑损失分量基于上述第一分类结果与上述第二分类结果确定。

在一些可能的实施方式中，上述训练损失确定模块用于确定每一上述第一显著特征与上述第二显著特征的差异；基于上述差异与设定阈值的差值最小化，确定上述注意力损失分量。

在一些可能的实施方式中，上述第一降维特征包括上述样本图像组中每个样本图像对应的第一降维向量，上述第二降维特征包括上述样本图像组中每个样本图像对应的第二降维向量，上述训练损失确定模块还用于对于任一第一降维特征，基于上述第一降维特征中各第一降维向量之间的相似性，确定上述第一降维特征对应的第一样本间关系；基于上述第二降维特征中各第二降维向量之间的相似性，确定上述第二降维特征对应的第二样本间关系；基于上述第二样本间关系和上述第一样本间关系之间的距离最小化，确定上述关系损失分量。

在一些可能的实施方式中，在上述神经网络包括多个第一网络的情况下，上述训练损失确定模块还用于将每一上述第一样本间关系的加权平均结果确定为第一目标样本间关系；确定上述第一目标样本间关系和上述第二样本间关系的范式距离；基于上述范式距离中的最小距离确定上述关系损失。

在一些可能的实施方式中，上述训练损失确定模块还用于根据各上述第一分类结果确定目标第一分类结果；确定上述目标第一分类结果与上述第二分类结果之间的第一散度分量；根据上述第一散度分量，确定上述逻辑损失。

在一些可能的实施方式中，在上述神经网络包括多个第一网络的情况下，上述训练损失确定模块还用于获取散度对抗阈值；对于任意两第一分类结果，确定上述两第一分类结果之间的散度，将上述散度与上述散度对抗阈值的差值确定为第二散度分量；根据上述第一散度分量和各上述第二散度分量，得到上述逻辑损失。

在一些可能的实施方式中，上述样本图像组包括多类样本图像，同类样本图像具备相同标签，上述训练损失确定模块还用于确定第一识别损失分量，上述第一识别损失分量表征上述样本图像组的标签与每一上述第一分类结果之间的差异；确定第二识别损失分量，上述第二识别损失分量表征上述样本图像组的标签与上述第二分类结果之间的差异；根据上述第一识别损失分量和上述第二识别损失分量，确定目标识别损失；根据上述第一降维特征和上述样本图像组的标签，确定第一类内相似度和第一类间相似度；根据上述第二降维特征和上述样本图像组的标签，确定第二类内相似度和第二类间相似度；根据上述第一类内相似度、上述第一类间相似度、上述第二类内相似度和上述第二类间相似度，确定类识别损失；根据上述目标识别损失和上述类识别损失，确定上述分类损失。

在一些可能的实施方式中，上述装置还包括图像信息处理模块，用于获取上述样本图像组的样本图像的监督特征信息以及上述样本图像的第三特征信息，其中，上述监督特征信息为表征上述样本图像的局部位置的信息，上述第三特征信息为表征上述样本图像的全局位置的信息；融合上述监督特征信息和上述第三特征信息，得到上述样本图像组的第一特征信息。

在一些可能的实施方式中，上述第一处理模块用于对上述第一特征信息进行特征提取，得到上述第一显著特征；对上述第一显著特征进行特征压缩处理，得到第一特征压缩信息；对上述第一特征压缩信息进行全局平均池化处理，得到上述第一降维特征。

图15示出根据本公开实施例的一种目标重识别装置的框图；如图15所示，上述装置包括：

待识别图像获取模块10-1，用于获取待识别图像。

提取结果获取模块20-1，用于将所述待识别图像输入第二网络，通过第二网络提取图像特征。

重识别模块30-1，用于基于所述图像特征和目标图像库对应的图像库特征的相似度，从所述目标图像库中匹配出与所述待识别图像包含的目标相同的图像，所述图像库特征包括所述目标图像库中每一图像对应的图像特征。

其中，上述第二网络根据前文上述的神经网络训练方法训练得到。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

本公开实施例还提出一种计算机可读存储介质，上述计算机可读存储介质中存储有至少一条指令或至少一段程序，上述至少一条指令或至少一段程序由处理器加载并执行时实现上述方法。计算机可读存储介质可以是非易失性计算机可读存储介质。

本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，上述处理器被配置为上述方法。

电子设备可以被提供为终端、服务器或其它形态的设备。

图16示出根据本公开实施例的一种电子设备的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。

参照图16，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图像，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。

多媒体组件808包括在上述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。上述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与上述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如上述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G、5G或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，上述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。

图17示出根据本公开实施例的另一种电子设备的框图。例如，电子设备1900可以被提供为一服务器。参照图17，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。

电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。

本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，上述编程语言包括面向对象的编程语言—诸如Smalltalk、C+等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，上述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (15)

1.一种神经网络训练方法，所述神经网络包括至少一第一网络以及第二网络，其特征在于，所述方法包括：

将样本图像组的第一特征信息输入所述至少一第一网络，得到每一所述第一网络输出的第一处理信息；

将所述样本图像组的第二特征信息输入所述第二网络，得到第二处理信息；

基于所述第一处理信息、所述第二处理信息和所述样本图像组的标签，确定训练损失；

基于所述训练损失优化所述至少一个第一网络和所述第二网络；

其中，所述训练损失基于以下中的至少一部分构成：基于所述第一处理信息和所述第二处理信息确定的迁移损失，以及基于第一分类结果、第二分类结果和所述样本图像组的标签确定的分类损失，所述第一分类结果通过对所述第一处理信息进行分类得到，所述第二分类结果通过对所述第二处理信息进行分类得到。

2.根据权利要求1所述的方法，其特征在于，所述第一处理信息包括基于所述第一特征信息提取的第一显著特征以及对所述第一显著特征降维后得到的第一降维特征；所述第二处理信息包括基于所述第二特征信息提取的第二显著特征以及对所述第二显著特征降维后得到的第二降维特征，所述迁移损失基于以下中的至少一部分构成：注意力损失分量、关系损失分量以及逻辑损失分量；

其中，所述注意力损失分量基于所述第一显著特征与所述第二显著特征确定；所述关系损失分量基于所述第一降维特征与所述第二降维特征确定；所述逻辑损失分量基于所述第一分类结果与所述第二分类结果确定。

3.根据权利要求2所述的方法，其特征在于，基于所述第一显著特征与所述第二显著特征确定注意力损失分量的方法，包括：

确定每一所述第一显著特征与所述第二显著特征的差异；

基于所述差异与设定阈值的差值最小化，确定所述注意力损失分量。

4.根据权利要求2所述的方法，其特征在于，所述第一降维特征包括所述样本图像组中每个样本图像对应的第一降维向量，所述第二降维特征包括所述样本图像组中每个样本图像对应的第二降维向量，基于所述第一降维特征与第二降维特征确定所述关系损失分量的方法，包括：

对于任一第一降维特征，基于所述第一降维特征中各第一降维向量之间的相似性，确定所述第一降维特征对应的第一样本间关系；

基于所述第二降维特征中各第二降维向量之间的相似性，确定所述第二降维特征对应的第二样本间关系；

基于所述第二样本间关系和所述第一样本间关系之间的距离最小化，确定所述关系损失分量。

5.根据权利要求4所述的方法，其特征在于，在所述神经网络包括多个第一网络的情况下，所述基于所述第二样本间关系和所述第一样本间关系之间的距离最小化，确定所述关系损失分量，包括：

将每一所述第一样本间关系的加权平均结果确定为第一目标样本间关系；

确定所述第一目标样本间关系和所述第二样本间关系的范式距离；

基于所述范式距离中的最小距离确定所述关系损失。

6.根据权利要求2所述的方法，其特征在于，基于所述第一分类结果与所述第二分类结果确定所述逻辑损失分量的方法，包括：

根据各所述第一分类结果确定目标第一分类结果；

确定所述目标第一分类结果与所述第二分类结果之间的第一散度分量；

根据所述第一散度分量，确定所述逻辑损失。

7.根据权利要求6所述的方法，其特征在于，在所述神经网络包括多个第一网络的情况下，所述根据所述第一散度分量，确定所述逻辑损失包括：

获取散度对抗阈值；

对于任意两第一分类结果，确定所述两第一分类结果之间的散度，将所述散度与所述散度对抗阈值的差值确定为第二散度分量；

根据所述第一散度分量和各所述第二散度分量，得到所述逻辑损失。

8.根据权利要求2所述的方法，其特征在于，所述样本图像组包括多类样本图像，同类样本图像具备相同标签，基于第一分类结果、第二分类结果和所述样本图像组的标签确定分类损失，包括：

确定第一识别损失分量，所述第一识别损失分量表征所述样本图像组的标签与每一所述第一分类结果之间的差异；

确定第二识别损失分量，所述第二识别损失分量表征所述样本图像组的标签与所述第二分类结果之间的差异；

根据所述第一识别损失分量和所述第二识别损失分量，确定目标识别损失；

根据所述第一降维特征和所述样本图像组的标签，确定第一类内相似度和第一类间相似度；

根据所述第二降维特征和所述样本图像组的标签，确定第二类内相似度和第二类间相似度；

根据所述第一类内相似度、所述第一类间相似度、所述第二类内相似度和所述第二类间相似度，确定类识别损失；

根据所述目标识别损失和所述类识别损失，确定所述分类损失。

9.根据权利要求1至8中任意一项所述的方法，其特征在于，所述将样本图像组的第一特征信息输入所述至少一第一网络，得到每一所述第一网络输出的第一处理信息之前，所述方法还包括：

获取所述样本图像组的样本图像的监督特征信息以及所述样本图像的第三特征信息，其中，所述监督特征信息为表征所述样本图像的局部位置的信息，所述第三特征信息为表征所述样本图像的全局位置的信息；

融合所述监督特征信息和所述第三特征信息，得到所述样本图像组的第一特征信息。

10.根据权利要求2至9中任意一项所述的方法，其特征在于，所述将样本图像组的第一特征信息输入所述至少一第一网络，得到每一所述第一网络输出的第一处理信息，包括：

对所述第一特征信息进行特征提取，得到所述第一显著特征；

对所述第一显著特征进行特征压缩处理，得到第一特征压缩信息；

对所述第一特征压缩信息进行全局平均池化处理，得到所述第一降维特征。

11.一种目标重识别方法，其特征在于，所述方法包括：

获取待识别图像；

将所述待识别图像输入第二网络，通过第二网络提取图像特征；

基于所述图像特征和目标图像库对应的图像库特征的相似度，从所述目标图像库中匹配出与所述待识别图像包含的目标相同的图像，所述图像库特征包括所述目标图像库中每一图像对应的图像特征；

其中，所述第二网络根据权利要求1-10中任意一项所述的神经网络训练方法得到。

12.一种神经网络训练装置，所述神经网络包括至少一第一网络以及第二网络，其特征在于，所述装置包括：

第一处理模块，用于将样本图像组的第一特征信息输入所述至少一第一网络，得到每一所述第一网络输出的第一处理信息；

第二处理模块，用于将所述样本图像组的第二特征信息输入所述第二网络，得到第二处理信息；

训练损失确定模块，用于基于所述第一处理信息、所述第二处理信息和所述样本图像组的标签，确定训练损失；

优化模块，用于基于所述训练损失优化所述至少一个第一网络和所述第二网络；

其中，所述训练损失基于以下中的至少一部分构成：基于所述第一处理信息和所述第二处理信息确定的迁移损失，以及基于第一分类结果、第二分类结果和所述样本图像组的标签确定的分类损失，所述第一分类结果通过对所述第一处理信息进行分类得到，所述第二分类结果通过对所述第二处理信息进行分类得到。

13.一种目标重识别装置，其特征在于，包括：

待识别图像获取模块，用于获取待识别图像；

提取结果获取模块，用于将所述待识别图像输入第二网络，通过第二网络提取图像特征；

重识别模块，用于基于所述图像特征和目标图像库对应的图像库特征的相似度，从所述目标图像库中匹配出与所述待识别图像包含的目标相同的图像，所述图像库特征包括所述目标图像库中每一图像对应的图像特征；

其中，所述第二网络根据权利要求1-10中任意一项所述的神经网络训练方法得到。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-10中任意一项所述的神经网络训练方法，或权利要求11所述的目标重识别方法。

15.一种电子设备，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1-10中任意一项所述的神经网络训练方法，或权利要求11所述的目标重识别方法。

Images