CN114445775A - 训练方法、行人重识别方法、介质及电子设备 - Google Patents

训练方法、行人重识别方法、介质及电子设备 Download PDF

Info

Publication number
CN114445775A
CN114445775A CN202210054428.9A CN202210054428A CN114445775A CN 114445775 A CN114445775 A CN 114445775A CN 202210054428 A CN202210054428 A CN 202210054428A CN 114445775 A CN114445775 A CN 114445775A
Authority
CN
China
Prior art keywords
pedestrian
domain data
domain
data
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210054428.9A
Other languages
English (en)
Inventor
游浩泉
袁德胜
成西锋
陈宏锐
崔龙
林治强
党毅飞
马卫民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Winner Technology Co ltd
Original Assignee
Winner Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Winner Technology Co ltd filed Critical Winner Technology Co ltd
Priority to CN202210054428.9A priority Critical patent/CN114445775A/zh
Publication of CN114445775A publication Critical patent/CN114445775A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种训练方法、行人重识别方法、介质及电子设备。所述训练方法包括：获取源域数据和目标域数据；基于所述源域数据对初始神经网络模型进行第一训练，以获得第一神经网络模型；通过所述第一神经网络模型对所述目标域数据进行处理，以获取所述目标域数据的联合特征，所述联合特征由所述目标域数据的行人特征和域特征加权融合获得；基于所述联合特征对所述目标域数据进行分类，并根据分类结果获取带伪标签的目标域数据；基于所述源域数据和所述带伪标签的目标域数据对所述第一神经网络模型进行第二训练，以获得第二神经网络模型。该方法能够提高神经网络模型的泛化性和提高神经网络模型处理跨域数据时的准确性。

Description

训练方法、行人重识别方法、介质及电子设备
技术领域
本发明涉及一种神经网络的训练方法，特别是涉及一种训练方法、行人重识别方法、介质及电子设备。
背景技术
伴随着众多视频监控系统相关技术的发展，行人重识别技术得到了广泛的应用。行人重识别技术是利用算法在图像库中搜索目标行人的技术。在如今的众多算法中，通过神经网络模型对行人图像进行特征提取，能够实现检索对象的数据化，这种方法是最为流行和通用的方法之一，这主要归因于神经网络模型高度的泛化性和优秀的效率，同时无需人脸识别的要求就能够迅速实现在庞大的数据群中检索的功能。
以神经网络为核心的行人重识别系统中，数据是非常重要的一环。在当前流行的神经网络重识别系统中，由于缺乏足够多的数据量，使得神经网络模型的泛化性不高，在面临跨域数据时，神经网络模型命中正确的检索的概率较小。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种训练方法、行人重识别方法、介质及电子设备，用于解决现有技术中神经网络模型泛化性不高以及处理跨域数据时准确性不高的问题。
为实现上述目的及其他相关目的，本发明的第一方面提供一种训练方法，获取源域数据和目标域数据，所述源域数据为有标签的行人数据，所述目标域数据为无标签的行人数据；基于所述源域数据对初始神经网络模型进行第一训练，以获得第一神经网络模型；通过所述第一神经网络模型对所述目标域数据进行处理，以获取所述目标域数据的联合特征，所述联合特征由所述目标域数据的行人特征和域特征加权融合获得；基于所述联合特征对所述目标域数据进行分类，并根据分类结果获取带伪标签的目标域数据；基于所述源域数据和所述带伪标签的目标域数据对所述第一神经网络模型进行第二训练，以获得第二神经网络模型。
于所述第一方面的一实施例中，基于所述源域数据对初始神经网络模型进行第一训练，以获得第一神经网络模型的实现方法包括：通过所述初始神经网络模型对所述源域数据进行处理，以获取所述源域数据的行人特征、域特征、行人数和域数；基于所述行人特征获取行人类别预测结果；基于所述行人类别预测结果和所述行人数通过第一分类损失函数获取行人类别预测损失；基于所述域特征获取域类别预测结果；基于所述域类别预测结果和所述域数通过第二分类损失函数获取域类别预测损失；通过将所述行人特征和所述域特征加权融合，以获得所述行人特征和所述域特征的联合特征；基于所述联合特征通过度量学习损失函数获取联合特征损失；基于所述行人类别预测损失、所述域类别预测损失和所述联合特征损失更新所述初始网络模型的参数。
于所述第一方面的一实施例中，基于所述源域数据和所述带伪标签的目标域数据对所述第一神经网络模型进行第二训练，以获得第二神经网络模型的实现方法包括：获取所述源域数据和所述带伪标签的目标域数据的行人特征、域特征、行人数和域数；基于所述行人特征获取行人类别预测结果；基于所述行人类别预测结果和所述行人数通过第三分类损失函数获取行人类别预测损失；基于所述域特征获取域类别预测结果；基于所述域类别预测结果和所述域数通过第四分类损失函数获取域类别预测损失；通过将所述行人特征和所述域特征加权融合，以获得所述行人特征和所述域特征的联合特征；基于所述联合特征通过度量学习损失函数获取联合特征损失；基于所述行人类别预测损失、所述域类别预测损失和所述联合特征损失更新所述第一神经网络模型的参数。
于所述第一方面的一实施例中，所述第三分类损失函数由下式表达：
Figure BDA0003475845320000021
其中，K为所述行人数，a为超参数，所述a的取值范围为0-1，所述LossCrossEntropy可由下式表达：
Figure BDA0003475845320000022
其中所述Pi表示真实概率，qi表示预测概率，所述Pi可由下式表示：
Figure BDA0003475845320000023
于所述第一方面的一实施例中，所述分类损失函数为交叉熵损失函数，所述度量学习损失函数为三元组损失函数。
于所述第一方面的一实施例中，所述行人数据包括行人图像，所述训练方法还包括：在所述带伪标签的目标域数据中删除行人图像数少于4张的行人数据。
于所述第一方面的一实施例中，所述初始神经网络模型包括共同特征提取层、行人特征提取层、域特征提取层和特征融合层，其中，所述共同特征提取层用于获取共同特征，所述行人特征提取层用于根据所述共同特征获取输入数据的行人特征，所述域特征提取层用于根据所述共同特征获取所述输入数据的域特征，所述特征融合层用于根据所述输入数据的行人特征和所述域特征进行加权融合以获取所述输入数据的联合特征，其中，所述输入数据包括所述源域数据和/或所述目标域数据。
本发明的第二方面提供一种行人重识别方法，所述行人重识别方法包括：获取目标域数据，所述目标域数据为无标签的行人数据；通过神经网络模型对所述目标域数据进行处理，以获得所述目标域数据的联合特征，所述神经网络模型训练时执行本发明第一方面任一项所述的训练方法。基于所述联合特征对所述目标域数据进行分类，并根据分类结果获取所述目标域数据的标签。
本发明的第三方面提供一种计算机可读存储介质，该计算机程序被处理器执行时实现本发明第一方面任一项所述训练方法和/或第三方面所述的行人重识别方法。
本发明的第四方面提供一种电子设备，所述电子设备包括：存储器，其上存储有计算机程序；处理器，与所述存储器通信相连，调用所述计算机程序时执行本发明第一方面任一项所述训练方法和/或第三方面所述的行人重识别方法。
如上所述，本发明所述的训练方法、行人重识别方法、介质及电子设备，具有以下的有益效果：
所述训练方法基于源域数据对初始神经网络模型进行第一训练能够获得第一神经网络模型。通过所述第一神经网络模型对所述目标域数据进行处理能够获取所述目标域数据的联合特征，所述联合特征由所述目标域数据的行人特征和域特征加权融合获得。基于所述联合特征对所述目标域特征进行分类能够获得相应的分类结果，进而获取到带伪标签的目标域数据。基于所述源域数据和所述带伪标签的目标域数据对所述第一神经网络模型进行第二训练即可获得第二神经网络模型，所述源域数据为有标签的行人数据，所述目标域数据为无标签的行人数据。由此可知，于本发明所述的训练方法中，通过将域信息和行人信息结合，能够提高所述第二神经网络模型对跨域数据的识别效果，并且在所述第一神经网络模型的第二训练中，通过扩充所述带伪标签的目标域数据作为训练数据，提高了所述第二神经网络模型的泛化性。综上，所述训练方法能够提高神经网络模型的泛化性以及提高神经网络模型处理跨域数据时的准确性。
附图说明
图1显示为本发明所述训练方法于一具体实施例中的流程图。
图2显示为本发明一具体实施例中对初始神经网络模型进行第一训练的流程图。
图3显示为本发明一具体实施例中对第一神经网络模型进行第二训练的流程图。
图4显示为本发明所述训练方法于一具体实施例中的流程图。
图5显示为本发明所述行人重识别方法于一具体实施例中的流程图。
图6显示为本发明所述电子设备于一具体实施例中的结构示意图。
元件标号说明
600 电子设备
610 存储器
620 处理器
S11-S15 步骤
S21-S28 步骤
S31-S38 步骤
S41-S45 步骤
S51-S53 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在现有的神经网络重识别系统中，由于神经网络模型训练时缺乏足够多的数据量，使得神经网络模型的泛化性不高，并且在面临跨域数据时，神经网络模型命中正确的检索的概率较小。
针对上述问题，本发明提供了一种训练方法。所述训练方法基于源域数据对初始神经网络模型进行第一训练能够获得第一神经网络模型。通过所述第一神经网络模型对所述目标域数据进行处理能够获取所述目标域数据的联合特征，所述联合特征由所述目标域数据的行人特征和域特征加权融合获得。基于所述联合特征对所述目标域特征进行分类能够获得相应的分类结果，进而获取到带伪标签的目标域数据。基于所述源域数据和所述带伪标签的目标域数据对所述第一神经网络模型进行第二训练即可获得第二神经网络模型，所述源域数据为有标签的行人数据，所述目标域数据为无标签的行人数据。由此可知，于本发明所述的训练方法中，通过将域信息和行人信息结合，能够提高所述第二神经网络模型对跨域数据的识别效果，并且在所述第一神经网络模型的第二训练中，通过扩充所述带伪标签的目标域数据作为训练数据，提高了所述第二神经网络模型的泛化性。综上，所述训练方法能够提高神经网络模型的泛化性以及提高神经网络模型处理跨域数据时的准确性。
请参阅图1，于本发明的一实施例中，所述训练方法包括：
S11，获取源域数据和目标域数据，所述源域数据为有标签的行人数据，所述目标域数据为无标签的行人数据。所述行人数据的标签可以采用人工标注等方式获取，但本发明并不以此为限。
S12，基于所述源域数据对初始神经网络模型进行第一训练，以获得第一神经网络模型。其中，所述源域数据可以为有标签的行人图像。
可选地，在步骤S12之前，所述训练方法还可以包括：对所述行人图像进行预处理。其中，所述预处理包括对所述行人图像进行随机地左右翻转，并在一定范围内进行比例放缩、高斯模糊、动态模糊、光照增强以及对比度增强等处理。
可选地，基于所述源域数据对初始神经网络模型进行第一训练的过程中，可以通过损失函数确定所述初始神经网络模型的损失，当损失不再明显下降时，完成所述第一训练并获得所述第一神经网络模型。
S13，通过所述第一神经网络模型对所述目标域数据进行处理，以获取所述目标域数据的联合特征，所述联合特征由所述目标域数据的行人特征和域特征加权融合获得。可选地，可以将所述行人特征和所述域特征的维度比例作为所述行人特征和所述域特征的权重融合比例，比如，所述行人特征为1×1×2048的特征向量，所述域特征为1×1×256的特征向量，可以将所述行人特征和所述域特征的维度比例2048：256作为所述行人特征和所述域特征的权重融合比例。其中，所述联合特征为所述第一神经网络模型输出的行人表达的整体特征。
S14，基于所述联合特征对所述目标域数据进行分类，并根据分类结果获取带伪标签的目标域数据。
可选地，本实施例中可以基于所述联合特征通过聚类算法对所述目标域数据进行分类来获取所述分类结果。
可选地，所述目标域数据可以为无标签的行人图像，此时，可以通过在所述带伪标签的目标域数据中删除行人图像数少于4张的行人数据，以降低所述分类结果的噪声影响，并得到完整处理好的带伪标签的目标域数据。
S15，基于所述源域数据和所述带伪标签的目标域数据对所述第一神经网络模型进行第二训练，以获得第二神经网络模型。
可选地，基于所述源域数据和所述带伪标签的目标域数据对所述第一神经网络模型进行第二训练的过程中，可以通过损失函数确定所述第一神经网络模型的损失，当损失不再明显下降时，完成所述第二训练并获得所述第二神经网络模型。
根据以上描述可知，本实施例所述的训练方法基于源域数据对初始神经网络模型进行第一训练能够获得第一神经网络模型。通过所述第一神经网络模型对所述目标域数据进行处理能够获取所述目标域数据的联合特征，所述联合特征由所述目标域数据的行人特征和域特征加权融合获得。基于所述联合特征对所述目标域特征进行分类能够获得相应的分类结果，进而获取到带伪标签的目标域数据。基于所述源域数据和所述带伪标签的目标域数据对所述第一神经网络模型进行第二训练即可获得第二神经网络模型，所述源域数据为有标签的行人数据，所述目标域数据为无标签的行人数据。其中，在训练过程中通过将域信息和行人信息结合，能够提高所述第二神经网络模型对跨域数据的识别效果，并且在所述第一神经网络模型的第二训练中，通过扩充所述带伪标签的目标域数据作为训练数据，提高了所述第二神经网络模型的泛化性。综上，所述训练方法能够提高神经网络模型的泛化性以及提高神经网络模型处理跨域数据时的准确性。
请参阅图2，于本发明的一实施例中，基于所述源域数据对初始神经网络模型进行第一训练，以获得第一神经网络模型的实现方法包括：
S21，通过所述初始神经网络模型对所述源域数据进行处理，以获取所述源域数据的行人特征、域特征、行人数和域数。
可选地，所述初始神经网络模型包括共同特征提取层、行人特征提取层、域特征提取层和特征融合层，其中，所述共同特征提取层用于获取共同特征，所述行人特征提取层用于根据所述共同特征获取输入数据的行人特征，所述域特征提取层用于根据所述共同特征获取所述输入数据的域特征，所述特征融合层用于根据所述输入数据的行人特征和所述域特征进行加权融合以获取所述输入数据的联合特征，其中，所述输入数据为源域数据。
S22，基于所述行人特征获取行人类别预测结果。其中，所述行人类别预测结果可以为源域数据预测正确和源域数据预测错误。
S23，基于所述行人类别预测结果和所述行人数通过第一分类损失函数获取行人类别预测损失。其中，所述第一分类损失函数可以为交叉熵损失函数。
S24，基于所述域特征获取域类别预测结果。其中，所述域类别预测结果可以为源域数据预测正确和源域数据预测错误。
S25，基于所述域类别预测结果和所述域数通过第二分类损失函数获取域类别预测损失。其中，所述第二分类损失函数可以为交叉熵损失函数。
S26，通过将所述行人特征和所述域特征加权融合，以获得所述行人特征和所述域特征的联合特征。可选地，可以将所述行人特征和所述域特征的维度比例作为所述行人特征和所述域特征的权重融合比例。
S27，基于所述联合特征通过度量学习损失函数获取联合特征损失。其中，所述度量学习损失函数可以通过使用三元组损失函数以完成对所述联合特征的度量学习。
S28，基于所述行人类别预测损失、所述域类别预测损失和所述联合特征损失更新所述初始网络模型的参数。
可选地，本实施例可以通过将所述行人类别预测损失、所述域类别预测损失和所述联合特征损失加权融合以获得总损失，并基于所述总损失更新所述初始网络模型的参数，当所述总损失不再明显下降时，完成所述第一训练并获得所述第一神经网络模型。
根据以上描述可知，本实施例中通过将所述行人特征和所述域特征加权融合来获得联合特征作为行人数据的整体表达特征，此种方式能够提高神经网络模型对跨域数据的识别效果。此外，本实施例中还可以通过行人类别预测损失、域类别预测损失和联合特征损失来更新神经网络模型参数，从而使得神经网络模型具备稳定良好的识别能力。
请参阅图3，于本发明的一实施例中，基于所述源域数据和所述带伪标签的目标域数据对所述第一神经网络模型进行第二训练，以获得第二神经网络模型的实现方法包括：
S31，获取所述源域数据和所述带伪标签的目标域数据的行人特征、域特征、行人数和域数。可选地，所述第一神经网络模型包括共同特征提取层、行人特征提取层、域特征提取层和特征融合层，其中，所述共同特征提取层用于获取共同特征，所述行人特征提取层用于根据所述共同特征获取输入数据的行人特征，所述域特征提取层用于根据所述共同特征获取所述输入数据的域特征，所述特征融合层用于根据所述输入数据的行人特征和所述域特征进行加权融合以获取所述输入数据的联合特征，其中，所述输入数据为源域数据和所述带伪标签的目标域数据。
S32，基于所述行人特征，获取行人类别预测结果。其中，所述行人类别预测结果可以为源域数据预测正确、源域数据预测错误、目标域数据预测正确和目标域数据预测错误。
S33，基于所述行人类别预测结果和所述行人数，通过第三分类损失函数获取行人类别预测损失。其中，所述第三分类损失函数可以为改进的交叉熵损失函数，所述改进的交叉熵损失函数可以由下式表示：
Figure BDA0003475845320000081
其中，K为所述行人数，a为超参数，所述a的取值范围为0-1，所述LossCrossEntropy可由下式表达：
Figure BDA0003475845320000082
其中所述Pi表示真实概率，qi表示预测概率，所述Pi可由下式表示：
Figure BDA0003475845320000083
本实施例中通过所述改进的交叉熵损失函数将所述源域数据赋予了更高的置信度，并将所述带伪标签的目标域数据赋予了更低的置信度，实现了对噪声轻的源域数据重关注以及对噪声重的目标域数据轻关注，减小了目标域数据生成错误的伪标签带来的影响，提高了神经网络模型对目标域数据的召回率和准确率。
S34，基于所述域特征获取域类别预测结果。其中，所述域类别预测结果可以为源域数据预测正确、源域数据预测错误、目标域数据预测正确和目标域数据预测错误。
S35，基于所述域类别预测结果和所述域数通过第四分类损失函数获取域类别预测损失。其中，所述第四分类损失函数可以为交叉熵损失函数。
S36，通过将所述行人特征和所述域特征加权融合，以获得所述行人特征和所述域特征的联合特征。
可选地，可以将所述行人特征和所述特征的维度比例作为所述行人特征和所述域特征的权重融合比例。
S37，基于所述联合特征通过度量学习损失函数获取联合特征损失。其中，所述度量学习损失函数可以通过使用三元组损失函数以完成对所述联合特征的度量学习。
S38，基于所述行人类别预测损失、所述域类别预测损失和所述联合特征损失更新所述第一神经网络模型的参数。
可选地，可以通过将所述行人类别预测损失、所述域类别预测损失和所述联合特征损失加权融合以获得总损失，并基于所述总损失更新所述第一神经网络模型的参数，当所述总损失不再明显下降时，完成所述第二训练并获得所述第二神经网络模型。
根据以上描述可知，本实施例中，通过将所述带伪标签的目标域数据作为有效扩充的训练数据能够有效提高神经网络模型的泛化性和识别能力，通过将域特征和行人特征加权处理能够减弱错误标签带来的影响，弱化噪声产生的影响。
请参阅图4，于本发明的一实施例中，所述训练方法方法包括：
S41，获取源域数据和目标域数据，所述源域数据为有标签的行人数据，所述目标域数据为无标签的行人数据。其中，所述源域数据和所述目标域数据可以为行人图像。
可选地，所述训练方法还可以包括：对所述行人图像进行预处理。其中，所述预处理包括对所述行人图像进行随机地左右翻转，并在一定范围内进行比例放缩、高斯模糊、动态模糊、光照增强以及对比度增强等处理。
S42，基于所述源域数据，对初始神经网络模型进行第一训练，以获得第一神经网络模型。其中，所述初始神经网络的获得方法可以为：搭建网络并随机进行初始化；载入ResNet-50网络，其中初始权值为VGG-16在ImageNet上的预训练权重；对于网络结构里的其他部分的参数通过设置均值为0、均方差为0.01以及偏差为0进行初始化。
在所述第一训练的过程中，可以将域的分类任务和行人特征作为联合的任务一起训练，并且根据行人特征和域特征的不同特征维度，调节行人特征和域特征在联合特征中占的权重，比如，行人特征为1×1×2048的特征向量，域特征为1×1×256的特征向量，可以将行人特征和域特征的维度比例2048：256作为行人特征和域特征的权重融合比例。
本实施例中，所述初始神经网络的共同特征提取层用于共同特征的提取，行人特征提取层用于获取行人特征，域特征提取层用于获取域特征。所述初始神经网络的池化层能够降低通道上的维度，使得上述特征变成1×1×N的特征向量，通过不同输出层归一化特征，能够获得不同任务所需维度的特征。所述初始神经网络的特征融合层用于输出联合特征向量作为行人表达的整体特征，行人特征和域特征经过对应的全连接层分别进行行人类别和域类别的预测。
可选地，在所述第一训练的过程中，针对行人类别预测的损失，可以使用交叉熵损失函数进行衡量，针对域类别预测的损失，可以使用交叉熵损失函数进行衡量，针对行人特征的度量学习，可以使用三元组损失函数进行衡量。通过使用以上损失函数，可以使得神经网络模型对不同域的数据有更好的识别能力，生成质量更好的伪标签。
S43，通过所述第一神经网络模型对所述目标域数据进行处理，以获取所述目标域数据的联合特征，所述联合特征由所述目标域数据的行人特征和域特征加权融合获得。
S44，基于所述联合特征对所述目标域数据进行分类，并根据分类结果获取带伪标签的目标域数据。可选地，可以根据所述联合特征，结合DBSCAN(Density-Based SpatialClustering of Applications with Noise，具有噪声的基于密度的聚类方法)，生成所述带伪标签的目标域数据。此外，本实施例中还可以删除行人图像数少于4张的行人数据，以降低离群点的噪声影响，得到完整处理好的带伪标签的目标域数据。
S45，基于所述源域数据和所述带伪标签的目标域数据对所述第一神经网络模型进行第二训练，以获得第二神经网络模型。其中，针对行人类别的损失，由于带有噪声的伪标签数据存在，直接使用第一训练中的损失函数并不合适，需要将带有标签的行人数据赋予更高的置信度，并将带有伪标签的行人数据赋予更低的置信度，因此，可以对第一训练中的损失函数进行改进，对伪标签的预测类别概率做标签平滑的处理，对应预测的概率改变如下：
Figure BDA0003475845320000101
其中，K为所述行人数，a为超参数，所述a的取值范围为0-1，所述LossCrossEntropy可由下式表达：
Figure BDA0003475845320000102
其中所述Pi表示真实概率，qi表示预测概率，所述Pi可由下式表示：
Figure BDA0003475845320000111
针对行人特征的度量学习，可以使用与第一训练中一样的三元组损失函数，针对域类别预测类别的损失，由于域的信息是已知的，因此可以使用与第一训练中一样的交叉熵损失函数。
根据以上描述可知，本实施例所述的训练方法通过基于源域数据对初始神经网络模型进行第一训练能够获得第一神经网络模型。通过所述第一神经网络模型对所述目标域数据进行处理能够获取所述目标域数据的联合特征，所述联合特征由所述目标域数据的行人特征和域特征加权融合获得。基于所述联合特征对所述目标域特征进行分类能够获得相应的分类结果，进而获取到带伪标签的目标域数据。基于所述源域数据和所述带伪标签的目标域数据对所述第一神经网络模型进行第二训练即可获得第二神经网络模型，所述源域数据为有标签的行人数据，所述目标域数据为无标签的行人数据。其中，所述初始神经网络模型经历了两次训练，通过扩充带伪标签的目标域数据作为训练数据，能够提高神经网络模型的泛化能力。由于第一训练后获得的伪标签数据往往存在着不少多人一档和一人多档的情况，如果直接用于第二训练，会导致神经网络模型识别能力大幅下降，因此通过在第二轮训练时将域特征和行人特征加权处理，能够减弱错误标签带来的影响，并且通过损失函数弱化噪声歧义，提高了神经网络模型对跨域数据的识别能力。
请参阅图5，于本发明的一实施例中，所述行人重识别方法包括：
S51，获取目标域数据，所述目标域数据为无标签的行人数据。
S52，通过神经网络模型对所述目标域数据进行处理，以获得所述目标域数据的联合特征，所述神经网络模型训练时执行图1或图4所示的训练方法。
S53，基于所述联合特征对所述目标域数据进行分类，并根据分类结果获取所述目标域数据的标签。
根据以上描述可知，本实施例所述的行人重识别方法通过使用图1或图4所示的训练方法，有效地扩充了来自不同域的行人数据，对行人重识别方法的泛化性和准确性产生了增益。
基于以上对所述训练方法和所述行人重识别方法的描述，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序。该计算机程序被处理器执行时实现图1或图4所示的训练方法和/或图5所示的行人重识别方法。
基于以上对所述训练方法和所述行人重识别方法的描述，本发明还提供一种电子设备。请参阅图6，于本发明的一实施例中，所述电子设备600包括：存储器610，其上存储有计算机程序；处理器620，与所述存储器610通信相连，用于执行所述计算机程序并实现图1或图4所示的训练方法和/或图5所示的行人重识别方法。
本发明所述的训练方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
综上所述，本发明的训练方法、行人重识别方法、介质及电子设备，用于提高神经网络模型的泛化性以及提高神经网络模型处理跨域数据时的准确性。因此，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种训练方法，其特征在于，所述训练方法包括：
获取源域数据和目标域数据，所述源域数据为有标签的行人数据，所述目标域数据为无标签的行人数据；
基于所述源域数据对初始神经网络模型进行第一训练，以获得第一神经网络模型；
通过所述第一神经网络模型对所述目标域数据进行处理，以获取所述目标域数据的联合特征，所述联合特征由所述目标域数据的行人特征和域特征加权融合获得；
基于所述联合特征对所述目标域数据进行分类，并根据分类结果获取带伪标签的目标域数据；
基于所述源域数据和所述带伪标签的目标域数据对所述第一神经网络模型进行第二训练，以获得第二神经网络模型。
2.根据权利要求1所述的训练方法，其特征在于，基于所述源域数据对初始神经网络模型进行第一训练，以获得第一神经网络模型的实现方法包括：
通过所述初始神经网络模型对所述源域数据进行处理，以获取所述源域数据的行人特征、域特征、行人数和域数；
基于所述行人特征获取行人类别预测结果；
基于所述行人类别预测结果和所述行人数通过第一分类损失函数获取行人类别预测损失；
基于所述域特征获取域类别预测结果；
基于所述域类别预测结果和所述域数通过第二分类损失函数获取域类别预测损失；
将所述行人特征和所述域特征加权融合，以获得所述行人特征和所述域特征的联合特征；
基于所述联合特征通过度量学习损失函数获取联合特征损失；
基于所述行人类别预测损失、所述域类别预测损失和所述联合特征损失更新所述初始网络模型的参数。
3.根据权利要求1所述的训练方法，其特征在于，基于所述源域数据和所述带伪标签的目标域数据对所述第一神经网络模型进行第二训练，以获得第二神经网络模型的实现方法包括：
获取所述源域数据和所述带伪标签的目标域数据的行人特征、域特征、行人数和域数；
基于所述行人特征获取行人类别预测结果；
基于所述行人类别预测结果和所述行人数通过第三分类损失函数获取行人类别预测损失；
基于所述域特征获取域类别预测结果；
基于所述域类别预测结果和所述域数通过第四分类损失函数获取域类别预测损失；
将所述行人特征和所述域特征加权融合，以获得所述行人特征和所述域特征的联合特征；
基于所述联合特征通过度量学习损失函数获取联合特征损失；
基于所述行人类别预测损失、所述域类别预测损失和所述联合特征损失更新所述第一神经网络模型的参数。
4.根据权利要求3所述的训练方法，其特征在于，所述第三分类损失函数由下式表达：
Figure FDA0003475845310000021
其中，K为所述行人数，a为超参数，所述a的取值范围为0-1，所述LossCrossEntropy可由下式表达：
Figure FDA0003475845310000022
其中所述Pi表示真实概率，qi表示预测概率，所述Pi可由下式表示：
Figure FDA0003475845310000023
5.根据权利要求3所述的训练方法，其特征在于，所述分类损失函数为交叉熵损失函数，所述度量学习损失函数为三元组损失函数。
6.根据权利要求1所述的训练方法，其特征在于，所述行人数据包括行人图像，所述训练方法还包括：
在所述带伪标签的目标域数据中删除行人图像数少于4张的行人数据。
7.根据权利要求1所述的训练方法，其特征在于，所述初始神经网络模型包括共同特征提取层、行人特征提取层、域特征提取层和特征融合层，其中，所述共同特征提取层用于获取共同特征，所述行人特征提取层用于根据所述共同特征获取输入数据的行人特征，所述域特征提取层用于根据所述共同特征获取所述输入数据的域特征，所述特征融合层用于根据所述输入数据的行人特征和所述域特征进行加权融合以获取所述输入数据的联合特征，其中，所述输入数据包括所述源域数据和/或所述目标域数据。
8.一种行人重识别方法，其特征在于，所述行人重识别方法包括：
获取目标域数据，所述目标域数据为无标签的行人数据；
通过神经网络模型对所述目标域数据进行处理，以获得所述目标域数据的联合特征，所述神经网络模型训练时执行权利要求1-7任一项所述的训练方法；
基于所述联合特征对所述目标域数据进行分类，并根据分类结果获取所述目标域数据的标签。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该计算机程序被处理器执行时实现权利要求1-7任一项所述的训练方法和/或权利要求8所述的行人重识别方法。
10.一种电子设备，其特征在于，所述电子设备包括：
存储器，存储有一计算机程序；
处理器，与所述存储器通信相连，调用所述计算机程序时执行权利要求1-7任一项所述的训练方法和/或权利要求8所述的行人重识别方法。
CN202210054428.9A 2022-01-18 2022-01-18 训练方法、行人重识别方法、介质及电子设备 Pending CN114445775A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210054428.9A CN114445775A (zh) 2022-01-18 2022-01-18 训练方法、行人重识别方法、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210054428.9A CN114445775A (zh) 2022-01-18 2022-01-18 训练方法、行人重识别方法、介质及电子设备

Publications (1)

Publication Number Publication Date
CN114445775A true CN114445775A (zh) 2022-05-06

Family

ID=81367944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210054428.9A Pending CN114445775A (zh) 2022-01-18 2022-01-18 训练方法、行人重识别方法、介质及电子设备

Country Status (1)

Country Link
CN (1) CN114445775A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063604A (zh) * 2022-08-08 2022-09-16 中科视语(北京)科技有限公司 特征提取模型训练、目标重识别方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063604A (zh) * 2022-08-08 2022-09-16 中科视语(北京)科技有限公司 特征提取模型训练、目标重识别方法及装置
CN115063604B (zh) * 2022-08-08 2022-11-04 中科视语(北京)科技有限公司 特征提取模型训练、目标重识别方法及装置

Similar Documents

Publication Publication Date Title
US20210027098A1 (en) Weakly Supervised Image Segmentation Via Curriculum Learning
CN108427738B (zh) 一种基于深度学习的快速图像检索方法
CN110059734B (zh) 一种目标识别分类模型的训练方法、物体识别方法、装置、机器人和介质
CN109840530A (zh) 训练多标签分类模型的方法和装置
CN111709311A (zh) 一种基于多尺度卷积特征融合的行人重识别方法
CN111782838A (zh) 图像问答方法、装置、计算机设备和介质
JP2017062781A (ja) 深層ｃｎｎプーリング層を特徴として用いる、類似度に基づく重要な対象の検知
WO2021227091A1 (zh) 一种基于图卷积神经网络的多模态分类方法
CN110532431B (zh) 短视频关键词提取方法、装置及存储介质
CN111079847A (zh) 一种基于深度学习的遥感影像自动标注方法
CN112528029A (zh) 文本分类模型处理方法、装置、计算机设备及存储介质
CN112650868B (zh) 图像检索方法、装置及存储介质
CN115017911A (zh) 针对视觉和语言的跨模态处理
CN116910571B (zh) 一种基于原型对比学习的开集域适应方法及系统
CN116246287B (zh) 目标对象识别方法、训练方法、装置以及存储介质
CN112200031A (zh) 一种用于生成图像对应文字说明的网络模型训练方法与设备
CN114445775A (zh) 训练方法、行人重识别方法、介质及电子设备
CN114692624A (zh) 一种基于多任务迁移的信息抽取方法、装置及电子设备
CN116362294B (zh) 一种神经网络搜索方法、装置和可读存储介质
CN110309825A (zh) 一种复杂背景下的维吾尔文检测方法、系统及电子设备
Yamashita et al. Cost-alleviative learning for deep convolutional neural network-based facial part labeling
CN111259701B (zh) 行人再识别方法、装置及电子设备
CN111783688A (zh) 一种基于卷积神经网络的遥感图像场景分类方法
Rao et al. Roads detection of aerial image with FCN-CRF model
CN113239215A (zh) 多媒体资源的分类方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination