CN116912634B - 目标追踪模型的训练方法及装置 - Google Patents

目标追踪模型的训练方法及装置 Download PDF

Info

Publication number
CN116912634B
CN116912634B CN202311168757.7A CN202311168757A CN116912634B CN 116912634 B CN116912634 B CN 116912634B CN 202311168757 A CN202311168757 A CN 202311168757A CN 116912634 B CN116912634 B CN 116912634B
Authority
CN
China
Prior art keywords
sample
target
loss
recognition result
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311168757.7A
Other languages
English (en)
Other versions
CN116912634A (zh
Inventor
蒋召
黄泽元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xumi Yuntu Space Technology Co Ltd
Original Assignee
Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xumi Yuntu Space Technology Co Ltd filed Critical Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority to CN202311168757.7A priority Critical patent/CN116912634B/zh
Publication of CN116912634A publication Critical patent/CN116912634A/zh
Application granted granted Critical
Publication of CN116912634B publication Critical patent/CN116912634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种目标追踪模型的训练方法及装置。该方法包括：串行连接图片处理网络、特征提取网络和分类网络，得到目标追踪模型；通过图片处理网络对目标样本、正样本和负样本进行处理，得到目标样本、正样本和负样本各自对应的遮挡样本和裁剪样本；通过特征提取网络对各个样本进行处理，得到各个样本对应的样本特征；通过分类网络分别对目标样本及其对应的遮挡样本和裁剪样本的样本特征进行处理，得到第一识别结果、第二识别结果和第三识别结果；基于第一识别结果、第二识别结果和第三识别结果，计算分类损失和散度损失，基于各个样本对应的样本特征，计算三元组损失；依据分类损失、散度损失和三元组损失，更新目标追踪模型的模型参数。

Description

目标追踪模型的训练方法及装置
技术领域
本申请涉及目标检测技术领域，尤其涉及一种目标追踪模型的训练方法及装置。
背景技术
目标追踪（Person re-identification）也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。在目标追踪模型的训练中，检测框不准确以及密集场景下的遮挡对模型精度会造成影响，同时在提升模型精度时，模型鲁棒性无法得到保障。
发明内容
有鉴于此，本申请实施例提供了一种目标追踪模型的训练方法、装置、电子设备及计算机可读存储介质，以解决现有技术中，检测框不准确以及密集场景下的遮挡会影响目标追踪模型的精度，同时目标追踪模型的精度和鲁棒性无法兼顾的问题。
本申请实施例的第一方面，提供了一种目标追踪模型的训练方法，包括：串行连接图片处理网络、特征提取网络和分类网络，得到目标追踪模型，其中，图片处理网络用于对输入的图片进行随机遮挡处理和随机裁剪处理，分类网络由全局平均池化层和全连接层组成；获取训练数据集，将训练数据集中的目标样本及其正样本和负样本输入目标追踪模型：通过图片处理网络对目标样本、正样本和负样本进行处理，得到目标样本、正样本和负样本各自对应的遮挡样本和裁剪样本；通过特征提取网络分别对目标样本、正样本、负样本以及目标样本、正样本和负样本各自对应的遮挡样本和裁剪样本进行处理，得到各个样本对应的样本特征；通过分类网络分别对目标样本及其对应的遮挡样本和裁剪样本的样本特征进行处理，得到第一识别结果、第二识别结果和第三识别结果；基于第一识别结果、第二识别结果和第三识别结果，计算分类损失和散度损失，基于各个样本对应的样本特征，计算三元组损失；依据分类损失、散度损失和三元组损失，更新目标追踪模型的模型参数，以完成对目标追踪模型训练。
本申请实施例的第二方面，提供了一种目标追踪模型的训练装置，包括：构建模块，被配置为串行连接图片处理网络、特征提取网络和分类网络，得到目标追踪模型，其中，图片处理网络用于对输入的图片进行随机遮挡处理和随机裁剪处理，分类网络由全局平均池化层和全连接层组成；获取模块，被配置为获取训练数据集，将训练数据集中的目标样本及其正样本和负样本输入目标追踪模型：处理模块，被配置为通过图片处理网络对目标样本、正样本和负样本进行处理，得到目标样本、正样本和负样本各自对应的遮挡样本和裁剪样本；提取模块，被配置为通过特征提取网络分别对目标样本、正样本、负样本以及目标样本、正样本和负样本各自对应的遮挡样本和裁剪样本进行处理，得到各个样本对应的样本特征；识别模块，被配置为通过分类网络分别对目标样本及其对应的遮挡样本和裁剪样本的样本特征进行处理，得到第一识别结果、第二识别结果和第三识别结果；计算模块，被配置为基于第一识别结果、第二识别结果和第三识别结果，计算分类损失和散度损失，基于各个样本对应的样本特征，计算三元组损失；更新模块，被配置为依据分类损失、散度损失和三元组损失，更新目标追踪模型的模型参数，以完成对目标追踪模型训练。
本申请实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：因为本申请实施例通过串行连接图片处理网络、特征提取网络和分类网络，得到目标追踪模型，其中，图片处理网络用于对输入的图片进行随机遮挡处理和随机裁剪处理，分类网络由全局平均池化层和全连接层组成；获取训练数据集，将训练数据集中的目标样本及其正样本和负样本输入目标追踪模型：通过图片处理网络对目标样本、正样本和负样本进行处理，得到目标样本、正样本和负样本各自对应的遮挡样本和裁剪样本；通过特征提取网络分别对目标样本、正样本、负样本以及目标样本、正样本和负样本各自对应的遮挡样本和裁剪样本进行处理，得到各个样本对应的样本特征；通过分类网络分别对目标样本及其对应的遮挡样本和裁剪样本的样本特征进行处理，得到第一识别结果、第二识别结果和第三识别结果；基于第一识别结果、第二识别结果和第三识别结果，计算分类损失和散度损失，基于各个样本对应的样本特征，计算三元组损失；依据分类损失、散度损失和三元组损失，更新目标追踪模型的模型参数，以完成对目标追踪模型训练。采用上述技术手段，可以解决现有技术中，检测框不准确以及密集场景下的遮挡会影响目标追踪模型的精度，同时目标追踪模型的精度和鲁棒性无法兼顾的问题，进而提高目标追踪模型的精度和鲁棒性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本申请实施例提供的一种目标追踪模型的训练方法的流程示意图；
图2是本申请实施例提供的另一种目标追踪模型的训练方法的流程示意图；
图3是本申请实施例提供的一种目标追踪模型的训练装置的结构示意图；
图4是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
图1是本申请实施例提供的一种目标追踪模型的训练方法的流程示意图。图1的目标追踪模型的训练方法可以由计算机或服务器，或者计算机或服务器上的软件执行。如图1所示，该目标追踪模型的训练方法包括：
S101，串行连接图片处理网络、特征提取网络和分类网络，得到目标追踪模型，其中，图片处理网络用于对输入的图片进行随机遮挡处理和随机裁剪处理，分类网络由全局平均池化层和全连接层组成；
S102，获取训练数据集，将训练数据集中的目标样本及其正样本和负样本输入目标追踪模型：
S103，通过图片处理网络对目标样本、正样本和负样本进行处理，得到目标样本、正样本和负样本各自对应的遮挡样本和裁剪样本；
S104，通过特征提取网络分别对目标样本、正样本、负样本以及目标样本、正样本和负样本各自对应的遮挡样本和裁剪样本进行处理，得到各个样本对应的样本特征；
S105，通过分类网络分别对目标样本及其对应的遮挡样本和裁剪样本的样本特征进行处理，得到第一识别结果、第二识别结果和第三识别结果；
S106，基于第一识别结果、第二识别结果和第三识别结果，计算分类损失和散度损失，基于各个样本对应的样本特征，计算三元组损失；
S107，依据分类损失、散度损失和三元组损失，更新目标追踪模型的模型参数，以完成对目标追踪模型训练。
需要说明的是，特征提取网络是backbone网络。目标样本及其正样本同属于一个人，目标样本及其负样本属于两个人，可以用标记区分每个样本所属于的人。比如图片处理网络对目标样本进行随机遮挡处理，得到目标样本对应的遮挡样本，图片处理网络对目标样本进行随机裁剪处理，得到目标样本对应的裁剪样本。随机遮挡处理是按照随机尺寸在样本任意位置上进行遮挡，随机裁剪处理是按照随机尺寸在样本任意位置上进行裁剪，对样本进行随机遮挡处理是模拟人群密集中存在的遮挡问题，对样本进行随机裁剪处理是模拟检测框不准确的现象，原样本模拟理想场景（不存在遮挡，并且检测框准确），所以本申请实施例可以看做适用于多场景下目标追踪模型的训练方法。计算分类损失是利用交叉熵损失函数，计算散度损失是利用散度损失函数，可以是KL散度( Kullback–Leiblerdivergence)损失函数，计算三元组损失是利用三元组损失函数。
根据本申请实施例提供的技术方案，串行连接图片处理网络、特征提取网络和分类网络，得到目标追踪模型，其中，图片处理网络用于对输入的图片进行随机遮挡处理和随机裁剪处理，分类网络由全局平均池化层和全连接层组成；获取训练数据集，将训练数据集中的目标样本及其正样本和负样本输入目标追踪模型：通过图片处理网络对目标样本、正样本和负样本进行处理，得到目标样本、正样本和负样本各自对应的遮挡样本和裁剪样本；通过特征提取网络分别对目标样本、正样本、负样本以及目标样本、正样本和负样本各自对应的遮挡样本和裁剪样本进行处理，得到各个样本对应的样本特征；通过分类网络分别对目标样本及其对应的遮挡样本和裁剪样本的样本特征进行处理，得到第一识别结果、第二识别结果和第三识别结果；基于第一识别结果、第二识别结果和第三识别结果，计算分类损失和散度损失，基于各个样本对应的样本特征，计算三元组损失；依据分类损失、散度损失和三元组损失，更新目标追踪模型的模型参数，以完成对目标追踪模型训练。采用上述技术手段，可以解决现有技术中，检测框不准确以及密集场景下的遮挡会影响目标追踪模型的精度，同时目标追踪模型的精度和鲁棒性无法兼顾的问题，进而提高目标追踪模型的精度和鲁棒性。
进一步地，基于第一识别结果、第二识别结果和第三识别结果，计算分类损失，包括：计算第一识别结果和目标样本对应的标签之间的第一分类损失；计算第二识别结果和目标样本对应的标签之间的第二分类损失；计算第三识别结果和目标样本对应的标签之间的第三分类损失；分类损失包括第一分类损失、第二分类损失和第三分类损失。
目标样本对应的遮挡样本和裁剪样本对应的标签实际上仍然是目标样本对应的标签，所以利用交叉熵损失函数计算上述各样本的识别结果对应的分类损失仍然使用目标样本对应的标签。
进一步地，基于第一识别结果、第二识别结果和第三识别结果，计算散度损失，包括：计算第一识别结果和第二识别结果之间的第一散度损失；计算第一识别结果和第三识别结果之间的第二散度损失；分类损失包括第一散度损失和第二散度损失。
实际上，每个样本的识别结果是一个概率分布，该概率分布表明该样本为各个行人的概率。利用散度损失函数计算散度损失，就是计算两个识别结果之间的分布上的损失，散度损失可以用于约束不同场景下输出的一致性，可以增强目标追踪模型的鲁棒性。但是在计算分类损失时是使用样本对应最大概率的识别结果，比如样本最大概率为A，则计算A和样本对应标签之间的分类损失。
进一步地，基于各个样本对应的样本特征，计算三元组损失，包括：基于目标样本、正样本和负样本各自对应的样本特征，计算第一三元组损失；基于目标样本、正样本和负样本各自对应的遮挡样本对应的样本特征，计算第二三元组损失；基于目标样本、正样本和负样本各自对应的裁剪样本对应的样本特征，计算第三三元组损失；三元组损失，包括：第一三元组损失、第二三元组损失和第三三元组损失。
三元组损失函数中存在三个未知参数，第一三元组损失中三元组损失函数中存在三个未知参数是目标样本、正样本和负样本各自对应的样本特征。
图2是本申请实施例提供的另一种目标追踪模型的训练方法的流程示意图。如图2所示，包括：
S201，将训练数据集中的目标样本输入目标追踪模型：
S202，通过图片处理网络对目标样本进行处理，得到目标样本对应的遮挡样本和裁剪样本；
S203，通过特征提取网络分别对目标样本及其对应的遮挡样本和裁剪样本进行处理，得到目标样本及其对应的遮挡样本和裁剪样本各自对应的样本特征；
S204，通过分类网络分别对目标样本及其对应的遮挡样本和裁剪样本各自对应的样本特征进行处理，得到第一识别结果、第二识别结果和第三识别结果；
S205，基于第一识别结果、第二识别结果和第三识别结果，计算分类损失和散度损失，基于目标样本及其对应的遮挡样本和裁剪样本各自对应的样本特征，计算三元组损失；
S206，依据分类损失、散度损失和三元组损失，更新目标追踪模型的模型参数，以完成对目标追踪模型训练。
为了精简训练，本申请实施例不再使用目标样本的正样本和负样本，仅使用目标样本，该三元组损失中三元组损失函数中存在三个未知参数是目标样本及其对应的遮挡样本和裁剪样本各自对应的样本特征，该三元组损失可以增强对每个样本及其对应的遮挡样本和裁剪样本之间关系或者区别对目标追踪模型的约束，也就是训练好的目标追踪模型可以更好的识别每个样本及其对应的遮挡样本和裁剪样本之间关系或者区别，进而增强模型精度。
进一步地，获取训练数据集之后，方法还包括：将训练数据集划分为N个样本组，其中，每个样本组包括一个目标样本以及该目标样本的正样本和负样本；以组为单位，利用N个样本组训练目标追踪模型。
以组为单位，利用每个样本组训练目标追踪模型和上文利用目标样本以及该目标样本的正样本和负样本训练目标追踪模型是一样的，因为本申请实施例以组为单位训练目标追踪模型，所以可以更加有效的学习每个样本及其对应的遮挡样本和裁剪样本之间关系或者区别，进而增强模型精度。
进一步地，依据分类损失、散度损失和三元组损失，更新目标追踪模型的模型参数，以完成对目标追踪模型训练，包括：按照预设权值对分类损失、散度损失和三元组损失进行加权求和，得到总损失；依据总损失更新目标追踪模型的模型参数，以完成对目标追踪模型训练。
在一个可选实施例中，通过图片处理网络对目标样本及其正样本和负样本进行处理，得到目标样本对应的第一遮挡样本和第一裁剪样本、目标样本的正样本对应的第二遮挡样本和第二裁剪样本、目标样本的负样本对应的第三遮挡样本和第三裁剪样本；通过特征提取网络分别对目标样本、正样本、负样本、第一遮挡样本、第一裁剪样本、第二遮挡样本、第二裁剪样本、第三遮挡样本和第三裁剪样本进行处理，得到第一原型特征、第二原型特征、第三原型特征、第一遮挡特征、第一裁剪特征、第二遮挡特征、第二裁剪特征、第三遮挡特征和第三裁剪特征；通过分类网络分别对第一原型特征、第一遮挡特征和第一裁剪特征进行处理，得到第一识别结果、第二识别结果和第三识别结果。
在一个可选实施例中，基于第一原型特征、第二原型特征和第三原型特征，计算第一三元组损失；基于第一遮挡特征、第二遮挡特征和第三遮挡特征，计算第二三元组损失；基于第一裁剪特征、第二裁剪特征和第三裁剪特征，计算第三三元组损失。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图3是本申请实施例提供的一种目标追踪模型的训练装置的示意图。如图3所示，该目标追踪模型的训练装置包括：
构建模块301，被配置为串行连接图片处理网络、特征提取网络和分类网络，得到目标追踪模型，其中，图片处理网络用于对输入的图片进行随机遮挡处理和随机裁剪处理，分类网络由全局平均池化层和全连接层组成；
获取模块302，被配置为获取训练数据集，将训练数据集中的目标样本及其正样本和负样本输入目标追踪模型：
处理模块303，被配置为通过图片处理网络对目标样本、正样本和负样本进行处理，得到目标样本、正样本和负样本各自对应的遮挡样本和裁剪样本；
提取模块304，被配置为通过特征提取网络分别对目标样本、正样本、负样本以及目标样本、正样本和负样本各自对应的遮挡样本和裁剪样本进行处理，得到各个样本对应的样本特征；
识别模块305，被配置为通过分类网络分别对目标样本及其对应的遮挡样本和裁剪样本的样本特征进行处理，得到第一识别结果、第二识别结果和第三识别结果；
计算模块306，被配置为基于第一识别结果、第二识别结果和第三识别结果，计算分类损失和散度损失，基于各个样本对应的样本特征，计算三元组损失；
更新模块307，被配置为依据分类损失、散度损失和三元组损失，更新目标追踪模型的模型参数，以完成对目标追踪模型训练。
根据本申请实施例提供的技术方案，串行连接图片处理网络、特征提取网络和分类网络，得到目标追踪模型，其中，图片处理网络用于对输入的图片进行随机遮挡处理和随机裁剪处理，分类网络由全局平均池化层和全连接层组成；获取训练数据集，将训练数据集中的目标样本及其正样本和负样本输入目标追踪模型：通过图片处理网络对目标样本、正样本和负样本进行处理，得到目标样本、正样本和负样本各自对应的遮挡样本和裁剪样本；通过特征提取网络分别对目标样本、正样本、负样本以及目标样本、正样本和负样本各自对应的遮挡样本和裁剪样本进行处理，得到各个样本对应的样本特征；通过分类网络分别对目标样本及其对应的遮挡样本和裁剪样本的样本特征进行处理，得到第一识别结果、第二识别结果和第三识别结果；基于第一识别结果、第二识别结果和第三识别结果，计算分类损失和散度损失，基于各个样本对应的样本特征，计算三元组损失；依据分类损失、散度损失和三元组损失，更新目标追踪模型的模型参数，以完成对目标追踪模型训练。采用上述技术手段，可以解决现有技术中，检测框不准确以及密集场景下的遮挡会影响目标追踪模型的精度，同时目标追踪模型的精度和鲁棒性无法兼顾的问题，进而提高目标追踪模型的精度和鲁棒性。
在一些实施例中，计算模块306还被配置为计算第一识别结果和目标样本对应的标签之间的第一分类损失；计算第二识别结果和目标样本对应的标签之间的第二分类损失；计算第三识别结果和目标样本对应的标签之间的第三分类损失；分类损失包括第一分类损失、第二分类损失和第三分类损失。
在一些实施例中，计算模块306还被配置为计算第一识别结果和第二识别结果之间的第一散度损失；计算第一识别结果和第三识别结果之间的第二散度损失；分类损失包括第一散度损失和第二散度损失。
在一些实施例中，计算模块306还被配置为基于目标样本、正样本和负样本各自对应的样本特征，计算第一三元组损失；基于目标样本、正样本和负样本各自对应的遮挡样本对应的样本特征，计算第二三元组损失；基于目标样本、正样本和负样本各自对应的裁剪样本对应的样本特征，计算第三三元组损失；三元组损失，包括：第一三元组损失、第二三元组损失和第三三元组损失。
在一些实施例中，更新模块307还被配置为将训练数据集中的目标样本输入目标追踪模型：通过图片处理网络对目标样本进行处理，得到目标样本对应的遮挡样本和裁剪样本；通过特征提取网络分别对目标样本及其对应的遮挡样本和裁剪样本进行处理，得到目标样本及其对应的遮挡样本和裁剪样本各自对应的样本特征；通过分类网络分别对目标样本及其对应的遮挡样本和裁剪样本各自对应的样本特征进行处理，得到第一识别结果、第二识别结果和第三识别结果；基于第一识别结果、第二识别结果和第三识别结果，计算分类损失和散度损失，基于目标样本及其对应的遮挡样本和裁剪样本各自对应的样本特征，计算三元组损失；依据分类损失、散度损失和三元组损失，更新目标追踪模型的模型参数，以完成对目标追踪模型训练。
在一些实施例中，更新模块307还被配置为将训练数据集划分为N个样本组，其中，每个样本组包括一个目标样本以及该目标样本的正样本和负样本；以组为单位，利用N个样本组训练目标追踪模型。
在一些实施例中，更新模块307还被配置为按照预设权值对分类损失、散度损失和三元组损失进行加权求和，得到总损失；依据总损失更新目标追踪模型的模型参数，以完成对目标追踪模型训练。
在一些实施例中，处理模块303还被配置为通过图片处理网络对目标样本及其正样本和负样本进行处理，得到目标样本对应的第一遮挡样本和第一裁剪样本、目标样本的正样本对应的第二遮挡样本和第二裁剪样本、目标样本的负样本对应的第三遮挡样本和第三裁剪样本。
在一些实施例中，提取模块304还被配置为通过特征提取网络分别对目标样本、正样本、负样本、第一遮挡样本、第一裁剪样本、第二遮挡样本、第二裁剪样本、第三遮挡样本和第三裁剪样本进行处理，得到第一原型特征、第二原型特征、第三原型特征、第一遮挡特征、第一裁剪特征、第二遮挡特征、第二裁剪特征、第三遮挡特征和第三裁剪特征；
在一些实施例中，识别模块305还被配置为通过分类网络分别对第一原型特征、第一遮挡特征和第一裁剪特征进行处理，得到第一识别结果、第二识别结果和第三识别结果。
在一些实施例中，计算模块306还被配置为基于第一原型特征、第二原型特征和第三原型特征，计算第一三元组损失；基于第一遮挡特征、第二遮挡特征和第三遮挡特征，计算第二三元组损失；基于第一裁剪特征、第二裁剪特征和第三裁剪特征，计算第三三元组损失。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图4是本申请实施例提供的电子设备4的示意图。如图4所示，该实施例的电子设备4包括：处理器401、存储器402以及存储在该存储器402中并且可在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者，处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解，图4仅仅是电子设备4的示例，并不构成对电子设备4的限定，可以包括比图示更多或更少的部件，或者不同的部件。
处理器401可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application SpecificIntegrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器402可以是电子设备4的内部存储单元，例如，电子设备4的硬盘或内存。存储器402也可以是电子设备4的外部存储设备，例如，电子设备4上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。存储器402还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种目标追踪模型的训练方法，其特征在于，包括：
串行连接图片处理网络、特征提取网络和分类网络，得到目标追踪模型，其中，所述图片处理网络用于对输入的图片进行随机遮挡处理和随机裁剪处理，所述分类网络由全局平均池化层和全连接层组成；
获取训练数据集，将所述训练数据集中的目标样本及其正样本和负样本输入所述目标追踪模型：
通过所述图片处理网络对所述目标样本、所述正样本和所述负样本进行处理，得到所述目标样本、所述正样本和所述负样本各自对应的遮挡样本和裁剪样本；
通过所述特征提取网络分别对所述目标样本、所述正样本、所述负样本以及所述目标样本、所述正样本和所述负样本各自对应的遮挡样本和裁剪样本进行处理，得到各个样本对应的样本特征；
通过所述分类网络分别对所述目标样本及其对应的遮挡样本和裁剪样本的样本特征进行处理，得到第一识别结果、第二识别结果和第三识别结果；
基于所述第一识别结果、所述第二识别结果和所述第三识别结果，计算分类损失和散度损失，基于各个样本对应的样本特征，计算三元组损失；
依据所述分类损失、所述散度损失和所述三元组损失，更新所述目标追踪模型的模型参数，以完成对所述目标追踪模型训练。
2.根据权利要求1所述的方法，其特征在于，基于所述第一识别结果、所述第二识别结果和所述第三识别结果，计算分类损失，包括：
计算所述第一识别结果和所述目标样本对应的标签之间的第一分类损失；
计算所述第二识别结果和所述目标样本对应的标签之间的第二分类损失；
计算所述第三识别结果和所述目标样本对应的标签之间的第三分类损失；
所述分类损失包括所述第一分类损失、所述第二分类损失和所述第三分类损失。
3.根据权利要求1所述的方法，其特征在于，基于所述第一识别结果、所述第二识别结果和所述第三识别结果，计算散度损失，包括：
计算所述第一识别结果和所述第二识别结果之间的第一散度损失；
计算所述第一识别结果和所述第三识别结果之间的第二散度损失；
所述分类损失包括所述第一散度损失和所述第二散度损失。
4.根据权利要求1所述的方法，其特征在于，基于各个样本对应的样本特征，计算三元组损失，包括：
基于所述目标样本、所述正样本和所述负样本各自对应的样本特征，计算第一三元组损失；
基于所述目标样本、所述正样本和所述负样本各自对应的遮挡样本对应的样本特征，计算第二三元组损失；
基于所述目标样本、所述正样本和所述负样本各自对应的裁剪样本对应的样本特征，计算第三三元组损失；
所述三元组损失，包括：所述第一三元组损失、所述第二三元组损失和所述第三三元组损失。
5.根据权利要求1所述的方法，其特征在于，获取训练数据集之后，所述方法还包括：
将所述训练数据集中的目标样本输入所述目标追踪模型：
通过所述图片处理网络对所述目标样本进行处理，得到所述目标样本对应的遮挡样本和裁剪样本；
通过所述特征提取网络分别对所述目标样本及其对应的遮挡样本和裁剪样本进行处理，得到所述目标样本及其对应的遮挡样本和裁剪样本各自对应的样本特征；
通过所述分类网络分别对所述目标样本及其对应的遮挡样本和裁剪样本各自对应的样本特征进行处理，得到第一识别结果、第二识别结果和第三识别结果；
基于所述第一识别结果、所述第二识别结果和所述第三识别结果，计算分类损失和散度损失，基于所述目标样本及其对应的遮挡样本和裁剪样本各自对应的样本特征，计算三元组损失；
依据所述分类损失、所述散度损失和所述三元组损失，更新所述目标追踪模型的模型参数，以完成对所述目标追踪模型训练。
6.根据权利要求1所述的方法，其特征在于，获取训练数据集之后，所述方法还包括：
将所述训练数据集划分为N个样本组，其中，每个样本组包括一个目标样本以及该目标样本的正样本和负样本；
以组为单位，利用N个样本组训练所述目标追踪模型。
7.根据权利要求1所述的方法，其特征在于，依据所述分类损失、所述散度损失和所述三元组损失，更新所述目标追踪模型的模型参数，以完成对所述目标追踪模型训练，包括：
按照预设权值对所述分类损失、所述散度损失和所述三元组损失进行加权求和，得到总损失；
依据所述总损失更新所述目标追踪模型的模型参数，以完成对所述目标追踪模型训练。
8.一种目标追踪模型的训练装置，其特征在于，包括：
构建模块，被配置为串行连接图片处理网络、特征提取网络和分类网络，得到目标追踪模型，其中，所述图片处理网络用于对输入的图片进行随机遮挡处理和随机裁剪处理，所述分类网络由全局平均池化层和全连接层组成；
获取模块，被配置为获取训练数据集，将所述训练数据集中的目标样本及其正样本和负样本输入所述目标追踪模型：
处理模块，被配置为通过所述图片处理网络对所述目标样本、所述正样本和所述负样本进行处理，得到所述目标样本、所述正样本和所述负样本各自对应的遮挡样本和裁剪样本；
提取模块，被配置为通过所述特征提取网络分别对所述目标样本、所述正样本、所述负样本以及所述目标样本、所述正样本和所述负样本各自对应的遮挡样本和裁剪样本进行处理，得到各个样本对应的样本特征；
识别模块，被配置为通过所述分类网络分别对所述目标样本及其对应的遮挡样本和裁剪样本的样本特征进行处理，得到第一识别结果、第二识别结果和第三识别结果；
计算模块，被配置为基于所述第一识别结果、所述第二识别结果和所述第三识别结果，计算分类损失和散度损失，基于各个样本对应的样本特征，计算三元组损失；
更新模块，被配置为依据所述分类损失、所述散度损失和所述三元组损失，更新所述目标追踪模型的模型参数，以完成对所述目标追踪模型训练。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
CN202311168757.7A 2023-09-12 2023-09-12 目标追踪模型的训练方法及装置 Active CN116912634B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311168757.7A CN116912634B (zh) 2023-09-12 2023-09-12 目标追踪模型的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311168757.7A CN116912634B (zh) 2023-09-12 2023-09-12 目标追踪模型的训练方法及装置

Publications (2)

Publication Number Publication Date
CN116912634A CN116912634A (zh) 2023-10-20
CN116912634B true CN116912634B (zh) 2023-12-12

Family

ID=88358736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311168757.7A Active CN116912634B (zh) 2023-09-12 2023-09-12 目标追踪模型的训练方法及装置

Country Status (1)

Country Link
CN (1) CN116912634B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114329027A (zh) * 2021-09-09 2022-04-12 腾讯科技（深圳）有限公司 一种网络模型的训练方法、图像识别的方法以及相关装置
WO2022256150A1 (en) * 2021-06-04 2022-12-08 Microsoft Technology Licensing, Llc Occlusion-aware multi-object tracking
WO2023075863A1 (en) * 2021-10-27 2023-05-04 Innopeak Technology, Inc. Adversarial contrastive learning and active adversarial contrastive mix (adversemix) for semi-supervised semantic segmentation
CN116612500A (zh) * 2023-07-20 2023-08-18 深圳须弥云图空间科技有限公司 行人重识别模型训练方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022256150A1 (en) * 2021-06-04 2022-12-08 Microsoft Technology Licensing, Llc Occlusion-aware multi-object tracking
CN114329027A (zh) * 2021-09-09 2022-04-12 腾讯科技（深圳）有限公司 一种网络模型的训练方法、图像识别的方法以及相关装置
WO2023075863A1 (en) * 2021-10-27 2023-05-04 Innopeak Technology, Inc. Adversarial contrastive learning and active adversarial contrastive mix (adversemix) for semi-supervised semantic segmentation
CN116612500A (zh) * 2023-07-20 2023-08-18 深圳须弥云图空间科技有限公司 行人重识别模型训练方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
自然场景下奶牛单目标跟踪方法研究;刘月峰 等;农业机械学报. https://link.cnki.net/urlid/11.1964.S.20230808.1501.012;第1-21页 *

Also Published As

Publication number Publication date
CN116912634A (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN109886997B (zh) 基于目标检测的识别框确定方法、装置及终端设备
CN110378235B (zh) 一种模糊人脸图像识别方法、装置及终端设备
CN109086811B (zh) 多标签图像分类方法、装置及电子设备
CN111291825A (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
CN110941978B (zh) 一种未识别身份人员的人脸聚类方法、装置及存储介质
CN116612500B (zh) 行人重识别模型训练方法及装置
CN116912636B (zh) 目标识别方法及装置
CN116912632B (zh) 基于遮挡的目标追踪方法及装置
CN111178367A (zh) 适应多物件尺寸的特征决定装置及方法
CN110210425B (zh) 人脸识别方法、装置、电子设备及存储介质
CN116912634B (zh) 目标追踪模型的训练方法及装置
CN116502700A (zh) 皮肤检测模型训练方法、皮肤检测方法、装置及电子设备
CN116137061A (zh) 数量统计模型的训练方法、装置、电子设备及存储介质
CN112950652B (zh) 机器人及其手部图像分割方法和装置
CN112989869B (zh) 人脸质量检测模型的优化方法、装置、设备及存储介质
CN116912633B (zh) 目标追踪模型的训练方法及装置
CN117372818B (zh) 目标重识别方法及装置
CN116912518B (zh) 图像的多尺度特征处理方法及装置
CN116912889B (zh) 行人重识别方法及装置
CN117474037B (zh) 基于空间距离对齐的知识蒸馏方法及装置
CN116935167B (zh) 目标追踪模型的训练方法及装置
CN116912920B (zh) 表情识别方法及装置
CN117893790A (zh) 基于特征对齐的目标重识别方法及装置
CN117475215A (zh) 目标识别模型的训练方法及装置
CN118071985A (zh) 基于局部特征监督的目标重识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant