CN116912635B - 目标追踪方法及装置 - Google Patents

目标追踪方法及装置 Download PDF

Info

Publication number
CN116912635B
CN116912635B CN202311168772.1A CN202311168772A CN116912635B CN 116912635 B CN116912635 B CN 116912635B CN 202311168772 A CN202311168772 A CN 202311168772A CN 116912635 B CN116912635 B CN 116912635B
Authority
CN
China
Prior art keywords
target tracking
random
layer
training
prediction result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311168772.1A
Other languages
English (en)
Other versions
CN116912635A (zh
Inventor
蒋召
张星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xumi Yuntu Space Technology Co Ltd
Original Assignee
Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xumi Yuntu Space Technology Co Ltd filed Critical Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority to CN202311168772.1A priority Critical patent/CN116912635B/zh
Publication of CN116912635A publication Critical patent/CN116912635A/zh
Application granted granted Critical
Publication of CN116912635B publication Critical patent/CN116912635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种目标追踪方法及装置。该方法包括：利用全局平均池化层、卷积层、激活函数层、相乘层和全连接层构建空间注意力网络；利用随机函数层、相乘层和全连接层构建随机注意力网络，其中，随机函数层用于产生元素皆为0至1之间任意数的随机矩阵；利用残差网络、空间注意力网络和随机注意力网络构建目标追踪模型；依据目标追踪任务对目标追踪模型进行训练，利用训练后的目标追踪模型执行目标追踪任务。采用上述技术手段，解决现有技术中，目标追踪模型中的注意力的有效性无法得到保障，导致目标追踪模型的精度有待进一步提高的问题。

Description

目标追踪方法及装置
技术领域
本申请涉及目标检测技术领域，尤其涉及一种目标追踪方法及装置。
背景技术
目标追踪（Person re-identification）也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。现有技术也将注意力机制应用到目标追踪模型中，缓解了由于遮挡、姿态变化等对识别结果造成的不良影响。但是目标追踪模型中的注意力的有效性无法得到保障，导致目标追踪模型的精度有待进一步提高。
发明内容
有鉴于此，本申请实施例提供了一种目标追踪方法、装置、电子设备及计算机可读存储介质，以解决现有技术中，目标追踪模型中的注意力的有效性无法得到保障，导致目标追踪模型的精度有待进一步提高的问题。
本申请实施例的第一方面，提供了一种目标追踪方法，包括：利用全局平均池化层、卷积层、激活函数层、相乘层和全连接层构建空间注意力网络；利用随机函数层、相乘层和全连接层构建随机注意力网络，其中，随机函数层用于产生元素皆为0至1之间任意数的随机矩阵；利用残差网络、空间注意力网络和随机注意力网络构建目标追踪模型；依据目标追踪任务对目标追踪模型进行训练，利用训练后的目标追踪模型执行目标追踪任务。
本申请实施例的第二方面，提供了一种目标追踪装置，包括：第一构建模块，被配置为利用全局平均池化层、卷积层、激活函数层、相乘层和全连接层构建空间注意力网络；第二构建模块，被配置为利用随机函数层、相乘层和全连接层构建随机注意力网络，其中，随机函数层用于产生元素皆为0至1之间任意数的随机矩阵；第三构建模块，被配置为利用残差网络、空间注意力网络和随机注意力网络构建目标追踪模型；训练模块，被配置为依据目标追踪任务对目标追踪模型进行训练，利用训练后的目标追踪模型执行目标追踪任务。
本申请实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：因为本申请实施例通过利用全局平均池化层、卷积层、激活函数层、相乘层和全连接层构建空间注意力网络；利用随机函数层、相乘层和全连接层构建随机注意力网络，其中，随机函数层用于产生元素皆为0至1之间任意数的随机矩阵；利用残差网络、空间注意力网络和随机注意力网络构建目标追踪模型；依据目标追踪任务对目标追踪模型进行训练，利用训练后的目标追踪模型执行目标追踪任务，因此，采用上述技术手段，可以解决现有技术中，目标追踪模型中的注意力的有效性无法得到保障，导致目标追踪模型的精度有待进一步提高的问题，进而提高目标追踪模型的精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本申请实施例提供的一种目标追踪方法的流程示意图；
图2是本申请实施例提供的一种目标追踪模型的训练方法的流程示意图；
图3是本申请实施例提供的一种目标追踪装置的结构示意图；
图4是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
图1是本申请实施例提供的一种目标追踪方法的流程示意图。图1的目标追踪方法可以由计算机或服务器，或者计算机或服务器上的软件执行。如图1所示，该目标追踪方法包括：
S101，利用全局平均池化层、卷积层、激活函数层、相乘层和全连接层构建空间注意力网络；
S102，利用随机函数层、相乘层和全连接层构建随机注意力网络，其中，随机函数层用于产生元素皆为0至1之间任意数的随机矩阵；
S103，利用残差网络、空间注意力网络和随机注意力网络构建目标追踪模型；
S104，依据目标追踪任务对目标追踪模型进行训练，利用训练后的目标追踪模型执行目标追踪任务。
具体地：依次连接全局平均池化层、卷积层、激活函数层、相乘层和全连接层，得到空间注意力网络；依次连接随机函数层、相乘层和全连接层，得到随机注意力网络；空间注意力网络和随机注意力网络并行连接在残差网络之后。此外，空间注意力网络中的相乘层分别与激活函数层和残差网络存在连接，空间注意力网络中的相乘层用于对激活函数层和残差网络的输出进行相乘运算；随机注意力网络中的相乘层分别与随机函数层和残差网络存在连接，随机注意力网络中的相乘层用于对随机函数层和残差网络的输出进行相乘运算。
激活函数层使用的激活函数可以是Sigmoid，随机函数层可以是任意一种随机函数。随机函数或者随机函数层产生的随机矩阵的各个元素皆为0至1之间任意数。
目标追踪任务可以是行人重识别任务，目标追踪模型可以是行人重识别模型。
根据本申请实施例提供的技术方案，利用全局平均池化层、卷积层、激活函数层、相乘层和全连接层构建空间注意力网络；利用随机函数层、相乘层和全连接层构建随机注意力网络，其中，随机函数层用于产生元素皆为0至1之间任意数的随机矩阵；利用残差网络、空间注意力网络和随机注意力网络构建目标追踪模型；依据目标追踪任务对目标追踪模型进行训练，利用训练后的目标追踪模型执行目标追踪任务，因此，采用上述技术手段，可以解决现有技术中，目标追踪模型中的注意力的有效性无法得到保障，导致目标追踪模型的精度有待进一步提高的问题，进而提高目标追踪模型的精度。
图2是本申请实施例提供的一种目标追踪模型的训练方法的流程示意图。如图2所示，包括：
S201，获取目标追踪任务对应的训练数据集；
S202，将训练数据集中的训练样本输入目标追踪模型：
S203，残差网络对训练样本进行处理，得到样本特征图；
S204，空间注意力网络对样本特征图进行处理，得到第一预测结果；
S205，随机注意力网络对样本特征图进行处理，得到第二预测结果；
S206，依据第一预测结果和训练样本对应的标签，利用交叉熵损失函数计算分类损失值；
S207，依据第一预测结果、第二预测结果和训练样本对应的标签，利用交叉熵损失函数计算因果损失值；
S208，利用分类损失值和因果损失值优化目标追踪模型的模型参数，以完成对目标追踪模型的训练。
需要说明的是，训练数据集中有大量的训练样本，为了便于理解，可以只理解一个训练样本对目标追踪模型的模型参数的优化过程。将训练样本输入目标追踪模型，也就是将训练样本输入残差网络，输出样本特征图；将样本特征图输入空间注意力网络，输出第一预测结果；将样本特征图输入随机注意力网络，输出第二预测结果；利用交叉熵损失函数计算第一预测结果和训练样本对应的标签之间的分类损失值；依据第一预测结果、第二预测结果和训练样本对应的标签，利用交叉熵损失函数计算因果损失值；利用分类损失值和因果损失值优化目标追踪模型的模型参数，可以是对分类损失值和因果损失值进行加权求和，依据加权求和的结果优化目标追踪模型的模型参数。
进一步地，空间注意力网络对样本特征图进行处理，得到第一预测结果，包括：将样本特征图输入空间注意力网络：样本特征图依次通过全局平均池化层、卷积层和激活函数层，得到空间注意力图；空间注意力图和样本特征图输入相乘层，输出空间注意力特征图；空间注意力特征图输入全连接层，输出第一预测结果。
空间注意力网络中的相乘层分别与激活函数层和残差网络存在连接，空间注意力网络中的相乘层对激活函数层输出的空间注意力图和残差网络输出的样本特征图进行相乘运算。
进一步地，随机注意力网络对样本特征图进行处理，得到第二预测结果，包括：将样本特征图输入随机注意力网络：样本特征图输入随机函数层，输出随机注意力图，其中，随机注意力图为元素皆为0至1之间任意数的随机矩阵；随机注意力图和样本特征图输入相乘层，输出随机注意力特征图；随机注意力特征图输入全连接层，输出第二预测结果。
随机注意力网络中的相乘层分别与随机函数层和残差网络存在连接，随机注意力网络中的相乘层用于对随机函数层输出的随机注意力图和残差网络输出的样本特征图进行相乘运算。
进一步地，通过如下公式计算因果损失值，包括：
；
其中，为因果损失值，/>为交叉熵损失函数，/>为第一预测结果，/>为第二预测结果，/>为标签。
进一步地，依据目标追踪任务对目标追踪模型进行训练，包括：获取目标追踪任务对应的训练数据集；将训练数据集中的训练样本输入目标追踪模型：残差网络对训练样本进行处理，得到样本特征图；空间注意力网络对样本特征图进行处理，得到第一预测结果；随机注意力网络对样本特征图进行处理，得到第二预测结果；依据第一预测结果和第二预测结果对目标追踪模型进行对比学习训练。
对比学习训练是自监督训练方法，不需要标签，所以本申请实施例的训练数据集中的训练样本可以是未标注的数据，通过本申请实施例即在保证训练效果的同时，又可以减少训练中的工作量。
在一个可选实施例中，依据目标追踪任务对目标追踪模型进行训练，包括：获取目标追踪任务对应的训练数据集；将训练数据集中的训练样本输入目标追踪模型：残差网络对训练样本进行处理，得到样本特征图；将样本特征图输入空间注意力网络：样本特征图依次通过全局平均池化层、卷积层和激活函数层，得到空间注意力图；空间注意力图和样本特征图输入相乘层，输出空间注意力特征图；空间注意力特征图输入全连接层，输出第一预测结果；将样本特征图输入随机注意力网络：样本特征图输入随机函数层，输出随机注意力图，其中，随机注意力图为元素皆为0至1之间任意数的随机矩阵；随机注意力图和样本特征图输入相乘层，输出随机注意力特征图；随机注意力特征图输入全连接层，输出第二预测结果；利用交叉熵损失函数计算第一预测结果和训练样本对应的标签之间的分类损失值；通过如下公式计算所述因果损失值，包括：其中，/>为因果损失值，为交叉熵损失函数，/>为所述第一预测结果，/>为所述第二预测结果，/>为所述标签；对分类损失值和因果损失值进行加权求和，得到总损失，利用总损失优化目标追踪模型的模型参数，以完成对目标追踪模型的训练。
在一个可选实施例中，利用训练后的所述目标追踪模型执行所述目标追踪任务，包括：将目标图像或者目标视频输入目标追踪模型：残差网络对目标图像或者目标视频进行处理，得到目标特征图；将目标特征图输入空间注意力网络：目标特征图依次通过全局平均池化层、卷积层和激活函数层，得到空间注意力图；空间注意力图和目标特征图输入相乘层，输出空间注意力特征图；空间注意力特征图输入全连接层，输出识别结果。
目标图像或者目标视频可以是一个或者多个。随机注意力网络只是用于在训练中提高目标追踪模型的精度，在训练后，将随机注意力网络从目标追踪模型中去掉，将剩下的残差网络和空间注意力网络作为实际使用中的目标追踪模型。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图3是本申请实施例提供的一种目标追踪装置的示意图。如图3所示，该目标追踪装置包括：
第一构建模块301，被配置为利用全局平均池化层、卷积层、激活函数层、相乘层和全连接层构建空间注意力网络；
第二构建模块302，被配置为利用随机函数层、相乘层和全连接层构建随机注意力网络，其中，随机函数层用于产生元素皆为0至1之间任意数的随机矩阵；
第三构建模块303，被配置为利用残差网络、空间注意力网络和随机注意力网络构建目标追踪模型；
训练模块304，被配置为依据目标追踪任务对目标追踪模型进行训练，利用训练后的目标追踪模型执行目标追踪任务。
具体地：依次连接全局平均池化层、卷积层、激活函数层、相乘层和全连接层，得到空间注意力网络；依次连接随机函数层、相乘层和全连接层，得到随机注意力网络；空间注意力网络和随机注意力网络并行连接在残差网络之后。此外，空间注意力网络中的相乘层分别与激活函数层和残差网络存在连接，空间注意力网络中的相乘层用于对激活函数层和残差网络的输出进行相乘运算；随机注意力网络中的相乘层分别与随机函数层和残差网络存在连接，随机注意力网络中的相乘层用于对随机函数层和残差网络的输出进行相乘运算。
激活函数层使用的激活函数可以是Sigmoid，随机函数层可以是任意一种随机函数。随机函数或者随机函数层产生的随机矩阵的各个元素皆为0至1之间任意数。
根据本申请实施例提供的技术方案，利用全局平均池化层、卷积层、激活函数层、相乘层和全连接层构建空间注意力网络；利用随机函数层、相乘层和全连接层构建随机注意力网络，其中，随机函数层用于产生元素皆为0至1之间任意数的随机矩阵；利用残差网络、空间注意力网络和随机注意力网络构建目标追踪模型；依据目标追踪任务对目标追踪模型进行训练，利用训练后的目标追踪模型执行目标追踪任务，因此，采用上述技术手段，可以解决现有技术中，目标追踪模型中的注意力的有效性无法得到保障，导致目标追踪模型的精度有待进一步提高的问题，进而提高目标追踪模型的精度。
在一些实施例中，训练模块304还被配置为获取目标追踪任务对应的训练数据集；将训练数据集中的训练样本输入目标追踪模型：残差网络对训练样本进行处理，得到样本特征图；空间注意力网络对样本特征图进行处理，得到第一预测结果；随机注意力网络对样本特征图进行处理，得到第二预测结果；依据第一预测结果和训练样本对应的标签，利用交叉熵损失函数计算分类损失值；依据第一预测结果、第二预测结果和训练样本对应的标签，利用交叉熵损失函数计算因果损失值；利用分类损失值和因果损失值优化目标追踪模型的模型参数，以完成对目标追踪模型的训练。
需要说明的是，训练数据集中有大量的训练样本，为了便于理解，可以只理解一个训练样本对目标追踪模型的模型参数的优化过程。将训练样本输入目标追踪模型，也就是将训练样本输入残差网络，输出样本特征图；将样本特征图输入空间注意力网络，输出第一预测结果；将样本特征图输入随机注意力网络，输出第二预测结果；利用交叉熵损失函数计算第一预测结果和训练样本对应的标签之间的分类损失值；依据第一预测结果、第二预测结果和训练样本对应的标签，利用交叉熵损失函数计算因果损失值；利用分类损失值和因果损失值优化目标追踪模型的模型参数，可以是对分类损失值和因果损失值进行加权求和，依据加权求和的结果优化目标追踪模型的模型参数。
在一些实施例中，训练模块304还被配置为将样本特征图输入空间注意力网络：样本特征图依次通过全局平均池化层、卷积层和激活函数层，得到空间注意力图；空间注意力图和样本特征图输入相乘层，输出空间注意力特征图；空间注意力特征图输入全连接层，输出第一预测结果。
空间注意力网络中的相乘层分别与激活函数层和残差网络存在连接，空间注意力网络中的相乘层对激活函数层输出的空间注意力图和残差网络输出的样本特征图进行相乘运算。
在一些实施例中，训练模块304还被配置为将样本特征图输入随机注意力网络：样本特征图输入随机函数层，输出随机注意力图，其中，随机注意力图为元素皆为0至1之间任意数的随机矩阵；随机注意力图和样本特征图输入相乘层，输出随机注意力特征图；随机注意力特征图输入全连接层，输出第二预测结果。
随机注意力网络中的相乘层分别与随机函数层和残差网络存在连接，随机注意力网络中的相乘层用于对随机函数层输出的随机注意力图和残差网络输出的样本特征图进行相乘运算。
在一些实施例中，训练模块304还被配置为通过如下公式计算因果损失值，包括：
；
其中，为因果损失值，/>为交叉熵损失函数，/>为第一预测结果，/>为第二预测结果，/>为标签。
在一些实施例中，训练模块304还被配置为获取目标追踪任务对应的训练数据集；将训练数据集中的训练样本输入目标追踪模型：残差网络对训练样本进行处理，得到样本特征图；空间注意力网络对样本特征图进行处理，得到第一预测结果；随机注意力网络对样本特征图进行处理，得到第二预测结果；依据第一预测结果和第二预测结果对目标追踪模型进行对比学习训练。
对比学习训练是自监督训练方法，不需要标签，所以本申请实施例的训练数据集中的训练样本可以是未标注的数据，通过本申请实施例即在保证训练效果的同时，又可以减少训练中的工作量。
在一些实施例中，训练模块304还被配置为获取目标追踪任务对应的训练数据集；将训练数据集中的训练样本输入目标追踪模型：残差网络对训练样本进行处理，得到样本特征图；将样本特征图输入空间注意力网络：样本特征图依次通过全局平均池化层、卷积层和激活函数层，得到空间注意力图；空间注意力图和样本特征图输入相乘层，输出空间注意力特征图；空间注意力特征图输入全连接层，输出第一预测结果；将样本特征图输入随机注意力网络：样本特征图输入随机函数层，输出随机注意力图，其中，随机注意力图为元素皆为0至1之间任意数的随机矩阵；随机注意力图和样本特征图输入相乘层，输出随机注意力特征图；随机注意力特征图输入全连接层，输出第二预测结果；利用交叉熵损失函数计算第一预测结果和训练样本对应的标签之间的分类损失值；通过如下公式计算所述因果损失值，包括：其中，/>为因果损失值，/>为交叉熵损失函数，/>为所述第一预测结果，/>为所述第二预测结果，/>为所述标签；对分类损失值和因果损失值进行加权求和，得到总损失，利用总损失优化目标追踪模型的模型参数，以完成对目标追踪模型的训练。
在一些实施例中，训练模块304还被配置为将目标图像或者目标视频输入目标追踪模型：残差网络对目标图像或者目标视频进行处理，得到目标特征图；将目标特征图输入空间注意力网络：目标特征图依次通过全局平均池化层、卷积层和激活函数层，得到空间注意力图；空间注意力图和目标特征图输入相乘层，输出空间注意力特征图；空间注意力特征图输入全连接层，输出识别结果。
目标图像或者目标视频可以是一个或者多个。随机注意力网络只是用于在训练中提高目标追踪模型的精度，在训练后，将随机注意力网络从目标追踪模型中去掉，将剩下的残差网络和空间注意力网络作为实际使用中的目标追踪模型。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图4是本申请实施例提供的电子设备4的示意图。如图4所示，该实施例的电子设备4包括：处理器401、存储器402以及存储在该存储器402中并且可在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者，处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解，图4仅仅是电子设备4的示例，并不构成对电子设备4的限定，可以包括比图示更多或更少的部件，或者不同的部件。
处理器401可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application SpecificIntegrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器402可以是电子设备4的内部存储单元，例如，电子设备4的硬盘或内存。存储器402也可以是电子设备4的外部存储设备，例如，电子设备4上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。存储器402还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种目标追踪方法，其特征在于，包括：
利用全局平均池化层、卷积层、激活函数层、相乘层和全连接层构建空间注意力网络；
利用随机函数层、所述相乘层和所述全连接层构建随机注意力网络，其中，所述随机函数层用于产生元素皆为0至1之间任意数的随机矩阵；
利用残差网络、空间注意力网络和随机注意力网络构建目标追踪模型；
依据目标追踪任务对所述目标追踪模型进行训练，利用训练后的所述目标追踪模型执行所述目标追踪任务；
其中，依据目标追踪任务对所述目标追踪模型进行训练，包括：获取所述目标追踪任务对应的训练数据集；将所述训练数据集中的训练样本输入所述目标追踪模型：所述残差网络对所述训练样本进行处理，得到样本特征图；所述空间注意力网络对所述样本特征图进行处理，得到第一预测结果；所述随机注意力网络对所述样本特征图进行处理，得到第二预测结果；依据所述第一预测结果和所述训练样本对应的标签，利用交叉熵损失函数计算分类损失值；依据所述第一预测结果、所述第二预测结果和所述训练样本对应的标签，利用所述交叉熵损失函数计算因果损失值；利用所述分类损失值和所述因果损失值优化所述目标追踪模型的模型参数，以完成对所述目标追踪模型的训练；
其中，通过如下公式计算所述因果损失值，包括：
其中，为因果损失值，/>为交叉熵损失函数，/>为所述第一预测结果，/>为所述第二预测结果，/>为所述标签。
2.根据权利要求1所述的方法，其特征在于，所述空间注意力网络对所述样本特征图进行处理，得到第一预测结果，包括：
将所述样本特征图输入所述空间注意力网络：
所述样本特征图依次通过所述全局平均池化层、所述卷积层和所述激活函数层，得到空间注意力图；
所述空间注意力图和所述样本特征图输入所述相乘层，输出空间注意力特征图；
所述空间注意力特征图输入所述全连接层，输出所述第一预测结果。
3.根据权利要求1所述的方法，其特征在于，所述随机注意力网络对所述样本特征图进行处理，得到第二预测结果，包括：
将所述样本特征图输入所述随机注意力网络：
所述样本特征图输入所述随机函数层，输出随机注意力图，其中，所述随机注意力图为元素皆为0至1之间任意数的随机矩阵；
所述随机注意力图和所述样本特征图输入所述相乘层，输出随机注意力特征图；
所述随机注意力特征图输入所述全连接层，输出所述第二预测结果。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述空间注意力网络中的所述相乘层分别与所述激活函数层和所述残差网络存在连接，所述空间注意力网络中的所述相乘层用于对所述激活函数层和所述残差网络的输出进行相乘运算；
所述随机注意力网络中的所述相乘层分别与所述随机函数层和所述残差网络存在连接，所述随机注意力网络中的所述相乘层用于对所述随机函数层和所述残差网络的输出进行所述相乘运算；
所述空间注意力网络和所述随机注意力网络并行连接在所述残差网络之后。
5.根据权利要求1所述的方法，其特征在于，依据目标追踪任务对所述目标追踪模型进行训练，包括：
获取所述目标追踪任务对应的训练数据集；
将所述训练数据集中的训练样本输入所述目标追踪模型：
所述残差网络对所述训练样本进行处理，输出样本特征图；
所述空间注意力网络对所述样本特征图进行处理，输出第一预测结果；
所述随机注意力网络对所述样本特征图进行处理，输出第二预测结果；
依据所述第一预测结果和所述第二预测结果对所述目标追踪模型进行对比学习训练。
6.一种目标追踪装置，其特征在于，包括：
第一构建模块，被配置为利用全局平均池化层、卷积层、激活函数层、相乘层和全连接层构建空间注意力网络；
第二构建模块，被配置为利用随机函数层、所述相乘层和所述全连接层构建随机注意力网络，其中，所述随机函数层用于产生元素皆为0至1之间任意数的随机矩阵；
第三构建模块，被配置为利用残差网络、空间注意力网络和随机注意力网络构建目标追踪模型；
训练模块，被配置为依据目标追踪任务对所述目标追踪模型进行训练，利用训练后的所述目标追踪模型执行所述目标追踪任务；
所述训练模块还被配置为获取所述目标追踪任务对应的训练数据集；将所述训练数据集中的训练样本输入所述目标追踪模型：所述残差网络对所述训练样本进行处理，得到样本特征图；所述空间注意力网络对所述样本特征图进行处理，得到第一预测结果；所述随机注意力网络对所述样本特征图进行处理，得到第二预测结果；依据所述第一预测结果和所述训练样本对应的标签，利用交叉熵损失函数计算分类损失值；依据所述第一预测结果、所述第二预测结果和所述训练样本对应的标签，利用所述交叉熵损失函数计算因果损失值；利用所述分类损失值和所述因果损失值优化所述目标追踪模型的模型参数，以完成对所述目标追踪模型的训练；
所述训练模块还被配置为通过如下公式计算所述因果损失值，包括：
其中，为因果损失值，/>为交叉熵损失函数，/>为所述第一预测结果，/>为所述第二预测结果，/>为所述标签。
7.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述方法的步骤。
CN202311168772.1A 2023-09-12 2023-09-12 目标追踪方法及装置 Active CN116912635B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311168772.1A CN116912635B (zh) 2023-09-12 2023-09-12 目标追踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311168772.1A CN116912635B (zh) 2023-09-12 2023-09-12 目标追踪方法及装置

Publications (2)

Publication Number Publication Date
CN116912635A CN116912635A (zh) 2023-10-20
CN116912635B true CN116912635B (zh) 2024-06-07

Family

ID=88351433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311168772.1A Active CN116912635B (zh) 2023-09-12 2023-09-12 目标追踪方法及装置

Country Status (1)

Country Link
CN (1) CN116912635B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392761B (zh) * 2023-12-13 2024-04-16 深圳须弥云图空间科技有限公司 人体位姿识别方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898431A (zh) * 2020-06-24 2020-11-06 南京邮电大学 一种基于注意力机制部件遮挡的行人再识别方法
WO2022001489A1 (zh) * 2020-06-28 2022-01-06 北京交通大学 一种无监督域适应的目标重识别方法
CN114639120A (zh) * 2022-03-16 2022-06-17 哈尔滨理工大学 一种基于注意力机制的行人重识别方法
CN114782977A (zh) * 2021-04-28 2022-07-22 河南大学 一种基于拓扑信息和亲和度信息引导行人重识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160297B (zh) * 2019-12-31 2022-05-13 武汉大学 基于残差注意机制时空联合模型的行人重识别方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898431A (zh) * 2020-06-24 2020-11-06 南京邮电大学 一种基于注意力机制部件遮挡的行人再识别方法
WO2022001489A1 (zh) * 2020-06-28 2022-01-06 北京交通大学 一种无监督域适应的目标重识别方法
CN114782977A (zh) * 2021-04-28 2022-07-22 河南大学 一种基于拓扑信息和亲和度信息引导行人重识别方法
CN114639120A (zh) * 2022-03-16 2022-06-17 哈尔滨理工大学 一种基于注意力机制的行人重识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
可变融合的随机注意力胶囊网络入侵检测模型;张兴兰 等;《通信学报》;第41卷(第11期);第160-168页 *

Also Published As

Publication number Publication date
CN116912635A (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN110910422A (zh) 目标跟踪方法、装置、电子设备和可读存储介质
CN109086811A (zh) 多标签图像分类方法、装置及电子设备
CN116912635B (zh) 目标追踪方法及装置
CN116362351B (zh) 利用噪声扰动训练预训练语言模型的方法及装置
US20210174179A1 (en) Arithmetic apparatus, operating method thereof, and neural network processor
CN116912632B (zh) 基于遮挡的目标追踪方法及装置
CN111091099A (zh) 一种场景识别模型的构建方法、场景识别方法及设备
CN116612500B (zh) 行人重识别模型训练方法及装置
CN113850298A (zh) 一种图像识别方法、装置及相关设备
CN116109907B (zh) 目标检测方法、装置、电子设备及存储介质
CN112861874A (zh) 一种基于多滤波器去噪结果的专家场去噪方法及系统
CN117474037B (zh) 基于空间距离对齐的知识蒸馏方法及装置
CN116935167B (zh) 目标追踪模型的训练方法及装置
CN117372818B (zh) 目标重识别方法及装置
CN116912518B (zh) 图像的多尺度特征处理方法及装置
CN117456562B (zh) 姿态估计方法及装置
CN117436550B (zh) 推荐模型训练方法及装置
CN116912634B (zh) 目标追踪模型的训练方法及装置
CN118135186A (zh) 基于多尺度特征的目标检测方法及装置
CN116912920B (zh) 表情识别方法及装置
CN116341640B (zh) 文本处理模型训练方法及装置
CN117892123A (zh) 多模态目标检测方法及装置
CN117475215A (zh) 目标识别模型的训练方法及装置
CN117953345A (zh) 多模态目标重识别方法及装置
CN118038517A (zh) 基于细粒度增强特征的表情识别模型的训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant