CN116935167B - 目标追踪模型的训练方法及装置 - Google Patents

目标追踪模型的训练方法及装置 Download PDF

Info

Publication number
CN116935167B
CN116935167B CN202311168764.7A CN202311168764A CN116935167B CN 116935167 B CN116935167 B CN 116935167B CN 202311168764 A CN202311168764 A CN 202311168764A CN 116935167 B CN116935167 B CN 116935167B
Authority
CN
China
Prior art keywords
attention
network
sliced
layer
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311168764.7A
Other languages
English (en)
Other versions
CN116935167A (zh
Inventor
蒋召
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xumi Yuntu Space Technology Co Ltd
Original Assignee
Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xumi Yuntu Space Technology Co Ltd filed Critical Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority to CN202311168764.7A priority Critical patent/CN116935167B/zh
Publication of CN116935167A publication Critical patent/CN116935167A/zh
Application granted granted Critical
Publication of CN116935167B publication Critical patent/CN116935167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种目标追踪模型的训练方法及装置。该方法包括：在残差神经网络的第一阶段网络和第二阶段网络之间插入第一分片注意力网络，其中，第一分片注意力网络具有K个分片注意力分支；在残差神经网络的第二阶段网络和第三阶段网络之间插入第二分片注意力网络，其中，第二分片注意力网络具有N个分片注意力分支；在残差神经网络的第三阶段网络和第四阶段网络之间插入第三分片注意力网络，其中，第三分片注意力网络具有M个分片注意力分支，K、N和M依次增大；将插入三个分片注意力网络后的残差神经网络的作为目标追踪模型，对目标追踪模型进行训练。

Description

目标追踪模型的训练方法及装置
技术领域
本申请涉及目标检测技术领域，尤其涉及一种目标追踪模型的训练方法及装置。
背景技术
目标追踪（Person re-identification）也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。现有技术也将注意力机制应用到目标追踪模型中，但是现有的注意力机制无法做到和人一样在观察一个对象时逐渐缩小观察区域的，即现有的注意力机制无法实现逐渐缩小注意力区域，以提取到更加有效的特征，这导致目标追踪模型的精度还有待进一步提高。
发明内容
有鉴于此，本申请实施例提供了一种目标追踪模型的训练方法、装置、电子设备及计算机可读存储介质，以解决现有技术中，现有的注意力机制无法像人一样逐渐缩小注意力区域，提取更加有效的特征，导致目标追踪模型的精度有待进一步提高。
本申请实施例的第一方面，提供了一种目标追踪模型的训练方法，包括：在残差神经网络的第一阶段网络和第二阶段网络之间插入第一分片注意力网络，其中，第一分片注意力网络具有K个分片注意力分支，残差神经网络依次有第零阶段网络、第一阶段网络、第二阶段网络、第三阶段网络和第四阶段网络串行连接组成；在残差神经网络的第二阶段网络和第三阶段网络之间插入第二分片注意力网络，其中，第二分片注意力网络具有N个分片注意力分支；在残差神经网络的第三阶段网络和第四阶段网络之间插入第三分片注意力网络，其中，第三分片注意力网络具有M个分片注意力分支，K、N和M依次增大；将插入三个分片注意力网络后的残差神经网络的作为目标追踪模型，对目标追踪模型进行训练。
本申请实施例的第二方面，提供了一种目标追踪模型的训练装置，包括：第一构建模块，被配置为在残差神经网络的第一阶段网络和第二阶段网络之间插入第一分片注意力网络，其中，第一分片注意力网络具有K个分片注意力分支，残差神经网络依次有第零阶段网络、第一阶段网络、第二阶段网络、第三阶段网络和第四阶段网络串行连接组成；第二构建模块，被配置为在残差神经网络的第二阶段网络和第三阶段网络之间插入第二分片注意力网络，其中，第二分片注意力网络具有N个分片注意力分支；第三构建模块，被配置为在残差神经网络的第三阶段网络和第四阶段网络之间插入第三分片注意力网络，其中，第三分片注意力网络具有M个分片注意力分支，K、N和M依次增大；训练模块，被配置为将插入三个分片注意力网络后的残差神经网络的作为目标追踪模型，对目标追踪模型进行训练。
本申请实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：因为本申请实施例通过在残差神经网络的第一阶段网络和第二阶段网络之间插入第一分片注意力网络，其中，第一分片注意力网络具有K个分片注意力分支，残差神经网络依次有第零阶段网络、第一阶段网络、第二阶段网络、第三阶段网络和第四阶段网络串行连接组成；在残差神经网络的第二阶段网络和第三阶段网络之间插入第二分片注意力网络，其中，第二分片注意力网络具有N个分片注意力分支；在残差神经网络的第三阶段网络和第四阶段网络之间插入第三分片注意力网络，其中，第三分片注意力网络具有M个分片注意力分支，K、N和M依次增大；将插入三个分片注意力网络后的残差神经网络的作为目标追踪模型，对目标追踪模型进行训练。采用上述技术手段，可以解决现有技术中，现有的注意力机制无法像人一样逐渐缩小注意力区域，提取更加有效的特征，导致目标追踪模型的精度有待进一步提高，进而提高目标追踪模型的精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本申请实施例提供的一种目标追踪模型的训练方法的流程示意图；
图2是本申请实施例提供的另一种目标追踪模型的训练方法的流程示意图；
图3是本申请实施例提供的一种目标追踪模型的训练装置的结构示意图；
图4是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
图1是本申请实施例提供的一种目标追踪模型的训练方法的流程示意图。图1的目标追踪模型的训练方法可以由计算机或服务器，或者计算机或服务器上的软件执行。如图1所示，该目标追踪模型的训练方法包括：
S101，在残差神经网络的第一阶段网络和第二阶段网络之间插入第一分片注意力网络，其中，第一分片注意力网络具有K个分片注意力分支，残差神经网络依次有第零阶段网络、第一阶段网络、第二阶段网络、第三阶段网络和第四阶段网络串行连接组成；
S102，在残差神经网络的第二阶段网络和第三阶段网络之间插入第二分片注意力网络，其中，第二分片注意力网络具有N个分片注意力分支；
S103，在残差神经网络的第三阶段网络和第四阶段网络之间插入第三分片注意力网络，其中，第三分片注意力网络具有M个分片注意力分支，K、N和M依次增大；
S104，将插入三个分片注意力网络后的残差神经网络的作为目标追踪模型，对目标追踪模型进行训练。
残差神经网络，比如ResNet50，包含第零阶段网络Stage0、第一阶段网络Stage1、第二阶段网络Stage2、第三阶段网络Stage3和第四阶段网络Stage4。构建的目标追踪模型内部网络依次是：有第零阶段网络、第一阶段网络、第一分片注意力网络、第二阶段网络、第二分片注意力网络、第三阶段网络、第三分片注意力网络和第四阶段网络。
因为随着特征的进一步处理，也就是目标追踪模型内部网络的深入，特征是越来越详细的，所以三个分片注意力网络内的分片注意力分支的数量K、N和M是依次增大的，这有利用提取到更加有效的特征。需要说明的是，K、N和M依次增大即可，可以是奇数或偶数，可以是彼此之间有倍数关系也可以是没有倍数关系等，没有其它要求，比如K、N和M分别为2、4和8。
根据本申请实施例提供的技术方案，在残差神经网络的第一阶段网络和第二阶段网络之间插入第一分片注意力网络，其中，第一分片注意力网络具有K个分片注意力分支，残差神经网络依次有第零阶段网络、第一阶段网络、第二阶段网络、第三阶段网络和第四阶段网络串行连接组成；在残差神经网络的第二阶段网络和第三阶段网络之间插入第二分片注意力网络，其中，第二分片注意力网络具有N个分片注意力分支；在残差神经网络的第三阶段网络和第四阶段网络之间插入第三分片注意力网络，其中，第三分片注意力网络具有M个分片注意力分支，K、N和M依次增大；将插入三个分片注意力网络后的残差神经网络的作为目标追踪模型，对目标追踪模型进行训练。采用上述技术手段，可以解决现有技术中，现有的注意力机制无法像人一样逐渐缩小注意力区域，提取更加有效的特征，导致目标追踪模型的精度有待进一步提高，进而提高目标追踪模型的精度。
进一步地：第一分片注意力网络依次由分片层、K个分片注意力分支、拼接层和注意力层串行连接组成，其中，K个分片注意力分支是彼此并行的，第一分片注意力网络中的注意力层与第一分片注意力网络中的拼接层和第一阶段网络均存在连接；第二分片注意力网络依次由分片层、N个分片注意力分支、拼接层和注意力层组成，其中，N个分片注意力分支是彼此并行的，第二分片注意力网络中的注意力层与第二分片注意力网络中的拼接层和第二阶段网络均存在连接；第三分片注意力网络依次由分片层、M个分片注意力分支、拼接层和注意力层串行连接组成，其中，M个分片注意力分支是彼此并行的，第三分片注意力网络中的注意力层与第三分片注意力网络中的拼接层和第三阶段网络均存在连接；每个分片注意力分支依次由全局平均池化层、卷积层和激活层串行连接组成。
第一分片注意力网络中的注意力层是在与第一分片注意力网络中的拼接层存在连接的基础上，又与第一阶段网络存在连接（第一分片注意力网络中的拼接层和第一阶段网络的输出是第一分片注意力网络中的注意力层的输入，第一分片注意力网络中的注意力层的输出是第二阶段网络的输入）；第二分片注意力网络中的注意力层是在与第二分片注意力网络中的拼接层存在连接的基础上，又与第二阶段网络存在连接；第三分片注意力网络中的注意力层是在与第三分片注意力网络中的拼接层存在连接的基础上，又与第三阶段网络存在连接。激活层使用的激活函数可以是Sigmoid。
更进一步地：在第一分片注意力网络中：分片层用于将第一阶段网络输出的特征图均分为K个小特征图，每个分片注意力分支输入一个小特征图，拼接层用于将K个分片注意力分支输出的分支特征图拼接到一起，注意力层用于基于拼接层的输出对第一阶段网络输出的特征图中的每个元素分配注意力；在第二分片注意力网络中：分片层用于将第二阶段网络输出的特征图均分为N个小特征图，每个分片注意力分支输入一个小特征图，拼接层用于将N个分片注意力分支输出的分支特征图拼接到一起，注意力层用于基于拼接层的输出对第二阶段网络输出的特征图中的每个元素分配注意力；在第三分片注意力网络中：分片层用于将第三阶段网络输出的特征图均分为M个小特征图，每个分片注意力分支输入一个小特征图，拼接层用于将M个分片注意力分支输出的分支特征图拼接到一起，注意力层用于基于拼接层的输出对第三阶段网络输出的特征图中的每个元素分配注意力。
每个注意力层均可通过相乘运算实现，比如第一分片注意力网络中的注意力层可以是通过对拼接层的输出和第一阶段网络的输出进行相乘运算，也就实现了基于第一分片注意力网络中的拼接层的输出对第一阶段网络输出的特征图中的每个元素分配注意力。
图2是本申请实施例提供的另一种目标追踪模型的训练方法的流程示意图。如图2所示，包括：
S201，获取训练数据集，将训练数据集中的训练样本输入目标追踪模型：
S202，通过第一阶段网络输出第一阶段特征图，通过第一分片注意力网络对第一阶段特征图进行处理，得到第一注意力特征图；
S203，通过第二阶段网络对第一注意力特征图进行处理，得到第二阶段特征图，通过第二分片注意力网络对第二阶段特征图进行处理，得到第二注意力特征图；
S204，通过第三阶段网络对第二注意力特征图进行处理，得到第三阶段特征图，通过第三分片注意力网络对第三阶段特征图进行处理，得到第三注意力特征图；
S205，通过第四阶段网络对第三注意力特征图进行处理，得到第四阶段特征图；
S206，通过全连接层对第四阶段特征图进行处理，得到分类结果；
S207，利用交叉熵损失函数计算分类结果和训练样本对应标签之间的损失值；
S208，利用损失值优化目标追踪模型的模型参数，以完成对目标追踪模型的训练。
将训练样本输入目标追踪模型，经过第零阶段网络和第一阶段网络处理得到第一阶段特征图，可以看作是通过第零阶段网络对训练样本进行处理，得到第零阶段特征图，通过第一阶段网络对第零阶段特征图进行处理，得到第一阶段特征图。通过第一分片注意力网络对第一阶段特征图进行处理得到第一注意力特征图，就是第一阶段特征图输入到第一分片注意力网络，输出第一注意力特征图。其它网络对特征图的处理与第一分片注意力网络类似。
综上，所以目标追踪模型内部网络依次是：有第零阶段网络、第一阶段网络、第一分片注意力网络、第二阶段网络、第二分片注意力网络、第三阶段网络、第三分片注意力网络、第四阶段网络和全连接层（增加在第四阶段网络之后的全连接层用于对最终的特征分类）。
在一个可选实施例中，在残差神经网络的第四阶段网络之后插入第四分片注意力网络，其中，第四分片注意力网络具有L个分片注意力分支，K、N、M和L依次增大。那么在训练目标追踪模型时：得到第四阶段特征图之后，将第四阶段特征图输入第四分片注意力网络，输出第四注意力特征图；通过全连接层对第四注意力特征图进行处理，得到分类结果；利用交叉熵损失函数计算分类结果和训练样本对应标签之间的损失值；利用损失值优化目标追踪模型的模型参数，以完成对目标追踪模型的训练。
第四分片注意力网络依次由分片层、L个分片注意力分支、拼接层和注意力层串行连接组成，其中，L个分片注意力分支是彼此并行的，第四分片注意力网络中的注意力层与第四分片注意力网络中的拼接层和第四阶段网络均存在连接。在第四分片注意力网络中：分片层用于将第四阶段网络输出的特征图均分为L个小特征图，每个分片注意力分支输入一个小特征图，拼接层用于将L个分片注意力分支输出的分支特征图拼接到一起，注意力层用于基于拼接层的输出对第四阶段网络输出的特征图中的每个元素分配注意力。
更进一步地，通过第一分片注意力网络对第一阶段特征图进行处理，得到第一注意力特征图，包括：在第一分片注意力网络中：通过分片层将第一注意力特征图均分为K个小特征图；通过K个分片注意力分支对K个小特征图进行处理，得到K个分支特征图，其中，每个分片注意力分支处理一个小特征图；通过拼接层将K个分支特征图拼接到一起，得到第一拼接特征图；通过注意力层基于第一拼接特征图对第一阶段特征图中的每个元素分配注意力，得到第一注意力特征图。
第一分片注意力网络中的注意力层可以是对第一拼接特征图和第一阶段特征图进行相乘运算，得到第一注意力特征图。
更进一步地，通过第二分片注意力网络对第二阶段特征图进行处理，得到第二注意力特征图，包括：在第二分片注意力网络中：通过分片层将第二注意力特征图均分为N个小特征图；通过N个分片注意力分支对N个小特征图进行处理，得到N个分支特征图，其中，每个分片注意力分支处理一个小特征图；通过拼接层将N个分支特征图拼接到一起，得到第二拼接特征图；通过注意力层基于第二拼接特征图对第二阶段特征图中的每个元素分配注意力，得到第二注意力特征图。
第二分片注意力网络中的注意力层可以是对第二拼接特征图和第二阶段特征图进行相乘运算，得到第二注意力特征图。
更进一步地，通过第三分片注意力网络对第三阶段特征图进行处理，得到第三注意力特征图，包括：在第三分片注意力网络中：通过分片层将第三注意力特征图均分为M个小特征图；通过M个分片注意力分支对M个小特征图进行处理，得到M个分支特征图，其中，每个分片注意力分支处理一个小特征图；通过拼接层将M个分支特征图拼接到一起，得到第三拼接特征图；通过注意力层基于第三拼接特征图对第三阶段特征图中的每个元素分配注意力，得到第三注意力特征图。
第三分片注意力网络中的注意力层可以是对第三拼接特征图和第三阶段特征图进行相乘运算，得到第三注意力特征图。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图3是本申请实施例提供的一种目标追踪模型的训练装置的示意图。如图3所示，该目标追踪模型的训练装置包括：
第一构建模块301，被配置为在残差神经网络的第一阶段网络和第二阶段网络之间插入第一分片注意力网络，其中，第一分片注意力网络具有K个分片注意力分支，残差神经网络依次有第零阶段网络、第一阶段网络、第二阶段网络、第三阶段网络和第四阶段网络串行连接组成；
第二构建模块302，被配置为在残差神经网络的第二阶段网络和第三阶段网络之间插入第二分片注意力网络，其中，第二分片注意力网络具有N个分片注意力分支；
第三构建模块303，被配置为在残差神经网络的第三阶段网络和第四阶段网络之间插入第三分片注意力网络，其中，第三分片注意力网络具有M个分片注意力分支，K、N和M依次增大；
训练模块304，被配置为将插入三个分片注意力网络后的残差神经网络的作为目标追踪模型，对目标追踪模型进行训练。
根据本申请实施例提供的技术方案，在残差神经网络的第一阶段网络和第二阶段网络之间插入第一分片注意力网络，其中，第一分片注意力网络具有K个分片注意力分支，残差神经网络依次有第零阶段网络、第一阶段网络、第二阶段网络、第三阶段网络和第四阶段网络串行连接组成；在残差神经网络的第二阶段网络和第三阶段网络之间插入第二分片注意力网络，其中，第二分片注意力网络具有N个分片注意力分支；在残差神经网络的第三阶段网络和第四阶段网络之间插入第三分片注意力网络，其中，第三分片注意力网络具有M个分片注意力分支，K、N和M依次增大；将插入三个分片注意力网络后的残差神经网络的作为目标追踪模型，对目标追踪模型进行训练。采用上述技术手段，可以解决现有技术中，现有的注意力机制无法像人一样逐渐缩小注意力区域，提取更加有效的特征，导致目标追踪模型的精度有待进一步提高，进而提高目标追踪模型的精度。
第一分片注意力网络依次由分片层、K个分片注意力分支、拼接层和注意力层串行连接组成，其中，K个分片注意力分支是彼此并行的，第一分片注意力网络中的注意力层与第一分片注意力网络中的拼接层和第一阶段网络均存在连接；第二分片注意力网络依次由分片层、N个分片注意力分支、拼接层和注意力层组成，其中，N个分片注意力分支是彼此并行的，第二分片注意力网络中的注意力层与第二分片注意力网络中的拼接层和第二阶段网络均存在连接；第三分片注意力网络依次由分片层、M个分片注意力分支、拼接层和注意力层串行连接组成，其中，M个分片注意力分支是彼此并行的，第三分片注意力网络中的注意力层与第三分片注意力网络中的拼接层和第三阶段网络均存在连接；每个分片注意力分支依次由全局平均池化层、卷积层和激活层串行连接组成。
在第一分片注意力网络中：分片层用于将第一阶段网络输出的特征图均分为K个小特征图，每个分片注意力分支输入一个小特征图，拼接层用于将K个分片注意力分支输出的分支特征图拼接到一起，注意力层用于基于拼接层的输出对第一阶段网络输出的特征图中的每个元素分配注意力；在第二分片注意力网络中：分片层用于将第二阶段网络输出的特征图均分为N个小特征图，每个分片注意力分支输入一个小特征图，拼接层用于将N个分片注意力分支输出的分支特征图拼接到一起，注意力层用于基于拼接层的输出对第二阶段网络输出的特征图中的每个元素分配注意力；在第三分片注意力网络中：分片层用于将第三阶段网络输出的特征图均分为M个小特征图，每个分片注意力分支输入一个小特征图，拼接层用于将M个分片注意力分支输出的分支特征图拼接到一起，注意力层用于基于拼接层的输出对第三阶段网络输出的特征图中的每个元素分配注意力。
在一些实施例中，训练模块304还被配置为获取训练数据集，将训练数据集中的训练样本输入目标追踪模型：通过第一阶段网络输出第一阶段特征图，通过第一分片注意力网络对第一阶段特征图进行处理，得到第一注意力特征图；通过第二阶段网络对第一注意力特征图进行处理，得到第二阶段特征图，通过第二分片注意力网络对第二阶段特征图进行处理，得到第二注意力特征图；通过第三阶段网络对第二注意力特征图进行处理，得到第三阶段特征图，通过第三分片注意力网络对第三阶段特征图进行处理，得到第三注意力特征图；通过第四阶段网络对第三注意力特征图进行处理，得到第四阶段特征图；通过全连接层对第四阶段特征图进行处理，得到分类结果；利用交叉熵损失函数计算分类结果和训练样本对应标签之间的损失值；利用损失值优化目标追踪模型的模型参数，以完成对目标追踪模型的训练。
在一些实施例中，训练模块304还被配置为在残差神经网络的第四阶段网络之后插入第四分片注意力网络，其中，第四分片注意力网络具有L个分片注意力分支，K、N、M和L依次增大。那么在训练目标追踪模型时：得到第四阶段特征图之后，将第四阶段特征图输入第四分片注意力网络，输出第四注意力特征图；通过全连接层对第四注意力特征图进行处理，得到分类结果；利用交叉熵损失函数计算分类结果和训练样本对应标签之间的损失值；利用损失值优化目标追踪模型的模型参数，以完成对目标追踪模型的训练。
第四分片注意力网络依次由分片层、L个分片注意力分支、拼接层和注意力层串行连接组成，其中，L个分片注意力分支是彼此并行的，第四分片注意力网络中的注意力层与第四分片注意力网络中的拼接层和第四阶段网络均存在连接。在第四分片注意力网络中：分片层用于将第四阶段网络输出的特征图均分为L个小特征图，每个分片注意力分支输入一个小特征图，拼接层用于将L个分片注意力分支输出的分支特征图拼接到一起，注意力层用于基于拼接层的输出对第四阶段网络输出的特征图中的每个元素分配注意力。
在一些实施例中，训练模块304还被配置为在第一分片注意力网络中：通过分片层将第一注意力特征图均分为K个小特征图；通过K个分片注意力分支对K个小特征图进行处理，得到K个分支特征图，其中，每个分片注意力分支处理一个小特征图；通过拼接层将K个分支特征图拼接到一起，得到第一拼接特征图；通过注意力层基于第一拼接特征图对第一阶段特征图中的每个元素分配注意力，得到第一注意力特征图。
在一些实施例中，训练模块304还被配置为在第二分片注意力网络中：通过分片层将第二注意力特征图均分为N个小特征图；通过N个分片注意力分支对N个小特征图进行处理，得到N个分支特征图，其中，每个分片注意力分支处理一个小特征图；通过拼接层将N个分支特征图拼接到一起，得到第二拼接特征图；通过注意力层基于第二拼接特征图对第二阶段特征图中的每个元素分配注意力，得到第二注意力特征图。
在一些实施例中，训练模块304还被配置为在第三分片注意力网络中：通过分片层将第三注意力特征图均分为M个小特征图；通过M个分片注意力分支对M个小特征图进行处理，得到M个分支特征图，其中，每个分片注意力分支处理一个小特征图；通过拼接层将M个分支特征图拼接到一起，得到第三拼接特征图；通过注意力层基于第三拼接特征图对第三阶段特征图中的每个元素分配注意力，得到第三注意力特征图。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图4是本申请实施例提供的电子设备4的示意图。如图4所示，该实施例的电子设备4包括：处理器401、存储器402以及存储在该存储器402中并且可在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者，处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解，图4仅仅是电子设备4的示例，并不构成对电子设备4的限定，可以包括比图示更多或更少的部件，或者不同的部件。
处理器401可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application SpecificIntegrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器402可以是电子设备4的内部存储单元，例如，电子设备4的硬盘或内存。存储器402也可以是电子设备4的外部存储设备，例如，电子设备4上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。存储器402还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种目标追踪模型的训练方法，其特征在于，包括：
在残差神经网络的第一阶段网络和第二阶段网络之间插入第一分片注意力网络，其中，所述第一分片注意力网络具有K个分片注意力分支，所述残差神经网络依次有第零阶段网络、所述第一阶段网络、所述第二阶段网络、第三阶段网络和第四阶段网络串行连接组成；
在所述残差神经网络的所述第二阶段网络和所述第三阶段网络之间插入第二分片注意力网络，其中，所述第二分片注意力网络具有N个分片注意力分支；
在所述残差神经网络的所述第三阶段网络和所述第四阶段网络之间插入第三分片注意力网络，其中，所述第三分片注意力网络具有M个分片注意力分支，K、N和M依次增大；
将插入三个分片注意力网络后的残差神经网络的作为目标追踪模型，对所述目标追踪模型进行训练；
所述第一分片注意力网络依次由分片层、K个分片注意力分支、拼接层和注意力层串行连接组成，其中，K个分片注意力分支是彼此并行的，所述第一分片注意力网络中的注意力层与所述第一分片注意力网络中的拼接层和所述第一阶段网络均存在连接；
所述第二分片注意力网络依次由分片层、N个分片注意力分支、拼接层和注意力层组成，其中，N个分片注意力分支是彼此并行的，所述第二分片注意力网络中的注意力层与所述第二分片注意力网络中的拼接层和所述第二阶段网络均存在连接；
所述第三分片注意力网络依次由分片层、M个分片注意力分支、拼接层和注意力层串行连接组成，其中，M个分片注意力分支是彼此并行的，所述第三分片注意力网络中的注意力层与所述第三分片注意力网络中的拼接层和所述第三阶段网络均存在连接；
每个分片注意力分支依次由全局平均池化层、卷积层和激活层串行连接组成；
在所述第一分片注意力网络中：所述分片层用于将所述第一阶段网络输出的特征图均分为K个小特征图，每个分片注意力分支输入一个小特征图，所述拼接层用于将K个分片注意力分支输出的分支特征图拼接到一起，所述注意力层用于基于所述拼接层的输出对所述第一阶段网络输出的特征图中的每个元素分配注意力；
在所述第二分片注意力网络中：所述分片层用于将所述第二阶段网络输出的特征图均分为N个小特征图，每个分片注意力分支输入一个小特征图，所述拼接层用于将N个分片注意力分支输出的分支特征图拼接到一起，所述注意力层用于基于拼接层的输出对所述第二阶段网络输出的特征图中的每个元素分配注意力；
在所述第三分片注意力网络中：所述分片层用于将所述第三阶段网络输出的特征图均分为M个小特征图，每个分片注意力分支输入一个小特征图，所述拼接层用于将M个分片注意力分支输出的分支特征图拼接到一起，所述注意力层用于基于拼接层的输出对所述第三阶段网络输出的特征图中的每个元素分配注意力。
2.根据权利要求1所述的方法，其特征在于，对所述目标追踪模型进行训练，包括：
获取训练数据集，将所述训练数据集中的训练样本输入所述目标追踪模型：
通过所述第一阶段网络输出第一阶段特征图，通过所述第一分片注意力网络对所述第一阶段特征图进行处理，得到第一注意力特征图；
通过所述第二阶段网络对第一注意力特征图进行处理，得到第二阶段特征图，通过所述第二分片注意力网络对所述第二阶段特征图进行处理，得到第二注意力特征图；
通过所述第三阶段网络对第二注意力特征图进行处理，得到第三阶段特征图，通过所述第三分片注意力网络对所述第三阶段特征图进行处理，得到第三注意力特征图；
通过所述第四阶段网络对第三注意力特征图进行处理，得到第四阶段特征图；
通过全连接层对第四阶段特征图进行处理，得到分类结果；
利用交叉熵损失函数计算所述分类结果和所述训练样本对应标签之间的损失值；
利用所述损失值优化所述目标追踪模型的模型参数，以完成对所述目标追踪模型的训练。
3.根据权利要求2所述的方法，其特征在于，通过所述第一分片注意力网络对所述第一阶段特征图进行处理，得到第一注意力特征图，包括：
在所述第一分片注意力网络中：
通过分片层将所述第一注意力特征图均分为K个小特征图；
通过K个分片注意力分支对K个小特征图进行处理，得到K个分支特征图，其中，每个分片注意力分支处理一个小特征图；
通过拼接层将K个分支特征图拼接到一起，得到第一拼接特征图；
通过注意力层基于所述第一拼接特征图对所述第一阶段特征图中的每个元素分配注意力，得到所述第一注意力特征图。
4.根据权利要求2所述的方法，其特征在于，通过所述第二分片注意力网络对所述第二阶段特征图进行处理，得到第二注意力特征图，包括：
在所述第二分片注意力网络中：
通过分片层将所述第二注意力特征图均分为N个小特征图；
通过N个分片注意力分支对N个小特征图进行处理，得到N个分支特征图，其中，每个分片注意力分支处理一个小特征图；
通过拼接层将N个分支特征图拼接到一起，得到第二拼接特征图；
通过注意力层基于所述第二拼接特征图对所述第二阶段特征图中的每个元素分配注意力，得到所述第二注意力特征图。
5.根据权利要求2所述的方法，其特征在于，通过所述第三分片注意力网络对所述第三阶段特征图进行处理，得到第三注意力特征图，包括：
在所述第三分片注意力网络中：
通过分片层将所述第三注意力特征图均分为M个小特征图；
通过M个分片注意力分支对M个小特征图进行处理，得到M个分支特征图，其中，每个分片注意力分支处理一个小特征图；
通过拼接层将M个分支特征图拼接到一起，得到第三拼接特征图；
通过注意力层基于所述第三拼接特征图对所述第三阶段特征图中的每个元素分配注意力，得到所述第三注意力特征图。
6.一种目标追踪模型的训练装置，其特征在于，包括：
第一构建模块，被配置为在残差神经网络的第一阶段网络和第二阶段网络之间插入第一分片注意力网络，其中，所述第一分片注意力网络具有K个分片注意力分支，所述残差神经网络依次有第零阶段网络、所述第一阶段网络、所述第二阶段网络、第三阶段网络和第四阶段网络串行连接组成；
第二构建模块，被配置为在所述残差神经网络的所述第二阶段网络和所述第三阶段网络之间插入第二分片注意力网络，其中，所述第二分片注意力网络具有N个分片注意力分支；
第三构建模块，被配置为在所述残差神经网络的所述第三阶段网络和所述第四阶段网络之间插入第三分片注意力网络，其中，所述第三分片注意力网络具有M个分片注意力分支，K、N和M依次增大；
训练模块，被配置为将插入三个分片注意力网络后的残差神经网络的作为目标追踪模型，对所述目标追踪模型进行训练；
所述第一分片注意力网络依次由分片层、K个分片注意力分支、拼接层和注意力层串行连接组成，其中，K个分片注意力分支是彼此并行的，所述第一分片注意力网络中的注意力层与所述第一分片注意力网络中的拼接层和所述第一阶段网络均存在连接；
所述第二分片注意力网络依次由分片层、N个分片注意力分支、拼接层和注意力层组成，其中，N个分片注意力分支是彼此并行的，所述第二分片注意力网络中的注意力层与所述第二分片注意力网络中的拼接层和所述第二阶段网络均存在连接；
所述第三分片注意力网络依次由分片层、M个分片注意力分支、拼接层和注意力层串行连接组成，其中，M个分片注意力分支是彼此并行的，所述第三分片注意力网络中的注意力层与所述第三分片注意力网络中的拼接层和所述第三阶段网络均存在连接；
每个分片注意力分支依次由全局平均池化层、卷积层和激活层串行连接组成；
在所述第一分片注意力网络中：所述分片层用于将所述第一阶段网络输出的特征图均分为K个小特征图，每个分片注意力分支输入一个小特征图，所述拼接层用于将K个分片注意力分支输出的分支特征图拼接到一起，所述注意力层用于基于所述拼接层的输出对所述第一阶段网络输出的特征图中的每个元素分配注意力；
在所述第二分片注意力网络中：所述分片层用于将所述第二阶段网络输出的特征图均分为N个小特征图，每个分片注意力分支输入一个小特征图，所述拼接层用于将N个分片注意力分支输出的分支特征图拼接到一起，所述注意力层用于基于拼接层的输出对所述第二阶段网络输出的特征图中的每个元素分配注意力；
在所述第三分片注意力网络中：所述分片层用于将所述第三阶段网络输出的特征图均分为M个小特征图，每个分片注意力分支输入一个小特征图，所述拼接层用于将M个分片注意力分支输出的分支特征图拼接到一起，所述注意力层用于基于拼接层的输出对所述第三阶段网络输出的特征图中的每个元素分配注意力。
7.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述方法的步骤。
CN202311168764.7A 2023-09-12 2023-09-12 目标追踪模型的训练方法及装置 Active CN116935167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311168764.7A CN116935167B (zh) 2023-09-12 2023-09-12 目标追踪模型的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311168764.7A CN116935167B (zh) 2023-09-12 2023-09-12 目标追踪模型的训练方法及装置

Publications (2)

Publication Number Publication Date
CN116935167A CN116935167A (zh) 2023-10-24
CN116935167B true CN116935167B (zh) 2024-05-10

Family

ID=88384609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311168764.7A Active CN116935167B (zh) 2023-09-12 2023-09-12 目标追踪模型的训练方法及装置

Country Status (1)

Country Link
CN (1) CN116935167B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661198A (zh) * 2022-10-20 2023-01-31 深圳须弥云图空间科技有限公司 基于单阶段目标追踪模型的目标追踪方法、装置及介质
CN115953803A (zh) * 2022-12-20 2023-04-11 深圳须弥云图空间科技有限公司 人体识别模型的训练方法及装置
CN115953784A (zh) * 2022-12-27 2023-04-11 江南大学 基于残差和特征分块注意力的激光打码字符分割方法
CN116030520A (zh) * 2023-01-09 2023-04-28 北京龙智数科科技服务有限公司 存在遮挡的人脸识别方法及装置
CN116311091A (zh) * 2023-01-19 2023-06-23 江西省交通监控指挥中心 一种基于金字塔密度感知注意力网络的车辆计数方法
CN116434039A (zh) * 2023-06-12 2023-07-14 济南大学 一种基于多尺度拆分注意力机制的目标检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661198A (zh) * 2022-10-20 2023-01-31 深圳须弥云图空间科技有限公司 基于单阶段目标追踪模型的目标追踪方法、装置及介质
CN115953803A (zh) * 2022-12-20 2023-04-11 深圳须弥云图空间科技有限公司 人体识别模型的训练方法及装置
CN115953784A (zh) * 2022-12-27 2023-04-11 江南大学 基于残差和特征分块注意力的激光打码字符分割方法
CN116030520A (zh) * 2023-01-09 2023-04-28 北京龙智数科科技服务有限公司 存在遮挡的人脸识别方法及装置
CN116311091A (zh) * 2023-01-19 2023-06-23 江西省交通监控指挥中心 一种基于金字塔密度感知注意力网络的车辆计数方法
CN116434039A (zh) * 2023-06-12 2023-07-14 济南大学 一种基于多尺度拆分注意力机制的目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Cascaded attention-guided multi-granularity feature learning for person re-identification";Husheng Dong et al;《Machine Vision and Applications》;第34卷(第4期);第1-16页 *

Also Published As

Publication number Publication date
CN116935167A (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
US20200218948A1 (en) Thundernet: a turbo unified network for real-time semantic segmentation
CN106530320B (zh) 一种端到端的图像分割处理方法及系统
EP2854044A1 (en) A method and a system for determining a product vector for performing Dynamic Time Warping
CN110910422A (zh) 目标跟踪方法、装置、电子设备和可读存储介质
CN110457524B (zh) 模型生成方法、视频分类方法及装置
CN110427915B (zh) 用于输出信息的方法和装置
CN111709415B (zh) 目标检测方法、装置、计算机设备和存储介质
CN116912632B (zh) 基于遮挡的目标追踪方法及装置
CN116403250A (zh) 存在遮挡的人脸识别方法及装置
CN116912635B (zh) 目标追踪方法及装置
CN116912636B (zh) 目标识别方法及装置
CN116595130B (zh) 基于小语言模型的多种任务下的语料扩充方法及装置
CN116612500A (zh) 行人重识别模型训练方法及装置
CN116935167B (zh) 目标追踪模型的训练方法及装置
EP2854134A1 (en) A method and a system for determining a product vector for performing Dynamic Time Warping
CN116912634B (zh) 目标追踪模型的训练方法及装置
CN117474037B (zh) 基于空间距离对齐的知识蒸馏方法及装置
CN116912633B (zh) 目标追踪模型的训练方法及装置
CN116912889B (zh) 行人重识别方法及装置
CN118470032A (zh) 超分图像分割模型的训练方法及装置
CN112668600B (zh) 一种文本识别方法及装置
CN116912920B (zh) 表情识别方法及装置
CN116523028B (zh) 基于图像空间位置的图像表征模型训练方法及装置
CN117456562B (zh) 姿态估计方法及装置
CN118036704A (zh) 基于跨层特征对齐的知识蒸馏方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant