CN115375737B - 基于自适应时间与序列化时空特征的目标跟踪方法与系统 - Google Patents

基于自适应时间与序列化时空特征的目标跟踪方法与系统 Download PDF

Info

Publication number
CN115375737B
CN115375737B CN202211308115.8A CN202211308115A CN115375737B CN 115375737 B CN115375737 B CN 115375737B CN 202211308115 A CN202211308115 A CN 202211308115A CN 115375737 B CN115375737 B CN 115375737B
Authority
CN
China
Prior art keywords
feature
target
serialized
module
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211308115.8A
Other languages
English (en)
Other versions
CN115375737A (zh
Inventor
王员云
张文双
王军
刘坤龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Institute of Technology
Original Assignee
Nanchang Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Institute of Technology filed Critical Nanchang Institute of Technology
Priority to CN202211308115.8A priority Critical patent/CN115375737B/zh
Publication of CN115375737A publication Critical patent/CN115375737A/zh
Application granted granted Critical
Publication of CN115375737B publication Critical patent/CN115375737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于自适应时间与序列化时空特征的目标跟踪方法与系统，首先在双分支跟踪网络框架下，基于深度卷积神经网络和自适应时间模块，构建得到特征提取网络；在提取目标特征的基础上，目标模板分支特征通过序列化时空特征模块得到增强的目标模板特征信息；将该特征信息输入到模型预测器，通过模型预测器得到适应性卷积核；搜索区域分支特征经过特征提取网络与卷积核进行卷积，得到融合之后的得分图，即进一步实现目标跟踪。在本发明中，通过重构基于自适应时间特征表示与序列化时空特征模块进行特征融合，从而提高了给定的目标图像和搜索区域图像的特征融合的性能，最终实现更加精确的目标跟踪。

Description

基于自适应时间与序列化时空特征的目标跟踪方法与系统
技术领域
本发明涉及机器学习与计算机视觉技术领域，特别涉及一种基于自适应时间与序列化时空特征的目标跟踪方法与系统。
背景技术
计算机视觉指的是利用计算机来模拟人的视觉机理获取并处理信息，在计算机视觉领域中，目标跟踪是一个重要课题和研究热点。目标跟踪通过在连续的视频图像序列中对目标的表观和运动信息进行建模，定位跟踪目标的位置，在此基础上实现对运动目标的行为分析和理解，以便完成更高级的任务。目标跟踪在智能视频监控、无人驾驶以及虚拟现实等视觉领域中有着广泛的应用。尽管目标跟踪算法的研究取得了很大的进展，但是由于跟踪目标的自身变化以及背景因素等带来的挑战，跟踪算法难以较好地鉴别目标和周围的背景，容易发生跟踪漂移。目标自身变化带来的挑战主要包括尺度变化、运动模糊与目标旋转等；除了目标自身变化带来的挑战，背景因素的影响也较为显著，主要包括遮挡、光照变化以及相似背景干扰等。
在目前的目标跟踪研究领域中，目标跟踪技术可以分为两大类：基于相关滤波的跟踪技术以及基于深度学习的跟踪技术。在基于相关滤波的跟踪器中，跟踪器运行速度快，但是跟踪的准确性有待提高；基于深度学习的跟踪器提高了跟踪性能，对跟踪器的研究任务有了很大的推进。在基于深度学习的跟踪器中，双分支目标跟踪器已成为研究热点。利用深度学习建立全新的双分支跟踪框架。基于深度学习的目标跟踪方法主要是利用深度特征强大的表征能力、双分支目标的特征融合能力以及对目标位置的定位，来对复杂场景中的目标进行实时跟踪。
目前研究中的部分目标跟踪算法，对连续帧的局部目标位置信息和目标特征的全局上下文依赖信息提取、目标模板分支的基于序列化时空特征的特征增强能力有待提高，跟踪鲁棒性不是很理想。在复杂场景中，由于缺少连续帧的时态信息，无法很好地处理挑战环境中跟踪漂移以及跟踪背景复杂等挑战因素所带来的影响。
发明内容
鉴于上述状况，本发明的主要目的是为了提出一种基于自适应时间与序列化时空特征的目标跟踪方法与系统，以解决上述技术问题。
本发明实施例提出一种基于自适应时间与序列化时空特征的目标跟踪方法，其中，所述方法包括如下步骤：
步骤一、在双分支目标跟踪框架下，基于深度卷积神经网络与自适应时间特征表示模块，构建得到特征提取网络；其中，所述自适应时间特征表示模块包括局部分支以及全局分支，所述特征提取网络用于分别提取目标模板分支的图像特征和搜索区域分支的图像特征；
步骤二、在目标模板分支与搜索区域分支中，通过所述特征提取网络中的卷积层提取得到目标浅层表观特征，通过所述局部分支学习目标局部位置重要性权重，以生成适应性位置敏感权重图用于得到突出目标位置特征；通过所述全局分支通过学习全局重要性信息，利用连续帧中的目标信息相关性，以获得全局关联信息表示；
步骤三、在目标模板分支中，将特征提取网络提取的目标模板分支的图像特征引入到序列化时空特征模块；其中，所述序列化时空特征模块包括序列化通道信息增强模块以及序列化空间信息增强模块，所述序列化通道信息增强模块用于突出不同通道的信息权重，所述序列化空间信息增强模块用于增强连续帧的目标位置信息；
步骤四、利用大规模数据集，对所述特征提取网络和所述序列化时空特征模块进行训练，并对所述特征提取网络以及所述序列化时空特征模块的参数进行调整；
步骤五、目标模板分支的目标图像经过所述特征提取网络以及所述序列化时空特征模块之后得到目标模板信息，将目标模板信息和未经过特征提取网络的图像信息引入到模型预测器中，对模型预测器进行迭代优化以最终得到卷积核；
步骤六、搜索区域分支利用特征提取网络进行候选块特征提取，以得到相应的候选块特征，将所述卷积核与候选块特征进行特征融合操作以得到多个得分图，其中每个得分图对应有一相似度得分；
步骤七、确认相似度得分的最大值，并将相似度得分最大值的位置判定为跟踪目标的位置以得到跟踪目标。
本发明提出一种基于自适应时间与序列化时空特征的目标跟踪方法，首先在双分支跟踪网络框架下，基于深度卷积神经网络和自适应时间模块，构建得到特征提取网络，其中自适应时间模块的局部分支突出了目标的位置信息，全局分支突出了全局关联信息表示；然后，在提取目标特征的基础上，目标模板分支特征通过序列化时空特征模块得到增强的目标模板特征信息；将该特征信息输入到模型预测器，通过模型预测器得到适应性卷积核；搜索区域分支特征经过特征提取网络与卷积核进行卷积，得到融合之后的得分图，即进一步实现目标跟踪。在本发明中，通过重构基于自适应时间特征表示与序列化时空特征模块进行特征融合，从而提高了给定的目标图像和搜索区域图像的特征融合的性能，最终实现更加精确的目标跟踪。
本发明还提出一种基于自适应时间与序列化时空特征的目标跟踪系统，其中，所述系统包括：
网络构建模块，用于：
在双分支目标跟踪框架下，基于深度卷积神经网络与自适应时间特征表示模块，构建得到特征提取网络；其中，所述自适应时间特征表示模块包括局部分支以及全局分支，所述特征提取网络用于分别提取目标模板分支的图像特征和搜索区域分支的图像特征；
特征提取模块，用于：
在目标模板分支与搜索区域分支中，通过所述特征提取网络中的卷积层提取得到目标浅层表观特征，通过所述局部分支学习目标局部位置重要性权重，以生成适应性位置敏感权重图用于得到突出目标位置特征；通过所述全局分支通过学习全局重要性信息，利用连续帧中的目标信息相关性，以获得全局关联信息表示；
特征引入模块，用于：
在目标模板分支中，将特征提取网络提取的目标模板分支的图像特征引入到序列化时空特征模块；其中，所述序列化时空特征模块包括序列化通道信息增强模块以及序列化空间信息增强模块，所述序列化通道信息增强模块用于突出不同通道的信息权重，所述序列化空间信息增强模块用于增强连续帧的目标位置信息；
特征训练模块，用于：
利用大规模数据集，对所述特征提取网络和所述序列化时空特征模块进行训练，并对所述特征提取网络以及所述序列化时空特征模块的参数进行调整；
预测迭代模块，用于：
目标模板分支的目标图像经过所述特征提取网络以及所述序列化时空特征模块之后得到目标模板信息，将目标模板信息和未经过特征提取网络的图像信息引入到模型预测器中，对模型预测器进行迭代优化以最终得到卷积核；
特征融合模块，用于：
搜索区域分支利用特征提取网络进行候选块特征提取，以得到相应的候选块特征，将所述卷积核与候选块特征进行特征融合操作以得到多个得分图，其中每个得分图对应有一相似度得分；
目标跟踪模块，用于：
确认相似度得分的最大值，并将相似度得分最大值的位置判定为跟踪目标的位置以得到跟踪目标。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。
附图说明
图1为本发明提出的基于自适应时间与序列化时空特征的目标跟踪方法的流程图；
图2为本发明中自适应时间特征表示模块的结构示意图；
图3为本发明提出的基于自适应时间与序列化时空特征的目标跟踪方法的原理框架图；
图4 为本发明中序列化时空特征模块的结构示意图；
图5为本发明提出的序列化时空特征模块中序列化通道信息增强模块的结构示意图；
图6为本发明提出的序列化时空特征模块中序列化空间信息增强模块的结构示意图；
图7为本发明提出的基于自适应时间与序列化时空特征的目标跟踪系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
请参阅图1至图6，本发明提出一种基于自适应时间与序列化时空特征的目标跟踪方法，其中，所述方法包括如下步骤：
S101、在双分支目标跟踪框架下，基于深度卷积神经网络与自适应时间特征表示模块，构建得到特征提取网络。
其中，自适应时间特征表示模块包括局部分支以及全局分支，特征提取网络用于分别提取目标模板分支的图像特征和搜索区域分支的图像特征。
S102、在目标模板分支与搜索区域分支中，通过特征提取网络中的卷积层提取得到目标浅层表观特征，通过局部分支学习目标局部位置重要性权重，以生成适应性位置敏感权重图用于得到突出目标位置特征；通过全局分支通过学习全局重要性信息，利用连续帧中的目标信息相关性，以获得全局关联信息表示。
如图2所示，可看出本发明中基于自适应时间网络模块的原理，并结合图3可理解本发明的原理。在步骤S102中，在局部分支中，存在如下步骤：
S1021a、使用全局空间平均池化对第一层卷积层卷积后的特征
Figure 542356DEST_PATH_IMAGE001
进行压缩以得到局部位置重要性特征图
Figure 383273DEST_PATH_IMAGE002
。
其中，
Figure 453997DEST_PATH_IMAGE003
，
Figure 38563DEST_PATH_IMAGE004
表示实数矩阵，
Figure 409501DEST_PATH_IMAGE005
表示特征的通道数量最大值，
Figure 155740DEST_PATH_IMAGE006
表示连续的视频帧数最大值，
Figure 244919DEST_PATH_IMAGE007
表示特征图的高度最大值，
Figure 102016DEST_PATH_IMAGE008
表示特征图的宽度最大值，
Figure 327461DEST_PATH_IMAGE009
表示特征的通道数量的取值，
Figure 510181DEST_PATH_IMAGE010
表示连续的视频帧数的取值，
Figure 821077DEST_PATH_IMAGE011
表示特征图的高度取值，
Figure 481865DEST_PATH_IMAGE012
表示特征图的宽度取值。
具体的，局部位置重要性特征图
Figure 561817DEST_PATH_IMAGE002
的计算公式表示为：
Figure 912508DEST_PATH_IMAGE013
S1022a、对所述局部位置重要性特征图
Figure 445120DEST_PATH_IMAGE002
进行第一次卷积以得到第一卷积特征
Figure 175179DEST_PATH_IMAGE014
。
其中，第一卷积特征
Figure 109637DEST_PATH_IMAGE014
的计算公式表示为：
Figure 634159DEST_PATH_IMAGE015
其中，
Figure 654068DEST_PATH_IMAGE016
表示非线性操作，
Figure 187817DEST_PATH_IMAGE017
表示一次卷积操作。
S1023a、将所述第一卷积特征
Figure 976782DEST_PATH_IMAGE014
进行二次卷积，利用
Figure 672205DEST_PATH_IMAGE018
函数进行激活，并经过一个维度变换函数
Figure 444989DEST_PATH_IMAGE019
后得到适应性位置敏感权重图
Figure 251271DEST_PATH_IMAGE020
。
在本步骤中，适应性位置敏感权重图
Figure 160321DEST_PATH_IMAGE020
的计算公式表示为：
Figure 747685DEST_PATH_IMAGE021
其中，
Figure 476607DEST_PATH_IMAGE022
表示维度变换函数操作，
Figure 352159DEST_PATH_IMAGE023
表示
Figure 115715DEST_PATH_IMAGE018
函数，
Figure 418521DEST_PATH_IMAGE024
。
S1024a、将第一层卷积层卷积后的特征
Figure 634739DEST_PATH_IMAGE001
与适应性位置敏感权重图
Figure 48402DEST_PATH_IMAGE020
进行逐元素相乘操作以得到突出目标位置特征
Figure 666465DEST_PATH_IMAGE025
。
突出目标位置特征
Figure 140172DEST_PATH_IMAGE025
的计算公式表示为：
Figure 109265DEST_PATH_IMAGE026
其中，
Figure 61041DEST_PATH_IMAGE027
表示逐元素相乘操作。
进一步的，全局分支由全连接层经RELU操作与softmax操作组成，在所述全局分支中，存在如下步骤：
S1021b、将所述局部分支中得到的局部位置重要性特征图
Figure 799190DEST_PATH_IMAGE002
，经第一个全连接层后，利用RELU函数对特征进行激活以得到激活全连接层特征之后的结果特征。
其中，激活全连接层特征之后的结果特征的计算公式表示为：
Figure 709377DEST_PATH_IMAGE028
其中，
Figure 900187DEST_PATH_IMAGE029
表示激活全连接层特征之后的结果特征，
Figure 655653DEST_PATH_IMAGE030
表示全局分支中的RELU函数，
Figure 248308DEST_PATH_IMAGE031
表示全连接操作，
Figure 798238DEST_PATH_IMAGE032
表示第一全连接层权重系数。
S1022b、将所述激活全连接层特征之后的结果特征，再经过全局分支中的第二个全连接层，再进行softmax操作以得到全局上下文信息的自适应卷积核。
其中，全局上下文信息的自适应卷积核的计算公式表示为：
Figure 741924DEST_PATH_IMAGE033
其中，
Figure 35502DEST_PATH_IMAGE034
表示全局上下文信息的自适应卷积核，
Figure 768751DEST_PATH_IMAGE035
表示归一化处理，
Figure 489582DEST_PATH_IMAGE036
表示第二全连接层权重系数。
S1023b、基于所述突出目标位置特征
Figure 654984DEST_PATH_IMAGE025
与所述全局上下文信息的自适应卷积核，计算得到自适应时间特征表示。
其中，自适应时间特征表示的计算公式表示为：
Figure 486674DEST_PATH_IMAGE037
其中，
Figure 319501DEST_PATH_IMAGE038
为自适应时间特征表示，
Figure 211233DEST_PATH_IMAGE039
表示特征矩阵相乘操作。
S103、在目标模板分支中，将特征提取网络提取的目标模板分支的图像特征引入到序列化时空特征模块。
其中，如图4所示，序列化时空特征模块包括序列化通道信息增强模块以及序列化空间信息增强模块，序列化通道信息增强模块用于突出不同通道的信息权重，序列化空间信息增强模块用于增强连续帧的目标位置信息。
如图5所示，利用序列化通道信息增强模块突出不同通道的重要性信息。在步骤S103中，存在如下步骤：
S1031a、利用序列化通道信息增强模块突出不同通道的信息权重的具体操作为：
Figure 863931DEST_PATH_IMAGE040
其中，
Figure 499312DEST_PATH_IMAGE041
表示经全局平均池化操作之后得到的第一目标特征，
Figure 186645DEST_PATH_IMAGE042
表示全局平均池化操作，
Figure 249279DEST_PATH_IMAGE043
表示当前视频帧的目标特征，
Figure 389274DEST_PATH_IMAGE044
表示当前视频帧的前一帧的目标特征。
S1032a、所述经全局平均池化操作之后得到的第一目标特征
Figure 562766DEST_PATH_IMAGE041
，再经过两层全连接操作，利用
Figure 839027DEST_PATH_IMAGE018
激活函数对特征进行激活得到第一中间特征
Figure 338141DEST_PATH_IMAGE045
，具体表示为：
Figure 699852DEST_PATH_IMAGE046
S1033a、对当前视频帧与当前视频帧的前两帧的目标特征进行全局平均池化操作，具体表示为：
Figure 942615DEST_PATH_IMAGE047
其中，
Figure 338961DEST_PATH_IMAGE048
表示经全局平均池化操作之后得到的第二目标特征，
Figure 743398DEST_PATH_IMAGE049
表示当前视频帧的前两帧的目标特征。
S1034a、将经全局平均池化操作之后得到的第二目标特征
Figure 857984DEST_PATH_IMAGE048
，经过两层全连接操作，利用
Figure 638858DEST_PATH_IMAGE018
激活函数对特征进行激活得到第二中间特征
Figure 624132DEST_PATH_IMAGE050
，具体表示为：
Figure 465049DEST_PATH_IMAGE051
其中，
Figure 69861DEST_PATH_IMAGE052
表示当前视频帧和当前视频帧的前两帧进行第一层全连接操作时的权重系数，
Figure 388847DEST_PATH_IMAGE053
表示当前视频帧和当前视频帧的前两帧进行第二层全连接操作时的权重系数。
S1035a、将第一中间特征
Figure 494206DEST_PATH_IMAGE045
与第二中间特征
Figure 506025DEST_PATH_IMAGE050
进行相加操作以得到特征
Figure 329624DEST_PATH_IMAGE054
，具体表示为：
Figure 452301DEST_PATH_IMAGE055
其中，
Figure 412167DEST_PATH_IMAGE054
表示序列化通道信息增强后的目标特征。
在本发明中，序列化时空特征模块中的序列化空间信息增强模块增强了连续帧的目标位置信息，进而有利于后续的模型预测。如图6所示，相应的操作主要包括卷积、批量归一化以及矩阵相乘操作。进一步的，在步骤S103中，利用序列化空间信息增强模块增强连续帧的目标位置信息的步骤包括：
S1031b、当前视频帧的前一帧和当前视频帧的前两帧分别进行由卷积操作执行的线性变化，再利用
Figure 860466DEST_PATH_IMAGE018
激活函数操作对特征对进行激活，具体表示为：
Figure 905782DEST_PATH_IMAGE056
其中，
Figure 832150DEST_PATH_IMAGE057
表示经激活函数激活之后得到的第三中间特征，
Figure 912101DEST_PATH_IMAGE058
表示当前视频帧的前一帧进行的卷积操作，
Figure 265722DEST_PATH_IMAGE059
表示当前视频帧的前两帧进行的卷积操作。
S1032b、将经
Figure 798335DEST_PATH_IMAGE018
激活函数激活之后得到的第三中间特征
Figure 528393DEST_PATH_IMAGE057
，与当前视频帧经过卷积线性变换之后的特征进行矩阵相乘操作，再将特征进行批量归一化得到第四中间特征
Figure 462851DEST_PATH_IMAGE060
，具体表示为：
Figure 987373DEST_PATH_IMAGE061
其中，
Figure 7282DEST_PATH_IMAGE062
表示批量归一化，
Figure 275452DEST_PATH_IMAGE063
表示当前视频帧的卷积操作。
S1033b、将第四中间特征
Figure 64417DEST_PATH_IMAGE060
与当前视频帧特征进行相加操作，以得到特征
Figure 25420DEST_PATH_IMAGE064
，具体表示为：
Figure 532624DEST_PATH_IMAGE065
其中，
Figure 335977DEST_PATH_IMAGE064
表示经序列化空间信息增强模块增强后得到的目标特征。通过以上系列化操作，有效捕获了目标的长距离时空依赖信息。
最后，经序列化时空特征模块增强后的目标特征表示为：
Figure 245027DEST_PATH_IMAGE066
其中，
Figure 111352DEST_PATH_IMAGE067
表示经序列化时空特征模块增强后的目标特征，
Figure 105852DEST_PATH_IMAGE068
表示特征矩阵加法。进一步的，经序列化时空特征模块增强后的目标特征
Figure 715825DEST_PATH_IMAGE067
输入到模型预测器中进行模型预测。
S104、利用大规模数据集，对特征提取网络和所述序列化时空特征模块进行训练，并对特征提取网络以及序列化时空特征模块的参数进行调整。
S105、目标模板分支的目标图像经过特征提取网络以及序列化时空特征模块之后得到目标模板信息，将目标模板信息和未经过特征提取网络的图像信息引入到模型预测器中，对模型预测器进行迭代优化以最终得到卷积核。
在本步骤中，基于序列化时空特征模块增强了目标模板分支的位置信息，经该模块进行增强的特征进入到模型预测器，生成具有判别力的卷积核。该卷积核与搜索区域分支的特征图进行卷积，进而得到预测的模型位置。在此需要说明的是，模型预测器用于首先初始化一个模型（卷积核），并不断地更新模型，目的是为了学习一个具有有判别力的卷积核，并将得到的卷积核与搜索分支经过特征提取的特征进行卷积。
S106、搜索区域分支利用特征提取网络进行候选块特征提取，以得到相应的候选块特征，将卷积核与候选块特征进行特征融合操作以得到多个得分图，其中每个得分图对应有一相似度得分。
S107、确认相似度得分的最大值，并将相似度得分最大值的位置判定为跟踪目标的位置以得到跟踪目标。
本发明提出一种基于自适应时间与序列化时空特征的目标跟踪方法，首先在双分支跟踪网络框架下，基于深度卷积神经网络和自适应时间模块，构建得到特征提取网络，其中自适应时间模块的局部分支突出了目标的位置信息，全局分支突出了全局关联信息表示；然后，在提取目标特征的基础上，目标模板分支特征通过序列化时空特征模块得到增强的目标模板特征信息；将该特征信息输入到模型预测器，通过模型预测器得到适应性卷积核；搜索区域分支特征经过特征提取网络与卷积核进行卷积，得到融合之后的得分图，即进一步实现目标跟踪。在本发明中，通过重构基于自适应时间特征表示与序列化时空特征模块进行特征融合，从而提高了给定的目标图像和搜索区域图像的特征融合的性能，最终实现更加精确的目标跟踪。
请参阅图7，本发明还提出一种基于自适应时间与序列化时空特征的目标跟踪系统，其中，所述系统包括：
网络构建模块，用于：
在双分支目标跟踪框架下，基于深度卷积神经网络与自适应时间特征表示模块，构建得到特征提取网络；其中，所述自适应时间特征表示模块包括局部分支以及全局分支，所述特征提取网络用于分别提取目标模板分支的图像特征和搜索区域分支的图像特征；
特征提取模块，用于：
在目标模板分支与搜索区域分支中，通过所述特征提取网络中的卷积层提取得到目标浅层表观特征，通过所述局部分支学习目标局部位置重要性权重，以生成适应性位置敏感权重图用于得到突出目标位置特征；通过所述全局分支通过学习全局重要性信息，利用连续帧中的目标信息相关性，以获得全局关联信息表示；
特征引入模块，用于：
在目标模板分支中，将特征提取网络提取的目标模板分支的图像特征引入到序列化时空特征模块；其中，所述序列化时空特征模块包括序列化通道信息增强模块以及序列化空间信息增强模块，所述序列化通道信息增强模块用于突出不同通道的信息权重，所述序列化空间信息增强模块用于增强连续帧的目标位置信息；
特征训练模块，用于：
利用大规模数据集，对所述特征提取网络和所述序列化时空特征模块进行训练，并对所述特征提取网络以及所述序列化时空特征模块的参数进行调整；
预测迭代模块，用于：
目标模板分支的目标图像经过所述特征提取网络以及所述序列化时空特征模块之后得到目标模板信息，将目标模板信息和未经过特征提取网络的图像信息引入到模型预测器中，对模型预测器进行迭代优化以最终得到卷积核；
特征融合模块，用于：
搜索区域分支利用特征提取网络进行候选块特征提取，以得到相应的候选块特征，将所述卷积核与候选块特征进行特征融合操作以得到多个得分图，其中每个得分图对应有一相似度得分；
目标跟踪模块，用于：
确认相似度得分的最大值，并将相似度得分最大值的位置判定为跟踪目标的位置以得到跟踪目标。
应当理解的，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于自适应时间与序列化时空特征的目标跟踪方法，其特征在于，所述方法包括如下步骤：
步骤一、在双分支目标跟踪框架下，基于深度卷积神经网络与自适应时间特征表示模块，构建得到特征提取网络；其中，所述自适应时间特征表示模块包括局部分支以及全局分支，所述特征提取网络用于分别提取目标模板分支的图像特征和搜索区域分支的图像特征；
步骤二、在目标模板分支与搜索区域分支中，通过所述特征提取网络中的卷积层提取得到目标浅层表观特征，通过所述局部分支学习目标局部位置重要性权重，以生成适应性位置敏感权重图用于得到突出目标位置特征；通过所述全局分支通过学习全局重要性信息，利用连续帧中的目标信息相关性，以获得全局关联信息表示；
步骤三、在目标模板分支中，将特征提取网络提取的目标模板分支的图像特征引入到序列化时空特征模块；其中，所述序列化时空特征模块包括序列化通道信息增强模块以及序列化空间信息增强模块，所述序列化通道信息增强模块用于突出不同通道的信息权重，所述序列化空间信息增强模块用于增强连续帧的目标位置信息；
步骤四、利用大规模数据集，对所述特征提取网络和所述序列化时空特征模块进行训练，并对所述特征提取网络以及所述序列化时空特征模块的参数进行调整；
步骤五、目标模板分支的目标图像经过所述特征提取网络以及所述序列化时空特征模块之后得到目标模板信息，将目标模板信息和未经过特征提取网络的图像信息引入到模型预测器中，对模型预测器进行迭代优化以最终得到卷积核；
步骤六、搜索区域分支利用特征提取网络进行候选块特征提取，以得到相应的候选块特征，将所述卷积核与候选块特征进行特征融合操作以得到多个得分图，其中每个得分图对应有一相似度得分；
步骤七、确认相似度得分的最大值，并将相似度得分最大值的位置判定为跟踪目标的位置以得到跟踪目标；
在所述步骤二中，在所述局部分支中，存在如下步骤：
使用全局空间平均池化对第一层卷积层卷积后的特征
Figure 703944DEST_PATH_IMAGE001
进行压缩以得到局部位置重要性特征图
Figure 303553DEST_PATH_IMAGE002
；
对所述局部位置重要性特征图
Figure 911252DEST_PATH_IMAGE002
进行第一次卷积以得到第一卷积特征
Figure 697942DEST_PATH_IMAGE003
；
将所述第一卷积特征
Figure 668697DEST_PATH_IMAGE003
进行二次卷积，利用
Figure 122812DEST_PATH_IMAGE004
函数进行激活，并经过一个维度变换函数
Figure 901412DEST_PATH_IMAGE005
后得到适应性位置敏感权重图
Figure 440978DEST_PATH_IMAGE006
；
将第一层卷积层卷积后的特征
Figure 212494DEST_PATH_IMAGE001
与适应性位置敏感权重图
Figure 521115DEST_PATH_IMAGE006
进行逐元素相乘操作以得到突出目标位置特征
Figure 470617DEST_PATH_IMAGE007
；
其中，
Figure 231899DEST_PATH_IMAGE008
，
Figure 807106DEST_PATH_IMAGE009
表示实数矩阵，
Figure 970234DEST_PATH_IMAGE010
表示特征的通道数量最大值，
Figure 825058DEST_PATH_IMAGE011
表示连续的视频帧数最大值，
Figure 588483DEST_PATH_IMAGE012
表示特征图的高度最大值，
Figure 452534DEST_PATH_IMAGE013
表示特征图的宽度最大值，
Figure 470169DEST_PATH_IMAGE014
表示特征的通道数量的取值，
Figure 27052DEST_PATH_IMAGE015
表示连续的视频帧数的取值，
Figure 3405DEST_PATH_IMAGE016
表示特征图的高度取值，
Figure 405568DEST_PATH_IMAGE017
表示特征图的宽度取值。
2.根据权利要求1所述的基于自适应时间与序列化时空特征的目标跟踪方法，其特征在于，局部位置重要性特征图
Figure 543288DEST_PATH_IMAGE002
的计算公式表示为：
Figure 271073DEST_PATH_IMAGE018
第一卷积特征
Figure 477932DEST_PATH_IMAGE003
的计算公式表示为：
Figure 949364DEST_PATH_IMAGE019
其中，
Figure 676012DEST_PATH_IMAGE020
表示非线性操作，
Figure 309119DEST_PATH_IMAGE021
表示一次卷积操作。
3.根据权利要求2所述的基于自适应时间与序列化时空特征的目标跟踪方法，其特征在于，适应性位置敏感权重图
Figure 268853DEST_PATH_IMAGE006
的计算公式表示为：
Figure 278398DEST_PATH_IMAGE022
其中，
Figure 125131DEST_PATH_IMAGE023
表示维度变换函数操作，
Figure 194718DEST_PATH_IMAGE024
表示
Figure 376170DEST_PATH_IMAGE004
函数，
Figure 189405DEST_PATH_IMAGE025
；
所述突出目标位置特征
Figure 156224DEST_PATH_IMAGE026
的计算公式表示为：
Figure 131133DEST_PATH_IMAGE027
其中，
Figure 802810DEST_PATH_IMAGE028
表示逐元素相乘操作。
4.根据权利要求3所述的基于自适应时间与序列化时空特征的目标跟踪方法，其特征在于，全局分支由全连接层经RELU操作与softmax操作组成，在所述全局分支中，存在如下步骤：
将所述局部分支中得到的局部位置重要性特征图
Figure 154157DEST_PATH_IMAGE002
，经第一个全连接层后，利用RELU函数对特征进行激活以得到激活全连接层特征之后的结果特征；
将所述激活全连接层特征之后的结果特征，再经过全局分支中的第二个全连接层，再进行softmax操作以得到全局上下文信息的自适应卷积核；
基于所述突出目标位置特征
Figure 975483DEST_PATH_IMAGE026
与所述全局上下文信息的自适应卷积核，计算得到自适应时间特征表示。
5.根据权利要求4所述的基于自适应时间与序列化时空特征的目标跟踪方法，其特征在于，所述激活全连接层特征之后的结果特征的计算公式表示为：
Figure 370561DEST_PATH_IMAGE029
其中，
Figure 277337DEST_PATH_IMAGE030
表示激活全连接层特征之后的结果特征，
Figure 166795DEST_PATH_IMAGE031
表示全局分支中的RELU函数，
Figure 108207DEST_PATH_IMAGE032
表示全连接操作，
Figure 939765DEST_PATH_IMAGE033
表示第一全连接层权重系数；
全局上下文信息的自适应卷积核的计算公式表示为：
Figure 333838DEST_PATH_IMAGE034
其中，
Figure 26987DEST_PATH_IMAGE035
表示全局上下文信息的自适应卷积核，
Figure 557326DEST_PATH_IMAGE036
表示归一化处理，
Figure 559785DEST_PATH_IMAGE037
表示第二全连接层权重系数；
自适应时间特征表示的计算公式表示为：
Figure 441154DEST_PATH_IMAGE038
其中，
Figure 672415DEST_PATH_IMAGE039
为自适应时间特征表示，
Figure 588418DEST_PATH_IMAGE040
表示特征矩阵相乘操作。
6.根据权利要求5所述的基于自适应时间与序列化时空特征的目标跟踪方法，其特征在于，在所述步骤三中，利用序列化通道信息增强模块突出不同通道的信息权重的具体操作为：
Figure 499130DEST_PATH_IMAGE041
其中，
Figure 133374DEST_PATH_IMAGE042
表示经全局平均池化操作之后得到的第一目标特征，
Figure 902747DEST_PATH_IMAGE043
表示全局平均池化操作，
Figure 673257DEST_PATH_IMAGE044
表示当前视频帧的目标特征，
Figure 751940DEST_PATH_IMAGE045
表示当前视频帧的前一帧的目标特征；
所述经全局平均池化操作之后得到的第一目标特征
Figure 342321DEST_PATH_IMAGE042
，再经过两层全连接操作，利用
Figure 180964DEST_PATH_IMAGE004
激活函数对特征进行激活得到第一中间特征
Figure 805981DEST_PATH_IMAGE046
，具体表示为：
Figure 321144DEST_PATH_IMAGE047
对当前视频帧与当前视频帧的前两帧的目标特征进行全局平均池化操作，具体表示为：
Figure 398822DEST_PATH_IMAGE048
其中，
Figure 775577DEST_PATH_IMAGE049
表示经全局平均池化操作之后得到的第二目标特征，
Figure 255099DEST_PATH_IMAGE050
表示当前视频帧的前两帧的目标特征；
将经全局平均池化操作之后得到的第二目标特征
Figure 675585DEST_PATH_IMAGE049
，经过两层全连接操作，利用
Figure 240559DEST_PATH_IMAGE004
激活函数对特征进行激活得到第二中间特征
Figure 421005DEST_PATH_IMAGE051
，具体表示为：
Figure 272810DEST_PATH_IMAGE052
其中，
Figure 880509DEST_PATH_IMAGE053
表示当前视频帧和当前视频帧的前两帧进行第一层全连接操作时的权重系数，
Figure 401620DEST_PATH_IMAGE054
表示当前视频帧和当前视频帧的前两帧进行第二层全连接操作时的权重系数；
将第一中间特征
Figure 385757DEST_PATH_IMAGE046
与第二中间特征
Figure 89140DEST_PATH_IMAGE051
进行相加操作以得到特征
Figure 867740DEST_PATH_IMAGE055
，具体表示为：
Figure 141726DEST_PATH_IMAGE056
其中，
Figure 663975DEST_PATH_IMAGE055
表示序列化通道信息增强后的目标特征。
7.根据权利要求6所述的基于自适应时间与序列化时空特征的目标跟踪方法，其特征在于，在所述步骤三中，利用序列化空间信息增强模块增强连续帧的目标位置信息的具体操作为：
当前视频帧的前一帧和当前视频帧的前两帧分别进行由卷积操作执行的线性变化，再利用
Figure 221864DEST_PATH_IMAGE004
激活函数操作对特征对进行激活，具体表示为：
Figure 171365DEST_PATH_IMAGE057
其中，
Figure 198227DEST_PATH_IMAGE058
表示经
Figure 258587DEST_PATH_IMAGE004
激活函数激活之后得到的第三中间特征，
Figure 936562DEST_PATH_IMAGE059
表示当前视频帧的前一帧进行的卷积操作，
Figure 56965DEST_PATH_IMAGE060
表示当前视频帧的前两帧进行的卷积操作；
将经
Figure 305543DEST_PATH_IMAGE004
激活函数激活之后得到的第三中间特征
Figure 169594DEST_PATH_IMAGE058
，与当前视频帧经过卷积线性变换之后的特征进行矩阵相乘操作，再将特征进行批量归一化得到第四中间特征
Figure 451145DEST_PATH_IMAGE061
，具体表示为：
Figure 742449DEST_PATH_IMAGE062
其中，
Figure 478324DEST_PATH_IMAGE063
表示批量归一化，
Figure 395333DEST_PATH_IMAGE064
表示当前视频帧的卷积操作；
将第四中间特征
Figure 533053DEST_PATH_IMAGE061
与当前视频帧特征进行相加操作，以得到特征
Figure 995258DEST_PATH_IMAGE065
，具体表示为：
Figure 218429DEST_PATH_IMAGE066
其中，
Figure 939130DEST_PATH_IMAGE065
表示经序列化空间信息增强模块增强后得到的目标特征。
8.根据权利要求7所述的基于自适应时间与序列化时空特征的目标跟踪方法，其特征在于，经序列化时空特征模块增强后的目标特征表示为：
Figure 931356DEST_PATH_IMAGE067
其中，
Figure 564463DEST_PATH_IMAGE068
表示经序列化时空特征模块增强后的目标特征，
Figure 274930DEST_PATH_IMAGE069
表示特征矩阵加法。
9.一种基于自适应时间与序列化时空特征的目标跟踪系统，其特征在于，所述系统应用如上述权利要求1至8任意一项所述的基于自适应时间与序列化时空特征的目标跟踪方法，所述系统包括：
网络构建模块，用于：
在双分支目标跟踪框架下，基于深度卷积神经网络与自适应时间特征表示模块，构建得到特征提取网络；其中，所述自适应时间特征表示模块包括局部分支以及全局分支，所述特征提取网络用于分别提取目标模板分支的图像特征和搜索区域分支的图像特征；
特征提取模块，用于：
在目标模板分支与搜索区域分支中，通过所述特征提取网络中的卷积层提取得到目标浅层表观特征，通过所述局部分支学习目标局部位置重要性权重，以生成适应性位置敏感权重图用于得到突出目标位置特征；通过所述全局分支通过学习全局重要性信息，利用连续帧中的目标信息相关性，以获得全局关联信息表示；
特征引入模块，用于：
在目标模板分支中，将特征提取网络提取的目标模板分支的图像特征引入到序列化时空特征模块；其中，所述序列化时空特征模块包括序列化通道信息增强模块以及序列化空间信息增强模块，所述序列化通道信息增强模块用于突出不同通道的信息权重，所述序列化空间信息增强模块用于增强连续帧的目标位置信息；
特征训练模块，用于：
利用大规模数据集，对所述特征提取网络和所述序列化时空特征模块进行训练，并对所述特征提取网络以及所述序列化时空特征模块的参数进行调整；
预测迭代模块，用于：
目标模板分支的目标图像经过所述特征提取网络以及所述序列化时空特征模块之后得到目标模板信息，将目标模板信息和未经过特征提取网络的图像信息引入到模型预测器中，对模型预测器进行迭代优化以最终得到卷积核；
特征融合模块，用于：
搜索区域分支利用特征提取网络进行候选块特征提取，以得到相应的候选块特征，将所述卷积核与候选块特征进行特征融合操作以得到多个得分图，其中每个得分图对应有一相似度得分；
目标跟踪模块，用于：
确认相似度得分的最大值，并将相似度得分最大值的位置判定为跟踪目标的位置以得到跟踪目标。
CN202211308115.8A 2022-10-25 2022-10-25 基于自适应时间与序列化时空特征的目标跟踪方法与系统 Active CN115375737B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211308115.8A CN115375737B (zh) 2022-10-25 2022-10-25 基于自适应时间与序列化时空特征的目标跟踪方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211308115.8A CN115375737B (zh) 2022-10-25 2022-10-25 基于自适应时间与序列化时空特征的目标跟踪方法与系统

Publications (2)

Publication Number Publication Date
CN115375737A CN115375737A (zh) 2022-11-22
CN115375737B true CN115375737B (zh) 2023-02-03

Family

ID=84073913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211308115.8A Active CN115375737B (zh) 2022-10-25 2022-10-25 基于自适应时间与序列化时空特征的目标跟踪方法与系统

Country Status (1)

Country Link
CN (1) CN115375737B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109678B (zh) * 2023-04-10 2023-06-13 南昌工程学院 基于上下文自注意力学习深度网络的目标跟踪方法与系统
CN117237604B (zh) * 2023-09-14 2024-08-13 电子科技大学重庆微电子产业技术研究院 一种目标跟踪方法、装置、计算机设备及存储介质
CN117252904B (zh) * 2023-11-15 2024-02-09 南昌工程学院 基于长程空间感知与通道增强的目标跟踪方法与系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410242A (zh) * 2018-09-05 2019-03-01 华南理工大学 基于双流卷积神经网络的目标跟踪方法、系统、设备及介质
CN110047096A (zh) * 2019-04-28 2019-07-23 中南民族大学 一种基于深度条件随机场模型的多目标跟踪方法和系统
CN112560695A (zh) * 2020-12-17 2021-03-26 中国海洋大学 水下目标跟踪方法、系统、存储介质、设备、终端及应用
WO2021186494A1 (ja) * 2020-03-16 2021-09-23 日本電気株式会社 物体追跡装置、物体追跡理方法、及び、記録媒体
CN114359347A (zh) * 2022-01-05 2022-04-15 重庆邮电大学 基于样本可靠性的时空正则化自适应相关滤波目标跟踪算法
WO2022091335A1 (ja) * 2020-10-30 2022-05-05 日本電気株式会社 物体追跡装置、物体追跡理方法、及び、記録媒体
CN115147456A (zh) * 2022-06-29 2022-10-04 华东师范大学 一种基于时序自适应卷积与注意力机制的目标跟踪方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9055529B2 (en) * 2013-10-04 2015-06-09 Samsung Electronics Co., Ltd. System and method for adaptive in-network time alignment for envelope tracking power amplifier
CN112184752A (zh) * 2020-09-08 2021-01-05 北京工业大学 一种基于金字塔卷积的视频目标跟踪方法
CN113129341B (zh) * 2021-04-20 2021-12-14 广东工业大学 基于轻量型孪生网络的降落跟踪控制方法和系统及无人机
CN113689464B (zh) * 2021-07-09 2024-09-06 西北工业大学 一种基于孪生网络的自适应多层响应融合的目标跟踪方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410242A (zh) * 2018-09-05 2019-03-01 华南理工大学 基于双流卷积神经网络的目标跟踪方法、系统、设备及介质
CN110047096A (zh) * 2019-04-28 2019-07-23 中南民族大学 一种基于深度条件随机场模型的多目标跟踪方法和系统
WO2021186494A1 (ja) * 2020-03-16 2021-09-23 日本電気株式会社 物体追跡装置、物体追跡理方法、及び、記録媒体
WO2022091335A1 (ja) * 2020-10-30 2022-05-05 日本電気株式会社 物体追跡装置、物体追跡理方法、及び、記録媒体
CN112560695A (zh) * 2020-12-17 2021-03-26 中国海洋大学 水下目标跟踪方法、系统、存储介质、设备、终端及应用
CN114359347A (zh) * 2022-01-05 2022-04-15 重庆邮电大学 基于样本可靠性的时空正则化自适应相关滤波目标跟踪算法
CN115147456A (zh) * 2022-06-29 2022-10-04 华东师范大学 一种基于时序自适应卷积与注意力机制的目标跟踪方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
Depthwise Over-parameterized Siamese Network for Visual Tracking;张文双;《IEEE》;20220214;全文 *
Learnable Sparse Transform Siamese Attention Networks for Visual Tracking;张文双;《IEEE》;20220118;全文 *
利用滑动窗口检测器的多目标跟踪误报检测;唐洪涛;《控制工程》;20171120(第11期);全文 *
卷积神经网络在目标检测中的应用综述;于进勇等;《计算机科学》;20181115;全文 *
基于动态模式和卷积特征的单目标跟踪算法;张博言等;《西北工业大学学报》;20191215(第06期);全文 *
基于核扩展字典学习的目标跟踪算法研究;王员云;《南昌工程学院学报》;20220815;全文 *
基于深度学习的鲁棒性视觉跟踪方法;高君宇等;《计算机学报》;20160115(第07期);全文 *
基于目标优先级的跟踪波束调度方法研究;薛贞等;《现代雷达》;20180215(第02期);全文 *

Also Published As

Publication number Publication date
CN115375737A (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN108154118B (zh) 一种基于自适应组合滤波与多级检测的目标探测系统及方法
CN115375737B (zh) 基于自适应时间与序列化时空特征的目标跟踪方法与系统
CN109800689B (zh) 一种基于时空特征融合学习的目标跟踪方法
CN108257158B (zh) 一种基于循环神经网络的目标预测与跟踪方法
CN107748873B (zh) 一种融合背景信息的多峰目标跟踪方法
CN110569723A (zh) 一种结合特征融合与模型更新的目标跟踪方法
CN112818903A (zh) 一种基于元学习和协同注意力的小样本遥感图像目标检测方法
CN113192124B (zh) 一种基于孪生网络的图像目标定位方法
CN108520203B (zh) 基于融合自适应多外围框与十字池化特征的多目标特征提取方法
CN113706581B (zh) 基于残差通道注意与多层次分类回归的目标跟踪方法
CN111797841B (zh) 一种基于深度残差网络的视觉显著性检测方法
CN111696110A (zh) 场景分割方法及系统
CN114220061B (zh) 一种基于深度学习的多目标跟踪方法
CN116109678B (zh) 基于上下文自注意力学习深度网络的目标跟踪方法与系统
CN112861808B (zh) 动态手势识别方法、装置、计算机设备及可读存储介质
CN113298850B (zh) 一种基于注意力机制与特征融合的目标跟踪方法及系统
CN107146219B (zh) 一种基于流形正则化支持向量机的图像显著性检测方法
CN117252904B (zh) 基于长程空间感知与通道增强的目标跟踪方法与系统
CN114898403A (zh) 一种基于Attention-JDE网络的行人多目标跟踪方法
CN112489088A (zh) 一种基于记忆单元的孪生网络视觉跟踪方法
CN115049833A (zh) 一种基于局部特征增强和相似性度量的点云部件分割方法
CN112991394B (zh) 基于三次样条插值和马尔科夫链的kcf目标跟踪方法
CN114067273A (zh) 一种夜间机场航站楼热成像显著人体分割检测方法
CN117611963A (zh) 基于多尺度扩展残差网络的小目标检测方法及系统
CN115880660A (zh) 一种基于结构表征和全局注意力机制的轨道线检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant