CN115063445B - 基于多尺度层次化特征表示的目标跟踪方法与系统 - Google Patents

基于多尺度层次化特征表示的目标跟踪方法与系统 Download PDF

Info

Publication number
CN115063445B
CN115063445B CN202210993495.7A CN202210993495A CN115063445B CN 115063445 B CN115063445 B CN 115063445B CN 202210993495 A CN202210993495 A CN 202210993495A CN 115063445 B CN115063445 B CN 115063445B
Authority
CN
China
Prior art keywords
features
feature
template
target
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210993495.7A
Other languages
English (en)
Other versions
CN115063445A (zh
Inventor
王军
尹鹏
王员云
汪胜前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Institute of Technology
Original Assignee
Nanchang Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Institute of Technology filed Critical Nanchang Institute of Technology
Priority to CN202210993495.7A priority Critical patent/CN115063445B/zh
Publication of CN115063445A publication Critical patent/CN115063445A/zh
Application granted granted Critical
Publication of CN115063445B publication Critical patent/CN115063445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明提出一种基于多尺度层次化特征表示的目标跟踪方法与系统，所述方法包括：对输入图像数据进行增强以得到搜索区域图像；通过将特征识别器模块嵌入在层次化特征提取网络中的前三个卷积块之后，以构建得到层次化特征提取模块；将目标模板图像集与搜索区域图像输入到孪生神经网络框架中，通过层次化特征提取网络分别对模板分支和搜索区域的目标图像特征进行学习，以得到相应的模板特征与搜索特征；将模板特征输入到编码器中，使得单个模板特征进行增强，以获得编码特征；将模板特征与编码特征映射在同一特征空间中，将搜索特征与模板融合特征输入至解码器，以实现鲁棒的目标跟踪。

Description

基于多尺度层次化特征表示的目标跟踪方法与系统
技术领域
本发明涉及计算机视觉与图像处理技术领域，特别涉及一种基于多尺度层次化特征表示的目标跟踪方法与系统。
背景技术
视觉跟踪是计算机视觉的一个基础研究任务，其目的是估计视频序列中每一帧目标的状态。视觉跟踪具有广泛的实际应用，如智能驾驶、人机交互以及视频监控等。目前，由于一些具有挑战性的因素的影响，如形变、光照变化以及运动模糊等因素，导致实现高质量的视觉跟踪仍然是一个亟待解决的问题。
卷积神经网络在特征学习方面具有优越的性能，基于卷积神经网络的强大特征表示，基于孪生神经网络的跟踪器被提出并实现了最先进的跟踪性能。首先，基于孪生神经网络的跟踪器在模板分支与搜索分支上分别提取相应的特征，以得到特征图。然后，跟踪器利用互相关来计算两个分支的相似性。因此，孪生主干网络和相关操作在跟踪器中扮演着重要的角色。
尽管这些跟踪器在跟踪性能上取得了很大的进步，但仍然存在一些不足:（1）、传统的卷积神经网络是通过带有预设大小的卷积核的主干网络来提取输入图像的特征。当模板目标的尺度发生剧烈变化时，模板特征可能会包含一些背景信息或丢失一些前景信息，导致跟踪过程中发生漂移。（2）、相关运算是一种线性融合方式，用于计算模板与搜索区域之间的相似度。因此，相关操作容易丢失语义信息，陷入局部最优。此外，相关操作不能捕获模板和搜索分支之间复杂的非线性交互。
基于此，有必要提出一种基于多尺度层次化特征表示的目标跟踪方法与系统，以解决上述技术问题。
发明内容
鉴于上述状况，本发明的主要目的是为了提出一种基于多尺度层次化特征表示的目标跟踪方法与系统，以解决上述技术问题。
本发明实施例提出一种基于多尺度层次化特征表示的目标跟踪方法，其中，所述方法包括如下步骤：
步骤一、对给定的前三帧目标框中的图像进行初始化以生成目标模板图像集，在除所述前三帧目标框之外的后续帧目标框中，以所述前三帧目标框对应的目标模板图像集中的目标中心坐标作为搜索区域，通过水平翻转与联合增广变换对输入图像数据进行增强以得到搜索区域图像；
步骤二、在孪生神经网络框架中，通过将特征识别器模块嵌入在层次化特征提取网络中的前三个卷积块之后，以构建得到层次化特征提取模块，其中，所述孪生神经网络框架由层次化特征提取网络与多尺度特征融合网络构成，所述特征识别器模块用于通过生成三维注意图以关注重要元素的位置与内容；
步骤三、将所述目标模板图像集与所述搜索区域图像输入到所述孪生神经网络框架中，通过层次化特征提取网络分别对模板分支和搜索区域的目标图像特征进行学习，以得到相应的模板特征与搜索特征；
步骤四、将经过层次化特征提取网络处理后得到的模板特征输入到编码器中，使得单个模板特征进行增强，以获得编码特征；
步骤五、通过所述多尺度特征融合网络分别将所述模板特征与所述编码特征映射在同一特征空间中，其中，编码特征作为查询，模板特征与编码特征进行信息交换以产生鲁棒的模板融合特征，用于使跟踪器更适应目标尺度变化；
步骤六、将经过层次化特征提取网络处理后得到的搜索特征与所述模板融合特征输入至解码器，以得到用于定位目标的得分图，进而实现鲁棒的目标跟踪。
本发明提出一种基于多尺度层次化特征表示的目标跟踪方法，首先通过一个有效的特征识别器模块生成三维注意图，该三维注意图用于关注重要元素的位置与内容；并在实际应用中通过动态调整目标特征的权重，以获得强大的目标特征；此外，将特征识别器模块嵌入在不同的卷积块上，以构建得到层次化特征提取模块，从而提高层次化特征提取网络的表示能力；在此基础上，再构建一个多尺度特征融合网络，通过交叉注意力机制实现模板特征与编码特征的特征融合，从而得到较强的图像特征。本发明提出的基于多尺度层次化特征表示的目标跟踪方法，由于有效融合了模板特征与编码特征，因此可有效规避因模板特征中背景信息丢失时发生的跟踪漂移的问题；此外，也可有效捕获模板特征与搜索特征之间的非线性交互，提高了跟踪效果。
所述一种基于多尺度层次化特征表示的目标跟踪方法，其中，在所述步骤二中，所述特征识别器模块的操作方法包括如下步骤：
对所述模板特征与所述搜索特征采用平均池化操作以聚合每个通道的特征图，其中对每个通道而言，通过可学习尺度变化参数进行批处理归一层；
根据所述可学习尺度变化参数构建得到一个权重矩阵，通过所述权重矩阵进行动态调整目标特征权重值以获得一个通道特征图；
通过特征识别器模块对所述模板特征与所述搜索特征，使用两个3×3大小的扩张卷积用来扩大感受野，然后将经过扩张卷积处理后的所述模板特征与所述搜索特征，通过一个1×1大小的卷积将所述模板特征与所述搜索特征缩减得到空间特征图；
根据所述通道特征图与所述空间特征图计算得到三维注意图。
所述一种基于多尺度层次化特征表示的目标跟踪方法，其中，通过可学习尺度变化参数进行批处理归一层的步骤中，批处理归一层的公式表示为：
Figure 268177DEST_PATH_IMAGE001
Figure 141586DEST_PATH_IMAGE002
其中，
Figure 367031DEST_PATH_IMAGE003
表示第
Figure 815330DEST_PATH_IMAGE004
个通道的批处理归一层的输出特征，
Figure 126226DEST_PATH_IMAGE005
表示第
Figure 301861DEST_PATH_IMAGE004
个通道的可学习尺度变化参数，
Figure 647392DEST_PATH_IMAGE006
表示第
Figure 1013DEST_PATH_IMAGE004
个通道的批处理归一化运算，
Figure 799204DEST_PATH_IMAGE007
表示批处理归一层中可学习的位移变换参数，
Figure 14416DEST_PATH_IMAGE008
表示第
Figure 214453DEST_PATH_IMAGE009
个通道的批处理归一层的输入特征，
Figure 738976DEST_PATH_IMAGE010
表示平均值，
Figure 24463DEST_PATH_IMAGE011
表示变化值，
Figure 547761DEST_PATH_IMAGE012
表示数值稳定性的正值。
所述一种基于多尺度层次化特征表示的目标跟踪方法，其中，在根据所述可学习尺度变化参数构建得到一个权重矩阵，通过所述权重矩阵进行动态调整目标特征权重值以获得一个通道特征图的步骤中，所述通道特征图的公式表示为：
Figure 602304DEST_PATH_IMAGE013
Figure 563307DEST_PATH_IMAGE014
其中，
Figure 70512DEST_PATH_IMAGE015
表示通道特征图，
Figure 876794DEST_PATH_IMAGE016
表示阈值函数，
Figure 802156DEST_PATH_IMAGE017
表示平均池化操作，
Figure 668481DEST_PATH_IMAGE018
表示批处理归一化操作，
Figure 599001DEST_PATH_IMAGE019
表示输入特征，
Figure 694127DEST_PATH_IMAGE020
表示权重矩阵，
Figure 723263DEST_PATH_IMAGE021
表示输入特征
Figure 26069DEST_PATH_IMAGE019
中第
Figure 507865DEST_PATH_IMAGE022
行第
Figure 170797DEST_PATH_IMAGE023
列位置的特征张量，
Figure 54439DEST_PATH_IMAGE024
，
Figure 636468DEST_PATH_IMAGE025
表示第
Figure 605561DEST_PATH_IMAGE022
行的缩放因子值，
Figure 557337DEST_PATH_IMAGE026
表示第
Figure 816192DEST_PATH_IMAGE023
列的缩放因子值。
所述一种基于多尺度层次化特征表示的目标跟踪方法，其中，所述空间特征图的公式表示为：
Figure 460800DEST_PATH_IMAGE027
其中，
Figure 651609DEST_PATH_IMAGE028
表示空间特征图，
Figure 407076DEST_PATH_IMAGE029
表示可学习尺度变换参数矩阵，
Figure 248999DEST_PATH_IMAGE030
表示一个1×1的卷积运算，
Figure 64508DEST_PATH_IMAGE031
表示第一个3×3的卷积运算，
Figure 8193DEST_PATH_IMAGE032
表示第二个3×3的卷积运算，
Figure 301771DEST_PATH_IMAGE033
表示空间分支中的可学习尺度变化参数。
所述一种基于多尺度层次化特征表示的目标跟踪方法，其中，所述三维注意图对应的公式表示为：
Figure 14512DEST_PATH_IMAGE034
其中，
Figure 984611DEST_PATH_IMAGE035
表示三维注意图，
Figure 415593DEST_PATH_IMAGE036
表示sigmoid函数；
Figure 512862DEST_PATH_IMAGE037
其中，
Figure 345689DEST_PATH_IMAGE038
表示特征识别器模块的输出特征，
Figure 722574DEST_PATH_IMAGE019
表示输入特征，
Figure 640852DEST_PATH_IMAGE039
表示局部矩阵乘法。
所述一种基于多尺度层次化特征表示的目标跟踪方法，其中，所述特征识别器模块对应的损失函数表示为：
Figure 541812DEST_PATH_IMAGE040
其中，
Figure 963566DEST_PATH_IMAGE041
表示损失函数值，
Figure 26200DEST_PATH_IMAGE042
表示损失函数，
Figure 409602DEST_PATH_IMAGE043
表示特征识别器模块的预测函数，
Figure 114253DEST_PATH_IMAGE044
表示特征识别器模块的权重，
Figure 656093DEST_PATH_IMAGE045
表示针对
Figure 155207DEST_PATH_IMAGE046
的惩罚函数，
Figure 267651DEST_PATH_IMAGE047
表示针对
Figure 510413DEST_PATH_IMAGE048
的惩罚函数，
Figure 906760DEST_PATH_IMAGE049
表示用于平衡
Figure 576775DEST_PATH_IMAGE045
和
Figure 425783DEST_PATH_IMAGE047
的罚量，
Figure 455925DEST_PATH_IMAGE048
表示空间分支中的可学习尺度变化参数，
Figure 972356DEST_PATH_IMAGE046
表示通道分支中的可学习尺度变化参数。
所述一种基于多尺度层次化特征表示的目标跟踪方法，其中，在所述步骤五中，通过所述多尺度特征融合网络分别将所述模板特征与所述编码特征映射在同一特征空间中，对应的计算公式表示为：
Figure 813274DEST_PATH_IMAGE050
其中，
Figure 415156DEST_PATH_IMAGE051
表示第一可学习参数，
Figure 484874DEST_PATH_IMAGE052
表示第二可学习参数，
Figure 855813DEST_PATH_IMAGE053
表示第三可学习参数，
Figure 867631DEST_PATH_IMAGE054
表示维度对齐投影函数，
Figure 691231DEST_PATH_IMAGE055
表示第一编码特征，
Figure 328754DEST_PATH_IMAGE056
表示模板特征，
Figure 288620DEST_PATH_IMAGE057
表示将多个模板特征进行拼接后所得到的模板特征集，
Figure 471340DEST_PATH_IMAGE058
表示掩码集合。
所述一种基于多尺度层次化特征表示的目标跟踪方法，其中，在得到了第一可学习参数
Figure 47815DEST_PATH_IMAGE051
与第二可学习参数
Figure 974182DEST_PATH_IMAGE052
之后，所述方法还包括：
基于所述第一可学习参数
Figure 539287DEST_PATH_IMAGE051
与所述第二可学习参数
Figure 158487DEST_PATH_IMAGE052
，采用交叉注意力机制计算得到交叉注意图；
所述交叉注意图对应的计算公式表示为：
Figure 956679DEST_PATH_IMAGE059
其中，
Figure 686738DEST_PATH_IMAGE060
表示交叉注意图，
Figure 870463DEST_PATH_IMAGE061
表示归一化函数，
Figure 660565DEST_PATH_IMAGE062
表示嵌入维度，
Figure 946052DEST_PATH_IMAGE063
表示多头数，
Figure 214223DEST_PATH_IMAGE064
表示转置操作。
本发明还提出一种基于多尺度层次化特征表示的目标跟踪系统，其中，所述系统包括：
初始化模块，用于：
对给定的前三帧目标框中的图像进行初始化以生成目标模板图像集，在除所述前三帧目标框之外的后续帧目标框中，以所述前三帧目标框对应的目标模板图像集中的目标中心坐标作为搜索区域，通过水平翻转与联合增广变换对输入图像数据进行增强以得到搜索区域图像；
网络构建模块，用于：
在孪生神经网络框架中，通过将特征识别器模块嵌入在层次化特征提取网络中的前三个卷积块之后，以构建得到层次化特征提取模块，其中，所述孪生神经网络框架由层次化特征提取网络与多尺度特征融合网络构成，所述特征识别器模块用于通过生成三维注意图以关注重要元素的位置与内容；
特征学习模块，用于：
将所述目标模板图像集与所述搜索区域图像输入到所述孪生神经网络框架中，通过层次化特征提取网络分别对模板分支和搜索区域的目标图像特征进行学习，以得到相应的模板特征与搜索特征；
特征增强模块，用于：
将经过层次化特征提取网络处理后得到的模板特征输入到编码器中，使得单个模板特征进行增强，以获得编码特征；
特征映射模块，用于：
通过所述多尺度特征融合网络分别将所述模板特征与所述编码特征映射在同一特征空间中，其中，编码特征作为查询，模板特征与编码特征进行信息交换以产生鲁棒的模板融合特征，用于使跟踪器更适应目标尺度变化；
目标跟踪模块，用于：
将经过层次化特征提取网络处理后得到的搜索特征与所述模板融合特征输入至解码器，以得到用于定位目标的得分图，进而实现鲁棒的目标跟踪。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。
附图说明
图1为本发明第一实施例提出的基于多尺度层次化特征表示的目标跟踪方法的流程图；
图2为本发明第一实施例提出的基于多尺度层次化特征表示的目标跟踪框架的原理架构图；
图3为本发明第一实施例中特征识别器模型的原理图；
图4为本发明第一实施例中多尺度特征融合网络的原理图；
图5为本发明第二实施例中提出的基于多尺度层次化特征表示的目标跟踪系统的结构图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
请参阅图1至图4，本发明提出一种基于多尺度层次化特征表示的目标跟踪方法，其中，所述方法包括如下步骤：
S101、对给定的前三帧目标框中的图像进行初始化以生成目标模板图像集，在除所述前三帧目标框之外的后续帧目标框中，以所述前三帧目标框对应的目标模板图像集中的目标中心坐标作为搜索区域，通过水平翻转与联合增广变换对输入图像数据进行增强以得到搜索区域图像。
S102、在孪生神经网络框架中，通过将特征识别器模块嵌入在层次化特征提取网络中的前三个卷积块之后，以构建得到层次化特征提取模块。
其中，孪生神经网络框架由层次化特征提取网络与多尺度特征融合网络构成，特征识别器模块用于通过生成三维注意图以关注重要元素的位置与内容。
具体的，在步骤S102中，特征识别器模块的操作方法包括如下步骤：
S1021、对所述模板特征与所述搜索特征采用平均池化操作以聚合每个通道的特征图，其中对每个通道而言，通过可学习尺度变化参数进行批处理归一层。
具体而言，请参阅图3，通过可学习尺度变化参数进行批处理归一层的步骤中，批处理归一层的公式表示为：
Figure 3187DEST_PATH_IMAGE001
Figure 714922DEST_PATH_IMAGE065
其中，
Figure 222127DEST_PATH_IMAGE003
表示第
Figure 293988DEST_PATH_IMAGE004
个通道的批处理归一层的输出特征，
Figure 203038DEST_PATH_IMAGE005
表示第
Figure 324490DEST_PATH_IMAGE004
个通道的可学习尺度变化参数，
Figure 584570DEST_PATH_IMAGE066
表示第
Figure 194543DEST_PATH_IMAGE004
个通道的批处理归一化运算，
Figure 223679DEST_PATH_IMAGE007
表示批处理归一层中可学习的位移变换参数，
Figure 995326DEST_PATH_IMAGE067
表示第
Figure 493434DEST_PATH_IMAGE004
个通道的批处理归一层的输入特征，
Figure 907098DEST_PATH_IMAGE010
表示平均值，
Figure 790741DEST_PATH_IMAGE068
表示变化值，
Figure 264447DEST_PATH_IMAGE069
表示数值稳定性的正值。
S1022、根据所述可学习尺度变化参数构建得到一个权重矩阵，通过所述权重矩阵进行动态调整目标特征权重值以获得一个通道特征图。
其中，通道特征图的公式表示为：
Figure 482808DEST_PATH_IMAGE013
Figure 169004DEST_PATH_IMAGE014
其中，
Figure 172732DEST_PATH_IMAGE015
表示通道特征图，
Figure 551761DEST_PATH_IMAGE016
表示阈值函数，
Figure 758883DEST_PATH_IMAGE017
表示平均池化操作，
Figure 514349DEST_PATH_IMAGE018
表示批处理归一化操作，
Figure 372584DEST_PATH_IMAGE019
表示输入特征，
Figure 922514DEST_PATH_IMAGE020
表示权重矩阵，
Figure 866199DEST_PATH_IMAGE021
表示输入特征
Figure 409045DEST_PATH_IMAGE019
中第
Figure 198751DEST_PATH_IMAGE022
行第
Figure 935894DEST_PATH_IMAGE023
列位置的特征张量，
Figure 101296DEST_PATH_IMAGE024
，
Figure 198565DEST_PATH_IMAGE070
表示第
Figure 378529DEST_PATH_IMAGE022
行的缩放因子值，
Figure 535841DEST_PATH_IMAGE071
表示第
Figure 204851DEST_PATH_IMAGE023
列的缩放因子值。
S1023、根据所述通道特征图与空间特征图计算得到三维注意图。
其中，空间特征图的公式表示为：
Figure 840232DEST_PATH_IMAGE072
其中，
Figure 527565DEST_PATH_IMAGE028
表示空间特征图，
Figure 855778DEST_PATH_IMAGE029
表示可学习尺度变换参数矩阵，
Figure 245040DEST_PATH_IMAGE073
表示一个1×1的卷积运算，
Figure 949691DEST_PATH_IMAGE074
表示第一个3×3的卷积运算，
Figure 491531DEST_PATH_IMAGE075
表示第二个3×3的卷积运算，
Figure 990645DEST_PATH_IMAGE076
表示空间分支中的可学习尺度变化参数，
Figure 368668DEST_PATH_IMAGE077
，
Figure 80272DEST_PATH_IMAGE078
表示实数域，
Figure 742197DEST_PATH_IMAGE079
表示坐标维度为
Figure 412213DEST_PATH_IMAGE080
的实数域上的高维张量空间。
在此需要补充说明的是，空间特征图生成原理具体为：特征识别器模块对模板特征与搜索特征使用两个3×3大小的扩张卷积来扩大感受野，有效聚合上下文信息；经过扩张卷积处理后的特征，通过一个1×1大小的卷积将特征减少为
Figure 776067DEST_PATH_IMAGE081
的空间特征图。
对三维注意图而言，三维注意图对应的公式表示为：
Figure 556942DEST_PATH_IMAGE034
其中，
Figure 73373DEST_PATH_IMAGE035
表示三维注意图，
Figure 914291DEST_PATH_IMAGE036
表示sigmoid函数；
Figure 266906DEST_PATH_IMAGE037
其中，
Figure 851471DEST_PATH_IMAGE038
表示特征识别器模块的输出特征，
Figure 956830DEST_PATH_IMAGE019
表示输入特征，
Figure 968648DEST_PATH_IMAGE039
表示局部矩阵乘法，
Figure 792248DEST_PATH_IMAGE082
，
Figure 423912DEST_PATH_IMAGE083
表示坐标维度为
Figure 649357DEST_PATH_IMAGE084
的实数域上的高维张量空间。
在本实施例中，为了抑制不显著的特征，突出目标特征和目标位置，在特征识别器模块中，对应的损失函数表示为：
Figure 832077DEST_PATH_IMAGE040
其中，
Figure 408552DEST_PATH_IMAGE041
表示损失函数值，
Figure 85652DEST_PATH_IMAGE042
表示损失函数，
Figure 900024DEST_PATH_IMAGE043
表示特征识别器模块的预测函数，
Figure 784803DEST_PATH_IMAGE044
表示特征识别器模块的权重，
Figure 317416DEST_PATH_IMAGE085
表示针对
Figure 31163DEST_PATH_IMAGE086
的惩罚函数，
Figure 231200DEST_PATH_IMAGE087
表示针对
Figure 21301DEST_PATH_IMAGE088
的惩罚函数，
Figure 41210DEST_PATH_IMAGE049
表示用于平衡
Figure 325692DEST_PATH_IMAGE085
和
Figure 114656DEST_PATH_IMAGE087
的罚量，
Figure 810080DEST_PATH_IMAGE088
表示空间分支中的可学习尺度变化参数，
Figure 582864DEST_PATH_IMAGE086
表示通道分支中的可学习尺度变化参数。
S103、将所述目标模板图像集与所述搜索区域图像输入到所述孪生神经网络框架中，通过层次化特征提取网络分别对模板分支和搜索区域的目标图像特征进行学习，以得到相应的模板特征与搜索特征。
S104、将经过层次化特征提取网络处理后得到的模板特征输入到编码器中，使得单个模板特征进行增强，以获得编码特征。
S105、通过所述多尺度特征融合网络分别将所述模板特征与所述编码特征映射在同一特征空间中，其中，编码特征作为查询，模板特征与编码特征进行信息交换以产生鲁棒的模板融合特征，用于使跟踪器更适应目标尺度变化。
具体的，多尺度特征融合网络的生成方法包括如下步骤：
S1051、通过多尺度特征融合网络分别将所述模板特征与所述编码特征映射在同一特征空间中。
其中，将所模板特征与编码特征映射在同一特征空间中，对应的计算公式表示为：
Figure 654725DEST_PATH_IMAGE050
其中，
Figure 813043DEST_PATH_IMAGE051
表示第一可学习参数，
Figure 944947DEST_PATH_IMAGE052
表示第二可学习参数，
Figure 939448DEST_PATH_IMAGE053
表示第三可学习参数，
Figure 549421DEST_PATH_IMAGE054
表示维度对齐投影函数，
Figure 329289DEST_PATH_IMAGE055
表示第一编码特征，
Figure 366515DEST_PATH_IMAGE056
表示模板特征，
Figure 113891DEST_PATH_IMAGE057
表示将多个模板特征进行拼接后所得到的模板特征集，
Figure 527555DEST_PATH_IMAGE058
表示掩码集合。
通过构造模板特征的高斯掩码，以减少相似目标对跟踪的干扰，其对应的计算公式如下：
Figure 660465DEST_PATH_IMAGE089
其中，
Figure 868592DEST_PATH_IMAGE090
为真实目标位置，
Figure 572106DEST_PATH_IMAGE091
表示预测目标位置，将重建的掩码
Figure 789461DEST_PATH_IMAGE092
级联，得到一个掩码集合
Figure 527610DEST_PATH_IMAGE058
，
Figure 922950DEST_PATH_IMAGE093
，
Figure 379339DEST_PATH_IMAGE094
。
S1052、基于第一可学习参数
Figure 134806DEST_PATH_IMAGE051
与第二可学习参数
Figure 727461DEST_PATH_IMAGE052
，采用交叉注意力机制计算得到交叉注意图。
交叉注意图对应的计算公式表示为：
Figure 63676DEST_PATH_IMAGE059
其中，
Figure 476203DEST_PATH_IMAGE060
表示交叉注意图，
Figure 35361DEST_PATH_IMAGE061
表示归一化函数，
Figure 748102DEST_PATH_IMAGE062
表示嵌入维度，
Figure 485245DEST_PATH_IMAGE063
表示多头数，
Figure 916226DEST_PATH_IMAGE064
表示转置操作。
多尺度特征融合网络中的交叉注意使用多个头部，并将其表示为多头交叉注意(MCA)，通过计算层归一化和残差结构得到多尺度特征融合网络的输出特征，如下所示：
Figure 13495DEST_PATH_IMAGE095
其中，
Figure 580743DEST_PATH_IMAGE096
表示多尺度特征融合网络的输出特征，
Figure 472475DEST_PATH_IMAGE097
表示维度对齐的反投影函数，
Figure 374441DEST_PATH_IMAGE098
表示维度对齐投影函数，
Figure 275401DEST_PATH_IMAGE099
表示第二编码特征，
Figure 962734DEST_PATH_IMAGE100
表示多头交叉注意函数，
Figure 290947DEST_PATH_IMAGE101
表示自然对数，
Figure 181674DEST_PATH_IMAGE102
表示第三可学参数，
Figure 355166DEST_PATH_IMAGE103
。
S106、将经过层次化特征提取网络处理后得到的搜索特征与所述模板融合特征输入至解码器，以得到用于定位目标的得分图，进而实现鲁棒的目标跟踪。
本发明提出一种基于多尺度层次化特征表示的目标跟踪方法，首先通过一个有效的特征识别器模块生成三维注意图，该三维注意图用于关注重要元素的位置与内容；并在实际应用中通过动态调整目标特征的权重，以获得强大的目标特征；此外，将特征识别器模块嵌入在不同的卷积块上，以构建得到层次化特征提取模块，从而提高层次化特征提取网络的表示能力；在此基础上，再构建一个多尺度特征融合网络，通过交叉注意力机制实现模板特征与编码特征的特征融合，从而得到较强的图像特征。本发明提出的基于多尺度层次化特征表示的目标跟踪方法，由于有效融合了模板特征与编码特征，因此可有效规避因模板特征中背景信息丢失时发生的跟踪漂移的问题；此外，也可有效捕获模板特征与搜索特征之间的非线性交互，提高了跟踪效果。
请参阅图5，本发明还提出一种基于多尺度层次化特征表示的目标跟踪系统，其中，所述系统包括：
初始化模块，用于：
对给定的前三帧目标框中的图像进行初始化以生成目标模板图像集，在除所述前三帧目标框之外的后续帧目标框中，以所述前三帧目标框对应的目标模板图像集中的目标中心坐标作为搜索区域，通过水平翻转与联合增广变换对输入图像数据进行增强以得到搜索区域图像；
网络构建模块，用于：
在孪生神经网络框架中，通过将特征识别器模块嵌入在层次化特征提取网络中的前三个卷积块之后，以构建得到层次化特征提取模块，其中，所述孪生神经网络框架由层次化特征提取网络与多尺度特征融合网络构成，所述特征识别器模块用于通过生成三维注意图以关注重要元素的位置与内容；
特征学习模块，用于：
将所述目标模板图像集与所述搜索区域图像输入到所述孪生神经网络框架中，通过层次化特征提取网络分别对模板分支和搜索区域的目标图像特征进行学习，以得到相应的模板特征与搜索特征；
特征增强模块，用于：
将经过层次化特征提取网络处理后得到的模板特征输入到编码器中，使得单个模板特征进行增强，以获得编码特征；
特征映射模块，用于：
通过所述多尺度特征融合网络分别将所述模板特征与所述编码特征映射在同一特征空间中，其中，编码特征作为查询，模板特征与编码特征进行信息交换以产生鲁棒的模板融合特征，用于使跟踪器更适应目标尺度变化；
目标跟踪模块，用于：
将经过层次化特征提取网络处理后得到的搜索特征与所述模板融合特征输入至解码器，以得到用于定位目标的得分图，进而实现鲁棒的目标跟踪。
应当理解的，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于多尺度层次化特征表示的目标跟踪方法，其特征在于，所述方法包括如下步骤：
步骤一、对给定的前三帧目标框中的图像进行初始化以生成目标模板图像集，在除所述前三帧目标框之外的后续帧目标框中，以所述前三帧目标框对应的目标模板图像集中的目标中心坐标作为搜索区域，通过水平翻转与联合增广变换对输入图像数据进行增强以得到搜索区域图像；
步骤二、在孪生神经网络框架中，通过将特征识别器模块嵌入在层次化特征提取网络中的前三个卷积块之后，以构建得到层次化特征提取模块，其中，所述孪生神经网络框架由层次化特征提取网络与多尺度特征融合网络构成，所述特征识别器模块用于通过生成三维注意图以关注重要元素的位置与内容；
步骤三、将所述目标模板图像集与所述搜索区域图像输入到所述孪生神经网络框架中，通过层次化特征提取网络分别对模板分支和搜索区域的目标图像特征进行学习，以得到相应的模板特征与搜索特征；
步骤四、将经过层次化特征提取网络处理后得到的模板特征输入到编码器中，使得单个模板特征进行增强，以获得编码特征；
步骤五、通过所述多尺度特征融合网络分别将所述模板特征与所述编码特征映射在同一特征空间中，其中，编码特征作为查询，模板特征与编码特征进行信息交换以产生鲁棒的模板融合特征，用于使跟踪器更适应目标尺度变化；
步骤六、将经过层次化特征提取网络处理后得到的搜索特征与所述模板融合特征输入至解码器，以得到用于定位目标的得分图，进而实现鲁棒的目标跟踪；
在所述步骤二中，所述特征识别器模块的操作方法包括如下步骤：
对所述模板特征与所述搜索特征采用平均池化操作以聚合每个通道的特征图，其中对每个通道而言，通过可学习尺度变化参数进行批处理归一层；
根据所述可学习尺度变化参数构建得到一个权重矩阵，通过所述权重矩阵进行动态调整目标特征权重值以获得一个通道特征图；
通过特征识别器模块对所述模板特征与所述搜索特征，使用两个3×3大小的扩张卷积用来扩大感受野，然后将经过扩张卷积处理后的所述模板特征与所述搜索特征，通过一个1×1大小的卷积将所述模板特征与所述搜索特征缩减得到空间特征图；
根据通道特征图与空间特征图计算得到三维注意图；
所述特征识别器模块对应的损失函数表示为：
Figure 771851DEST_PATH_IMAGE001
其中，
Figure 640711DEST_PATH_IMAGE002
表示损失函数值，
Figure 601714DEST_PATH_IMAGE003
表示损失函数，
Figure 577760DEST_PATH_IMAGE004
表示特征识别器模块的预测函数，
Figure 384042DEST_PATH_IMAGE005
表示特征识别器模块的权重，
Figure 558671DEST_PATH_IMAGE006
表示针对
Figure 690575DEST_PATH_IMAGE007
的惩罚函数，
Figure 950655DEST_PATH_IMAGE008
表示针对
Figure 560628DEST_PATH_IMAGE009
的惩罚函数，
Figure 589764DEST_PATH_IMAGE010
表示用于平衡
Figure 95832DEST_PATH_IMAGE011
和
Figure 577629DEST_PATH_IMAGE012
的罚量，
Figure 991292DEST_PATH_IMAGE013
表示空间分支中的可学习尺度变化参数，
Figure 874935DEST_PATH_IMAGE014
表示通道分支中的可学习尺度变化参数；
所述三维注意图对应的公式表示为：
Figure 614221DEST_PATH_IMAGE015
其中，
Figure 583314DEST_PATH_IMAGE016
表示三维注意图，
Figure 535089DEST_PATH_IMAGE017
表示sigmoid函数；
Figure 538817DEST_PATH_IMAGE018
其中，
Figure 386688DEST_PATH_IMAGE019
表示特征识别器模块的输出特征，
Figure 843077DEST_PATH_IMAGE020
表示输入特征，
Figure 598543DEST_PATH_IMAGE021
表示局部矩阵乘法。
2.根据权利要求1所述的一种基于多尺度层次化特征表示的目标跟踪方法，其特征在于，通过可学习尺度变化参数进行批处理归一层的步骤中，批处理归一层的公式表示为：
Figure 191199DEST_PATH_IMAGE022
Figure 272287DEST_PATH_IMAGE023
其中，
Figure 215972DEST_PATH_IMAGE024
表示第
Figure 775130DEST_PATH_IMAGE025
个通道的批处理归一层的输出特征，
Figure 487871DEST_PATH_IMAGE026
表示第
Figure 208702DEST_PATH_IMAGE025
个通道的可学习尺度变化参数，
Figure 842946DEST_PATH_IMAGE027
表示第
Figure 940215DEST_PATH_IMAGE025
个通道的批处理归一化运算，
Figure 773041DEST_PATH_IMAGE028
表示批处理归一层中可学习的位移变换参数，
Figure 930353DEST_PATH_IMAGE029
表示第
Figure 848631DEST_PATH_IMAGE025
个通道的批处理归一层的输入特征，
Figure 749591DEST_PATH_IMAGE030
表示平均值，
Figure 171345DEST_PATH_IMAGE031
表示变化值，
Figure 499558DEST_PATH_IMAGE032
表示数值稳定性的正值。
3.根据权利要求2所述的一种基于多尺度层次化特征表示的目标跟踪方法，其特征在于，在根据所述可学习尺度变化参数构建得到一个权重矩阵，通过所述权重矩阵进行动态调整目标特征权重值以获得一个通道特征图的步骤中，所述通道特征图的公式表示为：
Figure 842815DEST_PATH_IMAGE033
Figure 547465DEST_PATH_IMAGE034
其中，
Figure 95164DEST_PATH_IMAGE035
表示通道特征图，
Figure 859858DEST_PATH_IMAGE036
表示阈值函数，
Figure 487149DEST_PATH_IMAGE037
表示平均池化操作，
Figure 729911DEST_PATH_IMAGE038
表示批处理归一化操作，
Figure 126257DEST_PATH_IMAGE020
表示输入特征，
Figure 999535DEST_PATH_IMAGE039
表示权重矩阵，
Figure 114122DEST_PATH_IMAGE040
表示输入特征
Figure 894996DEST_PATH_IMAGE020
中第
Figure 411428DEST_PATH_IMAGE041
行第
Figure 517924DEST_PATH_IMAGE042
列位置的特征张量，
Figure 415080DEST_PATH_IMAGE043
，
Figure 999645DEST_PATH_IMAGE044
表示第
Figure 370583DEST_PATH_IMAGE041
行的缩放因子值，
Figure 647981DEST_PATH_IMAGE045
表示第
Figure 471581DEST_PATH_IMAGE042
列的缩放因子值。
4.根据权利要求3所述的一种基于多尺度层次化特征表示的目标跟踪方法，其特征在于，所述空间特征图的公式表示为：
Figure 853977DEST_PATH_IMAGE046
其中，
Figure 79422DEST_PATH_IMAGE047
表示空间特征图，
Figure 465404DEST_PATH_IMAGE048
表示可学习尺度变换参数矩阵，
Figure 41879DEST_PATH_IMAGE049
表示一个1×1的卷积运算，
Figure 968247DEST_PATH_IMAGE050
表示第一个3×3的卷积运算，
Figure 313777DEST_PATH_IMAGE051
表示第二个3×3的卷积运算，
Figure 932978DEST_PATH_IMAGE052
表示空间分支中的可学习尺度变化参数。
5.根据权利要求1所述的一种基于多尺度层次化特征表示的目标跟踪方法，其特征在于，在所述步骤五中，通过所述多尺度特征融合网络分别将所述模板特征与所述编码特征映射在同一特征空间中，对应的计算公式表示为：
Figure 731169DEST_PATH_IMAGE053
其中，
Figure 461228DEST_PATH_IMAGE054
表示第一可学习参数，
Figure 598948DEST_PATH_IMAGE055
表示第二可学习参数，
Figure 389050DEST_PATH_IMAGE056
表示第三可学习参数，
Figure 674537DEST_PATH_IMAGE057
表示维度对齐投影函数，
Figure 208287DEST_PATH_IMAGE058
表示第一编码特征，
Figure 262831DEST_PATH_IMAGE059
表示模板特征，
Figure 223833DEST_PATH_IMAGE060
表示将多个模板特征进行拼接后所得到的模板特征集，
Figure 731038DEST_PATH_IMAGE061
表示掩码集合。
6.根据权利要求5所述的一种基于多尺度层次化特征表示的目标跟踪方法，其特征在于，在得到了第一可学习参数
Figure 6162DEST_PATH_IMAGE054
与第二可学习参数
Figure 180791DEST_PATH_IMAGE055
之后，所述方法还包括：
基于所述第一可学习参数
Figure 47116DEST_PATH_IMAGE054
与所述第二可学习参数
Figure 307196DEST_PATH_IMAGE055
，采用交叉注意力机制计算得到交叉注意图；
所述交叉注意图对应的计算公式表示为：
Figure 182748DEST_PATH_IMAGE062
其中，
Figure 211884DEST_PATH_IMAGE063
表示交叉注意图，
Figure 249110DEST_PATH_IMAGE064
表示归一化函数，
Figure 199749DEST_PATH_IMAGE065
表示嵌入维度，
Figure 456155DEST_PATH_IMAGE066
表示多头数，
Figure 611236DEST_PATH_IMAGE067
表示转置操作。
7.一种基于多尺度层次化特征表示的目标跟踪系统，其特征在于，所述系统执行如上述权利要求1至6任意一项所述的方法，所述系统包括：
初始化模块，用于：
对给定的前三帧目标框中的图像进行初始化以生成目标模板图像集，在除所述前三帧目标框之外的后续帧目标框中，以所述前三帧目标框对应的目标模板图像集中的目标中心坐标作为搜索区域，通过水平翻转与联合增广变换对输入图像数据进行增强以得到搜索区域图像；
网络构建模块，用于：
在孪生神经网络框架中，通过将特征识别器模块嵌入在层次化特征提取网络中的前三个卷积块之后，以构建得到层次化特征提取模块，其中，所述孪生神经网络框架由层次化特征提取网络与多尺度特征融合网络构成，所述特征识别器模块用于通过生成三维注意图以关注重要元素的位置与内容；
特征学习模块，用于：
将所述目标模板图像集与所述搜索区域图像输入到所述孪生神经网络框架中，通过层次化特征提取网络分别对模板分支和搜索区域的目标图像特征进行学习，以得到相应的模板特征与搜索特征；
特征增强模块，用于：
将经过层次化特征提取网络处理后得到的模板特征输入到编码器中，使得单个模板特征进行增强，以获得编码特征；
特征映射模块，用于：
通过所述多尺度特征融合网络分别将所述模板特征与所述编码特征映射在同一特征空间中，其中，编码特征作为查询，模板特征与编码特征进行信息交换以产生鲁棒的模板融合特征，用于使跟踪器更适应目标尺度变化；
目标跟踪模块，用于：
将经过层次化特征提取网络处理后得到的搜索特征与所述模板融合特征输入至解码器，以得到用于定位目标的得分图，进而实现鲁棒的目标跟踪。
CN202210993495.7A 2022-08-18 2022-08-18 基于多尺度层次化特征表示的目标跟踪方法与系统 Active CN115063445B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210993495.7A CN115063445B (zh) 2022-08-18 2022-08-18 基于多尺度层次化特征表示的目标跟踪方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210993495.7A CN115063445B (zh) 2022-08-18 2022-08-18 基于多尺度层次化特征表示的目标跟踪方法与系统

Publications (2)

Publication Number Publication Date
CN115063445A CN115063445A (zh) 2022-09-16
CN115063445B true CN115063445B (zh) 2022-11-08

Family

ID=83208568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210993495.7A Active CN115063445B (zh) 2022-08-18 2022-08-18 基于多尺度层次化特征表示的目标跟踪方法与系统

Country Status (1)

Country Link
CN (1) CN115063445B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272419B (zh) * 2022-09-27 2022-12-09 南昌工程学院 基于混合卷积与自注意力的聚合网络目标跟踪方法与系统
CN116030097B (zh) * 2023-02-28 2023-05-30 南昌工程学院 基于双重注意力特征融合网络的目标跟踪方法与系统
CN116152298B (zh) * 2023-04-17 2023-08-29 中国科学技术大学 一种基于自适应局部挖掘的目标跟踪方法
CN116703980B (zh) * 2023-08-04 2023-10-24 南昌工程学院 基于金字塔池化Transformer主干网络的目标跟踪方法与系统
CN117197249B (zh) * 2023-11-08 2024-01-30 北京观微科技有限公司 目标位置确定方法、装置、电子设备及存储介质
CN117252904B (zh) * 2023-11-15 2024-02-09 南昌工程学院 基于长程空间感知与通道增强的目标跟踪方法与系统
CN117274883B (zh) * 2023-11-20 2024-01-26 南昌工程学院 基于多头注意力优化特征融合网络的目标跟踪方法与系统
CN117710663B (zh) * 2024-02-05 2024-04-26 南昌工程学院 基于特征增强与级联融合注意力的目标跟踪方法与系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021134285A1 (zh) * 2019-12-30 2021-07-08 深圳元戎启行科技有限公司 图像跟踪处理方法、装置、计算机设备和存储介质
CN113283407A (zh) * 2021-07-22 2021-08-20 南昌工程学院 一种基于通道与空间注意力机制的孪生网络目标跟踪方法
CN113962281A (zh) * 2021-08-20 2022-01-21 北京工业大学 基于Siamese-RFB的无人机目标跟踪方法
CN113963204A (zh) * 2021-10-20 2022-01-21 江南大学 一种孪生网络目标跟踪系统及方法
CN114049381A (zh) * 2021-12-21 2022-02-15 重庆大学 一种融合多层语义信息的孪生交叉目标跟踪方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379806B (zh) * 2021-08-13 2021-11-09 南昌工程学院 基于可学习稀疏转换注意力机制的目标跟踪方法与系统
CN113705588B (zh) * 2021-10-28 2022-01-25 南昌工程学院 基于卷积自注意力模块的孪生网络目标跟踪方法与系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021134285A1 (zh) * 2019-12-30 2021-07-08 深圳元戎启行科技有限公司 图像跟踪处理方法、装置、计算机设备和存储介质
CN113283407A (zh) * 2021-07-22 2021-08-20 南昌工程学院 一种基于通道与空间注意力机制的孪生网络目标跟踪方法
CN113962281A (zh) * 2021-08-20 2022-01-21 北京工业大学 基于Siamese-RFB的无人机目标跟踪方法
CN113963204A (zh) * 2021-10-20 2022-01-21 江南大学 一种孪生网络目标跟踪系统及方法
CN114049381A (zh) * 2021-12-21 2022-02-15 重庆大学 一种融合多层语义信息的孪生交叉目标跟踪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Visual Object Tracking by Hierarchical Attention Siamese Network;Jianbing Shen 等;《 IEEE Transactions on Cybernetics》;20191212;全文 *
基于双重注意力孪生网络的实时视觉跟踪;杨康等;《计算机应用》;20190115(第06期);全文 *
基于增强语义与多注意力机制学习的深度相关跟踪;周双双等;《计算机工程》;20200215(第02期);全文 *
基于孪生神经网络的目标跟踪算法综述;王军 等;《南昌工程学院学报》;20211228;全文 *

Also Published As

Publication number Publication date
CN115063445A (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN115063445B (zh) 基于多尺度层次化特征表示的目标跟踪方法与系统
CN113705588B (zh) 基于卷积自注意力模块的孪生网络目标跟踪方法与系统
Shen et al. PanoFormer: Panorama transformer for indoor 360∘ depth estimation
CN112215050A (zh) 非线性3dmm人脸重建和姿态归一化方法、装置、介质及设备
CN110705344B (zh) 一种基于深度学习的人群计数模型及其实现方法
CN111127472B (zh) 一种基于权重学习的多尺度图像分割方法
CN112991350B (zh) 一种基于模态差异缩减的rgb-t图像语义分割方法
CN115273244B (zh) 基于图神经网络的人体动作识别方法和系统
CN113870335A (zh) 一种基于多尺度特征融合的单目深度估计方法
CN113011329A (zh) 一种基于多尺度特征金字塔网络及密集人群计数方法
CN111401436A (zh) 一种融合网络和双通道注意力机制的街景图像分割方法
Cho et al. Semantic segmentation with low light images by modified CycleGAN-based image enhancement
He et al. Learning scene dynamics from point cloud sequences
CN113807361A (zh) 神经网络、目标检测方法、神经网络训练方法及相关产品
Eom et al. Temporally consistent depth prediction with flow-guided memory units
CN112163990A (zh) 360度图像的显著性预测方法及系统
Yi et al. Elanet: effective lightweight attention-guided network for real-time semantic segmentation
CN117274883B (zh) 基于多头注意力优化特征融合网络的目标跟踪方法与系统
CN117237623B (zh) 一种无人机遥感图像语义分割方法及系统
CN112417991B (zh) 基于沙漏胶囊网络的双注意力人脸对齐方法
CN116580275A (zh) 一种基于多模态层次关系建模的rgb-t目标跟踪方法
Dinh et al. Feature engineering and deep learning for stereo matching under adverse driving conditions
CN116978057A (zh) 图像中人体姿态迁移方法、装置、计算机设备和存储介质
CN113962846A (zh) 图像对齐方法及装置、计算机可读存储介质及电子设备
CN113936333A (zh) 一种基于人体骨架序列的动作识别算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant