CN113870312A - 基于孪生网络的单目标跟踪方法 - Google Patents

基于孪生网络的单目标跟踪方法 Download PDF

Info

Publication number
CN113870312A
CN113870312A CN202111165301.6A CN202111165301A CN113870312A CN 113870312 A CN113870312 A CN 113870312A CN 202111165301 A CN202111165301 A CN 202111165301A CN 113870312 A CN113870312 A CN 113870312A
Authority
CN
China
Prior art keywords
template
layer
enhancement module
tracking
twin network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111165301.6A
Other languages
English (en)
Other versions
CN113870312B (zh
Inventor
张轶
周雨馨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202111165301.6A priority Critical patent/CN113870312B/zh
Publication of CN113870312A publication Critical patent/CN113870312A/zh
Application granted granted Critical
Publication of CN113870312B publication Critical patent/CN113870312B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于孪生网络的单目标跟踪方法，涉及计算机视觉技术领域，包括S1获取训练样本，S2建立跟踪孪生网络和三个模板增强模块，S3训练样本导入跟踪孪生网络，S4对三个模板增强模块进行优化训练，S5优化后的三个模板增强模块分别加入到跟踪孪生网络的模板分支，S6、将需要跟踪的视频帧导入目标跟踪模型进行跟踪；进行模板更新的方法，在跟踪中可对模板进行加强，模板更能描绘目标的全貌，因此在数据集中极大的提升了效果；其次，在训练的过程中，采用序列训练对模板增强模块进行训练中，不同层的模板的变化信息得到了更好的融合，也就是本发明相较与其他基于ResNet50的算法相比，本发明利用了不同层的层次信息使得模块更能捕捉目标变化的信息。

Description

基于孪生网络的单目标跟踪方法
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于孪生网络的单目标跟踪方法。
背景技术
目标跟踪是具有多种应用的计算机视觉领域的一项基本且热门的研究任务。目标跟踪任务是指给定第一帧目标位置，在后续视频帧中找到目标位置。
目标跟踪具有非常广泛的应用涉及各种领域。例如安全军工，无人驾驶，人机交互等领域。在智能交通方面，目标跟踪发挥了很大的作用，由于经济发展，如今道路众多，车辆的数量更是巨大，单靠人力来实现交通的监控与管理会有些吃力，因而智能交通系统应运而生，通过在主要道路架设摄像头，结合车辆检测和车辆的目标跟踪技术，智能交通系统可以监测和分析判断车辆行为，并输出语义信息，进而提高效率。在体育转播方面，目标跟踪计算可以帮助导播人员定位球员位置，在无人驾驶方面，无人车需要感知当前道路环境，目标跟踪技术可以帮助无人车了解周边环境，预测以后时刻目标的位置，以达到安全驾驶的目地。在人机交互方面目标跟踪可以通过跟踪手势更好地进行人机交互。目标跟踪不仅应用广泛，单目标跟踪还为其他计算机视觉领域例如跨摄像头跟踪，行为理解提供基础，处于计算机视觉的底层领域，因此研究意义重大。尽管近年来取得了很大进展，但由于光照变化、快速运动、遮挡等众多因素，视觉跟踪仍然是一项非常具有挑战性的任务。因此研究一种新的目标跟踪算法，能在各种复杂场景下例如目标巨大形变或被遮挡准确地跟踪目标位置，并在公开各种数据集中取得高的正确率并保持一定的鲁棒性，具有十分重要的研究意义和实际应用价值。
目前主流的单目标跟踪方法分为两类，一类是基于传统滤波的目标跟踪算法，另一类是基于孪生网络的单目标跟踪算法。由于深度神经网络的快速发展，孪生网络由于它的正确性和不输传统滤波的速度，目前更为流行。
但是基于孪生网络的算法普遍存在一个问题，孪生网络通常使用第一帧的模板来计算相关，从而得到有关目标位置的得分图。但是目标在跟踪视频序列中可能会发生形变，或者发生遮挡，光照变化的问题。因此在长时间的跟踪只使用第一帧会影响正确率。
因此为了解决这个问题，CFNet提出了用线性加权历史模板的方法，DiMP提出了一个在线学习模板的学习器来解决。但是这类方法都有两个弊端，第一个是弊端是线性加权并不能很好的合成一个合适的模板，第二个弊端是例如DiMP这类在线学习的目标跟踪算法只会在特定间隔学习，而且会使用预测的模板来进行训练可能会有累计错误的风险。
发明内容
本发明的目的就在于为了解决上述问题设计了一种基于孪生网络的单目标跟踪方法。
本发明通过以下技术方案来实现上述目的：
基于孪生网络的单目标跟踪方法，包括：
S1、获取训练样本；
S2、基于resnet-50网络建立跟踪孪生网络和三个模板增强模块，三个模板增强模板均为权重共享网络，跟踪孪生网络包括模板分支和搜索分支，模板分支和搜索分支为两个完全相同的resnet-50网络，三个模板增强模块分别用于加强模板分支的第三层、第四层和第五层提取到的特征；
S3、训练样本导入跟踪孪生网络获得第三层、第四层和第五层的模板，模板包括初始模板、累计模板和当前帧模板；
S4、根据第三层、第四层和第五层的模板对三个模板增强模块进行优化训练；
S5、优化后的三个模板增强模块分别加入到模板分支的第三层、第四层和第五层之后获得目标跟踪模型；
S6、将需要跟踪的视频帧导入目标跟踪模型进行跟踪。
本发明的有益效果在于：提供了一种模板更新的方法，使得在跟踪的过程中可以对模板进行加强，模板更能描绘目标的全貌，因此在数据集中极大的提升了效果；其次，在训练的过程中，采用序列训练对模板增强模块进行训练中，不同层的模板的变化信息得到了更好的融合，也就是本发明相较与其他基于ResNet50的算法相比，本发明利用了不同层的层次信息使得模块更能捕捉目标变化的信息；由于新增了模板加强模块对模板分支进行了加强，因此在面对很多复杂场景里。
附图说明
图1为本发明并行训练；
图2为集成训练的训练示意；
图3为本发明序列训练示意图；
图4为本发明中模板增强模块的框架图；
图5为本发明框架结构图；
图6为本发明跟踪结果示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要理解的是，术语“上”、“下”、“内”、“外”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，“设置”、“连接”等术语应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合附图，对本发明的具体实施方式进行详细说明。
基于孪生网络的单目标跟踪方法，其特征在于，包括：
S1、获取训练样本。
S2、基于resnet-50网络建立跟踪孪生网络和三个模板增强模块，三个模板增强模板均为权重共享网络，跟踪孪生网络包括模板分支和搜索分支，模板分支和搜索分支为两个完全相同的resnet-50网络，三个模板增强模块分别用于加强模板分支的第三层、第四层和第五层提取到的特征。
S3、训练样本导入跟踪孪生网络获得第三层、第四层和第五层的模板，模板包括初始模板、累计模板和当前帧模板，获得累积模板具体为：对初始模板和上一帧的模板进行线性加权拟合获得累积模板
Figure BDA0003291475900000051
其中φi(z0)代表初始模板，φi(zt-1)代表上一帧的模板，z是输入图片以目标中心为中心截取的一块区域，φi代表孪生网络中提取特征的网络结构，γ设置为0.0102，训练数据集中的真实值用下一帧的数据来拟合，模板增强模块是一个三输入的残差结构，模板增强模块的公式为
Figure BDA0003291475900000052
其中
Figure BDA0003291475900000053
是跟踪孪生网络生成的用来检测的模板，
Figure BDA0003291475900000054
是t-1时刻生成的模板，φi(zt)是当前帧的模板也是代表当前跟踪孪生网络的生成步骤，
Figure BDA0003291475900000055
是模块的网络结构。
S4、通过集成训练、并行训练和序列训练中任一种训练方式根据第三层、第四层和第五层的模板对三个模板增强模块进行优化训练；
并行训练具体包括：第三层、第四层和第五层的模板分别对三个模板增强模块进行训练，计算每个模板增强模块的损失值，并更新每个模板增强模块的权重，计算损失值L为
Figure BDA0003291475900000056
其中
Figure BDA0003291475900000057
是每一层模板训练的输出，GT是跟踪孪生网络所生成的真实值，α是模板增强模块的权重，α的初始值设置为1；
集成训练具体包括：第三层、第四层和第五层的模板并行一起对模板增强模块进行训练，计算模板增强模块的损失值，并更新模板增强模块的权重，计算损失值L为
Figure BDA0003291475900000061
序列训练具体包括：第三层的模板对第一个模板增强模块进行训练，计算第一个模板增强模块的损失值，并更新第一个模板增强模块的权重，计算损失值L为
Figure BDA0003291475900000062
其中
Figure BDA0003291475900000063
GT是跟踪孪生网络所生成的真实值，α1是模板增强模块的权重，α1的初始值设置为1；更新后的第一个模板增强模块作为第二个模板增强模块，第四层的模板对第二个模板增强模块进行训练，计算第二个模板增强模块的损失值，并更新第二个模板增强模块的权重，计算损失值L为
Figure BDA0003291475900000064
GT是跟踪孪生网络所生成的真实值，α2是第二个模板增强模块的权重；更新后的第二个模板增强模块作为第三个模板增强模块，第五层的模板对第三个模板增强模块进行训练，计算第三个模板增强模块的损失值，并更新第三个模板增强模块的权重，计算损失值L为
Figure BDA0003291475900000065
Figure BDA0003291475900000066
GT是跟踪孪生网络所生成的真实值，α3是第三个模板增强模块的权重。
S5、优化后的三个模板增强模块分别加入到模板分支的第三层、第四层和第五层之后获得目标跟踪模型；
S6、将需要跟踪的视频帧导入目标跟踪模型进行跟踪。
S61、需要跟踪视频帧进行第i次的目标跟踪时，以第t时刻的帧给定的目标框bi为中心进行裁剪缩放，第t时刻的帧缩放的尺寸为127*127，第t+1时刻帧及其之后帧的缩放尺寸为255*255，并导入目标跟踪模型；
S62、缩放后的第t帧作为模板进入模板分支获得模板特征，缩放后的第二帧及其之后帧进入搜索分支获得搜索特征；
S63、模板特征和搜索特征输入卷积头进行计算相关获得分类响应图和回归响应图，分类响应图为
Figure BDA0003291475900000071
回归响应图为
Figure BDA0003291475900000072
其中αi代表不同层的特征对最后得分图的权重，βi代表不同层的特征对最后得分图的权重，θ代表E的权重，φi(x)为搜索分支的搜索特征，*代表进行相关计算；
S64、通过分类响应图计算惩罚因子加上余弦窗解决边界效应；
S65、找出惩罚处理后分类响应图最高点的位置并记作索引；
S66、通过索引寻找回归响应图的对应4个值并计算目标框的便宜；
S67、回到原图输出第i次搜索的目标框的位置信息；
S68、更新增强第i+1次搜索的模板，令i＝i+1并返回S61；
a、更新增强第i+1次搜索的模板包括：
b、根据目标框的位置bi和第t时刻的帧的图片得到zt；
c、将zt输入目标网络得到φ3(zt),φ4(zt)和φ5(zt)；
d、利用前面的模板生成新的模板
Figure BDA0003291475900000073
Figure BDA0003291475900000074
Figure BDA0003291475900000075
其中
Figure BDA0003291475900000076
时是模板增强模块生成的第三层的模板，φ3是ResNet50的第3层的输出，φ4是ResNet50的第4层的输出，φ5是ResNet50的第5层的输出；
e、用新生成的模板
Figure BDA0003291475900000077
更新以前记录的
Figure BDA0003291475900000078
用新生成的模板
Figure BDA0003291475900000079
更新以前记录的
Figure BDA00032914759000000710
用新生成的模板
Figure BDA00032914759000000711
更新以前记录的
Figure BDA00032914759000000712
本发明提供了一种模板更新的方法，使得在跟踪的过程中可以对模板进行加强，模板更能描绘目标的全貌，因此在数据集中极大的提升了效果；
其次，在训练的过程中，采用序列训练对模板增强模块进行训练中，不同层的模板的变化信息得到了更好的融合，也就是本发明相较与其他基于ResNet50的算法相比，本发明利用了不同层的层次信息使得模块更能捕捉目标变化的信息；
本发明的目标跟踪模型相比同类型的孪生网络算法，在长时跟踪的能力上有较大的提升；
由于本发明的模板分支进行了加强，因此本发明提出的算法在面对很多复杂场景里，可以有更好的跟踪能力，例如在面对光照变化，目标大小变化，目标面对遮挡等情况时侯，本发明在数据集的标注的这些方面的时评序列的得分都更加高。
本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。

Claims (6)

1.基于孪生网络的单目标跟踪方法，其特征在于，包括：
S1、获取训练样本；
S2、基于resnet-50网络建立跟踪孪生网络和三个模板增强模块，三个模板增强模板均为权重共享网络，跟踪孪生网络包括模板分支和搜索分支，模板分支和搜索分支为两个完全相同的resnet-50网络，三个模板增强模块分别用于加强模板分支的第三层、第四层和第五层提取到的特征；
S3、训练样本导入跟踪孪生网络获得第三层、第四层和第五层的模板，模板包括初始模板、累计模板和当前帧模板；
S4、根据第三层、第四层和第五层的模板对三个模板增强模块进行优化训练；
S5、优化后的三个模板增强模块分别加入到模板分支的第三层、第四层和第五层之后获得目标跟踪模型；
S6、将需要跟踪的视频帧导入目标跟踪模型进行跟踪。
2.根据权利要求1所述的基于孪生网络的单目标跟踪方法，其特征在于，在S3中，对初始模板和上一帧的模板进行线性加权拟合获得累积模板
Figure FDA0003291475890000011
Figure FDA0003291475890000012
其中φi(z0)代表初始模板，φi(zt-1)代表上一帧的模板，z是输入图片以目标中心为中心截取的一块区域，φi代表孪生网络中提取特征的网络结构，γ设置为0.0102，训练数据集中的真实值用下一帧的数据来拟合，模板增强模块是一个三输入的残差结构，模板增强模块的公式为
Figure FDA0003291475890000013
Figure FDA0003291475890000014
其中
Figure FDA0003291475890000015
是跟踪孪生网络生成的用来检测的模板，
Figure FDA0003291475890000016
是t-1时刻生成的模板，φi(zt)是当前帧的模板也是代表当前跟踪孪生网络的生成步骤，
Figure FDA0003291475890000017
是模块的网络结构。
3.根据权利要求2所述的基于孪生网络的单目标跟踪方法，其特征在于，在S4中通过集成训练、并行训练和序列训练中任一种训练方式对三个模板增强模块进行优化训练；
并行训练具体包括：第三层、第四层和第五层的模板分别对三个模板增强模块进行训练，计算每个模板增强模块的损失值，并更新每个模板增强模块的权重，计算损失值L为
Figure FDA0003291475890000021
其中
Figure FDA0003291475890000022
是每一层模板训练的输出，GT是跟踪孪生网络所生成的真实值，α是模板增强模块的权重，α的初始值设置为1；
集成训练具体包括：第三层、第四层和第五层的模板并行一起对模板增强模块进行训练，计算模板增强模块的损失值，并更新模板增强模块的权重，计算损失值L为
Figure FDA0003291475890000023
序列训练具体包括：第三层的模板对第一个模板增强模块进行训练，计算第一个模板增强模块的损失值，并更新第一个模板增强模块的权重，计算损失值L为
Figure FDA0003291475890000024
其中
Figure FDA0003291475890000025
GT是跟踪孪生网络所生成的真实值，α1是模板增强模块的权重，α1的初始值设置为1；更新后的第一个模板增强模块作为第二个模板增强模块，第四层的模板对第二个模板增强模块进行训练，计算第二个模板增强模块的损失值，并更新第二个模板增强模块的权重，计算损失值L为
Figure FDA0003291475890000026
GT是跟踪孪生网络所生成的真实值，α2是第二个模板增强模块的权重；更新后的第二个模板增强模块作为第三个模板增强模块，第五层的模板对第三个模板增强模块进行训练，计算第三个模板增强模块的损失值，并更新第三个模板增强模块的权重，计算损失值L为
Figure FDA0003291475890000027
Figure FDA0003291475890000028
GT是跟踪孪生网络所生成的真实值，α3是第三个模板增强模块的权重。
4.根据权利要求1所述的基于孪生网络的单目标跟踪方法，其特征在于，在S6中包括：
S61、需要跟踪视频帧进行第i次的目标跟踪时，以第t时刻的帧给定的目标框bi为中心进行裁剪缩放，第t时刻的帧缩放的尺寸为127*127，第t+1时刻帧及其之后帧的缩放尺寸为255*255，并导入目标跟踪模型；
S62、缩放后的第t帧作为模板进入模板分支获得模板特征，缩放后的第二帧及其之后帧进入搜索分支获得搜索特征；
S63、模板特征和搜索特征输入卷积头进行计算相关获得分类响应图和回归响应图；
S64、通过分类响应图计算惩罚因子加上余弦窗解决边界效应；
S65、找出惩罚处理后分类响应图最高点的位置并记作索引；
S66、通过索引寻找回归响应图的对应4个值并计算目标框的便宜；
S67、回到原图输出第i次搜索的目标框的位置信息；
S68、更新增强第i+1次搜索的模板，令i＝i+1并返回S61。
5.根据权利要求3所述的基于孪生网络的单目标跟踪方法，其特征在于，在S63中分类响应图为
Figure FDA0003291475890000031
回归响应图为
Figure FDA0003291475890000032
其中αi代表不同层的特征对最后得分图的权重，βi代表不同层的特征对最后得分图的权重，θ代表E的权重，φi(x)为搜索分支的搜索特征，*代表进行相关计算。
6.根据权利要求3所述的基于孪生网络的单目标跟踪方法，其特征在于，在S68中，更新增强第i+1次搜索的模板包括：
a、根据目标框的位置bi和第t时刻的帧的图片得到zt；
b、将zt输入目标网络得到φ3(zt),φ4(zt)和φ5(zt)；
c、利用前面的模板生成新的模板
Figure FDA0003291475890000041
Figure FDA0003291475890000042
Figure FDA0003291475890000043
其中
Figure FDA0003291475890000044
时是模板增强模块生成的第三层的模板，φ3是ResNet50的第3层的输出，φ4是ResNet50的第4层的输出，φ5是ResNet50的第5层的输出；
d、用新生成的模板
Figure FDA0003291475890000045
更新以前记录的
Figure FDA0003291475890000046
用新生成的模板
Figure FDA0003291475890000047
更新以前记录的
Figure FDA0003291475890000048
用新生成的模板
Figure FDA0003291475890000049
更新以前记录的
Figure FDA00032914758900000410
CN202111165301.6A 2021-09-30 2021-09-30 基于孪生网络的单目标跟踪方法 Active CN113870312B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111165301.6A CN113870312B (zh) 2021-09-30 2021-09-30 基于孪生网络的单目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111165301.6A CN113870312B (zh) 2021-09-30 2021-09-30 基于孪生网络的单目标跟踪方法

Publications (2)

Publication Number Publication Date
CN113870312A true CN113870312A (zh) 2021-12-31
CN113870312B CN113870312B (zh) 2023-09-22

Family

ID=79001535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111165301.6A Active CN113870312B (zh) 2021-09-30 2021-09-30 基于孪生网络的单目标跟踪方法

Country Status (1)

Country Link
CN (1) CN113870312B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870330A (zh) * 2021-09-30 2021-12-31 四川大学 基于特定标签和损失函数的孪生视觉跟踪方法
CN116486203A (zh) * 2023-04-24 2023-07-25 燕山大学 一种基于孪生网络和在线模板更新的单目标跟踪方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191491A (zh) * 2018-08-03 2019-01-11 华中科技大学 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统
CN111179307A (zh) * 2019-12-16 2020-05-19 浙江工业大学 一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法
CN111291679A (zh) * 2020-02-06 2020-06-16 厦门大学 一种基于孪生网络的目标特定响应注意力目标跟踪方法
CN111354017A (zh) * 2020-03-04 2020-06-30 江南大学 一种基于孪生神经网络及平行注意力模块的目标跟踪方法
US20200364882A1 (en) * 2019-01-17 2020-11-19 Beijing Sensetime Technology Development Co., Ltd. Method and apparatuses for target tracking, and storage medium
CN112132856A (zh) * 2020-09-30 2020-12-25 北京工业大学 一种基于自适应模板更新的孪生网络跟踪方法
CN112164094A (zh) * 2020-09-22 2021-01-01 江南大学 一种基于孪生网络的快速视频目标跟踪方法
CN112184752A (zh) * 2020-09-08 2021-01-05 北京工业大学 一种基于金字塔卷积的视频目标跟踪方法
CN113192124A (zh) * 2021-03-15 2021-07-30 大连海事大学 一种基于孪生网络的图像目标定位方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191491A (zh) * 2018-08-03 2019-01-11 华中科技大学 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统
US20200364882A1 (en) * 2019-01-17 2020-11-19 Beijing Sensetime Technology Development Co., Ltd. Method and apparatuses for target tracking, and storage medium
CN111179307A (zh) * 2019-12-16 2020-05-19 浙江工业大学 一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法
CN111291679A (zh) * 2020-02-06 2020-06-16 厦门大学 一种基于孪生网络的目标特定响应注意力目标跟踪方法
CN111354017A (zh) * 2020-03-04 2020-06-30 江南大学 一种基于孪生神经网络及平行注意力模块的目标跟踪方法
CN112184752A (zh) * 2020-09-08 2021-01-05 北京工业大学 一种基于金字塔卷积的视频目标跟踪方法
CN112164094A (zh) * 2020-09-22 2021-01-01 江南大学 一种基于孪生网络的快速视频目标跟踪方法
CN112132856A (zh) * 2020-09-30 2020-12-25 北京工业大学 一种基于自适应模板更新的孪生网络跟踪方法
CN113192124A (zh) * 2021-03-15 2021-07-30 大连海事大学 一种基于孪生网络的图像目标定位方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DAQUN LI等: "Object tracking framework with Siamese network and re-detection mechanism" *
MIN JIANG等: "Mutual learning and feature fusion Siamese networks for visual object tracking" *
QIAN CHEN等: "RGB-D Salient Object Detection via 3D Convolutional Neural Networks" *
才华等: "基于动态模板更新的孪生网络目标跟踪算法" *
柳赟等: "基于自适应模板更新的改进孪生卷积网络目标跟踪算法" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870330A (zh) * 2021-09-30 2021-12-31 四川大学 基于特定标签和损失函数的孪生视觉跟踪方法
CN113870330B (zh) * 2021-09-30 2023-05-12 四川大学 基于特定标签和损失函数的孪生视觉跟踪方法
CN116486203A (zh) * 2023-04-24 2023-07-25 燕山大学 一种基于孪生网络和在线模板更新的单目标跟踪方法
CN116486203B (zh) * 2023-04-24 2024-02-02 燕山大学 一种基于孪生网络和在线模板更新的单目标跟踪方法

Also Published As

Publication number Publication date
CN113870312B (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
Zou et al. Robust lane detection from continuous driving scenes using deep neural networks
CN112560656B (zh) 一种联合注意力机制端到端训练的行人多目标跟踪方法
CN108682022B (zh) 基于对抗迁移网络的视觉跟踪方法及系统
CN113870312B (zh) 基于孪生网络的单目标跟踪方法
CN109800712B (zh) 一种基于深度卷积神经网络的车辆检测计数方法及设备
CN112651262B (zh) 一种基于自适应行人对齐的跨模态行人重识别方法
CN109934846A (zh) 基于时间和空间网络的深度集成目标跟踪方法
WO2024021394A1 (zh) 全局特征与阶梯型局部特征融合的行人重识别方法及装置
CN111950393A (zh) 一种基于边界搜索智能体的时序动作片段分割方法
CN115331183A (zh) 改进YOLOv5s的红外目标检测方法
CN114550053A (zh) 一种交通事故定责方法、装置、计算机设备及存储介质
CN115147459A (zh) 基于Swin Transformer的无人机目标跟踪方法
Chen et al. An interactive semantic video mining and retrieval platform--application in transportation surveillance video for incident detection
Shao et al. Failure detection for motion prediction of autonomous driving: An uncertainty perspective
He et al. Multi-level progressive learning for unsupervised vehicle re-identification
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
Chu et al. Illumination-guided transformer-based network for multispectral pedestrian detection
CN116342648A (zh) 基于混合结构注意力引导的孪生网络目标跟踪方法
Ye et al. M2F2-Net: Multi-Modal Feature Fusion for Unstructured Off-Road Freespace Detection
CN113887501A (zh) 行为识别方法、装置、存储介质及电子设备
CN114511740A (zh) 车辆图像分类方法、车辆轨迹还原方法、装置及设备
CN114140524A (zh) 一种多尺度特征融合的闭环检测系统及方法
CN112561956A (zh) 视频目标跟踪方法、装置、电子设备及存储介质
CN112598115A (zh) 一种基于非局部邻关系学习的深度神经网络层次分析方法
CN116486203B (zh) 一种基于孪生网络和在线模板更新的单目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant