CN112215080B - 一种利用时序信息的目标跟踪方法 - Google Patents

一种利用时序信息的目标跟踪方法 Download PDF

Info

Publication number
CN112215080B
CN112215080B CN202010974350.3A CN202010974350A CN112215080B CN 112215080 B CN112215080 B CN 112215080B CN 202010974350 A CN202010974350 A CN 202010974350A CN 112215080 B CN112215080 B CN 112215080B
Authority
CN
China
Prior art keywords
frame
convolution
network
candidate
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010974350.3A
Other languages
English (en)
Other versions
CN112215080A (zh
Inventor
王正宁
曾浩
赵德明
彭大伟
曾仪
刘怡君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010974350.3A priority Critical patent/CN112215080B/zh
Publication of CN112215080A publication Critical patent/CN112215080A/zh
Application granted granted Critical
Publication of CN112215080B publication Critical patent/CN112215080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences

Abstract

本发明公开了一种利用时序信息的目标跟踪方法，涉及图像处理和计算机视觉领域。该方法使用的方法关键步骤分为如下两个阶段，其中第一阶段输入第一帧与搜索帧，第二阶段输出目标在搜索框上的位置。本发明在特征提取阶段使用非对称卷积模块，选择三种不同形态的卷积核共同使用提升了模型对图像翻转和旋转的鲁棒性，提高网络的抗旋转鲁棒性。在候选框精修中，使用双径候选框分类回归网络，分类支路与回归支路分别处理候选框的分类结果与精修后的候选框，相比单纯依赖卷积网络或全连接网络的网络，进一步提高了结果精度。同时利用时序信息进行目标跟踪后处理，选择更加契合之前结果的跟踪框，减少错误跟踪目标的情况发生。

Description

一种利用时序信息的目标跟踪方法
技术领域
本发明属于图像处理和计算机视觉领域，具体涉及一种利用时序信息的目标跟踪方法。
背景技术
视觉跟踪是计算机视觉中一项基础性但具有挑战性的任务。在过去的几十年里，这一领域取得了大的进展。视觉目标跟踪是在视频序列的每一帧中估计目标对象的状态的任务。最常见的情况下状态表示为一个包围目标的边界框。由于遮挡、尺度变化、背景杂波、快速运动、光照变化和外观变化等因素的影响，导致在处理复杂情况下的目标跟踪问题仍旧是具有挑战性的。
基于相关滤波的目标跟踪运算曾是目标跟踪的主流，特点是运算速度快。该类算法通过获得特定参数相关滤波器并在线更新来进行目标跟踪。发明专利“基于相关滤波的抗遮挡目标跟踪方法，公开号：CN109299735A”是一种典型的基于相关滤波的目标跟踪算法，为了提升该类算法在目标跟踪时的抗遮挡能力，其分别对目标的平移与目标的尺度进行估计，从而获得目标跟踪的结果。如果出现了丢失目标的情况，则采用在线分类器的检测结果来完成目标的重跟踪。而深度学习的崛起使得神经网络在目标跟踪方面的应用日益增多，深度神经网络强大的特征提取能力是其流行的重要原因。基于相关滤波的发明专利“基于分层卷积特征的长时间目标跟踪方法及系统，公开号：CN109087337A”不再使用手工设计的特征提取器，而采用深度卷积网络对每一帧的数据进行特征提取，使得提取出的特征和数据具有更强的关联性、匹配性。但随着数据量的激增，传统方法没有充分利用数据的问题开始显现，而深度学习则是一种非常依赖数据的方法，逐渐完全依赖深度神经网络的方法开始发展。目前主流的一种用于目标跟踪的神经网络结构便是孪生网络结构。孪生网络的根本思想是在获得跟踪目标在搜索区域不同位置的匹配程度，进而确定跟踪目标的状态。通过两个在结构与参数上完全一致的卷积神经网络来提取跟踪目标与搜索区域的特征，通过对这两个特征进行相关性运算，获得跟踪目标在搜索区域上的相关性特征。再通过对相关性特征的处理，确定被跟踪目标。孪生网络的“孪生”便体现在这两个完全一致的特征提取网络上。Distractor-aware si amese networks for visual object tracking[C]，ZhuZ,Wang Q,Li B,et al.，Proceedings of the European Conference on ComputerVision(ECCV).2018:101-117是一种典型的使用孪生网络的目标跟踪算法，在获得跟踪目标与搜索区域的特征后，通过对这两个特征进行处理与相关运算后得到被跟踪目标的位置与形态。该方法提出于孪生网络发展早期，其在特征的提取上还存在提取能力不足的问题，同时鲁棒性不佳，对目标位置的回归不够准确。Siamrpn++:Evolution of siamese visualtracking with very deep networks[C]，Li B,Wu W,Wang Q,et al.，Proceedings ofthe IEEE Conference on Computer Vision and Pattern Recognition.2019:4282-4291是Distractor-aware siamese networks for visual object tracking[C]，Zhu Z,WangQ,Li B,et al.，Proceedings of the European Conference on Computer Vision(ECCV).2018:101-117的改进方法，通过使用更强的特征提取网络提取更深的特征，利用了不同深度的特征来提升网络的多尺度检测能力，级联使用区域候选网络来提升网络的鲁棒性与检测性能。但这种方法在后处理上存在缺陷，在有多个与跟踪目标相似对象存在的情况下，容易产生错误跟踪的情况，从而跟丢目标。
现阶段基于深度学习的目标跟踪算法还在继续发展，为了提升神经网络在目标跟踪上的鲁棒性与准确性，综合分析现阶段目标跟踪算法的缺陷与不足，在特征提取阶段加入非对称卷积模块来提升网络目标跟踪的鲁棒性。使用设计的双径候选框分类回归网络来提升对候选框分类与回归的精确度。利用时序信息进行目标跟踪后处理以获得更加准确的跟踪框，减少错误跟踪目标的情况发生。
发明内容
本发明是一种利用区域候选网络与候选框分类回归网络完成在全局视野内的跟踪目标搜索，并使用时序信息进行后处理来确定跟踪目标状态的两阶段方法。涉及卷积神经网络，目标跟踪后处理，候选框分类回归网络等一系列内容。
本发明属于图像处理和计算机视觉领域，用于视觉单目标跟踪。本发明使用的方法关键步骤分为如下两个阶段。其中第一阶段输入第一帧与搜索帧，第二阶段输出目标在搜索框上的位置。
第一阶段：使用具有非对称卷积结构的卷积神经网络来提取跟踪目标与整个搜索帧的特征，将两个特征进行相关运算得到跟踪目标在整个搜索帧上的全局相关性特征。将全局相关性特征送入带有导向锚框结构的区域候选网络，获得跟踪目标的候选区域与分类。提取出搜索帧特征上属于不同候选区域的特征，这些候选区域特征与跟踪目标特征进行相关运算后送入双径候选框分类回归网络，将一系列候选框进行精修，获得结果框。
第二阶段：在连续帧的跟踪中，利用当前搜索帧的跟踪结果和之前搜索帧的跟踪结果，通过后处理选出当前搜索帧最终的跟踪目标边界框。
本发明在特征提取阶段使用非对称卷积模块，选择三种不同形态的卷积核共同使用提升了模型对图像翻转和旋转的鲁棒性，提高网络的抗旋转鲁棒性。在候选框精修中，使用双径候选框分类回归网络，分类支路与回归支路分别处理候选框的分类结果与精修后的候选框，相比单纯依赖卷积网络或全连接网络的网络，可以进一步提高结果精度。利用时序信息进行目标跟踪后处理，根据一定的标准，选择更加契合之前结果的跟踪框，减少错误跟踪目标的情况发生。
附图说明
图1为本发明的跟踪网络整体结构图
图2为本发明训练阶段非对称卷积操作的示意图
图3为本发明推理阶段非对称卷积操作的示意图
图4为本发明的区域候选网络示意图
图5为本发明的双径候选框分类回归网络示意图
具体实施方式
下面结合附图对本发明的具体实施方式以及工作原理作进一步详细说明。
本发明属于图像处理和计算机视觉领域，用于视觉单目标跟踪。本发明使用的方法关键步骤分为如下两个阶段。其中第一阶段输入第一帧与搜索帧，第二阶段输出目标在搜索框上的位置。
第一阶段：使用具有非对称卷积结构的卷积神经网络来提取跟踪目标与整个搜索帧的特征，将两个特征进行相关运算得到跟踪目标在整个搜索帧上的全局相关性特征。将全局相关性特征送入带有导向锚框结构的区域候选网络，获得跟踪目标的候选区域与分类。提取出搜索帧特征上属于不同候选区域的特征，这些候选区域特征与跟踪目标特征进行相关运算后送入双径候选框分类回归网络，将一系列候选框进行精修，获得结果框。第一阶段网络的整体结构见图1。
第二阶段：在连续帧的跟踪中，利用当前搜索帧的跟踪结果和之前搜索帧的跟踪结果，通过后处理选出当前搜索帧最终的跟踪目标边界框。
本发明提出的一种利用时序信息的目标跟踪方法的具体步骤如下：
1)、使用两个结构相同、参数共享的深度残差网络ft(·)与fs(·)，分别提取标注有跟踪目标边界框的第一帧t的特征Ft＝ft(t)和任意待找出跟踪目标的搜索帧s的特征Fs＝fs(s)。其中，在ft(·)与fs(·)的第三、第四、第五个网络区块中加入了非对称卷积模块。
2)、采用非对称卷积模块进行非对称卷积是除传统的k×k卷积核进行的卷积操作外，加上1×k卷积核与k×1卷积核进行的卷积，将3种卷积结果进行融合，获得非对称卷积的结果。非对称卷积在训练阶段与推理阶段的融合存在不同。在训练阶段，如图2所示，先进行三种不同的卷积操作，再将卷积结果进行点对点相加，获得非对称卷积的结果(训练阶段：通过优化损失函数，不断学习更新网络参数的阶段)。
3)、在推理阶段，先将训练阶段获得的3种不同的卷积核进行融合，获得一个k×k卷积核，进行普通的k×k卷积，完成推理阶段的非对称卷积。卷积的融合方式如图3所示，将1×k卷积核与k×1卷积核以“十字交叉”的方式与k×k卷积核进行点对点相加(推理阶段：网络实际使用阶段，网络不再进行优化，通过输入得到输出)。
之所以在推理阶段先卷积核融合再进行卷积，是因为这样做的结果与训练阶段的先卷积再融合的结果相同，而且如此可以减少推理阶段的计算量，只需要进行一次卷积操作就可以获得融合后的结果。
4)、获得Ft后，根据t所标注的跟踪目标信息，使用感兴趣区域一致划分(ROIAlign)，将Ft中的跟踪目标特征FtR提取出来。将FtR与Fs进行卷积相关运算，获得相关性特征
Figure BDA0002685241870000048
将此相关性特征送入区域候选网络，获得一系列候选区域。
进行卷积相关的具体步骤表达如下：
Figure BDA0002685241870000041
其中fs1(·)与ft1(·)是两个分别用于对Fs与FtR进行特征映射的卷积层，
Figure BDA0002685241870000045
代表卷积运算，fout1(·)是一个用于调整fs1(Fs)与ft1(FtR)通道的卷积层。
5)、本发明所使用的区域候选网络如图4所示，将
Figure BDA0002685241870000046
通过一系列卷积操作后获得一系列候选框的置信度与位置大小。设置k类候选框，通过尺度为[w,h,c1]的
Figure BDA0002685241870000047
可以得到w×h×k个候选框的结果，网络输出[w,h,k]的置信度与[w,h,4k]的候选框状态信息。
在实际训练时，由于区域候选网络有两个输出，所以区域候选网络的损失
Figure BDA0002685241870000042
包括两个部分：候选框分类损失
Figure BDA0002685241870000043
与候选框回归损失
Figure BDA0002685241870000044
Figure BDA0002685241870000051
其中，λ用于损失平衡。
Figure BDA0002685241870000052
使用交叉熵损失，
Figure BDA0002685241870000053
使用SmoothL1 Loss。
6)、获得候选框后，按照每个候选框所对应区域，使用感兴趣区域一致划分(ROIAlign)将不同区域的Fs提取出来，获得一组候选框区域特征FsR。将每一个FsR与FtR进行哈达玛(Hadamard)相关运算，获得的候选框相关性特征
Figure BDA00026852418700000512
进行哈达玛(Hadamard)相关运算的具体步骤表达如下：
Figure BDA00026852418700000513
其中fs2(·)与ft2(·)是两个分别用于对FsR与FtR进行特征映射的卷积层，⊙代表哈达玛(Hadamard)积，fout2(·)是一个用于调整fs2(Fs)与ft2(FtR)通道的卷积层。
7)、将
Figure BDA0002685241870000054
送入双径候选框分类回归网络，如图5所示，网络共分为两条支路，回归支路用于回归候选框结果，得到结果框。分类支路用于对候选框进行分类，得到结果框的置信度信息。在回归支路将
Figure BDA0002685241870000055
送入到卷积网络中，获得回归特征，通过平均池化将其变为1维向量后，再通过全连接层回归获得结果框。在分类支路将
Figure BDA0002685241870000056
拉直后送入到全连接网络获得分类特征，再通过全连接层获得分类结果框的分类结果，也就是其置信度。
在训练时，由于通过每个
Figure BDA0002685241870000057
都会得到一组结果框与置信度。所以双径候选框分类回归网络的损失
Figure BDA0002685241870000058
为：
Figure BDA0002685241870000059
其中λ′用于损失平衡。
Figure BDA00026852418700000510
使用交叉熵损失，
Figure BDA00026852418700000511
使用SmoothL1 Loss。
8)、网络输出当前帧的一系列跟踪结果框以及置信度，结合之前帧的检测结果，通过后处理选出当前搜索帧最终的跟踪目标边界框。一个视频中的被跟踪物体，其形态大小与位置不会产生突变。为了能利用到之前帧的定位信息同时不使得错误过度累积，本发明提出了一种新的后处理方式，使得目标可能的位置的置信度与前一帧的信息有关，通过将置信度与距离交并比(DIoU)相结合，来利用之前的结果信息。
利用前一帧最终结果框的信息，更新当前一系列结果框的置信度，更新方式用公式描述如下：
Figure BDA0002685241870000061
其中
Figure BDA0002685241870000062
代表当前第f帧第i个输出框的置信度，
Figure BDA0002685241870000063
代表
Figure BDA0002685241870000064
更新后的值。DIoU(·)用于计算当前第f帧第i个输出框
Figure BDA0002685241870000065
与上一帧最终确定的结果框
Figure BDA0002685241870000066
的DIoU值，DIoU值表示两个框的相似程度。α和γ用于平衡置信度与DIoU值，β与δ用于对置信度与DIoU这两个绝对值不超过1的值进行重新投影，进而减少错误累积。在本实施例中，α＝1，β＝2.25，γ＝1.2，δ＝1。
将当前第f帧的输出框的置信度都完成更新后，以更新后的置信度最高的框作为当前第f帧的跟踪目标结果框。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合；本领域的技术人员根据本发明技术方案的技术特征所做出的任何非本质的添加、替换，均属于本发明的保护范围。

Claims (2)

1.一种利用时序信息的目标跟踪方法，其特征在于，该方法包括以下步骤：
1)使用两个结构相同、参数共享的深度残差网络ft(·)与fs(·)，分别提取标注有跟踪目标边界框的第一帧t的特征Ft＝ft(t)和任意待找出跟踪目标的搜索帧s的特征Fs＝fs(s)，其中，分别在ft(·)与fs(·)的第三、第四、第五个网络区块中加入非对称卷积模块；
2)采用非对称卷积模块进行非对称卷积是除传统的k×k卷积核进行的卷积操作外，加上1×k卷积核与k×1卷积核进行的卷积，将3种卷积结果进行融合，获得非对称卷积的结果；非对称卷积在训练阶段与推理阶段的融合存在不同，在训练阶段，先进行三种不同的卷积操作，再将卷积结果进行点对点相加，获得非对称卷积的结果，其中训练阶段指通过优化损失函数，不断学习更新网络参数的阶段；
3)在推理阶段，先将训练阶段获得的3种不同的卷积核进行融合，获得一个k×k卷积核，进行普通的k×k卷积，完成推理阶段的非对称卷积，具体为将1×k卷积核与k×1卷积核以“十字交叉”的方式与k×k卷积核进行点对点相加，其中推理阶段指网络实际使用阶段，网络不再进行优化，通过输入得到输出的阶段；
之所以在推理阶段先卷积核融合再进行卷积，是因为这样做的结果与训练阶段的先卷积再融合的结果相同，而且可以减少推理阶段的计算量，只需要进行一次卷积操作就可以获得融合后的结果；
4)获得Ft后，根据t所标注的跟踪目标信息，使用感兴趣区域一致划分ROIAlign，将Ft中的跟踪目标特征FtR提取出来，将FtR与Fs进行卷积相关运算，获得相关性特征
Figure FDA0002685241860000013
将此相关性特征送入区域候选网络，获得一系列候选区域；
进行卷积相关运算的具体步骤表达如下：
Figure FDA0002685241860000011
其中fs1(·)与ft1(·)是两个分别用于对Fs与FtR进行特征映射的卷积层，
Figure FDA0002685241860000012
代表卷积运算，fout1(·)是一个用于调整fs1(Fs)与ft1(FtR)通道的卷积层；
5)区域候选网络将
Figure FDA0002685241860000014
通过一系列卷积操作后获得一系列候选框的置信度与位置大小，设置k类候选框，通过尺度为[w,h,c1]的
Figure FDA0002685241860000015
得到w×h×k个候选框的结果，网络输出[w,h,k]的置信度与[w,h,4k]的候选框状态信息；
在实际训练区域候选网络时，由于区域候选网络有两个输出，所以所述区域候选网络的损失
Figure FDA0002685241860000021
包括两个部分：候选框分类损失
Figure FDA0002685241860000022
与候选框回归损失
Figure FDA0002685241860000023
Figure FDA0002685241860000024
其中，λ用于损失平衡，
Figure FDA0002685241860000025
使用交叉熵损失，
Figure FDA0002685241860000026
使用SmoothL1 Loss；
6)获得候选框后，按照每个候选框所对应区域，使用感兴趣区域一致划分ROI Align将不同区域的Fs提取出来，获得一组候选框区域特征FsR，将每一个FsR与FtR进行哈达玛Hadamard相关运算，获得的候选框相关性特征
Figure FDA00026852418600000215
进行哈达玛Hadamard相关运算的具体步骤表达如下：
Figure FDA00026852418600000216
其中fs2(·)与ft2(·)是两个分别用于对FsR与FtR进行特征映射的卷积层，⊙代表哈达玛Hadamard积，fout2(·)是一个用于调整fs2(Fs)与ft2(FtR)通道的卷积层；
7)将
Figure FDA0002685241860000027
送入双径候选框分类回归网络，所述双径候选框分类回归网络共分为两条支路，回归支路用于回归候选框结果，得到结果框；分类支路用于对候选框进行分类，得到结果框的置信度信息；在回归支路将
Figure FDA0002685241860000028
送入到卷积网络中，获得回归特征，通过平均池化将其变为1维向量后，再通过全连接层回归获得结果框；在分类支路将
Figure FDA0002685241860000029
拉直后送入到全连接网络获得分类特征，再通过全连接层获得分类结果框的分类结果，也就是其置信度；
在训练双径候选框分类回归网络时，由于通过每个
Figure FDA00026852418600000210
都会得到一组结果框与置信度，所以双径候选框分类回归网络的损失
Figure FDA00026852418600000211
为：
Figure FDA00026852418600000212
其中λ′用于损失平衡，
Figure FDA00026852418600000213
使用交叉熵损失，
Figure FDA00026852418600000214
使用SmoothL1 Loss；
8)双径候选框分类回归网络输出当前帧的一系列跟踪结果框以及置信度，结合之前帧的检测结果，通过后处理选出当前搜索帧最终的跟踪目标边界框；由于一个视频中的被跟踪物体，其形态大小与位置不会产生突变，为了能利用到之前帧的定位信息同时不使得错误过度累积，采用后处理方式使得目标可能的位置的置信度与前一帧的信息有关，通过将置信度与距离交并比DIoU相结合，来利用之前的结果信息；
利用前一帧最终结果框的信息，更新当前一系列结果框的置信度，更新方式用公式描述如下：
Figure FDA0002685241860000031
其中
Figure FDA0002685241860000032
代表当前第f帧第i个输出框的置信度，
Figure FDA0002685241860000033
代表
Figure FDA0002685241860000034
更新后的值，DIoU(·)用于计算当前第f帧第i个输出框
Figure FDA0002685241860000035
与上一帧最终确定的结果框
Figure FDA0002685241860000036
的DIoU值，DIoU值表示两个框的相似程度；α和γ用于平衡置信度与DIoU值，β与δ用于对置信度与DIoU这两个绝对值不超过1的值进行重新投影，进而减少错误累积；
将当前第f帧的输出框的置信度都完成更新后，以更新后的置信度最高的框作为当前第f帧的跟踪目标结果框。
2.根据权利要求1所述的利用时序信息的目标跟踪方法，其特征在于，所述α＝1，β＝2.25，γ＝1.2，δ＝1。
CN202010974350.3A 2020-09-16 2020-09-16 一种利用时序信息的目标跟踪方法 Active CN112215080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010974350.3A CN112215080B (zh) 2020-09-16 2020-09-16 一种利用时序信息的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010974350.3A CN112215080B (zh) 2020-09-16 2020-09-16 一种利用时序信息的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN112215080A CN112215080A (zh) 2021-01-12
CN112215080B true CN112215080B (zh) 2022-05-03

Family

ID=74048927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010974350.3A Active CN112215080B (zh) 2020-09-16 2020-09-16 一种利用时序信息的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN112215080B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240708B (zh) * 2021-04-22 2022-03-25 中国人民解放军32802部队 一种用于跟踪无人机的双边流语义一致性方法
CN113592906B (zh) * 2021-07-12 2024-02-13 华中科技大学 一种基于标注帧特征融合的长视频目标跟踪方法及系统
CN114757970B (zh) * 2022-04-15 2024-03-08 合肥工业大学 一种基于样本平衡的多层级回归目标跟踪方法和跟踪系统
CN116758104B (zh) * 2023-08-21 2023-11-14 山东科技大学 一种基于改进GCNet的多实例人像抠图方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960086A (zh) * 2018-06-20 2018-12-07 电子科技大学 基于生成对抗网络正样本增强的多姿态人体目标跟踪方法
CN109711316A (zh) * 2018-12-21 2019-05-03 广东工业大学 一种行人重识别方法、装置、设备及存储介质
CN111161311A (zh) * 2019-12-09 2020-05-15 中车工业研究院有限公司 一种基于深度学习的视觉多目标跟踪方法及装置
CN111488795A (zh) * 2020-03-09 2020-08-04 天津大学 应用于无人驾驶车辆的实时行人跟踪方法
CN111523447A (zh) * 2020-04-22 2020-08-11 北京邮电大学 车辆跟踪方法、装置、电子设备及存储介质
CN111627050A (zh) * 2020-07-27 2020-09-04 杭州雄迈集成电路技术股份有限公司 一种目标跟踪模型的训练方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10957053B2 (en) * 2018-10-18 2021-03-23 Deepnorth Inc. Multi-object tracking using online metric learning with long short-term memory

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960086A (zh) * 2018-06-20 2018-12-07 电子科技大学 基于生成对抗网络正样本增强的多姿态人体目标跟踪方法
CN109711316A (zh) * 2018-12-21 2019-05-03 广东工业大学 一种行人重识别方法、装置、设备及存储介质
CN111161311A (zh) * 2019-12-09 2020-05-15 中车工业研究院有限公司 一种基于深度学习的视觉多目标跟踪方法及装置
CN111488795A (zh) * 2020-03-09 2020-08-04 天津大学 应用于无人驾驶车辆的实时行人跟踪方法
CN111523447A (zh) * 2020-04-22 2020-08-11 北京邮电大学 车辆跟踪方法、装置、电子设备及存储介质
CN111627050A (zh) * 2020-07-27 2020-09-04 杭州雄迈集成电路技术股份有限公司 一种目标跟踪模型的训练方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Distractor-aware si amese networks for visual object tracking;Zhu Z 等;《Proceedings of the European Conference on Computer Vision(ECCV)》;20181231;101-117 *
Siamrpn ++:Evolution of siamese visual tracking with very deep networks;Li B 等;《eedings of the IEEE Conference on Computer Vision and Pattern Recognition》;20191231;4282-4291 *
一种低参数的孪生卷积网络实时目标跟踪算法;罗朔 等;《计算机工程》;20200211;第47卷(第2期);84-89 *
面向车间人员宏观行为数字孪生模型快速构建的小目标智能检测方法;刘庭煜 等;《计算机集成制造系统》;20190615;第25卷(第6期);1463-1473 *

Also Published As

Publication number Publication date
CN112215080A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN112215080B (zh) 一种利用时序信息的目标跟踪方法
CN109145939B (zh) 一种小目标敏感的双通道卷积神经网络语义分割方法
CN112258554B (zh) 基于注意力机制的双流层次孪生网络目标跟踪方法
CN112184752A (zh) 一种基于金字塔卷积的视频目标跟踪方法
CN111767847B (zh) 一种集成目标检测和关联的行人多目标跟踪方法
CN105335986B (zh) 基于特征匹配和MeanShift算法的目标跟踪方法
CN109448015B (zh) 基于显著图融合的图像协同分割方法
CN112560656A (zh) 一种联合注意力机制端到端训练的行人多目标跟踪方法
CN108520530A (zh) 基于长短时记忆网络的目标跟踪方法
CN109934846A (zh) 基于时间和空间网络的深度集成目标跟踪方法
CN108830170B (zh) 一种基于分层特征表示的端到端目标跟踪方法
CN113744311A (zh) 基于全连接注意力模块的孪生神经网络运动目标跟踪方法
CN117252904B (zh) 基于长程空间感知与通道增强的目标跟踪方法与系统
CN111523463B (zh) 基于匹配-回归网络的目标跟踪方法及训练方法
CN112215079B (zh) 一种全局多阶段目标跟踪方法
CN114820712A (zh) 一种自适应目标框优化的无人机跟踪方法
CN112464900B (zh) 基于孪生网络的多模板视觉目标跟踪方法
CN111091583B (zh) 长期目标跟踪方法
CN116823885A (zh) 一种基于金字塔池化注意力机制的端到端单目标跟踪方法
CN111862147A (zh) 视频中多车辆和多行人目标的跟踪方法
CN116168060A (zh) 结合元学习的深度孪生网络目标跟踪算法
CN114529739A (zh) 一种图像匹配方法
Song et al. Skill Movement Trajectory Recognition of Freestyle Skiing U-Shaped Field Based on Deep Learning and Multitarget Tracking Algorithm
CN113298850A (zh) 一种基于注意力机制与特征融合的目标跟踪方法及系统
CN113808170B (zh) 一种基于深度学习的反无人机跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant