CN111144364B - 一种基于通道注意更新机制的孪生网络目标跟踪方法 - Google Patents

一种基于通道注意更新机制的孪生网络目标跟踪方法 Download PDF

Info

Publication number
CN111144364B
CN111144364B CN201911410558.6A CN201911410558A CN111144364B CN 111144364 B CN111144364 B CN 111144364B CN 201911410558 A CN201911410558 A CN 201911410558A CN 111144364 B CN111144364 B CN 111144364B
Authority
CN
China
Prior art keywords
template
target
tracking
channel
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911410558.6A
Other languages
English (en)
Other versions
CN111144364A (zh
Inventor
许廷发
郭倩玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Chongqing Innovation Center of Beijing University of Technology
Original Assignee
Beijing Institute of Technology BIT
Chongqing Innovation Center of Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT, Chongqing Innovation Center of Beijing University of Technology filed Critical Beijing Institute of Technology BIT
Priority to CN201911410558.6A priority Critical patent/CN111144364B/zh
Publication of CN111144364A publication Critical patent/CN111144364A/zh
Application granted granted Critical
Publication of CN111144364B publication Critical patent/CN111144364B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Abstract

本发明公开了一种基于通道注意更新机制的孪生网络目标跟踪方法，涉及图像处理领域，利用孪生网络提取特征，选取前景模板及背景模板，通过自适应通道选择机制突出目标模板特征与前景模板特征的相关性，激活有效前景通道抑制背景特征通道；通过候选区域生成网络生成初步跟踪结果，以置信度决策跟踪可信度触发模板更新机制，通过通道注意更新网络生成更新模板，并利用目标模板与更新模板进行再次跟踪，融合重跟踪结果，修正跟踪误差。提高了跟踪器的前景特征提取能力,改善了目标跟踪方法对背景干扰的判别能力,弥补了跟踪过程中不进行在线模板更新难以处理跟踪复杂情况的缺点，避免了跟踪漂移，使跟踪过程更为鲁棒，跟踪精度更为准确。

Description

一种基于通道注意更新机制的孪生网络目标跟踪方法
技术领域
本发明涉及图像处理领域，尤其涉及一种基于通道注意更新机制的孪生网络目标跟踪方法。
背景技术
目标跟踪是计算机视觉领域最基本的研究热点，在机器人、人机交互、智能车辆、监控等领域有着广泛的应用。虽然有大量的跟踪方法已经被提出来应用于各种场景，但由于诸如形变、遮挡、光照变化、背景杂乱、快速运动等因素的影响，鲁棒精准的视觉跟踪方法仍然难以实现。
近年来，孪生网络以其均衡的精度和速度在跟踪界引起了极大的关注。通过将目标跟踪定义为匹配问题，孪生跟踪方法旨在从大量视频中离线学习通用的相似函数。在这些方法中，孪生候选区域生成网络方法将目标检测的候选区域生成网络引入孪生网络中，利用锚点生成候选框，避免了多尺度检测，提高了跟踪精度和跟踪速度，在基于深度学习的目标跟踪方法中取得了很大进展。
由于孪生网络基于离线训练，在跟踪过程中以第一帧为模板，没有在线模板更新，因此在遇到遮挡，目标形态变化较大的复杂跟踪任务时很容易丢失目标，跟踪不够鲁棒。孪生网络跟踪方法基于相似性匹配原理判断目标位置，匹配过程中等价对待深度特征，无法对重点前景信息相关性有效建模，因此在跟踪过程中对相似物的干扰较为敏感容易导致跟踪失败，跟踪产生漂移后，无判断机制，随着跟踪错误累加，导致跟踪不可恢复。基于以上原因孪生网络跟踪方法难以在复杂和长时跟踪任务中取得较好效果。因此，在线动态建模更丰富的目标及模板外观特征，抑制背景特征信息干扰能够使孪生网络方法更好的适应跟踪过程中遇到的复杂挑战，提高跟踪器的鲁棒性和精确度。
发明内容
本发明所要解决的技术问题是：如何解决孪生候选区域生成网络方法在跟踪过程中因不进行模板更新，导致无法进行鲁棒跟踪且易受相似性物及背景干扰的问题。
针对上述问题，本发明提供了一种基于通道注意更新机制的孪生网络目标跟踪方法，包括以下步骤，
第一步，通过孪生网络提取目标模板特征及目标搜索区域特征；孪生网络分为目标分支及模板分支，目标分支与模板分支利用相同的卷积神经网络共享参数提取目标模板区域及目标搜索区域的的深度特征。
第二步，通过孪生网络提取模板前景特征及背景特征，通过自适应有效通道选择机制激活目标搜索区域有效特征通道；
以模板标注框为边界，划分前景模板区域及背景模板区域，利用相同特征提取网络建模前景、背景模板特征；通过卷积操作获得目标搜索区域特征每个通道对前景模板和背景模板的相关性响应值大小，根据响应值进行筛选，自适应激活有效前景相关特征通道，抑制背景相关特征通道；
第三步，利用候选区域生成网络判断目标位置生成目标框，得到初步跟踪结果；将模板特征及目标搜索区域特征输入候选区域生成网络，分类分支输出候选区域属于前景或背景的概率值，回归分支输出跟踪目标框偏移信息。
第四步，根据候选区域生成网络分类分支所得前景目标位置置信图的最大概率值为依据决定当前帧的跟踪结果是否可信，并判断是否需要再次跟踪，若是则触发通道注意模板更新机制；
当前景目标位置置信图的最大概率值高于或等于阈值时，则判断当前帧的跟踪结果可信；
当前景目标位置置信图的最大概率值低于阈值时，则判断当前帧的跟踪结果不可信；则以上一帧跟踪结果为中心选取与目标模板大小相同区域作为更新模板，利用相同特征提取网络获得更新模板特征，将更新模板特征与目标模板特征输入通道注意力网络，得到两模板特征自适应通道注意权重，利用通道注意力权重对目标模板特征及更新模板特征进行相应特征通道的激活或抑制，建模模板有效外观特征；
第五步，第四步判断如需要再次跟踪，利用更新模板跟踪置信图修正目标模板跟踪置信图，得到修正置信图，确定重跟踪目标定位，获得更精确的跟踪结果；
将通过注意更新网络生成的目标模板特征及更新模板特征与目标搜索区域特征输入孪生候选区域网络，分别得到分类结果及回归结果；将更新模板跟踪所得分类置信图进行归一化作为先验概率与目标模板重跟踪结果融合，以得到目标的更准确跟踪结果。
其中，第三步中所述阈值的赋值区间为[0.7，0.8]。
更进一步的，第二步具体包括，以模板区域目标框为边界，保留目标标注框内像素值不变将目标框外像素设置为0去除背景建模目标前景模板，将目标标注框内像素值设置为0目标框外像数值不变，去除前景目标保留目标框外像素值建模目标背景模板；
用参数共享的孪生网络提取特征得到前景模板特征与背景模板特征，搜索区域特征分别与前景、背景和目标模板特征卷积得到每个搜索区域特征通道对于前景的响应、背景的响应和对模板的响应；
将前景、背景与搜索区域特征与目标模板响应的比值称为前景响应值和背景响应值；
根据跟踪场景的实际复杂程度设置自适应前景响应阈值及背景响应阈值，筛选目标搜索区域前景响应值，比自适应前景响应阈值大的通道赋以第一自适应权重；筛选背景响应值，比自适应背景响应阈值大的通道赋以第二自适应权重；以突出有效前景信息，抑制背景信息干扰。
更进一步的，所述第一自适应权重的赋值区间为[1，2]；第二自适应权重的赋值区间为[0，0.5]。
更进一步的，第四步具体包括，以上一帧跟踪结果为中心截取与模板分支大小相同的固定区域作为更新模板，利用参数共享的孪生网络提取更新模板特征；利用更新模板特征与目标模板特征构建通道注意网络，将目标模板特征和更新模板特征进行通道维度的拼接，得到联合模板特征，利用联合模板特征、目标模板特征和更新模板特征构建通道注意力网络；对上述三个模板特征在空间维度上进行特征压缩，将每个二维的特征通道通过平均池化变成第一特征值；通过最大池化将二维特征变成第二特征值；
通过全连接层F进行各通道之间相关性的融合，实现通道维度的对齐；两特征值相加所得通道权值输出维度与输入的特征通道数相匹配；
计算目标模板通道注意力权值及更新模板注意力权值与联合通道注意权值的比重权值系数，该系数动态调整对目标模板及更新模板特征两分支的关注程度，通过激励函数，显式地建模两特征间的相关性，为每个模板的响应特征通道生成权重。
通过元素级点乘操作用通道注意权重对模板特征各通道进行激活或抑制，完成在通道维度上对模板特征的重标定，从而达到自适应选择有效模板信息，抑制干扰信息的目的。
更进一步的，第五步具体包括，利用目标模板特征及更新模板特征进行再次跟踪，分别得到两模板匹配所得分类分支前景置信图，将更新模板跟踪置信图归一化，作为先验概率与目标模板跟踪置信图相乘以修正位置预测概率值，选择置信图中概率最大值定位为预测目标。
本发明的效果和益处：本发明提出的基于自适应通道注意更新机制的孪生候选区域生成网络目标跟踪方法，在孪生候选区域生成网络的基础上加入自适应通道有效选择机制及通道注意更新网络，通过轻量的通用模块自适应的调整通道特征，突出有效特征抑制干扰信息，有效的避免了由于跟踪模板不更新而难以适应跟踪过程中遇到的遮挡及形变对跟踪带来的困扰，缓解跟踪目标漂移情况的产生，显著提高该方法的鲁棒性及跟踪精度。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1为本发明基于通道注意更新机制的孪生网络目标跟踪方法的框架图；
图2为通道注意更新网络的结构示意图；
图3为成功率曲线对比图。
具体实施方式
本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
本发明提出了一种基于通道注意更新机制的孪生网络目标跟踪方法，利用自适应有效通道选择机制激活前景相关重点目标模板特征，通过通道注意更新网络更新匹配模板，从而适应复杂跟踪任务，提高跟踪效果。
具体技术方案是，在孪生候选区域网络跟踪方法的基础上，引入自适应有效通道选择机制，从而关注目标区域有效前景特征通道，抑背景信息的干扰。在跟踪过程中在线判断初步跟踪结果的可信度，触发网络更新机制，利用通道注意更新网络更新模板特征，通过联合注意力分配机制进行目标模板特征及更新模板特征特征重标定，自动获取每个特征通道的重要程度，保留原有模板原始特征的同时为其在线建模更丰富的外观特征。融合重跟踪置信图修正目标定位概率值以获得更准确跟踪结果。对此网络进行端到端训练，将网络输出预测目标位置及候选框偏移量与标注值之间的损失函数值进行梯度下降方法反向传播，特征提取网络卷积层固定前三层参数。
基于自适应通道注意更新机制孪生候选区域生成网络跟踪方法如图1所示，包括以下步骤：
第一步，通过孪生网络提取目标模板特征及目标搜索区域特征；
孪生网络分为目标分支及模板分支，目标分支与模板分支利用相同的卷积神经网络共享参数提取目标模板区域及目标搜索区域的的深度特征。
具体为，构建训练数据集，进行数据预处理。利用开源可视化数据库ImageNet和youtub-bb构建训练数据集。将待跟踪视频或图像的第一帧作为跟踪模板，选取固定大小目标区域作为模板z,以上一帧跟踪结果作为当前帧目标搜索区域中心，选取固定大小的目标搜索区域x，通过参数共享的孪生网络提取模板特征
Figure GDA0003678417330000061
及目标模板特征
Figure GDA0003678417330000062
第二步，提取模板前景特征及背景特征，通过自适应有效通道选择机制激活目标搜索区域有效特征通道；
为抑制背景特征干扰突出前景特征重要性，以模板标注框为边界，划分前景模板区域及背景模板区域，利用相同特征提取网络建模前景、背景模板特征。通过卷积操作获得目标搜索区域特征每个通道对前景模板和背景模板的相关性响应值大小，根据响应值进行筛选，自适应激活有效前景相关特征通道，抑制背景相关特征通道。
具体为，以模板区域目标框为边界，保留目标标注框内像素值不变将目标框外像素设置为0去除背景建模目标前景模板zf，将目标标注框内像素值设置为0去除前景目标保留目标框外像素值建模目标背景模板zb。
用相同的网络提取特征得到前景模板特征
Figure GDA0003678417330000063
与背景模板特征
Figure GDA0003678417330000064
搜索区域特征分别与前景、背景、目标模板特征卷积得到每个搜索区域特征通道对于前景的响应q∈Rc、背景的响应b∈Rc和对模板的响应a∈Rc,c为特征通道数，H和W分别为各个通道卷积响应图的长宽大小。
Figure GDA0003678417330000065
Figure GDA0003678417330000066
Figure GDA0003678417330000067
将前景、背景与搜索区域特征与目标模板响应ac的比值称为前景响应值Af∈Rc和背景响应值Ab∈Rc。
Figure GDA0003678417330000068
Figure GDA0003678417330000071
根据跟踪场景的实际复杂程度设置自适应前景响应阈值T1及背景响应阈值T2筛选目标搜索区域前景响应值Af,i大的通道赋以较大的自适应权重Qf，取值范围[1,2]，其中i∈c。筛选背景响应值Ab,j较大的通道赋以较小的自适应权重Qb,取值范围[0,0.5]，其中j∈c，以突出有效前景信息，抑制背景信息干扰。
Figure GDA0003678417330000072
第三步，利用候选区域生成网络判断目标位置生成目标框，得到初步跟踪结果；
将模板特征及目标搜索区域特征输入候选区域生成网络，分类分支输出候选区域属于前景或背景的概率值，回归分支输出跟踪目标框偏移信息。
具体为，将目标模板特征x及模板特征z输入候选区域生成网络，通过卷积操作得到分类定位结果Bcls'∈Rw×h×2k及回归结果Breg∈Rw×h×4k。w和h分别为卷积结果长宽维度，k为候选区域生成网络锚点数。
Figure GDA0003678417330000073
Figure GDA0003678417330000074
分类分支代表锚点为背景或前景的概率，回归分支输出目标框的偏移量信息。根据分类分支所得前景目标位置置信图的最大值判断当前帧的跟踪效果如果低于阈值，则认为当前帧的跟踪结果不可信，应该进行模板更新，所诉阈值的取值范围为[0.7,0.8]。
第四步，根据候选区域生成网络分类分支所得前景目标位置置信图的最大概率值为依据决定当前帧的跟踪结果可信，判断是否需要再次跟踪，若不可信则触发通道注意模板更新机制。如当前帧最大置信度低于阈值，则表明目标在当前帧跟踪过程中初步跟踪结果不可靠，需要进行模板更新。
以上一帧跟踪结果为中心选取与目标模板大小相同区域作为更新模板，利用相同特征提取网络获得更新模板特征，如图2所示，将更新模板特征与目标模板特征输入通道注意力网络，得到两模板特征自适应通道注意权重，利用通道注意力权重对目标模板特征及更新模板特征进行相应特征通道的激活或抑制，建模模板有效外观特征。
具体为，以上一帧跟踪结果为中心截取与模板分支大小相同的固定区域zup作为更新模板，利用相同参数的特征提取网络提取更新模板特征
Figure GDA0003678417330000081
利用更新模板特征与目标模板特征构建通道注意网络，将目标模板特征和更新模板特征进行通道维度的拼接，得到联合模板特征
Figure GDA0003678417330000082
利用联合模板特征
Figure GDA0003678417330000083
目标模板特征
Figure GDA0003678417330000084
更新模板特征
Figure GDA0003678417330000085
构建通道注意力网络。对上述三个模板特征在空间维度上进行特征压缩，将每个二维的特征通道通过平均池化变成一个实数，该实数具有在该通道维度上的全局感受野。通过最大池化将二维特征变成一个实数，该实数表征该通道有效激活峰值系数A∈Rc，计算表达式如下：
Figure GDA0003678417330000086
Figure GDA0003678417330000087
Figure GDA0003678417330000088
通过全连接层F进行各通道之间相关性的融合，实现通道维度的对齐。两特征值相加所得通道权值输出维度与输入的特征通道数相匹配，表征该模板在自身特征通道上的全局平均及峰值分布，表征目标模板及更新模板特征通道注意力权值，通道注意力权值计算表达式如下：
wz'＝F(Az)
Figure GDA0003678417330000089
wc'＝F(Ac)
计算目标模板通道注意力权值wz'及更新模板注意力权值
Figure GDA00036784173300000810
与联合通道注意权值wc'的比重权值系数，该系数动态调整对目标模板及更新模板特征两分支的关注程度，通过激励函数，显式地建模两特征间的相关性，为每个模板的响应特征通道生成权重。
wz＝σ(wz'/wc')
Figure GDA0003678417330000091
通道权重表征目标模板特征及更新模板每个特征通道自身有效性及模板间的特征的相对有效性，使得模板特征既保留原始特征的稳定性，又通过更新丰富了模板增强特征对复杂跟踪场景的适应性。通过元素级点乘操作用通道注意权重对模板特征各通道进行激活或抑制，完成在通道维度上对模板特征的重标定，从而达到自适应选择有效模板信息，抑制干扰信息的目的。
Figure GDA0003678417330000092
Figure GDA0003678417330000093
第五步，第四步判断如需要再次跟踪，利用更新模板跟踪置信图修正目标模板跟踪置信图，得到修正置信图，确定重跟踪目标定位，获得更精确的跟踪结果。
将通过注意更新网络生成的目标模板特征及更新模板特征与目标搜索区域特征输入孪生候选区域网络，分别得到分类结果及回归结果。将更新模板跟踪所得分类置信图进行归一化作为先验概率与目标模板重跟踪结果融合，利用目标模板特征及更新模板特征进行再次跟踪，分别得到两模板匹配所得分类分支前景置信图，将更新模板跟踪置信图归一化pcls∈Rw×h×2k，作为先验概率与目标模板跟踪置信图相乘以修正位置预测概率值，选择置信图中概率最大值定位为预测目标，通过重跟踪可以得到更为精确的跟踪结果。
pcls'＝softmax(Bcls')
Figure GDA0003678417330000094
本发明利用目标跟踪标准数据集OTB2015测试序列，对比本发明提出的基于自适应通道注意更新机制的孪生候选区域生成网络目标跟踪方法和孪生候选区域生成网络目标跟踪基准方法及其他基于深度学习端到端训练的目标跟踪方法，通过绘制重叠率及成功率曲线证明本发明的有效性。
重叠率指跟踪器预测目标框和数据集标注标准框的交集面积与并集面积的比值。成功率指预测目标框与数据集标注标准边界框的重叠率超过预定值的帧数占总帧数的百分比。对比曲线如图3，由图可知，基于自适应通道注意更新机制的孪生候选区域生成网络目标跟踪方法在精度上体现了很好的跟踪效果。
上述说明示出并描述了本发明的一个优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (4)

1.一种基于通道注意更新机制的孪生网络目标跟踪方法，其特征在于：包括以下步骤，
第一步，通过孪生网络提取目标模板特征及目标搜索区域特征；
第二步，通过孪生网络提取模板前景特征及背景特征，通过自适应有效通道选择机制激活目标搜索区域有效特征通道；
以模板标注框为边界，划分前景模板区域及背景模板区域，利用相同特征提取网络建模前景、背景模板特征；通过卷积操作获得目标搜索区域特征每个通道对前景模板和背景模板的相关性响应值大小，根据响应值进行筛选，自适应激活有效前景相关特征通道，抑制背景相关特征通道；
第二步具体包括，以模板区域目标框为边界，保留目标标注框内像素值不变将目标框外像素设置为0去除背景建模目标前景模板，将目标标注框内像素值设置为0目标框外像数值不变，去除前景目标保留目标框外像素值建模目标背景模板；
用参数共享的孪生网络提取特征得到前景模板特征与背景模板特征，搜索区域特征分别与前景、背景和目标模板特征卷积得到每个搜索区域特征通道对于前景的响应、背景的响应和对模板的响应；
将前景、背景与搜索区域特征与目标模板响应的比值称为前景响应值和背景响应值；
根据跟踪场景的实际复杂程度设置自适应前景响应阈值及背景响应阈值，筛选目标搜索区域前景响应值，比自适应前景响应阈值大的通道赋以第一自适应权重；筛选背景响应值，比自适应背景响应阈值大的通道赋以第二自适应权重；
第三步，利用候选区域生成网络判断目标位置生成目标框，得到初步跟踪结果；
第四步，根据候选区域生成网络分类分支所得前景目标位置置信图的最大概率值为依据决定当前帧的跟踪结果是否可信，并判断是否需要再次跟踪，若是则触发通道注意模板更新机制；
当前景目标位置置信图的最大概率值高于或等于阈值时，则判断当前帧的跟踪结果可信；
当前景目标位置置信图的最大概率值低于阈值时，则判断当前帧的跟踪结果不可信；则以上一帧跟踪结果为中心选取与目标模板大小相同区域作为更新模板，利用相同特征提取网络获得更新模板特征，将更新模板特征与目标模板特征输入通道注意力网络，得到两模板特征自适应通道注意权重，利用通道注意力权重对目标模板特征及更新模板特征进行相应特征通道的激活或抑制，建模模板有效外观特征；
第四步具体包括，以上一帧跟踪结果为中心截取与模板分支大小相同的固定区域作为更新模板，利用参数共享的孪生网络提取更新模板特征；利用更新模板特征与目标模板特征构建通道注意网络，将目标模板特征和更新模板特征进行通道维度的拼接，得到联合模板特征，利用联合模板特征、目标模板特征和更新模板特征构建通道注意力网络；对上述三个模板特征在空间维度上进行特征压缩，将每个二维的特征通道通过平均池化变成第一特征值；通过最大池化将二维特征变成第二特征值；
通过全连接层F进行各通道之间相关性的融合，实现通道维度的对齐；两特征值相加所得通道权值输出维度与输入的特征通道数相匹配；
计算目标模板通道注意力权值及更新模板注意力权值与联合通道注意权值的比重权值系数，该系数动态调整对目标模板及更新模板特征两分支的关注程度，通过激励函数，显式地建模两特征间的相关性，为每个模板的响应特征通道生成权重；
第五步，第四步判断如需要再次跟踪，利用更新模板跟踪置信图修正目标模板跟踪置信图，得到修正置信图，确定重跟踪目标定位，获得更精确的跟踪结果；
将通过注意更新网络生成的目标模板特征及更新模板特征与目标搜索区域特征输入孪生候选区域网络，分别得到分类结果及回归结果；将更新模板跟踪所得分类置信图进行归一化作为先验概率与目标模板重跟踪结果融合，以得到目标的更准确跟踪结果。
2.根据权利要求1所述的基于通道注意更新机制的孪生网络目标跟踪方法，其特征在于：第三步中所述阈值的赋值区间为[0.7，0.8]。
3.根据权利要求1所述的基于通道注意更新机制的孪生网络目标跟踪方法，其特征在于：所述第一自适应权重的赋值区间为[1，2]；第二自适应权重的赋值区间为[0，0.5]。
4.根据权利要求1所述的基于通道注意更新机制的孪生网络目标跟踪方法，其特征在于：第五步具体包括，利用目标模板特征及更新模板特征进行再次跟踪，分别得到两模板匹配所得分类分支前景置信图，将更新模板跟踪置信图归一化，作为先验概率与目标模板跟踪置信图相乘以修正位置预测概率值，选择置信图中概率最大值定位为预测目标。
CN201911410558.6A 2019-12-31 2019-12-31 一种基于通道注意更新机制的孪生网络目标跟踪方法 Active CN111144364B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911410558.6A CN111144364B (zh) 2019-12-31 2019-12-31 一种基于通道注意更新机制的孪生网络目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911410558.6A CN111144364B (zh) 2019-12-31 2019-12-31 一种基于通道注意更新机制的孪生网络目标跟踪方法

Publications (2)

Publication Number Publication Date
CN111144364A CN111144364A (zh) 2020-05-12
CN111144364B true CN111144364B (zh) 2022-07-26

Family

ID=70522471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911410558.6A Active CN111144364B (zh) 2019-12-31 2019-12-31 一种基于通道注意更新机制的孪生网络目标跟踪方法

Country Status (1)

Country Link
CN (1) CN111144364B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724410A (zh) * 2020-05-25 2020-09-29 天津大学 一种基于残余注意力的目标跟踪方法
CN111931686B (zh) * 2020-08-26 2021-05-25 北京建筑大学 一种基于背景知识增强的视频卫星目标跟踪方法
CN112183224A (zh) * 2020-09-07 2021-01-05 北京达佳互联信息技术有限公司 用于图像识别的模型训练方法、图像识别方法和装置
CN112132856A (zh) * 2020-09-30 2020-12-25 北京工业大学 一种基于自适应模板更新的孪生网络跟踪方法
CN112258554B (zh) * 2020-10-07 2022-11-18 大连理工大学 基于注意力机制的双流层次孪生网络目标跟踪方法
CN112489088A (zh) * 2020-12-15 2021-03-12 东北大学 一种基于记忆单元的孪生网络视觉跟踪方法
CN112464900B (zh) * 2020-12-16 2022-04-29 湖南大学 基于孪生网络的多模板视觉目标跟踪方法
CN112434682B (zh) * 2021-01-27 2021-04-27 知行汽车科技（苏州）有限公司 基于多传感器的数据融合方法、装置及存储介质
CN113052875A (zh) * 2021-03-30 2021-06-29 电子科技大学 一种基于状态感知模板更新的目标跟踪算法
CN113327271B (zh) * 2021-05-28 2022-03-22 北京理工大学重庆创新中心 基于双光孪生网络决策级目标跟踪方法、系统及存储介质
CN113744314B (zh) * 2021-09-06 2023-09-22 郑州海威光电科技有限公司 一种基于目标-干扰感知的目标跟踪方法
CN114332157A (zh) * 2021-12-14 2022-04-12 北京理工大学 一种双阈值控制的长时跟踪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376576A (zh) * 2018-08-21 2019-02-22 中国海洋大学 基于交替更新密集连通从零训练网络的目标检测方法
CN110335290A (zh) * 2019-06-04 2019-10-15 大连理工大学 基于注意力机制的孪生候选区域生成网络目标跟踪方法
CN110378243A (zh) * 2019-06-26 2019-10-25 深圳大学 一种行人检测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376576A (zh) * 2018-08-21 2019-02-22 中国海洋大学 基于交替更新密集连通从零训练网络的目标检测方法
CN110335290A (zh) * 2019-06-04 2019-10-15 大连理工大学 基于注意力机制的孪生候选区域生成网络目标跟踪方法
CN110378243A (zh) * 2019-06-26 2019-10-25 深圳大学 一种行人检测方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于双重注意力孪生网络的实时视觉跟踪;杨康等;《计算机应用》;20190115(第06期);102-106 *
基于孪生网络与注意力机制的目标跟踪方法;周迪雅等;《信息通信》;20191215(第12期);61-63 *
空间注意机制下的自适应目标跟踪;谢瑜 等;《系统工程与电子技术》;20190930;第41卷(第9期);1945-1954 *

Also Published As

Publication number Publication date
CN111144364A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN111144364B (zh) 一种基于通道注意更新机制的孪生网络目标跟踪方法
Zhan et al. Visual odometry revisited: What should be learnt?
CN110675418B (zh) 一种基于ds证据理论的目标轨迹优化方法
CN102473307B (zh) 用于轨迹估计的方法和装置以及用于分割的方法
CN111127513A (zh) 一种多目标跟踪方法
CN110781262B (zh) 基于视觉slam的语义地图的构建方法
CN106780631B (zh) 一种基于深度学习的机器人闭环检测方法
CN111832514A (zh) 基于软多标签的无监督行人重识别方法及装置
CN108734109B (zh) 一种面向图像序列的视觉目标跟踪方法及系统
CN112115980A (zh) 基于光流跟踪和点线特征匹配的双目视觉里程计设计方法
CN111160407A (zh) 一种深度学习目标检测方法及系统
CN112927264B (zh) 一种无人机跟踪拍摄系统及其rgbd跟踪方法
CN110119768B (zh) 用于车辆定位的视觉信息融合系统及方法
CN112884742A (zh) 一种基于多算法融合的多目标实时检测、识别及跟踪方法
CN112651998A (zh) 基于注意力机制和双流多域卷积神经网络的人体跟踪算法
CN105809718A (zh) 一种轨迹熵最小化的对象跟踪方法
CN111666860A (zh) 一种车牌信息与车辆特征融合的车辆轨迹跟踪方法
CN111429485A (zh) 基于自适应正则化和高信度更新的跨模态滤波跟踪方法
CN113628246B (zh) 一种基于3d卷积模板更新的孪生网络目标跟踪方法
CN113888629A (zh) 一种基于rgbd相机的快速物体三维位姿估计方法
Zhou et al. Online learning with novelty detection in human-guided road tracking
CN114627397A (zh) 行为识别模型构建方法以及行为识别方法
CN116051601A (zh) 一种深度时空关联的视频目标跟踪方法及系统
WO2019136591A1 (zh) 基于弱监督时空级联神经网络的显著目标检测方法及系统
CN113888603A (zh) 基于光流跟踪和特征匹配的回环检测及视觉slam方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant