CN113486820A - 基于高效模板更新与选择机制的双向目标跟踪方法及系统 - Google Patents
基于高效模板更新与选择机制的双向目标跟踪方法及系统 Download PDFInfo
- Publication number
- CN113486820A CN113486820A CN202110780748.8A CN202110780748A CN113486820A CN 113486820 A CN113486820 A CN 113486820A CN 202110780748 A CN202110780748 A CN 202110780748A CN 113486820 A CN113486820 A CN 113486820A
- Authority
- CN
- China
- Prior art keywords
- template
- frame
- tracker
- tracking
- strategy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000002457 bidirectional effect Effects 0.000 title claims abstract description 22
- 230000007246 mechanism Effects 0.000 title claims abstract description 18
- 238000011156 evaluation Methods 0.000 claims abstract description 9
- 230000003044 adaptive effect Effects 0.000 claims abstract description 7
- 238000010276 construction Methods 0.000 claims abstract description 4
- 238000004590 computer program Methods 0.000 claims description 13
- 238000011084 recovery Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于高效模板更新与选择机制的双向目标跟踪方法，包括以下步骤：构建基于在线学习的目标跟踪器T 0；构建在线可靠性评估模块ORE；构建动态模板更新模块DTU；构建自适应模板选择模块ATS；构建基于离线学习的孪生跟踪器T 1；根据ORE、DTU和ATS，首先选择将当前视频帧图像输入T 0或者T 1，第一帧默认选择T 0，然后执行相应切换模式下的跟踪策略和模板策略，得到当前帧的最终预测结果。该方法及系统有效结合了基于在线学习跟踪器和基于离线学习跟踪器的优势，可以在具有挑战性的场景中获得更加稳定、鲁棒、准确的跟踪结果。
Description
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于高效模板更新与选择机制的双向目标跟踪方法及系统。
背景技术
目标跟踪作为计算机领域中的一项重要研究课题受到了显著关注，其在诸多领域具有广泛的应用，比如无人驾驶、移动机器人等。给定被跟踪物体在第一帧中的真实位置，我们希望在后续帧中能够持续地对该物体进行跟踪。近年来，目标跟踪方法已经从深度学习中受益匪浅，并取得了长足的进步。但是，现有的目标跟踪方法难以应对背景杂乱、遮挡等具有挑战性的场景，容易出现目标漂移现象。
现有的基于深度神经网络的目标跟踪器通过利用深度网络强大的特征提取能力表现出较好的性能。这些跟踪器可以分为两类：基于在线学习的跟踪器和基于离线学习的跟踪器。基于在线学习的跟踪器具有较高的精度，其使用模型更新的方法来处理跟踪过程中目标外观的变化。MDNet(H.Nam andB.Han.Learning multi-domain convolutionalneural networks for visual tracking.Proceeding of the IEEE Conference onComputer Vision and Pattern Recognition.2016，pp.4293-4302.)将目标跟踪视为一个二分类任务，并且使用一个轻量级的网络进行多域学习。在此基础上，VITAL(Y.B.Song，C.Ma，X.H.Wu，L.J.Gong，L.C.Bao，W.M.Zuo，C.H.Shen，R.W.H.Lau，M.H.Yang.VITAL:Visualtracking via adversarial learning.Proceeding of the IEEE Conference onComputer Vision and Pattern Recognition.2018，pp.8990-8999.)将对抗学习的思想整合到跟踪网络框架中，该网络通过生成掩码来学习一系列目标外观中的鲁棒特征。Meta-Tracker(E.Park and A.C.Berg.Meta-tracker:fast and robust online adaptationfor visual object trackers.Proceeding of the European Conference on ComputerVision.2018，pp.587-604.)发现大多数在线学习的性能受到初始化的限制，因此将元学习方法引入到跟踪框架中，以使模型得到有效的初始化。同样，MAML-Tracker(G.Wang，C.Luo，X.Sun，Z.Xiong，and W.Zeng.Tracking by instance detection:A meta-learningapproach.Proceeding of the IEEE Conference on Computer Vision and PatternRecognition.2020，pp.6287-6296.)引入与模型无关的元学习方法，能够更好地学习模型的初始权重。由于在跟踪过程中对目标外观模型的迭代训练和更新，因此上述具有代表性的基于在线学习的跟踪器在判别性能方面显示出巨大的优势。但是，它们中的大多数离实时跟踪还有较大的距离，且很容易引入噪声。
此外，当前基于离线学习的跟踪器主要由孪生网络结构组成，比如SiamFC(L.Bertinetto，J.Valmadre，J.F.Henriques，A.Vedaldi，and P.H.Torr.Fully-convolutional siamese networks for object tracking.Proceeding of the EuropeanConference on Computer Vision Workshop.2016，pp.850-865.)和SiamRPN(B.Li，J.Yan，W.Wu，Z.Zhu，and X.Hu.High performance visual tracking with siamese regionproposal network.Proceeding of the IEEE Conference on ComputerVision andPattern Recognition.2018，pp.8971-8980.)，其外观模型在跟踪之前已经进行端到端的离线训练，并且跟踪时不更新模型，因此具有较快的跟踪速度，此类孪生跟踪器的基本思想是将视频的第一帧作为模板，将后续帧作为搜索区域，在该区域中，与模板最相似的区域被视为预测结果。但是由于模板固定，它们不能很好地应对目标外观变化。为了解决这个问题，已经有一些工作来更新孪生跟踪器的模板，比如CFNet(J.Valmadre，L.Bertinetto，J.F.Henriques，A.Vedaldi，and P.H.S.Torr.End-to-end representation learning forcorrelation filter based tracking.Proceeding of the IEEE Conference onComputer Vision and Pattern Recognition.2017，pp.2805-2813.)和RASNet(Q.Wang，Z.Teng，J.Xing，J.Gao，W.Hu，and S.Maybank.Learning attentions:Residualattentional siamese network for high performance online visualtracking.Proceeding of the IEEE Conference on Computer Vision and PatternRecognition.2018，pp.4854-4863.)，分别将相关滤波器模块和注意力机制模块插入模板分支。
发明内容
本发明的目的在于提供一种基于高效模板更新与选择机制的双向目标跟踪方法及系统，该方法及系统有利于获得更加稳定、鲁棒、准确的跟踪结果。
为实现上述目的，本发明采用的技术方案是：一种基于高效模板更新与选择机制的双向目标跟踪方法，包括以下步骤：
构建基于在线学习的目标跟踪器T0；
构建在线可靠性评估模块ORE，其由结果可靠性评估器、模板可靠性评估器和跟踪器可靠性评估器组成，分别评估跟踪结果、模板和跟踪器的可靠性，以为下一步决策提供依据；
构建动态模板更新模块DTU，其主要由一个模板记忆单元组成，通过模板写入、模板删除操作更新记忆单元中的模板，进一步通过模板统计操作判断模板数量是否充足，以为下一步决策提供依据；
构建自适应模板选择模块ATS，其通过读取模板策略、记忆单元，自适应地选择当前帧使用的模板，作为基于离线学习的孪生跟踪器的输入；
构建基于离线学习的孪生跟踪器T1，其在执行跟踪任务前根据ATS自适应地选择当前帧的模板，可以是单模板，也可以是多模板；
对获取到的一帧图像采用T0和T1进行双向目标跟踪，包括以下步骤：
选择将图像输入跟踪器T0或跟踪器T1，若为第一帧图像，则默认选择T0，否则根据切换模式、跟踪器以及模板策略的状态值决定采用的跟踪策略、跟踪器及模板；
根据ORE判断跟踪结果、模板或跟踪器的可靠性，更新切换模式、跟踪器和模板策略的状态值，判断是否直接用跟踪器T0或T1的初始跟踪结果作为当前帧的最终跟踪结果、是否更新模板以及是否要切换跟踪器；
如果模板可靠或者跟踪器不可靠，则根据DTU更新、统计记忆单元中的模板，更新切换模式、跟踪器和模板策略；
如果选择T1进行跟踪，根据ATS从记忆单元中选择T1需要使用的模板。
进一步地，构建基于在线学习的目标跟踪器T0的具体方法为：
在线跟踪前，采用VITAL跟踪算法并利用ILSVRC-VID数据集对T0进行离线预训练；
在线跟踪时，利用第一帧对T0进行参数初始化以适应当前任务，具体为在第一帧给定真实框周围采集5000个负样本、500个正样本，并对跟踪器迭代训练15轮；从第二帧开始，在上一帧预测目标框周围采集200个负样本、50个正样本，并对跟踪器训练1轮。
进一步地，构建在线可靠性评估模块ORE的具体方法为：
给定第t帧输入的图像，跟踪器Ti输出当前预测目标的置信度得分
对结果可靠性的评估方法
表示如下：
其中，τ1是跟踪结果的置信度阈值；跳跃函数sgn(·)用于将所有的
映射到{-1,0,1}；如果
返回1，则说明跟踪结果是可靠的；否则跟踪结果被判定为不可靠；
对模板的可靠性进行评估，使用一个更严格的阈值τ2以过滤掉不可靠的目标模板，评估方法
表示如下：
其中，
是模板Zl(l∈{0,k,N-1})相应的置信度得分；如果
返回1，说明模板是可靠的；
对跟踪器的可靠性进行评估，评估方法Etra(Ti)表示如下：
其中，failNum(Ti)表示在连续帧中跟踪失败的总次数，一旦跟踪结果是可靠的，其将会被重置为0；阈值τ3是连续帧失败总次数的上限；如果Etra(Ti)返回1，说明跟踪器是可靠的。
进一步地，构建动态模板更新模块DTU的具体方法为：
设置一个模板记忆单元Z＝{Z0,Z1,...,ZN-1}，其容量为N，并且根据第一帧给定真实框得到的第一个模板Z0进行初始化；
对于后续帧，设置模板写入和模板删除操作动态地更新模板记忆单元；当模板写入操作被执行，可靠的模板以及相应的权重将以队列的形式加入记忆单元；当模板删除操作被执行，除了第一帧模板外，记忆单元中的其他模板都将被删除；
设置模板统计操作，当记忆单元中的模板总数达到上限，下一帧使用T1单独跟踪策略。
进一步地，构建自适应模板选择模块ATS的具体方法为：
标记第一帧模板为Z0，最新帧模板为ZN-1，中间帧模板为Zk，k∈(0,N-1)，其中中间帧模板Zk从记忆单元中根据权重自适应选择；
根据变量ASS定义不同的模板策略Temp，表示如下：
其中P0表示仅使用第一帧模板，P1表示仅使用最新帧模板，P2表示同时使用第一帧、中间帧和最新帧，中间帧根据模板权重选择；P0和P1属于单模板策略，P2属于多模板策略；
对于使用T0和T1联合跟踪的情况，进一步将ASS表示为：
其中Count(·)表示记忆单元中模板的总数量，其最大容量为N；
对于使用T1单独跟踪的情况，进一步将ASS表示为：
其中Recovery用于标识当前帧使用第一帧模板进行重检测；若使用，则Recovery＝1，否则为0。
进一步地，构建基于离线学习的孪生跟踪器T1的具体方法为：
对视频的第一帧图像，基于给定的真实框的中心点，裁剪出127*127大小的区域作为模板图像；对于视频的后续帧图像，基于上一帧预测的边界框的中心点，裁剪出255*255大小的区域作为搜索区域图像；
加载在ILSVRC-VID数据集上预训练好的参数模型；
将每一个模板Zl(l∈{0,k,N-1})以及搜索图像Xt输入T1，得到三组分类图
和三组回归图
分别表示为：
和
将得到的三组分类图和回归图采用按位相加的方式进行融合，得到预测目标结果。
进一步地，对获取到的一帧图像采用T0和T1进行双向目标跟踪的具体方法为：
选择将图像输入跟踪器T0或跟踪器T1，若为第一帧图像，则默认选择T0，否则根据切换模式、跟踪器以及模板策略的状态值决定采用的跟踪策略、跟踪器及模板；
当采用T0跟踪器，首先获得初始跟踪结果PR0，将该结果输入ORE，由结果可靠性评估器评估跟踪结果的可靠性；如果结果PR0可靠，PR0即为当前帧的最终跟踪结果，表示为FR0，其进一步作为模板由模板可靠性评估器评估可靠性；如果模板是不可靠的，则更新切换模式状态值为帧间、跟踪器状态值为T0、模板策略状态值为P2，即为包含第一帧、中间帧和最新帧的多模板策略，表示当前帧结束，下一帧采用T0跟踪，若需要使用T1辅助跟踪，其模板策略为多模板；如果模板是可靠的，则执行模板写入操作更新模板记忆单元，此时模板及其权重都会被写入，写入后模板统计操作用于计算记忆单元中的模板数量，进一步判断是否充足，如果充足则更新切换模式状态值为帧间、跟踪器状态值为T1、模板策略状态值为P1，即为仅含最新帧的单模板策略，表示当前帧结束，下一帧采用T1跟踪，其模板策略为单模板，如果模板数量不充足，则更新切换模式状态值为帧间、跟踪器状态值为T0、模板策略状态值为P2，即为包含第一帧、中间帧和最新帧的多模板策略；
当结果PR0不可靠，更新切换模式状态值为帧内、跟踪器状态值为T1、模板策略状态值为P2，表示当前帧未结束，将继续采用跟踪器T1进行辅助跟踪，其模板策略为多模板；由于T1不仅能通过帧内转换辅助T0跟踪，还能通过帧间转换单独跟踪，因此T1需要根据当前的切换模式进行下一步操作；首先由ATS选择当前帧的模板，随后模板与搜索区域图像输入T1得到初始跟踪结果PR1，ORE中的结果可靠性评估器评估PR1的可靠性；如果PR1可靠，PR1将作为当前帧的最终跟踪结果，表示为FR1，进一步通过与T0一样的操作，将FR1输入模板可靠性评估器，以判断是否将其写入模板记忆单元中；如果PR1不可靠，当前帧的最终跟踪结果FR1则采用T0的跟踪结果PR0，此时FR1也会送入模板可靠性评估器，执行和上述一样的评估方式；
当上述过程中更新切换模式状态值为帧间、跟踪器状态值为T1时，下一帧将采用T1单独跟踪以平衡速度和精度；此时的模板策略可以是P0、P1或者P2，即仅包含第一帧的单模板策略、仅包含最新帧的单模板策略或包含第一帧、中间帧和最新帧的多模板策略；ATS读取相应的模板输入T1后，得到初始跟踪结果PR1，PR1的可靠性由ORE中的结果可靠性评估器评估，如果PR1不可靠，PR1将作为当前帧的跟踪结果，表示为FR1，但是将由跟踪器可靠性评估器评估T1的可靠性，如果T1可靠，那么更新切换模式状态值为帧间、跟踪器状态值为T1、模板策略状态值为P1，表示当前帧结束，下一帧仍然采用T1跟踪，并基于最新帧模板，如果T1不可靠，一方面会从记忆单元中删除当前模板及其权重，另一方面更新切换模式状态值为帧间、跟踪器状态值为T1、模板策略状态值为P0，表示当前帧结束，下一帧T1将采用第一帧模板进行跟踪，以从不可靠状态中恢复；
如果PR1可靠，PR1将作为当前帧的跟踪结果，表示为FR1；此时根据模板策略，需要判断当前帧是否仅使用第一帧模板恢复，并且成功，即在PR1可靠的前提下ASS是否等于P0；如果ASS＝P0，则更新切换模式状态值为帧间、跟踪器状态值为T0、模板策略状态值为P2，表示T1从不可靠状态恢复成功后，下一帧将采用T0跟踪，以收集更多可靠的模板；如果ASS≠P0，则更新切换模式状态值为帧间、跟踪器状态值为T1、模板策略状态值为P2，表示下一帧继续使用基于多模板的T1跟踪。
本发明还提供了一种基于高效模板更新与选择机制的双向目标跟踪系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
相较于现有技术，本发明具有以下有益效果：本方法及系统有效结合了基于在线学习的跟踪器和基于离线学习的跟踪器的优势，以确保在具有挑战性的场景中获得更稳定和鲁棒的跟踪结果。该方法包括两种模式：帧内切换模式和帧间切换模式，每个模式又包含两种不同的跟踪策略，即联合跟踪和单独跟踪。同时，该模板更新与选择机制是基于在线和离线学习跟踪器的跟踪结果，采用ORE对模板质量和跟踪器的可靠性进行评估，通过DTU对记忆单元中的模板进行动态更新，并利用ATS自适应选择模板，以应对剧烈的外观变化。此外，基于离线学习的多模板匹配孪生跟踪方法有效地融合了多模板的外观信息，使跟踪器对具有挑战性的场景具有更强的鲁棒性。
附图说明
图1是本发明实施例的方法实现流程图。
图2是本发明实施例中基于离线学习的孪生跟踪器的实现流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种基于高效模板更新与选择机制的双向目标跟踪方法，包括以下步骤：
1、构建基于在线学习的目标跟踪器T0。具体实现方法为：
1)在线跟踪前，T0采用VITAL跟踪算法(Yibing Song，Chao Ma，Xiaohe Wu，LijunGong，Linchao Bao，Wangmeng Zuo，Chunhua Shen，Rynson W.H.Lau，and Ming-HsuanYang.VITAL:VIsual Tracking via Adversarial Learning.Proceeding of the IEEEConference on Computer Vision and Pattern Recognition.2018，pp.8990-8999.)，并且利用ILSVRC-VID数据集(O.Russakovsky，J.Deng，et al.ImageNet Large Scale VisualRecognition Challenge.Int.J.Comput.Vis.，vol 115，no.3，pp.211-252，2015.)对T0进行离线预训练；
2)在线跟踪时，利用第一帧对T0进行参数初始化以适应当前任务，具体为在第一帧给定真实框周围采集5000个负样本、500个正样本，并对跟踪器迭代训练15轮；从第二帧开始，在上一帧预测目标框周围采集200个负样本、50个正样本，并对跟踪器训练1轮。
2、构建在线可靠性评估模块ORE，其由结果可靠性评估器、模板可靠性评估器和跟踪器可靠性评估器组成，分别评估跟踪结果、模板和跟踪器的可靠性，以为下一步决策提供依据。其具体实现方法为：
1)给定第t帧输入的图像，跟踪器Ti输出当前预测目标的置信度得分
对结果可靠性的评估方法
表示如下：
其中，τ1是跟踪结果的置信度阈值；跳跃函数sgn(·)用于将所有的
映射到{-1,0,1}；如果
返回1，则说明跟踪结果是可靠的；否则跟踪结果被判定为不可靠；
2)对模板的可靠性进行评估，使用一个更严格的阈值τ2以过滤掉不可靠的目标模板，评估方法
表示如下：
其中，
是模板Zl(l∈{0,k,N-1})相应的置信度得分；如果
返回1，说明模板是可靠的；
3)对跟踪器的可靠性进行评估，评估方法Etra(Ti)表示如下：
其中，failNum(Ti)表示在连续帧中跟踪失败的总次数，一旦跟踪结果是可靠的，其将会被重置为0；阈值τ3是连续帧失败总次数的上限；如果Etra(Ti)返回1，说明跟踪器是可靠的。
3、构建动态模板更新模块DTU，其主要由一个模板记忆单元组成，通过模板写入、模板删除操作更新记忆单元中的模板，进一步通过模板统计操作判断模板数量是否充足，以为下一步决策提供依据。其具体实现方法为：
1)设置一个模板记忆单元Z＝{Z0,Z1,...,ZN-1}，其容量为N，并且根据第一帧给定真实框得到的第一个模板Z0进行初始化；
2)对于后续帧，设置模板写入和模板删除操作动态地更新模板记忆单元；当模板写入操作被执行，可靠的模板以及相应的权重将以队列的形式加入记忆单元；当模板删除操作被执行，除了第一帧模板外，记忆单元中的其他模板都将被删除；
3)设置模板统计操作，当记忆单元中的模板总数达到上限，下一帧使用T1单独跟踪策略。
4、构建自适应模板选择模块ATS，其通过读取模板策略、记忆单元，自适应地选择当前帧使用的模板，作为基于离线学习的孪生跟踪器的输入。其具体实现方法为：
1)标记第一帧模板为Z0，最新帧模板为ZN-1，中间帧模板为Zk，k∈(0,N-1)，其中中间帧模板Zk从记忆单元中根据权重自适应选择；
2)根据变量ASS定义不同的模板策略Temp，表示如下：
其中P0表示仅使用第一帧模板，P1表示仅使用最新帧模板，P2表示同时使用第一帧、中间帧和最新帧，中间帧根据模板权重选择；具体地，P0和P1属于单模板策略，P2属于多模板策略；
3)对于使用T0和T1联合跟踪的情况，进一步将ASS表示为：
其中Count(·)表示记忆单元中模板的总数量，其最大容量为N；
4)对于使用T1单独跟踪的情况，进一步将ASS表示为：
其中Recovery用于标识当前帧使用第一帧模板进行重检测；若使用，则Recovery＝1，否则为0。
5、构建基于离线学习的孪生跟踪器T1，其区别于一般孪生跟踪器固定使用第一帧模板，其特点在于在执行跟踪任务前会根据ATS自适应地选择当前帧的模板，可以是单模板，也可以是多模板。如图2所示，其具体实现方法为：
1)对视频的第一帧图像，基于给定的真实框的中心点，裁剪出127*127大小的区域作为模板图像；对于视频的后续帧图像，基于上一帧预测的边界框的中心点，裁剪出255*255大小的区域作为搜索区域图像；
2)加载在ILSVRC-VID(O.Russakovsky，J.Deng，et al.ImageNet Large ScaleVisual Recognition Challenge.Int.J.Comput.Vis.，vol 115，no.3，pp.211-252，2015.)数据集上预训练好的参数模型；
3)将每一个模板Zl(l∈{0,k,N-1})以及搜索图像Xt输入T1，得到三组分类图
和三组回归图
分别表示为：
和
4)将得到的三组分类图和回归图采用按位相加的方式进行融合，得到预测目标结果。
6、对获取到的一帧图像采用T0和T1进行双向目标跟踪，包括以下步骤：
选择将图像输入跟踪器T0或跟踪器T1，若为第一帧图像，则默认选择T0，否则根据切换模式、跟踪器以及模板策略的状态值决定采用的跟踪策略、跟踪器及模板；
根据ORE判断跟踪结果、模板或跟踪器的可靠性，更新切换模式、跟踪器和模板策略的状态值，判断是否直接用跟踪器T0或T1的初始跟踪结果作为当前帧的最终跟踪结果、是否更新模板以及是否要切换跟踪器；
如果模板可靠或者跟踪器不可靠，则根据DTU更新、统计记忆单元中的模板，更新切换模式、跟踪器和模板策略；
如果选择T1进行跟踪，根据ATS从记忆单元中选择T1需要使用的模板。
在本实施例中，对获取到的一帧图像采用T0和T1进行双向目标跟踪的具体方法为：
1)选择将图像输入跟踪器T0或跟踪器T1，若为第一帧图像，则默认选择T0，否则根据切换模式、跟踪器以及模板策略的状态值决定采用的跟踪策略、跟踪器及模板；
2)当采用T0跟踪器，首先获得初始跟踪结果PR0，将该结果输入ORE，由结果可靠性评估器评估跟踪结果的可靠性；如果结果PR0可靠，PR0即为当前帧的最终跟踪结果，表示为FR0，其进一步作为模板由模板可靠性评估器评估可靠性；如果模板是不可靠的，则更新切换模式状态值为帧间、跟踪器状态值为T0、模板策略状态值为P2(包含第一帧、中间帧和最新帧的多模板策略)，表示当前帧结束，下一帧采用T0跟踪，若需要使用T1辅助跟踪，其模板策略为多模板；如果模板是可靠的，则执行模板写入操作更新模板记忆单元，此时模板及其权重都会被写入，写入后模板统计操作用于计算记忆单元中的模板数量，进一步判断是否充足，如果充足则更新切换模式状态值为帧间、跟踪器状态值为T1、模板策略状态值为P1(仅含最新帧的单模板策略)，表示当前帧结束，下一帧采用T1跟踪，其模板策略为单模板，如果模板数量不充足，则更新切换模式状态值为帧间、跟踪器状态值为T0、模板策略状态值为P2(包含第一帧、中间帧和最新帧的多模板策略)；
3)当结果PR0不可靠，更新切换模式状态值为帧内、跟踪器状态值为T1、模板策略状态值为P2，表示当前帧未结束，将继续采用跟踪器T1进行辅助跟踪，其模板策略为多模板；由于T1不仅能通过帧内转换辅助T0跟踪，还能通过帧间转换单独跟踪，因此T1需要根据当前的切换模式进行下一步操作；首先由ATS选择当前帧的模板，随后模板与搜索区域图像输入T1得到初始跟踪结果PR1，ORE中的结果可靠性评估器评估PR1的可靠性；如果PR1可靠，PR1将作为当前帧的最终跟踪结果，表示为FR1，进一步通过与T0一样的操作，将FR1输入模板可靠性评估器，以判断是否将其写入模板记忆单元中；如果PR1不可靠，当前帧的最终跟踪结果FR1则采用T0的跟踪结果PR0，此时FR1也会送入模板可靠性评估器，执行和上述一样的评估方式；
4)当上述过程中更新切换模式状态值为帧间、跟踪器状态值为T1时，下一帧将采用T1单独跟踪以平衡速度和精度；此时的模板策略可以是P0(仅包含第一帧的单模板策略)、P1(仅包含最新帧的单模板策略)或者P2包含第一帧、中间帧和最新帧的多模板策略；ATS读取相应的模板输入T1后，得到初始跟踪结果PR1，PR1的可靠性由ORE中的结果可靠性评估器评估，如果PR1不可靠，PR1将作为当前帧的跟踪结果，表示为FR1，但是将由跟踪器可靠性评估器评估T1的可靠性，如果T1可靠，那么更新切换模式状态值为帧间、跟踪器状态值为T1、模板策略状态值为P1，表示当前帧结束，下一帧仍然采用T1跟踪，并基于最新帧模板，如果T1不可靠，一方面会从记忆单元中删除当前模板及其权重，另一方面更新切换模式状态值为帧间、跟踪器状态值为T1、模板策略状态值为P0，表示当前帧结束，下一帧T1将采用第一帧模板进行跟踪，以从不可靠状态中恢复；
如果PR1可靠，PR1将作为当前帧的跟踪结果，表示为FR1；此时根据模板策略，需要判断当前帧是否仅使用第一帧模板恢复，并且成功，即在PR1可靠的前提下ASS是否等于P0；如果ASS＝P0，则更新切换模式状态值为帧间、跟踪器状态值为T0、模板策略状态值为P2，表示T1从不可靠状态恢复成功后，下一帧将采用T0跟踪，以收集更多可靠的模板；如果ASS≠P0，则更新切换模式状态值为帧间、跟踪器状态值为T1、模板策略状态值为P2，表示下一帧继续使用基于多模板的T1跟踪。
本实施例还提供了一种基于高效模板更新与选择机制的双向目标跟踪系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
本实施例中，采用了OTB100数据集进行对比验证，表1中展示出在OTB100数据集上本发明提出的方法与其他目标跟踪方法的对比结果。从表1中可以看到，本发明方法相比于其他目标跟踪方法有较高的精确性和鲁棒性，具体体现为精度和成功率最佳。
表1本发明方法与其他目标跟踪方法的对比结果
| 方法 | 精度(％) | 成功率(％) |
| 本发明 | 91.9 | 67.6 |
| SiamRPN | 87.8 | 66.5 |
| VITAL | 89.1 | 66.2 |
| DaSiamRPN | 88.0 | 65.8 |
| GradNet | 86.1 | 63.9 |
| DeepSRDCF | 85.1 | 63.6 |
| SiamDW | 82.8 | 62.7 |
| CFNet | 77.8 | 58.7 |
| SiamFC | 77.2 | 58.7 |
| UDT | 75.7 | 58.4 |
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (8)
1.一种基于高效模板更新与选择机制的双向目标跟踪方法，其特征在于，包括以下步骤：
构建基于在线学习的目标跟踪器T0；
构建在线可靠性评估模块ORE，其由结果可靠性评估器、模板可靠性评估器和跟踪器可靠性评估器组成，分别评估跟踪结果、模板和跟踪器的可靠性，以为下一步决策提供依据；
构建动态模板更新模块DTU，其主要由一个模板记忆单元组成，通过模板写入、模板删除操作更新记忆单元中的模板，进一步通过模板统计操作判断模板数量是否充足，以为下一步决策提供依据；
构建自适应模板选择模块ATS，其通过读取模板策略、记忆单元，自适应地选择当前帧使用的模板，作为基于离线学习的孪生跟踪器的输入；
构建基于离线学习的孪生跟踪器T1，其在执行跟踪任务前根据ATS自适应地选择当前帧的模板，可以是单模板，也可以是多模板；
对获取到的一帧图像采用T0和T1进行双向目标跟踪，包括以下步骤：
选择将图像输入跟踪器T0或跟踪器T1，若为第一帧图像，则默认选择T0，否则根据切换模式、跟踪器以及模板策略的状态值决定采用的跟踪策略、跟踪器及模板；
根据ORE判断跟踪结果、模板或跟踪器的可靠性，更新切换模式、跟踪器和模板策略的状态值，判断是否直接用跟踪器T0或T1的初始跟踪结果作为当前帧的最终跟踪结果、是否更新模板以及是否要切换跟踪器；
如果模板可靠或者跟踪器不可靠，则根据DTU更新、统计记忆单元中的模板，更新切换模式、跟踪器和模板策略；
如果选择T1进行跟踪，根据ATS从记忆单元中选择T1需要使用的模板。
2.根据权利要求1所述的基于高效模板更新与选择机制的双向目标跟踪方法，其特征在于，构建基于在线学习的目标跟踪器T0的具体方法为：
在线跟踪前，采用VITAL跟踪算法并利用ILSVRC-VID数据集对T0进行离线预训练；
在线跟踪时，利用第一帧对T0进行参数初始化以适应当前任务，具体为在第一帧给定真实框周围采集5000个负样本、500个正样本，并对跟踪器迭代训练15轮；从第二帧开始，在上一帧预测目标框周围采集200个负样本、50个正样本，并对跟踪器训练1轮。
3.根据权利要求1所述的基于高效模板更新与选择机制的双向目标跟踪方法，其特征在于，构建在线可靠性评估模块ORE的具体方法为：
给定第t帧输入的图像，跟踪器Ti输出当前预测目标的置信度得分
对结果可靠性的评估方法
表示如下：
其中，τ1是跟踪结果的置信度阈值；跳跃函数sgn(·)用于将所有的
映射到{-1,0,1}；如果
返回1，则说明跟踪结果是可靠的；否则跟踪结果被判定为不可靠；
对模板的可靠性进行评估，使用一个更严格的阈值τ2以过滤掉不可靠的目标模板，评估方法
表示如下：
其中，
是模板Zl(l∈{0,k,N-1})相应的置信度得分；如果
返回1，说明模板是可靠的；
对跟踪器的可靠性进行评估，评估方法Etra(Ti)表示如下：
其中，failNum(Ti)表示在连续帧中跟踪失败的总次数，一旦跟踪结果是可靠的，其将会被重置为0；阈值τ3是连续帧失败总次数的上限；如果Etra(Ti)返回1，说明跟踪器是可靠的。
4.根据权利要求1所述的基于高效模板更新与选择机制的双向目标跟踪方法，其特征在于，构建动态模板更新模块DTU的具体方法为：
设置一个模板记忆单元Z＝{Z0,Z1,...,ZN-1}，其容量为N，并且根据第一帧给定真实框得到的第一个模板Z0进行初始化；
对于后续帧，设置模板写入和模板删除操作动态地更新模板记忆单元；当模板写入操作被执行，可靠的模板以及相应的权重将以队列的形式加入记忆单元；当模板删除操作被执行，除了第一帧模板外，记忆单元中的其他模板都将被删除；
设置模板统计操作，当记忆单元中的模板总数达到上限，下一帧使用T1单独跟踪策略。
5.根据权利要求1所述的基于高效模板更新与选择机制的双向目标跟踪方法，其特征在于，构建自适应模板选择模块ATS的具体方法为：
标记第一帧模板为Z0，最新帧模板为ZN-1，中间帧模板为Zk，k∈(0,N-1)，其中中间帧模板Zk从记忆单元中根据权重自适应选择；
根据变量ASS定义不同的模板策略Temp，表示如下：
其中P0表示仅使用第一帧模板，P1表示仅使用最新帧模板，P2表示同时使用第一帧、中间帧和最新帧，中间帧根据模板权重选择；P0和P1属于单模板策略，P2属于多模板策略；
对于使用T0和T1联合跟踪的情况，进一步将ASS表示为：
其中Count(·)表示记忆单元中模板的总数量，其最大容量为N；
对于使用T1单独跟踪的情况，进一步将ASS表示为：
其中Recovery用于标识当前帧使用第一帧模板进行重检测；若使用，则Recovery＝1，否则为0。
6.根据权利要求1所述的基于高效模板更新与选择机制的双向目标跟踪方法，其特征在于，构建基于离线学习的孪生跟踪器T1的具体方法为：
对视频的第一帧图像，基于给定的真实框的中心点，裁剪出127*127大小的区域作为模板图像；对于视频的后续帧图像，基于上一帧预测的边界框的中心点，裁剪出255*255大小的区域作为搜索区域图像；
加载在ILSVRC-VID数据集上预训练好的参数模型；
将每一个模板Zl(l∈{0,k,N-1})以及搜索图像Xt输入T1，得到三组分类图
和三组回归图
分别表示为：
和
将得到的三组分类图和回归图采用按位相加的方式进行融合，得到预测目标结果。
7.根据权利要求1所述的基于高效模板更新与选择机制的双向目标跟踪方法，其特征在于，对获取到的一帧图像采用T0和T1进行双向目标跟踪的具体方法为：
选择将当前帧图像输入跟踪器T0或跟踪器T1，若为第一帧图像，则默认选择T0，否则根据切换模式、跟踪器以及模板策略的状态值决定采用的跟踪策略、跟踪器及模板；
当采用T0跟踪器，首先获得初始跟踪结果PR0，将该结果输入ORE，由结果可靠性评估器评估跟踪结果的可靠性；如果结果PR0可靠，PR0即为当前帧的最终跟踪结果，表示为FR0，其进一步作为模板由模板可靠性评估器评估可靠性；如果模板是不可靠的，则更新切换模式状态值为帧间、跟踪器状态值为T0、模板策略状态值为P2，即为包含第一帧、中间帧和最新帧的多模板策略，表示当前帧结束，下一帧采用T0跟踪，若需要使用T1辅助跟踪，其模板策略为多模板；如果模板是可靠的，则执行模板写入操作更新模板记忆单元，此时模板及其权重都会被写入，写入后模板统计操作用于计算记忆单元中的模板数量，进一步判断是否充足，如果充足则更新切换模式状态值为帧间、跟踪器状态值为T1、模板策略状态值为P1，即为仅含最新帧的单模板策略，表示当前帧结束，下一帧采用T1跟踪，其模板策略为单模板，如果模板数量不充足，则更新切换模式状态值为帧间、跟踪器状态值为T0、模板策略状态值为P2，即为包含第一帧、中间帧和最新帧的多模板策略；
当结果PR0不可靠，更新切换模式状态值为帧内、跟踪器状态值为T1、模板策略状态值为P2，表示当前帧未结束，将继续采用跟踪器T1进行辅助跟踪，其模板策略为多模板；由于T1不仅能通过帧内转换辅助T0跟踪，还能通过帧间转换单独跟踪，因此T1需要根据当前的切换模式进行下一步操作；首先由ATS选择当前帧的模板，接着模板与搜索区域图像输入T1得到初始跟踪结果PR1，再利用ORE中的结果可靠性评估器评估PR1的可靠性；如果PR1可靠，PR1将作为当前帧的最终跟踪结果，表示为FR1，进一步通过与T0一样的操作，将FR1输入模板可靠性评估器，以判断是否将其写入模板记忆单元中；如果PR1不可靠，当前帧的最终跟踪结果FR1则采用T0的跟踪结果PR0，此时FR1也会送入模板可靠性评估器，执行和上述一样的评估方式；
当上述过程中更新切换模式状态值为帧间、跟踪器状态值为T1时，下一帧将采用T1单独跟踪以平衡速度和精度；此时的模板策略可以是P0、P1或者P2，即仅包含第一帧的单模板策略、仅包含最新帧的单模板策略或包含第一帧、中间帧和最新帧的多模板策略；ATS读取相应的模板输入T1后，得到初始跟踪结果PR1，PR1的可靠性由ORE中的结果可靠性评估器评估，如果PR1不可靠，PR1将作为当前帧的跟踪结果，表示为FR1，但是将由跟踪器可靠性评估器评估T1的可靠性，如果T1可靠，那么更新切换模式状态值为帧间、跟踪器状态值为T1、模板策略状态值为P1，表示当前帧结束，下一帧仍然采用T1跟踪，并基于最新帧模板，如果T1不可靠，一方面会从记忆单元中删除当前模板及其权重，另一方面更新切换模式状态值为帧间、跟踪器状态值为T1、模板策略状态值为P0，表示当前帧结束，下一帧T1将采用第一帧模板进行跟踪，以从不可靠状态中恢复；
如果PR1可靠，PR1将作为当前帧的跟踪结果，表示为FR1；此时根据模板策略，需要判断当前帧是否仅使用第一帧模板恢复，并且成功，即在PR1可靠的前提下ASS是否等于P0；如果ASS＝P0，则更新切换模式状态值为帧间、跟踪器状态值为T0、模板策略状态值为P2，表示T1从不可靠状态恢复成功后，下一帧将采用T0跟踪，以收集更多可靠的模板；如果ASS≠P0，则更新切换模式状态值为帧间、跟踪器状态值为T1、模板策略状态值为P2，表示下一帧继续使用基于多模板的T1跟踪。
8.一种基于高效模板更新与选择机制的双向目标跟踪系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-7所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110780748.8A CN113486820B (zh) | 2021-07-09 | 2021-07-09 | 基于高效模板更新与选择机制的双向目标跟踪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110780748.8A CN113486820B (zh) | 2021-07-09 | 2021-07-09 | 基于高效模板更新与选择机制的双向目标跟踪方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113486820A true CN113486820A (zh) | 2021-10-08 |
| CN113486820B CN113486820B (zh) | 2023-06-06 |
Family
ID=77938485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110780748.8A Active CN113486820B (zh) | 2021-07-09 | 2021-07-09 | 基于高效模板更新与选择机制的双向目标跟踪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113486820B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015163830A1 (en) * | 2014-04-22 | 2015-10-29 | Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi | Target localization and size estimation via multiple model learning in visual tracking |
| CN106971401A (zh) * | 2017-03-30 | 2017-07-21 | 联想(北京)有限公司 | 多目标跟踪装置和方法 |
| CN109671103A (zh) * | 2018-12-12 | 2019-04-23 | 易视腾科技股份有限公司 | 目标跟踪方法及装置 |
| CN111429481A (zh) * | 2020-03-18 | 2020-07-17 | 重庆邮电大学 | 一种基于自适应表达的目标追踪方法、装置及终端 |
| CN111931685A (zh) * | 2020-08-26 | 2020-11-13 | 北京建筑大学 | 一种基于双向跟踪策略的视频卫星移动目标检测方法 |
-
2021
- 2021-07-09 CN CN202110780748.8A patent/CN113486820B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015163830A1 (en) * | 2014-04-22 | 2015-10-29 | Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi | Target localization and size estimation via multiple model learning in visual tracking |
| CN106971401A (zh) * | 2017-03-30 | 2017-07-21 | 联想(北京)有限公司 | 多目标跟踪装置和方法 |
| CN109671103A (zh) * | 2018-12-12 | 2019-04-23 | 易视腾科技股份有限公司 | 目标跟踪方法及装置 |
| CN111429481A (zh) * | 2020-03-18 | 2020-07-17 | 重庆邮电大学 | 一种基于自适应表达的目标追踪方法、装置及终端 |
| CN111931685A (zh) * | 2020-08-26 | 2020-11-13 | 北京建筑大学 | 一种基于双向跟踪策略的视频卫星移动目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 许瑞: "《基于孪生网络的鲁棒视觉跟踪算法研究》", 《中国优秀硕士学位论文全文数据库-信息科技辑》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113486820B (zh) | 2023-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109829436B (zh) | 基于深度表观特征和自适应聚合网络的多人脸跟踪方法 | |
| CN113284168A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| CN112668483B (zh) | 一种融合行人重识别和人脸检测的单目标人物跟踪方法 | |
| CN108664930A (zh) | 一种智能的多目标检测跟踪方法 | |
| Zhang et al. | Modular deep q networks for sim-to-real transfer of visuo-motor policies | |
| CN114092521A (zh) | 基于多阶段自适应网络的鲁棒目标跟踪方法及系统 | |
| CN113221663B (zh) | 一种实时手语智能识别方法、装置及系统 | |
| TW202105241A (zh) | 機器人圖像增強方法、處理器、電子設備、電腦可讀儲存介質 | |
| CN111931654A (zh) | 一种人员跟踪智能监测方法、系统和装置 | |
| CN105373810B (zh) | 一种用于建立动作识别模型的方法及系统 | |
| CN115131420A (zh) | 基于关键帧优化的视觉slam方法及装置 | |
| CN110929670A (zh) | 基于yolo3技术的渣土车洁净度视频识别分析方法 | |
| CN113255479A (zh) | 轻量化人体姿态识别模型训练方法、动作切分方法及装置 | |
| CN114743273A (zh) | 基于多尺度残差图卷积网络的人体骨骼行为识别方法及系统 | |
| CN117036397A (zh) | 一种基于融合信息关联和相机运动补偿的多目标跟踪方法 | |
| Chao et al. | Adversarial refinement network for human motion prediction | |
| Ma et al. | Using RGB image as visual input for mapless robot navigation | |
| CN113486820A (zh) | 基于高效模板更新与选择机制的双向目标跟踪方法及系统 | |
| WO2024103682A1 (zh) | 基于视频分类的跌倒行为识别方法及电子设备 | |
| CN116630376A (zh) | 基于ByteTrack的无人机多目标跟踪方法 | |
| CN112446253A (zh) | 一种骨架行为识别方法及装置 | |
| Shen et al. | Adaptive update of UAV multi-target tracking based on Transformer | |
| Zhou et al. | Visual tracking using improved multiple instance learning with co-training framework for moving robot | |
| Springstübe et al. | Continuous convolutional object tracking. | |
| Shen et al. | AUNet: Adaptive UpdateNet for Dynamic Pedestrian Tracking with Short-Term Occlusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |