CN113870330A - 基于特定标签和损失函数的孪生视觉跟踪方法 - Google Patents
基于特定标签和损失函数的孪生视觉跟踪方法 Download PDFInfo
- Publication number
- CN113870330A CN113870330A CN202111165323.2A CN202111165323A CN113870330A CN 113870330 A CN113870330 A CN 113870330A CN 202111165323 A CN202111165323 A CN 202111165323A CN 113870330 A CN113870330 A CN 113870330A
- Authority
- CN
- China
- Prior art keywords
- twin
- visual tracking
- template
- branch
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于特定标签和损失函数的孪生视觉跟踪方法,涉及图像识别技术领域,包括S1获取训练样本,S2基于孪生网络建立孪生视觉跟踪模型,S3导入训练样本训练优化孪生视觉跟踪模型,S4将需要跟踪的视频导入优化后的孪生视觉跟踪模型进行跟踪;解决了传统孪生网络方法带来的语言模糊性,同时又将网络的重点导向更为重要的分辨能力,没有过分拟合值要求的大参数量;在超出大量跟踪器性能的基础上,速度也十分快;引入了新型的标签设计方法和损失函数,可以在不改变网络架构的基础上,在不同的跟踪器上进行使用,以提升性能。
Description
技术领域
本发明涉及图像识别技术领域,尤其涉及一种基于特定标签和损失函数的孪生视觉跟踪方法。
背景技术
传统的相关滤波是解决目标跟踪问题的一大方向。相关滤波源于信号处理领域,相关性用于表示两个信号之间的相似程度,基于相关滤波的跟踪方法的基本思想就是,寻找一个滤波模板,让下一帧的图像与滤波模板做相关操作,响应最大的区域则是预测的目标。但随着近年来深度学习方法的兴起,传统方法逐渐显得落后。
深度学习方法中,孪生网络方法是目前目标跟踪的主流方向之一,但是它的分类置信度设置没有明确的解释,因为只有边界框的真实值,预测得分图没有相应的标签。预测置信度的值范围和特征在很大程度上取决于损失的选择和生成相应训练伪标签的策略。对有目标剧烈变换等问题的跟踪情景难以很好地处理。
以前的方法大致可以分为两类:二进制值或连续值。第一类将满足特定条件的所有阳性样本校准为一,忽略不同状态之间的差异。第二类采用高斯分布或PSS指标模拟置信值,部分缓解了二进制设置造成的模糊。然而,强制模型回归给定的置信指标需要大量的模型容量。这种方法迫使学习专注于复杂的值拟合,而不是获得最佳识别能力。
除此之外,有些方法不把跟踪问题分为分类和回归两个子问题,而是将视频帧输入到神经网络中,该网络依次输出每帧中被跟踪对象的位置。并且使用视频序列和图像对跟踪器进行完全离线的训练。通过离线训练程序,跟踪器学习了外观和运动之间的一般关系,可用于在测试时跟踪新对象,无需在线训练。
发明内容
本发明的目的就在于为了解决上述问题设计了一种基于特定标签和损失函数的孪生视觉跟踪方法。
本发明通过以下技术方案来实现上述目的:
基于特定标签和损失函数的孪生视觉跟踪方法,包括:
S1、获取训练样本,训练样本包括训练示例和推理示例,训练示例和推理示例为训练对;
S2、基于孪生网络建立孪生视觉跟踪模型,孪生视觉跟踪模型包括模板分支、搜索分支和特征转化模块,模板分支和搜索分支为两个完全相同的孪生网络,特征交换层位于模板分支和搜索分支的特征提取之后,特征交换层用于模板分支的回归结果和搜索分支的分类结果;
S3、导入训练样本训练优化孪生视觉跟踪模型;
S4、将需要跟踪的视频导入优化后的孪生视觉跟踪模型进行跟踪。
本发明的有益效果在于:解决了传统孪生网络方法带来的语言模糊性,同时又将网络的重点导向更为重要的分辨能力,没有过分拟合值要求的大参数量;在超出大量跟踪器性能的基础上,速度也十分快;引入了新型的标签设计方法和损失函数,可以在不改变网络架构的基础上,在不同的跟踪器上进行使用,以提升性能。
附图说明
图1是本发明的孪生视觉跟踪模型深度学习架构图;
图2是本发明与现有技术的跟踪结果对比示意图;
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中,需要理解的是,术语“上”、“下”、“内”、“外”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,或者是本领域技术人员惯常理解的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本发明的描述中,还需要说明的是,除非另有明确的规定和限定,“设置”、“连接”等术语应做广义理解,例如,“连接”可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接连接,也可以通过中间媒介间接连接,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合附图,对本发明的具体实施方式进行详细说明。
基于特定标签和损失函数的孪生视觉跟踪方法,包括:
S1、获取训练样本,训练样本包括训练示例和推理示例,训练示例和推理示例为训练对,训练样本包括静态图片和长时跟踪视频,当使用静态图片进行训练时,通过增强技术生成用于训练的图像对,将图像对的训练图片分别裁剪为303*303和127*127大小,对图像对的推理图片进行随机缩放和平移处理;当使用一个视频进行训练时,随机选择一个视频作为推理示例,并在该视频中随机选择一对相差不过大的帧作为训练示例。
S2、基于孪生网络建立孪生视觉跟踪模型,孪生视觉跟踪模型包括模板分支、搜索分支和特征转化模块,模板分支和搜索分支为两个完全相同的孪生网络,特征交换层位于模板分支和搜索分支的特征提取之后,特征交换层用于模板分支的回归结果和搜索分支的分类结果。
S3、导入训练样本训练优化孪生视觉跟踪模型;
S31、模板分支提取训练示例的特征并进行卷积层处理得到模板分类结果和模板回归结果;搜索分支提取推理示例的特征并进行卷积层处理得到搜索分类结果和搜索回归结果;
S32、特征交换层交换模板回归结果和搜索分类结果;
S33、在孪生视觉跟踪模型的分类分支采用基于通道的相乘方法对模板分类结果和搜索分类结果进行相关计算得到得分图,在孪生视觉跟踪模型的回归分支采用基于通道的相乘方法对模板回归结果和搜索回归结果进行相关计算得到偏移量图;
S34、计算得分图的分类得分损失和偏移量图的回归损失;
S35、加权分类得分损失和回归损失对孪生视觉跟踪模型进行优化更新。
S4、将需要跟踪的视频导入优化后的孪生视觉跟踪模型进行跟踪。
从需要跟踪视频的第一帧中裁剪目标模板,模板分支提取目标模板的特征并缓存,需要跟踪视频进入搜索分支;当下帧根据前一帧的目标位置裁剪搜索块并提取特征,并使用余弦窗口和尺度变化惩罚来平滑目标的移动和变化,然后选择具有最佳分数的预测框,并通过线性插值与前一帧中的状态更新其大小,搜索分支在当下帧域进行预测跟踪得到得分图和偏移量图。
进行跟踪具体包括:
S41、在输入图像时按序裁剪,选取某张图像块为x,其图像序列为X,对于输入图像Cij=(Ci,Cj)点在置信度图中的对应位置为(i,j),置信度图中所有状态记为s={Cij|(i,j)∈置图信度},状态空间为S包含了所有的子状态s,对于某个图像xk,将yk记为该图像中待跟踪目标的外围框的中心点坐标;
S44、通过概率函数判断任意相邻两个图像xi比xj更接近于目标真实位置是否成立,概率函数为其中xi和xj分别代表两个图像块,fi和fj代表对应的置信度;若成立则表示排序正确;否则排序错误进行一次累加并交换排序;
S46、结合排序相关性表损失函数,具体包括:排序图像的计算为ri=r(xi),其中ri为正确排序情况下的标签;定义衰减函数为Γi=log2(ri+1),并引入其标准化项对g进行归一化项计算为则损失函数表示
解决了传统孪生网络方法带来的语言模糊性,同时又将网络的重点导向更为重要的分辨能力,没有过分拟合值要求的大参数量;在超出大量跟踪器性能的基础上,速度也十分快;引入了新型的标签设计方法和损失函数,可以在不改变网络架构的基础上,在不同的跟踪器上进行使用,以提升性能。
本发明的技术方案不限于上述具体实施例的限制,凡是根据本发明的技术方案做出的技术变形,均落入本发明的保护范围之内。
Claims (6)
1.基于特定标签和损失函数的孪生视觉跟踪方法,其特征在于,包括:
S1、获取训练样本,训练样本包括训练示例和推理示例,训练示例和推理示例为训练对;
S2、基于孪生网络建立孪生视觉跟踪模型,孪生视觉跟踪模型包括模板分支、搜索分支和特征转化模块,模板分支和搜索分支为两个完全相同的孪生网络,特征交换层位于模板分支和搜索分支的特征提取之后,特征交换层用于模板分支的回归结果和搜索分支的分类结果;
S3、导入训练样本训练优化孪生视觉跟踪模型;
S4、将需要跟踪的视频导入优化后的孪生视觉跟踪模型进行跟踪。
2.根据权利要求1所述的基于特定标签和损失函数的孪生视觉跟踪方法,其特征在于,在S1中,训练样本包括静态图片和长时跟踪视频,当使用静态图片进行训练时,将训练图片对分别裁剪为303*303和127*127大小,对推理图片进行随机缩放和平移处理;当使用一个视频进行训练时,随机选择一个视频作为推理示例,并在该视频中随机选择一对相差不过大的帧作为训练示例。
3.根据权利要求1所述的基于特定标签和损失函数的孪生视觉跟踪方法,其特征在于,在S3中孪生视觉跟踪模型的训练优化包括:
S31、模板分支提取训练示例的特征并进行卷积层处理得到模板分类结果和模板回归结果;搜索分支提取推理示例的特征并进行卷积层处理得到搜索分类结果和搜索回归结果;
S32、特征交换层交换模板回归结果和搜索分类结果;
S33、在孪生视觉跟踪模型的分类分支对模板分类结果和搜索分类结果进行相关计算得到得分图,在孪生视觉跟踪模型的回归分支对模板回归结果和搜索回归结果进行相关计算得到偏移量图;
S34、计算得分图的分类得分损失和偏移量图的回归损失;
S35、加权分类得分损失和回归损失对孪生视觉跟踪模型进行优化更新。
4.根据权利要求1所述的基于特定标签和损失函数的孪生视觉跟踪方法,其特征在于,在S4中,从需要跟踪视频的第一帧中裁剪目标模板,模板分支提取目标模板的特征并缓存,需要跟踪视频进入搜索分支;当下帧根据前一帧的目标位置裁剪搜索块并提取特征,搜索分支在当下帧域进行预测跟踪得到得分图和偏移量图。
5.根据权利要求1所述的基于特定标签和损失函数的孪生视觉跟踪方法,其特征在于,在S4中对需要跟踪视频进行跟踪具体包括:
S41、选取某张图像块为x,其图像序列为X,对于输入图像Cij=(Ci,Cj)点在置信度图中的对应位置为(i,j),置信度图中所有状态记为s={Cij|(i,j)∈置图信度},状态空间为S包含了所有的子状态s,对于某个图像xk,将yk记为该图像中待跟踪目标的外围框的中心点坐标;
S44、通过概率函数判断任意两个图像xi比xj更接近于目标真实位置是否成立,概率函数为其中xi和xj分别代表两个图像块,fi和fj代表对应的置信度;若成立则表示排序正确;否则排序错误进行一次累加并交换排序;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111165323.2A CN113870330B (zh) | 2021-09-30 | 2021-09-30 | 基于特定标签和损失函数的孪生视觉跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111165323.2A CN113870330B (zh) | 2021-09-30 | 2021-09-30 | 基于特定标签和损失函数的孪生视觉跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113870330A true CN113870330A (zh) | 2021-12-31 |
CN113870330B CN113870330B (zh) | 2023-05-12 |
Family
ID=79001551
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111165323.2A Active CN113870330B (zh) | 2021-09-30 | 2021-09-30 | 基于特定标签和损失函数的孪生视觉跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113870330B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190147602A1 (en) * | 2017-11-13 | 2019-05-16 | Qualcomm Technologies, Inc. | Hybrid and self-aware long-term object tracking |
CN110210551A (zh) * | 2019-05-28 | 2019-09-06 | 北京工业大学 | 一种基于自适应主体敏感的视觉目标跟踪方法 |
US20190294631A1 (en) * | 2018-03-23 | 2019-09-26 | Avigilon Corporation | Method and system for interfacing with a user to facilitate an image search for an object-of-interest |
CN111179307A (zh) * | 2019-12-16 | 2020-05-19 | 浙江工业大学 | 一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法 |
US20200327679A1 (en) * | 2019-04-12 | 2020-10-15 | Beijing Moviebook Science and Technology Co., Ltd. | Visual target tracking method and apparatus based on deeply and densely connected neural network |
CN112509008A (zh) * | 2020-12-15 | 2021-03-16 | 重庆邮电大学 | 一种基于交并比引导孪生网络的目标跟踪方法 |
CN112712546A (zh) * | 2020-12-21 | 2021-04-27 | 吉林大学 | 一种基于孪生神经网络的目标跟踪方法 |
CN113129335A (zh) * | 2021-03-25 | 2021-07-16 | 西安电子科技大学 | 一种基于孪生网络的视觉跟踪算法及多模板更新策略 |
CN113255611A (zh) * | 2021-07-05 | 2021-08-13 | 浙江师范大学 | 基于动态标签分配的孪生网络目标跟踪方法及移动设备 |
CN113344976A (zh) * | 2021-06-29 | 2021-09-03 | 常州工学院 | 一种基于目标物表征点估计的视觉跟踪方法 |
CN113870312A (zh) * | 2021-09-30 | 2021-12-31 | 四川大学 | 基于孪生网络的单目标跟踪方法 |
-
2021
- 2021-09-30 CN CN202111165323.2A patent/CN113870330B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190147602A1 (en) * | 2017-11-13 | 2019-05-16 | Qualcomm Technologies, Inc. | Hybrid and self-aware long-term object tracking |
US20190294631A1 (en) * | 2018-03-23 | 2019-09-26 | Avigilon Corporation | Method and system for interfacing with a user to facilitate an image search for an object-of-interest |
US20200327679A1 (en) * | 2019-04-12 | 2020-10-15 | Beijing Moviebook Science and Technology Co., Ltd. | Visual target tracking method and apparatus based on deeply and densely connected neural network |
CN110210551A (zh) * | 2019-05-28 | 2019-09-06 | 北京工业大学 | 一种基于自适应主体敏感的视觉目标跟踪方法 |
CN111179307A (zh) * | 2019-12-16 | 2020-05-19 | 浙江工业大学 | 一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法 |
CN112509008A (zh) * | 2020-12-15 | 2021-03-16 | 重庆邮电大学 | 一种基于交并比引导孪生网络的目标跟踪方法 |
CN112712546A (zh) * | 2020-12-21 | 2021-04-27 | 吉林大学 | 一种基于孪生神经网络的目标跟踪方法 |
CN113129335A (zh) * | 2021-03-25 | 2021-07-16 | 西安电子科技大学 | 一种基于孪生网络的视觉跟踪算法及多模板更新策略 |
CN113344976A (zh) * | 2021-06-29 | 2021-09-03 | 常州工学院 | 一种基于目标物表征点估计的视觉跟踪方法 |
CN113255611A (zh) * | 2021-07-05 | 2021-08-13 | 浙江师范大学 | 基于动态标签分配的孪生网络目标跟踪方法及移动设备 |
CN113870312A (zh) * | 2021-09-30 | 2021-12-31 | 四川大学 | 基于孪生网络的单目标跟踪方法 |
Non-Patent Citations (4)
Title |
---|
FEIYU MENG等: "RHL-track: visual object tracking based on recurrent historical localization" * |
HAO ZOU等: "F-Siamese Tracker: A Frustum-based Double Siamese Network for 3D Single Object Tracking" * |
孟晓燕等: "基于相关滤波的目标跟踪算法研究综述" * |
费大胜等: "基于多层特征增强的实时视觉跟踪" * |
Also Published As
Publication number | Publication date |
---|---|
CN113870330B (zh) | 2023-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111354017B (zh) | 一种基于孪生神经网络及平行注意力模块的目标跟踪方法 | |
CN110728694B (zh) | 一种基于持续学习的长时视觉目标跟踪方法 | |
CN113706581B (zh) | 基于残差通道注意与多层次分类回归的目标跟踪方法 | |
CN112132856A (zh) | 一种基于自适应模板更新的孪生网络跟踪方法 | |
Huang et al. | End-to-end multitask siamese network with residual hierarchical attention for real-time object tracking | |
CN109934846A (zh) | 基于时间和空间网络的深度集成目标跟踪方法 | |
CN112446900B (zh) | 孪生神经网络目标跟踪方法及系统 | |
CN112862860B (zh) | 一种用于多模态目标跟踪的对象感知图像融合方法 | |
CN111931571B (zh) | 基于在线增强检测的视频文字目标追踪方法与电子设备 | |
CN115690152A (zh) | 一种基于注意力机制的目标追踪方法 | |
CN116229112A (zh) | 一种基于多重注意力的孪生网络目标跟踪方法 | |
CN113393496A (zh) | 一种基于时空注意力机制的目标跟踪方法 | |
Kavitha et al. | Convolutional Neural Networks Based Video Reconstruction and Computation in Digital Twins. | |
Qi et al. | TCNet: A novel triple-cooperative network for video object detection | |
Tian et al. | TSRN: two-stage refinement network for temporal action segmentation | |
Chen et al. | Single‐Object Tracking Algorithm Based on Two‐Step Spatiotemporal Deep Feature Fusion in a Complex Surveillance Scenario | |
CN113870312A (zh) | 基于孪生网络的单目标跟踪方法 | |
CN111144469B (zh) | 基于多维关联时序分类神经网络的端到端多序列文本识别方法 | |
CN117576149A (zh) | 一种基于注意力机制的单目标跟踪方法 | |
Gong et al. | Research on an improved KCF target tracking algorithm based on CNN feature extraction | |
CN107273478A (zh) | 一种基于Group Lasso的半监督哈希图像搜索方法 | |
Li et al. | Lightweight particle filter for robust visual tracking | |
CN113870330A (zh) | 基于特定标签和损失函数的孪生视觉跟踪方法 | |
Tian et al. | DCFNet++: More advanced correlation filters network for real-time object tracking | |
Li et al. | MULS-Net: A Multilevel Supervised Network for Ship Tracking From Low-Resolution Remote-Sensing Image Sequences |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |