CN113610888B - 一种基于高斯平滑的孪生网络目标跟踪方法 - Google Patents

一种基于高斯平滑的孪生网络目标跟踪方法 Download PDF

Info

Publication number
CN113610888B
CN113610888B CN202110725901.7A CN202110725901A CN113610888B CN 113610888 B CN113610888 B CN 113610888B CN 202110725901 A CN202110725901 A CN 202110725901A CN 113610888 B CN113610888 B CN 113610888B
Authority
CN
China
Prior art keywords
image
search area
target
template
area image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110725901.7A
Other languages
English (en)
Other versions
CN113610888A (zh
Inventor
谭敏
闫胜业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202110725901.7A priority Critical patent/CN113610888B/zh
Publication of CN113610888A publication Critical patent/CN113610888A/zh
Application granted granted Critical
Publication of CN113610888B publication Critical patent/CN113610888B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于高斯平滑的孪生网络目标跟踪方法，属于计算机视觉技术领域。该方法包括如下步骤：1、选择目标模板；2、获取搜索区域；3、将获取的模板图像和搜索区域图像分别输入到孪生特征提取网络中进行特征提取；4、特征提取后得到模板图像特征和搜索区域图像特征，对得到的搜索区域图像特征进行高斯平滑处理；5、将模板图像特征和高斯平滑后的搜索区域图像特征进行互相关运算，得到响应图；6、将响应图用双三线性插值放大到搜索区域图像大小，放大后响应图上得分最大的点，即为预测目标的位置。本发明使提取到的图像特征更具有判别性；同时，防止跟踪漂移，使跟踪结果更准确。

Description

一种基于高斯平滑的孪生网络目标跟踪方法
技术领域
本发明涉及一种基于高斯平滑的孪生网络目标跟踪方法，属于计算机视觉技术领域。
背景技术
近几年来，深度学习技术在计算机视觉中的应用越来越广泛，在图像分类、图像检测、图像分割方面均取得了长足的进步，在目标跟踪领域也不例外。受深度学习在其他不同领域内的启发，应用深度学习的目标跟踪算法不断涌现，其中基于卷积神经网络(Convolutional Neural Network，CNN)的目标跟踪算法占据了主导地位。
构造传统特征需要考虑特征的尺度不变性、光照不变性、旋转不变性等特性，但是卷积特征只需要大量的图像进行训练便可以得到具有更强判别力的特征，这是传统特征所无法比拟的。CNN在目标跟踪中的应用，不仅仅因为CNN提取的特征具有非常强的判别能力，更得益于CNN的网络结构具有很强的迁移能力。在其他任务中训练得到的网络模型进行微调便可以应用于目标跟踪任务。因此，基于CNN的目标跟踪算法在其他计算机视觉任务的影响下得到了迅猛发展。HCF(分层卷积特征算法)发现不同层次的卷积层对于目标跟踪具有不同的作用，高层卷积层具有更多的语义信息，低层卷积层具有更多的纹理信息，将不同卷积层的响应进行加权可以到了更好的跟踪效果。ECO(高效卷积操作符算法)通过特征降维、目标函数求解优化、模型更新策略调整等方面对跟踪过程进行了加速，兼顾了性能与速度。
上述使用CNN与相关性滤波结合的方法，集结了深度学习与传统方法各自的特点，但是无法进行端对端的训练，从而并没有发挥出深度学习强大的优势。最近几年，基于孪生神经网络的目标跟踪算法，由于其轻便性和可扩展性，得到了快速发展。SiamFC算法使用全卷积的孪生神经网络，进行模板图像和搜索区域图像匹配，输出的响应图中得分最高的位置，具有较高的跟踪速度。由于SiamFC很好地平衡了目标跟踪中跟踪速度与跟踪精度的关系，打破了相关滤波方法在目标跟踪中的垄断地位，于是成为了当前最经典的孪生网络目标跟踪算法。但SiamFC算法仍存在针对遮挡、相似语义背景信息干扰下跟踪漂移，鲁棒性差等问题。如何克服目标在视频中的遮挡、背景信息干扰等因素影响，从而实现准确的目标跟踪，仍是科研人员急需解决的问题。
发明内容
本发明提出了一种基于高斯平滑的孪生网络目标跟踪方法，在SiamFC算法的基础上，充分利用当前更强的骨干网络，使提取到的图像特征更具有判别性；同时，通过高斯平滑函数抑制目标周边具有相似语义信息干扰的背景信息，防止跟踪漂移，使跟踪结果更准确。
本发明为解决其技术问题采用如下技术方案：
一种基于高斯平滑的孪生网络目标跟踪方法，包括如下步骤：
第一步：选择目标模板，模板图像为初始帧中以目标为中心框选一个刚好包住目标的图像，记为z；
第二步：获取搜索区域，搜索区域图像是以上一帧的目标为中心，大小是模板图像的4倍的区域图像，记为x；
第三步：将获取的模板图像和搜索区域图像分别输入到孪生特征提取网络中进行特征提取；
第四步：特征提取后得到模板图像特征和搜索区域图像特征/>对得到的搜索区域图像特征/>进行高斯平滑处理；
第五步：将模板图像特征和高斯平滑后的搜索区域图像特征进行互相关运算，得到响应图；
第六步：将响应图用双三线性插值放大到搜索区域图像大小，放大后响应图上得分最大的点，即为预测目标的位置。
步骤3所述特征提取网络采用的是修改后的VGG16网络。
步骤4所述对得到的搜索区域图像特征进行高斯平滑处理具体如下：
用搜索区域图像特征乘上高斯分布蒙版G(i，j)，抑制背景信息。
本发明的有益效果如下：
1、本发明使提取到的图像特征更具有判别性。
2、本发明防止跟踪漂移，使跟踪结果更准确。
附图说明
图1为方法框架图。
图2为高斯分布蒙版图。
具体实施方式
下面结合附图对本发明创造做进一步详细说明。
在本发明中，跟踪任意目标的任务可以看做是相似性学习的问题。基于孪生网络的跟踪器利用孪生网络可以学习相似性的特点实现跟踪。假设要学习的相似性函数由孪生网络f(x，z|θ)表示，其中x和z分别表示以目标为中心框取的搜索区域图像和模板图像，θ表示该网络的参数，经过f(x，z)的计算，得到一个目标模板z在搜索区域x中不同位置的打分，当前位置得分越高，说明目标越有可能处于这个位置。如图1所示，在实际应用中，x和z并不直接参与相似性的计算，而是先经过一个特征提取网络得到相应的特征/>和/>我们对搜索区域图像特征/>进行高斯平滑处理，具体操作是用/>乘上高斯分布蒙版，最后将模板图像特征和搜索区域图像特征进行互相关运算，得到响应图，响应图上得分最大的点，即为预测目标的位置。相似性度量函数如式(1)所示：
G(i，j)表示高斯分布蒙版的亮度范围是从1到0，*表示互相关运算。
如图2所示，高斯分布蒙版的亮度范围是从1到0，从中心到边缘逐渐减弱，中心的亮度值最高为1，边缘的亮度值最低为0.图像上任何一点的亮度值为：
其中i，j表示图2上任何一点的坐标，以左上角为坐标原点，d表示图像上任何一点到图像中心点的距离，R表示图像的半径，具体计算式如式(3)、(4)。图像的高(H)和宽(W)与一致。
高斯分布蒙版能有效抑制搜索区域图像中目标周边的背景信息，使经过互相关运算后得到的响应图上的打分更准确，提升跟踪鲁棒性。
算法训练过程
式(1)得到的孪生网络f通过在VID、GOT-10k数据集上进行离线训练，在训练的过程中，利用判别的方法对f进行训练，其损失函数定义如式(5)、(6)所示：
l(y，v)＝log(1+exp(-yv)) (5)
其中，y∈[-1，+1]表示标签值，D是互相关运算后的生成的响应图，v是响应图上的实际得分，u为响应图中任意一点，|D|为响应图的大小。响应图的标签值按照公式(7)进行标记：
其中：c为响应图的中心，||u-c||是u与c的欧氏距离，T为距离的阈值，k网络的下采样步长。
如图1所示为本发明提供的一种基于高斯平滑的孪生网络目标跟踪方法框架图。将数据集中的目标图像和搜索区域图像分别输入到孪生特征提取网络中，特征提取网络采用的是修改后的VGG16网络，具体结构如表1所示。
表1修改后的VGG16网络结构
得到模板图像特征特征和搜索区域图像特征/>后，对搜索区域图像特征进行高斯平滑处理，抑制背景信息。最后将模板图像特征和高斯平滑处理后的搜索区域图像特征进行互相关运算，得到响应图，利用损失函数(6)进行训练学习。

Claims (2)

1.一种基于高斯平滑的孪生网络目标跟踪方法，其特征在于，包括如下步骤：
第一步：选择目标模板，模板图像为初始帧中以目标为中心框选一个刚好包住目标的图像，记为z；
第二步：获取搜索区域，搜索区域图像是以上一帧的目标为中心，大小是模板图像的4倍的区域图像，记为x；
第三步：将获取的模板图像和搜索区域图像分别输入到特征提取网络φ中进行特征提取；
第四步：特征提取后得到模板图像特征φ(z)和搜索区域图像特征φ(x)，对得到的搜索区域图像特征φ(x)进行高斯平滑处理；具体如下：
用搜索区域图像特征φ(x)乘上高斯分布蒙版G(i,j)，抑制背景信息，高斯分布蒙版的亮度范围是从1到0，从中心到边缘逐渐减弱，中心的亮度值最高为1，边缘的亮度值最低为0，图像上任何一点的亮度值为:
其中i,j表示图上任何一点的坐标，以左上角为坐标原点，d表示图像上任何一点到图像中心点的距离，R表示图像的半径；
第五步：将模板图像特征φ(z)和高斯平滑后的搜索区域图像特征进行互相关运算，得到响应图；
第六步：将响应图用双三线性插值放大到搜索区域图像大小，放大后响应图上得分最大的点，即为预测目标的位置。
2.根据权利要求1所述的一种基于高斯平滑的孪生网络目标跟踪方法，其特征在于，步骤3所述特征提取网络φ采用的是修改后的VGG16网络。
CN202110725901.7A 2021-06-29 2021-06-29 一种基于高斯平滑的孪生网络目标跟踪方法 Active CN113610888B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110725901.7A CN113610888B (zh) 2021-06-29 2021-06-29 一种基于高斯平滑的孪生网络目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110725901.7A CN113610888B (zh) 2021-06-29 2021-06-29 一种基于高斯平滑的孪生网络目标跟踪方法

Publications (2)

Publication Number Publication Date
CN113610888A CN113610888A (zh) 2021-11-05
CN113610888B true CN113610888B (zh) 2023-11-24

Family

ID=78336930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110725901.7A Active CN113610888B (zh) 2021-06-29 2021-06-29 一种基于高斯平滑的孪生网络目标跟踪方法

Country Status (1)

Country Link
CN (1) CN113610888B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114299111B (zh) * 2021-12-21 2022-11-04 中国矿业大学 一种基于半监督孪生网络的红外弱小目标跟踪方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011243229A (ja) * 2011-09-05 2011-12-01 Nippon Telegr & Teleph Corp <Ntt> 対象物追跡装置及び対象物追跡方法
CN104036528A (zh) * 2014-06-26 2014-09-10 西北农林科技大学 一种基于全局搜索的实时分布场目标跟踪方法
CN106570892A (zh) * 2015-08-18 2017-04-19 航天图景（北京）科技有限公司 一种基于边缘增强模板匹配的运动目标主动跟踪方法
WO2018076484A1 (zh) * 2016-10-25 2018-05-03 华南理工大学 一种基于视频的捏合指尖跟踪方法
CN110569793A (zh) * 2019-09-09 2019-12-13 西南交通大学 一种无监督相似性判别学习的目标跟踪方法
CN110992378A (zh) * 2019-12-03 2020-04-10 湖南大学 基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统
CN111179307A (zh) * 2019-12-16 2020-05-19 浙江工业大学 一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法
CN111260688A (zh) * 2020-01-13 2020-06-09 深圳大学 一种孪生双路目标跟踪方法
CN112183600A (zh) * 2020-09-22 2021-01-05 天津大学 一种基于动态记忆库模板更新的目标跟踪方法
CN112184752A (zh) * 2020-09-08 2021-01-05 北京工业大学 一种基于金字塔卷积的视频目标跟踪方法
CN112509003A (zh) * 2020-12-01 2021-03-16 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 解决目标跟踪框漂移的方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5469899B2 (ja) * 2009-03-31 2014-04-16 株式会社トプコン 自動追尾方法及び測量装置
US11227179B2 (en) * 2019-09-27 2022-01-18 Intel Corporation Video tracking with deep Siamese networks and Bayesian optimization

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011243229A (ja) * 2011-09-05 2011-12-01 Nippon Telegr & Teleph Corp <Ntt> 対象物追跡装置及び対象物追跡方法
CN104036528A (zh) * 2014-06-26 2014-09-10 西北农林科技大学 一种基于全局搜索的实时分布场目标跟踪方法
CN106570892A (zh) * 2015-08-18 2017-04-19 航天图景（北京）科技有限公司 一种基于边缘增强模板匹配的运动目标主动跟踪方法
WO2018076484A1 (zh) * 2016-10-25 2018-05-03 华南理工大学 一种基于视频的捏合指尖跟踪方法
CN110569793A (zh) * 2019-09-09 2019-12-13 西南交通大学 一种无监督相似性判别学习的目标跟踪方法
CN110992378A (zh) * 2019-12-03 2020-04-10 湖南大学 基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统
CN111179307A (zh) * 2019-12-16 2020-05-19 浙江工业大学 一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法
CN111260688A (zh) * 2020-01-13 2020-06-09 深圳大学 一种孪生双路目标跟踪方法
CN112184752A (zh) * 2020-09-08 2021-01-05 北京工业大学 一种基于金字塔卷积的视频目标跟踪方法
CN112183600A (zh) * 2020-09-22 2021-01-05 天津大学 一种基于动态记忆库模板更新的目标跟踪方法
CN112509003A (zh) * 2020-12-01 2021-03-16 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 解决目标跟踪框漂移的方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Fully-Convolutional Siamese Networks for Object Tracking;Luca Bertinetto 等;《European Conference on Computer Vision 2016》;第9914卷;850-865 *
一种基于孪生网络的高鲁棒性实时单目标船舶跟踪方法;张云飞 等;《舰船科学技术》;第41卷(第23期);103-108 *
基于全卷积孪生网络的单目标跟踪算法研究;谭敏;《中国优秀硕士学位论文全文数据库信息科技辑》(第(2023)01期);I138-1310 *
基于孪生检测网络的实时视频追踪算法;邓杨 等;《计算机应用》;第39卷(第12期);3440-3444 *
基于视频的目标检测与跟踪算法研究;吴天成;《中国优秀硕士学位论文全文数据库信息科技辑》(第(2020)07期);I138-1057 *
视觉跟踪中的目标模型自适应更新研究;张智帆;《中国优秀硕士学位论文全文数据库信息科技辑》(第(2021)05期);I138-1357 *

Also Published As

Publication number Publication date
CN113610888A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
Li et al. SAR image change detection using PCANet guided by saliency detection
CN112069896B (zh) 一种基于孪生网络融合多模板特征的视频目标跟踪方法
CN112184752A (zh) 一种基于金字塔卷积的视频目标跟踪方法
CN111160533A (zh) 一种基于跨分辨率知识蒸馏的神经网络加速方法
CN108846404B (zh) 一种基于相关约束图排序的图像显著性检测方法及装置
CN112446900B (zh) 孪生神经网络目标跟踪方法及系统
CN109727272B (zh) 一种基于双分支时空正则化相关滤波器的目标跟踪方法
CN113920472A (zh) 一种基于注意力机制的无监督目标重识别方法及系统
CN114663707A (zh) 基于Faster RCNN改进的少样本目标检测方法
CN113610888B (zh) 一种基于高斯平滑的孪生网络目标跟踪方法
Li et al. Object tracking with only background cues
Touil et al. Hierarchical convolutional features for visual tracking via two combined color spaces with SVM classifier
CN108491883B (zh) 一种基于条件随机场的显著性检测优化方法
CN108876776B (zh) 一种分类模型生成方法、眼底图像分类方法及装置
CN113361329B (zh) 一种基于实例特征感知的鲁棒单目标跟踪方法
CN112750071B (zh) 一种用户自定义的表情制作方法及系统
CN113379794B (zh) 基于注意力-关键点预测模型的单目标跟踪系统及方法
Dalara et al. Entity Recognition in Indian Sculpture using CLAHE and machine learning
CN115100694A (zh) 一种基于自监督神经网络的指纹快速检索方法
He et al. Object tracking based on channel attention
Chu et al. Regressive scale estimation for visual tracking
CN113888590A (zh) 一种基于数据增强和孪生网络的视频目标跟踪方法
CN109146058B (zh) 具有变换不变能力且表达一致的卷积神经网络
CN110956095A (zh) 一种基于角点肤色检测的多尺度人脸检测方法
Mu et al. Optimal feature selection for saliency seed propagation in low contrast images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant