CN113470071B - 一种两层级联红外行人跟踪方法 - Google Patents
一种两层级联红外行人跟踪方法 Download PDFInfo
- Publication number
- CN113470071B CN113470071B CN202110743958.XA CN202110743958A CN113470071B CN 113470071 B CN113470071 B CN 113470071B CN 202110743958 A CN202110743958 A CN 202110743958A CN 113470071 B CN113470071 B CN 113470071B
- Authority
- CN
- China
- Prior art keywords
- target
- sub
- tracking
- frame
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 239000000126 substance Substances 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 7
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明属于红外目标跟踪技术领域,具体涉及一种两层级联红外行人跟踪方法。本发明的是为解决目标丢失和漂移问题而设计的一种两层级联红外行人跟踪方法,通过优化跟踪过程和构造归一化联合置信度来提高跟踪精度、改善跟踪性能。本发明的跟踪方法易于嵌入到其他跟踪器,跟踪精度高,能够自适应更新子目标分类器参数及外观模型,防止遮挡,且能够有效降低跟踪漂移。本发明比GFS‑DCF具有更高的成功率和精度,达到了更好的跟踪效果。
Description
技术领域
本发明属于红外目标跟踪技术领域,具体涉及一种两层级联红外行人跟踪方法。
背景技术
红外行人跟踪属于红外目标跟踪范畴。红外目标跟踪是一种从红外图像序列中获取初始目标区域,并在后续序列中定位该目标的技术,已被广泛应用于红外精确制导、预警、视频监控、搜索和跟踪等多种军事及民用领域。由于目标跟踪技术在上述应用领域中具有十分重要的地位,红外目标跟踪特别是复杂背景下的红外行人目标跟踪问题逐渐成为研究热点。
研究人员在视觉跟踪器的基础上提出了多种红外目标跟踪技术和方法。其中,相关滤波方法凭借着优异的性能和较快的运行速度,获得了学术界和工业界的青睐。基于核相关滤波器的热红外目标跟踪算法提出了一种使用样本循环移位采样策略,解决了之前样本不足的问题,并大大加快了跟踪速度。判别尺度空间跟踪(Discriminative Scale SpaceTracking,DSST)算法利用位置滤波器和尺度滤波器解决了跟踪中的尺度变化和遮挡问题。基于判别相关滤波器的群组特征选择方法(Group Feature Selection method for DCF-based visual object tracking,GFS-DCF)通过在空间和通道维度上执行群组特征选择,提高了判别相关滤波器的鲁棒性。然而,当面临遮挡和长序列红外行人目标跟踪任务时,由于行人目标具有非刚性特点,现有跟踪技术仍然无法有效解决目标丢失和漂移问题,从而影响了跟踪性能。
发明内容
本发明的目的在于解决目标丢失和漂移问题,提供一种两层级联红外行人跟踪方法。
本发明的目的通过如下技术方案来实现:包括以下步骤:
步骤1:输入红外行人视频序列I,初始化帧数索引t=1;
步骤2:对第t帧视频图像It中的行人目标使用GFS-DCF框架粗略定位,得到目标中心坐标(x,y)、目标的宽度w及高度h;
步骤3:将第t帧的跟踪目标在垂直和水平方向均分为r×r块,得到子目标中心坐标(xn,yn)及其宽度wn和高度hn;
其中,n=1,2,...,N;N为均分的子目标个数,N=r2;r≥2,且r为整数;
步骤12:使用DSST算法中的尺度滤波器根据获得的目标中心位置坐标(xt,yt)计算目标框尺寸wt和ht;
步骤13:将步骤2中粗定位的目标中心坐标为(x,y)更新为(xt,yt),目标的宽度w和高度h分别更新为wt和ht;
步骤14:更新子滤波器系数及外观模型;
步骤15:若t<T,T为红外行人视频序列I的总帧数,则令t=t+1,返回步骤2;否则,输出最终的跟踪结果。
本发明的有益效果在于:
本发明的是为解决目标丢失和漂移问题而设计的一种两层级联红外行人跟踪方法,通过优化跟踪过程和构造归一化联合置信度来提高跟踪精度、改善跟踪性能。本发明的跟踪方法易于嵌入到其他跟踪器,跟踪精度高,能够自适应更新子目标分类器参数及外观模型,防止遮挡,且能够有效降低跟踪漂移。本发明比GFS-DCF具有更高的成功率和精度,达到了更好的跟踪效果。
附图说明
图1为本发明的总体流程图
图2为本发明的实施例中的实验结果表。
具体实施方式
下面结合附图对本发明做进一步描述。
本发明涉及一种红外行人跟踪技术,属于红外目标跟踪技术领域。本发明的目的是为解决目标丢失和漂移问题而设计的一种两层级联红外行人跟踪方法,通过优化跟踪过程和构造归一化联合置信度来提高跟踪精度、改善跟踪性能。
本发明提出一种两层级联红外行人跟踪技术,采用的方案是:
1)输入红外行人视频序列,设置帧数t=1。
2)对第t帧视频图像中的行人目标使用GFS-DCF框架粗略定位。
3)构造基于归一化联合置信度的自适应精细定位模块,包括:
a)为了跟踪策略更适用于非刚性红外行人目标,将对粗定位的行人目标区域进行分块,获得子目标搜索区域。
b)为了能够有效地处理目标遮挡,采用平滑分布场对各子目标搜索区域进行建模,得到各子目标的外观模型和子滤波器系数。
c)为了减小目标跟踪框漂移,构造归一化联合置信度和归一化联合置信响应,对可靠子目标搜索区域分配更大的归一化联合置信度,并将归一化联合置信响应最大位置作为目标中心位置坐标。
d)为提高跟踪的成功率,采用DSST算法中的尺度滤波器根据目标中心位置获得目标跟踪框大小。
4)基于两层级联方法,更新第t帧视频图像中行人目标的中心位置坐标和目标跟踪框大小。
5)自适应更新子目标的外观模型和子滤波器系数。
6)令t=t+1,重复步骤2)~5)直至最后一帧视频图像处理完成。
令I为红外行人视频序列,t=1,2,...,T,T为跟踪序列的总帧数,t为当前帧索引,It为第t帧视频图像。本发明提出的两层级联红外行人跟踪技术的具体实现步骤如下。
步骤1,利用GFS-DCF粗定位It中的行人目标,得到目标中心坐标为(x,y)和目标的宽度w及高度h。
步骤2,构造基于归一化联合置信度的自适应精细定位模块:
(a)将第t帧的跟踪目标在垂直和水平方向均分为r×r块,得到子目标中心坐标为(xn,yn)及其宽度wn和高度hn,其中n=1,2,...,N,N为均分的子目标个数,N=r2,r≥2,且r为整数。这种基于分块的跟踪策略更适用于非刚性红外行人目标,从而更好应对形变、遮挡等复杂情形的跟踪。
(h)分别根据式(2)和式(3)计算归一化联合置信度和归一化联合置信响应其中,归一化联合置信度可以更好的反映各个子目标搜索区域的可靠性,从而对更可靠子目标搜索区域分配更大的归一化联合置信度来减少目标漂移;
步骤4,为了提高跟踪的成功率,使用DSST算法中的尺度滤波器根据步骤3获得的目标中心位置坐标(xt,yt)计算目标框尺寸wt和ht。
步骤5,将步骤1中粗定位的目标中心坐标为(x,y)更新为(xt,yt),目标的宽度w和高度h分别更新为wt和ht。
步骤6,根据式(4)和(5)自适应更新子滤波器系数及外观模型。
步骤7,重复执行步骤1至步骤6,直至视频序列结束。
与现有技术相比,本发明的有益效果是:本发明的跟踪方法易于嵌入到其他跟踪器,跟踪精度高,能够自适应更新子目标分类器参数及外观模型,防止遮挡,且有效降低跟踪漂移。
使用PTB-TIR红外行人数据集作为测试集,将行人目标区域均分为4块,测试本发明所提出的跟踪方法,结果如图2所示。实验表明:总体评价、背景杂斑、外观变形及遮挡的成功率和精度皆有所提升,本发明提出的改进方法比GFS-DCF具有更高的成功率和精度,达到了更好的跟踪效果。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (1)
1.一种两层级联红外行人跟踪方法,其特征在于,包括以下步骤:
步骤1:输入红外行人视频序列I,初始化帧数索引t=1;
步骤2:对第t帧视频图像It中的行人目标使用GFS-DCF框架粗略定位,得到目标中心坐标(x,y)、目标的宽度w及高度h;
步骤3:将第t帧的跟踪目标在垂直和水平方向均分为r×r块,得到子目标中心坐标(xn,yn)及其宽度wn和高度hn;
其中,n=1,2,...,N;N为均分的子目标个数,N=r2;r≥2,且r为整数;
步骤12:使用DSST算法中的尺度滤波器根据获得的目标中心位置坐标(xt,yt)计算目标框尺寸wt和ht;
步骤13:将步骤2中粗定位的目标中心坐标为(x,y)更新为(xt,yt),目标的宽度w和高度h分别更新为wt和ht;
步骤14:更新子滤波器系数及外观模型;
步骤15:若t<T,T为红外行人视频序列I的总帧数,则令t=t+1,返回步骤2;否则,输出最终的跟踪结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110743958.XA CN113470071B (zh) | 2021-07-01 | 2021-07-01 | 一种两层级联红外行人跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110743958.XA CN113470071B (zh) | 2021-07-01 | 2021-07-01 | 一种两层级联红外行人跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113470071A CN113470071A (zh) | 2021-10-01 |
CN113470071B true CN113470071B (zh) | 2022-05-31 |
Family
ID=77877091
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110743958.XA Active CN113470071B (zh) | 2021-07-01 | 2021-07-01 | 一种两层级联红外行人跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113470071B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005165791A (ja) * | 2003-12-03 | 2005-06-23 | Fuji Xerox Co Ltd | 対象物の追跡方法及び追跡システム |
CN104463909A (zh) * | 2014-11-28 | 2015-03-25 | 北京交通大学长三角研究院 | 基于信度组合地图模型的视觉目标跟踪方法 |
CN107424171A (zh) * | 2017-07-21 | 2017-12-01 | 华中科技大学 | 一种基于分块的抗遮挡目标跟踪方法 |
CN110782480A (zh) * | 2019-10-15 | 2020-02-11 | 哈尔滨工程大学 | 一种基于在线模板预测的红外行人跟踪方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9613273B2 (en) * | 2015-05-19 | 2017-04-04 | Toyota Motor Engineering & Manufacturing North America, Inc. | Apparatus and method for object tracking |
-
2021
- 2021-07-01 CN CN202110743958.XA patent/CN113470071B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005165791A (ja) * | 2003-12-03 | 2005-06-23 | Fuji Xerox Co Ltd | 対象物の追跡方法及び追跡システム |
CN104463909A (zh) * | 2014-11-28 | 2015-03-25 | 北京交通大学长三角研究院 | 基于信度组合地图模型的视觉目标跟踪方法 |
CN107424171A (zh) * | 2017-07-21 | 2017-12-01 | 华中科技大学 | 一种基于分块的抗遮挡目标跟踪方法 |
CN110782480A (zh) * | 2019-10-15 | 2020-02-11 | 哈尔滨工程大学 | 一种基于在线模板预测的红外行人跟踪方法 |
Non-Patent Citations (6)
Title |
---|
A Moderately Deep Convolutional Neural Network for Relation Extraction;Xinyang Bing等;《Proceedings of the 2019 11th International Conference on Machine Learning and Computing》;20190222;173-177 * |
Deep Activation Feature Maps for Visual Object Tracking;Yang Li等;《Proceedings of the 2018 International Conference on Signal Processing and Machine Learning》;20181130;99-106 * |
Detection of Failure Updation and Correction for Visual;Fahad Rafique等;《Proceedings of the 2020 12th International Conference on Machine Learning and Computing》;20200526;346-351 * |
判别式相关滤波器的目标跟踪综述;徐宁等;《小型微型计算机系统》;20201213;2482-2493 * |
基于SIFT的新特征提取匹配算法;郑丽颖等;《应用科技》;20181017;94-103 * |
基于深度学习的运动目标检测与跟踪研究;周祥增;《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》;20180615;I138-116 * |
Also Published As
Publication number | Publication date |
---|---|
CN113470071A (zh) | 2021-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chen et al. | RETRACTED ARTICLE: The visual object tracking algorithm research based on adaptive combination kernel | |
CN111260689B (zh) | 一种基于置信度增强的相关滤波视觉跟踪方法 | |
CN108665485B (zh) | 一种基于相关滤波与孪生卷积网络融合的目标跟踪方法 | |
CN107194408B (zh) | 一种混合块稀疏协作模型的目标跟踪方法 | |
CN107424171B (zh) | 一种基于分块的抗遮挡目标跟踪方法 | |
CN103295242B (zh) | 一种多特征联合稀疏表示的目标跟踪方法 | |
CN110120065B (zh) | 一种基于分层卷积特征和尺度自适应核相关滤波的目标跟踪方法及系统 | |
CN110766723B (zh) | 一种基于颜色直方图相似性的无人机目标跟踪方法及系统 | |
CN113255611B (zh) | 基于动态标签分配的孪生网络目标跟踪方法及移动设备 | |
CN110378932B (zh) | 一种基于空间正则矫正的相关滤波视觉跟踪方法 | |
CN110555864B (zh) | 基于pspce的自适应目标跟踪方法 | |
CN109271865B (zh) | 基于散射变换多层相关滤波的运动目标跟踪方法 | |
CN114565861A (zh) | 基于概率统计微分同胚集匹配的机载下视目标图像定位方法 | |
CN113470071B (zh) | 一种两层级联红外行人跟踪方法 | |
CN108053425A (zh) | 一种基于多通道特征的高速相关滤波目标跟踪方法 | |
CN110060280B (zh) | 基于外观自适应空间正则化相关滤波器的目标跟踪方法 | |
CN116778164A (zh) | 一种基于多尺度结构改进DeeplabV3+网络的语义分割方法 | |
CN116310128A (zh) | 基于实例分割与三维重建的动态环境单目多物体slam方法 | |
CN112348847B (zh) | 一种目标尺度自适应跟踪方法 | |
CN112614158B (zh) | 一种采样框自适应的多特征融合在线目标跟踪方法 | |
CN112507940B (zh) | 一种基于差分指导表示学习网络的骨骼动作识别方法 | |
CN111899284B (zh) | 一种基于参数化esm网络的平面目标跟踪方法 | |
CN114612518A (zh) | 基于历史轨迹信息和细粒度匹配的孪生网络目标跟踪方法 | |
CN113112522A (zh) | 基于可变形卷积和模板更新的孪生网络目标跟踪的方法 | |
CN112633078A (zh) | 目标跟踪自校正方法、系统、介质、设备、终端及应用 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |