CN110033472A - 一种复杂红外地面环境下的稳定目标跟踪方法 - Google Patents
一种复杂红外地面环境下的稳定目标跟踪方法 Download PDFInfo
- Publication number
- CN110033472A CN110033472A CN201910198694.7A CN201910198694A CN110033472A CN 110033472 A CN110033472 A CN 110033472A CN 201910198694 A CN201910198694 A CN 201910198694A CN 110033472 A CN110033472 A CN 110033472A
- Authority
- CN
- China
- Prior art keywords
- target
- response
- resp
- area
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004044 response Effects 0.000 claims abstract description 115
- 239000011159 matrix material Substances 0.000 claims description 60
- 238000001514 detection method Methods 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 42
- 238000012549 training Methods 0.000 claims description 35
- 238000001914 filtration Methods 0.000 claims description 18
- 125000004122 cyclic group Chemical group 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000007774 longterm Effects 0.000 abstract description 6
- 238000004422 calculation algorithm Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种复杂红外地面环境下的稳定目标跟踪方法,包括:获取红外视频中初始帧的目标信息以及周边背景信息初始化相关滤波器、分类器和检测器;根据上一帧的目标位置在下一帧搜索区域进行相关响应置信度以及遮挡阈值的计算,返回目标的粗定位;如果阈值满足遮挡条件,则重新计算缩减区域后的相关响应置信度,再对背景区域响应置信度进行惩罚,并返回该帧的目标最大响应值的目标位置和尺度,完成目标的精定位;更新全部模型参数;如果目标丢失,则使用检测器进行全局检索,找到目标更新全部模型参数返回目标位置。本发明能有效解决红外地面环境下对目标的长期稳定跟踪难题,具有较高的跟踪准确性和鲁棒性。
Description
技术领域
本发明涉及目标跟踪技术领域,具体涉及一种复杂红外地面环境下的稳定目标跟踪方法。
背景技术
红外成像系统主要运用相关光电技术去检测物体热辐射的相关定波段信号,不仅仅应用于安防监控、机器人以及人机交互等领域,还广泛应用于军事领域中。目标跟踪技术在近些年取得极大的进步,但还存在着红外地面图像的低信噪比问题,以及目标跟踪过程中的外观形变、强相似背景干扰以及遮挡等因素造成的跟踪鲁棒性差问题,这些都是目标跟踪技术进一步发展所需要解决的关键问题。
目前目标跟踪模式主要分为:生成模式、判别模式和基于深度学习三种。生成类算法是对当前帧目标区域图像建模,在下一帧图像中寻找与模型最相似的区域作为预测目标位置,比较典型的有卡尔曼滤波,粒子滤波,mean-shift滤波等。判别类算法则是以目标区域图像作为正样本,背景区域图像作为负样本,训练得到分类器模型,在下一帧图像中根据训练得到的分类器计算最优区域作为预测目标位置,比较典型的有多示例学习方法(multiple instance learning)和结构SVM(structured SVM)等。与生成类算法的主要区别在于,判别类算法在训练分类器中增加了背景信息,因此判别类算法普遍优于生成类算法;比较经典的有TLD(Tracking-Learning-Dectection)算法和LCT(Long-termCorrelation Tracking)算法等。
近年来,比较主流的算法一类是基于相关滤波的跟踪算法(Correlation Filterbased Tracking,CFT),它们具有精度高、速度快、鲁棒性好等特点。CFT算法通过将输入特征回归为目标高斯分布来训练滤波分类器,在下一帧图像中利用相关滤波计算响应矩阵,将其中响应最大值的位置返回为预测的目标位置。由于利用循环矩阵和快速傅里叶变换的特性,实现计算速度的大幅提升,其中早期CF算法中的单通道灰度特征的相关滤波MOSSE(Minimum Output Sum of Squared Error)算法速度达到了615FPS,后续的KCF(Kernelized Correlation Filters)算法在MOSSE的基础上引入了多通道梯度的HOG特征和核函数,DSST(Discriminative Scale Space Tracking)算法则在MOSSE基础上增加了尺度计算估计,利用两个相对独立的相关滤波器可以分别实现目标的跟踪和尺度变换。然而,基于相关滤波的目标跟踪算法由于只返回响应矩阵最大值位置和固定的学习率,因而在应对长期跟踪过程中发生的外观快速变形、相似背景干扰和目标遮挡等情况时,容易导致漂移。基于深度学习的目标跟踪算法,因其稳定的目标特征和CFT层的整合,带来堪比相关滤波的性能,近些年发展迅速,典型的算法有CFCF等。
但这些算法都还存在一些缺点,比如说:TLD算法虽然能够一定程度上解决跟踪器的模型漂移问题,但当目标被严重遮挡时,检测器和跟踪器跟踪目标均丢失,进而造成检测器全局检索巨大耗时;同时基于光流法的跟踪器,在目标运动幅度过大或发生大尺度形变时,也易丢失目标。KCF算法也存在着不足:目标快速运动边界效应造成的目标无法跟踪,只返回响应矩阵最大值位置,当响应矩阵出现多峰值时,真实跟踪目标位置可能在非全局最大值外的极大值处;跟踪目标的尺度变化适应性差;采用固定学习率,目标发生形变或者遮挡时会发生跟踪漂移。
发明内容
为了解决复杂地面环境下的红外目标长期稳定跟踪,克服跟踪过程中的相似背景或目标干扰、目标遮挡以及目标脱离跟踪视野等情况,本发明提供了一种复杂红外地面环境下的稳定目标跟踪方法。
本发明通过下述技术方案实现:
一种复杂红外地面环境下的稳定目标跟踪方法,包括以下步骤:
步骤一、获取红外视频中初始帧红外图像的目标信息以及背景信息,初始化相关滤波器、分类器和检测器;
步骤二、根据第t-1帧红外图像的目标位置在第t帧红外图像的搜索区域进行相关响应置信度以及遮挡检测值的计算,返回目标的粗定位;根据遮挡检测值,进行遮挡检测:如果遮挡检测值满足遮挡条件,则重新计算缩减区域后的相关响应置信度,再对背景区域响应置信度进行惩罚,并返回该帧红外图像的目标最大响应值的目标位置和尺度,完成目标的精定位;更新相关滤波器、分类器和检测器的参数;如果目标丢失,则采用检测器进行全局搜索,找到目标更新相关滤波器、分类器和检测器的参数并返回目标位置。
优选的,所述步骤一具体包括以下步骤:
步骤1.1,载入含有目标的红外视频,获取第一帧红外图像,并确定第一帧红外图像中的目标区域S1;
步骤1.2,在目标区域S1提取亮度直方图特征,训练亮度直方图模型,将目标区域S1放大1.5~2.5倍得到训练区域S2,对训练区域S2进行循环移位构造正负样本特征集,用于训练相关滤波器和尺度滤波器;
步骤1.3,在目标区域S1和训练区域S2分别进行正负样本提取,建立正负样本特征集,用于训练分类器和检测器。
优选的,所述步骤1.2还包括:
步骤1.2.1,首先在目标区域S1提取亮度直方图特征,训练亮度模型;
步骤1.2.2,扩大目标区域S1到1.5~2.5倍得到训练区域S2,在训练区域S2提取HOG特征,对提取的矩阵加上余弦窗,并进行循环移位,得到正负样本特征集,相关滤波模型:其岭回归解为:将其转换到频域,则有其中,A0为目标区域,Ai为目标周边的背景区域,少为样本特征集通过训练得到的模型计算后回归值,λ为超参数,a为一个N×1的矢量;通过正负样本特征集和相关滤波模型,训练相关滤波器;
步骤1.2.3,在步骤1.2.2的基础上,在目标区域S1,抽取s层PCA-HOG特征金字塔,取s=33尺度进行分析,且每个尺度系数n提取的区域大小为μnP×μnR。其中,μ为各个特征层间的比例系数,n取值范围是:提取尺度后,将其归一化到固定尺寸,训练尺度滤波器。
优选的,所述步骤1.3还包括:
步骤1.3.1,在目标区域S1及训练区域S2提取正负样本p;并建立正负样本特征集M;其中,
步骤1.3.2,通过上述建立的特征集M来训练分类器和检测器。
优选的,所述步骤二具体包括以下步骤:
步骤2.1,获取第t帧需要跟踪的红外图像,并将第t-1帧红外图像目标区域S1扩大2倍形成检测区域D1,使用步骤一初始化的相关滤波器模型计算D1区域的相关响应置信度矩阵resp_cf和S1区域的相关响应置信度矩阵resp_cf_o,然后计算出遮挡检测值UPCE;
步骤2.2,通过遮挡检测值UPCE检测目标是否被遮挡,若被遮挡,则缩小检测区域D1,重新计算上一帧目标区域S1的响应,并对背景区域D2的相关响应置信度进行惩罚,然后返回修正后的目标相关响应置信度;
步骤2.3,如果目标相关响应置信度满足UPCE>Th,则提取目标区域亮度直方图特征,计算亮度直方图的相关置信度resp_hist,并融合亮度直方图和HOG两种特征的响应结果,同时在该位置下找到最优尺度,并返回该目标位置和尺度;并更新相关滤波器、检测器和分类器的参数;
步骤2.4,如果提取的HOG特征和亮度直方图特征通过相关模型计算的置信度值满足条件:UPCE<Th,即出现目标被严重遮挡或目标脱离视野区域,则执行再检测机制找到目标,调用检测器进行图像全局检测,直到检测目标成功即找到最相似目标,然后返回该目标位置;并更新相关滤波器、检测器和分类器的参数。
优选的,所述步骤2.1还包括:
步骤2.1.1,以上一帧目标区域S1位置为中心,考虑背景区域D2,将检测区域D1设定为目标区域S1的2倍,检测区域D1=S1+D2;基于目标区域S1提取亮度直方图特征矩阵,基于检测区域D1提取HOG特征矩阵;
步骤2.1.2,计算提取HOG特征的检测区域D1的相关置信度矩阵resp_cf;
步骤2.1.3,计算检测区域D1遮挡检测值UPCE,计算公式如下:
其中,F(max,Glo)为检测区域D1对应的响应矩阵resp_cf中对应的最大响应值,F(min,Glo)为检测区域D1对应的响应矩阵resp_cf中对应的最小响应值,F(max,Loc)为目标区域S1对应的响应矩阵resp_cf_o中对应的最大响应值,F(min,Loc)为目标区域S1对应的响应矩阵resp_cf_o中对应的最小响应值,F(r,c,Glo)对应为检测区域D1的响应矩阵中第r行第c列的响应值,F(r,c,Loc)对应为目标区域S1的响应矩阵中第r行第c列的响应值。
优选的,所述步骤2.2还包括:
步骤2.2.1,当UPCE<Th,则目标被遮挡,其中,Th为遮挡阈值,故将背景区域D2响应矩阵resp_cfb中大于响应均值F(mean,Glo)的响应点进行压缩,再在上一帧预测的目标区域S1重新计算目标的响应矩阵,找到最大响应值,作为新的目标预测值;
步骤2.2.2,若步骤2.2.1满足,则将背景响应压缩到响应均值附近, 然后返回步骤2.1重新计算目标和背景的相关置信度;其中,为压缩系数;
步骤2.2.3,若UPCE>Th,将目标和背景的响应按照比例进行响应叠加,resp_cf=k1×resp_cf_o+k2×resp_cf_b;反之在步骤2.2.2的基础上,只考虑目标区域的响应,resp_cf=k1×resp_cf_o;其中,k1和k2为比例系数;
步骤2.2.4,返回响应矩阵resp_cf。
优选的,所述步骤2.3还包括:
步骤2.3.1,如果UPCE>Th,且对比上几帧的resp_cf,没有明显波动,计算提取亮度直方图特征的相关置信度resp_hist;
步骤2.3.2,对亮度直方图特征的响应矩阵resp_hist和HOG特征的响应矩阵resp_cf进行线性加权得到加权响应矩阵resp,resp=(1-μ)×resp_cf+μ×resp_hist;其中,μ为加权系数;
步骤2.3.3,迭代多个尺度,找到resp下的最佳尺度,返回resp时的位置和目标区域大小。
优选的,该方法还包括:重复执行步骤二,直至跟踪的红外视频图像全部处理完成。
优选的,所述分类器为SVM分类器,所述检测器为在线随机蕨检测器。
本发明具有如下的优点和有益效果:
本发明针对红外目标相关滤波跟踪过程中的背景杂波干扰、目标遮挡以及目标形变等情况导致的鲁棒性较差甚至跟踪丢失问题,该方法在传统相关滤波基础上惩罚目标背景区域响应,建立目标多模态检测机制实现目标由粗到精的定位,以解决遮挡或背景杂波响应产生的多峰值干扰;如果发生目标全遮挡或者目标脱离视野,则利用SVM+检测器进行目标重捕。该方法能有效解决红外地面环境下对目标的长期稳定跟踪难题,具有较高的跟踪准确性和鲁棒性。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,并不构成对本发明实施例的限定。在附图中:
图1是本发明实施例所述方法的框架结构图;
图2是本发明实施例所述方法的稳定跟踪的流程图;
图3是本发明实现之后对目标的发生严重遮挡和相似目标干扰时进行跟踪的效果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
实施例1
本发明实施例提供一种复杂红外地面环境下的稳定目标跟踪方法,该方法包括:获取红外视频中初始帧的目标信息以及周边背景信息初始化相关滤波器、分类器和检测器;根据上一帧的目标位置在下一帧搜索区域进行相关响应置信度以及遮挡检测值的计算,返回目标的粗定位;如果阈值满足遮挡条件,则重新计算缩减区域后的相关响应置信度,再对背景区域响应置信度进行惩罚,并返回该帧的目标最大响应值的目标位置和尺度,完成目标的精定位;更新全部模型参数;如果目标丢失,则使用检测器进行全局检索,找到目标更新全部模型参数返回目标位置。本发明在传统相关滤波基础上惩罚目标背景区域响应,建立目标多模态检测机制实现目标由粗到精的定位,以解决遮挡或背景杂波响应产生的多峰值干扰;本发明能有效解决红外地面环境下对目标的长期稳定跟踪难题,具有较高的跟踪准确性和鲁棒性。
如图1所示,所述复杂红外地面环境下的稳定目标跟踪方法,其目标跟踪系统包含:相关滤波器、SVM分类器和在线随机蕨检测器;所述目标跟踪方法包括如下步骤:
步骤1,载入含有目标的红外视频,获取第一帧红外图像并确定目标区域;
步骤2,在目标区域S1提取亮度直方图特征,训练亮度直方图模型。再将目标区域S1放大1.5~2.5倍得到训练区域S2,并对训练区域S2进行循环移位,构造正负样本矩阵,最后抽取特征训练相关滤波器和尺度滤波器;
(2a)首先在目标初始区域S1提取亮度直方图特征,训练亮度模板(模型);
(2b)扩大目标真实区域到1.5~2.5倍得到S2,提取HOG(方向梯度直方图)特征,对提取的特征矩阵加上余弦窗,并进行循环移位,得到目标样本集,再在此样本集上使用相关滤波训练模型。再考虑针对考虑背景的相关模型:其岭回归解为:利用核技巧将其转换到频域,则有其中,A0为目标区域,Ai为目标周边的背景区域,y为样本集通过训练得到的模型计算后回归值,为了惩罚背景区域的相关响应值,这里我们希望将周边背景(相似干扰背景)的响应回归值降低到0,通过构造目标区域A0和背景区域Ai为矩阵B实现。其他参数,如:λ为超参数,主要对参数进行约束,a为一个N×1的矢量,通过核函数对w的变化实现;
(2c)在(2b)的基础上,在目标中心位置,抽取s层PCA-HOG特征金字塔。取s=33尺度进行分析,且每个尺度系数n提取的区域大小为μnP×μnR。其中,μ为各个特征层间的比例系数,n取值范围是:提取尺度后,将其归一化到固定尺寸,训练尺度滤波器;
步骤3,在区域S1和区域S2分别进行正负样本提取,建立正负样本特征集合,初始化分类器和检测器;
(3a)在目标区域S1及区域S2提取正负样本p。并建立正负样本集M。其中,
(3b)通过前述建立的样本集和来训练SVM分类器和随机蕨检测器。
即上述步骤1-3通过第一帧图像来初始化滤波器、分类器和检测器。
步骤4,获取下一帧(第t帧)需要跟踪的红外图像,将上一帧(第t-1帧)红外图像目标区域S1扩大2倍形成检测区域D1,使用步骤1~3训练的相关滤波器模型计算区域D1和S1内目标位置的相关置信度矩阵和遮挡检测值矩阵;
(4a)以上一帧目标区域S1位置为中心,考虑背景区域D2,将检测区域D1(D1=S1+D2)设定为目标区域S1的2倍,基于目标区域S1提取亮度直方图特征矩阵,基于检测区域D1提取HOG特征矩阵;
(4b)计算提取HOG特征的检测区域D1(包括目标区域和背景区域)的相关置信度矩阵resp_cf;
(4c)计算检测区域D1的遮挡检测值UPCE,其中,其中,F(max,Glo)为检测区域D1对应的响应矩阵resp_cf中对应的最大响应值,F(min,Glo)为检测区域D1对应的响应矩阵resp_cf中对应的最小响应值,F(max,Loc)为目标区域S1对应的响应矩阵resp_cf_o中对应的最大响应值,F(min,Loc)为目标区域S1对应的响应矩阵resp_cf_o中对应的最小响应值,F(r,c,Glo)对应为检测区域D1的响应矩阵中第r行第c列的响应值,F(r,c,Loc)对应为目标区域S1的响应矩阵中第r行第c列的响应值;
步骤5,通过遮挡检测值UPCE检测目标是否被遮挡,若被遮挡,则缩小检测区域D1,重新计算上一帧目标区域S1的响应,并对背景区域D2的相关响应置信度进行惩罚,然后返回修正后的目标相关响应置信度;
(5a)当UPCE<Th,证明目标被遮挡(Th为遮挡阈值),故将背景区域D2响应矩阵resp_cf_b中大于响应均值F(mean,Glo)的响应点进行压缩,再在上一帧预测的目标区域S1重新计算目标的响应矩阵,找到最大响应值,作为新的目标预测值;这里,Th∈[0.5,0.7];
(5b)若(5a)满足,则将背景响应压缩到响应均值附近, 然后返回步骤4重新计算目标和背景的相关置信度;其中,为压缩系数;
(5c)若UPCE>Th,将目标和背景的响应按照8∶2的比例进行响应叠加,resp_cf=k1×resp_cf_o+k2×resp_cf_b;反之在(5b)的基础上,只考虑目标区域的响应,resp_cf=k1×resp_cf_o;其中,k1和k2为比例系数;本实施例中k1∶k2=8∶2;
(5d)返回响应矩阵resp_cf;
步骤6,如果目标响应相关置信度足够大且UPCE>Th,则提取目标区域亮度直方图特征,计算亮度直方图相关性,并融合两种特征的响应结果,同时在该位置下找到最优尺度,参考图2的第t帧跟踪流程框图,可以明显理解步骤4~步骤6;
(6a)如果UPCE>Th,且对比上几帧的resp_cf,没有明显波动,计算提取亮度直方图特征的相关置信度resp_hist;
(6b)对亮度直方图特征的响应矩阵resp_hist和HOG特征的响应矩阵resp_cf进行线性加权得到加权响应矩阵resp,resp=(1-μ)×resp_cf+μ×resp_hist;其中,μ为加权系数;
(6c)迭代多个尺度,找到resp下的最佳尺度,返回resp时的位置和目标区域大小;
步骤7,更新相关滤波器参数、检测器参数以及分类器参数;
(7a)对步骤2~3训练的相关滤波模型中的参数进行更新;
(7b)根据UPCE自适应更新相关滤波模型学习率η,
(7c)每隔4帧,在跟踪成功的目标区域,更新SVM检测器和随机蕨分类器的参数;
步骤8,通过前述步骤4~7,如果提取的HOG特征和亮度直方图特征通过相关模型计算的置信度值满足条件:UPCE<Th,即出现目标被严重遮挡或脱离视野区域,目标跟踪失败,调用随机蕨检测器进行全局检测,直到检测成功找到最相似目标,则在该区域重复步骤2~4,初始化分类器参数、检测器参数以及相关滤波器参数;
步骤9,循环执行步骤4至步骤8,直至跟踪的红外视频图像全部处理完成。
实施例2
本实施例是对上述实施例1提成的跟踪方法进行验证:本实施例提供的红外视频为外场采集的远处中波段红外视频,主要针对遮挡和复杂背景的进行的实时检测和跟踪。
如图3所示,红外视频测试序列2,视频包含复杂红外场景的杂波干扰、相似目标干扰、严重遮挡三种极难处理的跟踪难点。本文算法通过虚线框表示,目标经过了3秒(150帧)的遮挡,而且期间目标存在多个相似目标干扰。其他4种相关跟踪算法在发生遮挡后,当后方出现及其相似的车辆目标时(第176帧),都出现了错误重捕,并且都错误跟踪到遮挡物上,其中在第299帧时,蓝色跟踪算法跟踪到短时遮挡的快速车辆。本发明方法,依然在目标丢失后,成功实现目标的再检测,并在强背景干扰下,稳定跟踪目标。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种复杂红外地面环境下的稳定目标跟踪方法,其特征在于,包括以下步骤:
步骤一、获取红外视频中初始帧红外图像的目标信息以及背景信息,初始化相关滤波器、分类器和检测器;
步骤二、根据第t-1帧红外图像的目标位置在第t帧红外图像的搜索区域进行相关响应置信度以及遮挡检测值的计算,返回目标的粗定位;根据遮挡检测值,进行遮挡检测:如果遮挡检测值满足遮挡条件,则重新计算缩减区域后的相关响应置信度,再对背景区域响应置信度进行惩罚,并返回该帧红外图像的目标最大响应值的目标位置和尺度,完成目标的精定位;更新相关滤波器、分类器和检测器的参数;如果目标丢失,则采用检测器进行全局搜索,找到目标更新相关滤波器、分类器和检测器的参数并返回目标位置。
2.根据权利要求1所述的一种复杂红外地面环境下的稳定目标跟踪方法,其特征在于,所述步骤一具体包括以下步骤:
步骤1.1,载入含有目标的红外视频,获取第一帧红外图像,并确定第一帧红外图像中的目标区域S1;
步骤1.2,在目标区域S1提取亮度直方图特征,训练亮度直方图模型,将目标区域S1放大1.5~2.5倍得到训练区域S2,对训练区域S2进行循环移位构造正负样本特征集,用于训练相关滤波器和尺度滤波器;
步骤1.3,在目标区域S1和训练区域S2分别进行正负样本提取,建立正负样本特征集,用于训练分类器和检测器。
3.根据权利要求2所述的一种复杂红外地面环境下的稳定目标跟踪方法,其特征在于,所述步骤1.2还包括:
步骤1.2.1,首先在目标区域S1提取亮度直方图特征,训练亮度模型;
步骤1.2.2,扩大目标区域S1到1.5~2.5倍得到训练区域S2,在训练区域S2提取HOG特征,对提取的矩阵加上余弦窗,并进行循环移位,得到正负样本特征集,相关滤波模型:其岭回归解为:将其转换到频域,则有其中,A0为目标区域,Ai为目标周边的背景区域,y为样本特征集通过训练得到的模型计算后回归值,λ为超参数,a为一个N×1的矢量;通过正负样本特征集和相关滤波模型,训练相关滤波器;
步骤1.2.3,在步骤1.2.2的基础上,在目标区域S1,抽取s层PCA-HOG特征金字塔,取s=33尺度进行分析,且每个尺度系数n提取的区域大小为μnP×μnR。其中,μ为各个特征层间的比例系数,n取值范围是:提取尺度后,将其归一化到固定尺寸,训练尺度滤波器。
4.根据权利要求2所述的一种复杂红外地面环境下的稳定目标跟踪方法,其特征在于,所述步骤1.3还包括:
步骤1.3.1,在目标区域S1及训练区域S2提取正负样本p;并建立正负样本特征集M;其中,
步骤1.3.2,通过上述建立的特征集M来训练分类器和检测器。
5.根据权利要求1-4任一项所述的一种复杂红外地面环境下的稳定目标跟踪方法,其特征在于,所述步骤二具体包括以下步骤:
步骤2.1,获取第t帧需要跟踪的红外图像,并将第t-1帧红外图像目标区域S1扩大2倍形成检测区域D1,使用步骤一初始化的相关滤波器模型计算D1区域的相关响应置信度矩阵resp_cf和S1区域的相关响应置信度矩阵resp_cf_o,然后计算出遮挡检测值UPCE;
步骤2.2,通过遮挡检测值UPCE检测目标是否被遮挡,若被遮挡,则缩小检测区域D1,重新计算上一帧目标区域S1的响应,并对背景区域D2的相关响应置信度进行惩罚,然后返回修正后的目标相关响应置信度;
步骤2.3,如果目标相关响应置信度满足UPCE>Th,则提取目标区域亮度直方图特征,计算亮度直方图的相关置信度resp_hist,并融合亮度直方图和HOG两种特征的响应结果,同时在该位置下找到最优尺度,并返回该目标位置和尺度;并更新相关滤波器、检测器和分类器的参数;
步骤2.4,如果提取的HOG特征和亮度直方图特征通过相关模型计算的置信度值满足条件:UPCE<Th,即出现目标被严重遮挡或目标脱离视野区域,则执行再检测机制找到目标,调用检测器进行图像全局检测,直到检测目标成功,即找到最相似目标,然后返回该目标位置;并更新相关滤波器、检测器和分类器的参数。
6.根据权利要求5所述的一种复杂红外地面环境下的稳定目标跟踪方法,其特征在于,所述步骤2.1还包括:
步骤2.1.1,以上一帧目标区域S1位置为中心,考虑背景区域D2,将检测区域D1设定为目标区域S1的2倍,检测区域D1=S1+D2;基于目标区域S1提取亮度直方图特征矩阵,基于检测区域D1提取HOG特征矩阵;
步骤2.1.2,计算提取HOG特征的检测区域D1的相关置信度矩阵resp_cf;
步骤2.1.3,计算检测区域D1遮挡检测值UPCE,计算公式如下:
其中,F(max,Glo)为检测区域D1对应的响应矩阵resp_cf中对应的最大响应值,F(min,Glo)为检测区域D1对应的响应矩阵resp_cf中对应的最小响应值,F(max,Loc)为目标区域S1对应的响应矩阵resp_cf_o中对应的最大响应值,F(min,Loc)为目标区域S1对应的响应矩阵resp_cf_o中对应的最小响应值,F(r,c,Glo)对应为检测区域D1的响应矩阵中第r行第c列的响应值,F(r,c,Loc)对应为目标区域S1的响应矩阵中第r行第c列的响应值。
7.根据权利要求5所述的一种复杂红外地面环境下的稳定目标跟踪方法,其特征在于,所述步骤2.2还包括:
步骤2.2.1,当UPCE<Th,则目标被遮挡,其中,Th为遮挡阈值,故将背景区域D2响应矩阵resp_cf_b中大于响应均值F(mean,Glo)的响应点进行压缩,再在上一帧预测的目标区域S1重新计算目标的响应矩阵,找到最大响应值,作为新的目标预测值;
步骤2.2.2,若步骤2.2.1满足,则将背景响应压缩到响应均值附近, 然后返回步骤2.1重新计算目标和背景的相关置信度;其中,为压缩系数;
步骤2.2.3,若UPCE>Th,将目标和背景的响应按照比例进行响应叠加,resp_cf=k1×resp_cf_o+k2×resp_cf_b;反之在步骤2.2.2的基础上,只考虑目标区域的响应,resp_cf=k1×resp_cf_o;其中,k1和k2为比例系数;
步骤2.2.4,返回响应矩阵resp_cf。
8.根据权利要求5所述的一种复杂红外地面环境下的稳定目标跟踪方法,其特征在于,所述步骤2.3还包括:
步骤2.3.1,如果UPCE>Th,且对比上几帧的resp_cf,没有明显波动,计算提取亮度直方图特征的相关置信度resp_hist;
步骤2.3.2,对亮度直方图特征的响应矩阵resp_hist和HOG特征的响应矩阵resp_cf进行线性加权得到加权响应矩阵resp,resp=(1-μ)×resp_cf+μ×resp_hist;其中,μ加权系数;
步骤2.3.3,迭代多个尺度,找到resp下的最佳尺度,返回resp时的位置和目标区域大小。
9.根据权利要求6-8任一项所述的一种复杂红外地面环境下的稳定目标跟踪方法,其特征在于,该方法还包括:重复执行步骤二,直至跟踪的红外视频图像全部处理完成。
10.根据权利要求6-8任一项所述的一种复杂红外地面环境下的稳定目标跟踪方法,其特征在于,所述分类器为SVM分类器,所述检测器为在线随机蕨检测器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910198694.7A CN110033472B (zh) | 2019-03-15 | 2019-03-15 | 一种复杂红外地面环境下的稳定目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910198694.7A CN110033472B (zh) | 2019-03-15 | 2019-03-15 | 一种复杂红外地面环境下的稳定目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110033472A true CN110033472A (zh) | 2019-07-19 |
CN110033472B CN110033472B (zh) | 2021-05-11 |
Family
ID=67236138
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910198694.7A Active CN110033472B (zh) | 2019-03-15 | 2019-03-15 | 一种复杂红外地面环境下的稳定目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110033472B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111476825A (zh) * | 2020-03-10 | 2020-07-31 | 重庆邮电大学 | 基于多示例学习和核相关滤波器的抗遮挡目标跟踪方法 |
CN111696132A (zh) * | 2020-05-15 | 2020-09-22 | 深圳市优必选科技股份有限公司 | 目标跟踪方法、装置、计算机可读存储介质及机器人 |
CN112699718A (zh) * | 2020-04-15 | 2021-04-23 | 南京工程学院 | 一种尺度和光照自适应的结构化多目标跟踪方法及其应用 |
CN114419560A (zh) * | 2022-04-01 | 2022-04-29 | 苏州万店掌网络科技有限公司 | 一种检测目标物体的方法、装置以及介质 |
WO2022263908A1 (en) * | 2021-06-14 | 2022-12-22 | Sensetime International Pte. Ltd. | Methods and apparatuses for determining object classification |
CN117214398A (zh) * | 2023-09-04 | 2023-12-12 | 江苏省连云港环境监测中心 | 一种深层地下水体污染物检测方法及系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1589485A2 (en) * | 2004-04-20 | 2005-10-26 | Delphi Technologies, Inc. | Object tracking and eye state identification method |
CN103476110A (zh) * | 2013-08-21 | 2013-12-25 | 中国石油大学(华东) | 节点自定位与目标跟踪同时进行的分布式算法 |
CN103593856A (zh) * | 2013-11-20 | 2014-02-19 | 中国科学院深圳先进技术研究院 | 单目标跟踪方法及系统 |
CN105730705A (zh) * | 2016-02-14 | 2016-07-06 | 中国船舶工业系统工程研究院 | 一种飞行器摄像定位系统 |
CN107992677A (zh) * | 2017-11-29 | 2018-05-04 | 中国人民解放军火箭军工程大学 | 基于惯导信息和亮度修正的红外弱小移动目标跟踪方法 |
CN108008408A (zh) * | 2017-11-24 | 2018-05-08 | 北京国泰蓝盾科技有限公司 | 搜索跟踪成像方法、装置及系统 |
CN108665481A (zh) * | 2018-03-27 | 2018-10-16 | 西安电子科技大学 | 多层深度特征融合的自适应抗遮挡红外目标跟踪方法 |
CN108734177A (zh) * | 2018-05-17 | 2018-11-02 | 中国人民解放军陆军工程大学 | 双步相关滤波目标跟踪方法 |
CN109101859A (zh) * | 2017-06-21 | 2018-12-28 | 北京大学深圳研究生院 | 使用高斯惩罚检测图像中行人的方法 |
CN109224301A (zh) * | 2018-11-05 | 2019-01-18 | 长春大学 | 具有精确定位及自动跟踪功能的经颅磁刺激装置及方法 |
-
2019
- 2019-03-15 CN CN201910198694.7A patent/CN110033472B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1589485A2 (en) * | 2004-04-20 | 2005-10-26 | Delphi Technologies, Inc. | Object tracking and eye state identification method |
CN103476110A (zh) * | 2013-08-21 | 2013-12-25 | 中国石油大学(华东) | 节点自定位与目标跟踪同时进行的分布式算法 |
CN103593856A (zh) * | 2013-11-20 | 2014-02-19 | 中国科学院深圳先进技术研究院 | 单目标跟踪方法及系统 |
CN105730705A (zh) * | 2016-02-14 | 2016-07-06 | 中国船舶工业系统工程研究院 | 一种飞行器摄像定位系统 |
CN109101859A (zh) * | 2017-06-21 | 2018-12-28 | 北京大学深圳研究生院 | 使用高斯惩罚检测图像中行人的方法 |
CN108008408A (zh) * | 2017-11-24 | 2018-05-08 | 北京国泰蓝盾科技有限公司 | 搜索跟踪成像方法、装置及系统 |
CN107992677A (zh) * | 2017-11-29 | 2018-05-04 | 中国人民解放军火箭军工程大学 | 基于惯导信息和亮度修正的红外弱小移动目标跟踪方法 |
CN108665481A (zh) * | 2018-03-27 | 2018-10-16 | 西安电子科技大学 | 多层深度特征融合的自适应抗遮挡红外目标跟踪方法 |
CN108734177A (zh) * | 2018-05-17 | 2018-11-02 | 中国人民解放军陆军工程大学 | 双步相关滤波目标跟踪方法 |
CN109224301A (zh) * | 2018-11-05 | 2019-01-18 | 长春大学 | 具有精确定位及自动跟踪功能的经颅磁刺激装置及方法 |
Non-Patent Citations (2)
Title |
---|
付梦印,刘羿彤: ""基于互信息测度红外目标图像相关匹配跟踪算法"", 《兵工学报》 * |
陈婧 等: ""融合运动模型与联合置信度量的改进核相关跟踪算法"", 《红外技术》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111476825A (zh) * | 2020-03-10 | 2020-07-31 | 重庆邮电大学 | 基于多示例学习和核相关滤波器的抗遮挡目标跟踪方法 |
CN111476825B (zh) * | 2020-03-10 | 2022-08-26 | 重庆邮电大学 | 基于多示例学习和核相关滤波器的抗遮挡目标跟踪方法 |
CN112699718A (zh) * | 2020-04-15 | 2021-04-23 | 南京工程学院 | 一种尺度和光照自适应的结构化多目标跟踪方法及其应用 |
CN112699718B (zh) * | 2020-04-15 | 2024-05-28 | 南京工程学院 | 一种尺度和光照自适应的结构化多目标跟踪方法及其应用 |
CN111696132A (zh) * | 2020-05-15 | 2020-09-22 | 深圳市优必选科技股份有限公司 | 目标跟踪方法、装置、计算机可读存储介质及机器人 |
CN111696132B (zh) * | 2020-05-15 | 2023-12-29 | 深圳市优必选科技股份有限公司 | 目标跟踪方法、装置、计算机可读存储介质及机器人 |
WO2022263908A1 (en) * | 2021-06-14 | 2022-12-22 | Sensetime International Pte. Ltd. | Methods and apparatuses for determining object classification |
CN114419560A (zh) * | 2022-04-01 | 2022-04-29 | 苏州万店掌网络科技有限公司 | 一种检测目标物体的方法、装置以及介质 |
CN114419560B (zh) * | 2022-04-01 | 2022-07-12 | 苏州万店掌网络科技有限公司 | 一种检测目标物体的方法、装置以及介质 |
CN117214398A (zh) * | 2023-09-04 | 2023-12-12 | 江苏省连云港环境监测中心 | 一种深层地下水体污染物检测方法及系统 |
CN117214398B (zh) * | 2023-09-04 | 2024-05-14 | 江苏省连云港环境监测中心 | 一种深层地下水体污染物检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110033472B (zh) | 2021-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110033472B (zh) | 一种复杂红外地面环境下的稳定目标跟踪方法 | |
Feng et al. | Dynamic saliency-aware regularization for correlation filter-based object tracking | |
Li et al. | Adaptive pyramid mean shift for global real-time visual tracking | |
CN112926410A (zh) | 目标跟踪方法、装置、存储介质及智能视频系统 | |
CN110175649A (zh) | 一种关于重新检测的快速多尺度估计目标跟踪方法 | |
CN107844739B (zh) | 基于自适应同时稀疏表示的鲁棒性目标追踪方法 | |
CN111582349A (zh) | 一种基于YOLOv3和核相关滤波改进的目标跟踪算法 | |
CN110349188B (zh) | 基于tsk模糊模型的多目标跟踪方法、装置及存储介质 | |
CN110363165A (zh) | 基于tsk模糊系统的多目标跟踪方法、装置及存储介质 | |
CN108985375B (zh) | 考虑粒子权值空间分布的多特征融合跟踪方法 | |
Zhan et al. | Salient superpixel visual tracking with graph model and iterative segmentation | |
CN110147768B (zh) | 一种目标跟踪方法及装置 | |
CN111415370A (zh) | 一种基于嵌入式的红外复杂场景目标实时跟踪方法及系统 | |
CN112613565B (zh) | 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法 | |
Khan et al. | Clip: Train faster with less data | |
CN117576530A (zh) | 基于运动与外观特征自适应融合的多目标关联与跟踪方法 | |
CN110222585B (zh) | 一种基于级联检测器的运动目标跟踪方法 | |
Le et al. | Human detection and tracking for autonomous human-following quadcopter | |
CN117252908A (zh) | 一种基于注意力的抗遮挡多目标跟踪方法 | |
CN116342653A (zh) | 一种基于相关滤波器的目标跟踪方法、系统、设备及介质 | |
CN112614158B (zh) | 一种采样框自适应的多特征融合在线目标跟踪方法 | |
CN113470074B (zh) | 一种基于分块判别的自适应时空正则化目标跟踪方法 | |
CN115345845A (zh) | 基于方向梯度直方图的特征融合烟幕干扰效能评估及处理方法及电子设备 | |
Qian et al. | STRCFD: Small maneuvering object tracking via improved STRCF and redetection in near infrared videos | |
CN108346158B (zh) | 基于主块数据关联的多目标跟踪方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |