CN109816693A - 基于多峰响应的抗遮挡相关滤波跟踪方法及系统/装置 - Google Patents
基于多峰响应的抗遮挡相关滤波跟踪方法及系统/装置 Download PDFInfo
- Publication number
- CN109816693A CN109816693A CN201910080765.3A CN201910080765A CN109816693A CN 109816693 A CN109816693 A CN 109816693A CN 201910080765 A CN201910080765 A CN 201910080765A CN 109816693 A CN109816693 A CN 109816693A
- Authority
- CN
- China
- Prior art keywords
- target
- time
- peak
- occlusion
- filter template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004044 response Effects 0.000 title claims abstract description 64
- 238000001914 filtration Methods 0.000 title claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 46
- 238000012549 training Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 125000004122 cyclic group Chemical group 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 16
- 230000000903 blocking effect Effects 0.000 abstract description 6
- 230000007246 mechanism Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006911 nucleation Effects 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多峰响应的抗遮挡相关滤波跟踪方法及系统/装置,当目标出现遮挡,大多数相关滤波跟踪算法会出现误跟踪,将挡住目标的物体认为是目标,进而进行模板的跟新,导致模型漂移,最终跟踪失败。所述抗遮挡相关滤波跟踪方法中,则首先检测当前帧目标是否被遮挡,早判断为被遮挡的情况下,停止当前帧的模板更新,这样就不会学习到错误的信息,防止了模型漂移;其次所述抗遮挡相关滤波跟踪方法中增加了遮挡处理机制,找出当前帧最佳的目标位置,当目标再次出现时,依然跟踪正确,从而进一步提高了跟踪算法的精确度和鲁棒性。
Description
技术领域
本发明涉及计算机视觉跟踪领域领域,更具体地说,涉及一种基于多峰响应的抗遮挡相关滤波跟踪方法及系统/装置。
背景技术
目标跟踪算法是计算机视觉中用于处理视频图像信息的重要技术手段,并且有着广泛的应用场景,如机器人、视频监控、智能交通等。近几十年来,研究者提出了多种优秀的目标跟踪算法,在实际环境中的目标跟踪仍然面临着一系列的挑战。目标跟踪的过程中要面对目标快速移动、背景复杂、遮挡、光照变化等不定因素的挑战,常常导致跟踪失败,对跟踪算法鲁棒性要求很高。
一般来说,目标跟踪可以分成生成式模型和判别式模型,对于生成式模型,当目标处于复杂环境中,由于仅仅考虑如何准确的构建目标模型,而忽略了周围的目标背景信息,使得跟踪效果不理想。而判别式模型通过训练和更新分类器来获取目标和背景信息,此类算法表现出良好的跟踪性能。相关滤波跟踪-Correlation Filter Tracking作为判别式模型的一种,提出以来,其就出色的性能和速度优势,在跟踪领域引起很大关注。目前基于深度学习方法的目标跟踪方法和基于深度特征的相关滤波目标跟踪方法对目标的特征提取较好,因此在对抗复杂环境干扰时具有较好的鲁棒性,但是现有大多数该类方法速度非常慢,难以达到实时性,而极少数高速的该类方法跟踪效果比较差。因此传统的核化相关滤波跟踪方法在近几年使用较多。
基于核化相关滤波目标跟踪方法主要过程:
(1)初始化阶段:根据目标的初始化信息,在目标周围区域进行循环移位采样,根据移位样本的中心距离真实目标中心,形成高斯标签作为样本的标签值。提取样本特征,同时使用岭回归方法,训练学习得到滤波器。
(2)跟踪阶段:在待跟踪的搜索区域(上一帧的目标位置)进行特征提取,将学习到的滤波器与搜索区域进行卷积操作,得到响应图的最大值点即为目标中心位置。
(3)模型更新阶段:为了确保模型的鲁棒性,减少模型漂移,每一帧之间使用固定的学习率来进行模型更新。
相关滤波跟踪方法在各项跟踪性能指标均有良好的表现,但考虑跟踪场景中,目标难免存在被遮挡和目标丢失等问题。且相关滤波跟踪方法在采样过程中不能明确区分正负样本,而分类器只取置信图最大的点作为目标。当跟踪算法在处理目标被遮挡时,滤波器学习了不必要的噪音,导致模板随后每一帧都进行更新,使得错误不断累积,最终导致跟踪失败。通过大量的试验表明,当目标存在遮挡时,通过跟踪算法得到置信图,并进一步确定目标位置的方法会存在多峰响应问题。
发明内容
本发明要解决的技术问题在于,针对现有技术的通过相关滤波算法在跟踪目标中无法解决目标被遮挡和目标被丢失,导致跟踪失败的技术问题缺陷,本发明提供一种基于多峰响应的抗遮挡目标跟踪方法。
本发明解决其技术问题所采用的技术方案是:构造一种基于多峰响应的抗遮挡目标跟踪方法,其特征在于,具体包括如下步骤:
S1:读取t-1时刻的图像数据,从读取到的图像数据中,设定一跟踪目标α,并进一步确定目标α的中心位置,以及目标α的宽度wt-1和高度ht-1;
S2:在读取的t-1时刻的图像数据中,以目标α的中心位置为中心,划定宽度为wt-1、高度为ht-1的图像区域作为第一目标区域,进行HOG特征和CN特征提取;
S3、在第一目标区域中,利用尺度金子塔模型,以目标α的中心位置为中心进行按比例放缩,得到S个尺寸不同的图像区域;放缩的比例系数为:
其中,r为尺度系数,参数S取值为正整数;符号“[]”表示其内部包含的参数按照四舍五入进行取整;
S4、将步骤S3所得的S个尺寸不同的图像区域调整到统一尺寸后,进行HOG特征提取;根据提取到的HOG特征值,构建t-1时刻下的尺度滤波器模板;
S5、根据步骤S2中提取到的HOG特征和CN特征,构建t-1时刻下的位置滤波器模板;
S6:读取t时刻的图像数据,以t-1时刻目标α的中心位置为中心,划定宽度为wt-1,高度为ht-1的图像区域为第一候选区域;根据步骤S5中构建的构建位置滤波器模板,进一步确定t时刻下目标α的中心位置;根据步骤S6中构建的尺度滤波器模板,进一步确定t时刻下目标α的宽度wt和高度ht;
S7、以t时刻目标α的中心位置为中心,划定宽度为wt,高度为ht的图像区域为第二目标区域;
S8:利用核化相关滤波计算方法,结合步骤S7所得的第二目标区域,进一步求得t时刻下的位置响应置信图y1和尺度响应置信图y2;
S9:利用步骤S8计算所得到的位置响应置信图y1进行遮挡检测,若当前时刻存在目标遮挡,则进行遮挡处理;若不存在目标遮挡,则执行步骤S10;
S10:根据位置响应置信图y1和尺度响应置信图y2,进一步更新t时刻下的位置滤波器模板和尺度滤波器模板;
S11、重复步骤S6-S10,直到全部时刻的图像数据都处理完毕。
进一步的,步骤S5中,构建t-1时刻下的位置滤波器模板包括如下步骤:
S51、以t-1时刻的目标α的中心位置为中心,提取m通道的HOG特征,将m通道的HOG特征作为基样本xm,由xm经过循环移位得到若干个训练样本,对每个训练样本赋予对应的标签ym;
S52、通过下述公式得到分类器系数wm,所得参数wm使得分类器f(z)=(wm)Tz最小:
其中:λ为正则化参数;i,j均为正整数,代表i行j列;
S53、引入核函数,将样本从低维空间映射到高维空间进行训练,所述分类器系数wm转化为高维空间的系数am,参数am即为t-1时刻位置滤波器模板:
其中,符号“^”代表离散傅里叶变换;其中,κ()为核矩阵的快速计算公式,i,j均为正整数,代表i行j列。
进一步的,步骤S4中,以t-1时刻的目标α的中心位置为中心,将n通道的HOG特征作为基样本xn,由xn经过循环移位得到若干个训练样本,对每个训练样本赋予对应的标签yn;使用同样的方式可以求得t-1时刻的尺度滤波器模板为:
其中,符号“^”代表离散傅里叶变换;κ()为核矩阵的快速计算公式,i,j均为正整数,代表i行j列;λ为正则化参数。
进一步的,步骤S8中,提取第二目标区域的HOG特征zm和CN特征zn,将zm和zn通过循环移位后,通过以下公式计算得到t时刻下的位置响应置信图y1:
其中,F-1表示傅里叶逆变换,am和an分别为步骤S5和S4中得到的位置滤波器模板和尺度滤波器模板,xm和xn为t-1时刻中提取到的基样本,“·”为矩阵点乘符号;κ()为核矩阵的快速计算公式,i,j均为正整数,代表i行j列;q={m,n}。
进一步的,步骤S9中,进行遮挡检测的步骤包括:
S91、对步骤S8得到的位置响应置信图y1进行一维投影,得到一个长峰波,所述长峰波包括多个峰,将多个峰组合成一个峰组num:
num=[num1,num2,...,numn];
其中numn代表第n个峰,n≥1;
S92、利用函数findpeaks(double(num)),计算峰组中每个峰对应的峰值,进一步得到峰值组peaks:
peaks=[peak1,peak2,...,peakn];
其中,peakn代表第n个峰的峰值;
S93、将峰值组peaks中每一项峰值与第一阈值threshold1比较,得到峰组中峰值大于第一阈值的个数peaks_num;所述第一阈值threshold1为峰值阈值;
S94、若peaks_num>threshold2,其中,threshold2为峰值个数阈值;则认为在t时刻,所述目标α被遮挡,进一步进行遮挡处理;反之则没有存在遮挡,进入步骤S10。
进一步的,步骤S94中遮挡处理具体包括以下步骤:
S941、若判断t时刻下存在目标遮挡,利用t-1时刻的目标中心点位置,生成高斯分布状二维矩阵w1,使用以下公式来更新t时刻的位置响应置信图y′1:
y′1=w1·y1;
其中,y1为t时刻的位置响应置信图;
S942、在更新后的响应置信图y′1中,将置信图中最大值的点作为t时刻的目标中心点,且t时刻下的位置滤波器模板更新为:
其中,和分别为t时刻和t-1时刻下提取到的基样本,q={m,n};和分别t时刻和t-1时刻下HOG特征模板;和分别t时刻和t-1时刻下CN特征模板;由和共同构成t时刻下的位置滤波器模版,和共同构成t-1时刻下的位置滤波器模板;
S943、对更新后的响应置信图y′1进行一维投影,并做遮挡检测;若目标依然被遮挡,则再次更新t时刻的位置响应置信图y1和尺度响应置信图y2,直到t时刻下目标不被遮挡,并进一步执行步骤S10。
进一步的,步骤S10中,t时刻的位置滤波器模板的更新步骤包括:
S101、将位置响应置信图y1中最大值的点作为t时刻的目标中心点;以目标中心点为中心,同步骤S5,进行按比例放缩,得到S个尺寸不同的图像区域的尺度响应值;
S102、根据步骤S101,找到最大尺度响应值n'所对应的图像区域:
其中,w’t和h’t为图像区域的宽度和高度,wt-1和ht-1分别为所述第一候选区域的宽度和高度;r为尺度系数;另外,参数S取值为正整数;符号“[]”表示其内部包含的参数按照四舍五入进行取整;w’t和h’t即为当前所求的最佳图像尺度;
S103、根据得到的最佳图像尺度,更新t时刻的位置滤波器模板,确定t时刻下目标α所处的最佳中心位置;以最佳中心位置为中心,划定宽度为w’t,高度为h’t的最佳图像区域;提取所述最佳图像区域的HOG特征和CN特征将t时刻的位置滤波器模板通过下述公式进一步的更新为:
其中,η为学习率,和分别为t时刻和t-1时刻下提取到的基样本,q={m,n};和分别t时刻和t-1时刻下HOG特征模板;和分别t时刻和t-1时刻下CN特征模板;和共同构成t时刻下的更新后的位置滤波器模板。
进一步的,t时刻的尺度滤波器模板更新步骤同位置滤波器模板的更新步骤相同。
本发明提出的一种基于多峰响应的抗遮挡目标跟踪系统/装置,采用基于多峰响应的抗遮挡目标跟踪方法进行抗遮挡目标跟踪。
进一步的,所述抗遮挡目标跟踪系统/装置包含计算机存储介质,该计算机存储介质内集成有计算机程序,用于执行基于多峰响应的抗遮挡目标跟踪方法。
在本发明所述的一种基于多峰响应的抗遮挡相关滤波跟踪方法及系统/装置中,针对大部分相关滤波类跟踪算法无法很好解决目标跟踪过程中目标被遮挡,分类器不能明确区分正负样本,最终导致跟踪失败问题,提出了一种遮挡检测和遮挡处理机制算法。
实施本发明的提出的一种基于多峰响应的抗遮挡相关滤波跟踪方法及系统/装置,具有以下有益效果:
1、所述基于多峰响应的抗遮挡相关滤波跟踪方法及系统/装置,当目标出现遮挡,大多数相关滤波跟踪算法会出现误跟踪,将挡住目标的物体认为是目标,进而进行模板的跟新,导致模型漂移,最终跟踪失败。而本方法是首先检测出当前帧目标被遮挡,停止当前帧的模板更新,不会学习到错误的信息,防止模型漂移。
2、所述抗遮挡相关滤波跟踪方法及系统/装置中增加遮挡处理机制,在找出当前帧最佳的目标位置,且当目标再次出现时,依然跟踪正确,从而进一步提高了跟踪算法的精确度和鲁棒性。
3、当响应置信图中多峰和最高峰的响应超过所设的阈值,判断当前帧目标出现被遮挡情况。其次,使用上一帧目标中心点生成高斯分布的二维矩阵与响应置信图进行点乘操作,得到新的置信图。最后,停止当前帧模型更新。实验表明,在处理目标被遮挡的视频序列时,该算法与其他算法比较,在跟踪精度上有着明显提升。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明公开的一种基于多峰响应的抗遮挡相关滤波跟踪方法整体流程图;
图2是本发明公开的目标存在遮挡情况下的遮挡检测和处理流程图;
图3是本发明实施例公开的的一种在数据集OTB-100上(选取遮挡较为严重10个视频)测试结果中目标存在遮挡情况下基于位置错误阈值精度对比图;
图4是本发明实施例公开的的一种在数据集OTB-100上(选取遮挡较为严重10个视频)测试结果中目标存在遮挡情况下基于覆盖率阈值对比图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图详细说明本发明的具体实施方式。
本实施例中,实验软件平台采用MATLAB2016a,并且配置了VS2015与Matconvent库文件。运行环境为Intel Core i5-6500CPU,主频3.2GHz,8GB内存。本发明的平均跟踪速度为36.0FPS,可以满足实时性要求。
请参考图1,其为本发明公开的一种基于多峰响应的抗遮挡相关滤波跟踪方法整体流程图;其中,本发明公开的一种基于多峰响应的抗遮挡目标跟踪方法,具体包括如下步骤:
S1:读取t-1时刻的图像数据,从读取到的图像数据中,设定一跟踪目标α,并进一步确定目标α的中心位置,以及目标α的宽度wt-1和高度ht-1;
S2:在读取的t-1时刻的图像数据中,以目标α的中心位置为中心,划定宽度为wt-1、高度为ht-1的图像区域作为第一目标区域,进行HOG和CN特征提取;
S3、在第一目标区域中,利用尺度金子塔模型,以目标α的中心位置为中心进行按比例放缩,得到S个尺寸不同的图像区域;放缩的比例系数为:
其中,r为尺度系数,参数S取值为正整数;相应的,符号“[]”表示其内部包含的参数按照四舍五入进行取整;
S4、将步骤S3所得的S个尺寸不同的图像区域调整到统一尺寸后,进行HOG特征提取;根据提取到的HOG特征值,构建t-1时刻下的尺度滤波器模板;其中,以t-1时刻的目标α的中心位置为中心,将n通道的HOG特征作为基样本xn,由xn经过循环移位得到若干个训练样本,对每个训练样本赋予对应的标签yn;使用同样的方式可以求得t-1时刻的尺度滤波器模板为:
其中,符号“^”代表离散傅里叶变换;其中κ()为核矩阵的快速计算公式,i,j均为正整数,代表i行j列;λ为正则化参数。
S5、根据步骤S2中提取到的HOG特征和CN特征,构建t-1时刻下的位置滤波器模板;其中,构建t-1时刻下的位置滤波器模板包括如下步骤:
S51、以t-1时刻的目标α的中心位置为中心,提取m通道的HOG特征,将m通道的HOG特征作为基样本xm,由xm经过循环移位得到若干个训练样本,对每个训练样本赋予对应的标签ym;
S52、通过下述公式得到分类器系数wm,所得参数wm使得分类器f(z)=(wm)Tz最小:
其中:λ为正则化参数;i,j均为正整数,代表i行j列;
S53、引入核函数,将样本从低维空间映射到高维空间进行训练,所述分类器系数wm转化为高维空间的系数am,参数am即为t-1时刻位置滤波器模板:
其中,符号“^”代表离散傅里叶变换;其中,κ()为核矩阵的快速计算公式,i,j均为正整数,代表i行j列。
S6:读取t时刻的图像数据,以t-1时刻目标α的中心位置为中心,划定宽度为wt-1,高度为ht-1的图像区域为第一候选区域;根据步骤S5中构建的构建位置滤波器模板,进一步确定t时刻下目标α的中心位置;根据步骤S6中构建的尺度滤波器模板,进一步确定t时刻下目标α的宽度wt和高度ht;
S7、以t时刻目标α的中心位置为中心,划定宽度为wt,高度为ht的图像区域为第二目标区域;
S8:利用核化相关滤波计算方法,结合步骤S5所得的第二目标区域,进一步求得t时刻下的位置响应置信图y1和尺度响应置信图y2;其中,提取第二目标区域的HOG特征zm和CN特征zn,将zm和zn通过循环移位后,通过以下公式计算得到t时刻下的位置响应置信图y1:
其中,F-1表示傅里叶逆变换,am和an分别为步骤S5和S4中得到的位置滤波器模板和尺度滤波器模板,xm和xn为t-1时刻中提取到的基样本,·为矩阵点乘符号;其中κ()为核矩阵的快速计算公式,i,j均为正整数,代表i行j列;q={m,n}。
S9:利用步骤S6计算所得到的位置响应置信图y1进行遮挡检测,若当前时刻存在目标遮挡,则进行遮挡处理;若不存在目标遮挡,则执行步骤S10;
S10:根据位置响应置信图y1和尺度响应置信图y2,进一步更新t时刻下的位置滤波器模板和尺度滤波器模板;其中,t时刻的位置滤波器模板的更新步骤包括:
S101、将位置响应置信图y1中最大值的点作为t时刻的目标中心点;以目标中心点为中心,同步骤S5,进行按比例放缩,得到S个尺寸不同的图像区域的尺度响应值;
S102、根据步骤S101,找到最大尺度响应值n'所对应的图像区域:
其中,w’t和h’t为图像区域的宽度和高度,wt-1和ht-1分别为所述第一候选区域的宽度和高度;r为尺度系数;另外,参数S取值为正整数;相应的,其中“[]”表示其内部包含的参数按照四舍五入进行取整;w’t和h’t即为当前所求的最佳图像尺度;
S103、根据得到的最佳图像尺度,更新t时刻的位置滤波器模板,确定t时刻下目标α所处的最佳中心位置;以最佳中心位置为中心,划定宽度为w’t,高度为h’t的最佳图像区域;提取所述最佳图像区域的HOG特征和CN特征将t时刻的位置滤波器模板通过下述公式进一步的更新为:
其中,η为学习率,和分别为t时刻和t-1时刻下提取到的基样本,q={m,n};和分别t时刻和t-1时刻下HOG特征模板;和分别t时刻和t-1时刻下CN特征模板;和共同构成t时刻下的更新后的位置滤波器模板。
本实施例中,在所述的跟踪过程中,具体设计的参数包括:正则化参数λ=10-4,尺度数目S=33,尺度系数r为1.02,学习率η=0.025,第一阈值threshold1=0.13,第二阈值threshold2=2。
需要说明的是,t时刻的尺度滤波器模板更新步骤同位置滤波器模板的更新步骤相同。
S11、重复步骤S6-S10,直到全部时刻的图像数据都处理完毕。
请参考图2,其为本发明公开的目标存在遮挡情况下的遮挡检测和处理流程图,其中,步骤S9中进行遮挡检测的步骤包括:
S91、对步骤S8得到的位置响应置信图y1进行一维投影,得到一个长峰波,所述长峰波包括多个峰,将多个峰组合成一个峰组num:
num=[num1,num2,...,numn];
其中numn代表第n个峰,n≥1;
S92、利用函数findpeaks(double(num)),计算峰组中每个峰对应的峰值,进一步得到峰值组peaks:
peaks=[peak1,peak2,...,peakn];
其中,peakn代表第n个峰的峰值;
S93、将峰值组peaks中每一项峰值与第一阈值threshold1比较,得到峰组中峰值大于第一阈值的个数peaks_num;所述第一阈值threshold1为峰值阈值;
S94、若peaks_num>threshold2,其中threshold2为峰值个数阈值;则认为在t时刻,所述目标α被遮挡,进一步进行遮挡处理;反之则没有存在遮挡,进入步骤S10。本步骤中,遮挡处理具体包括以下步骤:
S941、若判断t时刻下存在目标遮挡,利用t-1时刻的目标中心点位置,生成高斯分布状二维矩阵w1,使用以下公式来更新t时刻的位置响应置信图y′1:
y′1=w1·y1;
其中,y1为t时刻的位置响应置信图;
S942、在更新后的响应置信图y′1中,将置信图中最大值的点作为t时刻的目标中心点,且t时刻下的位置滤波器模板和尺度滤波器模板更新为:
其中,和分别为t时刻和t-1时刻下提取到的基样本,q={m,n};和分别t时刻和t-1时刻下HOG特征模板;和分别t时刻和t-1时刻下CN特征模板;其中,和共同构成t时刻下的位置滤波器模版,和共同构成t-1时刻下的位置滤波器模板;
S943、对更新后的响应置信图y′1进行一维投影,并做遮挡检测;若目标依然被遮挡,则再次更新t时刻的位置响应置信图y1和尺度响应置信图y2,直到t时刻下目标不被遮挡,并进一步执行步骤S10。
本实施例中,将本发明在OTB-100进行试验,选取遮挡较为严重的10个视频序列,分别是Girl2、David3、Tiger1、Tiger2、Walking、Walking2、Woman、Bird2、Human3、Humna6。同时与KCF、DCF_CA、SRDCF、SAPLE_CA、DSST、SAMF这几个跟踪算法进行比较。试验结果分别选取基于位置错误阈值的精确率和基于覆盖率阈值的成功率,如图3和图4所示,可以看出,本发明在对抗目标遮挡的鲁棒性上有着明显的优势。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。
Claims (10)
1.一种基于多峰响应的抗遮挡目标跟踪方法,其特征在于,具体包括如下步骤:
S1:读取t-1时刻的图像数据,从读取到的图像数据中,设定一跟踪目标α,并进一步确定目标α的中心位置,以及目标α的宽度wt-1和高度ht-1;
S2:在读取的t-1时刻的图像数据中,以目标α的中心位置为中心,划定宽度为wt-1、高度为ht-1的图像区域作为第一目标区域,进行HOG特征和CN特征提取;
S3、在第一目标区域中,利用尺度金子塔模型,以目标α的中心位置为中心进行按比例放缩,得到S个尺寸不同的图像区域;放缩的比例系数为:
其中,r为尺度系数,参数S取值为正整数;符号“[]”表示其内部包含的参数按照四舍五入进行取整;
S4、将步骤S3所得的S个尺寸不同的图像区域调整到统一尺寸后,进行HOG特征提取;根据提取到的HOG特征值,构建t-1时刻下的尺度滤波器模板;
S5、根据步骤S2中提取到的HOG特征和CN特征,构建t-1时刻下的位置滤波器模板;
S6:读取t时刻的图像数据,以t-1时刻目标α的中心位置为中心,划定宽度为wt-1,高度为ht-1的图像区域为第一候选区域;根据步骤S5中构建的构建位置滤波器模板,进一步确定t时刻下目标α的中心位置;根据步骤S6中构建的尺度滤波器模板,进一步确定t时刻下目标α的宽度wt和高度ht;
S7、以t时刻目标α的中心位置为中心,划定宽度为wt,高度为ht的图像区域为第二目标区域;
S8:利用核化相关滤波计算方法,结合步骤S7所得的第二目标区域,进一步求得t时刻下的位置响应置信图y1和尺度响应置信图y2;
S9:利用步骤S8计算所得到的位置响应置信图y1进行遮挡检测,若当前时刻存在目标遮挡,则进行遮挡处理;若不存在目标遮挡,则执行步骤S10;
S10:根据位置响应置信图y1和尺度响应置信图y2,进一步更新t时刻下的位置滤波器模板和尺度滤波器模板;
S11、重复步骤S6-S10,直到全部时刻的图像数据都处理完毕。
2.根据权利要求1所述的抗遮挡目标跟踪方法,其特征在于,步骤S5中,构建t-1时刻下的位置滤波器模板包括如下步骤:
S51、以t-1时刻的目标α的中心位置为中心,提取m通道的HOG特征,将m通道的HOG特征作为基样本xm,由xm经过循环移位得到若干个训练样本,对每个训练样本赋予对应的标签ym;
S52、通过下述公式得到分类器系数wm,所得参数wm使得分类器f(z)=(wm)Tz最小:
其中:λ为正则化参数;i,j均为正整数,代表i行j列;
S53、引入核函数,将样本从低维空间映射到高维空间进行训练,所述分类器系数wm转化为高维空间的系数am,参数am即为t-1时刻位置滤波器模板:
其中,符号“^”代表离散傅里叶变换;其中,κ()为核矩阵的快速计算公式,i,j均为正整数,代表i行j列。
3.根据权利要求1所述的抗遮挡目标跟踪方法,其特征在于,步骤S4中,以t-1时刻的目标α的中心位置为中心,将n通道的HOG特征作为基样本xn,由xn经过循环移位得到若干个训练样本,对每个训练样本赋予对应的标签yn;使用同样的方式可以求得t-1时刻的尺度滤波器模板为:
其中,符号“^”代表离散傅里叶变换;κ()为核矩阵的快速计算公式,i,j均为正整数,代表i行j列;λ为正则化参数。
4.根据权利要求1所述的抗遮挡目标跟踪方法,其特征在于,步骤S8中,提取第二目标区域的HOG特征zm和CN特征zn,将zm和zn通过循环移位后,通过以下公式计算得到t时刻下的位置响应置信图y1:
其中,F-1表示傅里叶逆变换,am和an分别为步骤S5和S4中得到的位置滤波器模板和尺度滤波器模板,xm和xn为t-1时刻中提取到的基样本,“·”为矩阵点乘符号;κ()为核矩阵的快速计算公式,i,j均为正整数,代表i行j列;q={m,n}。
5.根据权利要求1所述的抗遮挡目标跟踪方法,其特征在于,步骤S9中,进行遮挡检测的步骤包括:
S91、对步骤S8得到的位置响应置信图y1进行一维投影,得到一个长峰波,所述长峰波包括多个峰,将多个峰组合成一个峰组num:
num=[num1,num2,...,numn];
其中numn代表第n个峰,n≥1;
S92、利用函数findpeaks(double(num)),计算峰组中每个峰对应的峰值,进一步得到峰值组peaks:
peaks=[peak1,peak2,...,peakn];
其中,peakn代表第n个峰的峰值;
S93、将峰值组peaks中每一项峰值与第一阈值threshold1比较,得到峰组中峰值大于第一阈值的个数peaks_num;所述第一阈值threshold1为峰值阈值;
S94、若peaks_num>threshold2,其中,threshold2为峰值个数阈值;则认为在t时刻,所述目标α被遮挡,进一步进行遮挡处理;反之则没有存在遮挡,进入步骤S10。
6.根据权利要求5所述的抗遮挡目标跟踪方法,其特征在于,步骤S94中遮挡处理具体包括以下步骤:
S941、若判断t时刻下存在目标遮挡,利用t-1时刻的目标中心点位置,生成高斯分布状二维矩阵w1,使用以下公式来更新t时刻的位置响应置信图y1':
y′1=w1·y1;
其中,y1为t时刻的位置响应置信图;
S942、在更新后的响应置信图y′1中,将置信图中最大值的点作为t时刻的目标中心点,且t时刻下的位置滤波器模板更新为:
其中,和分别为t时刻和t-1时刻下提取到的基样本,q={m,n};和分别t时刻和t-1时刻下HOG特征模板;和分别t时刻和t-1时刻下CN特征模板;由和共同构成t时刻下的位置滤波器模版,和共同构成t-1时刻下的位置滤波器模板;
S943、对更新后的响应置信图y1'进行一维投影,并做遮挡检测;若目标依然被遮挡,则再次更新t时刻的位置响应置信图y1和尺度响应置信图y2,直到t时刻下目标不被遮挡,并进一步执行步骤S10。
7.根据权利要求1所述的抗遮挡目标跟踪方法,其特征在于,步骤S10中,t时刻的位置滤波器模板的更新步骤包括:
S101、将位置响应置信图y1中最大值的点作为t时刻的目标中心点;以目标中心点为中心,同步骤S5,进行按比例放缩,得到S个尺寸不同的图像区域的尺度响应值;
S102、根据步骤S101,找到最大尺度响应值n'所对应的图像区域:
其中,w′t和h′t为图像区域的宽度和高度,wt-1和ht-1分别为所述第一候选区域的宽度和高度;r为尺度系数;另外,参数S取值为正整数;符号“[]”表示其内部包含的参数按照四舍五入进行取整;w′t和h′t即为当前所求的最佳图像尺度;
S103、根据得到的最佳图像尺度,更新t时刻的位置滤波器模板,确定t时刻下目标α所处的最佳中心位置;以最佳中心位置为中心,划定宽度为w′t,高度为h′t的最佳图像区域;提取所述最佳图像区域的HOG特征和CN特征将t时刻的位置滤波器模板通过下述公式进一步的更新为:
其中,η为学习率,和分别为t时刻和t-1时刻下提取到的基样本,q={m,n};和分别t时刻和t-1时刻下HOG特征模板;和分别t时刻和t-1时刻下CN特征模板;和共同构成t时刻下的更新后的位置滤波器模板。
8.根据权利要求7所述的抗遮挡目标跟踪方法,其特征在于,t时刻的尺度滤波器模板更新步骤同位置滤波器模板的更新步骤相同。
9.一种基于多峰响应的抗遮挡目标跟踪系统/装置,其特征在于,采用如权利要求1-8任一项所述基于多峰响应的抗遮挡目标跟踪方法进行抗遮挡目标跟踪。
10.根据权利要求9所述的抗遮挡目标跟踪系统/装置,其特征在于,所述抗遮挡目标跟踪系统/装置包含计算机存储介质,该计算机存储介质内集成有计算机程序,用于执行如权利要求1-8任一项所述基于多峰响应的抗遮挡目标跟踪方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910080765.3A CN109816693A (zh) | 2019-01-28 | 2019-01-28 | 基于多峰响应的抗遮挡相关滤波跟踪方法及系统/装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910080765.3A CN109816693A (zh) | 2019-01-28 | 2019-01-28 | 基于多峰响应的抗遮挡相关滤波跟踪方法及系统/装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109816693A true CN109816693A (zh) | 2019-05-28 |
Family
ID=66605376
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910080765.3A Pending CN109816693A (zh) | 2019-01-28 | 2019-01-28 | 基于多峰响应的抗遮挡相关滤波跟踪方法及系统/装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109816693A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110414439A (zh) * | 2019-07-30 | 2019-11-05 | 武汉理工大学 | 基于多峰值检测的抗遮挡行人跟踪方法 |
CN110599519A (zh) * | 2019-08-27 | 2019-12-20 | 上海交通大学 | 基于领域搜索策略的抗遮挡相关滤波跟踪方法 |
CN112329784A (zh) * | 2020-11-23 | 2021-02-05 | 桂林电子科技大学 | 一种基于时空感知及多峰响应的相关滤波跟踪方法 |
CN112785622A (zh) * | 2020-12-30 | 2021-05-11 | 大连海事大学 | 一种水面无人船长时跟踪方法、装置及存储介质 |
CN113807250A (zh) * | 2021-09-17 | 2021-12-17 | 沈阳航空航天大学 | 一种抗遮挡和尺度自适应的低空空域飞行目标跟踪方法 |
CN117036740A (zh) * | 2023-08-04 | 2023-11-10 | 上海第二工业大学 | 一种用于运动目标的抗遮挡性跟踪方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106204638A (zh) * | 2016-06-29 | 2016-12-07 | 西安电子科技大学 | 一种基于尺度自适应和遮挡处理的航拍目标跟踪方法 |
CN107016689A (zh) * | 2017-02-04 | 2017-08-04 | 中国人民解放军理工大学 | 一种尺度自适应的相关滤波对冲目标跟踪方法 |
CN108053425A (zh) * | 2017-12-25 | 2018-05-18 | 北京航空航天大学 | 一种基于多通道特征的高速相关滤波目标跟踪方法 |
CN108062764A (zh) * | 2017-11-30 | 2018-05-22 | 极翼机器人(上海)有限公司 | 一种基于视觉的物体跟踪方法 |
CN108198209A (zh) * | 2017-12-22 | 2018-06-22 | 天津理工大学 | 在发生遮挡和尺度变化情况下行人跟踪算法 |
CN108573499A (zh) * | 2018-03-16 | 2018-09-25 | 东华大学 | 一种基于尺度自适应和遮挡检测的视觉目标跟踪方法 |
-
2019
- 2019-01-28 CN CN201910080765.3A patent/CN109816693A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106204638A (zh) * | 2016-06-29 | 2016-12-07 | 西安电子科技大学 | 一种基于尺度自适应和遮挡处理的航拍目标跟踪方法 |
CN107016689A (zh) * | 2017-02-04 | 2017-08-04 | 中国人民解放军理工大学 | 一种尺度自适应的相关滤波对冲目标跟踪方法 |
CN108062764A (zh) * | 2017-11-30 | 2018-05-22 | 极翼机器人(上海)有限公司 | 一种基于视觉的物体跟踪方法 |
CN108198209A (zh) * | 2017-12-22 | 2018-06-22 | 天津理工大学 | 在发生遮挡和尺度变化情况下行人跟踪算法 |
CN108053425A (zh) * | 2017-12-25 | 2018-05-18 | 北京航空航天大学 | 一种基于多通道特征的高速相关滤波目标跟踪方法 |
CN108573499A (zh) * | 2018-03-16 | 2018-09-25 | 东华大学 | 一种基于尺度自适应和遮挡检测的视觉目标跟踪方法 |
Non-Patent Citations (2)
Title |
---|
冯影: "基于核相关滤波器的目标跟踪算法研究", 《万方数据》 * |
刘万军等: "遮挡判别下的多尺度相关滤波跟踪算法", 《中国图象图形学报》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110414439A (zh) * | 2019-07-30 | 2019-11-05 | 武汉理工大学 | 基于多峰值检测的抗遮挡行人跟踪方法 |
CN110414439B (zh) * | 2019-07-30 | 2022-03-15 | 武汉理工大学 | 基于多峰值检测的抗遮挡行人跟踪方法 |
CN110599519A (zh) * | 2019-08-27 | 2019-12-20 | 上海交通大学 | 基于领域搜索策略的抗遮挡相关滤波跟踪方法 |
CN110599519B (zh) * | 2019-08-27 | 2022-11-08 | 上海交通大学 | 基于领域搜索策略的抗遮挡相关滤波跟踪方法 |
CN112329784A (zh) * | 2020-11-23 | 2021-02-05 | 桂林电子科技大学 | 一种基于时空感知及多峰响应的相关滤波跟踪方法 |
CN112785622A (zh) * | 2020-12-30 | 2021-05-11 | 大连海事大学 | 一种水面无人船长时跟踪方法、装置及存储介质 |
CN112785622B (zh) * | 2020-12-30 | 2024-04-05 | 大连海事大学 | 一种水面无人船长时跟踪方法、装置及存储介质 |
CN113807250A (zh) * | 2021-09-17 | 2021-12-17 | 沈阳航空航天大学 | 一种抗遮挡和尺度自适应的低空空域飞行目标跟踪方法 |
CN113807250B (zh) * | 2021-09-17 | 2024-02-02 | 沈阳航空航天大学 | 一种抗遮挡和尺度自适应的低空空域飞行目标跟踪方法 |
CN117036740A (zh) * | 2023-08-04 | 2023-11-10 | 上海第二工业大学 | 一种用于运动目标的抗遮挡性跟踪方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lee et al. | Simultaneous traffic sign detection and boundary estimation using convolutional neural network | |
CN109816693A (zh) | 基于多峰响应的抗遮挡相关滤波跟踪方法及系统/装置 | |
CN107424171B (zh) | 一种基于分块的抗遮挡目标跟踪方法 | |
KR102175491B1 (ko) | 상관 필터 기반 객체 추적 방법 | |
CN105844669B (zh) | 一种基于局部哈希特征的视频目标实时跟踪方法 | |
CN103295242B (zh) | 一种多特征联合稀疏表示的目标跟踪方法 | |
CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
CN110569723A (zh) | 一种结合特征融合与模型更新的目标跟踪方法 | |
CN110120065B (zh) | 一种基于分层卷积特征和尺度自适应核相关滤波的目标跟踪方法及系统 | |
CN113052873B (zh) | 一种在线自监督学习场景适应的单目标跟踪方法 | |
CN109785366B (zh) | 一种针对遮挡的相关滤波目标跟踪方法 | |
CN107688829A (zh) | 一种基于支持向量机的识别系统及识别方法 | |
CN111582349B (zh) | 一种基于YOLOv3和核相关滤波改进的目标跟踪算法 | |
CN111612817A (zh) | 基于深浅特征自适应融合与上下文信息的目标跟踪方法 | |
CN114708300B (zh) | 一种可抗遮挡的自适应目标跟踪方法及系统 | |
CN110717480B (zh) | 基于随机擦除图像融合的合成孔径雷达遮挡目标识别方法 | |
CN111340842A (zh) | 一种基于联合模型的相关滤波目标跟踪算法 | |
CN112329784A (zh) | 一种基于时空感知及多峰响应的相关滤波跟踪方法 | |
CN112489088A (zh) | 一种基于记忆单元的孪生网络视觉跟踪方法 | |
CN113129332A (zh) | 执行目标对象跟踪的方法和装置 | |
Shu et al. | Multi-feature fusion target re-location tracking based on correlation filters | |
CN107798329A (zh) | 基于cnn的自适应粒子滤波目标跟踪方法 | |
CN113657225B (zh) | 一种目标检测方法 | |
Firouznia et al. | Adaptive chaotic sampling particle filter to handle occlusion and fast motion in visual object tracking | |
CN111898408B (zh) | 一种快速人脸识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190528 |