CN111292358A - 基于判别式尺度空间跟踪算法的相关滤波自适应方法 - Google Patents
基于判别式尺度空间跟踪算法的相关滤波自适应方法 Download PDFInfo
- Publication number
- CN111292358A CN111292358A CN202010161972.4A CN202010161972A CN111292358A CN 111292358 A CN111292358 A CN 111292358A CN 202010161972 A CN202010161972 A CN 202010161972A CN 111292358 A CN111292358 A CN 111292358A
- Authority
- CN
- China
- Prior art keywords
- filter
- scale
- target
- updating
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000001914 filtration Methods 0.000 title claims abstract description 29
- 230000004044 response Effects 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000195940 Bryophyta Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于判别式尺度空间跟踪算法的相关滤波自适应方法,包括确定初始目标位置以及初始目标尺度;对通过最小化均方误差和对位置滤波器和尺度滤波器系数完成初始化;以目标上一帧位置为中心,求解最大响应值作为当前目标位置,并对相邻两帧目标位置差进行更新;以目标新位置为中心,提取不同尺度下的样本,求解最大响应值作为当前目标尺度;根据学习速率对位置滤波器和尺度滤波器进行迭代更新,得到目标的跟踪图像集。本发明有效提高了原跟踪算法的精确度和成功率,能够有效实时跟踪大多数图像序列中的目标。
Description
技术领域
本发明属于目标图像跟踪技术,具体为一种基于判别式尺度空间跟踪算法的相关滤波自适应方法。
背景技术
计算机视觉是近十年里炙手可热的新兴学科,目标跟踪作为其研究的基本问题,在自动驾驶、无人机、人机交互、安防监控等方面中有着巨大的学术价值和广泛的应用前景。尽管目标跟踪相关技术每年都在革新,相关算法在性能优化方面依然存在需求,现阶段研究人员仍然面临着许多挑战,如光照变化、尺度变化、部分遮挡、快速运动等。近年来,由于判别类方法在模型的建立时能够将背景信息与目标信息进行区分,具有更高的鲁棒性,目前已经成为目标跟踪的主流,包括了相关滤波、深度学习等方法。
近年来判别类方法逐渐成为目标跟踪的主流,主要包括相关滤波方法、深度学习方法等。判别式尺度空间目标跟踪算法(Discriminant Scale Space Target trackingalgorithm,DSST)是相关滤波算法中的代表算法之一,基于MOSSE做了改进和拓展,实现了快速且准确的目标尺度评估,算法的总体效果表现十分不俗,然而在面对跟踪难度较大的目标时仍稍显乏力,算法性能有待进一步提升。
发明内容
本发明的目的在于提出了一种基于判别式尺度空间跟踪算法的相关滤波自适应方法,以解决原算法尺度滤波器中的学习因子采用定值、无法较好适应目标跟踪对象尺度与位置变化的问题。
实现本发明目的的技术解决方案为:一种基于判别式尺度空间跟踪算法的相关滤波自适应方法,具体步骤为:
步骤1,读取首帧图像,获取初始目标位置以及初始目标尺度;
步骤2,对首帧图像进行HOG特征提取,得到具有d维特征描述的子图像特征和其对应的滤波器高斯输出,通过最小化均方误差和对相关滤波器系数完成初始化,所述相关滤波器包括位置滤波器和尺度滤波器;
步骤3,读取第t帧图像,以上一帧图像中目标位置为中心,采集一个尺寸为目标2倍大小的样本,求解位置滤波器最大响应值作为当前目标位置;
步骤4,以当前目标位置为中心,提不同尺度下的样本,求解尺度滤波器最大响应值作为当前目标尺度,并对相邻两帧目标位置差进行更新;
步骤5,分别提取位置滤波器训练样本和尺度滤波器训练样本,更新该帧下的高斯输出和学习速率,完成位置滤波器和尺度滤波器的更新;
步骤6,循环步骤3-5,当没有下一帧图像可输入时得到目标的跟踪图像集。
优选地,步骤1中将首帧图像中目标的位置和尺度作为初始目标位置和初始目标尺度。
优选地,步骤2对相关滤波器系数完成初始化的具体方法为:
步骤2.1,对首帧图像进行HOG特征提取,得到具有d维特征描述的子图像特征f1,f2,...,fd,和其对应的滤波器高斯输出g1,g2,...,gd,对子图像特征和滤波器高斯输出分别进行傅里叶变换得到F1,F2,...,Fd和G1,G2,...,Gd;
步骤2.2,根据傅里叶变换后的子图像特征和滤波器高斯,构造代价函数:
式中,H表示相关滤波器模板,l表示其中的第l维,λ表示正则项系数;
步骤2.3,将ε最小时的H作为相关滤波器模板的初始值;
优选地,求解位置滤波器最大响应值作为当前目标位置的具体方法为:
步骤3.2,通过以下公式求解位置滤波器响应ytt:
步骤3.3,计算max(ytt),并将位置滤波器响应max(ytt)作为目标的新位置(xt,yt)。
优选地,以当前目标位置为中心,提取不同尺度下的样本,求解最大响应值作为当前目标尺度,并对相邻两帧目标位置差进行更新,具体步骤为:
步骤4.2,通过以下公式求解相关尺度滤波器响应yst:
步骤4.3,计算max(yst),得到目标的新尺度(wt,ht);
步骤4.4,计算相邻两帧位置变化因子,对相邻两帧目标位置差进行更新。
优选地,计算相邻两帧位置变化因子的公式为:
优选地,分别提取位置滤波器训练样本和尺度滤波器训练样本,更新该帧下的高斯输出和学习速率,完成位置滤波器和尺度滤波器的更新的具体步骤为:
步骤5.3,根据设定的学习速率η,对位置滤波器进行迭代更新,更新公式为:
Btt=(1-η)Btt-1+ηB'tt-1
步骤5.6,对相邻两帧目标框变化因子vt做卡尔曼滤波处理得到vt';
步骤5.7,计算该帧图像更新模板所采用的学习速率η=1.3·vt';
步骤5.8,根据已经设定的学习速率,对尺度滤波器进行迭代更新;
Bst=(1-η)Bst-1+ηBs′t-1。
本发明与现有技术相比,其显著优点为:(1)本发明引入卡尔曼滤波对模型中的中间变量进行修正,其递推原理也与判别式尺度空间跟踪算法相吻合,因此能够在几乎不影响算法运算速率的情况下有效消除该变量的噪声,提高算法的实时性和鲁棒性;(2)本发明针对模型更新中学习速率单一而设计自适应函数的思路对绝大多数相关滤波算法均有推广价值,且本发明代码简洁,具有较强的可移植性。
下面结合附图对本发明做进一步详细的描述。
附图说明
图1是基于判别式尺度空间跟踪算法的相关滤波自适应方法流程图。
图2是本发明与原滤波算法进行实验比对的15个序列之一的中间4帧跟踪效果图,其中图2(a)为第15帧图像结果,图2(b)为第50帧图像结果,图2(c)为第200帧图像结果,图2(d)为第358帧图像结果。
图3是本发明与原滤波算法通过OTB100库的15个图像序列进行对比实验得到的最终评定结果曲线,其中,图3(a)为跟踪结果的成功率评分曲线,图3(b)为跟踪结果的精确度评分曲线。
具体实施方式
一种基于判别式尺度空间跟踪算法的相关滤波自适应方法,对判别式尺度空间跟踪算法中的相邻两帧目标位置差进行卡尔曼滤波处理使其更加平滑,并将结果作为自适应函数中的因变量来动态调整算法中尺度滤波器的学习速率,从而实现尺度滤波器的更新速率与跟踪目标的变化速率呈正相关,达到提升算法综合性能的目的,具体包括以下步骤:
步骤1,读取首帧图像,得到初始目标位置以及初始目标尺度,具体为:
步骤1.1,读取首帧图像I1;
步骤1.2,将本帧中目标的位置和尺度作为初始目标位置(x1,y1)和初始目标尺度(w1,h1);
步骤2,对首帧图像I1进行HOG特征提取,得到具有d维特征描述的子图像特征和其对应的滤波器高斯输出,通过最小化均方误差和对相关滤波器系数完成初始化,其中相关滤波器的操作需要对位置滤波器和尺度滤波器分别执行,包括以下具体步骤:
步骤2.1,对首帧图像I1进行HOG特征提取,得到具有d维特征描述的子图像特征f1,f2,...,fd,和其对应的滤波器高斯输出g1,g2,...,gd,对子图像特征和滤波器高斯输出分别进行傅里叶变换得到F1,F2,...,Fd和G1,G2,...,Gd;
参数l表示其中的第l维,取值为[1,d],参数λ表示正则项系数,规定取值0.01;
步骤2.3,当ε最小时,说明此时H达到最佳响应值,将H作为相关滤波器模板的初始值。由于求解ε最小值的操作都是元素级别的,因此只需要保证对H中每个元素的索引w和v,都满足式最小即可。对ε关于求偏导,令导数为0,
综合可知当时,ε达到最小,其中参数λ能够消除f频谱中的零频分量的影响,避免上述式子的分母为0,为了便于在后续步骤中更新H,记于是有参数分别表示尺度滤波器、位置滤波器模板在处理第一帧图像后初始化得到的分子,参数分别表示尺度滤波器、位置滤波器模板在处理第一帧图像后初始化得到的分母。
步骤3,读取第t帧图像It,以上一帧图像中目标位置为中心,采集一个尺寸为目标2倍大小的样本,求解最大响应值作为当前目标位置,具体步骤:
步骤3.2,求解位置滤波器响应,即通过以下公式计算ytt:
步骤3.3,计算max(ytt),并将位置滤波器响应max(ytt)作为目标的新位置(xt,yt)。
步骤4,以当前目标位置为中心,提取33种不同尺度下的样本,求解最大响应值作为当前目标尺度,并对相邻两帧目标位置差进行更新,具体步骤:
步骤4.2,求解相关尺度滤波器响应,即通过以下公式计算yst:
步骤4.3,计算max(yst),得到目标的新尺度(wt,ht);
步骤5,分别提取位置滤波器训练样本和尺度滤波器训练样本,更新该帧下的高斯输出和学习速率。其中,位置滤波器的学习速率采用默认值0.025;计算相邻两帧目标位置变化因子并做卡尔曼滤波处理,乘以比例系数作为尺度滤波器的学习速率,根据学习速率对位置滤波器和尺度滤波器进行迭代更新,具体步骤:
步骤5.3,根据固定的学习速率η=0.025,对位置滤波器进行迭代更新;
Btt=(1-η)Btt-1+ηB'tt-1
步骤5.6,对相邻两帧目标框变化因子vt做卡尔曼滤波处理得到vt';
步骤5.7,计算该帧图像更新模板所采用的学习速率η=1.3·vt';
步骤5.8,根据已经设定的学习速率,对尺度滤波器进行迭代更新;
Bst=(1-η)Bst-1+ηB'st-1
步骤6,循环步骤3-5,当没有下一帧图像可输入时循环结束,得到目标的跟踪图像集,具体步骤:
步骤6.1,判断是否还有下一帧图像,若有,则回到步骤3,若没有,则结束循环;
步骤6.2,输出结果,得到具有目标跟踪框的图像序列。
本发明针对近年相关滤波算法普遍存在的相关滤波器学习速率单一,无法适应目标跟踪对象的尺度与位置变化快慢的特点,引入了相邻两帧目标图像位置变化因子,对其进行卡尔曼滤波处理并实现了对学习速率进行自适应动态更新,提高了跟踪算法的跟踪精度。
实施例
为验证本发明的有效性,选取了OTB100序列库中的15个序列将本发明与原滤波算法做了对比实验。
如图2所示,其中略小的方框代表本发明的跟踪结果,较大的方框代表采用单一学习速率的原方法的跟踪结果,图2(a)、图2(b)、图2(c)、图2(d)分别选取了第15帧、第50帧、第200帧、第358帧图像结果,尽管本序列具有背景、尺度变化等多种干扰,仍然直观地可以看出本发明对于吉他手脸部的跟踪相比原方法更加精准,且随着帧数的增加跟踪效果愈加明显。
图3是采用单一学习速率的原滤波算法与本发明通过OTB100库的15个图像序列进行对比实验得到的最终评定结果曲线,由图(a)知本文方法的目标跟踪成功率相比原来提升了3.66%,由图(b)知本文方法的目标跟踪成功率相比原来提升了4.01%。
表1和2给出了采用单一学习速率的原滤波算法与本发明通过OTB100库的15个图像序列进行对比实验得到的具体指标分析,从表格可以看出,本发明对目标追踪的每秒检测帧数(Frames Per Second,FPS)有微小提升,而对目标追踪的中心坐标误差(CenterLocation Error,CLE)有较明显提升。
以上结果表明:本发明能够在不降低跟踪速率的前提下有效提升判别式尺度空间目标跟踪算法的跟踪成功率和跟踪精度,相比原算法更能适应不同挑战下的目标追踪任务。
表1 不同图像序列FPS测试
表2 不同图像序列CLE测试
Claims (7)
1.一种基于判别式尺度空间跟踪算法的相关滤波自适应方法,其特征在于,具体步骤为:
步骤1,读取首帧图像,获取初始目标位置以及初始目标尺度;
步骤2,对首帧图像进行HOG特征提取,得到具有d维特征描述的子图像特征和其对应的滤波器高斯输出,通过最小化均方误差和对相关滤波器系数完成初始化,所述相关滤波器包括位置滤波器和尺度滤波器;
步骤3,读取第t帧图像,以上一帧图像中目标位置为中心,采集一个尺寸为目标2倍大小的样本,求解位置滤波器最大响应值作为当前目标位置;
步骤4,以当前目标位置为中心,提不同尺度下的样本,求解尺度滤波器最大响应值作为当前目标尺度,并对相邻两帧目标位置差进行更新;
步骤5,分别提取位置滤波器训练样本和尺度滤波器训练样本,更新该帧下的高斯输出和学习速率,完成位置滤波器和尺度滤波器的更新;
步骤6,循环步骤3-5,当没有下一帧图像可输入时得到目标的跟踪图像集。
2.根据权利要求1所述的基于判别式尺度空间跟踪算法的相关滤波自适应方法,其特征在于,步骤1中将首帧图像中目标的位置和尺度作为初始目标位置和初始目标尺度。
3.根据权利要求1所述的基于判别式尺度空间跟踪算法的相关滤波自适应方法,其特征在于,步骤2对相关滤波器系数完成初始化的具体方法为:
步骤2.1,对首帧图像进行HOG特征提取,得到具有d维特征描述的子图像特征f1,f2,...,fd,和其对应的滤波器高斯输出g1,g2,...,gd,对子图像特征和滤波器高斯输出分别进行傅里叶变换得到F1,F2,...,Fd和G1,G2,...,Gd;
步骤2.2,根据傅里叶变换后的子图像特征和滤波器高斯,构造代价函数:
式中,H表示相关滤波器模板,l表示其中的第l维,λ表示正则项系数;
步骤2.3,将ε最小时的H作为相关滤波器模板的初始值;
7.根据权利要求1所述的基于判别式尺度空间跟踪算法的相关滤波自适应方法,其特征在于,分别提取位置滤波器训练样本和尺度滤波器训练样本,更新该帧下的高斯输出和学习速率,完成位置滤波器和尺度滤波器的更新的具体步骤为:
步骤5.3,根据设定的学习速率η,对位置滤波器进行迭代更新,更新公式为:
步骤5.6,对相邻两帧目标框变化因子vt做卡尔曼滤波处理得到νt';
步骤5.7,计算该帧图像更新模板所采用的学习速率η=1.3·vt';
步骤5.8,根据已经设定的学习速率,对尺度滤波器进行迭代更新;
Bst=(1-η)Bst-1+ηB′st-1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010161972.4A CN111292358A (zh) | 2020-03-10 | 2020-03-10 | 基于判别式尺度空间跟踪算法的相关滤波自适应方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010161972.4A CN111292358A (zh) | 2020-03-10 | 2020-03-10 | 基于判别式尺度空间跟踪算法的相关滤波自适应方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111292358A true CN111292358A (zh) | 2020-06-16 |
Family
ID=71028709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010161972.4A Pending CN111292358A (zh) | 2020-03-10 | 2020-03-10 | 基于判别式尺度空间跟踪算法的相关滤波自适应方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111292358A (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100195870A1 (en) * | 2007-06-14 | 2010-08-05 | Haizhou Ai | Tracking method and device adopting a series of observation models with different life spans |
CN107644430A (zh) * | 2017-07-27 | 2018-01-30 | 孙战里 | 基于自适应特征融合的目标跟踪 |
-
2020
- 2020-03-10 CN CN202010161972.4A patent/CN111292358A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100195870A1 (en) * | 2007-06-14 | 2010-08-05 | Haizhou Ai | Tracking method and device adopting a series of observation models with different life spans |
CN107644430A (zh) * | 2017-07-27 | 2018-01-30 | 孙战里 | 基于自适应特征融合的目标跟踪 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109816689B (zh) | 一种多层卷积特征自适应融合的运动目标跟踪方法 | |
CN108734723B (zh) | 一种基于自适应权重联合学习的相关滤波目标跟踪方法 | |
CN107644217B (zh) | 基于卷积神经网络和相关滤波器的目标跟踪方法 | |
CN111340842B (zh) | 一种基于联合模型的相关滤波目标跟踪方法 | |
CN105184265A (zh) | 一种基于自学习的手写表格数字字符串快速识别的方法 | |
CN112085765B (zh) | 结合粒子滤波及度量学习的视频目标跟踪方法 | |
CN110889864B (zh) | 一种基于双层深度特征感知的目标跟踪方法 | |
CN110728694A (zh) | 一种基于持续学习的长时视觉目标跟踪方法 | |
CN113379788B (zh) | 一种基于三元组网络的目标跟踪稳定性方法 | |
CN113538509B (zh) | 基于自适应相关滤波特征融合学习的视觉跟踪方法及装置 | |
CN111583300A (zh) | 一种基于富集目标形态变化更新模板的目标跟踪方法 | |
CN115270872A (zh) | 雷达辐射源个体小样本学习识别方法、系统、装置及介质 | |
CN109450406A (zh) | 一种基于循环神经网络的滤波器构建方法 | |
CN112107310A (zh) | 基于iwt与aga-bp模型的ecg身份识别方法 | |
CN112446900A (zh) | 孪生神经网络目标跟踪方法及系统 | |
CN111325202A (zh) | 一种基于超声多普勒的彩色频谱图的频谱血流检测方法 | |
CN117725480A (zh) | 一种避雷器故障智能检测方法及系统 | |
CN113673396B (zh) | 一种孢子发芽率计算方法、装置及存储介质 | |
CN108257148B (zh) | 特定对象的目标建议窗口生成方法及其在目标跟踪的应用 | |
CN110660077A (zh) | 一种融合多个特征的多尺度目标跟踪方法 | |
CN109283169A (zh) | 一种鲁棒的拉曼光谱峰识别方法 | |
CN111292358A (zh) | 基于判别式尺度空间跟踪算法的相关滤波自适应方法 | |
CN110598614B (zh) | 一种结合粒子滤波的相关滤波目标跟踪方法 | |
CN116862893A (zh) | 一种基于动态特征中心的工业零件异常检测方法及系统 | |
CN114757967A (zh) | 基于手工特征融合的多尺度抗遮挡目标跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200616 |