CN106709934A - 频域高斯核函数图像追踪方法 - Google Patents

频域高斯核函数图像追踪方法 Download PDF

Info

Publication number
CN106709934A
CN106709934A CN201610728024.8A CN201610728024A CN106709934A CN 106709934 A CN106709934 A CN 106709934A CN 201610728024 A CN201610728024 A CN 201610728024A CN 106709934 A CN106709934 A CN 106709934A
Authority
CN
China
Prior art keywords
sample
frequency domain
gaussian kernel
kernel function
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610728024.8A
Other languages
English (en)
Inventor
陶颋
陶磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Instant Technology Co Ltd Hefei Branch
Original Assignee
Shanghai Instant Technology Co Ltd Hefei Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Instant Technology Co Ltd Hefei Branch filed Critical Shanghai Instant Technology Co Ltd Hefei Branch
Priority to CN201610728024.8A priority Critical patent/CN106709934A/zh
Publication of CN106709934A publication Critical patent/CN106709934A/zh
Pending legal-status Critical Current

Links

Abstract

本发明公开了一种频域高斯核函数图像追踪方法,它对包含目标的当前一帧图像进行目标输入,确定目标窗口,将追踪窗口通过Hann窗口进行预处理;采集追踪窗口的某一特征,采用密集采样的方法进行样本采集,同时通过每一个样本的位置信息对样本进行贴标签,将采集的样本采用循环矩阵进行处理;采用高斯核函数作为追踪函数的核心,利用循环矩阵在频域中计算高斯核函数;通过频域计算密集采样样本和新的一帧图像的追踪窗口最大相应值,确定新的一帧图像中目标窗口的中心位置,选取同样大小的目标窗口重复以上过程,完成图像追踪。它所发明的追踪方法精度高速度快,可广泛应用于图像追踪领域。

Description

频域高斯核函数图像追踪方法
技术领域
本发明属于图像采集,图像处理领域,特别的涉及一种频域高斯核函数图像追踪方法。
背景技术
随着追踪在视频监督,人机界面和计算机感知方面的应用,追踪在计算机视觉方面已经成为了一个基本难题。尽管目前的一些设备允许对目标有很强的假设,有少许先验条件下去跟踪一个物体结果是非常令人满意的。其中非常成功的追踪途径就是侦查探测,这种方法直接来源于在机器学习识别方法的快速发展以及在单机探测方面的应用。许多这方面的算法被应用到在线训练过程中,在每一个成功的在线训练过程中,探测都提供了非常多的关于目标的信息。所有目前可以使用的方法都有一个共同点,那就是稀疏取样法。在每一个画面中,许多样本在目标周围被采集,每个样本的特征和目标的尺寸是一样的。很明显,这会有很多多余,因为样本有很多是重叠的,这种重叠结构通常被忽视。进而大多数方法只简单的收集很少数目的样本,因为不这样做的话采样花费的时间就会过长,但这样做会使追踪的精确度降低。实际上,如果训练数据有如此多的多余样本就意味着不可能有效利用它的结构。这就造成了问题,如果采用稀疏取样法会造成追踪过程中精度不够,而如果采用密集取样的话由于样本数量的增加就会造成运算速度的下降。另一方面传统的跟踪运算是在时域上对两帧图像在时域上做卷积,而在时域上做卷积运算量很大,同样会降低运算速度。
发明内容
本发明要解决的技术问题为克服现有技术中的不足之处,提供一种新的快速、准确的频域高斯核函数图像追踪方法。
为解决本发明的技术问题,所采用的技术方案为:频域高斯核函数图像追踪方法,特别是主要步骤如下:
步骤1,对包含目标的当前一帧图像进行目标输入,确定目标窗口,将追踪窗口通过Hann窗口进行预处理;
步骤2,采集追踪窗口的某一特征,采用密集采样的方法进行样本采集,同时通过每一个样本的位置信息对样本进行贴标签,将采集的样本采用循环矩阵进行处理;
步骤3采用高斯核函数作为追踪函数的核心,利用循环矩阵在频域中计算高斯核函数;
步骤4,通过频域计算密集采样样本和新的一帧图像的追踪窗口最大相应值,确定新的一帧图像中目标窗口的中心位置,选取与步骤1同样大小的目标窗口重复步骤1,2,3,4,完成图像追踪。
步骤1中所述追踪窗口与所述目标窗口具有相同的中心位置,所述追踪区域大小为所述目标窗口区域大小的1.5~10倍,步骤1中所述单一图像特征为图像灰度特征或HOG特征或SIFT特征;步骤2中所述图像密集采样中样本中心在目标中心的样本为正样本,在目标中心以外的样本为负样本,处理样本过程中处理所有采集的样本,所述的负样本由正样本x=[x0,x1,x2,...,xn-1]T循环移位得到xi=Pix其中P为使向量整体向下移动一个元素,最后的一个元素移动到第一个元素的位置的置换矩阵,步骤2中所述对图像进行的标签采用yi=exp(-(i-i′)2/s2)方式对每个样本进行概率分布标签,其中i为负样本中心位置,i′为正样本中心,s为带宽,步骤2中所述循环矩阵为由向量x循环移位得到;步骤3中高斯核函数的计算通过傅里叶变换在频域当中进行;步骤4中所述训练样本与目标图像的追踪窗口的响应值计算通过傅里叶变换在频域当中进行。
相对于现有技术的有益效果是:
其一,利用密集采样法对样本进行采集,增加了追踪过程中的精确性,这对图像追踪有极大的意义,同时密集采样的结果是循环矩阵。
其二,循环矩阵的性质特别适合计算机运算操作,因为循环矩阵的和、积以及逆都是循环的,这些操作通常包括向量x的快速傅里叶变换,这样就不需要详细的计算和储存一个循环矩阵C(x),因为C(x)由x而决定,储存时只需要储存x降低所需储存的数据。
其三,在密集采样过程中利用循环矩阵的性质,在数据处理过程中将数据处理由时域的向量卷积通过傅里叶变换转化到频域的点积上面去,减少运算的次数,增加处理器处理样本的速度,从而提高追踪效率。
附图说明
图1是整个具体实施案例的流程图
具体实施方式
下面结合附图对本发明的优选方式作进一步详细的描述。
如图1所示,一种频域高斯核函数图像追踪方法,包括以下步骤:
步骤1,对包含目标的当前一帧图像进行目标输入,确定目标窗口,将追踪窗口通过Hann窗口进行预处理;更具体地,读取视频文件第一帧图像,由鼠标、键盘、语音或者程序自动输入确定所要选取的目标区域的大小、位置,同时确定目标区域的中心位置;以此中心位置为中心取目标窗口区域大小1.5-10倍区域作为追踪窗口区域;对追踪窗口进行Hann窗口处理,降低边缘效应。
步骤2,采集追踪窗口的某一特征,采用密集采样的方法进行样本采集,同时通过每一个样本的位置信息对样本进行贴标签,将采集的样本采用循环矩阵进行处理;更具体地,对目标进行密集采样:对追踪区域提取单一的图像特征,如灰度特征,HOG特征,SIFT特征,采集到的图像追踪区域特征向量为x,作为正样本,x=[x0,x1,x2,...,xn-1]T,定义向量xi
其中P为使向量整体向下移动一个元素的置换矩阵,最后的一个元素移动到第一个元素的位置得来,使用循环移位进行向量处理,每循环移位一次就等于训练时进行了一次采样,循环移位得到的向量xi为采集到的负样本;由追踪区域可以确定标签的参数y,其中y为n阶向量y=[y0,y1,y2,...,yn-1]T,其中的元素为yi,为了处理目标的区域的边界,不同于正常情况下的标签表为0或者1,给每一个标签y给予一定的值,yi=exp(-(i-i′)2/s2),和目标最近的地方为1,远离样本的地方为0;通过密集采样和循环矩阵将向量x与向量y的向量卷积转化为频域的点积,使卷积运算转化为频域点积运算:对于循环矩阵C(x),这个循环矩阵是由向量x=[x0,x1,x2,...,xn-1]T循环移位得到,
整个C(x)矩阵的第一行就是向量x,第二行是向量x整体向右移动一个元素,最后一个元素移动到第一个元素的位置,依次类推,同样由于C(x)结构特性,C(x)的元素定义为Cij=u(j-i)mod n,如果矩阵的元素仅仅依赖于(j-i)mod n,mod是求余操作,矩阵是循环矩阵。向量x和向量y的向量卷积,可以转化为C(x)y。由于循环矩阵的性质,将C(x)y转化为频域计算C(x)y=F-1(F*(x)⊙F(y)),其中F与F-1分别是傅里叶变换与傅里叶逆变换,⊙向量的点积,*是复共轭。
步骤3采用高斯核函数作为追踪函数的核心,利用循环矩阵在频域中计算高斯核函数;更具体的,采用高斯核函数κ, 作为追踪方法的核心函数,κ是幺正的核函数,对于任意的幺正矩阵U来说,κ(x,x')=κ(Ux,Ux'),因为置换矩阵是幺正的,对于矩阵P,矩阵K其中的元素为Kij=κ(Pix,Pjx),Kij=κ(Pix,Pjx)=κ(P-iPix,P- iPjx)=κ(x,Pj-ix),由此可以看出,Kij仅依赖于(j-i)mod n,所以K是循环的;将矩阵K转化为循环矩阵模式:定义向量k,k=[k1,k2,k3,...,kn]T,向量k的元素ki
核函数矩阵K可以变换为K=C(k),k是n×1阶矩阵,K是n×n阶矩阵。当被转化到频域中时,在C(k)模式的矩阵中运行,矩阵乘法和矩阵求逆,都可以在k向量基础上按元素进行,计算时只需要存储k向量;将对向量k的计算转化到频域当中,对于高斯核函数
由于||x||2是与P无关的常数,再由C(x)y=F-1(F*(x)⊙F(y)),可以得到
步骤4,通过频域计算密集采样样本和新的一帧图像的追踪窗口最大相应值,确定新的一帧图像中目标窗口的中心位置,选取与步骤1同样大小的目标窗口重复步骤1,2,3,4,完成图像追踪;更具体的,通过核岭回归得出最小化判别函数封闭解α=(K+λI)-1y。对于最小化判别函数f(x)=<w,x>,通过
函数来判别,利用核岭回归来计算函数,L(y,f(x))=(y-f(x))2,并且将分类器应用到更高维度的特征空间中,其中投影空间利用高斯核函数K来进行投影由f(x)一般定义,f(x)=wTx=∑iαiκ(x,xi)带入到上述的最小化判别函数当中去,求导,可以得到判别函数的封闭解
α=(K+λI)-1y
只和输入有关,K是核函数矩阵,其中的元素为Kij=K(xi,xj),I是单位矩阵,向量α的元素是αi,求解出来最小决策函数的解α,就避免决策函数的最小化决策;将封闭解α的运算转换到傅里叶域当中进行。由于矩阵K以及任意一个单位矩阵I是循环的,I=C(δ),δ=[1,0,0,...,0]T,ki=κ(x,Pix),α=(K+λI)-1y,可以得到α=(C(k)+λC(δ))-1y=(C(k+λδ))- 1y,在傅里叶域中,循环矩阵可以进行智能元素相乘,以及矩阵反演;由于这些性质以及 是二进制反码的n×1阶向量,其中的除法是元素的智能相除,有C(x)y=F-1(F*(x)⊙F(y))可以得到,向量α包含了所有的系数αi,α的解仅仅使用快速傅里叶变换和按元素智能操作,同时α的解利用傅里叶变换将计算转化到频域当中进行,其中的k可以通过快速傅里叶变换计算出来;对新的一帧图像,在图像中取第一帧图像目标的中心位置相同位置取与第一帧图像追踪窗口同样大小的追踪窗口,将追踪窗口的输入记为z,z=[z0,z1,z2,...,zn-1]T,对于输入的响应y′=∑iαiκ(xi,z),这个公式是输入特性的一般表示由xi=Pix,zi=Piz得到,定义是一个向量其中的向量元素由矩阵概念可以得到由C(u)v=F-1(F*(u)⊙F(v))得到,由以上公式可知,以上运算都通过傅里叶变换转化到频域中进行,并且都具有循环结构,利用循环结构可以同时高效的计算所有响应,找出响应的最大值;通过找到循环移位的最大相应值,确定为第二帧图像中的目标中心位置,同时以第二帧图像中心取上一帧目标区域大小作为新的目标区域,在设备上输出图像;将第二帧图像作为新的第一帧图像,将选中的目标区域作为目标区域,依次对第二帧对以上参数进行更新,继续步骤1,2,3,4操作,完成整个视频图像追踪。
显然,本领域的技术人员可以对本发明的频域高斯核函数追踪方法进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若对本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种频域高斯核函数图像追踪方法,其特征在于,包括如下步骤:
步骤1,对包含目标的当前一帧图像进行目标输入,确定目标窗口,将追踪窗口通过Hann窗口进行预处理;
步骤2,采集追踪窗口的某一特征,采用密集采样的方法进行样本采集,同时通过每一个样本的位置信息对样本进行贴标签,将采集的样本采用循环矩阵进行处理;
步骤3,采用高斯核函数作为追踪函数的核心,利用循环矩阵在频域中计算高斯核函数;
步骤4,通过频域计算密集采样样本和新的一帧图像的追踪窗口最大相应值,确定新的一帧图像中目标窗口的中心位置,选取与步骤1同样大小的目标窗口重复步骤1,2,3,4,完成图像追踪。
2.根据权利要求1所述的频域高斯核函数图像追踪方法,其特征在于,步骤1中所述追踪窗口与所述目标窗口具有相同的中心位置。
3.根据权利要求2所述的频域高斯核函数图像追踪方法,其特征在于,所述追踪区域大小为所述目标窗口区域大小的1.5~10倍。
4.根据权利要求1所述的频域高斯核函数图像追踪方法,其特征在于,步骤1中所述单一图像特征为图像灰度特征或HOG特征或SIFT特征。
5.根据权利要求1所述的频域高斯核函数图像追踪方法,其特征在于,步骤2中所述图像密集采样中样本中心在目标中心的样本为正样本,在目标中心以外的样本为负样本,处理样本过程中处理所有采集的样本。
6.根据权利要求5所述的频域高斯核函数图像追踪方法,其特征在于,所述的负样本由正样本x=[x0,x1,x2,…,xn-1]T循环移位得到xi=Pix其中P为使向量整体向下移动一个元素,最后的一个元素移动到第一个元素的位置的置换矩阵。
7.根据权利要求1所述的频域高斯核函数图像追踪方法,其特征在于,步骤2中所述对图像进行的标签采用yi=exp(-(i-i′)2/s2)方式对每个样本进行概率分布标签,其中i为负样本中心位置,i′为正样本中心,s为带宽。
8.根据权利要求1所述的频域高斯核函数图像追踪方法,其特征在于,步骤2中所述循环矩阵为由向量x循环移位得到。
9.根据权利要求1所述的频域高斯核函数图像追踪方法,其特征在于,步骤3中高斯核函数的计算通过傅里叶变换在频域当中进行。
10.根据权利要求1所述的频域高斯核函数图像追踪方法,其特征在于,步骤4中所述训练样本与目标图像的追踪窗口的响应值计算通过傅里叶变换在频域当中进行。
CN201610728024.8A 2016-08-25 2016-08-25 频域高斯核函数图像追踪方法 Pending CN106709934A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610728024.8A CN106709934A (zh) 2016-08-25 2016-08-25 频域高斯核函数图像追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610728024.8A CN106709934A (zh) 2016-08-25 2016-08-25 频域高斯核函数图像追踪方法

Publications (1)

Publication Number Publication Date
CN106709934A true CN106709934A (zh) 2017-05-24

Family

ID=58939734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610728024.8A Pending CN106709934A (zh) 2016-08-25 2016-08-25 频域高斯核函数图像追踪方法

Country Status (1)

Country Link
CN (1) CN106709934A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109164683A (zh) * 2018-09-30 2019-01-08 墨研计算科学(南京)有限公司 基于掩模版图形处理的光强分布快速确定方法及装置
CN109389137A (zh) * 2017-08-08 2019-02-26 南京大学 一种基于光谱特征的视觉追踪方法
WO2023128790A1 (en) * 2021-12-30 2023-07-06 Autonomous Non-Profit Organization For Higher Education "Skolkovo Institute Of Science And Technology" Image segmentation with super resolution and frequency domain enhancements

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130101187A1 (en) * 2011-09-28 2013-04-25 Siemens Corporation Coronary artery motion modeling
CN103886325A (zh) * 2014-02-18 2014-06-25 浙江大学 一种分块的循环矩阵视频跟踪方法
CN104200237A (zh) * 2014-08-22 2014-12-10 浙江生辉照明有限公司 一种基于核化相关滤波高速自动多目标跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130101187A1 (en) * 2011-09-28 2013-04-25 Siemens Corporation Coronary artery motion modeling
CN103886325A (zh) * 2014-02-18 2014-06-25 浙江大学 一种分块的循环矩阵视频跟踪方法
CN104200237A (zh) * 2014-08-22 2014-12-10 浙江生辉照明有限公司 一种基于核化相关滤波高速自动多目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曾雄: "复杂环境下视频跟踪算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389137A (zh) * 2017-08-08 2019-02-26 南京大学 一种基于光谱特征的视觉追踪方法
CN109389137B (zh) * 2017-08-08 2022-04-22 南京大学 一种基于光谱特征的视觉追踪方法
CN109164683A (zh) * 2018-09-30 2019-01-08 墨研计算科学(南京)有限公司 基于掩模版图形处理的光强分布快速确定方法及装置
WO2023128790A1 (en) * 2021-12-30 2023-07-06 Autonomous Non-Profit Organization For Higher Education "Skolkovo Institute Of Science And Technology" Image segmentation with super resolution and frequency domain enhancements

Similar Documents

Publication Publication Date Title
Lu et al. Frozen pretrained transformers as universal computation engines
He et al. Temporal convolutional networks for anomaly detection in time series
CN104834922B (zh) 基于混合神经网络的手势识别方法
Zhu et al. Hard sample aware noise robust learning for histopathology image classification
CN109815956B (zh) 一种基于自适应位置分割的车牌字符识别方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN107240122A (zh) 基于时空连续相关滤波的视频目标跟踪方法
CN111311647B (zh) 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置
Chen et al. Learning linear regression via single-convolutional layer for visual object tracking
CN107590432A (zh) 一种基于循环三维卷积神经网络的手势识别方法
CN109859241B (zh) 自适应特征选择和时间一致性鲁棒相关滤波视觉跟踪方法
CN108320306B (zh) 融合tld和kcf的视频目标跟踪方法
CN107918772B (zh) 基于压缩感知理论和gcForest的目标跟踪方法
CN107067410B (zh) 一种基于增广样本的流形正则化相关滤波目标跟踪方法
Zhang et al. Sparse learning-based correlation filter for robust tracking
CN109784155B (zh) 基于验证和纠错机制的视觉目标跟踪方法、智能机器人
CN112927266B (zh) 基于不确定性引导训练的弱监督时域动作定位方法及系统
CN109727272B (zh) 一种基于双分支时空正则化相关滤波器的目标跟踪方法
Yang et al. Visual tracking with long-short term based correlation filter
CN110728694A (zh) 一种基于持续学习的长时视觉目标跟踪方法
CN106709934A (zh) 频域高斯核函数图像追踪方法
Jain et al. Channel graph regularized correlation filters for visual object tracking
CN112991394B (zh) 基于三次样条插值和马尔科夫链的kcf目标跟踪方法
CN114708637A (zh) 一种基于元学习的人脸动作单元检测方法
CN113158904B (zh) 一种基于双掩膜模板更新的孪生网络目标跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170524

WD01 Invention patent application deemed withdrawn after publication