CN109410246B - 基于相关滤波的视觉跟踪的方法及装置 - Google Patents

基于相关滤波的视觉跟踪的方法及装置 Download PDF

Info

Publication number
CN109410246B
CN109410246B CN201811115677.4A CN201811115677A CN109410246B CN 109410246 B CN109410246 B CN 109410246B CN 201811115677 A CN201811115677 A CN 201811115677A CN 109410246 B CN109410246 B CN 109410246B
Authority
CN
China
Prior art keywords
scale
filter
target
features
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811115677.4A
Other languages
English (en)
Other versions
CN109410246A (zh
Inventor
丁大勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Shiyu Intelligent Vision System Technology Co ltd
Original Assignee
Hangzhou Shiyu Intelligent Vision System Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Shiyu Intelligent Vision System Technology Co ltd filed Critical Hangzhou Shiyu Intelligent Vision System Technology Co ltd
Priority to CN201811115677.4A priority Critical patent/CN109410246B/zh
Publication of CN109410246A publication Critical patent/CN109410246A/zh
Application granted granted Critical
Publication of CN109410246B publication Critical patent/CN109410246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Abstract

本发明实施例公开一种基于相关滤波的视觉跟踪的方法及装置,能提高跟踪的鲁棒性和准确性。方法包括:S1、在视频第一帧中目标位置提取大小为目标尺度的样本,从样本中提取多通道特征,利用多通道特征更新位置滤波器参数,在目标位置提取多尺度特征,利用多尺度特征更新尺度滤波器参数;S2、在视频除第一帧外的其它帧中提取对应的目标位置和目标尺度与第一帧相同的多通道特征,根据多通道特征和位置滤波器参数确定出新的目标位置,在其它帧中新的目标位置上提取多尺度特征,根据多尺度特征和尺度滤波器参数确定出新的目标尺度,利用新的目标位置和新的目标尺度更新目标位置和目标尺度;S3、判断跟踪是否结束,若没有结束,则执行步骤S1。

Description

基于相关滤波的视觉跟踪的方法及装置
技术领域
本发明实施例涉及视频运动目标视觉跟踪领域,具体涉及一种基于相关滤波的视觉跟踪的方法及装置。
背景技术
运动目标视觉跟踪技术在无人机视觉领域具有重要意义。视觉跟踪技术是指在给定视频第一帧中目标位置和大小等状态的基础上,在视频后续帧中估计目标的状态。视觉跟踪是计算机视觉领域的一个具有挑战性的问题,其挑战在于先验知识只有视频第一帧中目标的状态,对目标没有明确的建模。目标运动过程中的运动模糊,遮挡,形状和尺度变化都会造成跟踪目标的丢失。另外,无人机视觉跟踪实时性要求也对跟踪算法的复杂度提出了挑战。
目前,基于相关滤波的判别式模型在目标跟踪领域取得了较好的效果,此类方法在跟踪过程中在线训练一个目标检测器,使用目标检测器检测下一帧的目标位置,再在新的目标位置上提取样本更新目标检测器。目标检测器中,目标区域为正样本,目标周围区域为负样本。核相关滤波跟踪算法(Kernelized Correlation Filter,KCF)利用了循环矩阵的傅里叶变换对角化的性质,在扩充样本数量的同时极大减少了计算复杂度,取得了较好的跟踪效果和较快的速度。但是,此类算法存在如下问题:(1)无法适应目标的尺度变化,在多个尺度上进行KCF运算势必影响跟踪速度,并且无法准确估计目标的尺度变化。(2)没有充分利用目标的颜色信息和灰度信息,在受到遮挡等情况后模型的累积误差易造成跟踪目标丢失。
总之,目前相关滤波跟踪算法取得了很大的进展,同时也在尺度,宽高比自适应,特征选择上存在很大的局限性,需要进一步开展研究工作,提高算法位置,尺度估计的准确性和遮挡,变形等情况下的鲁棒性。
发明内容
有鉴于此,本发明实施例提供一种基于相关滤波的视觉跟踪的方法及装置,能适应尺度变化较大的运动目标的跟踪,提高跟踪的鲁棒性和准确性。
一方面,本发明实施例提出一种基于相关滤波的视觉跟踪的方法,包括:
S1、在视频第一帧中目标位置提取大小为目标尺度的样本,从所述样本中提取多通道特征,利用所述多通道特征更新位置滤波器参数,并在所述目标位置提取多尺度特征,利用所述多尺度特征更新尺度滤波器参数,其中,所述多通道特征包括梯度直方图特征,颜色命名特征和灰度特征;
S2、在所述视频除所述第一帧外的帧中提取对应的目标位置和目标尺度与所述第一帧相同的多通道特征,根据所述多通道特征和位置滤波器参数确定出新的目标位置,在除所述第一帧外的帧中新的目标位置上提取多尺度特征,根据所述多尺度特征和尺度滤波器参数确定出新的目标尺度,分别利用所述新的目标位置和新的目标尺度更新所述目标位置和所述目标尺度;
S3、判断跟踪是否结束,若判断获知跟踪没有结束,则执行步骤S1。
另一方面,本发明实施例提出一种基于相关滤波的视觉跟踪的装置,包括:
更新单元,用于在视频第一帧中目标位置提取大小为目标尺度的样本,从所述样本中提取多通道特征,利用所述多通道特征更新位置滤波器参数,并在所述目标位置提取多尺度特征,利用所述多尺度特征更新尺度滤波器参数,其中,所述多通道特征包括梯度直方图特征,颜色命名特征和灰度特征;
跟踪单元,用于在所述视频除所述第一帧外的帧中提取对应的目标位置和目标尺度与所述第一帧相同的多通道特征,根据所述多通道特征和位置滤波器参数确定出新的目标位置,在除所述第一帧外的帧中新的目标位置上提取多尺度特征,根据所述多尺度特征和尺度滤波器参数确定出新的目标尺度,分别利用所述新的目标位置和新的目标尺度更新所述目标位置和所述目标尺度;
判断单元,用于判断跟踪是否结束,若判断获知跟踪没有结束,则通知所述更新单元工作。
第三方面,本发明实施例提供一种电子设备,包括:处理器、存储器、总线及存储在存储器上并可在处理器上运行的计算机程序;
其中,所述处理器,存储器通过所述总线完成相互间的通信;
所述处理器执行所述计算机程序时实现上述方法。
第四方面,本发明实施例提供一种非暂态计算机可读存储介质,所述存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述方法。
本发明实施例提供的基于相关滤波的视觉跟踪的方法及装置,在原始KCF算法的多通道梯度直方图特征的基础上加入颜色命名特征和灰度特征,因为综合利用了目标的形状信息和颜色信息,所以相较于KCF算法,本方案可以更好地适应目标的变形和旋转,从而能提高跟踪的鲁棒性和准确性;而且本方案通过增加尺度滤波器估计目标的尺度,使跟踪算法可以适应尺度变化较大的运动目标的跟踪,同时保持了较快的跟踪速度。
附图说明
图1为本发明基于相关滤波的视觉跟踪的方法一实施例的流程示意图;
图2为本发明基于相关滤波的视觉跟踪的装置一实施例的结构示意图;
图3为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明实施例保护的范围。
参看图1,本实施例公开一种基于相关滤波的视觉跟踪的方法,包括:
S1、在视频第一帧中目标位置提取大小为目标尺度的样本,从所述样本中提取多通道特征,利用所述多通道特征更新位置滤波器参数,并在所述目标位置提取多尺度特征,利用所述多尺度特征更新尺度滤波器参数,其中,所述多通道特征包括梯度直方图特征,颜色命名特征和灰度特征;
S2、在所述视频除所述第一帧外的帧中提取对应的目标位置和目标尺度与所述第一帧相同的多通道特征,根据所述多通道特征和位置滤波器参数确定出新的目标位置,在除所述第一帧外的帧中新的目标位置上提取多尺度特征,根据所述多尺度特征和尺度滤波器参数确定出新的目标尺度,分别利用所述新的目标位置和新的目标尺度更新所述目标位置和所述目标尺度;
S3、判断跟踪是否结束,若判断获知跟踪没有结束,则执行步骤S1。
本实施例中,视频为目标运动航拍视频,步骤S1中首先在给定的初始目标位置提取样本,样本大小为目标尺度的2.5倍大小,包含目标和一部分背景信息。然后从提取的样本上提取梯度直方图(Histogram of Gradient,HoG)特征,颜色命名(Color-Naming)和灰度特征。HoG特征通过统计图像局部区域的梯度方向来构成特征。本方法中HoG特征的网格大小为4×4,有31个梯度区间,从原始图像中提取出31通道的特征图像。在此之后,将原始样本通过双线性插值缩放到HoG特征图像相同大小提取颜色命名特征和灰度特征。颜色命名特征是一种将颜色的RGB值映射到颜色语义空间的特征,更加符合人类视觉特征。通过查表将每个像素映射成10维特征向量,向量的每个分量表示像素的RGB值为对应颜色种类的概率。灰度特征即将原始样本的像素灰度值归一化到0到1区间,再减去0.5。三种特征相连,形成31+10+1=42通道特征。
另外,需要说明的是,步骤S3判断跟踪是否结束一般通过判断是否达到预设的迭代次数来判断,达到预设的迭代次数,则跟踪结束,算法结束,否则,则跟踪未结束,继续迭代。
本方案不涉及大规模数值运算,可以满足一般机载设备对地面运动目标跟踪的计算复杂度需求。
本发明实施例提供的基于相关滤波的视觉跟踪的方法,在原始KCF算法的多通道梯度直方图特征的基础上加入颜色命名特征和灰度特征,因为综合利用了目标的形状信息和颜色信息,所以相较于KCF算法,本方案可以更好地适应目标的变形和旋转,从而能提高跟踪的鲁棒性和准确性;而且本方案通过增加尺度滤波器估计目标的尺度,使跟踪算法可以适应尺度变化较大的运动目标的跟踪,同时保持了较快的跟踪速度。
在前述方法实施例的基础上,所述利用所述多通道特征更新位置滤波器参数,可以包括:
计算所述多通道特征的核自相关,利用所述核自相关更新位置滤波器参数。
本实施例中,对多通道特征x计算核自相关,可以使用高斯核函数,如下式
Figure BDA0001810498330000061
式中σ为核函数的标准差,x为输入特征,⊙代表元素间点积,F-1表示傅里叶反变换,
Figure BDA0001810498330000067
表示x的傅里叶变换,x*表示x的复共轭,xc表示x的第c个通道分量。位置滤波器参数包括系数α和特征模板x,系数α以如下方式计算:
Figure BDA0001810498330000062
Figure BDA0001810498330000063
表示x的傅里叶变换,y为回归目标函数,是峰值在四个角点的二维高斯函数,最大值为1,λ为正则化因子,值为10-4
在第二帧以后,位置滤波器参数通过线性插值更新,即
αnew=(1-η)αpre+ηα,
xnew=(1-η)xpre+ηx,
式中α和x分别为对应参数的初始值,η为位置滤波器的插值系数。
步骤S1中在目标位置提取不同尺度的样本构成尺度特征。如目标大小为M×N,尺度特征中尺度数为S,尺度系数为a,则在该位置提取大小为anM×anN的多尺度样本,其中
Figure BDA0001810498330000064
Figure BDA0001810498330000065
表示下取整,将多尺度样本缩放到相同尺度,在每个尺度的样本上提取HoG特征,提取方式与前述HoG特征提取方法相同,同时将每个尺度的特征图所有像素连接成一维向量,记其维度为d,将S个向量相连组成多尺度特征xs,即xs的维度为d×S。每个尺度特征图像素数为d,则多尺度特征为d通道的一维特征向量。
每个通道的尺度滤波器参数由下式计算:
Figure BDA0001810498330000066
式中,Hl为第l个通道的尺度滤波器的傅里叶变换,Y为回归目标函数的傅里叶变换,
Figure BDA0001810498330000071
为Y的复共轭,Fk为多尺度特征xs的傅里叶变换的第k个通道。λ为正则化因子,值为10-4
在第二帧以后,尺度滤波器模型参数在分子和分母上分别通过线性插值更新,分子和分母分别为A和B,即
Al=yFl
Figure BDA0001810498330000072
模型参数更新如下式进行:
Figure BDA0001810498330000073
Bnew=(1-η)Bpre+ηB。
在前述方法实施例的基础上,所述根据所述多通道特征和位置滤波器参数确定出新的目标位置,可以包括:
根据所述多通道特征和位置滤波器参数计算位置滤波器的响应,根据所述位置滤波器的响应计算目标位移,根据所述目标位移确定出新的目标位置;
所述根据所述多尺度特征和尺度滤波器参数确定出新的目标尺度,包括:
根据所述多尺度特征和尺度滤波器参数计算尺度滤波器的响应,根据所述尺度滤波器的响应确定出新的目标尺度。
在前述方法实施例的基础上,所述根据所述位置滤波器的响应计算目标位移,可以包括:
根据所述位置滤波器的响应确定出所述位置滤波器的响应图,对所述位置滤波器的响应图进行补0操作,使补0后的响应图的尺度为所述目标尺度,对补0后的响应图进行傅里叶反变换,寻找傅里叶反变换后的响应图中峰值的位置相对所述位置滤波器的目标函数峰值间的位置,根据所述傅里叶反变换后的响应图中峰值的位置相对所述位置滤波器的目标函数峰值间的位置计算所述目标位移;
其中,所述根据所述尺度滤波器的响应确定出新的目标尺度,包括:
根据所述尺度滤波器的响应确定出所述尺度滤波器的响应图;
寻找所述尺度滤波器的响应图中峰值的位置r,对所述目标尺度缩放ar倍得到所述新的目标尺度,其中a为尺度系数。
本实施例中,位置滤波器高斯目标函数的标准差(mn)0.5/10,其中m和n分别为初始目标的高和宽,尺度滤波器高斯目标函数标准差为0.25。位置滤波器插值系数为0.01,尺度滤波器插值系数为0.025。尺度滤波器尺度数S=33,尺度系数a=1.02。通过补0操作将位置滤波器的响应图尺度缩放到原始样本尺度,能够增强位移估计的准确性。
在前述方法实施例的基础上,所述位置滤波器参数和尺度滤波器参数采用线性插值更新,所述位置滤波器的目标函数为峰值平移到四个角点的二维高斯函数,所述尺度滤波器的目标函数为一维高斯函数。
在前述方法实施例的基础上,所述位置滤波器的响应根据下式计算:
Figure BDA0001810498330000081
式中,f(z)为位置滤波器对特征z的响应,kxz为特征z与滤波器参数x的核互相关,α为滤波器参数,
Figure BDA0001810498330000084
表示对x的傅里叶变换,⊙代表元素间点积;
所述尺度滤波器的响应由下式计算:
Figure BDA0001810498330000082
式中y为尺度滤波器响应,d为尺度特征通道数,Zl为尺度特征傅里叶变换的第l个通道,F-1表示傅里叶反变换,A和B为尺度滤波器的分子和分母,
Figure BDA0001810498330000083
表示尺度滤波器分子的第l个通道的共轭,λ为正则化因子。
在前述方法实施例的基础上,所述多通道特征由网格大小为4×4的31通道梯度直方图特征,归一化的灰度特征和10通道的颜色命名特征相连而成。
参看图2,本实施例公开一种基于相关滤波的视觉跟踪的装置,包括:
更新单元1,用于在视频第一帧中目标位置提取大小为目标尺度的样本,从所述样本中提取多通道特征,利用所述多通道特征更新位置滤波器参数,并在所述目标位置提取多尺度特征,利用所述多尺度特征更新尺度滤波器参数,其中,所述多通道特征包括梯度直方图特征,颜色命名特征和灰度特征;
跟踪单元2,用于在所述视频除所述第一帧外的帧中提取对应的目标位置和目标尺度与所述第一帧相同的多通道特征,根据所述多通道特征和位置滤波器参数确定出新的目标位置,在除所述第一帧外的帧中新的目标位置上提取多尺度特征,根据所述多尺度特征和尺度滤波器参数确定出新的目标尺度,分别利用所述新的目标位置和新的目标尺度更新所述目标位置和所述目标尺度;
判断单元3,用于判断跟踪是否结束,若判断获知跟踪没有结束,则通知所述更新单元工作。
具体地,所述更新单元1在视频第一帧中目标位置提取大小为目标尺度的样本,从所述样本中提取多通道特征,利用所述多通道特征更新位置滤波器参数,并在所述目标位置提取多尺度特征,利用所述多尺度特征更新尺度滤波器参数;所述跟踪单元2在所述视频除所述第一帧外的帧中提取对应的目标位置和目标尺度与所述第一帧相同的多通道特征,根据所述多通道特征和位置滤波器参数确定出新的目标位置,在除所述第一帧外的帧中新的目标位置上提取多尺度特征,根据所述多尺度特征和尺度滤波器参数确定出新的目标尺度,分别利用所述新的目标位置和新的目标尺度更新所述目标位置和所述目标尺度;所述判断单元3判断跟踪是否结束,若判断获知跟踪没有结束,则通知所述更新单元工作。
本发明实施例提供的基于相关滤波的视觉跟踪的装置,在原始KCF算法的多通道梯度直方图特征的基础上加入颜色命名特征和灰度特征,因为综合利用了目标的形状信息和颜色信息,所以相较于KCF算法,本方案可以更好地适应目标的变形和旋转,从而能提高跟踪的鲁棒性和准确性;而且本方案通过增加尺度滤波器估计目标的尺度,使跟踪算法可以适应尺度变化较大的运动目标的跟踪,同时保持了较快的跟踪速度。
图3示出了本发明实施例提供的一种电子设备的实体结构示意图,如图3所示,该电子设备可以包括:处理器11、存储器12、总线13及存储在存储器12上并可在处理器11上运行的计算机程序;
其中,所述处理器11,存储器12通过所述总线13完成相互间的通信;
所述处理器11执行所述计算机程序时实现上述各方法实施例所提供的方法,例如包括:S1、在视频第一帧中目标位置提取大小为目标尺度的样本,从所述样本中提取多通道特征,利用所述多通道特征更新位置滤波器参数,并在所述目标位置提取多尺度特征,利用所述多尺度特征更新尺度滤波器参数,其中,所述多通道特征包括梯度直方图特征,颜色命名特征和灰度特征;S2、在所述视频除所述第一帧外的帧中提取对应的目标位置和目标尺度与所述第一帧相同的多通道特征,根据所述多通道特征和位置滤波器参数确定出新的目标位置,在除所述第一帧外的帧中新的目标位置上提取多尺度特征,根据所述多尺度特征和尺度滤波器参数确定出新的目标尺度,分别利用所述新的目标位置和新的目标尺度更新所述目标位置和所述目标尺度;S3、判断跟踪是否结束,若判断获知跟踪没有结束,则执行步骤S1。
本发明实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例所提供的方法,例如包括:S1、在视频第一帧中目标位置提取大小为目标尺度的样本,从所述样本中提取多通道特征,利用所述多通道特征更新位置滤波器参数,并在所述目标位置提取多尺度特征,利用所述多尺度特征更新尺度滤波器参数,其中,所述多通道特征包括梯度直方图特征,颜色命名特征和灰度特征;S2、在所述视频除所述第一帧外的帧中提取对应的目标位置和目标尺度与所述第一帧相同的多通道特征,根据所述多通道特征和位置滤波器参数确定出新的目标位置,在除所述第一帧外的帧中新的目标位置上提取多尺度特征,根据所述多尺度特征和尺度滤波器参数确定出新的目标尺度,分别利用所述新的目标位置和新的目标尺度更新所述目标位置和所述目标尺度;S3、判断跟踪是否结束,若判断获知跟踪没有结束,则执行步骤S1。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的说明书中,说明了大量具体细节。然而能够理解的是,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。类似地,应当理解,为了精简本发明公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释呈反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面,也不局限于任何单一的实施例,也不局限于这些方面和/或实施例的任意组合和/或置换。而且,可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (7)

1.一种基于相关滤波的视觉跟踪的方法,其特征在于,包括:
S1、在视频第一帧中目标位置提取大小为目标尺度的样本,从所述样本中提取多通道特征,利用所述多通道特征更新位置滤波器参数,并在所述目标位置提取多尺度特征,利用所述多尺度特征更新尺度滤波器参数,其中,所述多通道特征包括梯度直方图特征,颜色命名特征和灰度特征;
S2、在所述视频除所述第一帧外的帧中提取对应的目标位置和目标尺度与所述第一帧相同的多通道特征,根据所述多通道特征和位置滤波器参数确定出新的目标位置,在除所述第一帧外的帧中新的目标位置上提取多尺度特征,根据所述多尺度特征和尺度滤波器参数确定出新的目标尺度,分别利用所述新的目标位置和新的目标尺度更新所述目标位置和所述目标尺度;
S3、判断跟踪是否结束,若判断获知跟踪没有结束,则执行步骤S1;
所述利用所述多通道特征更新位置滤波器参数,包括:
计算所述多通道特征的核自相关,利用所述核自相关更新位置滤波器参数;
所述核自相关kxx根据下式计算:
Figure FDA0002845943970000011
其中,σ为核函数的标准差,x为输入特征,⊙代表元素间点积,F-1表示傅里叶反变换,
Figure FDA0002845943970000012
表示x的傅里叶变换,x*表示x的复共轭,xc表示x的第c个通道分量;
所述位置滤波器参数包括系数α和特征模板x,系数α根据下式计算:
Figure FDA0002845943970000013
其中,
Figure FDA0002845943970000021
表示x的傅里叶变换,y为回归目标函数,是峰值在四个角点的二维高斯函数,λ为正则化因子;
所述根据所述多通道特征和位置滤波器参数确定出新的目标位置,包括:
根据所述多通道特征和位置滤波器参数计算位置滤波器的响应,根据所述位置滤波器的响应计算目标位移,根据所述目标位移确定出新的目标位置;
所述根据所述多尺度特征和尺度滤波器参数确定出新的目标尺度,包括:
根据所述多尺度特征和尺度滤波器参数计算尺度滤波器的响应,根据所述尺度滤波器的响应确定出新的目标尺度;
其中,所述根据所述位置滤波器的响应计算目标位移,包括:
根据所述位置滤波器的响应确定出所述位置滤波器的响应图,对所述位置滤波器的响应图进行补0操作,使补0后的响应图的尺度为所述目标尺度,对补0后的响应图进行傅里叶反变换,寻找傅里叶反变换后的响应图中峰值的位置相对所述位置滤波器的目标函数峰值间的位置,根据所述傅里叶反变换后的响应图中峰值的位置相对所述位置滤波器的目标函数峰值间的位置计算所述目标位移;
其中,所述根据所述尺度滤波器的响应确定出新的目标尺度,包括:
根据所述尺度滤波器的响应确定出所述尺度滤波器的响应图;
寻找所述尺度滤波器的响应图中峰值的位置r,对所述目标尺度缩放ar倍得到所述新的目标尺度,其中a为尺度系数。
2.根据权利要求1所述的方法,其特征在于,所述位置滤波器参数和尺度滤波器参数采用线性插值更新,所述位置滤波器的目标函数为峰值平移到四个角点的二维高斯函数,所述尺度滤波器的目标函数为一维高斯函数。
3.根据权利要求1所述的方法,其特征在于,所述位置滤波器的响应根据下式计算:
Figure FDA0002845943970000031
式中,f(z)为位置滤波器对特征z的响应,kxz为特征z与滤波器参数x的核互相关,α为滤波器参数,
Figure FDA0002845943970000032
表示对x的傅里叶变换,⊙代表元素间点积;
所述尺度滤波器的响应由下式计算:
Figure FDA0002845943970000033
式中y为尺度滤波器响应,d为尺度特征通道数,Zl为尺度特征傅里叶变换的第l个通道,F-1表示傅里叶反变换,A和B为尺度滤波器的分子和分母,
Figure FDA0002845943970000034
表示尺度滤波器分子的第l个通道的共轭,λ为正则化因子。
4.根据权利要求1所述的方法,其特征在于,所述多通道特征由网格大小为4×4的31通道梯度直方图特征,归一化的灰度特征和10通道的颜色命名特征相连而成。
5.一种基于相关滤波的视觉跟踪的装置,其特征在于,包括:
更新单元,用于在视频第一帧中目标位置提取大小为目标尺度的样本,从所述样本中提取多通道特征,利用所述多通道特征更新位置滤波器参数,并在所述目标位置提取多尺度特征,利用所述多尺度特征更新尺度滤波器参数,其中,所述多通道特征包括梯度直方图特征,颜色命名特征和灰度特征;
跟踪单元,用于在所述视频除所述第一帧外的帧中提取对应的目标位置和目标尺度与所述第一帧相同的多通道特征,根据所述多通道特征和位置滤波器参数确定出新的目标位置,在除所述第一帧外的帧中新的目标位置上提取多尺度特征,根据所述多尺度特征和尺度滤波器参数确定出新的目标尺度,分别利用所述新的目标位置和新的目标尺度更新所述目标位置和所述目标尺度;
判断单元,用于判断跟踪是否结束,若判断获知跟踪没有结束,则通知所述更新单元工作;
所述利用所述多通道特征更新位置滤波器参数,包括:
计算所述多通道特征的核自相关,利用所述核自相关更新位置滤波器参数;
所述核自相关kxx根据下式计算:
Figure FDA0002845943970000041
其中,σ为核函数的标准差,x为输入特征,⊙代表元素间点积,F-1表示傅里叶反变换,
Figure FDA0002845943970000042
表示x的傅里叶变换,x*表示x的复共轭,xc表示x的第c个通道分量;
所述位置滤波器参数包括系数α和特征模板x,系数α根据下式计算:
Figure FDA0002845943970000043
其中,
Figure FDA0002845943970000044
表示x的傅里叶变换,y为回归目标函数,是峰值在四个角点的二维高斯函数,λ为正则化因子;
所述根据所述多通道特征和位置滤波器参数确定出新的目标位置,包括:
根据所述多通道特征和位置滤波器参数计算位置滤波器的响应,根据所述位置滤波器的响应计算目标位移,根据所述目标位移确定出新的目标位置;
所述根据所述多尺度特征和尺度滤波器参数确定出新的目标尺度,包括:
根据所述多尺度特征和尺度滤波器参数计算尺度滤波器的响应,根据所述尺度滤波器的响应确定出新的目标尺度;
其中,所述根据所述位置滤波器的响应计算目标位移,包括:
根据所述位置滤波器的响应确定出所述位置滤波器的响应图,对所述位置滤波器的响应图进行补0操作,使补0后的响应图的尺度为所述目标尺度,对补0后的响应图进行傅里叶反变换,寻找傅里叶反变换后的响应图中峰值的位置相对所述位置滤波器的目标函数峰值间的位置,根据所述傅里叶反变换后的响应图中峰值的位置相对所述位置滤波器的目标函数峰值间的位置计算所述目标位移;
其中,所述根据所述尺度滤波器的响应确定出新的目标尺度,包括:
根据所述尺度滤波器的响应确定出所述尺度滤波器的响应图;
寻找所述尺度滤波器的响应图中峰值的位置r,对所述目标尺度缩放ar倍得到所述新的目标尺度,其中a为尺度系数。
6.一种电子设备,其特征在于,包括:处理器、存储器、总线及存储在存储器上并可在处理器上运行的计算机程序;
其中,所述处理器,存储器通过所述总线完成相互间的通信;
所述处理器执行所述计算机程序时实现如权利要求1-4中任一项所述的方法。
7.一种非暂态计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,该计算机程序被处理器执行时实现如权利要求1-4中任一项所述的方法。
CN201811115677.4A 2018-09-25 2018-09-25 基于相关滤波的视觉跟踪的方法及装置 Active CN109410246B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811115677.4A CN109410246B (zh) 2018-09-25 2018-09-25 基于相关滤波的视觉跟踪的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811115677.4A CN109410246B (zh) 2018-09-25 2018-09-25 基于相关滤波的视觉跟踪的方法及装置

Publications (2)

Publication Number Publication Date
CN109410246A CN109410246A (zh) 2019-03-01
CN109410246B true CN109410246B (zh) 2021-06-11

Family

ID=65465930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811115677.4A Active CN109410246B (zh) 2018-09-25 2018-09-25 基于相关滤波的视觉跟踪的方法及装置

Country Status (1)

Country Link
CN (1) CN109410246B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197126A (zh) * 2019-05-06 2019-09-03 深圳岚锋创视网络科技有限公司 一种目标追踪方法、装置及便携式终端
CN111931722B (zh) * 2020-09-23 2021-02-12 杭州视语智能视觉系统技术有限公司 一种结合颜色比率特征的相关滤波跟踪方法
CN113222060A (zh) * 2021-05-31 2021-08-06 四川轻化工大学 一种基于卷积特征和手工特征整合的视觉跟踪方法
CN113808171A (zh) * 2021-09-27 2021-12-17 山东工商学院 基于特征权重池的动态特征选择的无人机视觉跟踪方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557774A (zh) * 2015-09-29 2017-04-05 南京信息工程大学 多通道核相关滤波的实时跟踪方法
CN106570893A (zh) * 2016-11-02 2017-04-19 中国人民解放军国防科学技术大学 一种基于相关滤波的快速稳健视觉跟踪方法
CN106815859A (zh) * 2017-01-13 2017-06-09 大连理工大学 基于尺度自适应相关滤波和特征点匹配的目标跟踪算法
CN107146240A (zh) * 2017-05-05 2017-09-08 西北工业大学 基于相关滤波和显著性检测的航拍视频目标跟踪方法
CN107154024A (zh) * 2017-05-19 2017-09-12 南京理工大学 基于深度特征核相关滤波器的尺度自适应目标跟踪方法
CN107316316A (zh) * 2017-05-19 2017-11-03 南京理工大学 基于多特征自适应融合和核相关滤波技术的目标跟踪方法
CN107578423A (zh) * 2017-09-15 2018-01-12 杭州电子科技大学 多特征分层融合的相关滤波鲁棒跟踪方法
CN107748873A (zh) * 2017-10-31 2018-03-02 河北工业大学 一种融合背景信息的多峰目标跟踪方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8810640B2 (en) * 2011-05-16 2014-08-19 Ut-Battelle, Llc Intrinsic feature-based pose measurement for imaging motion compensation
US9852507B2 (en) * 2014-11-10 2017-12-26 Utah State University Remote heart rate estimation
JP6656987B2 (ja) * 2016-03-30 2020-03-04 株式会社エクォス・リサーチ 画像認識装置、移動体装置、及び画像認識プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557774A (zh) * 2015-09-29 2017-04-05 南京信息工程大学 多通道核相关滤波的实时跟踪方法
CN106570893A (zh) * 2016-11-02 2017-04-19 中国人民解放军国防科学技术大学 一种基于相关滤波的快速稳健视觉跟踪方法
CN106815859A (zh) * 2017-01-13 2017-06-09 大连理工大学 基于尺度自适应相关滤波和特征点匹配的目标跟踪算法
CN107146240A (zh) * 2017-05-05 2017-09-08 西北工业大学 基于相关滤波和显著性检测的航拍视频目标跟踪方法
CN107154024A (zh) * 2017-05-19 2017-09-12 南京理工大学 基于深度特征核相关滤波器的尺度自适应目标跟踪方法
CN107316316A (zh) * 2017-05-19 2017-11-03 南京理工大学 基于多特征自适应融合和核相关滤波技术的目标跟踪方法
CN107578423A (zh) * 2017-09-15 2018-01-12 杭州电子科技大学 多特征分层融合的相关滤波鲁棒跟踪方法
CN107748873A (zh) * 2017-10-31 2018-03-02 河北工业大学 一种融合背景信息的多峰目标跟踪方法

Also Published As

Publication number Publication date
CN109410246A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
CN109410246B (zh) 基于相关滤波的视觉跟踪的方法及装置
Yuan et al. Factorization-based texture segmentation
CN108776975B (zh) 一种基于半监督特征和滤波器联合学习的视觉跟踪方法
CN107369166B (zh) 一种基于多分辨率神经网络的目标跟踪方法及系统
CN106156692B (zh) 一种用于人脸边缘特征点定位的方法及装置
CN110349190B (zh) 自适应学习的目标跟踪方法、装置、设备及可读存储介质
CN111260688A (zh) 一种孪生双路目标跟踪方法
US20140063275A1 (en) Visual saliency estimation for images and video
EP2860696A1 (en) Optical flow tracking method and apparatus
CN111931764B (zh) 一种目标检测方法、目标检测框架及相关设备
JP6597914B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN112381061B (zh) 一种面部表情识别方法及系统
CN109902588B (zh) 一种手势识别方法、装置及计算机可读存储介质
CN114820739B (zh) 一种面向多光谱相机的图像快速配准方法及装置
CN109685830B (zh) 目标跟踪方法、装置和设备及计算机存储介质
US10115208B2 (en) Image characteristic estimation method and device
WO2017070923A1 (zh) 一种人脸识别方法和装置
Yadav et al. Understanding tracking methodology of kernelized correlation filter
CN109064402B (zh) 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法
CN106462773B (zh) 使用gabor函数的模式识别系统及方法
CN112435211B (zh) 一种内窥镜图像序列中轮廓稠密特征点描述和匹配的方法
CN111428566A (zh) 一种形变目标跟踪系统及方法
CN110827327B (zh) 一种基于融合的长期目标跟踪方法
CN112950685B (zh) 一种红外与可见光图像配准方法、系统及存储介质
CN112204957A (zh) 白平衡处理方法和设备、可移动平台、相机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 311100 room 153, building 1, 1818-2, Wenyi West Road, Yuhang street, Yuhang District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Shiyu Intelligent Vision System Technology Co.,Ltd.

Address before: 518072 Room 201, building 4, Zhuguang innovation and Technology Park, 52 Zhuguang Road, Taoyuan Street, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: SHENZHEN ZHONGKESHIXUN INTELLIGENT SYSTEM TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant