CN109978923A - 一种基于双模板尺度自适应相关滤波目标跟踪方法及系统 - Google Patents
一种基于双模板尺度自适应相关滤波目标跟踪方法及系统 Download PDFInfo
- Publication number
- CN109978923A CN109978923A CN201910270388.XA CN201910270388A CN109978923A CN 109978923 A CN109978923 A CN 109978923A CN 201910270388 A CN201910270388 A CN 201910270388A CN 109978923 A CN109978923 A CN 109978923A
- Authority
- CN
- China
- Prior art keywords
- response
- small
- scale
- template
- big
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于双模板尺度自适应相关滤波目标跟踪方法及系统。其方法包括根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签、确定平移滤波器和尺度滤波器模板、判断小模板平移滤波器响应峰值是否满足需求、判断大模板平移滤波器响应峰值是否满足需求、根据平移滤波器预测目标中心在当前帧的位置、根据尺度滤波器更新尺度因子。本发明的方法及系统解决了目标快速运动和背景杂乱情况时,跟踪器性能不稳定的问题的技术问题。
Description
技术领域
本发明属于计算视觉目标跟踪领域,特别涉及一种基于双模板尺度自适应相关滤波目标跟踪方法及系统。
背景技术
视觉跟踪是计算机视觉的一个重要分支,广泛运用在机器人、监督系统等方面。执行视觉跟踪任务时,通常是根据视频序列第一帧目标的位置与尺寸预测后续目标的状态,由于可能出现部分遮挡、快速运动、运动模糊、背景杂乱、照明变化等情况,导致跟踪出现漂移甚至丢失,因此需要采用跟踪算法。
跟踪算法通常分为生成式跟踪方法和判别式跟踪方法。生成式跟踪方法是对前景目标进行建模,利用前景模型搜索后续帧中最相似的区域作为预测位置。判别式跟踪方法是将跟踪问题看作二分类问题,利用前景信息和背景信息训练模板判定最佳预测位置。
其中,相关滤波跟踪方法是最常用的一种判别式跟踪方法,最早由Bolme提出MOSSE算法,在此基础上,Henriques先后提出CSK算法和KCF算法,在提高性能的同时保证了较高运行速度。但在遇到复杂的运动情况时,例如,当目标运动速度过快时,目标可能出现在搜索框边缘或搜索框外部,导致跟踪框漂移甚至丢失目标;当目标的尺度发生变化时,跟踪框无法适应目标的尺度变化,导致跟踪框中包含大量背景信息或仅包含目标的局部信息;当目标的形状发生变化时,此前提取的特征无法准确的描述目标,导致跟踪算法的判别能力严重下降。
需要一种能够解决当目标快速运动和背景杂乱情况时跟踪器性能不稳定问题的技术方案,为此,提出一种双模板尺度自适应相关滤波实时跟踪方法及系统。
发明内容
本发明所要解决的技术问题是目标快速运动和背景杂乱情况时,跟踪器性能不稳定的问题,提出一种基于双模板尺度自适应相关滤波目标跟踪方法及系统。
事先建立用于表示图像像素位置的x-y坐标系,目标中心位置用(xn,yn)表示,其中n表示帧数。视频序列第一帧的目标中心位置(x1,y1)事先设置,目标尺寸(high,width)事先设置,尺度因子currentScaleFactor的初始值为1。
本发明的基于双模板尺度自适应相关滤波目标跟踪方法,包括以下步骤:
根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签:读取视频序列第1帧,根据目标尺寸(high,width)计算小模板和大模板的搜索框尺寸,分别表示为window_sz_small和window_sz_big,根据搜索框尺寸window_sz_small和window_sz_big确定平移高斯型标签yf_small、yf_big。
所述小模板和大模板的搜索框尺寸window_sz_small=(a1×high,a1×width),window_sz_big=(a2×high,a2×width),其中a1和a2是事先设置的搜索框参数且a1<a2。
确定平移滤波器和尺度滤波器模板:在目标中心位置(xn,yn),根据搜索框大小和尺度因子currentScaleFactor截取图像块patch_small_for_train_n和patch_big_for_train_n,其中n表示帧数;分别提取图像块特征,添加余弦窗得到平移特征样本xf_small_for_train_n、xf_big_for_train_n,利用平移高斯型标签和平移特征样本得到两个不同尺寸的平移滤波器模板,用α_small、α_big表示;
创建N个尺度等级的尺度高斯标签ysf,其中N值事先设置,在目标中心位置(xn,yn),根据搜索框尺寸(window_sz_small或window_sz_big)和尺度因子currentScaleFactor截取N个不同尺寸的图像块,记为patch_for_scale_train_i_n,其中i表示尺度等级,1≤i≤N;提取图像块特征得到尺度特征样本xsf_for_train_i_n,利用尺度高斯标签和尺度特征样本训练得到尺度滤波器模板A和B。
所述根据搜索框大小和尺度因子currentScaleFactor截取的图像块大小为patch_sz=window_sz×currentScaleFactor。
所述平移滤波器模板其中,α表示α_small或α_big,表示逆傅里叶变换,(·)*表示共轭,表示高斯型标签的傅里叶变换,λ是正则化参数,是核矩阵K的生成样本的傅里叶变换,核矩阵K是一个循环矩阵,矩阵第一行为核矩阵的生成样本。
所述利用尺度高斯标签和尺度特征样本训练尺度等级为N的尺度滤波器模板是指依据公式中的分子分母分别计算得到尺度滤波器模板A=sf_den和B=sf_num,其中,表示共轭,G表示尺度高斯标签的傅里叶变换,X表示尺度特性样本xsf的傅里叶变换,d表示图像块的特征通道数量,Hl表示第l通道的尺度滤波器,λ′表示正则化参数。
判断小模板平移滤波器响应峰值是否满足需求:令n=n+1,读取视频序列第n帧,在第n-1帧目标中心位置(xn-1,yn-1),按照搜索框尺寸window_sz_small和尺度因子currentScaleFactor截取图像块patch_small_for_det_n,提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_n,利用平移模板α_small计算得到响应输出矩阵response_small以及响应峰值max_response_small;判断响应峰值max_response_small是否大于事先设置的响应峰值阈值T,若是,则判定小模板平移滤波器响应峰值满足需求,令响应输出矩阵response=response_small,响应峰值max_response=max_response_small,进入步骤:预测目标中心在当前帧的位置,否则判定小模板平移滤波器响应峰值不满足需求,进入步骤:判断大模板平移滤波器响应峰值是否满足需求。
所述 表示逆傅里叶变换,表示傅里叶变换,⊙表示矩阵元素点乘运算符,kxz表示样本x和待检测样本z的核矩阵的生成矩阵。
判断大模板平移滤波器响应峰值是否满足需求:在第n-1帧目标中心位置(xn-1,yn-1),按照搜索框尺寸window_sz_big和尺度因子currentScaleFactor截取图像块patch_big_for_det_n,提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_n,利用平移模板α_big计算得到响应输出矩阵response_big以及响应峰值max_response_big;判断响应峰值max_response_big是否大于小模板的响应峰值max_response_small,若是,则判定采用大模板平移滤波器,令响应输出矩阵response=response_big,响应峰值max_response=max_response_big;否则判定采用小模板平移滤波器,令响应输出矩阵response=response_small,响应峰值max_response=max_response_small。
所述 表示逆傅里叶变换,表示傅里叶变换,⊙表示矩阵元素点乘运算符,kxz表示样本x和待检测样本z的核矩阵的生成矩阵。
根据平移滤波器预测目标中心在当前帧的位置:根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置,预测目标中心在当前第n帧的位置(xn,yn)。
根据尺度滤波器更新尺度因子:在平移预测的目标中心位置(xn,yn),根据当前尺度因子currentScaleFactor截取N个不同尺寸的图像块,记为patch_for_scale_det_i_n;提取图像块特征得到尺度特征样本xsf_for_det_i_n,根据图像块尺度特征样本组成待检测尺度特征样本Z=zsf,利用尺度模板A和B计算得到相应输出矩阵response_scale以及响应峰值max_response_scale,令尺度因子currentScaleFactor=max_response_scale,返回步骤:确定平移滤波器和尺度滤波器模板。
所述其中,表示逆傅里叶变换,尺度滤波器模板A=sf_den和B=sf_num,Z表示尺度特征样本矩阵,X表示尺度特性样本xsf的傅里叶变换,d表示图像块的特征通道数量,l(小写L)表示通道编号,λ′表示正则化参数。
本发明的基于双模板尺度自适应相关滤波目标跟踪系统,包括:
视频序列;
计算机
以及
一个或多个程序,其中所述一个或多个程序被存储在计算机的存储器中,并且被配置成由所述计算机的处理器执行,所述程序包括:
根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签模块:读取视频序列第1帧,根据目标尺寸(high,width)计算小模板和大模板的搜索框尺寸,分别表示为window_sz_small和window_sz_big,根据搜索框尺寸window_sz_small和window_sz_big确定平移高斯型标签yf_small、yf_big。
所述小模板和大模板的搜索框尺寸window_sz_small=(a1×high,a1×width),window_sz_big=(a2×high,a2×width),其中a1和a2是事先设置的搜索框参数且a1<a2。
确定平移滤波器和尺度滤波器模板模块:在目标中心位置(xn,yn),根据搜索框大小和尺度因子currentScaleFactor截取图像块patch_small_for_train_n和patch_big_for_train_n,其中n表示帧数;分别提取图像块特征,添加余弦窗得到平移特征样本xf_small_for_train_n、xf_big_for_train_n,利用平移高斯型标签和平移特征样本得到两个不同尺寸的平移滤波器模板,用α_small、α_big表示;
创建N个尺度等级的尺度高斯标签ysf,其中N值事先设置,在目标中心位置(xn,yn),根据搜索框尺寸(window_sz_small或window_sz_big)和尺度因子currentScaleFactor截取N个不同尺寸的图像块,记为patch_for_scale_train_i_n,其中i表示尺度等级,1≤i≤N;提取图像块特征得到尺度特征样本xsf_for_train_i_n,利用尺度高斯标签和尺度特征样本训练得到尺度滤波器模板A和B。
所述根据搜索框大小和尺度因子currentScaleFactor截取的图像块大小为patch_sz=window_sz×currentScaleFactor。
所述平移滤波器模板其中,α表示α_small或α_big,表示逆傅里叶变换,(·)*表示共轭,表示高斯型标签的傅里叶变换,λ是正则化参数,是核矩阵K的生成样本的傅里叶变换,核矩阵K是一个循环矩阵,矩阵第一行为核矩阵的生成样本。
所述利用尺度高斯标签和尺度特征样本训练尺度等级为N的尺度滤波器模板是指依据公式中的分子分母分别计算得到尺度滤波器模板A=sf_den和B=sf_num,其中,表示共轭,G表示尺度高斯标签的傅里叶变换,X表示尺度特性样本xsf的傅里叶变换,d表示图像块的特征通道数量,Hl表示第l(小写L)通道的尺度滤波器,λ′表示正则化参数。
判断小模板平移滤波器响应峰值是否满足需求模块:令n=n+1,读取视频序列第n帧,在第n-1帧目标中心位置(xn-1,yn-1),按照搜索框尺寸window_sz_small和尺度因子currentScaleFactor截取图像块patch_small_for_det_n,提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_n,利用平移模板α_small计算得到响应输出矩阵response_small以及响应峰值max_response_small;判断响应峰值max_response_small是否大于事先设置的响应峰值阈值T,若是,则判定小模板平移滤波器响应峰值满足需求,令响应输出矩阵response=response_small,响应峰值max_response=max_response_small,进入预测目标中心在当前帧的位置模块,否则判定小模板平移滤波器响应峰值不满足需求,进入判断大模板平移滤波器响应峰值是否满足需求模块。
所述 表示逆傅里叶变换,表示傅里叶变换,⊙表示矩阵元素点乘运算符,kxz表示样本x和待检测样本z的核矩阵的生成矩阵。
判断大模板平移滤波器响应峰值是否满足需求模块:在第n-1帧目标中心位置(xn-1,yn-1),按照搜索框尺寸window_sz_big和尺度因子currentScaleFactor截取图像块patch_big_for_det_n,提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_n,利用平移模板α_big计算得到响应输出矩阵response_big以及响应峰值max_response_big;判断响应峰值max_response_big是否大于小模板的响应峰值max_response_small,若是,则判定采用大模板平移滤波器,令响应输出矩阵response=response_big,响应峰值max_response=max_response_big;否则判定采用小模板平移滤波器,令响应输出矩阵response=response_small,响应峰值max_response=max_response_small。
所述 表示逆傅里叶变换,表示傅里叶变换,⊙表示矩阵元素点乘运算符,kxz表示样本x和待检测样本z的核矩阵的生成矩阵。
根据平移滤波器预测目标中心在当前帧的位置模块:根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置,预测目标中心在当前第n帧的位置(xn,yn)。
根据尺度滤波器更新尺度因子模块:在平移预测的目标中心位置(xn,yn),根据当前尺度因子currentScaleFactor截取N个不同尺寸的图像块,记为patch_for_scale_det_i_n;提取图像块特征得到尺度特征样本xsf_for_det_i_n,根据图像块尺度特征样本组成待检测尺度特征样本Z=zsf,利用尺度模板A和B计算得到相应输出矩阵response_scale以及响应峰值max_response_scale,令尺度因子currentScaleFactor=max_response_scale,返回步骤:确定平移滤波器和尺度滤波器模板模块。
所述其中,表示逆傅里叶变换,尺度滤波器模板A=sf_den和B=sf_num,Z表示尺度特征样本矩阵,l(小写L)表示通道编号,X表示尺度特性样本xsf的傅里叶变换,d表示图像块的特征通道数量,λ′表示正则化参数。
本发明具有的优点是:
(1)当搜索范围较小且目标运动速度较快时,小尺寸滤波器切换为大尺寸滤波器,扩大搜索范围,为快速准确预测目标位置提供依据;
(2)当面对杂乱背景的情况时,大尺寸滤波器切换为小尺寸滤波器,缩小搜索范围,减轻背景对响应输出的影响,为快速准确预测目标位置提供依据。
附图说明
图1是本发明实施例的基于双模板尺度自适应相关滤波目标跟踪方法流程图;
图2是本发明实施例的基于双模板尺度自适应相关滤波目标跟踪系统结构示意图。
具体实施方式
下面对本发明优选实施例作详细说明。
事先建立用于表示图像像素位置的x-y坐标系,目标中心位置用(xn,yn)表示,其中n表示帧数。视频序列第一帧的目标中心位置(x1,y1)事先设置,目标尺寸(high,width)事先设置,尺度因子currentScaleFactor的初始值为1。本实施例中,图像像素位置坐标系中,图像左上角像素点的位置为(1,1),第一帧图像中给出目标中心位置(x1,y1)=(47,55),目标尺寸为10像素×10像素,即high=10,width=10。
本发明的基于双模板尺度自适应相关滤波目标跟踪方法,包括以下步骤:
根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签:读取视频序列第1帧,根据目标尺寸(high,width)计算小模板和大模板的搜索框尺寸,分别表示为window_sz_small和window_sz_big,根据搜索框尺寸window_sz_small和window_sz_big确定平移高斯型标签yf_small、yf_big。
所述小模板和大模板的搜索框尺寸window_sz_small=(a1×high,a1×width),window_sz_big=(a2×high,a2×width),其中a1和a2是事先设置的搜索框参数且a1<a2。本实施例中,事先设置的搜索框参数a1=2,a2=3,则计算小模板和大模板的搜索框尺寸分别为window_sz_small=(a1×high,a1×width)=(20,20)和window_sz_big=(a2×high,a2×width)=(30,30),高斯标签yf_small尺寸为(20,20),高斯标签yf_big尺寸为(30×30),标签中心取最大值为1,周围数值逐渐减小,边缘为0,数值成高斯分布。
确定平移滤波器和尺度滤波器模板:在目标中心位置(xn,yn),根据搜索框大小和尺度因子currentScaleFactor截取图像块patch_small_for_train_n和patch_big_for_train_n,其中n表示帧数;分别提取图像块特征,添加余弦窗得到平移特征样本xf_small_for_train_n、xf_big_for_train_n,利用平移高斯型标签和平移特征样本得到两个不同尺寸的平移滤波器模板,用α_small、α_big表示;
创建N个尺度等级的尺度高斯标签ysf,其中N值事先设置,在目标中心位置(xn,yn),根据搜索框尺寸(window_sz_small或window_sz_big)和尺度因子currentScaleFactor截取N个不同尺寸的图像块,记为patch_for_scale_train_i_n,其中i表示尺度等级,1≤i≤N;提取图像块特征得到尺度特征样本xsf_for_train_i_n,利用尺度高斯标签和尺度特征样本训练得到尺度滤波器模板A和B。
所述根据搜索框大小和尺度因子currentScaleFactor截取的图像块大小为patch_sz=window_sz×currentScaleFactor。
所述平移滤波器模板其中,表示逆傅里叶变换,(·)*表示共轭,表示高斯型标签的傅里叶变换,λ是正则化参数,是核矩阵K的生成样本的傅里叶变换,核矩阵K是一个循环矩阵,矩阵第一行为核矩阵的生成样本。
所述利用尺度高斯标签和尺度特征样本训练尺度等级为N的尺度滤波器模板是指依据公式中的分子分母分别计算得到尺度滤波器模板A=sf_den和B=sf_num,其中,表示共轭,G表示尺度高斯标签的傅里叶变换,X表示尺度特性样本xsf的傅里叶变换,d表示图像块的特征通道数量,Hl表示第l通道的尺度滤波器,λ′表示正则化参数。本实施例中,在目标中心位置(47,55),根据公式patch_size=window_sz×currentScaleFactor截取图像块patch_small_for_train_1、patch_big_for_train_1,其中patch_size表示图像块尺寸,window_size表示搜索框尺寸,currentScaleFactor表示尺度因子(尺度因子初始值为1),然后将图像块都缩放到标准搜索框尺寸window_sz_small和window_sz_big,分别提取图像块特征,得到平移特征样本xf_small_for_train_1、xf_big_for_train_1,其尺寸分别为(20,20),(30,30),这里余弦窗相当于一个权重矩阵,赋予中心目标区域更大的权重,越靠近边缘权重越小,最终根据岭回归训练模型,利用特征样本和高斯型标签,依据公式计算得到平移滤波器模板α_small、α_big。
事先设置的N=33,根据第一帧给定的目标中心位置(47,55)和目标尺寸,创建33个尺度等级的尺度高斯标签ysf,在目标中心位置根据目标尺度因子(初始目标尺度因子为1),截取33个不同尺寸的图像块patch_for_scale_train_1_1、patch_for_scale_train_2_1、……、patch_for_scale_train_33_1,然后将图像块都缩放到标准搜索框尺寸(window_sz_small和window_sz_big),分别提取图像块特征(二维矩阵)并将二维特征转换为一维特征(将二维矩阵序列化)得到图像块特征样本xsf_for_train_1_1、xsf_for_train_2_1、……、xsf_for_train_33_1,将33个一维特征组成尺度特征样本xsf,最终利用尺度高斯标签和尺度特征样本,依据公式中的分子分母分别计算得到尺度滤波器模板A=sf_den和B=sf_num。
判断小模板平移滤波器响应峰值是否满足需求:令n=n+1,读取视频序列第n帧,在第n-1帧目标中心位置(xn-1,yn-1),按照搜索框尺寸window_sz_small和尺度因子currentScaleFactor截取图像块patch_small_for_det_n,提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_n,利用平移模板α_small计算得到响应输出矩阵response_small以及响应峰值max_response_small;判断响应峰值max_response_small是否大于事先设置的响应峰值阈值T,若是,则判定小模板平移滤波器响应峰值满足需求,令响应输出矩阵response=response_small,响应峰值max_response=max_response_small,进入步骤:预测目标中心在当前帧的位置,否则判定小模板平移滤波器响应峰值不满足需求,进入步骤:判断大模板平移滤波器响应峰值是否满足需求。
所述 表示逆傅里叶变换,表示傅里叶变换,⊙表示矩阵元素点乘运算符,kxz表示样本x和待检测样本z的核矩阵的生成矩阵。本实施例中,令n=n+1=2,读取视频序列第2帧,在第1帧目标中心位置(47,55),按照搜索框尺寸window_sz_small和当前目标尺度因子(currentScaleFactor=1)截取图像块patch_small_for_det_2,将图像块都缩放到标准搜索框尺寸(此处已经是标准搜索框尺寸,无需缩放),提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_2,其尺寸为(20,20),利用模板α_small,依据公式计算得到响应输出矩阵response_small以及响应峰值max_response_small=0.5,事先设置的响应峰值阈值T=0.6,max_response_small<T,判定小模板平移滤波器响应峰值不满足需求,进入步骤:判断大模板平移滤波器响应峰值是否满足需求。
判断大模板平移滤波器响应峰值是否满足需求:在第n-1帧目标中心位置(xn-1,yn-1),按照搜索框尺寸window_sz_big和尺度因子currentScaleFactor截取图像块patch_big_for_det_n,提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_n,利用平移模板α_big计算得到响应输出矩阵response_big以及响应峰值max_response_big;判断响应峰值max_response_big是否大于小模板的响应峰值max_response_small,若是,则判定采用大模板平移滤波器,令响应输出矩阵response=response_big,响应峰值max_response=max_response_big;否则判定采用小模板平移滤波器,令响应输出矩阵response=response_small,响应峰值max_response=max_response_small。
所述 表示逆傅里叶变换,表示傅里叶变换,kxz表示样本x和待检测样本z的核矩阵的生成矩阵。本实施例中,在第1帧目标中心位置(47,55),按照搜索框尺寸window_sz_big和当前目标尺度因子(currentScaleFactor=1)截取图像块patch_big_for_det_2,将图像块都缩放到标准搜索框尺寸(此处已经是标准搜索框尺寸,无需缩放),提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_2,其尺寸为(30,30),利用模板α_big,依据公式计算得到响应输出矩阵response_big以及响应峰值max_response_big=0.55,此时max_response_big>max_response_small,则判定采用大模板平移滤波器,令响应输出矩阵response=response_big,响应峰值max_response=max_response_big=0.55。
根据平移滤波器预测目标中心在当前帧的位置:根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置,预测目标中心在当前第n帧的位置(xn,yn)。本实施例中,根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置,预测目标中心在当前第2帧的位置(x2,y2)=(50,55)。
根据尺度滤波器更新尺度因子:在平移预测的目标中心位置(xn,yn),根据当前尺度因子currentScaleFactor截取N个不同尺寸的图像块,记为patch_for_scale_det_i_n;提取图像块特征得到尺度特征样本xsf_for_det_i_n,根据图像块尺度特征样本组成待检测尺度特征样本Z=zsf,利用尺度模板A和B计算得到相应输出矩阵response_scale以及响应峰值max_response_scale,令尺度因子currentScaleFactor=max_response_scale,返回步骤:确定平移滤波器和尺度滤波器模板。
所述其中,表示逆傅里叶变换,尺度滤波器模板A=sf_den和B=sf_num,Z表示尺度特征样本矩阵,X表示尺度特性样本xsf的傅里叶变换,d表示图像块的特征通道数量,l表示通道编号,λ′表示正则化参数。本实施例中,在平移预测的目标中心位置(50,55)上,根据当前尺度因子(currentScaleFactor=1),截取33个尺度等级的图像块patch_for_scale_det_1_2、patch_for_scale_det_2_2、……、patch_for_scale_det_33_2,然后将图像块都缩放到标准搜索框尺寸(window_sz_small和window_sz_big),分别提取图像块特征,得到图像块特征样本xsf_for_det_1_2、xsf_for_det_2_2、……、xsf_for_det_33_2并将二维特征转换为一维特征(将二维矩阵序列化),将33个一维特征组成待检测尺度特征样本Z=zsf,最终利用尺度滤波器模板A=sf_den和B=sf_num,依据公式计算得到相应输出矩阵response_scale以及响应峰值max_response_scale=1.2,令currentScaleFactor=max_response_scale=1.2,返回步骤:确定平移滤波器和尺度滤波器模板。
在步骤:确定平移滤波器和尺度滤波器模板中,在当前帧目标中心位置(50,55),根据搜索框大小和目标尺度因子(currentScaleFactor=1.2)截取图像块patch_small_for_train_2(24×24)、patch_big_for_train_2(36×36),然后将图像块都缩放到标准搜索框尺寸,分别提取图像块特征,然后添加余弦窗得到平移特征样本xf_small_for_train_2、xf_big_for_train_2,利用线性插值更新平移滤波器模板α_small、α_big。
在目标中心位置(50,55),根据搜索框大小和目标尺度因子(currentScaleFactor=1.2),截取33个图像块patch_for_scale_train_1_2、patch_for_scale_train_2_2、……、patch_for_scale_train_33_2,然后将图像块都缩放到标准搜索框尺寸,分别提取图像块特征,得到图像块特征样本xsf_for_train_1_2、xsf_for_train_2_2、……、xsf_for_train_N_2,利用线性插值更新尺度滤波器模板A和B。
更新平移滤波器和尺度滤波器后,读取视频序列下一帧,按照上述步骤执行,直到视频最后一帧。
本实施例的基于双模板尺度自适应相关滤波目标跟踪方法流程图,如图1所示。
本实施例的基于双模板尺度自适应相关滤波目标跟踪系统,包括:
视频序列;
计算机
以及
一个或多个程序,其中所述一个或多个程序被存储在计算机的存储器中,并且被配置成由所述计算机的处理器执行,所述程序包括:
根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签模块:读取视频序列第1帧,根据目标尺寸(high,width)计算小模板和大模板的搜索框尺寸,分别表示为window_sz_small和window_sz_big,根据搜索框尺寸window_sz_small和window_sz_big确定平移高斯型标签yf_small、yf_big。
所述小模板和大模板的搜索框尺寸window_sz_small=(a1×high,a1×width),window_sz_big=(a2×high,a2×width),其中a1和a2是事先设置的搜索框参数且a1<a2。本实施例中,事先设置的搜索框参数a1=2,a2=3,则计算小模板和大模板的搜索框尺寸分别为window_sz_small=(a1×high,a1×width)=(20,20)和window_sz_big=(a2×high,a2×width)=(30,30),高斯标签yf_small尺寸为(20,20),高斯标签yf_big尺寸为(30×30),标签中心取最大值为1,周围数值逐渐减小,边缘为0,数值成高斯分布。
确定平移滤波器和尺度滤波器模板模块:在目标中心位置(xn,yn),根据搜索框大小和尺度因子currentScaleFactor截取图像块patch_small_for_train_n和patch_big_for_train_n,其中n表示帧数;分别提取图像块特征,添加余弦窗得到平移特征样本xf_small_for_train_n、xf_big_for_train_n,利用平移高斯型标签和平移特征样本得到两个不同尺寸的平移滤波器模板,用α_small、α_big表示;
创建N个尺度等级的尺度高斯标签ysf,其中N值事先设置,在目标中心位置(xn,yn),根据搜索框尺寸(window_sz_small或window_sz_big)和尺度因子currentScaleFactor截取N个不同尺寸的图像块,记为patch_for_scale_train_i_n,其中i表示尺度等级,1≤i≤N;提取图像块特征得到尺度特征样本xsf_for_train_i_n,利用尺度高斯标签和尺度特征样本训练得到尺度滤波器模板A和B。
所述根据搜索框大小和尺度因子currentScaleFactor截取的图像块大小为patch_sz=window_sz×currentScaleFactor。
所述平移滤波器模板其中,表示逆傅里叶变换,(·)*表示共轭,表示高斯型标签的傅里叶变换,λ是正则化参数,是核矩阵K的生成样本的傅里叶变换,核矩阵K是一个循环矩阵,矩阵第一行为核矩阵的生成样本。
所述利用尺度高斯标签和尺度特征样本训练尺度等级为N的尺度滤波器模板是指依据公式中的分子分母分别计算得到尺度滤波器模板A=sf_den和B=sf_num,其中,表示共轭,G表示尺度高斯标签的傅里叶变换,X表示尺度特性样本xsf的傅里叶变换,d表示图像块的特征通道数量,Hl表示第l通道的尺度滤波器,λ′表示正则化参数。本实施例中,在目标中心位置(47,55),根据公式patch_size=window_sz×currentScaleFactor截取图像块patch_small_for_train_1、patch_big_for_train_1,其中patch_size表示图像块尺寸,window_size表示搜索框尺寸,currentScaleFactor表示尺度因子(尺度因子初始值为1),然后将图像块都缩放到标准搜索框尺寸window_sz_small和window_sz_big,分别提取图像块特征,得到平移特征样本xf_small_for_train_1、xf_big_for_train_1,其尺寸分别为(20,20),(30,30),这里余弦窗相当于一个权重矩阵,赋予中心目标区域更大的权重,越靠近边缘权重越小,最终根据岭回归训练模型,利用特征样本和高斯型标签,依据公式计算得到平移滤波器模板α_small、α_big。
事先设置的N=33,根据第一帧给定的目标中心位置(47,55)和目标尺寸,创建33个尺度等级的尺度高斯标签ysf,在目标中心位置根据目标尺度因子(初始目标尺度因子为1),截取33个不同尺寸的图像块patch_for_scale_train_1_1、patch_for_scale_train_2_1、……、patch_for_scale_train_33_1,然后将图像块都缩放到标准搜索框尺寸(window_sz_small和window_sz_big),分别提取图像块特征(二维矩阵)并将二维特征转换为一维特征(将二维矩阵序列化)得到图像块特征样本xsf_for_train_1_1、xsf_for_train_2_1、……、xsf_for_train_33_1,将33个一维特征组成尺度特征样本xsf,最终利用尺度高斯标签和尺度特征样本,依据公式中的分子分母分别计算得到尺度滤波器模板A=sf_den和B=sf_num。
判断小模板平移滤波器响应峰值是否满足需求模块:令n=n+1,读取视频序列第n帧,在第n-1帧目标中心位置(xn-1,yn-1),按照搜索框尺寸window_sz_small和尺度因子currentScaleFactor截取图像块patch_small_for_det_n,提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_n,利用平移模板α_small计算得到响应输出矩阵response_small以及响应峰值max_response_small;判断响应峰值max_response_small是否大于事先设置的响应峰值阈值T,若是,则判定小模板平移滤波器响应峰值满足需求,令响应输出矩阵response=response_small,响应峰值max_response=max_response_small,进入预测目标中心在当前帧的位置模块,否则判定小模板平移滤波器响应峰值不满足需求,进入判断大模板平移滤波器响应峰值是否满足需求模块。
所述 表示逆傅里叶变换,表示傅里叶变换,kxz表示样本x和待检测样本z的核矩阵的生成矩阵。本实施例中,令n=n+1=2,读取视频序列第2帧,在第1帧目标中心位置(47,55),按照搜索框尺寸window_sz_small和当前目标尺度因子(currentScaleFactor=1)截取图像块patch_small_for_det_2,将图像块都缩放到标准搜索框尺寸(此处已经是标准搜索框尺寸,无需缩放),提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_2,其尺寸为(20,20),利用模板α_small,依据公式计算得到响应输出矩阵response_small以及响应峰值max_response_small=0.5,事先设置的响应峰值阈值T=0.6,max_response_small<T,判定小模板平移滤波器响应峰值不满足需求,进入判断大模板平移滤波器响应峰值是否满足需求模块。
判断大模板平移滤波器响应峰值是否满足需求模块:在第n-1帧目标中心位置(xn-1,yn-1),按照搜索框尺寸window_sz_big和尺度因子currentScaleFactor截取图像块patch_big_for_det_n,提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_n,利用平移模板α_big计算得到响应输出矩阵response_big以及响应峰值max_response_big;判断响应峰值max_response_big是否大于小模板的响应峰值max_response_small,若是,则判定采用大模板平移滤波器,令响应输出矩阵response=response_big,响应峰值max_response=max_response_big;否则判定采用小模板平移滤波器,令响应输出矩阵response=response_small,响应峰值max_response=max_response_small。
所述 表示逆傅里叶变换,表示傅里叶变换,kxz表示样本x和待检测样本z的核矩阵的生成矩阵。本实施例中,在第1帧目标中心位置(47,55),按照搜索框尺寸window_sz_big和当前目标尺度因子(currentScaleFactor=1)截取图像块patch_big_for_det_2,将图像块都缩放到标准搜索框尺寸(此处已经是标准搜索框尺寸,无需缩放),提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_2,其尺寸为(30,30),利用模板α_big,依据公式计算得到响应输出矩阵response_big以及响应峰值max_response_big=0.55,此时max_response_big>max_response_small,则判定采用大模板平移滤波器,令响应输出矩阵response=response_big,响应峰值max_response=max_response_big=0.55。
根据平移滤波器预测目标中心在当前帧的位置模块:根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置,预测目标中心在当前第n帧的位置(xn,yn)。本实施例中,根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置,预测目标中心在当前第2帧的位置(x2,y2)=(50,55)。
根据尺度滤波器更新尺度因子模块:在平移预测的目标中心位置(xn,yn),根据当前尺度因子currentScaleFactor截取N个不同尺寸的图像块,记为patch_for_scale_det_i_n;提取图像块特征得到尺度特征样本xsf_for_det_i_n,根据图像块尺度特征样本组成待检测尺度特征样本Z=zsf,利用尺度模板A和B计算得到相应输出矩阵response_scale以及响应峰值max_response_scale,令尺度因子currentScaleFactor=max_response_scale,返回确定平移滤波器和尺度滤波器模板模块。
所述其中,表示逆傅里叶变换,尺度滤波器模板A=sf_den和B=sf_num,X表示尺度特性样本xsf的傅里叶变换,d表示图像块的特征通道数量,λ′表示正则化参数。本实施例中,在平移预测的目标中心位置(50,55)上,根据当前尺度因子(currentScaleFactor=1),截取33个尺度等级的图像块patch_for_scale_det_1_2、patch_for_scale_det_2_2、……、patch_for_scale_det_33_2,然后将图像块都缩放到标准搜索框尺寸(window_sz_small和window_sz_big),分别提取图像块特征,得到图像块特征样本xsf_for_det_1_2、xsf_for_det_2_2、……、xsf_for_det_33_2并将二维特征转换为一维特征(将二维矩阵序列化),将33个一维特征组成待检测尺度特征样本Z=zsf,最终利用尺度滤波器模板A=sf_den和B=sf_num,依据公式计算得到相应输出矩阵response_scale以及响应峰值max_response_scale=1.2,令currentScaleFactor=max_response_scale=1.2,返回确定平移滤波器和尺度滤波器模板模块。
在确定平移滤波器和尺度滤波器模板模块中,在当前帧目标中心位置(50,55),根据搜索框大小和目标尺度因子(currentScaleFactor=1.2)截取图像块patch_small_for_train_2(24×24)、patch_big_for_train_2(36×36),然后将图像块都缩放到标准搜索框尺寸,分别提取图像块特征,然后添加余弦窗得到平移特征样本xf_small_for_train_2、xf_big_for_train_2,利用线性插值更新平移滤波器模板α_small、α_big。
在目标中心位置(50,55),根据搜索框大小和目标尺度因子(currentScaleFactor=1.2),截取33个图像块patch_for_scale_train_1_2、patch_for_scale_train_2_2、……、patch_for_scale_train_33_2,然后将图像块都缩放到标准搜索框尺寸,分别提取图像块特征,得到图像块特征样本xsf_for_train_1_2、xsf_for_train_2_2、……、xsf_for_train_N_2,利用线性插值更新尺度滤波器模板A和B。
更新平移滤波器和尺度滤波器后,读取视频序列下一帧,按照上述步骤执行,直到视频最后一帧。
本实施例的基于双模板尺度自适应相关滤波目标跟踪系统结构示意图,如图2所示。
当然,本技术领域中的普通技术人员应当认识到,以上实施例仅是用来说明本发明的,而并非作为对本发明的限定,只要在本发明的范围内,对以上实施例的变化、变型都将落入本发明的保护范围。
Claims (10)
1.一种基于双模板尺度自适应相关滤波目标跟踪方法,其特征在于包括以下步骤:
根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签:读取视频序列第1帧,根据目标尺寸(high,width)计算小模板和大模板的搜索框尺寸,分别表示为window_sz_small和window_sz_big,根据搜索框尺寸window_sz_small和window_sz_big确定平移高斯型标签yf_small、yf_big;
确定平移滤波器和尺度滤波器模板:在目标中心位置(xn,yn),根据搜索框大小和尺度因子currentScaleFactor截取图像块patch_small_for_train_n和patch_big_for_train_n,其中n表示帧数;分别提取图像块特征,添加余弦窗得到平移特征样本xf_small_for_train_n、xf_big_for_train_n,利用平移高斯型标签和平移特征样本得到两个不同尺寸的平移滤波器模板,用α_small、α_big表示;
创建N个尺度等级的尺度高斯标签ysf,其中N值事先设置,在目标中心位置(xn,yn),根据搜索框尺寸和尺度因子currentScaleFactor截取N个不同尺寸的图像块,记为patch_for_scale_train_i_n,其中i表示尺度等级,1≤i≤N;提取图像块特征得到尺度特征样本xsf_for_train_i_n,利用尺度高斯标签和尺度特征样本训练得到尺度滤波器模板A和B;
判断小模板平移滤波器响应峰值是否满足需求:令n=n+1,读取视频序列第n帧,在第n-1帧目标中心位置(xn-1,yn-1),按照搜索框尺寸window_sz_small和尺度因子currentScaleFactor截取图像块patch_small_for_det_n,提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_n,利用平移模板α_small计算得到响应输出矩阵response_small以及响应峰值max_response_small;判断响应峰值max_response_small是否大于事先设置的响应峰值阈值T,若是,则判定小模板平移滤波器响应峰值满足需求,令响应输出矩阵response=response_small,响应峰值max_response=max_response_small,进入步骤:预测目标中心在当前帧的位置,否则判定小模板平移滤波器响应峰值不满足需求,进入步骤:判断大模板平移滤波器响应峰值是否满足需求;
判断大模板平移滤波器响应峰值是否满足需求:在第n-1帧目标中心位置(xn-1,yn-1),按照搜索框尺寸window_sz_big和尺度因子currentScaleFactor截取图像块patch_big_for_det_n,提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_n,利用平移模板α_big计算得到响应输出矩阵response_big以及响应峰值max_response_big;判断响应峰值max_response_big是否大于小模板的响应峰值max_response_small,若是,则判定采用大模板平移滤波器,令响应输出矩阵response=response_big,响应峰值max_response=max_response_big;否则判定采用小模板平移滤波器,令响应输出矩阵response=response_small,响应峰值max_response=max_response_small;
根据平移滤波器预测目标中心在当前帧的位置:根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置,预测目标中心在当前第n帧的位置(xn,yn);
根据尺度滤波器更新尺度因子:在平移预测的目标中心位置(xn,yn),根据当前尺度因子currentScaleFactor截取N个不同尺寸的图像块,记为patch_for_scale_det_i_n;提取图像块特征得到尺度特征样本xsf_for_det_i_n,根据图像块尺度特征样本组成待检测尺度特征样本Z=zsf,利用尺度模板A和B计算得到相应输出矩阵response_scale以及响应峰值max_response_scale,令尺度因子currentScaleFactor=max_response_scale,返回步骤:确定平移滤波器和尺度滤波器模板。
2.根据权利要求1所述的基于双模板尺度自适应相关滤波目标跟踪方法,其特征在于,所述小模板和大模板的搜索框尺寸window_sz_small=(a1×high,a1×width),window_sz_big=(a2×high,a2×width),其中a1和a2是事先设置的搜索框参数且a1<a2;所述根据搜索框大小和尺度因子currentScaleFactor截取的图像块大小为patch_sz=window_sz×currentScaleFactor。
3.根据权利要求1所述的基于双模板尺度自适应相关滤波目标跟踪方法,其特征在于,所述平移滤波器模板其中,α表示α_small或α_big,表示逆傅里叶变换,(·)*表示共轭,表示高斯型标签的傅里叶变换,λ是正则化参数,是核矩阵K的生成样本的傅里叶变换,核矩阵K是一个循环矩阵,矩阵第一行为核矩阵的生成样本;所述利用尺度高斯标签和尺度特征样本训练尺度等级为N的尺度滤波器模板是指依据公式中的分子分母分别计算得到尺度滤波器模板A=sf_den和B=sf_num,其中,表示共轭,G表示尺度高斯标签的傅里叶变换,X表示尺度特性样本xsf的傅里叶变换,d表示图像块的特征通道数量,Hl表示第l通道的尺度滤波器,λ′表示正则化参数。
4.根据权利要求1所述的基于双模板尺度自适应相关滤波目标跟踪方法,其特征在于,所述 表示逆傅里叶变换,表示傅里叶变换,⊙表示矩阵元素点乘运算符,kxz表示样本x和待检测样本z的核矩阵的生成矩阵;所述 表示逆傅里叶变换,表示傅里叶变换,kxz表示样本x和待检测样本z的核矩阵的生成矩阵。
5.根据权利要求1所述的基于双模板尺度自适应相关滤波目标跟踪方法,其特征在于,所述其中,表示逆傅里叶变换,尺度滤波器模板A=sf_den和B=sf_num,Z表示尺度特征样本矩阵,X表示尺度特性样本xsf的傅里叶变换,d表示图像块的特征通道数量,l表示通道编号,λ′表示正则化参数。
6.一种基于双模板尺度自适应相关滤波目标跟踪系统,其特征在于包括:
视频序列;
计算机;
以及
一个或多个程序,其中所述一个或多个程序被存储在计算机的存储器中,并且被配置成由所述计算机的处理器执行,所述程序包括:
根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签模块:读取视频序列第1帧,根据目标尺寸(high,width)计算小模板和大模板的搜索框尺寸,分别表示为window_sz_small和window_sz_big,根据搜索框尺寸window_sz_small和window_sz_big确定平移高斯型标签yf_small、yf_big;
确定平移滤波器和尺度滤波器模板模块:在目标中心位置(xn,yn),根据搜索框大小和尺度因子currentScaleFactor截取图像块patch_small_for_train_n和patch_big_for_train_n,其中n表示帧数;分别提取图像块特征,添加余弦窗得到平移特征样本xf_small_for_train_n、xf_big_for_train_n,利用平移高斯型标签和平移特征样本得到两个不同尺寸的平移滤波器模板,用α_small、α_big表示;
创建N个尺度等级的尺度高斯标签ysf,其中N值事先设置,在目标中心位置(xn,yn),根据搜索框尺寸和尺度因子currentScaleFactor截取N个不同尺寸的图像块,记为patch_for_scale_train_i_n,其中i表示尺度等级,1≤i≤N;提取图像块特征得到尺度特征样本xsf_for_train_i_n,利用尺度高斯标签和尺度特征样本训练得到尺度滤波器模板A和B;
判断小模板平移滤波器响应峰值是否满足需求模块:令n=n+1,读取视频序列第n帧,在第n-1帧目标中心位置(xn-1,yn-1),按照搜索框尺寸window_sz_small和尺度因子currentScaleFactor截取图像块patch_small_for_det_n,提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_n,利用平移模板α_small计算得到响应输出矩阵response_small以及响应峰值max_response_small;判断响应峰值max_response_small是否大于事先设置的响应峰值阈值T,若是,则判定小模板平移滤波器响应峰值满足需求,令响应输出矩阵response=response_small,响应峰值max_response=max_response_small,进入预测目标中心在当前帧的位置模块,否则判定小模板平移滤波器响应峰值不满足需求,进入判断大模板平移滤波器响应峰值是否满足需求模块;
判断大模板平移滤波器响应峰值是否满足需求模块:在第n-1帧目标中心位置(xn-1,yn-1),按照搜索框尺寸window_sz_big和尺度因子currentScaleFactor截取图像块patch_big_for_det_n,提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_n,利用平移模板α_big计算得到响应输出矩阵response_big以及响应峰值max_response_big;判断响应峰值max_response_big是否大于小模板的响应峰值max_response_small,若是,则判定采用大模板平移滤波器,令响应输出矩阵response=response_big,响应峰值max_response=max_response_big;否则判定采用小模板平移滤波器,令响应输出矩阵response=response_small,响应峰值max_response=max_response_small;
根据平移滤波器预测目标中心在当前帧的位置模块:根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置,预测目标中心在当前第n帧的位置(xn,yn);
根据尺度滤波器更新尺度因子模块:在平移预测的目标中心位置(xn,yn),根据当前尺度因子currentScaleFactor截取N个不同尺寸的图像块,记为patch_for_scale_det_i_n;提取图像块特征得到尺度特征样本xsf_for_det_i_n,根据图像块尺度特征样本组成待检测尺度特征样本Z=zsf,利用尺度模板A和B计算得到相应输出矩阵response_scale以及响应峰值max_response_scale,令尺度因子currentScaleFactor=max_response_scale,返回确定平移滤波器和尺度滤波器模板模块。
7.根据权利要求6所述的基于双模板尺度自适应相关滤波目标跟踪,其特征在于,所述小模板和大模板的搜索框尺寸window_sz_small=(a1×high,a1×width),window_sz_big=(a2×high,a2×width),其中a1和a2是事先设置的搜索框参数且a1<a2;所述根据搜索框大小和尺度因子currentScaleFactor截取的图像块大小为patch_sz=window_sz×currentScaleFactor。
8.根据权利要求6所述的基于双模板尺度自适应相关滤波目标跟踪,其特征在于,所述平移滤波器模板其中,α表示α_small或α_big,表示逆傅里叶变换,(·)*表示共轭,表示高斯型标签的傅里叶变换,λ是正则化参数,是核矩阵K的生成样本的傅里叶变换,核矩阵K是一个循环矩阵,矩阵第一行为核矩阵的生成样本;所述利用尺度高斯标签和尺度特征样本训练尺度等级为N的尺度滤波器模板是指依据公式中的分子分母分别计算得到尺度滤波器模板A=sf_den和B=sf_num,其中,表示共轭,G表示尺度高斯标签的傅里叶变换,X表示尺度特性样本xsf的傅里叶变换,d表示图像块的特征通道数量,Hl表示第l通道的尺度滤波器,λ′表示正则化参数。
9.根据权利要求6所述的基于双模板尺度自适应相关滤波目标跟踪,其特征在于,所述 表示逆傅里叶变换,表示傅里叶变换,⊙表示矩阵元素点乘运算符,kxz表示样本x和待检测样本z的核矩阵的生成矩阵;所述 表示逆傅里叶变换,表示傅里叶变换,kxz表示样本x和待检测样本z的核矩阵的生成矩阵。
10.根据权利要求6所述的基于双模板尺度自适应相关滤波目标跟踪,其特征在于,所述其中,表示逆傅里叶变换,尺度滤波器模板A=sf_den和B=sf_num,Z表示尺度特征样本矩阵,X表示尺度特性样本xsf的傅里叶变换,d表示图像块的特征通道数量,l表示通道编号,λ′表示正则化参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910270388.XA CN109978923B (zh) | 2019-04-04 | 2019-04-04 | 一种基于双模板尺度自适应相关滤波目标跟踪方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910270388.XA CN109978923B (zh) | 2019-04-04 | 2019-04-04 | 一种基于双模板尺度自适应相关滤波目标跟踪方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109978923A true CN109978923A (zh) | 2019-07-05 |
CN109978923B CN109978923B (zh) | 2020-12-08 |
Family
ID=67082958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910270388.XA Active CN109978923B (zh) | 2019-04-04 | 2019-04-04 | 一种基于双模板尺度自适应相关滤波目标跟踪方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109978923B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110766723A (zh) * | 2019-10-22 | 2020-02-07 | 湖南大学 | 一种基于颜色直方图相似性的无人机目标跟踪方法及系统 |
CN110910425A (zh) * | 2019-11-20 | 2020-03-24 | 上海无线电设备研究所 | 一种针对抵近飞行过程的目标跟踪方法 |
CN111723593A (zh) * | 2020-06-19 | 2020-09-29 | 中国科学院微电子研究所 | 一种条形码定位方法及定位装置 |
CN116563348A (zh) * | 2023-07-06 | 2023-08-08 | 中国科学院国家空间科学中心 | 基于双特征模板的红外弱小目标多模态跟踪方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101281648A (zh) * | 2008-04-29 | 2008-10-08 | 上海交通大学 | 低复杂度的尺度自适应视频目标跟踪方法 |
CN106097393A (zh) * | 2016-06-17 | 2016-11-09 | 浙江工业大学 | 一种基于多尺度与自适应更新的目标跟踪方法 |
CN106570893A (zh) * | 2016-11-02 | 2017-04-19 | 中国人民解放军国防科学技术大学 | 一种基于相关滤波的快速稳健视觉跟踪方法 |
US9721341B2 (en) * | 2008-01-02 | 2017-08-01 | Bio-Tree Systems, Inc. | Methods of obtaining geometry from images |
CN107644217A (zh) * | 2017-09-29 | 2018-01-30 | 中国科学技术大学 | 基于卷积神经网络和相关滤波器的目标跟踪方法 |
CN107657630A (zh) * | 2017-07-21 | 2018-02-02 | 南京邮电大学 | 一种基于kcf的改进型抗遮挡目标跟踪方法 |
CN108198209A (zh) * | 2017-12-22 | 2018-06-22 | 天津理工大学 | 在发生遮挡和尺度变化情况下行人跟踪算法 |
CN109087333A (zh) * | 2018-06-14 | 2018-12-25 | 中国科学院福建物质结构研究所 | 基于相关性滤波跟踪算法的目标尺度估计方法及其装置 |
-
2019
- 2019-04-04 CN CN201910270388.XA patent/CN109978923B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9721341B2 (en) * | 2008-01-02 | 2017-08-01 | Bio-Tree Systems, Inc. | Methods of obtaining geometry from images |
CN101281648A (zh) * | 2008-04-29 | 2008-10-08 | 上海交通大学 | 低复杂度的尺度自适应视频目标跟踪方法 |
CN106097393A (zh) * | 2016-06-17 | 2016-11-09 | 浙江工业大学 | 一种基于多尺度与自适应更新的目标跟踪方法 |
CN106570893A (zh) * | 2016-11-02 | 2017-04-19 | 中国人民解放军国防科学技术大学 | 一种基于相关滤波的快速稳健视觉跟踪方法 |
CN107657630A (zh) * | 2017-07-21 | 2018-02-02 | 南京邮电大学 | 一种基于kcf的改进型抗遮挡目标跟踪方法 |
CN107644217A (zh) * | 2017-09-29 | 2018-01-30 | 中国科学技术大学 | 基于卷积神经网络和相关滤波器的目标跟踪方法 |
CN108198209A (zh) * | 2017-12-22 | 2018-06-22 | 天津理工大学 | 在发生遮挡和尺度变化情况下行人跟踪算法 |
CN109087333A (zh) * | 2018-06-14 | 2018-12-25 | 中国科学院福建物质结构研究所 | 基于相关性滤波跟踪算法的目标尺度估计方法及其装置 |
Non-Patent Citations (6)
Title |
---|
HENRIQUES J F ET AL: "Exploiting the Circulant Structure of Tracking-by-Detection with Kernels", 《LECTURE NOTES IN COMPUTER SCIENCE》 * |
MARTIN DANELLJAN ET AL: "Accurate Scale Estimation for Robust Visual Tracking", 《BRITISH MACHINE VISION CONFERENCE》 * |
夏翔等: "结合尺度预测的核相关滤波器目标跟踪方法", 《电子设计工程》 * |
望少建: "基于相关滤波的视觉目标跟踪", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
李凯等: "基于多特征融合的变尺度目标跟踪方法", 《西安邮电大学学报》 * |
谢晓佳: "基于相关滤波的目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110766723A (zh) * | 2019-10-22 | 2020-02-07 | 湖南大学 | 一种基于颜色直方图相似性的无人机目标跟踪方法及系统 |
CN110766723B (zh) * | 2019-10-22 | 2020-11-24 | 湖南大学 | 一种基于颜色直方图相似性的无人机目标跟踪方法及系统 |
CN110910425A (zh) * | 2019-11-20 | 2020-03-24 | 上海无线电设备研究所 | 一种针对抵近飞行过程的目标跟踪方法 |
CN111723593A (zh) * | 2020-06-19 | 2020-09-29 | 中国科学院微电子研究所 | 一种条形码定位方法及定位装置 |
CN111723593B (zh) * | 2020-06-19 | 2024-05-10 | 中国科学院微电子研究所 | 一种条形码定位方法及定位装置 |
CN116563348A (zh) * | 2023-07-06 | 2023-08-08 | 中国科学院国家空间科学中心 | 基于双特征模板的红外弱小目标多模态跟踪方法及系统 |
CN116563348B (zh) * | 2023-07-06 | 2023-11-14 | 中国科学院国家空间科学中心 | 基于双特征模板的红外弱小目标多模态跟踪方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109978923B (zh) | 2020-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109978923A (zh) | 一种基于双模板尺度自适应相关滤波目标跟踪方法及系统 | |
CN110120065B (zh) | 一种基于分层卷积特征和尺度自适应核相关滤波的目标跟踪方法及系统 | |
CN110555433B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN112836639A (zh) | 基于改进YOLOv3模型的行人多目标跟踪视频识别方法 | |
CN110084836A (zh) | 基于深度卷积特征分层响应融合的目标跟踪方法 | |
CN110111345A (zh) | 一种基于注意力网络的3d点云分割方法 | |
CN104680144A (zh) | 基于投影极速学习机的唇语识别方法和装置 | |
CN111915644B (zh) | 孪生导向锚框rpn网络的实时目标跟踪方法 | |
CN109087337B (zh) | 基于分层卷积特征的长时间目标跟踪方法及系统 | |
CN110097018A (zh) | 变电站仪表检测方法、装置、计算机设备和存储介质 | |
Yao et al. | Traffic sign detection algorithm based on improved YOLOv4-Tiny | |
CN110472577A (zh) | 一种基于自适应相关滤波的长时视频跟踪方法 | |
CN110738223A (zh) | 一种激光雷达的点云数据聚类方法及装置 | |
CN109584267A (zh) | 一种结合背景信息的尺度自适应相关滤波跟踪方法 | |
CN110472607A (zh) | 一种船舶跟踪方法及系统 | |
CN107566826B (zh) | 栅格图像处理器的测试方法及装置 | |
CN110298868B (zh) | 一种高实时性的多尺度目标跟踪方法 | |
CN109993777A (zh) | 一种基于双模板自适应阈值的目标跟踪方法及系统 | |
CN111815677A (zh) | 目标追踪方法、装置、终端设备和可读存储介质 | |
CN110097579A (zh) | 基于路面纹理上下文信息的多尺度车辆跟踪方法及装置 | |
CN115953744A (zh) | 一种基于深度学习的车辆识别追踪方法 | |
CN112614158B (zh) | 一种采样框自适应的多特征融合在线目标跟踪方法 | |
CN114782983A (zh) | 基于改进特征金字塔和边界损失的道路场景行人检测方法 | |
CN109993776B (zh) | 一种基于多级模板的相关滤波目标跟踪方法及系统 | |
CN110751153B (zh) | 一种室内场景rgb-d图像的语义标注方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |