CN109993777A - 一种基于双模板自适应阈值的目标跟踪方法及系统 - Google Patents

一种基于双模板自适应阈值的目标跟踪方法及系统 Download PDF

Info

Publication number
CN109993777A
CN109993777A CN201910270373.3A CN201910270373A CN109993777A CN 109993777 A CN109993777 A CN 109993777A CN 201910270373 A CN201910270373 A CN 201910270373A CN 109993777 A CN109993777 A CN 109993777A
Authority
CN
China
Prior art keywords
response
small
big
template
translation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910270373.3A
Other languages
English (en)
Other versions
CN109993777B (zh
Inventor
姚英彪
钟鲁超
严军荣
姜显扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Hangzhou Electronic Science and Technology University
Original Assignee
Hangzhou Electronic Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Electronic Science and Technology University filed Critical Hangzhou Electronic Science and Technology University
Priority to CN201910270373.3A priority Critical patent/CN109993777B/zh
Publication of CN109993777A publication Critical patent/CN109993777A/zh
Application granted granted Critical
Publication of CN109993777B publication Critical patent/CN109993777B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开了一种基于双模板自适应阈值的目标跟踪方法及系统。其方法包括根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签、确定平移滤波器模板、判断小模板平移滤波器响应峰值是否满足需求、判断大模板平移滤波器响应峰值是否满足需求、根据平移滤波器预测目标中心在当前帧的位置、更新自适应输出响应阈值。本发明的方法及系统解决了当双模板跟踪器出现漂移以及无法适应视频序列时，不能正常切换的技术问题。

Description

一种基于双模板自适应阈值的目标跟踪方法及系统
技术领域
本发明属于计算视觉目标跟踪领域，特别涉及一种基于双模板自适应阈值的目标跟踪方法及系统。
背景技术
视觉跟踪是计算机视觉的一个重要分支，广泛运用在机器人、监督系统等方面。执行视觉跟踪任务时，通常是根据视频序列第一帧目标的位置与尺寸预测后续目标的状态，由于可能出现部分遮挡、快速运动、运动模糊、背景杂乱、照明变化等情况，导致跟踪出现漂移甚至丢失，因此需要采用跟踪算法。
跟踪算法通常分为生成式跟踪方法和判别式跟踪方法。生成式跟踪方法是对前景目标进行建模，利用前景模型搜索后续帧中最相似的区域作为预测位置。判别式跟踪方法是将跟踪问题看作二分类问题，利用前景信息和背景信息训练模板判定最佳预测位置。
其中，相关滤波跟踪方法是最常用的一种判别式跟踪方法，最早由Bolme提出MOSSE算法，在此基础上，Henriques先后提出CSK算法和KCF算法，在提高性能的同时保证了较高运行速度。但在遇到复杂的运动情况时，例如，当目标运动速度过快时，目标可能出现在搜索框边缘或搜索框外部，导致跟踪框漂移甚至丢失目标；当目标的尺度发生变化时，跟踪框无法适应目标的尺度变化，导致跟踪框中包含大量背景信息或仅包含目标的局部信息；当目标的形状发生变化时，此前提取的特征无法准确的描述目标，导致跟踪算法的判别能力严重下降。
另外，现有算法中的经验参数值固定不变，使得跟踪方法不能适应所有的视频序列，需要一种能够解决当双模板跟踪器无法适应视频序列时及时更新双模板切换阈值的技术方案，为此，提出一种双模板尺度自适应相关滤波实时跟踪方法及系统。
发明内容
本发明所要解决的技术问题是当双模板跟踪器出现漂移以及无法适应视频序列时，不能正常切换的问题，提出一种基于双模板自适应阈值的目标跟踪方法及系统。
事先建立用于表示图像像素位置的x-y坐标系，目标中心位置用(xn,yn)表示，其中n表示帧数。视频序列第一帧的目标中心位置(x1,y1)事先设置，目标尺寸(high,width)事先设置，用变量t表示自适应的输出响应阈值，设置自适应输出响应阈值t的上限为T，自适应输出响应阈值t的初始值为T0。
本发明的基于双模板自适应阈值的目标跟踪方法，包括以下步骤：
根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签：读取视频序列第1帧，根据目标尺寸(high,width)计算小模板和大模板的搜索框尺寸，分别表示为window_sz_small和window_sz_big，根据搜索框尺寸window_sz_small和window_sz_big确定平移高斯型标签yf_small、yf_big。
所述小模板和大模板的搜索框尺寸window_sz_small＝(a1×high,a1×width)，window_sz_big＝(a2×high,a2×width)，其中a1和a2是事先设置的搜索框参数且a1<a2。
确定平移滤波器模板：在目标中心位置(xn,yn)，根据搜索框大小截取图像块patch_small_for_train_n和patch_big_for_train_n，其中n表示帧数；分别提取图像块特征，添加余弦窗得到平移特征样本xf_small_for_train_n、xf_big_for_train_n，利用平移高斯型标签和平移特征样本得到两个不同尺寸的平移滤波器模板，用α_small、α_big表示；
所述平移滤波器模板其中，α表示α_small或α_big，表示逆傅里叶变换，(·)*表示共轭，表示高斯型标签的傅里叶变换，λ是正则化参数，是核矩阵K的生成样本的傅里叶变换，核矩阵K是一个循环矩阵，矩阵第一行为核矩阵的生成样本。
判断小模板平移滤波器响应峰值是否满足需求：令n＝n+1，读取视频序列第n帧，在第n-1帧目标中心位置(xn-1,yn-1)，按照搜索框尺寸window_sz_small截取图像块patch_small_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_n，利用平移模板α_small计算得到响应输出矩阵response_small以及响应峰值max_response_small；判断响应峰值max_response_small是否大于自适应输出响应阈值t，若是，则判定小模板平移滤波器响应峰值满足需求，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small，进入步骤：预测目标中心在当前帧的位置，否则判定小模板平移滤波器响应峰值不满足需求，进入步骤：判断大模板平移滤波器响应峰值是否满足需求。
所述 表示逆傅里叶变换，表示傅里叶变换，⊙表示矩阵元素点乘运算符，kxz表示样本x和待检测样本z的核矩阵的生成矩阵。
判断大模板平移滤波器响应峰值是否满足需求：在第n-1帧目标中心位置(xn-1,yn-1)，按照搜索框尺寸window_sz_big截取图像块patch_big_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_n，利用平移模板α_big计算得到响应输出矩阵response_big以及响应峰值max_response_big；判断响应峰值max_response_big是否大于小模板的响应峰值max_response_small，若是，则判定采用大模板平移滤波器，令响应输出矩阵response＝response_big，响应峰值max_response＝max_response_big；否则判定采用小模板平移滤波器，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small。
所述 表示逆傅里叶变换，表示傅里叶变换，⊙表示矩阵元素点乘运算符，kxz表示样本x和待检测样本z的核矩阵的生成矩阵。
根据平移滤波器预测目标中心在当前帧的位置：根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置，预测目标中心在当前第n帧的位置(xn,yn)。
更新自适应输出响应阈值：根据响应峰值max_response计算和更新自适应输出响应阈值t，返回步骤：确定平移滤波器模板。
所述自适应输出响应阈值t＝(1-γ)·t+γ·max_response，其中γ是事先设置的输出响应阈值计算比例系数。
本发明的基于双模板自适应阈值的目标跟踪系统，包括：
视频序列；
计算机；
以及
一个或多个程序，其中所述一个或多个程序被存储在计算机的存储器中，并且被配置成由所述计算机的处理器执行，所述程序包括：
根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签模块：读取视频序列第1帧，根据目标尺寸(high,width)计算小模板和大模板的搜索框尺寸，分别表示为window_sz_small和window_sz_big，根据搜索框尺寸window_sz_small和window_sz_big确定平移高斯型标签yf_small、yf_big。
所述小模板和大模板的搜索框尺寸window_sz_small＝(a1×high,a1×width)，window_sz_big＝(a2×high,a2×width)，其中a1和a2是事先设置的搜索框参数且a1<a2。
确定平移滤波器模板模块：在目标中心位置(xn,yn)，根据搜索框大小截取图像块patch_small_for_train_n和patch_big_for_train_n，其中n表示帧数；分别提取图像块特征，添加余弦窗得到平移特征样本xf_small_for_train_n、xf_big_for_train_n，利用平移高斯型标签和平移特征样本得到两个不同尺寸的平移滤波器模板，用α_small、α_big表示；
所述平移滤波器模板其中，α表示α_small或α_big，表示逆傅里叶变换，(·)*表示共轭，表示高斯型标签的傅里叶变换，λ是正则化参数，是核矩阵K的生成样本的傅里叶变换，核矩阵K是一个循环矩阵，矩阵第一行为核矩阵的生成样本。
判断小模板平移滤波器响应峰值是否满足需求模块：令n＝n+1，读取视频序列第n帧，在第n-1帧目标中心位置(xn-1,yn-1)，按照搜索框尺寸window_sz_small截取图像块patch_small_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_n，利用平移模板α_small计算得到响应输出矩阵response_small以及响应峰值max_response_small；判断响应峰值max_response_small是否大于自适应输出响应阈值t，若是，则判定小模板平移滤波器响应峰值满足需求，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small，进入预测目标中心在当前帧的位置模块，否则判定小模板平移滤波器响应峰值不满足需求，进入判断大模板平移滤波器响应峰值是否满足需求模块。
所述 表示逆傅里叶变换，表示傅里叶变换，⊙表示矩阵元素点乘运算符，kxz表示样本x和待检测样本z的核矩阵的生成矩阵。
判断大模板平移滤波器响应峰值是否满足需求模块：在第n-1帧目标中心位置(xn-1,yn-1)，按照搜索框尺寸window_sz_big截取图像块patch_big_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_n，利用平移模板α_big计算得到响应输出矩阵response_big以及响应峰值max_response_big；判断响应峰值max_response_big是否大于小模板的响应峰值max_response_small，若是，则判定采用大模板平移滤波器，令响应输出矩阵response＝response_big，响应峰值max_response＝max_response_big；否则判定采用小模板平移滤波器，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small。
所述 表示逆傅里叶变换，表示傅里叶变换，⊙表示矩阵元素点乘运算符，kxz表示样本x和待检测样本z的核矩阵的生成矩阵。
根据平移滤波器预测目标中心在当前帧的位置模块：根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置，预测目标中心在当前第n帧的位置(xn,yn)。
更新自适应输出响应阈值模块：根据响应峰值max_response计算和更新自适应输出响应阈值t，返回确定平移滤波器模板模块。
所述自适应输出响应阈值t＝(1-γ)·t+γ·max_response，其中γ是事先设置的输出响应阈值计算比例系数。
本发明具有的优点是：
(1)当搜索范围较小且目标运动速度较快时，小尺寸滤波器切换为大尺寸滤波器，扩大搜索范围，为快速准确预测目标位置提供依据；
(2)当面对杂乱背景的情况时，大尺寸滤波器切换为小尺寸滤波器，缩小搜索范围，减轻背景对响应输出的影响，为快速准确预测目标位置提供依据；
(3)根据视频序列每帧中的响应峰值计算和更新自适应响应阈值，使得自适应响应阈值在针对不同视频序列时能够有效地切换双模板滤波器。
附图说明
图1是本发明实施例的基于双模板自适应阈值的目标跟踪方法流程图；
图2是本发明实施例的基于双模板自适应阈值的目标跟踪系统结构示意图。
具体实施方式
下面对本发明优选实施例作详细说明。
事先建立用于表示图像像素位置的x-y坐标系，目标中心位置用(xn,yn)表示，其中n表示帧数。视频序列第一帧的目标中心位置(x1,y1)事先设置，目标尺寸(high,width)事先设置，用变量t表示自适应的输出响应阈值，设置自适应输出响应阈值t的上限为T，自适应输出响应阈值t的初始值为T0。本实施例中，图像像素位置坐标系中，图像左上角像素点的位置为(1,1)，第一帧图像中给出目标中心位置(x1,y1)＝(47,55)，目标尺寸为10像素×10像素，即high＝10，width＝10，设置自适应输出响应阈值t的上限为T＝0.8，自适应输出响应阈值t的初始值为T0＝0.6。
本发明的基于双模板自适应阈值的目标跟踪方法，包括以下步骤：
根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签：读取视频序列第1帧，根据目标尺寸(high,width)计算小模板和大模板的搜索框尺寸，分别表示为window_sz_small和window_sz_big，根据搜索框尺寸window_sz_small和window_sz_big确定平移高斯型标签yf_small、yf_big。
所述小模板和大模板的搜索框尺寸window_sz_small＝(a1×high,a1×width)，window_sz_big＝(a2×high,a2×width)，其中a1和a2是事先设置的搜索框参数且a1<a2。本实施例中，事先设置的搜索框参数a1＝2，a2＝3，则计算小模板和大模板的搜索框尺寸分别为window_sz_small＝(a1×high,a1×width)＝(20,20)和window_sz_big＝(a2×high,a2×width)＝(30,30)，高斯标签yf_small尺寸为(20,20)，高斯标签yf_big尺寸为(30×30)，标签中心取最大值为1，周围数值逐渐减小，边缘为0，数值成高斯分布。
确定平移滤波器模板：在目标中心位置(xn,yn)，根据搜索框大小截取图像块patch_small_for_train_n和patch_big_for_train_n，其中n表示帧数；分别提取图像块特征，添加余弦窗得到平移特征样本xf_small_for_train_n、xf_big_for_train_n，利用平移高斯型标签和平移特征样本得到两个不同尺寸的平移滤波器模板，用α_small、α_big表示；
所述平移滤波器模板其中，α表示α_small或α_big，表示逆傅里叶变换，(·)*表示共轭，表示高斯型标签的傅里叶变换，λ是正则化参数，是核矩阵K的生成样本的傅里叶变换，核矩阵K是一个循环矩阵，矩阵第一行为核矩阵的生成样本。本实施例中，在目标中心位置(47,55)，搜索框大小截取图像块patch_small_for_train_1、patch_big_for_train_1，分别提取图像块特征，得到平移特征样本xf_small_for_train_1、xf_big_for_train_1，其尺寸分别为(20,20)，(30,30)，这里余弦窗相当于一个权重矩阵，赋予中心目标区域更大的权重，越靠近边缘权重越小，最终根据岭回归训练模型，利用特征样本和高斯型标签，依据公式计算得到平移滤波器模板α_small、α_big。
判断小模板平移滤波器响应峰值是否满足需求：令n＝n+1，读取视频序列第n帧，在第n-1帧目标中心位置(xn-1,yn-1)，按照搜索框尺寸window_sz_small截取图像块patch_small_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_n，利用平移模板α_small计算得到响应输出矩阵response_small以及响应峰值max_response_small；判断响应峰值max_response_small是否大于事先设置的响应峰值阈值T，若是，则判定小模板平移滤波器响应峰值满足需求，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small，进入步骤：预测目标中心在当前帧的位置，否则判定小模板平移滤波器响应峰值不满足需求，进入步骤：判断大模板平移滤波器响应峰值是否满足需求。
所述 表示逆傅里叶变换，表示傅里叶变换，⊙表示矩阵元素点乘运算符，kxz表示样本x和待检测样本z的核矩阵的生成矩阵。本实施例中，令n＝n+1＝2，读取视频序列第2帧，在第1帧目标中心位置(47,55)，按照搜索框尺寸window_sz_small截取图像块patch_small_for_det_2，提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_2，其尺寸为(20，20)，利用模板α_small，依据公式计算得到响应输出矩阵response_small以及响应峰值max_response_small＝0.5，此时自适应输出响应阈值t＝T0＝0.6，max_response_small<T，判定小模板平移滤波器响应峰值不满足需求，进入步骤：判断大模板平移滤波器响应峰值是否满足需求。
判断大模板平移滤波器响应峰值是否满足需求：在第n-1帧目标中心位置(xn-1,yn-1)，按照搜索框尺寸window_sz_big截取图像块patch_big_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_n，利用平移模板α_big计算得到响应输出矩阵response_big以及响应峰值max_response_big；判断响应峰值max_response_big是否大于小模板的响应峰值max_response_small，若是，则判定采用大模板平移滤波器，令响应输出矩阵response＝response_big，响应峰值max_response＝max_response_big；否则判定采用小模板平移滤波器，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small。
所述 表示逆傅里叶变换，表示傅里叶变换，⊙表示矩阵元素点乘运算符，kxz表示样本x和待检测样本z的核矩阵的生成矩阵。本实施例中，在第1帧目标中心位置(47,55)，按照搜索框尺寸window_sz_big截取图像块patch_big_for_det_2，提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_2，其尺寸为(30，30)，利用模板α_big，依据公式计算得到响应输出矩阵response_big以及响应峰值max_response_big＝0.55，此时max_response_big>max_response_small，则判定采用大模板平移滤波器，令响应输出矩阵response＝response_big，响应峰值max_response＝max_response_big＝0.55。
根据平移滤波器预测目标中心在当前帧的位置：根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置，预测目标中心在当前第n帧的位置(xn,yn)。本实施例中，根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置，预测目标中心在当前第2帧的位置(x2,y2)＝(50,55)。
更新自适应输出响应阈值：根据响应峰值max_response计算和更新自适应输出响应阈值t，返回步骤：确定平移滤波器模板。
所述自适应输出响应阈值t＝(1-γ)·t+γ·max_response，其中γ是事先设置的输出响应阈值计算比例系数。本实施例中，事先设置的输出响应阈值计算比例系数γ＝0.1，响应峰值max_response＝0.55，则计算自适应输出响应阈值t＝(1-γ)·t+γ·max_response＝0.9×0.6+0.1×0.55＝0.595，返回步骤：确定平移滤波器模板。
在步骤：确定平移滤波器模板中，在当前帧目标中心位置(50,55)，根据搜索框大小截取图像块patch_small_for_train_2(20×20)、patch_big_for_train_2(30×30)，然后将图像块都缩放到标准搜索框尺寸，分别提取图像块特征，然后添加余弦窗得到平移特征样本xf_small_for_train_2、xf_big_for_train_2，利用线性插值更新平移滤波器模板α_small、α_big。
更新平移滤波器和尺度滤波器后，读取视频序列下一帧，按照上述步骤执行，直到视频最后一帧。
本实施例的基于双模板自适应阈值的目标跟踪方法流程图，如图1所示。
本实施例的基于双模板自适应阈值的目标跟踪系统，包括：
视频序列；
计算机；
以及
一个或多个程序，其中所述一个或多个程序被存储在计算机的存储器中，并且被配置成由所述计算机的处理器执行，所述程序包括：
根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签模块：读取视频序列第1帧，根据目标尺寸(high,width)计算小模板和大模板的搜索框尺寸，分别表示为window_sz_small和window_sz_big，根据搜索框尺寸window_sz_small和window_sz_big确定平移高斯型标签yf_small、yf_big。
所述小模板和大模板的搜索框尺寸window_sz_small＝(a1×high,a1×width)，window_sz_big＝(a2×high,a2×width)，其中a1和a2是事先设置的搜索框参数且a1<a2。本实施例中，事先设置的搜索框参数a1＝2，a2＝3，则计算小模板和大模板的搜索框尺寸分别为window_sz_small＝(a1×high,a1×width)＝(20,20)和window_sz_big＝(a2×high,a2×width)＝(30,30)，高斯标签yf_small尺寸为(20,20)，高斯标签yf_big尺寸为(30×30)，标签中心取最大值为1，周围数值逐渐减小，边缘为0，数值成高斯分布。
确定平移滤波器模板模块：在目标中心位置(xn,yn)，根据搜索框大小截取图像块patch_small_for_train_n和patch_big_for_train_n，其中n表示帧数；分别提取图像块特征，添加余弦窗得到平移特征样本xf_small_for_train_n、xf_big_for_train_n，利用平移高斯型标签和平移特征样本得到两个不同尺寸的平移滤波器模板，用α_small、α_big表示；
所述平移滤波器模板其中，α表示α_small或α_big，表示逆傅里叶变换，(·)*表示共轭，表示高斯型标签的傅里叶变换，λ是正则化参数，是核矩阵K的生成样本的傅里叶变换，核矩阵K是一个循环矩阵，矩阵第一行为核矩阵的生成样本。本实施例中，在目标中心位置(47,55)，搜索框大小截取图像块patch_small_for_train_1、patch_big_for_train_1，分别提取图像块特征，得到平移特征样本xf_small_for_train_1、xf_big_for_train_1，其尺寸分别为(20,20)，(30,30)，这里余弦窗相当于一个权重矩阵，赋予中心目标区域更大的权重，越靠近边缘权重越小，最终根据岭回归训练模型，利用特征样本和高斯型标签，依据公式计算得到平移滤波器模板α_small、α_big。
判断小模板平移滤波器响应峰值是否满足需求模块：令n＝n+1，读取视频序列第n帧，在第n-1帧目标中心位置(xn-1,yn-1)，按照搜索框尺寸window_sz_small截取图像块patch_small_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_n，利用平移模板α_small计算得到响应输出矩阵response_small以及响应峰值max_response_small；判断响应峰值max_response_small是否大于事先设置的响应峰值阈值T，若是，则判定小模板平移滤波器响应峰值满足需求，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small，进入预测目标中心在当前帧的位置模块，否则判定小模板平移滤波器响应峰值不满足需求，进入判断大模板平移滤波器响应峰值是否满足需求模块。
所述 表示逆傅里叶变换，表示傅里叶变换，⊙表示矩阵元素点乘运算符，kxz表示样本x和待检测样本z的核矩阵的生成矩阵。本实施例中，令n＝n+1＝2，读取视频序列第2帧，在第1帧目标中心位置(47,55)，按照搜索框尺寸window_sz_small截取图像块patch_small_for_det_2，提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_2，其尺寸为(20，20)，利用模板α_small，依据公式计算得到响应输出矩阵response_small以及响应峰值max_response_small＝0.5，此时自适应输出响应阈值t＝T0＝0.6，max_response_small<T，判定小模板平移滤波器响应峰值不满足需求，进入判断大模板平移滤波器响应峰值是否满足需求模块。
判断大模板平移滤波器响应峰值是否满足需求模块：在第n-1帧目标中心位置(xn-1,yn-1)，按照搜索框尺寸window_sz_big截取图像块patch_big_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_n，利用平移模板α_big计算得到响应输出矩阵response_big以及响应峰值max_response_big；判断响应峰值max_response_big是否大于小模板的响应峰值max_response_small，若是，则判定采用大模板平移滤波器，令响应输出矩阵response＝response_big，响应峰值max_response＝max_response_big；否则判定采用小模板平移滤波器，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small。
所述 表示逆傅里叶变换，表示傅里叶变换，⊙表示矩阵元素点乘运算符，kxz表示样本x和待检测样本z的核矩阵的生成矩阵。本实施例中，在第1帧目标中心位置(47,55)，按照搜索框尺寸window_sz_big截取图像块patch_big_for_det_2，提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_2，其尺寸为(30，30)，利用模板α_big，依据公式计算得到响应输出矩阵response_big以及响应峰值max_response_big＝0.55，此时max_response_big>max_response_small，则判定采用大模板平移滤波器，令响应输出矩阵response＝response_big，响应峰值max_response＝max_response_big＝0.55。
根据平移滤波器预测目标中心在当前帧的位置模块：根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置，预测目标中心在当前第n帧的位置(xn,yn)。本实施例中，根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置，预测目标中心在当前第2帧的位置(x2,y2)＝(50,55)。
更新自适应输出响应阈值模块：根据响应峰值max_response计算和更新自适应输出响应阈值t，返回确定平移滤波器模板模块。
所述自适应输出响应阈值t＝(1-γ)·t+γ·max_response，其中γ是事先设置的输出响应阈值计算比例系数。本实施例中，事先设置的输出响应阈值计算比例系数γ＝0.1，响应峰值max_response＝0.55，则计算自适应输出响应阈值t＝(1-γ)·t+γ·max_response＝0.9×0.6+0.1×0.55＝0.595，返回确定平移滤波器模板模块。
在确定平移滤波器模板模块中，在当前帧目标中心位置(50,55)，根据搜索框大小截取图像块patch_small_for_train_2(20×20)、patch_big_for_train_2(30×30)，然后将图像块都缩放到标准搜索框尺寸，分别提取图像块特征，然后添加余弦窗得到平移特征样本xf_small_for_train_2、xf_big_for_train_2，利用线性插值更新平移滤波器模板α_small、α_big。
更新平移滤波器和尺度滤波器后，读取视频序列下一帧，按照上述步骤执行，直到视频最后一帧。
本实施例的基于双模板自适应阈值的目标跟踪系统结构示意图，如图2所示。
当然，本技术领域中的普通技术人员应当认识到，以上实施例仅是用来说明本发明的，而并非作为对本发明的限定，只要在本发明的范围内，对以上实施例的变化、变型都将落入本发明的保护范围。

Claims (10)

1.一种基于双模板自适应阈值的目标跟踪方法，其特征在于包括以下步骤：
根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签：读取视频序列第1帧，根据目标尺寸(high,width)计算小模板和大模板的搜索框尺寸，分别表示为window_sz_small和window_sz_big，根据搜索框尺寸window_sz_small和window_sz_big确定平移高斯型标签yf_small、yf_big；
确定平移滤波器模板：在目标中心位置(xn,yn)，根据搜索框大小截取图像块patch_small_for_train_n和patch_big_for_train_n，其中n表示帧数；分别提取图像块特征，添加余弦窗得到平移特征样本xf_small_for_train_n、xf_big_for_train_n，利用平移高斯型标签和平移特征样本得到两个不同尺寸的平移滤波器模板，用α_small、α_big表示；
判断小模板平移滤波器响应峰值是否满足需求：令n＝n+1，读取视频序列第n帧，在第n-1帧目标中心位置(xn-1,yn-1)，按照搜索框尺寸window_sz_small截取图像块patch_small_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_n，利用平移模板α_small计算得到响应输出矩阵response_small以及响应峰值max_response_small；判断响应峰值max_response_small是否大于事先设置的响应峰值阈值T，若是，则判定小模板平移滤波器响应峰值满足需求，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small，进入步骤：预测目标中心在当前帧的位置，否则判定小模板平移滤波器响应峰值不满足需求，进入步骤：判断大模板平移滤波器响应峰值是否满足需求；
判断大模板平移滤波器响应峰值是否满足需求：在第n-1帧目标中心位置(xn-1,yn-1)，按照搜索框尺寸window_sz_big截取图像块patch_big_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_n，利用平移模板α_big计算得到响应输出矩阵response_big以及响应峰值max_response_big；判断响应峰值max_response_big是否大于小模板的响应峰值max_response_small，若是，则判定采用大模板平移滤波器，令响应输出矩阵response＝response_big，响应峰值max_response＝max_response_big；否则判定采用小模板平移滤波器，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small；
根据平移滤波器预测目标中心在当前帧的位置：根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置，预测目标中心在当前第n帧的位置(xn,yn)；
更新自适应输出响应阈值：根据响应峰值max_response计算和更新自适应输出响应阈值t，返回步骤：确定平移滤波器模板。
2.根据权利要求1所述的基于双模板自适应阈值的目标跟踪方法，其特征在于，所述小模板和大模板的搜索框尺寸window_sz_small＝(a1×high,a1×width)，window_sz_big＝(a2×high,a2×width)，其中a1和a2是事先设置的搜索框参数且a1<a2。
3.根据权利要求1所述的基于双模板自适应阈值的目标跟踪方法，其特征在于，所述平移滤波器模板其中，α表示α_small或α_big，表示逆傅里叶变换，(·)*表示共轭，表示高斯型标签的傅里叶变换，λ是正则化参数，是核矩阵K的生成样本的傅里叶变换，核矩阵K是一个循环矩阵，矩阵第一行为核矩阵的生成样本。
4.根据权利要求1所述的基于双模板自适应阈值的目标跟踪方法，其特征在于，所述 表示逆傅里叶变换，表示傅里叶变换，⊙表示矩阵元素点乘运算符，kxz表示样本x和待检测样本z的核矩阵的生成矩阵；所述 表示逆傅里叶变换，表示傅里叶变换，kxz表示样本x和待检测样本z的核矩阵的生成矩阵。
5.根据权利要求1所述的基于双模板自适应阈值的目标跟踪方法，其特征在于，所述自适应输出响应阈值t＝(1-γ)·t+γ·max_response，其中γ是事先设置的输出响应阈值计算比例系数。
6.一种基于双模板自适应阈值的目标跟踪系统，其特征在于包括：
视频序列；
计算机；
以及
一个或多个程序，其中所述一个或多个程序被存储在计算机的存储器中，并且被配置成由所述计算机的处理器执行，所述程序包括：
根据初始帧目标尺寸确定搜索框尺寸及平移高斯型标签模块：读取视频序列第1帧，根据目标尺寸(high,width)计算小模板和大模板的搜索框尺寸，分别表示为window_sz_small和window_sz_big，根据搜索框尺寸window_sz_small和window_sz_big确定平移高斯型标签yf_small、yf_big；
确定平移滤波器模板模块：在目标中心位置(xn,yn)，根据搜索框大小截取图像块patch_small_for_train_n和patch_big_for_train_n，其中n表示帧数；分别提取图像块特征，添加余弦窗得到平移特征样本xf_small_for_train_n、xf_big_for_train_n，利用平移高斯型标签和平移特征样本得到两个不同尺寸的平移滤波器模板，用α_small、α_big表示；
判断小模板平移滤波器响应峰值是否满足需求模块：令n＝n+1，读取视频序列第n帧，在第n-1帧目标中心位置(xn-1,yn-1)，按照搜索框尺寸window_sz_small截取图像块patch_small_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_small_for_det_n，利用平移模板α_small计算得到响应输出矩阵response_small以及响应峰值max_response_small；判断响应峰值max_response_small是否大于事先设置的响应峰值阈值T，若是，则判定小模板平移滤波器响应峰值满足需求，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small，进入预测目标中心在当前帧的位置模块，否则判定小模板平移滤波器响应峰值不满足需求，进入判断大模板平移滤波器响应峰值是否满足需求模块；
判断大模板平移滤波器响应峰值是否满足需求模块：在第n-1帧目标中心位置(xn-1,yn-1)，按照搜索框尺寸window_sz_big截取图像块patch_big_for_det_n，提取图像特征并添加余弦窗得到待检测平移特征样本zf_big_for_det_n，利用平移模板α_big计算得到响应输出矩阵response_big以及响应峰值max_response_big；判断响应峰值max_response_big是否大于小模板的响应峰值max_response_small，若是，则判定采用大模板平移滤波器，令响应输出矩阵response＝response_big，响应峰值max_response＝max_response_big；否则判定采用小模板平移滤波器，令响应输出矩阵response＝response_small，响应峰值max_response＝max_response_small；
根据平移滤波器预测目标中心在当前帧的位置模块：根据平移滤波器的响应输出峰值max_response在响应输出矩阵response中的位置，预测目标中心在当前第n帧的位置(xn,yn)；
更新自适应输出响应阈值模块：根据响应峰值max_response计算和更新自适应输出响应阈值t，返回确定平移滤波器模板模块。
7.根据权利要求6所述的基于双模板自适应阈值的目标跟踪，其特征在于，所述小模板和大模板的搜索框尺寸window_sz_small＝(a1×high,a1×width)，window_sz_big＝(a2×high,a2×width)，其中a1和a2是事先设置的搜索框参数且a1<a2。
8.根据权利要求6所述的基于双模板自适应阈值的目标跟踪，其特征在于，所述平移滤波器模板其中，α表示α_small或α_big，表示逆傅里叶变换，(·)*表示共轭，表示高斯型标签的傅里叶变换，λ是正则化参数，是核矩阵K的生成样本的傅里叶变换，核矩阵K是一个循环矩阵，矩阵第一行为核矩阵的生成样本。
9.根据权利要求6所述的基于双模板自适应阈值的目标跟踪，其特征在于，所述 表示逆傅里叶变换，表示傅里叶变换，⊙表示矩阵元素点乘运算符，kxz表示样本x和待检测样本z的核矩阵的生成矩阵；所述 表示逆傅里叶变换，表示傅里叶变换，kxz表示样本x和待检测样本z的核矩阵的生成矩阵。
10.根据权利要求6所述的基于双模板自适应阈值的目标跟踪，其特征在于，所述自适应输出响应阈值t＝(1-γ)·t+γ·max_response，其中γ是事先设置的输出响应阈值计算比例系数。
CN201910270373.3A 2019-04-04 2019-04-04 一种基于双模板自适应阈值的目标跟踪方法及系统 Active CN109993777B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910270373.3A CN109993777B (zh) 2019-04-04 2019-04-04 一种基于双模板自适应阈值的目标跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910270373.3A CN109993777B (zh) 2019-04-04 2019-04-04 一种基于双模板自适应阈值的目标跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN109993777A true CN109993777A (zh) 2019-07-09
CN109993777B CN109993777B (zh) 2021-06-29

Family

ID=67132360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910270373.3A Active CN109993777B (zh) 2019-04-04 2019-04-04 一种基于双模板自适应阈值的目标跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN109993777B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490899A (zh) * 2019-07-11 2019-11-22 东南大学 一种结合目标跟踪的可变形施工机械的实时检测方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105513092A (zh) * 2015-11-26 2016-04-20 北京理工大学 一种用于目标跟踪的模板特征选择方法
US20160140397A1 (en) * 2012-01-17 2016-05-19 Avigilon Fortress Corporation System and method for video content analysis using depth sensing
CN107240122A (zh) * 2017-06-15 2017-10-10 国家新闻出版广电总局广播科学研究院 基于时空连续相关滤波的视频目标跟踪方法
CN107424178A (zh) * 2017-02-24 2017-12-01 西安电子科技大学 一种基于Cortex系列多核处理器的目标跟踪系统实现方法
CN107424177A (zh) * 2017-08-11 2017-12-01 哈尔滨工业大学（威海） 基于连续相关滤波器的定位修正长程跟踪算法
CN108550161A (zh) * 2018-03-20 2018-09-18 南京邮电大学 一种尺度自适应核相关滤波快速目标跟踪方法
CN109102521A (zh) * 2018-06-22 2018-12-28 南京信息工程大学 一种基于并行注意力相关滤波的视频目标跟踪方法
CN109146911A (zh) * 2018-07-23 2019-01-04 北京航空航天大学 一种目标跟踪的方法及装置
CN109299735A (zh) * 2018-09-14 2019-02-01 上海交通大学 基于相关滤波的抗遮挡目标跟踪方法
CN109308713A (zh) * 2018-08-02 2019-02-05 哈尔滨工程大学 一种基于前视声纳的改进核相关滤波水下目标跟踪方法
CN109461166A (zh) * 2018-10-26 2019-03-12 郑州轻工业学院 一种基于kcf混合mfo的快速运动目标跟踪方法
CN109544600A (zh) * 2018-11-23 2019-03-29 南京邮电大学 一种基于上下文相关和判别相关滤波器的目标跟踪方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160140397A1 (en) * 2012-01-17 2016-05-19 Avigilon Fortress Corporation System and method for video content analysis using depth sensing
CN105513092A (zh) * 2015-11-26 2016-04-20 北京理工大学 一种用于目标跟踪的模板特征选择方法
CN107424178A (zh) * 2017-02-24 2017-12-01 西安电子科技大学 一种基于Cortex系列多核处理器的目标跟踪系统实现方法
CN107240122A (zh) * 2017-06-15 2017-10-10 国家新闻出版广电总局广播科学研究院 基于时空连续相关滤波的视频目标跟踪方法
CN107424177A (zh) * 2017-08-11 2017-12-01 哈尔滨工业大学（威海） 基于连续相关滤波器的定位修正长程跟踪算法
CN108550161A (zh) * 2018-03-20 2018-09-18 南京邮电大学 一种尺度自适应核相关滤波快速目标跟踪方法
CN109102521A (zh) * 2018-06-22 2018-12-28 南京信息工程大学 一种基于并行注意力相关滤波的视频目标跟踪方法
CN109146911A (zh) * 2018-07-23 2019-01-04 北京航空航天大学 一种目标跟踪的方法及装置
CN109308713A (zh) * 2018-08-02 2019-02-05 哈尔滨工程大学 一种基于前视声纳的改进核相关滤波水下目标跟踪方法
CN109299735A (zh) * 2018-09-14 2019-02-01 上海交通大学 基于相关滤波的抗遮挡目标跟踪方法
CN109461166A (zh) * 2018-10-26 2019-03-12 郑州轻工业学院 一种基于kcf混合mfo的快速运动目标跟踪方法
CN109544600A (zh) * 2018-11-23 2019-03-29 南京邮电大学 一种基于上下文相关和判别相关滤波器的目标跟踪方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490899A (zh) * 2019-07-11 2019-11-22 东南大学 一种结合目标跟踪的可变形施工机械的实时检测方法

Also Published As

Publication number Publication date
CN109993777B (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
Yang et al. Learning dynamic memory networks for object tracking
CN108053419B (zh) 基于背景抑制和前景抗干扰的多尺度目标跟踪方法
CN109886994B (zh) 视频跟踪中自适应遮挡检测系统及方法
CN109978923A (zh) 一种基于双模板尺度自适应相关滤波目标跟踪方法及系统
CN110458095A (zh) 一种有效手势的识别方法、控制方法、装置和电子设备
CN112836639A (zh) 基于改进YOLOv3模型的行人多目标跟踪视频识别方法
CN108647694A (zh) 基于上下文感知和自适应响应的相关滤波目标跟踪方法
CN110866943B (zh) 用于水质监测的鱼类位置跟踪方法
CN113628244B (zh) 基于无标注视频训练的目标跟踪方法、系统、终端及介质
CN110120065A (zh) 一种基于分层卷积特征和尺度自适应核相关滤波的目标跟踪方法及系统
CN111191535B (zh) 基于深度学习的行人检测模型构建方法及行人检测方法
CN109087337B (zh) 基于分层卷积特征的长时间目标跟踪方法及系统
CN110472577A (zh) 一种基于自适应相关滤波的长时视频跟踪方法
CN110310305A (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN109697727A (zh) 基于相关滤波和度量学习的目标跟踪方法、系统及存储介质
CN111340842A (zh) 一种基于联合模型的相关滤波目标跟踪算法
CN109461166A (zh) 一种基于kcf混合mfo的快速运动目标跟踪方法
CN110544267B (zh) 一种自适应选择特征的相关滤波跟踪方法
CN110472607A (zh) 一种船舶跟踪方法及系统
CN109993777A (zh) 一种基于双模板自适应阈值的目标跟踪方法及系统
CN114881286A (zh) 一种基于深度学习的短时降水预测方法
CN117630860A (zh) 一种毫米波雷达的手势识别方法
CN110298868B (zh) 一种高实时性的多尺度目标跟踪方法
CN111815677A (zh) 目标追踪方法、装置、终端设备和可读存储介质
CN104680194A (zh) 基于随机蕨丛和随机投影的在线目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190709

Assignee: HANGZHOU MAQUAN INFORMATION TECHNOLOGY Co.,Ltd.

Assignor: HANGZHOU DIANZI University

Contract record no.: X2022330000227

Denomination of invention: A target tracking method and system based on double template adaptive threshold

Granted publication date: 20210629

License type: Common License

Record date: 20220615

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190709

Assignee: Hangzhou Qimibao Technology Co.,Ltd.

Assignor: HANGZHOU DIANZI University

Contract record no.: X2022980023151

Denomination of invention: A target tracking method and system based on dual template adaptive threshold

Granted publication date: 20210629

License type: Common License

Record date: 20221124