CN113379798B - 一种基于交互评价模型的相关滤波跟踪方法 - Google Patents

一种基于交互评价模型的相关滤波跟踪方法 Download PDF

Info

Publication number
CN113379798B
CN113379798B CN202110618446.0A CN202110618446A CN113379798B CN 113379798 B CN113379798 B CN 113379798B CN 202110618446 A CN202110618446 A CN 202110618446A CN 113379798 B CN113379798 B CN 113379798B
Authority
CN
China
Prior art keywords
frame
evaluation
tracking
value
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110618446.0A
Other languages
English (en)
Other versions
CN113379798A (zh
Inventor
吴蔚
李新德
陆晓燕
马超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 28 Research Institute
Original Assignee
CETC 28 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 28 Research Institute filed Critical CETC 28 Research Institute
Priority to CN202110618446.0A priority Critical patent/CN113379798B/zh
Publication of CN113379798A publication Critical patent/CN113379798A/zh
Application granted granted Critical
Publication of CN113379798B publication Critical patent/CN113379798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/45—Analysis of texture based on statistical description of texture using co-occurrence matrix computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于交互评价模型的相关滤波跟踪方法，针对单一跟踪器在实际场景中难以应对如目标快速移动、目标所处环境光照变化等多种因素相互结合或随时变换的问题，通过灵活的切换不同的评价模型来应对不同的跟踪场景，有效的解决了单个跟踪器不稳定的问题，同时利用决策级融合方法可以有效的增强跟踪算法的鲁棒性。本发明保留了各个评价模型的跟踪线索，通过自我评价和相互评价机制综合选出可靠的评价模型进行跟踪。本发明中也应用了多尺度变化策略及间隔更新模型方法，提升了跟踪效果。

Description

一种基于交互评价模型的相关滤波跟踪方法
技术领域
本发明涉及目标跟踪技术领域，具体涉及一种基于交互评价模型的相关滤波跟踪方法。
背景技术
目标跟踪作为近些年来的热门研究方向，吸引了许多研究者们的目光，具有良好的发展趋势。目标跟踪的定义是在第一帧中指定需要跟踪的目标，在视频接下来的帧中，计算机连续地定位目标。目标跟踪在实际工业中的应用和在学术上的研究价值非常重要，而在生产生活中也可以看到它的使用前景非常广阔。目标跟踪已经在许多领域发挥了关键作用，如安防监控系统、人机交互、军事领域等。视觉目标跟踪广泛应用于无人驾驶汽车、视频监控、人机交互、机器人视觉等领域，在人工智能研究领域中非常的热门。
在实际的视频跟踪场景中有着非常多的挑战，面对着非常多复杂困难的场景如运动目标快速运动、目标被其他物体遮挡、相似的背景影响等。在这些复合场景中，一个视频序列中的目标同时受到多个复杂因素的影响，或者不同帧之间的目标受到不同因素的影响。
发明内容
发明目的：设计一种基于评价模型的相关滤波跟踪算法以应对不同的跟踪场景。通过灵活的切换不同的跟踪器来应对不同的跟踪场景，有效的解决了单个跟踪器不稳定的问题。通过这种决策级融合方法可以有效的增强跟踪算法的鲁棒性。基于评价模型的跟踪算法保留了各个评价模型的跟踪线索(即预测的目标位置)，其中评价模型的本质等同目标跟踪器，通过自我评价和相互评价机制综合选出可靠的评价模型进行跟踪。同时算法中也应用了多尺度变化策略及间隔更新模型方法，提升了算法的跟踪效果。
本发明具体提供了一种基于交互评价模型的相关滤波跟踪方法，包括如下步骤：
步骤1，通过目标模型与搜索区域，确定目标位置；
步骤2，训练得到尺度滤波器；
步骤3，运用评价模型对目标进行检测，选择鲁棒性评分最高的评价模型对当前帧进行跟踪得出跟踪结果。
步骤1包括：
步骤1-1，对于给定的第一帧图像手动选择需要跟踪目标的位置和尺度；
步骤1-2，使用基于高斯核函数的滤波器模板h对视频中后续帧图片采用步骤1-3～步骤1-4的方法进行检测；
步骤1-3，在接下来的帧中选择与滤波模板h同等大小的图像块f，其尺寸为36×36pixel，并将模板和所选择的区域进行相关运算：
Figure BDA0003098681810000021
其中g为相关运算的结果矩阵，结果矩阵中的元素最大值对应的位置坐标为模板h在下一帧中找到的跟踪目标位置坐标，
Figure BDA0003098681810000022
表示相关运算符；
步骤1-4，将公式(1)转化到频域进行计算：
Figure BDA0003098681810000023
F＝F(f)是f的Fourier的变换，H＝F(h)是h的Fourier变换，—是复共轭，G是F、 H相应矩阵位置相乘运算结果的复共轭，⊙是相应矩阵位置的乘法运算，在公式(2) 中H作用相当于滤波器；将G进行Fourier逆变换可以得到空间响应值g，即公式(1) 中相关运算法的结果矩阵。
步骤2包括：
步骤2-1，将步骤1得到的图像块f(下同)划分为6像素为6×6的局部区域图像，在所述局部区域图像中进行梯度和边缘方向直方图的计算，例如采用9个bin的直方图来统计这6*6个像素的梯度信息，然后再由3×3个局部区域组成的更大的图像范围内进行对比度归一化处理，得到用于表观描述的HOG(Histogram of Oriented Gradient,HOG，方向梯度直方图)特征Z：
Z＝HOG(f) (3)
其中，HOG(f)表示图像块f的HOG特征；
步骤2-2，提取图像颜色特征，对于图像块f，其颜色直方图用如下公式表示：
Figure BDA0003098681810000024
其中，C为图像所包含的颜色集，c为C中的颜色值，hc表示图像中颜色值为c的比例，m×n分别表示图像块f的长和宽36×36，fij为点(i,j)处的颜色值，δ为冲击函数；
步骤2-3，提取图像灰度特征，所述灰度特征由灰度共生矩阵表示，对于图像块f其灰度级别为N，则灰度共生矩阵为：
P(i,j)＝count({((x1,y1),(x2,y2))|f(x1,y1)＝i,f(x2,y2)＝j}) (5)
其中，P(i,j)表示N×N的灰度共生矩阵在(i,j)位置的值，count表示计算集合内元素值，f(x1,y1)为图像(x1,y1)处的灰度值；f(x2,y2)为图像(x2,y2)处的灰度值；原图像(x1,y1)、(x2,y2)点处的灰度值i,j，对应的就是灰度共生矩阵中第i行，第j列位置；
步骤2-4，通过最小化高斯核函数相关滤波器中的代价函数来获得尺度预测滤波器，使用由多维HOG特征、颜色特征和灰度特征组成的图像块f对尺度预测滤波器进行训练，得到尺度滤波器，总的代价函数ε如下：
Figure BDA0003098681810000031
其中g为期望输出，d为总维度，fl是图像块f第l维提取的多维HOG特征、颜色特征和灰度特征的组合值，hl是第l维基于高斯核函数的相关滤波器，λ是正则化参数，
Figure BDA0003098681810000032
是防止过拟合设计的正则项；
最小化代价函数，就能够获得合适的滤波器，为了简化求解则选择一个近似结果，即将分子分母分别计算得到第l维的滤波器Hl：
Figure BDA0003098681810000033
其中，
Figure BDA0003098681810000034
为G的复共轭，Fl是fl的Fourier变换，
Figure BDA0003098681810000035
是第k维目标特征Fk的Fourier 变换，
Figure BDA0003098681810000036
Bt是等号左侧分式等价替代；
步骤2-5，选择按照如下尺度标准进行尺度缩放的图像样本作为检测跟踪目标：
anP×anR (8)
其中P，R分别为前一帧中目标窗口的宽度和高度，n为变化的尺度范围，an为比例因子，通过公式计算响应值ys，最高处对应的就是当前帧的跟踪目标尺度大小，计算响应值的公式如下：
Figure BDA0003098681810000041
其中，Zl是第l维输入样本特征图，F-1表示Fourier逆变换，
Figure BDA0003098681810000042
是上式At l的复共轭。
步骤3包括：
步骤3-1，评价模型相互评价；
步骤3-2，评价模型自我评价；
步骤3-3，选择评价模型；
步骤3-4，采用间隔更新模型的方法调整模型的跟踪频率，如设计采样间隔Δt＝0.01s，解决相邻采样样本相似度过大导致跟踪器过拟合的问题，同时有效的提升整个跟踪系统的效率。
步骤3-1包括：
步骤3-1-1，在MCT(multiple teacker correlation filter tracking)跟踪器中，HOG、颜色特征和灰度特征被用作传统特征，它们可选择合并为
Figure BDA0003098681810000043
名专家；
Figure BDA0003098681810000044
Figure BDA0003098681810000045
表示排列组合计算方法，分别为在3个中随机选取1,2,3个；设 E1,E2,E3,E4,E5,E6,E7分别表示七个不同专家系统的评价模型；在第t帧中，评价模型Ei的包围框是
Figure BDA0003098681810000046
把所有的评价模型都当成黑匣子，边界框
Figure BDA0003098681810000047
只包含目标状态，所述目标状态包括位置和尺度；
步骤3-1-2，计算Ei和Ej在第t帧处的重叠比
Figure BDA0003098681810000048
其中i、j取值均为1～7：
Figure BDA0003098681810000051
其中，Area表示面积大小，
Figure BDA0003098681810000052
表示第t帧图片在评价模型Ei下的边界框；
步骤3-1-3，对
Figure BDA0003098681810000053
采用非线性高斯函数处理，得到评价模型分数
Figure BDA0003098681810000054
Figure BDA0003098681810000055
其中，exp表示底为e的指数运算；
重叠比的平均值
Figure BDA0003098681810000056
揭示了Ei与其他评价模型之间的轨迹一致性，其中K表示评价模型数。一般来说，两位专家之间的相互比较分数应该是稳定的。因此，重叠比率在短时间内的波动程度表明了与其他专家之间重叠评估的稳定性。
采用如下公式计算波动程度
Figure BDA0003098681810000057
Figure BDA0003098681810000058
其中
Figure BDA0003098681810000059
Figure BDA00030986818100000510
表示一段帧间隔内，Δt帧图片评价模型分数的均值；变量τ∈[t-Δt+1,t]，其中t表示当前帧，Δt表示所取时间间隔内的帧数；
步骤3-1-4，引入一个递增的序列W＝{ρ0,ρ1,…,ρΔt-1},(ρ>1)，ρΔt-1表示W序列中第Δt-1个权重值，给最近的评价模型评分更多的权重，如ρ为满足1～2之间均匀划分的Δt个数值，越靠近当前时刻的评价模型，给于越大的权重值ρ，同时利用平均加权平均值
Figure BDA00030986818100000511
和标准值方差
Figure BDA00030986818100000512
保证时间的稳定性，其中，Wτ表示序列W中第(τ-t+Δt)个元素，N是由
Figure BDA00030986818100000513
定义的归一化因子，
Figure BDA00030986818100000514
表示第τ个重叠比平均值；
步骤3-1-5，在t帧处Ei的相互评价模型鲁棒性评分
Figure BDA00030986818100000515
定义如下：
Figure BDA0003098681810000061
其中ξ是一个常数。
步骤3-2包括：
步骤3-2-1，前一个边界框
Figure BDA0003098681810000062
和当前边界框
Figure BDA0003098681810000063
之间的欧氏距离
Figure BDA0003098681810000064
由
Figure BDA0003098681810000065
计算得到，其中
Figure BDA0003098681810000066
是边界框
Figure BDA0003098681810000067
的中心；在第t帧中，Ei的轨迹波动程度
Figure BDA0003098681810000068
定义如下：
Figure BDA0003098681810000069
其中σEi是Ei提供的宽度平均值，计算公式为
Figure BDA00030986818100000610
其中
Figure BDA00030986818100000611
为第t帧Ei边界框的宽度，
Figure BDA00030986818100000612
为第t帧Ei边界框的高度；
步骤3-2-2，定义自我评价得分
Figure BDA00030986818100000613
为：
Figure BDA00030986818100000614
其中，
Figure BDA00030986818100000615
为第τ帧Ei的轨迹波动程度。
步骤3-3包括：最终的鲁棒性得分Rt(Ei)为Ei在第t帧的相互评价得分
Figure BDA00030986818100000616
和自我评价得分
Figure BDA00030986818100000617
的线性组合：
Figure BDA00030986818100000618
其中μ为权重参数。
有益效果：本发明设计一种基于评价模型的相关滤波跟踪算法以应对不同的跟踪场景。在大量复杂场景的定量和定性的实验结果中，该跟踪器在精度和鲁棒性方面具有很强的竞争力。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/ 或其他方面的优点将会变得更加清楚。
图1为本发明方法的流程图；
图2为本发明方法的跟踪模型评价指标示意图；
图3a为中心定位误差精度对比试验结果示意图；
图3b为成功率对比试验结果示意图。
图4为本发明方法的定性对比试验结果示意图。
具体实施方式
如图1所示，是本发明方法流程图，包括：对于给定的第一帧图像进行手动选定需要跟踪目标的位置和尺度。选择合适的特征描述方法来描述目标特征，并根据目标的运动模型生成所需要的候选样本集。通过最小化核相关滤波器中的代价函数来获得尺度预测滤波器，为了适应目标在尺度变化场景下的跟踪，按照一定标准对样本进行尺度缩放。设计基于自我评价与相互评价的交互评价系统，提高跟踪方法的可靠性。并采用间隔更新模型的方法，提升整个跟踪系统的效率。
初始化目标的实施过程如下：
(11)对于给定的第一帧图像手动的选择需要跟踪目标的位置和尺度。
(12)使用基于高斯核函数的滤波器模板h对视频中后续帧图片进行检测。
(13)在接下来的帧中选择与模板同等大小的图像块f，其尺寸为36×36pixel，并将模板和所选择的区域进行相关运算，即：
Figure BDA0003098681810000071
其中g为相关运算的结果矩阵，结果矩阵中的元素最大值对应的位置坐标为模板h在下一帧中找到的跟踪目标位置坐标。
Figure BDA0003098681810000072
表示相关运算符。
(14)为了提升跟踪算法的实时性，将公式(1)转化到频域进行计算，即：
Figure BDA0003098681810000073
F＝F(f)是f的Fourier的变换，H＝F(h)是h的Fourier变换，—是复共轭， G是F、H相应矩阵位置相乘运算结果的复共轭，⊙是相应矩阵位置的乘法运算，在公式(2)中H作用相当于滤波器。将G进行Fourier逆变换可以得到空间响应值g，即公式(1)中相关运算法的结果矩阵。
为了应对目标跟踪过程中目标尺度改变的场景，最小化核相关滤波器中的代价函数来获得尺度预测滤波器。
(21)首先将步骤1得到的图像块f(下同)划分为6个像素为6×6的局部区域图像，然后在所述局部区域图像中进行梯度和边缘方向直方图的计算，例如采用9个bin的直方图来统计这6*6个像素的梯度信息，然后在由3×3个局部区域组成的更大的图像范围内进行对比度归一化处理，得到用于表观描述的HOG特征Z：
Z＝HOG(f) (3)
(22)提取图像颜色特征，对图像块f，其颜色直方图用如下公式表示：
Figure BDA0003098681810000081
其中，C为图像所包含的颜色集，c为C中的颜色值，hc表示图像中颜色值为c的比例，m×n表示图像块f的长和宽36×36，fij为点(i,j)处的颜色值，δ为冲击函数。
(23)提取图像灰度特征，其中灰度特征由灰度共生矩阵表示，设有图像块f，其灰度级别为N，则灰度共生矩阵为：
P(i,j)＝count({((x1,y1),(x2,y2))|f(x1,y1)＝i,f(x2,y2)＝j}) (5)
其中，P(i,j)表示N×N的灰度共生矩阵在(i,j)位置的值，count计算集合内元素值，f(x,y)为图像(x,y)处的灰度值。
(24)通过最小化高斯核函数相关滤波器中的代价函数来获得尺度预测滤波器，训练该滤波器使用由多维HOG特征、颜色特征和灰度特征组成的图像块,得到尺度滤波器。总的代价函数如下：
Figure BDA0003098681810000082
其中g为期望输出，d为总维度，fl是图像块f第l维提取的多维HOG特征、颜色特征和灰度特征的组合值，hl是第l维基于高斯核函数的相关滤波器，
Figure BDA0003098681810000083
是防止过拟合设计的正则项，λ是正则化参数。最小化目标函数即可得到合适的滤波器，为了简化求解则选择一个近似结果即将分子分母分别进行计算的第l维的滤波器Hl：
Figure BDA0003098681810000091
其中，
Figure BDA0003098681810000092
为G的复共轭，Fl是fl的Fourier变换，
Figure BDA0003098681810000093
是第k维目标特征Fk的Fourier 变换，
Figure BDA0003098681810000094
Bt是等号左侧分式等价替代。
(25)为了适应目标在尺度变化场景下的跟踪，选择了按照一定标准进行尺度缩放的图片样本作为检测跟踪目标，具体的尺度选择标准如下：
anP×anR (8)
其中P，R为前一帧中目标窗口的宽度和高度，n为变化的尺度范围，an为尺度因子，通过公式计算响应值ys最高处对应的就是当前帧的跟踪目标尺度大小,计算响应的公式如下：
Figure BDA0003098681810000095
其中，Zl是第l维输入样本特征图，F-1表示Fourier逆变换，
Figure BDA0003098681810000096
是上式At l的复共轭.
如图2所示，多跟踪器相关滤波方法实施过程如下：
评价模型的相互评价。大多数评价模型都能稳定地跟踪目标，一个好的评价模型产生的线索应该尽可能与其他评价模型的线索一致。评价模型的相互评价实施步骤如下：
(311)在MCT(multiple teacker correlation filter tracking)跟踪器中，HOG、颜色特征和灰度特征被用作传统特征，它们可选择合并为
Figure BDA0003098681810000097
名专家，
Figure BDA0003098681810000098
Figure BDA0003098681810000099
表示排列组合计算方法，分别为在3个中随机选取1,2,3个。设E1,…,E7分别表示七个不同专家系统的评价模型。在第t帧中，评价模型Ei的包围框是
Figure BDA00030986818100000910
把所有的评价模型都当成黑匣子，边界框
Figure BDA00030986818100000911
只包含目标状态(位置和尺度)。
(312)首先，计算来自不同评价模型的边界框的重叠比率。Ei和Ej在第t帧处的重叠比
Figure BDA00030986818100000912
计算如下：
Figure BDA0003098681810000101
其中，Area表示面积大小，
Figure BDA0003098681810000102
表示第t帧图片，在评价模型Ei下的边界框。
(313)为了缩小重叠率高低之间的差距，对
Figure BDA0003098681810000103
采用非线性高斯函数处理，得到评价模型分数。
Figure BDA0003098681810000104
其中，exp表示底为e的指数运算。
重叠比的平均值
Figure BDA0003098681810000105
揭示了Ei与其他评价模型之间的轨迹一致性，其中K表示评价模型数。
一般来说，两位评价模型之间的相互比较分数应该是稳定的。因此，重叠比率在短时间内的波动程度表明了Ei与其他评价模型之间重叠评估的稳定性，如公式(12) 所示：
Figure BDA0003098681810000106
其中
Figure BDA0003098681810000107
表示一段帧间隔内，Δt帧图片评价模型分数的均值，变量τ∈[t-Δt+1,t]，其中t表示当前帧，Δt表示所取时间间隔内的帧数；
(314)为了避免评价模型们的表现波动已及，因此引入了一个递增的序列 W＝{ρ0,ρ1,…,ρΔt-1},(ρ>1)，ρΔt-1表示W序列中第Δt-1个权重值，给最近的评价模型评分更多的权重，如ρ为满足1～2之间均匀划分的Δt个数值，越靠近当前时刻的评价模型，给予越大的权重值ρ。同时利用平均加权平均值
Figure BDA0003098681810000108
和标准值方差
Figure BDA0003098681810000109
保证时间的稳定性，其中，Wτ表示序列W中的第(τ-t+Δt)个，
Figure BDA00030986818100001010
表示第τ个重叠比平均值，N是由
Figure BDA00030986818100001011
定义的归一化因子。
(315)在t帧处Ei的相互评价模型鲁棒性评分定义如下：
Figure BDA00030986818100001012
其中ξ是一个小常数，它避免了零分母导致数学错误。
Figure BDA0003098681810000111
的值越大表明着与其他评价模型更好的一致性和更高的目标状态预测稳定性。
评价模型的自我评价。各评价模型的自我跟踪轨迹平滑程度在一定程度上表明了其结果的可靠性。评价模型的自我评价实施方法如下：
(321)前一个边界框
Figure BDA0003098681810000112
和当前边界框
Figure BDA0003098681810000113
之间的欧氏距离由
Figure BDA0003098681810000114
计算得到，其中
Figure BDA0003098681810000115
是边界框
Figure BDA0003098681810000116
的中心。在第t帧中，Ei的轨迹波动程度定义如下：
Figure BDA0003098681810000117
其中σEi是评价模型i提供的宽度平均值，计算公式为
Figure BDA0003098681810000118
其中
Figure BDA0003098681810000119
为第t帧Ei边界框的宽度，
Figure BDA00030986818100001110
为第t帧Ei边界框的高度；
(322)自我评价主要收集先前的运动信息来衡量跟踪器性能的时间稳定性，定义自我评价得分定义如公式(15)，较高的
Figure BDA00030986818100001111
意味着跟踪轨迹的可靠性更好。
Figure BDA00030986818100001112
其中，
Figure BDA00030986818100001113
为第τ帧Ei的轨迹波动程度。
交互评价模型。结合评价模型的相互评价与自我评价结果，最终交互评价模型的设计方法如下所示：
最终的鲁棒性得分Rt(Ei)为Ei在第t帧的相互评价得分
Figure BDA00030986818100001114
和自我评价得分
Figure BDA00030986818100001115
的线性组合：
Figure BDA00030986818100001116
其中权重参数μ，是一个经验参数，当取较小的值(本文中μ取值为0.0001)，跟踪器的整体跟踪性能更好。
因此采用间隔更新模型的方法，可以有效的解决速度与跟踪性能的不平衡的问题。在实际应用中，通过适当的调整模型的跟踪频率，可以解决相邻采样样本相似度过大导致跟踪器过拟合的问题，同时可以有效的提升整个跟踪系统的效率。
如图3a、图3b和图4对本发明方法进行了定量和定性的对比试验，试验结果如图所示，试验步骤如下：
试验环境的准备。本发明所使用的OTB-2013目标跟踪数据集共有11种跟踪场景包括目标尺度变换、目标遮挡、光照变化、运动模糊等等。为验证算法的有效性，将本文提出的算法与目前主流的跟踪算法在公开数据集进行对比测试。主流的跟踪算法在公开数据集进行对比测试。图3a、图3b和图4显示了跟踪器是KCF(Kernelized Correlation Filters)、CSK(Circulant Structure of Tracking-by-Detection with Kernels)、 Struke(Structured output tracking with kernels)和DSST(Discriminative Scale SpaceTracking)和所提出跟踪器的定量、定性对比结果。实验的软件测试环境为Matlab，硬件环境为CPUi5-8400、主频2.8GHz内存16GB计算机。图3a中，标题：跟踪结果精度图，横坐标：定位误差阈值，纵坐标：精确度；图3b中，标题：跟踪成功率图，横坐标：重叠阈值，纵坐标：成功率。
定量试验测试过程。采用中心定位误差精度(CLE)和成功率(SR)两个评价指标，对5个跟踪器进行了定量评价。跟踪精确度CLE(20pX)表示中心误差小于阈值20 像素的图片在整个视频序列的百分比，跟踪成功率SR(0.5)是指预测目标区域与实际目标区域的重叠率大于阈值0.5的图像所占的比例。在图3a和图3b中，紫色线条代表 MCT(MultipleTracker Correlation Filtering)跟踪器，其他颜色线条代表对比跟踪器(由于说明书附图只能是灰度图，所以看不出颜色，特此说明)。实验结果表明，跟踪器 MCT具有良好的鲁棒性和准确性。
定性试验测试过程。第一行三张实验图片表示在目标尺度变化的情况下，多种跟踪算法的跟踪效果；第二行表示的是目标受到严重遮挡的情况下，多种跟踪算法的跟踪效果；第三行表示在目标受到背景干扰和运动模糊的情况下，多种跟踪算法的跟踪效果。由图4可以直观的看出，相比于KCF、CSK、struck、DSST跟踪器，本文所提出MCT跟踪器在尺度变化、遮挡、背景干扰和运动模糊的情况下，能够更加准确目标定位和较少跟踪漂移具有更加良好的目标跟踪性能。
本发明提供了一种基于交互评价模型的相关滤波跟踪方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (5)

1.一种基于交互评价模型的相关滤波跟踪方法，其特征在于，包括如下步骤：
步骤1，通过目标模型与搜索区域，确定目标位置；
步骤2，训练得到尺度滤波器；
步骤3，运用评价模型对目标进行检测，选择鲁棒性评分最高的评价模型对当前帧进行跟踪得出跟踪结果；
步骤1包括：
步骤1-1，对于给定的第一帧图像选择需要跟踪目标的位置和尺度；
步骤1-2，使用基于高斯核函数的滤波器模板h对视频中后续帧图片采用步骤1-3～步骤1-4的方法进行检测；
步骤1-3，在接下来的帧中选择与滤波模板h同等大小的图像块f，其尺寸为36×36，并将模板和所选择的区域进行相关运算：
Figure FDA0003803982290000011
其中g为相关运算的结果矩阵，结果矩阵中的元素最大值对应的位置坐标为模板h在下一帧中找到的跟踪目标位置坐标，
Figure FDA0003803982290000012
表示相关运算符；
步骤1-4，将公式(1)转化到频域进行计算：
Figure FDA0003803982290000013
Figure FDA0003803982290000014
是f的Fourier的变换，
Figure FDA0003803982290000015
是h的Fourier变换，—是复共轭，G是F、H相应矩阵位置相乘运算结果的复共轭，⊙是相应矩阵位置的乘法运算，在公式(2)中H为滤波器；将G进行Fourier逆变换得到空间响应值g，g即公式(1)相关运算的结果矩阵；
步骤2包括：
步骤2-1，将步骤1得到的图像块f划分为6像素为6×6的局部区域图像，在所述局部区域图像中进行梯度和边缘方向直方图的计算，然后再由3×3个局部区域组成的更大的图像范围内进行对比度归一化处理，得到用于表观描述的HOG特征Z：
Z＝HOG(f) (3)
其中，HOG(f)表示图像块f的HOG特征；
步骤2-2，提取图像颜色特征，对于图像块f，其颜色直方图用如下公式表示：
Figure FDA0003803982290000021
其中，C为图像所包含的颜色集，c为C中的颜色值，hc表示图像中颜色值为c的比例，m、n分别表示图像块f的长和宽，fij为点(i,j)处的颜色值，δ为冲击函数；
步骤2-3，提取图像灰度特征，所述灰度特征由灰度共生矩阵表示，对于图像块f其灰度级别为N，则灰度共生矩阵为：
P(i,j)＝count({((x1,y1),(x2,y2))|f(x1,y1)＝i,f(x2,y2)＝j}) (5)
其中，P(i,j)表示N×N的灰度共生矩阵在(i,j)位置的值，count表示计算集合内元素值，f(x1,y1)为图像(x1,y1)处的灰度值；f(x2,y2)为图像(x2,y2)处的灰度值；
步骤2-4，通过最小化高斯核函数相关滤波器中的代价函数来获得尺度预测滤波器，使用由多维HOG特征、颜色特征和灰度特征组成的图像块f对尺度预测滤波器进行训练，得到尺度滤波器，总的代价函数ε如下：
Figure FDA0003803982290000022
其中g为期望输出，d为总维度，fl是图像块f第l维提取的多维HOG特征、颜色特征和灰度特征的组合值，hl是第l维基于高斯核函数的相关滤波器，λ是正则化参数，
Figure FDA0003803982290000023
是防止过拟合设计的正则项；
最小化代价函数，就能够获得滤波器，计算得到第l维的滤波器Hl：
Figure FDA0003803982290000024
其中，
Figure FDA0003803982290000025
为G的复共轭，Fl是fl的Fourier变换，
Figure FDA0003803982290000026
是第k维目标特征Fk的Fourier变换，
Figure FDA0003803982290000027
Bt是等号左侧分式等价替代；
步骤2-5，选择按照如下尺度标准进行尺度缩放的图像样本作为检测跟踪目标：
anP×anR (8)
其中P，R分别为前一帧中目标窗口的宽度和高度，n为变化的尺度范围，an为比例因子，通过公式计算响应值ys，最高处对应的就是当前帧的跟踪目标尺度大小，计算响应值的公式如下：
Figure FDA0003803982290000031
其中，Zl是第l维输入样本特征图，F-1表示Fourier逆变换，
Figure FDA0003803982290000032
是上式At l的复共轭。
2.根据权利要求1所述的方法，其特征在于，步骤3包括：
步骤3-1，评价模型相互评价；
步骤3-2，评价模型自我评价；
步骤3-3，选择评价模型；
步骤3-4，采用间隔更新模型的方法调整模型的跟踪频率。
3.根据权利要求2所述的方法，其特征在于，步骤3-1包括：
步骤3-1-1，设E1,E2,E3,E4,E5,E6,E7分别表示七个不同专家系统的评价模型；在第t帧中，评价模型Ei的包围框是
Figure FDA0003803982290000033
把所有的评价模型都当成黑匣子，边界框
Figure FDA0003803982290000034
只包含目标状态，所述目标状态包括位置和尺度；
步骤3-1-2，计算Ei和Ej在第t帧处的重叠比
Figure FDA0003803982290000035
其中i、j取值均为1～7：
Figure FDA0003803982290000036
其中，Area表示面积大小，
Figure FDA0003803982290000037
表示第t帧图片在评价模型Ei下的边界框；
步骤3-1-3，对
Figure FDA0003803982290000038
采用非线性高斯函数处理，得到评价模型分数
Figure FDA0003803982290000039
Figure FDA00038039822900000310
其中，exp表示底为e的指数运算；
重叠比的平均值
Figure FDA0003803982290000041
其中K表示评价模型数；
采用如下公式计算波动程度
Figure FDA0003803982290000042
Figure FDA0003803982290000043
其中
Figure FDA0003803982290000044
Figure FDA0003803982290000045
表示一段帧间隔内，Δt帧图片评价模型分数的均值；变量τ∈[t-Δt+1,t]，其中t表示当前帧，Δt表示所取时间间隔内的帧数；
步骤3-1-4，引入一个递增的序列W＝{ρ0,ρ1,…,ρΔt-1},(ρ>1)，ρΔt-1表示W序列中第Δt-1个权重值，给最近的评价模型评分更多的权重，同时利用平均加权平均值
Figure FDA0003803982290000046
和标准值方差
Figure FDA0003803982290000047
保证时间的稳定性，其中，Wτ表示序列W中第(τ-t+Δt)个元素，N是由
Figure FDA0003803982290000048
定义的归一化因子，
Figure FDA0003803982290000049
表示第τ个重叠比平均值；
步骤3-1-5，在t帧处Ei的相互评价模型鲁棒性评分
Figure FDA00038039822900000410
定义如下：
Figure FDA00038039822900000411
其中ξ是一个常数。
4.根据权利要求3所述的方法，其特征在于，步骤3-2包括：
步骤3-2-1，前一个边界框
Figure FDA00038039822900000412
和当前边界框
Figure FDA00038039822900000413
之间的欧氏距离
Figure FDA00038039822900000414
由
Figure FDA00038039822900000415
计算得到，其中
Figure FDA00038039822900000416
是边界框
Figure FDA00038039822900000417
的中心；在第t帧中，Ei的轨迹波动程度
Figure FDA00038039822900000418
定义如下：
Figure FDA00038039822900000419
其中
Figure FDA0003803982290000051
是Ei提供的宽度平均值，计算公式为
Figure FDA0003803982290000052
其中
Figure FDA0003803982290000053
为第t帧Ei边界框的宽度，
Figure FDA0003803982290000054
为第t帧Ei边界框的高度；
步骤3-2-2，定义自我评价得分
Figure FDA0003803982290000055
为：
Figure FDA0003803982290000056
其中，
Figure FDA0003803982290000057
为第τ帧Ei的轨迹波动程度。
5.根据权利要求4所述的方法，其特征在于，步骤3-3包括：最终的鲁棒性得分Rt(Ei)为Ei在第t帧的相互评价得分
Figure FDA0003803982290000058
和自我评价得分
Figure FDA0003803982290000059
的线性组合：
Figure FDA00038039822900000510
其中μ为权重参数。
CN202110618446.0A 2021-06-03 2021-06-03 一种基于交互评价模型的相关滤波跟踪方法 Active CN113379798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110618446.0A CN113379798B (zh) 2021-06-03 2021-06-03 一种基于交互评价模型的相关滤波跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110618446.0A CN113379798B (zh) 2021-06-03 2021-06-03 一种基于交互评价模型的相关滤波跟踪方法

Publications (2)

Publication Number Publication Date
CN113379798A CN113379798A (zh) 2021-09-10
CN113379798B true CN113379798B (zh) 2022-11-22

Family

ID=77575505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110618446.0A Active CN113379798B (zh) 2021-06-03 2021-06-03 一种基于交互评价模型的相关滤波跟踪方法

Country Status (1)

Country Link
CN (1) CN113379798B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015163830A1 (en) * 2014-04-22 2015-10-29 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Target localization and size estimation via multiple model learning in visual tracking
WO2016131300A1 (zh) * 2015-07-22 2016-08-25 中兴通讯股份有限公司 一种自适应跨摄像机多目标跟踪方法及系统
CN110569723A (zh) * 2019-08-02 2019-12-13 西安工业大学 一种结合特征融合与模型更新的目标跟踪方法
CN111260689A (zh) * 2020-01-16 2020-06-09 东华大学 一种有效的置信度增强相关滤波视觉跟踪算法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015163830A1 (en) * 2014-04-22 2015-10-29 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Target localization and size estimation via multiple model learning in visual tracking
WO2016131300A1 (zh) * 2015-07-22 2016-08-25 中兴通讯股份有限公司 一种自适应跨摄像机多目标跟踪方法及系统
CN110569723A (zh) * 2019-08-02 2019-12-13 西安工业大学 一种结合特征融合与模型更新的目标跟踪方法
CN111260689A (zh) * 2020-01-16 2020-06-09 东华大学 一种有效的置信度增强相关滤波视觉跟踪算法

Also Published As

Publication number Publication date
CN113379798A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN108734151B (zh) 基于相关滤波以及深度孪生网络的鲁棒长程目标跟踪方法
CN110084836B (zh) 基于深度卷积特征分层响应融合的目标跟踪方法
CN108734723B (zh) 一种基于自适应权重联合学习的相关滤波目标跟踪方法
CN111582349B (zh) 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
CN109785366B (zh) 一种针对遮挡的相关滤波目标跟踪方法
CN108961308B (zh) 一种漂移检测的残差深度特征目标跟踪方法
CN109146911B (zh) 一种目标跟踪的方法及装置
Zhang et al. Sparse learning-based correlation filter for robust tracking
CN109087337B (zh) 基于分层卷积特征的长时间目标跟踪方法及系统
CN111340842B (zh) 一种基于联合模型的相关滤波目标跟踪方法
CN111915644A (zh) 孪生导向锚框rpn网络的实时目标跟踪方法
Zhang et al. A background-aware correlation filter with adaptive saliency-aware regularization for visual tracking
Yang et al. Visual tracking with long-short term based correlation filter
CN110992401A (zh) 目标跟踪方法、装置、计算机设备和存储介质
Du et al. Spatial–temporal adaptive feature weighted correlation filter for visual tracking
Kuai et al. Learning adaptively windowed correlation filters for robust tracking
CN112489088A (zh) 一种基于记忆单元的孪生网络视觉跟踪方法
CN108257148B (zh) 特定对象的目标建议窗口生成方法及其在目标跟踪的应用
CN110472607A (zh) 一种船舶跟踪方法及系统
Zhou et al. Adaptive ensemble perception tracking
Moridvaisi et al. An extended KCF tracking algorithm based on TLD structure in low frame rate videos
CN113379798B (zh) 一种基于交互评价模型的相关滤波跟踪方法
Bai et al. Deep deblurring correlation filter for object tracking
CN115984325A (zh) 一种靶向寻量时空正则化的目标跟踪方法
CN112614158B (zh) 一种采样框自适应的多特征融合在线目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 210000 No.1, Lingshan South Road, Qixia District, Nanjing City, Jiangsu Province

Applicant after: THE 28TH RESEARCH INSTITUTE OF CHINA ELECTRONICS TECHNOLOGY Group Corp.

Address before: Muxuyuan Street Baixia District of Nanjing city of Jiangsu Province, No. 1 210007

Applicant before: THE 28TH RESEARCH INSTITUTE OF CHINA ELECTRONICS TECHNOLOGY Group Corp.

GR01 Patent grant
GR01 Patent grant