CN108053425A - 一种基于多通道特征的高速相关滤波目标跟踪方法 - Google Patents
一种基于多通道特征的高速相关滤波目标跟踪方法 Download PDFInfo
- Publication number
- CN108053425A CN108053425A CN201711419446.8A CN201711419446A CN108053425A CN 108053425 A CN108053425 A CN 108053425A CN 201711419446 A CN201711419446 A CN 201711419446A CN 108053425 A CN108053425 A CN 108053425A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- peak
- feature
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
一种基于多通道特征的高速相关滤波目标跟踪方法，如下：(1)采用HOG特征、CN特征和角点特征3个通道加权融合构建目标特征模型，以此对目标长时间稳定跟踪；(2)利用HOG特征，克服由于光照变化导致的目标特征提取受到干扰的问题；(3)利用CN特征，克服由于目标尺寸变换导致的纹理信息剧烈变化的问题；(4)利用角点特征，克服目标被部分遮挡导致的目标跟踪丢失问题；(5)每种特征通过傅里叶变换转换到频域计算相关度，将卷积运算转化为点乘运算，从而减小计算量，加快计算速度；(6)采用最大峰值比(MPR)判断目标特征模型权值系数是否需要更新，自适应调节某种环境因素下某特征通道的主导地位；(7)利用在线学习，选用固定学习因子对权值系数进行更新，完成目标模型更新过程。
Description
技术领域
本发明涉及的是一种基于多特征融合的相关滤波目标跟踪方法，针对不同场景下目标跟踪所受到的干扰问题，利用多种特征融合判定目标所在位置，完成对视频序列中对目标的跟踪过程。
背景技术
目标跟踪是计算机智能视觉领域中一个重要的研究方向。它是利用对光学镜头等硬件设施产生的图像序列进行处理、分析，从而获得目标在视频序列中的具体坐标信息。随着目标跟踪领域越来越深入的研究，涌现出许多优秀的目标跟踪方法，例如帧间差分法、光流法和背景模型减除法，此外还有Kalal等人提出的跟踪学习检测算法(TLD)、Vapnik等人研究的支持向量机(SVM)分类器方法、Babenko等学者实现的多示例学习跟踪算法(MIL)和BOLME.D.S等人提出的最小平方误差输出滤波器(MOSSE)。在最近几年有学者提出一种相关滤波算法，能够在动态背景下对目标进行长期稳定跟踪。传统相关滤波算法最主要的思想是利用核函数矩阵，对目标区域为中心的固定区域进行循环移位，密集采样得到大量正负样本，再利用正则化最小二乘分类器对样本中的目标和背景进行线性分类，通过傅里叶变换到频域求解相关程度最大的地方，即为下一帧中目标的位置。
但是在实际应用的环境中存在多种因素的影响，导致目标视频中存在光照变化、部分或完全遮挡、非刚性形变和尺寸变换等问题，严重影响传统目标跟踪算法的准确性。光照变化主要改变的是目标区域各像素点的灰度值，导致某些特征的判断失效；部分或完全遮挡往往是由于视频环境中出现了建筑物等障碍，破坏了目标轮廓的完整性；非刚性形变和尺寸变化会导致目标轮廓或纹理在梯度方向上的信息受到严重干扰。虽然目前有众多研究人员根据各种数学理论提出了很多跟踪算法，但很难做到对多种环境影响因素的鲁棒性，这就使得对目标跟踪算法中克服各种环境因素影响的研究有了更加实际的意义。传统的相关滤波目标跟踪算法利用的判定准则一般都是单一的特征，常见的特征比如方向梯度直方图(Histogram of Oriented Gradient,HOG)特征是对图像进行一阶求导，往往对环境的光照变化有很好的鲁棒性，但是受目标尺寸变化、形状改变等因素影响较大，而颜色名(Color Name，CN)特征是关于图像的零阶特征向量，对尺寸等外观改变有很好的不变性，但容易受到光照变化的干扰。此外还有角点特征，是在图像中突出且具有代表意义的一类点，可以让目标在被部分遮挡的情况下对前后两帧中出现的位置进行匹配，从而降低提取目标某种特征所需要的区域完整性要求，但是当相似目标同时出现时，提取角点特征容易受到干扰，导致目标跟踪失败。
发明内容
本发明的技术解决问题是：针对目标跟踪过程中受到的环境因素干扰问题，提供一种多通道特征自适应加权融合的特征判定方法，提高目标跟踪的鲁棒性，且具有一种创新性的模型更新策略，用最大峰值比决定模型和权值是否更新，增强了该方法的环境自适应性。
本发明的技术解决方案为：一种基于多通道特征的高速相关滤波目标跟踪方法，步骤如下：
(1)在视频流中取出第一帧图像，确定目标所在区域，并初始化最大峰值比MPR(Maximum Peak Ratio，最大峰值比)的阈值，同时初始化整个目标模型中三个特征融合的权值系数，根据初始化的三个特征融合权值系数，线性求和融合成目标初始模型，完成构建目标多通道特征融合模型的过程；多通道特征就是三个不同的特征作为三个不同通道同时作为输入进行计算；HOG、CN和角点特征这三个通道的特征融合，故叫做多通道特征；
(2)在下一帧图像中，以步骤(1)中所确定目标所在区域的位置中心周围，以固定系数扩展目标区域，密集采样得到20至30个图像块；
(3)在步骤(2)采集的图像块中提取HOG、CN和角点特征，分别进行高速相关滤波计算，高速相关滤波具体操作是将时域下两个矩阵相关度的计算过程，通过快速傅里叶变换到频域后，由之前的卷积运算变为点积运算，可以有效降低计算量，实现高速计算的效果。在得到HOG、CN和角点特征的滤波响应图后，统计每个滤波响应图中的响应峰值，并对3个特征的响应峰值进行归一化处理；再使用步骤(1)中初始化的权值系数对HOG、CN和角点特征的响应图加权融合为最终响应图，找到融合后的最大峰值处即可确定目标最终所在位置；然后在所得的最终响应图中以最大峰值为基数，计算各特征的响应峰值与最大峰值的比值，用初始化MPR阈值对所述的比值进行比较，若大于初始化MPR阈值，则对目标多通道特征融合模型进行更新，反之则不更新；实施更新过程，则利用所得到的比值，在固定的学习因子系数下重新分配各特征所对应的归一化系数，完成三个特征的权值系数的自适应更新过程，并将更新后的目标多通道特征融合模型和三个特征的权值系数传递给下一帧继续目标跟踪，最终完成当前帧中的目标跟踪任务。
所述步骤(1)构建目标多通道特征融合模型，由实验经验初始化MPR阈值为0.7，初始化三个特征的权值系数分别为按照此系数将三个特征融合，即构建整个目标多通道特征融合模型的形式为：
M0＝λ1Hhog+λ2Hcn+λ3Hcon
其中M0表示初始目标模型，Hhog，Hcn，Hcon分别表示HOG、CN和角点特征。
所述步骤(2)的图像块采集方法为循环移位采样，循环移位采样公式表示为：
T(i,j)＝PiTPj
其中T(i,j)表示图像块T右移i次后再下移j次得到的循环图像块，P表示循环单位阵；
所述步骤(3)中，具体实现为：
(31)对图像块分别提取HOG、CN和角点特征，并转换到频域中，计算与初始图像各特征的相关度，得到三个特征的响应图，统计三个特征的响应图中的响应峰值Peakhog，Peakcn，Peakcon，并对每个特征响应图中的所有响应峰值进行归一化：
其中Peaki为若干个响应峰值，Peaki'为归一化后的响应峰值大小，Tanh()为双曲正切函数，μ为平移因子，取值为0.5；
(32)将所得的三个特征响应图加权融合为一张最终响应图，在最终响应图中找到最大峰值为Peakmax，则确定当前帧中最大峰值处即为目标出现的位置中心；
(33)使用所得的Peakmax计算MPR值，决定是否对目标区域进行更新：
然后对所得的MPR值进行判断，若大于初始化MPR阈值，则对目标多通道特征融合模型和特征的权值系数进行更新，若小于初始化MPR阈值，则不更新；
(34)若步骤(33)判断结果需要对目标多通道特征融合模型和特征的权值系数进行更新，更新的策略采用自适应加权融合，这是一种基于MPR实时调整各特征融合系数的策略，首先由步骤(33)统计各特征响应的峰值并计算MPR值进行比较，某个特征所得的MPR值最大，则说明该特征在确定目标位置的过程中占主导地位，当超过固定阈值0.7时，则按各个特征的MPR值的比例修改目标模型中的三个特征权值系数，则利用固定的学习因子系数重新更新每个特征的权值系数，具体计算过程首先得到各特征前后两帧的权值系数误差；
Diff表示各特征的权值误差，λpre表示前一帧的权值系数；
然后结合权值系数误差与前一帧的权值系数，计算更新后的权值系数：
其中λnew表示当前帧中更新后的权值系数。
再利用更新后的权值系数对目标多通道特征融合模型进行更新：
Mnew＝λnew_hogHhog+λnew_cnHcn+λnew_conHcon
其中Mnew为更新后的模型，Hhog、Hcn、Hcon为当前帧中提取的特征。
所述学习因子系数α＝0.2。
本发明与现有技术相比的优点在于：
(1)本发明利用多通道特征融合建立的目标跟踪模型，可以利用各个特征对应不同场景条件的鲁棒性，从而解决在现有技术中单一特征无法克服多种环境因素对目标跟踪过程的干扰问题。本发明所采用的多通道特征包括CN特征、HOG特征和角点特征。CN特征可以有效应对目标外观发生改变的影响，例如形变和尺寸变化等；HOG特征可以解决环境光照变化对目标带来的干扰；角点特征主要应用在目标被部分遮挡后的场景下，可以对残留目标区域继续检测角点并进行跟踪。
(2)本发明对于多通道特征的融合机制不是简单的线性固定值加权，而是一种自适应权值融合的技术，可以根据每一帧图像中对目标的相关度计算结果，实时的自适应调节各通道权值大小，这种自适应的机制能够在复杂场景下自动调整选择何种特征作为主要的判断依据，从而有效提高应对各种环境影响因素的能力。
(3)本发明根据所采用的多特征融合机制，建立最大峰值比(Maximum PeakRatio，MPR)概念，通过统计各特征的响应峰值计算出对应峰值所在位置的MPR值。根据MPR能够有效判断各特征之间的相对置信度，从而排除一些非目标区域下出现的局部极大值的干扰，保证目标跟踪的计算精度。
(4)本发明建立一种目标特征模型的更新策略，利用所得的权值对模型的特征进行更新，从而保证在目标模型的特征可以随着环境的变化实时更新，能够调节不同场景下更精准的特征，减小在长期跟踪目标过程中所产生的误差累计，有效避免漂移现象的产生。
总之，本发明已经通过实验测试与其他现有的跟踪方法进行了对比，结果表明其跟踪性能得到较大提升，并且在某些具体的环境影响因素下效果有明显改善，另外本发明的计算速度上满足实时性要求，因此具有工程实用性。
附图说明
图1为本发明基于多通道特征的目标跟踪算法流程框架图；
图2为本发明的具体流程说明示意图；
图3为本发明算法“Ours”与其他算法对比整体一次通过评估成功率结果图；
图4为本发明算法“Ours”与其他算法对比形变因素的一次通过评估成功率结果图；
图5为本发明算法“Ours”与其他算法对比遮挡因素的一次通过评估成功率结果图；
图6为本发明算法“Ours”与其他算法对比目标尺寸变化的一次通过成功率结果图。
具体实施方式
下面结合附图及实施例对本发明进行详细说明。
本发明的主要框架是利用相关滤波的基本概念，计算各特征在前后两帧图像中目标区域的相关性。其中对于二维连续信号和离散信号相关性计算分别为：
其中f(τ,σ)和g(τ,σ)是一般二维连续信号，f(a,b)和g(a,b)是一般二维离散信号。
相关滤波则是找出相关性响应值最大的地方，但是在时域范围下进行卷积计算所耗费的时间较长，所以需要转换到频域下进行快速计算，通过快速傅里叶变化后卷积计算转化为点乘运算，从很大程度上降低了计算量，二维连续信号在傅里叶变化下计算形式为：
H(τ,σ)＝F(t,s)*G(t+τ,s+σ)
其中F(t,s)和G(t+τ，s+σ)为二维连续信号通过傅里叶变换后的结果，H(τ,σ)为两个二维连续信号卷积计算的结果。
本发明采用三种特征描述目标跟踪过程，各特征利用上式的原理，在频域下计算前后两帧图像中目标可能所在位置的相关度，可以节省计算量，从而加快计算速度。
如图1、2所示，本发明具体实现步骤如下：
(1)初始化各系数和目标特征模型
在第一帧图像中首先初始化选定目标区域，设目标区域矩阵为T：
其中aij为目标区域的图像各个像素值。
根据经验初始化设定MPR阈值为U＝0.5，初始化三种特征向量的权值系数分别为：HOG特征权值：CN特征权值：角点特征权值：
设第一帧中目标特征模型初始化为：
M0＝λ1Hhog+λ2Hcn+λ3Hcon
(2)扩展目标区域，利用循环矩阵密集采样
一般在目标区域附近采集与目标相同大小的样本都是随机采样，这样会导致样本之间很大概率存在大面积重叠，导致之后的计算量巨大。根据相关滤波的计算原理，可以采用循环矩阵对目标区域循环移位采样，从而可以得到大量的图像块，这个过程可以用置换矩阵P来实现，P矩阵如下所示：
对于步骤(1)中初始化的目标区域T而言，左乘一次置换矩阵P即PT表示整体像素值循环右移一次，而右乘一次置换矩阵P即TP表示整体像素值循环下移一次。所以PiTPj表示对目标区域右移i次后再下移j次得到的采样结果，因此可以通过循环移位得到大量的图像块区域。通过循环移位所得的图像块具有循环矩阵的特性，对各特征做卷积计算在傅里叶变换后可以变为点乘计算，这能够大大降低计算量，快速得到各图像块的相关度。
(3)计算各特征的响应值，归一化响应峰值
本发明采用HOG特征、CN特征和角点特征三种通道融合的机制。
提取HOG特征的主要步骤是：第一步对图像归一化，极大限度上克服光照的影响；第二步是利用一阶微分计算灰度梯度，一般是由8×8个像素为一个胞组，3×3个胞组为一个快，对每个胞组统计其梯度方向，并在9个方向上加权投影即可得到一个权值向量，将9个胞组向量串联，对于若干个块而言则可得到若干个这样的向量，形成的就是HOG特征Hhog。
提取CN特征的过程主要是将颜色域作为描述子，将图像RGB值与语义标签进行对应，赋给某块图像区域z1的颜色标签的概率，形成一个1×n维向量：
z1＝{R1，B2，…，Pn}
其中n为描述颜色的语义标签数，Pi代表该图像区域对应每一块标签的概率值。对于整个图像块T而言可以分解为m个图像区域zi，则对于整个T的CN特征Hcn表示为：
Hen＝＝[z1 z2 … zm]T
对于角点特征本发明采用的是Harri角点，它是由图像中一些几何结构的关节点构成，基本上都是线条之间产生的交点，它的基本原理是计算图像中每点与周围点变化率的平均值R：
R＝∑(I(x+u,y+v)-I(x,y))2
其中I(x+u,y+v)代表了点(x,y)邻域点的灰度值，通过变化可以将上式变化为一个协方差矩阵求角点特征值Hcon的问题：
Hcon＝dst(x,y)＝detM(x,y)-k*(trM(x,y))2
其中M(x,y)为点(x,y)的协方差矩阵，detM(x,y)表示将M(x,y)转化为行列式，k为固定系数，其值为0.01，trM(x,y)为M(x,y)的迹。
通过以上步骤就可以分别从图像块中提取三种特征，并与上一帧图像中建立的目标特征模型进行相关度计算，得到每种特征的响应图，因为在图像块上存在许多干扰项，所以一般的特征响应图存在一个最大峰值与若干个局部小峰值，为了尽可能减少其他峰值的影响，需要对响应图进行归一化处理：
其中Peaki表示特征响应图中的峰值，Peaki′为归一化后的峰值，Tanh()函数为双曲正切函数，通过映射可以拉伸极大值与其他值之间的距离，从而突出响应的最大峰值，抑制其他若干个小峰值的干扰。
然后统计三种特征分别对应的最大响应分别为：
{Peakhog,Peakcn,Peakcon}
(4)融合各特征响应图，找到最大响应峰值
利用(1)中初始化的权值系数或(6)中更新的权值系数，对(3)中三个通道的特征响应图进行线性加权融合，在最终的响应图中找到最大响应峰值为Peakmax，则可以确定当前帧中最大响应峰值处即为目标出现的位置中心，因此就可以利用多通道融合的办法完成目标跟踪。
(5)计算MPR值，决定是否对目标区域进行更新
通过(4)中所得的最大响应峰值Peakmax和(3)中所得的三种特征分别对应的最大响应值进行比值计算，得到新的MPR值：
然后对所得的MPR值进行判断，若大于初始阈值则对模型进行更新，若小于阈值则不更新：
其中Mnew为当前帧更新后的目标模型，Mpre为上一帧的目标模型，M为最终选取的目标模型。
(6)更新权值系数
若(5)中的目标特征模型已经完成更新，则利用固定的学习因子系数α＝0.2重新更新每个特征的权值系数。具体计算过程首先得到各特征前后两帧的权值系数误差：
其中Diffhog、Diffcn、Diffcon为各个特征的MPR值与权值系数的差值，λpre_hog、λpre_cn、λpre_con为上一帧中各个特征对应的权值系数。
然后结合权值系数误差与前一帧的权值系数λpre，计算更新后的权值系数：
λnew_hog、λnew_cn、λnew_con为当前帧中更新后的权值系数。
至此就完成当前帧中确定目标所在位置中心和更新模型及系数的所有操作，利用当前帧的计算结果推导到下一帧中，即可完成视频流中对目标跟踪测长期跟踪。
如图3所示，本发明的算法命名为“Ours”，与其他几种目前性能比较优异的算法对比，以一次通过评估成功率图为标准，可以看出本发明算法的跟踪性能超过其余几种算法，成功率排名第一。图表题目“Success plots of OPE”为一次通过评估成功率，图表横坐标“Overlap threshold”为不同的通过阈值，图表纵坐标“Success rates”为成功率。图中“Ours”为本文算法，“Struck”“TLD”“MIL”“CT”“SMS”为目前几种比较流行的算法名称，下同。
如图4所示，本发明的算法“Ours”与其他几种算法在形变的环境因素的对比图，可以看出由于本算法采用的HOG特征，对于目标形变有着很好的鲁棒性，在目标发生形变的情况下有着较高的精度。图表题目“Success plots of OPE-deformation”为目标形变情况下的一次通过评估成功率，图表横坐标“Overlap threshold”为不同的通过阈值，图表纵坐标“Success rates”为成功率。
如图5所示，本发明的算法“Ours”与其他几种算法在遮挡的环境因素的对比图，可以看出由于本算法采用的角点特征，在部分遮挡的环境因素下仍然可以对目标部分区域保持跟踪，在图示的结果中有着较高的精度。图表题目“Success plots of OPE-occlusion”为遮挡情况下的一次通过评估成功率，图表横坐标“Overlap threshold”为不同的通过阈值，图表纵坐标“Success rates”为成功率。
如图6所示，本发明的算法“Ours”与其他几种算法在目标尺寸变化的因素的对比图，可以看出由于本算法采用CN特征，由于在目标尺寸变化的情况下，CN特征仍然保持很好的稳定性，所以相比于其他算法有着较高的精度。图表题目“Success plots of OPE-scalevariation”为目标尺寸变化情况下的一次通过评估成功率，图表横坐标“Overlapthreshold”为不同的通过阈值，图表纵坐标“Success rates”为成功率。
通过实验证明这种基于多通道特征融合的相关滤波算法无论是跟踪性能还是计算速度上都有较好的表现。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。
Claims (6)
1.一种基于多通道特征的高速相关滤波目标跟踪方法，其特征在于步骤如下：
(1)在视频流中取出一帧图像，确定目标所在区域，并初始化最大峰值比MPR的阈值，同时初始化三个特征融合的权值系数，并根据初始化的三个特征融合权值系数，线性求和融合成目标初始模型，完成构建目标多通道特征融合模型的过程；所述三个特征分别为HOG特征、CN特征和角点特征；
(2)在下一帧图像中，以步骤(1)中所确定目标所在区域的位置中心周围，以固定系数扩展目标区域，密集采样得到20至30个图像块；
(3)在步骤(2)采集的图像块中提取HOG、CN和角点特征，分别进行高速相关滤波计算，所述高速相关滤波具体操作是将时域下两个矩阵相关度的计算过程，通过快速傅里叶变换到频域后，进行点积运算快速得到结果；统计三个特征的计算结果，形成各自对应的滤波响应图，统计每个滤波响应图中的响应峰值，并对三个特征的响应峰值进行归一化处理；再使用步骤(1)中初始化的权值系数对HOG、CN和角点特征的响应图加权融合为最终响应图，找到融合后的最大峰值处即可确定目标最终所在位置；然后在所得的最终响应图中以最大峰值为基数，计算各特征的响应峰值与最大峰值的比值，用初始化MPR阈值对所述的比值进行比较，若大于初始化MPR阈值，则对目标多通道特征融合模型进行更新，反之则不更新；实施更新过程，则利用所得到的比值，在固定的学习因子系数下重新分配各特征所对应的归一化系数，完成三个特征的权值系数的自适应更新过程，并将更新后的目标多通道特征融合模型和三个特征的权值系数传递给下一帧图像继续目标跟踪，最终完成目标跟踪任务。
2.根据权利要求1所述的基于多通道特征的高速相关滤波目标跟踪方法，其特征在于：所述步骤(1)中，初始化MPR阈值为0.7。
3.根据权利要求1所述的基于多通道特征的高速相关滤波目标跟踪方法，其特征在于：所述步骤(1)构建目标多通道特征融合模型过程为：初始化三个特征量的权值系数分别为按照此系数将三个特征融合，即构建整个目标多通道特征融合模型为：
M0＝λ1Hhog+λ2Hcn+λ3Hcon
其中M0表示初始目标模型，Hhog，Hcn，Hcon分别表示HOG、CN和角点特征。
4.根据权利要求1所述的基于多通道特征的高速相关滤波目标跟踪方法，其特征在于：所述步骤(2)的图像块采集方法为循环移位采样，循环移位采样公式表示为：
T(i,j)＝PiTPj
其中T(i,j)表示图像块T右移i次后再下移j次得到的循环图像块，P表示循环单位阵。
5.根据权利要求1所述的基于多通道特征的高速相关滤波目标跟踪方法，其特征在于：所述步骤(3)中，具体实现为：
(31)对图像块分别提取HOG、CN和角点特征，并转换到频域中，计算与初始图像各特征的相关度，得到三个特征的响应图，统计三个特征的响应图中的响应峰值Peakhog，Peakcn，Peakcon，并对每个特征响应图中的所有响应峰值进行归一化：
<mrow>
<msubsup>
<mi>Peak</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<mo>=</mo>
<mi>T</mi>
<mi>a</mi>
<mi>n</mi>
<mi>h</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msub>
<mi>Peak</mi>
<mi>i</mi>
</msub>
</mrow>
<mrow>
<msub>
<mi>&Sigma;Peak</mi>
<mi>i</mi>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mi>&mu;</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mn>1</mn>
</mrow>
其中Peaki为若干个响应峰值，Peak′i为归一化后的响应峰值大小，Tanh()为双曲正切函数，μ为平移因子，取值为0.5；
(32)将所得的三个特征响应图加权融合为一张最终响应图，在最终响应图中找到最大峰值为Peakmax，则确定当前帧中最大峰值处即为目标出现的位置中心；
(33)使用所得的Peakmax计算MPR值，决定是否对目标区域进行更新：
<mrow>
<mi>M</mi>
<mi>P</mi>
<mi>R</mi>
<mo>=</mo>
<msub>
<mrow>
<mo>{</mo>
<mfrac>
<mrow>
<msub>
<mi>Peak</mi>
<mrow>
<mi>h</mi>
<mi>o</mi>
<mi>g</mi>
</mrow>
</msub>
</mrow>
<mrow>
<msub>
<mi>Peak</mi>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
</mrow>
</msub>
</mrow>
</mfrac>
<mo>,</mo>
<mfrac>
<mrow>
<msub>
<mi>Peak</mi>
<mrow>
<mi>c</mi>
<mi>n</mi>
</mrow>
</msub>
</mrow>
<mrow>
<msub>
<mi>Peak</mi>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
</mrow>
</msub>
</mrow>
</mfrac>
<mo>,</mo>
<mfrac>
<mrow>
<msub>
<mi>Peak</mi>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>n</mi>
</mrow>
</msub>
</mrow>
<mrow>
<msub>
<mi>Peak</mi>
<mi>max</mi>
</msub>
</mrow>
</mfrac>
<mo>}</mo>
</mrow>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
</mrow>
</msub>
</mrow>
然后对所得的MPR值进行判断，若大于初始化MPR阈值，则对目标多通道特征融合模型和特征的权值系数进行更新，若小于初始化MPR阈值，则不更新；
(34)若步骤(33)判断结果需要对目标多通道特征融合模型和特征的权值系数进行更新，更新的策略采用自适应加权融合，是一种基于MPR实时调整各特征融合系数的策略，首先由步骤(33)统计各特征响应的峰值并计算MPR值进行比较，某个特征所得的MPR值最大，则说明该某个特征在确定目标位置的过程中占主导地位，当超过固定阈值0.7时，则按各个特征的MPR值的比例修改目标模型中的三个权值系数，则利用固定的学习因子系数重新更新每个特征的权值系数，具体计算过程首先得到各特征前后两帧的权值系数误差；
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mi>D</mi>
<mi>i</mi>
<mi>f</mi>
<msub>
<mi>f</mi>
<mrow>
<mi>h</mi>
<mi>o</mi>
<mi>g</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>Peak</mi>
<mrow>
<mi>h</mi>
<mi>o</mi>
<mi>g</mi>
</mrow>
</msub>
</mrow>
<mrow>
<msub>
<mi>Peak</mi>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
</mrow>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<msub>
<mi>&lambda;</mi>
<mrow>
<mi>p</mi>
<mi>r</mi>
<mi>e</mi>
<mo>_</mo>
<mi>h</mi>
<mi>o</mi>
<mi>g</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>Diff</mi>
<mrow>
<mi>c</mi>
<mi>n</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>Peak</mi>
<mrow>
<mi>c</mi>
<mi>n</mi>
</mrow>
</msub>
</mrow>
<mrow>
<msub>
<mi>Peak</mi>
<mi>max</mi>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<msub>
<mi>&lambda;</mi>
<mrow>
<mi>p</mi>
<mi>r</mi>
<mi>e</mi>
<mo>_</mo>
<mi>c</mi>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>Diff</mi>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>n</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>Peak</mi>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>n</mi>
</mrow>
</msub>
</mrow>
<mrow>
<msub>
<mi>Peak</mi>
<mi>max</mi>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<msub>
<mi>&lambda;</mi>
<mrow>
<mi>p</mi>
<mi>r</mi>
<mi>e</mi>
<mo>_</mo>
<mi>c</mi>
<mi>o</mi>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
Diff表示各特征的权值误差，λpre表示前一帧的权值系数；
然后结合权值系数误差与前一帧的权值系数，计算更新后的权值系数：
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<msub>
<mi>&lambda;</mi>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>w</mi>
<mo>_</mo>
<mi>h</mi>
<mi>o</mi>
<mi>g</mi>
</mrow>
</msub>
<mo>=</mo>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>&alpha;</mi>
<mo>)</mo>
<msub>
<mi>&lambda;</mi>
<mrow>
<mi>p</mi>
<mi>r</mi>
<mi>e</mi>
<mo>_</mo>
<mi>h</mi>
<mi>o</mi>
<mi>g</mi>
</mrow>
</msub>
<mo>+</mo>
<mi>&alpha;</mi>
<mi>D</mi>
<mi>i</mi>
<mi>f</mi>
<msub>
<mi>f</mi>
<mrow>
<mi>h</mi>
<mi>o</mi>
<mi>g</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>&lambda;</mi>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>w</mi>
<mo>_</mo>
<mi>c</mi>
<mi>n</mi>
</mrow>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>&alpha;</mi>
<mo>)</mo>
</mrow>
<msub>
<mi>&lambda;</mi>
<mrow>
<mi>p</mi>
<mi>r</mi>
<mi>e</mi>
<mo>_</mo>
<mi>c</mi>
<mi>n</mi>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>&alpha;Diff</mi>
<mrow>
<mi>c</mi>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>&lambda;</mi>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>w</mi>
<mo>_</mo>
<mi>c</mi>
<mi>o</mi>
<mi>n</mi>
</mrow>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>&alpha;</mi>
<mo>)</mo>
</mrow>
<msub>
<mi>&lambda;</mi>
<mrow>
<mi>p</mi>
<mi>r</mi>
<mi>e</mi>
<mo>_</mo>
<mi>c</mi>
<mi>o</mi>
<mi>n</mi>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>&alpha;Diff</mi>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>n</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
其中λnew表示当前帧中更新后的权值系数；
再利用更新后的权值系数对目标多通道特征融合模型进行更新：
Mnew＝λnew_hogHhog+λnew_cnHcn+λnew_conHcon
其中Mnew为更新后的模型，Hhog、Hcn、Hcon为当前帧中提取的特征。
6.根据权利要求5所述的基于多通道特征的高速相关滤波目标跟踪方法，其特征在于：所述学习因子系数α＝0.2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711419446.8A CN108053425B (zh) | 2017-12-25 | 2017-12-25 | 一种基于多通道特征的高速相关滤波目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711419446.8A CN108053425B (zh) | 2017-12-25 | 2017-12-25 | 一种基于多通道特征的高速相关滤波目标跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108053425A true CN108053425A (zh) | 2018-05-18 |
| CN108053425B CN108053425B (zh) | 2018-10-26 |
Family
ID=62131738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711419446.8A Active CN108053425B (zh) | 2017-12-25 | 2017-12-25 | 一种基于多通道特征的高速相关滤波目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108053425B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816693A (zh) * | 2019-01-28 | 2019-05-28 | 中国地质大学（武汉） | 基于多峰响应的抗遮挡相关滤波跟踪方法及系统/装置 |
| CN109887004A (zh) * | 2019-02-26 | 2019-06-14 | 华南理工大学 | 一种基于tld算法的无人船海域目标跟踪方法 |
| CN112329784A (zh) * | 2020-11-23 | 2021-02-05 | 桂林电子科技大学 | 一种基于时空感知及多峰响应的相关滤波跟踪方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100322534A1 (en) * | 2009-06-09 | 2010-12-23 | Colorado State University Research Foundation | Optimized correlation filters for signal processing |
| WO2015163830A1 (en) * | 2014-04-22 | 2015-10-29 | Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi | Target localization and size estimation via multiple model learning in visual tracking |
| CN105279772A (zh) * | 2015-10-23 | 2016-01-27 | 中国运载火箭技术研究院 | 一种红外序列图像的可跟踪性判别方法 |
| CN105894538A (zh) * | 2016-04-01 | 2016-08-24 | 海信集团有限公司 | 一种目标跟踪方法和装置 |
| CN106557774A (zh) * | 2015-09-29 | 2017-04-05 | 南京信息工程大学 | 多通道核相关滤波的实时跟踪方法 |
| CN106651913A (zh) * | 2016-11-29 | 2017-05-10 | 开易（北京）科技有限公司 | 基于相关滤波和颜色直方图统计的目标跟踪方法及adas系统 |
| CN106898015A (zh) * | 2017-01-17 | 2017-06-27 | 华中科技大学 | 一种基于自适应子块筛选的多线索视觉跟踪方法 |
| CN107169994A (zh) * | 2017-05-15 | 2017-09-15 | 上海应用技术大学 | 基于多特征融合的相关滤波跟踪方法 |
| CN107240122A (zh) * | 2017-06-15 | 2017-10-10 | 国家新闻出版广电总局广播科学研究院 | 基于时空连续相关滤波的视频目标跟踪方法 |
| CN107316316A (zh) * | 2017-05-19 | 2017-11-03 | 南京理工大学 | 基于多特征自适应融合和核相关滤波技术的目标跟踪方法 |
-
2017
- 2017-12-25 CN CN201711419446.8A patent/CN108053425B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100322534A1 (en) * | 2009-06-09 | 2010-12-23 | Colorado State University Research Foundation | Optimized correlation filters for signal processing |
| WO2015163830A1 (en) * | 2014-04-22 | 2015-10-29 | Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi | Target localization and size estimation via multiple model learning in visual tracking |
| CN106557774A (zh) * | 2015-09-29 | 2017-04-05 | 南京信息工程大学 | 多通道核相关滤波的实时跟踪方法 |
| CN105279772A (zh) * | 2015-10-23 | 2016-01-27 | 中国运载火箭技术研究院 | 一种红外序列图像的可跟踪性判别方法 |
| CN105894538A (zh) * | 2016-04-01 | 2016-08-24 | 海信集团有限公司 | 一种目标跟踪方法和装置 |
| CN106651913A (zh) * | 2016-11-29 | 2017-05-10 | 开易（北京）科技有限公司 | 基于相关滤波和颜色直方图统计的目标跟踪方法及adas系统 |
| CN106898015A (zh) * | 2017-01-17 | 2017-06-27 | 华中科技大学 | 一种基于自适应子块筛选的多线索视觉跟踪方法 |
| CN107169994A (zh) * | 2017-05-15 | 2017-09-15 | 上海应用技术大学 | 基于多特征融合的相关滤波跟踪方法 |
| CN107316316A (zh) * | 2017-05-19 | 2017-11-03 | 南京理工大学 | 基于多特征自适应融合和核相关滤波技术的目标跟踪方法 |
| CN107240122A (zh) * | 2017-06-15 | 2017-10-10 | 国家新闻出版广电总局广播科学研究院 | 基于时空连续相关滤波的视频目标跟踪方法 |
Non-Patent Citations (5)
| Title |
|---|
| XIAOQIN ZHOU ET AL.: "Multi-channel Features Spatio-Temporal Context Learning for Visual Tracking", 《IEEE ACCESS》 * |
| YANG RUAN，ZHENZHONG WEI: "Extended kernelised correlation filter tracking", 《ELECTRONICS LETTERS》 * |
| 杨阳 等: "基于多特征融合的显著性跟踪算法", 《科学技术与工程》 * |
| 潘振福 朱永利: "多尺度估计的核相关滤波器目标跟踪方法", 《激光与光电子学进展》 * |
| 赵璐璐: "基于相关滤波的目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816693A (zh) * | 2019-01-28 | 2019-05-28 | 中国地质大学（武汉） | 基于多峰响应的抗遮挡相关滤波跟踪方法及系统/装置 |
| CN109887004A (zh) * | 2019-02-26 | 2019-06-14 | 华南理工大学 | 一种基于tld算法的无人船海域目标跟踪方法 |
| CN112329784A (zh) * | 2020-11-23 | 2021-02-05 | 桂林电子科技大学 | 一种基于时空感知及多峰响应的相关滤波跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108053425B (zh) | 2018-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lee et al. | Simultaneous traffic sign detection and boundary estimation using convolutional neural network | |
| CN109800689B (zh) | 一种基于时空特征融合学习的目标跟踪方法 | |
| Dong et al. | Ellipse R-CNN: Learning to infer elliptical object from clustering and occlusion | |
| KR102175491B1 (ko) | 상관 필터 기반 객체 추적 방법 | |
| US9558396B2 (en) | Apparatuses and methods for face tracking based on calculated occlusion probabilities | |
| CN107424171B (zh) | 一种基于分块的抗遮挡目标跟踪方法 | |
| CN108062525B (zh) | 一种基于手部区域预测的深度学习手部检测方法 | |
| CN107564034A (zh) | 一种监控视频中多目标的行人检测与跟踪方法 | |
| CN110120065B (zh) | 一种基于分层卷积特征和尺度自适应核相关滤波的目标跟踪方法及系统 | |
| CN106952294B (zh) | 一种基于rgb-d数据的视频跟踪方法 | |
| CN111582349B (zh) | 一种基于YOLOv3和核相关滤波改进的目标跟踪算法 | |
| CN108961308B (zh) | 一种漂移检测的残差深度特征目标跟踪方法 | |
| CN113592911B (zh) | 表观增强深度目标跟踪方法 | |
| CN111915644B (zh) | 孪生导向锚框rpn网络的实时目标跟踪方法 | |
| CN108053425B (zh) | 一种基于多通道特征的高速相关滤波目标跟踪方法 | |
| CN109087337B (zh) | 基于分层卷积特征的长时间目标跟踪方法及系统 | |
| CN110472577A (zh) | 一种基于自适应相关滤波的长时视频跟踪方法 | |
| CN115335872A (zh) | 目标检测网络的训练方法、目标检测方法及装置 | |
| CN111429481B (zh) | 一种基于自适应表达的目标追踪方法、装置及终端 | |
| CN112991394B (zh) | 基于三次样条插值和马尔科夫链的kcf目标跟踪方法 | |
| CN109949344A (zh) | 一种基于颜色概率目标建议窗口的核相关滤波跟踪方法 | |
| CN112613565B (zh) | 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法 | |
| CN103996207A (zh) | 一种物体跟踪方法 | |
| US20230419510A1 (en) | Object tracking device, object tracking method, and recording medium | |
| CN108665470B (zh) | 一种交互式轮廓提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |