CN108596048A - 一种基于相关滤波器的目标跟踪检测方法 - Google Patents
一种基于相关滤波器的目标跟踪检测方法 Download PDFInfo
- Publication number
- CN108596048A CN108596048A CN201810292983.9A CN201810292983A CN108596048A CN 108596048 A CN108596048 A CN 108596048A CN 201810292983 A CN201810292983 A CN 201810292983A CN 108596048 A CN108596048 A CN 108596048A
- Authority
- CN
- China
- Prior art keywords
- hog
- target
- frame
- picture
- search domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于相关滤波器的目标跟踪检测方法,属于计算机视觉技术领域,其主要思路为:获取一个视频,所述视频包括T帧图片,每帧图片中分别包含一个目标,其中第1帧图片上目标位置已知,剩余T‑1帧图片上各自目标位置未知;然后计算T帧图片目标搜索域区域;分别得到第1帧图片目标搜索域区域的HOG特征向量fHOG,1至第T帧图片目标搜索域区域的HOG特征向量fHOG,T;计算第t帧图片的HOG特征响应矩阵和第t帧图片的HOG特征响应矩阵中的最大值,进而得到第t帧图片的目标中心点t∈{2,3,…,T},直到得到第2帧图片的目标中心点至第T帧图片的目标中心点以及根据第1帧图片上目标位置得到第1帧图片的目标中心点实现了T帧图片中每个目标的实时跟踪。
Description
技术领域
本发明属于计算机视觉技术领域,特别涉及一种基于相关滤波器的目标跟踪检测方法,适应于实际应用。
背景技术
视频目标跟踪是计算机视觉领域的重要研究课题,其定义是:给定视频序列初始帧中目标的位置框,在接下来的视频序列中自动给出该目标的位置框.视频目标跟踪研究在视频监控、人机交互、机器人等领域有广泛应用。
经过30多年研究与发展,大量视频目标跟踪算法相继提出,早期工作主要集中于生成学习跟踪方法研究,如Lucas—Kanade算法、Kalman滤波算法和Mean—shift跟踪算法等;但早期研究工作通过经典的数学模型难以准确把握目标的动态表观信息,因此经常导致若干帧后跟踪失败;接着,研究人员尝试在跟踪问题中引入包含考量背景信息在内的鉴别学习方法,以判别分类角度为出发点的鉴别学习跟踪算法得到了广泛研究和发展;如2009年B.Babenko等提出在线多例学习跟踪算法(MIL)与S.Hare建立的利用核方法的结构化输出模型(Struck);基于相关滤波视频目标跟踪算法近年来受到广泛关注,其初衷是设计一个对目标高响应、同时对背景低响应的滤波器,由此实现对目标模式的快速检测;该方法本身可以有效实现对目标定位,但是对训练样本提出了数量要求,直至Bolme在2010年提出了最小平方误差输出总和滤波器(MOSSE),该状况得以改善;利用自适应训练框架,MOSSE实现了鲁棒高效的跟踪模式,在MOSSE基础上,出现了大量改进算法;如Henriques等于2012年构建的循环结构检测跟踪算法(CSK)和于2015年提出的核化相关滤波器算法。
但是目前的相关滤波算法仍然有一些不足之处,如对快速物体与形变物体进行目标跟踪时容易丢失目标;对运动中的物体进行目标跟踪时容易发生中心点偏移导致目标获取不准确。
发明内容
针对上述现有技术存在的缺点,本发明的目的在于提出一种基于相关滤波器的目标跟踪检测方法,该种基于相关滤波器的目标跟踪检测方法对目标响应最大值设定了一个阈值,大于该阈值时,该目标响应最大值的位置就是目标中心点;小于该阈值时,对目标进行重新定位。
为达到上述技术目的,本发明采用如下技术方案予以实现。
一种基于相关滤波器的目标跟踪检测方法,包括以下步骤:
步骤1,获取一个视频,所述视频包括T帧图片,每帧图片中分别包含一个目标,其中第1帧图片上目标位置已知,剩余T-1帧图片上各自目标位置未知;然后计算T帧图片目标搜索域区域;其中,T为大于或等于2的正整数;
步骤2,对第t'帧图片目标搜索域区域分别进行HOG特征提取,得到第t'帧图片目标搜索域区域的HOG特征向量fHOG,t';1≤t′≤T,t'的初始值为1;
步骤3,令t'的值分别取1至T,重复步骤2,进而分别得到第1帧图片目标搜索域区域的HOG特征向量fHOG,1至第T帧图片目标搜索域区域的HOG特征向量fHOG,T;
初始化:令t∈{2,3,…,T},令表示第t帧图片目标搜索域区域,t的初始值为2;设定常量阈值为
步骤4,确定相关滤波器,并将第t帧图片目标搜索域区域的HOG特征向量fHOG,t作为相关滤波器的输入,计算第t帧图片的HOG特征响应矩阵即为相关滤波器的输出,进而得到第t帧图片的HOG特征响应矩阵中的最大值;
步骤5,根据第t帧图片的HOG特征响应矩阵中的最大值与和常量阈值得到第t帧图片的目标中心点
步骤6,令t的值加1,返回步骤4,直到得到第T帧图片的目标中心点后结束跟踪,至此得到了第2帧图片的目标中心点至第T帧图片的目标中心点以及根据第1帧图片上目标位置得到第1帧图片的目标中心点实现了T帧图片中每个目标的实时跟踪。
本发明的有益效果:
本发明提出了一种基于相关滤波器的改进方法,在得到目标响应矩阵的最大值后用阈值进行判断,是否进行再检测,提高了目标获取的精确度;针对算法中的重要函数,将某个常数改变为高斯分布矩阵,使该函数更平滑。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细说明。
图1为本发明的一种基于相关滤波器的目标跟踪检测方法流程图;
图2为自适应搜索域的原理图;
图3为HOG特征提取的原理图;
图4a为使用传统算法后视频的第1帧图片示意图;
图4b为使用传统算法后视频的第25帧图片示意图;
图4c为使用传统算法后视频的第29帧图片示意图;
图4d为使用传统算法后视频的第38帧图片示意图;
图5a为使用本发明方法后视频的第1帧图片示意图;
图5b为使用本发明方法后视频的第25帧图片示意图;
图5c为使用本发明方法后视频的第29帧图片示意图;
图5d为使用本发明方法后视频的第38帧图片示意图。
具体实施方式
参照图1,为本发明的一种基于相关滤波器的目标跟踪优化方法流程图;其中所述基于相关滤波器的目标跟踪再检测方法,包括以下步骤:
步骤1,计算搜索域的大小。
利用熵的性质自动选择搜索域的大小;首先,输入一个视频,所述视频包括T帧图片,每帧图片中分别包含一个目标,其中第1帧图片上目标位置是已知的,剩余T-1帧图片上各自目标位置都是未知的;第1帧图片上目标大小为q1,计算第1帧图片上目标的熵E(q1),p1i表示第1帧图片内灰度值i在q1中出现的概率,b1表示第1帧图片中的灰度值最大值,本实施例中b1取值为255。
确定第2帧图片上目标搜索域区域初始值为s0,s0=O×q1,O为大于0的正整数,本实施例O取值为3。
1.1计算得到第1帧图片上目标的熵E(q1)与第2帧图片上第k-1次更新后目标搜索域区域的熵E(sk-1)之间的比R(k-1),其表达式为:
R(k-1)=E(q1)/E(sk-1) (1)
其中,1≤k≤K,K为设定的搜索域更新次数最大值,本实施例K取值为9;k的初始值为1,sk-1表示第2帧图片上第k-1次更新后目标搜索域区域,pk-1,2,l表示第2帧图片内灰度值l在sk-1中出现的概率,log2表示底数为2的对数,b2表示第2帧图片中的灰度值最大值,本实施例中b2取值为255。
1.2令k的值加1,且令sk-1=sk-2-Q,返回1.1,直到得到第1帧图片上目标的熵E(q1)与第2帧图片上第K-1次更新后搜索域的熵E(sK-1)之间的比R(K-1)或者sk-1=1.2q1时停止更新,将停止更新时对应的第1帧图片上目标的熵与第2帧图片上第k-1次更新后搜索域的熵之间的比,记为第1帧图片上目标的熵E(q1)与第2帧图片上第k'次更新后搜索域的熵E(sk')之间的比R(k'),1≤k'≤K,k'表示停止更新时对应的更新次数,Q为设定常数,0<Q<1,本实施例中Q取值为0.2。
1.3根据第1帧图片上目标的熵E(q1)与第2帧图片上第k'次更新后目标搜索域区域的熵E(sk')之间的比R(k'),并通过如下公式得到第2帧图片上的最优目标搜索域区域,记为第2帧图片目标搜索域区域
其中,表示取最小时对应的j值,
R(j-1)表示第1帧图片上目标的熵E(q1)与第2帧图片上第j-1次更新后目标搜索域区域的熵E(sj-1)之间的比,表示第2帧图片目标搜索域区域的最优更新次数,Q为设定常数,0<Q<1,本实施例中Q取值为0.2;O表示设定整数,O>1,本实施例中O取值为3;结果如图2所示。
令第1帧图片目标搜索域区域q1表示第1帧图片上目标大小。
1.4令表示第t帧图片目标搜索域区域,表示第2帧图片目标搜索域区域的最优更新次数,qt-1表示第t-1帧图片上目标大小,t∈{2,3,…,T}。
1.5令t的值从2取至T,重复执行1.4,直到得到第T帧图片目标搜索域区域将第2帧图片目标搜索域区域至第T帧图片目标搜索域区域以及第1帧图片目标搜索域区域记为T帧图片目标搜索域区域,然后将t的值初始化为2。
步骤2,提取第t'帧图片目标搜索域区域的特征,具体为对第t'帧图片目标搜索域区域进行方向梯度直方图(HOG)特征提取,1≤t′≤T,t'的初始值为1。
HOG特征的提取过程如图3所示;首先,对第t'帧图片目标搜索域区域进行灰度化,得到灰度化后第t'帧图片目标搜索域区域;然后采用Gamma校正法对灰度化后第t'帧图片目标搜索域区域进行颜色空间的标准化,目的是调节灰度化后第t帧图片目标搜索域区域的对比度,降低灰度化后第t'帧图片目标搜索域区域局部的阴影和光照变化所造成的影响,同时抑制噪音的干扰,进而得到Gamma校正法后第t'帧图片目标搜索域区域,所述Gamma校正法后第t'帧图片目标搜索域区域中包括A×B个像素,A表示Gamma校正法后第t'帧图片目标搜索域区域的高,B表示Gamma校正法后第t'帧图片目标搜索域区域的宽;再计算Gamma校正法后第t'帧图片目标搜索域区域中A×B个像素的梯度,得到A×B个像素的梯度值,得到A×B个像素的梯度值主要是为了捕获轮廓信息,同时进一步弱化光照的干扰;A、B分别为大于0的正整数。
接着,将Gamma校正法后第t'帧图片目标搜索域区域中每C×C个像素分别作为一个单元cell,进而得到E个单元cell,表示向下取整,本实施例中C取值为6;确定每个单元cell包含H个梯度方向,本实施例中H取值为8;将每个单元cell的H个梯度方向分别记为对应单元cell的梯度直方图,进而得到E个单元cell的梯度直方图,每个单元cell的梯度直方图都为H×1维;将E个单元cell的梯度直方图作为E个单元cell的特征描述符;C、H分别为大于0的正整数。
将E个单元cell中每D×D个单元cell分别组成一个块block,本实施例中D取值为2;进而得到F个块block,表示向下取整;将每个块block内D×D个单元cell的特征描述符分别依次串接起来,进而得到F个块block的HOG特征描述符,所述F个块block的HOG特征描述符都为H×D维;最后将F个块block的HOG特征描述符依次串接起来,得到第t'帧图片的HOG特征描述符,所述第t'帧图片的HOG特征描述符为H×D×F维;将第t'帧图片的HOG特征描述符按照块block个数维依次串接,形成H×D维矩阵,所述H×D维矩阵为第t'帧图片目标搜索域区域的HOG特征向量fHOG,t',所述第t'帧图片目标搜索域区域的HOG特征向量fHOG,t'是可供分类使用特征向量;D、F分别为大于0的正整数。
步骤3,令t'的值分别取1至T,重复步骤2,进而分别得到第1帧图片目标搜索域区域的HOG特征向量fHOG,1至第T帧图片目标搜索域区域的HOG特征向量fHOG,T。
步骤4,获取相关滤波器。
确定相关滤波器,并将第t帧图片目标搜索域区域的HOG特征向量fHOG,t作为相关滤波器的输入,计算第t帧图片目标搜索域区域的最优HOG拟合代价系数进而得到计算第t帧图片目标搜索域区域的HOG系数矩阵aHOG,t,然后根据第t帧图片目标搜索域区域的HOG系数矩阵aHOG,t,计算第t帧图片的HOG特征响应矩阵 即为相关滤波器的输出;其具体过程如下所述:
令yt-1表示第t-1帧图片上目标大小qt-1的二维高斯分布矩阵,大小为Mt-1×Nt-1;第1帧图片上目标大小q1的二维高斯分布矩阵大小至第T-1帧图片上目标大小qT-1的二维高斯分布矩阵大小取值分别相等;令yt-1(m,n)表示二维高斯分布矩阵yt-1上坐标(m,n)处的值,0≤m≤Mt-1,0≤n≤Nt-1,则yt-1(m,n)的计算公式为:
其中,wt-1表示第t-1帧图片上目标大小qt-1的宽,ht-1表示第t-1帧图片上目标大小qt-1的高,exp表示指数函数。
计算得到第t帧图片目标搜索域区域的最优HOG拟合代价系数
其中,将满足时对应的值,记为第t帧图片目标搜索域区域的HOG拟合代价系数ωHOG,t;ε表示第一设定常数,本实施例中ε取值0.01;φ(xm,n)表示的核函数,表示第t帧图片目标搜索域区域的HOG特征向量fHOG,t中坐标(m1,n1)处的值,0≤m1≤H,0≤n1≤D;yt-1(m,n)表示二维高斯分布矩阵yt-1上坐标(m,n)处的值,0≤m≤Mt-1,0≤n≤Nt-1,Mt-1表示二维高斯分布矩阵yt-1的行数,Nt-1表示二维高斯分布矩阵yt-1的列数;λ表示固定的二维高斯分布矩阵,大小为M×N,其中心点大小为0.0001,从中心点往各个方向数值逐渐减小,第一行与最后一行、第一列与最后一列的数值均为零;将固定的二维高斯分布矩阵λ上坐标(m2,n2)处的值记为λ(m2,n2),其表达式为:
λ(m2,n2)=exp(-((m2-M/2)2+(n2-N/2)2)/σ2) (6)
其中,0≤m2≤M,0≤n2≤N,σ表示第二常数,本实施例中σ取值为1.956。
设定第t帧图片目标搜索域区域的HOG系数矩阵为aHOG,t,aHOG,t为Rt×Qt维,Rt与H取值相等,Qt与D取值相等。
第t帧图片目标搜索域区域的HOG拟合代价系数ωHOG,t可以通过快速傅里叶变化FFT加快计算,
其中,aHOG,t(m2,n2)表示第t帧图片目标搜索域区域的HOG系数矩阵aHOG,t中坐标(m2,n2)处的值,0≤m2≤Rt,0≤n2≤Qt;φ(m3,n3)表示第t帧图片目标搜索域区域的HOG系数矩阵aHOG,t中坐标(m3,n3)的核函数,0≤m3≤Rt,0≤n3≤Qt,m2与m3对应,n2与n3对应。
对第t帧图片目标搜索域区域的HOG系数矩阵aHOG,t进行快速傅里叶变换FFT:
其中,F(yt-1)表示对第t-1帧图片上目标大小qt-1的二维高斯分布矩阵yt-1做快速傅里叶变换FFT,φ(fHOG,t-1)表示第t-1帧图片目标搜索域区域的HOG特征向量fHOG,t-1的核函数,F(φ(fHOG,t-1)×φ(fHOG,t-1))表示对两个相乘后的核函数做快速傅里叶变换FFT;λ表示固定的二维高斯分布矩阵,大小为M×N;F(aHOG,t)表示对第t帧图片目标搜索域区域的HOG系数矩阵aHOG,t做快速傅里叶变换FFT。
只要将F(aHOG,t)做逆快速傅里叶变换IFFT就可得到第t帧图片目标搜索域区域的HOG系数矩阵aHOG,t。
再运用如下公式求得第t帧图片的HOG特征响应矩阵
其中,表示第t帧图片的目标模板,qg表示第g帧图片上的目标大小;表示第t帧图片目标搜索域区域的核函数,表示第t帧图片的目标模板的核函数,表示对和相乘后的结果进行快速傅里叶变换FFT,⊙表示点乘,表示对做逆快速傅立叶变换。
找到第t帧图片的HOG特征响应矩阵中的最大值,记为第t帧图片的HOG特征响应矩阵中的最大值YHOG,t。
步骤5,目标的再检测阶段。
通过HOG特征提取最终得到了第t帧图片的HOG特征响应矩阵中的最大值YHOG,t。
设定一个常量阈值本实施例中取0.85;设定一个可以存放V个矩阵大小的数组ah,其中每一个矩阵都和第t帧图片目标搜索域区域的HOG系数矩阵aHOG,t大小一样;数组ah的大小为H×D×V,4≤V≤6;当V小于4时,无法得到好的检测效果;当V大于6时,检测的速度会使算法的速度大幅降低;数组ah中的V个矩阵依次记为αah1,αah2,…,αahV。
当t取2至V+1时,将第2帧图片目标搜索域区域的HOG系数矩阵aHOG,2至第V+1帧图片目标搜索域区域的HOG系数矩阵aHOG,V+1分别对应作为数组ah中的V个矩阵,数组ah中的第1个矩阵αah1为第2帧图片目标搜索域区域的HOG系数矩阵aHOG,2,数组ah中的第2个矩阵αah2为第3帧图片目标搜索域区域的HOG系数矩阵aHOG,3,数组ah中的第V个矩阵αahV为第V+1帧图片目标搜索域区域的HOG系数矩阵aHOG,V+1;将第t帧图片的HOG特征响应矩阵中的最大值YHOG,t所在位置作为第t帧图片的目标中心点
当t≥V+2时,比较第t帧图片的HOG特征响应矩阵中的最大值YHOG,t与阈值的大小,若则将第t帧图片的HOG特征响应矩阵中的最大值YHOG,t所在位置作为第t帧图片的目标中心点并将第t帧图片目标搜索域区域的HOG系数矩阵aHOG,t与数组ah中的第γ个矩阵αahγ进行替换,2≤γ≤V,γ的初始值为2,令γ的值加1;当γ取值为V时,替换后γ的值变为2;其中,数组ah中的第1个矩阵αah1不会被替换。
若则利用式(8)的公式,将数组ah中的V个矩阵分别代入式(9)中计算得到V个响应矩阵,其中第u个响应矩阵为其表达式为:
其中,表示第t帧图片的目标模板,qg表示第g帧图片上的目标大小;表示第t帧图片目标搜索域区域的核函数,表示第t帧图片的目标模板的核函数,表示对和相乘后的结果进行快速傅里叶变换FFT,⊙表示点乘,表示对做逆快速傅立叶变换,F(aahu)表示对数组ah中的第u个矩阵αahu进行快速傅里叶变换FFT,1≤u≤V,V表示设定正整数,4≤V≤6。
然后分别找到V个响应矩阵中的最大值,分别记为第1个响应矩阵中的最大值Yah1、第2个响应矩阵中的最大值Yah2、…、第V个响应矩阵中的最大值YahV,比较V个响应矩阵中的最大值,选取其中最大的一个最大值所在位置作为第t帧图片的目标中心点
步骤6,令t的值加1,返回步骤4,直到得到第T帧图片的目标中心点后结束跟踪,至此得到了第2帧图片的目标中心点至第T帧图片的目标中心点以及根据第1帧图片上目标位置得到第1帧图片的目标中心点实现了T帧图片中每个目标的实时跟踪。
将一个100帧的视频作为输入的跟踪效果展示,原算法整个跟踪过程如图4a至图4d所示,优化后算法的整个跟踪过程如图5a至图5d所示;4a是使用传统算法后视频的第1帧图片示意图,在图4a上选取了想要跟踪的目标,在本视频中目标为一头鹿;图4b是使用传统算法后视频的第25帧图片示意图,鹿在河中奔跑,在25帧之前,原算法效果很好,但是25帧图片中明显看到跟踪鹿的目标中心点有所偏移;图4c是使用传统算法后视频的第29帧图片示意图,鹿仍在河中奔跑,原算法已经丢失目标;图4d是使用传统算法后视频的第38帧图片示意图,鹿仍在河中奔跑,原算法找回了目标鹿,并在接下去的视频中一直跟踪着这头鹿。
图5a是使用本发明方法后视频的第1帧图片示意图,在图5a上选取了想要跟踪的目标,在本视频中目标为一头鹿;图5b是使用本发明方法后视频的第25帧图片示意图,鹿在河中奔跑,本发明方法一直跟踪着鹿,目标中心点没有偏移;图5c是使用本发明方法后视频的第29帧图片示意图,鹿仍在河中奔跑,本发明方法仍实时跟踪着目标,没有丢失目标;图5d是使用本发明方法后视频的第38帧图片示意图,鹿仍在河中奔跑,本发明方法依然跟踪着目标,并在接下去的视频中一直跟踪着这头鹿。
通过图4a至图4d与图5a至图5d两组图片的比较,可以清晰地看出传统算法在目标发生快速跳跃时丢失了目标,当目标速度慢下来时才重新找回;本发明方法并没有因为目标的快速运动产生目标偏移或者目标丢失,一直效果良好地跟踪着目标,这就是本发明的优势所在。
比较传统算法和本发明方法可知,传统算法是对一个矩阵的每个数值增加相同数值,与高斯分布有一定差距;本发明方法是对矩阵的不同位置的数值增加不同大小的数值,越靠近中心增加的数值越大,这样增加了算法的鲁棒性;在得到输出矩阵后,对效果不好的输出结果进行再检测处理,得到效果更好的输出结果,防止目标丢失的发生,做到了目标跟踪再检测,解决了相关滤波目标跟踪算法的一个不足之处。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围;这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (5)
1.一种基于相关滤波器的目标跟踪检测方法,其特征在于,包括以下步骤:
步骤1,获取一个视频,所述视频包括T帧图片,每帧图片中分别包含一个目标,其中第1帧图片上目标位置已知,剩余T-1帧图片上各自目标位置未知;然后计算T帧图片目标搜索域区域;其中,T为大于或等于2的正整数;
步骤2,对第t'帧图片目标搜索域区域分别进行HOG特征提取,得到第t'帧图片目标搜索域区域的HOG特征向量fHOG,t';1≤t′≤T,t'的初始值为1;
步骤3,令t'的值分别取1至T,重复步骤2,进而分别得到第1帧图片目标搜索域区域的HOG特征向量fHOG,1至第T帧图片目标搜索域区域的HOG特征向量fHOG,T;
初始化:令t∈{2,3,…,T},令表示第t帧图片目标搜索域区域,t的初始值为2;设定常量阈值为
步骤4,确定相关滤波器,并将第t帧图片目标搜索域区域的HOG特征向量fHOG,t作为相关滤波器的输入,计算第t帧图片的HOG特征响应矩阵 即为相关滤波器的输出,进而得到第t帧图片的HOG特征响应矩阵中的最大值;
步骤5,根据第t帧图片的HOG特征响应矩阵中的最大值与和常量阈值得到第t帧图片的目标中心点
步骤6,令t的值加1,返回步骤4,直到得到第T帧图片的目标中心点后结束跟踪,至此得到了第2帧图片的目标中心点至第T帧图片的目标中心点以及根据第1帧图片上目标位置得到第1帧图片的目标中心点实现了T帧图片中每个目标的实时跟踪。
2.如权利要求1所述的一种基于相关滤波器的目标跟踪检测方法,其特征在于,在步骤1中,所述T帧图片目标搜索域区域,其过程为:
1.1计算得到第1帧图片上目标的熵E(q1)与第2帧图片上第k-1次更新后目标搜索域区域的熵E(sk-1)之间的比R(k-1),其表达式为:
R(k-1)=E(q1)/E(sk-1)
其中,1≤k≤K,K为设定的搜索域更新次数最大值;k的初始值为1,sk-1表示第2帧图片上第k-1次更新后目标搜索域区域,pk-1,2,l表示第2帧图片内灰度值l在sk-1中出现的概率,log2表示底数为2的对数,b2表示第2帧图片中的灰度值最大值;p1i表示第1帧图片内灰度值i在q1中出现的概率,b1表示第1帧图片中的灰度值最大值,q1表示第1帧图片上目标大小;
1.2令k的值加1,且令sk-1=sk-2-Q,返回1.1,直到得到第1帧图片上目标的熵E(q1)与第2帧图片上第K-1次更新后搜索域的熵E(sK-1)之间的比R(K-1)或者sk-1=1.2q1时停止更新,将停止更新时对应的第1帧图片上目标的熵与第2帧图片上第k-1次更新后搜索域的熵之间的比,记为第1帧图片上目标的熵E(q1)与第2帧图片上第k'次更新后搜索域的熵E(sk')之间的比R(k'),1≤k'≤K,k'表示停止更新时对应的更新次数;其中,Q为设定常数,0<Q<1;
1.3根据第1帧图片上目标的熵E(q1)与第2帧图片上第k'次更新后目标搜索域区域的熵E(sk')之间的比R(k'),并通过如下公式得到第2帧图片上的最优目标搜索域区域,记为第2帧图片目标搜索域区域
其中,表示取最小时对应的j值,R(j-1)表示第1帧图片上目标的熵E(q1)与第2帧图片上第j-1次更新后目标搜索域区域的熵E(sj-1)之间的比,表示第2帧图片目标搜索域区域的最优更新次数,Q为设定常数,0<Q<1;令第1帧图片目标搜索域区域 O表示设定整数,O>1;
1.4令表示第t帧图片目标搜索域区域,qt-1表示第t-1帧图片上目标大小,t∈{2,3,…,T};
1.5令t的值从2取至T,重复执行1.4,直到得到第T帧图片目标搜索域区域将第2帧图片目标搜索域区域至第T帧图片目标搜索域区域以及第1帧图片目标搜索域区域记为T帧图片目标搜索域区域,然后将t的值初始化为2。
3.如权利要求2所述的一种基于相关滤波器的目标跟踪检测方法,其特征在于,在步骤2中,所述第t'帧图片目标搜索域区域的HOG特征向量,其得到过程为:
2.1对第t'帧图片目标搜索域区域进行灰度化,得到灰度化后第t'帧图片目标搜索域区域;然后采用Gamma校正法对灰度化后第t'帧图片目标搜索域区域进行颜色空间的标准化,进而得到Gamma校正法后第t'帧图片目标搜索域区域,所述Gamma校正法后第t'帧图片目标搜索域区域中包括A×B个像素,A表示Gamma校正法后第t'帧图片目标搜索域区域的高,B表示Gamma校正法后第t'帧图片目标搜索域区域的宽;再计算Gamma校正法后第t'帧图片目标搜索域区域中A×B个像素的梯度,得到A×B个像素的梯度值;A、B分别为大于0的正整数;
2.2将Gamma校正法后第t'帧图片目标搜索域区域中每C×C个像素分别作为一个单元cell,进而得到E个单元cell, 表示向下取整;确定每个单元cell包含H个梯度方向;将每个单元cell的H个梯度方向分别记为对应单元cell的梯度直方图,进而得到E个单元cell的梯度直方图,每个单元cell的梯度直方图都为H×1维;将E个单元cell的梯度直方图作为E个单元cell的特征描述符;C、H分别为大于0的正整数;
2.3将E个单元cell中每D×D个单元cell分别组成一个块block,进而得到F个块block, 表示向下取整;将每个块block内D×D个单元cell的特征描述符分别依次串接起来,进而得到F个块block的HOG特征描述符,所述F个块block的HOG特征描述符都为H×D维;D、F分别为大于0的正整数;
将F个块block的HOG特征描述符依次串接起来,得到第t'帧图片的HOG特征描述符,所述第t'帧图片的HOG特征描述符为H×D×F维;将第t'帧图片的HOG特征描述符按照块block个数维依次串接,形成H×D维矩阵,所述H×D维矩阵为第t'帧图片目标搜索域区域的HOG特征向量fHOG,t'。
4.如权利要求3所述的一种基于相关滤波器的目标跟踪检测方法,其特征在于,在步骤4中,所述第t帧图片的HOG特征响应矩阵以及所述第t帧图片的HOG特征响应矩阵中的最大值,其得到过程为:
4.1令yt-1表示第t-1帧图片上目标大小qt-1的二维高斯分布矩阵,大小为Mt-1×Nt-1;第1帧图片上目标大小q1的二维高斯分布矩阵大小至第T-1帧图片上目标大小qT-1的二维高斯分布矩阵大小取值分别相等;令yt-1(m,n)表示二维高斯分布矩阵yt-1上坐标(m,n)处的值,0≤m≤Mt-1,0≤n≤Nt-1,则yt-1(m,n)的计算公式为:
其中,wt-1表示第t-1帧图片上目标大小qt-1的宽,ht-1表示第t-1帧图片上目标大小qt-1的高,exp表示指数函数;
计算得到第t帧图片目标搜索域区域的最优HOG拟合代价系数
其中,将满足时对应的值,记为第t帧图片目标搜索域区域的HOG拟合代价系数ωHOG,t;ε表示第一设定常数,φ(xm,n)表示的核函数,表示第t帧图片目标搜索域区域的HOG特征向量fHOG,t中坐标(m1,n1)处的值,0≤m1≤H,0≤n1≤D;yt-1(m,n)表示二维高斯分布矩阵yt-1上坐标(m,n)处的值,0≤m≤Mt-1,0≤n≤Nt-1,Mt-1表示二维高斯分布矩阵yt-1的行数,Nt-1表示二维高斯分布矩阵yt-1的列数;λ表示固定的二维高斯分布矩阵,大小为M×N,其中心点大小为0.0001,从中心点往各个方向数值逐渐减小,第一行与最后一行、第一列与最后一列的数值均为零;将固定的二维高斯分布矩阵λ上坐标(m2,n2)处的值记为λ(m2,n2),其表达式为:
λ(m2,n2)=exp(-((m2-M/2)2+(n2-N/2)2)/σ2)
其中,0≤m2≤M,0≤n2≤N,σ表示第二常数;
4.2设定第t帧图片目标搜索域区域的HOG系数矩阵为aHOG,t,aHOG,t为Rt×Qt维,Rt与H取值相等,Qt与D取值相等;
对第t帧图片目标搜索域区域的HOG系数矩阵aHOG,t进行快速傅里叶变换:
其中,F(yt-1)表示对第t-1帧图片上目标大小qt-1的二维高斯分布矩阵yt-1做快速傅里叶变换,φ(fHOG,t-1)表示第t-1帧图片目标搜索域区域的HOG特征向量fHOG,t-1的核函数,F(φ(fHOG,t-1)×φ(fHOG,t-1))表示对两个相乘后的核函数做快速傅里叶变换FFT;λ表示固定的二维高斯分布矩阵,大小为M×N;F(aHOG,t)表示对第t帧图片目标搜索域区域的HOG系数矩阵aHOG,t做快速傅里叶变换;
将F(aHOG,t)做逆快速傅里叶变换,得到第t帧图片目标搜索域区域的HOG系数矩阵aHOG,t;
4.3分别计算第t帧图片的HOG特征响应矩阵
其中,表示第t帧图片的目标模板,qg表示第g帧图片上的目标大小;表示第t帧图片目标搜索域区域的核函数,表示第t帧图片的目标模板的核函数,表示对和相乘后的结果进行快速傅里叶变换FFT,⊙表示点乘,表示对做逆快速傅立叶变换;
4.5找到第t帧图片的HOG特征响应矩阵中的最大值,记为第t帧图片的HOG特征响应矩阵中的最大值YHOG,t。
5.如权利要求4所述的一种基于相关滤波器的目标跟踪检测方法,其特征在于,在步骤5中,所述第t帧图片的目标中心点其得到过程为:
设定一个可以存放V个矩阵大小的数组ah,其中每一个矩阵都和第t帧图片目标搜索域区域的HOG系数矩阵aHOG,t大小一样;数组ah的大小为H×D×V,4≤V≤6;数组ah中的V个矩阵依次记为αah1,αah2,…,αahV;
当t取2至V+1时,将第2帧图片目标搜索域区域的HOG系数矩阵aHOG,2至第V+1帧图片目标搜索域区域的HOG系数矩阵aHOG,V+1分别对应作为数组ah中的V个矩阵,数组ah中的第1个矩阵αah1为第2帧图片目标搜索域区域的HOG系数矩阵aHOG,2,数组ah中的第2个矩阵αah2为第3帧图片目标搜索域区域的HOG系数矩阵aHOG,3,数组ah中的第V个矩阵αahV为第V+1帧图片目标搜索域区域的HOG系数矩阵aHOG,V+1;将第t帧图片的HOG特征响应矩阵中的最大值YHOG,t所在位置作为第t帧图片的目标中心点
当t≥V+2时,比较第t帧图片的HOG特征响应矩阵中的最大值YHOG,t与阈值的大小,若则将第t帧图片的HOG特征响应矩阵中的最大值YHOG,t所在位置作为第t帧图片的目标中心点并将第t帧图片目标搜索域区域的HOG系数矩阵aHOG,t与数组ah中的第γ个矩阵αahγ进行替换,2≤γ≤V,γ的初始值为2,令γ的值加1;当γ取值为V时,替换后γ的值变为2;其中,数组ah中的第1个矩阵αah1不会被替换;
若则计算得到V个响应矩阵,其中第u个响应矩阵为其表达式为:
其中,表示第t帧图片的目标模板,qg表示第g帧图片上的目标大小;表示第t帧图片目标搜索域区域的核函数,表示第t帧图片的目标模板的核函数,表示对和相乘后的结果进行快速傅里叶变换,⊙表示点乘,表示对做逆快速傅立叶变换,F(aahu)表示对数组ah中的第u个矩阵αahu进行快速傅里叶变换,1≤u≤V,V表示设定正整数,4≤V≤6;
然后分别找到V个响应矩阵中的最大值,分别记为第1个响应矩阵中的最大值Yah1、第2个响应矩阵中的最大值Yah2、…、第V个响应矩阵中的最大值YahV,比较V个响应矩阵中的最大值,选取其中最大的一个最大值所在位置作为第t帧图片的目标中心点
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810292983.9A CN108596048B (zh) | 2018-03-30 | 2018-03-30 | 一种基于相关滤波器的目标跟踪检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810292983.9A CN108596048B (zh) | 2018-03-30 | 2018-03-30 | 一种基于相关滤波器的目标跟踪检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108596048A true CN108596048A (zh) | 2018-09-28 |
CN108596048B CN108596048B (zh) | 2020-05-19 |
Family
ID=63624315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810292983.9A Active CN108596048B (zh) | 2018-03-30 | 2018-03-30 | 一种基于相关滤波器的目标跟踪检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108596048B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113066085A (zh) * | 2021-04-26 | 2021-07-02 | 华侨大学 | 一种目标实时视频测速方法、装置、设备和介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103544502A (zh) * | 2013-10-29 | 2014-01-29 | 上海市城市建设设计研究总院 | 基于svm的高分辨率遥感影像船只提取方法 |
CN104112279A (zh) * | 2013-04-19 | 2014-10-22 | 浙江大华技术股份有限公司 | 一种目标检测方法及装置 |
CN104299243A (zh) * | 2014-09-28 | 2015-01-21 | 南京邮电大学 | 一种基于霍夫森林的目标跟踪方法 |
CN106570486A (zh) * | 2016-11-09 | 2017-04-19 | 华南理工大学 | 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法 |
CN107146240A (zh) * | 2017-05-05 | 2017-09-08 | 西北工业大学 | 基于相关滤波和显著性检测的航拍视频目标跟踪方法 |
-
2018
- 2018-03-30 CN CN201810292983.9A patent/CN108596048B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104112279A (zh) * | 2013-04-19 | 2014-10-22 | 浙江大华技术股份有限公司 | 一种目标检测方法及装置 |
CN103544502A (zh) * | 2013-10-29 | 2014-01-29 | 上海市城市建设设计研究总院 | 基于svm的高分辨率遥感影像船只提取方法 |
CN104299243A (zh) * | 2014-09-28 | 2015-01-21 | 南京邮电大学 | 一种基于霍夫森林的目标跟踪方法 |
CN106570486A (zh) * | 2016-11-09 | 2017-04-19 | 华南理工大学 | 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法 |
CN107146240A (zh) * | 2017-05-05 | 2017-09-08 | 西北工业大学 | 基于相关滤波和显著性检测的航拍视频目标跟踪方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113066085A (zh) * | 2021-04-26 | 2021-07-02 | 华侨大学 | 一种目标实时视频测速方法、装置、设备和介质 |
CN113066085B (zh) * | 2021-04-26 | 2023-05-30 | 华侨大学 | 一种目标实时视频测速方法、装置、设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108596048B (zh) | 2020-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111354017A (zh) | 一种基于孪生神经网络及平行注意力模块的目标跟踪方法 | |
CN107862680B (zh) | 一种基于相关滤波器的目标跟踪优化方法 | |
CN107103326A (zh) | 基于超像素聚类的协同显著性检测方法 | |
CN109544592B (zh) | 针对相机移动的运动目标检测算法 | |
CN103778436B (zh) | 一种基于图像处理的行人姿态检测方法 | |
CN107239777B (zh) | 一种基于多视角图模型的餐具检测和识别方法 | |
CN103886325A (zh) | 一种分块的循环矩阵视频跟踪方法 | |
CN109558908A (zh) | 一种给定区域最优边缘的确定方法 | |
CN113361542A (zh) | 一种基于深度学习的局部特征提取方法 | |
CN110942473A (zh) | 一种基于特征点网格化匹配的运动目标跟踪检测方法 | |
CN108257153B (zh) | 一种基于方向梯度统计特征的目标跟踪方法 | |
CN110135435B (zh) | 一种基于广度学习系统的显著性检测方法及装置 | |
CN113379788B (zh) | 一种基于三元组网络的目标跟踪稳定性方法 | |
CN108876776B (zh) | 一种分类模型生成方法、眼底图像分类方法及装置 | |
CN108986083B (zh) | 基于阈值优化的sar图像变化检测方法 | |
CN108986139B (zh) | 一种用于目标跟踪的带有重要性图的特征整合方法 | |
CN108053425B (zh) | 一种基于多通道特征的高速相关滤波目标跟踪方法 | |
CN108596048A (zh) | 一种基于相关滤波器的目标跟踪检测方法 | |
CN109146861B (zh) | 一种改进的orb特征匹配方法 | |
Zhang et al. | Digital instruments recognition based on PCA-BP neural network | |
CN110443277A (zh) | 基于注意力模型的少量样本分类方法 | |
CN106846366B (zh) | 使用gpu硬件的tld视频运动目标跟踪方法 | |
Liu et al. | A new ORB feature matching image algorithm based on non-maximum suppression method and Retinal sampling model | |
Chen et al. | Creak: Color-based retina keypoint descriptor | |
Hou et al. | Target tracking algorithm based on image matching and improved kernel correlation filter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |