CN110717930B - 一种基于扩展Wang-landau蒙特卡罗和KCF的突变运动目标跟踪方法 - Google Patents
一种基于扩展Wang-landau蒙特卡罗和KCF的突变运动目标跟踪方法 Download PDFInfo
- Publication number
- CN110717930B CN110717930B CN201910803418.9A CN201910803418A CN110717930B CN 110717930 B CN110717930 B CN 110717930B CN 201910803418 A CN201910803418 A CN 201910803418A CN 110717930 B CN110717930 B CN 110717930B
- Authority
- CN
- China
- Prior art keywords
- target
- sample
- landau
- wang
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000035772 mutation Effects 0.000 title abstract description 24
- 238000009826 distribution Methods 0.000 claims abstract description 38
- 238000000342 Monte Carlo simulation Methods 0.000 claims abstract description 18
- 238000005070 sampling Methods 0.000 claims abstract description 18
- 238000011156 evaluation Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 20
- 125000004122 cyclic group Chemical group 0.000 claims description 12
- 238000012614 Monte-Carlo sampling Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 101150091111 ACAN gene Proteins 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 19
- 230000000694 effects Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 239000002245 particle Substances 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于扩展Wang‑landau蒙特卡罗和KCF的突变运动目标跟踪方法,包括:获取目标图像,并根据所述目标图像的第一帧图像的数据信息对目标的状态参数进行初始化;根据所述目标图像进行初始化网络和初始化扩展Wang‑landau蒙特卡罗方法参数,并在状态空间内根据扩展Wang‑landau蒙特卡罗方法进行预定次数的采样;通过迭代评估,建立可靠的态密度分布,并通过态密度分布进行重要区域提议,确定可能包含目标的重要区域;对重要区域执行KCF方法以确定跟踪目标的位置,并根据跟踪目标的位置截取目标图像块用于下一帧图像的跟踪;重复上述步骤直到最后一帧图像,以获得每一帧图像的跟踪目标的位置。本发明能增大目标状态区域中样本的接受概率,提高样本质量。
Description
技术领域
本发明涉及视觉图像处理技术领域,尤其涉及一种基于扩展Wang-landau蒙特卡罗和KCF的突变运动目标跟踪方法。
背景技术
受到目标运动、镜头转换和跟踪环境等一些摄像因素的影响,目标的跟踪过程中往往会被出现的突变运动现象所影响。传统算法往往基于目标平滑运动的假设对目标进行跟踪,这使得其难以适应突变运动场景,导致跟踪失败。目标的突变运动跟踪是一个跟踪方法能否实现持续跟踪的重要因素之一,必须在传统目标跟踪框架下设计能够适应运动突变问题的新方法,保证目标跟踪算法的鲁棒性。
利用随机采样方式覆盖目标状态空间是近十年突变运动目标跟踪方法研究的重要内容,其目标是在贝叶斯框架下通过有效采样方式保持对目标后验概率的无限逼近。在这些随机采样方法中,粒子滤波与马尔可夫链蒙塔卡罗是代表性跟踪方法。粒子滤波能够处理目标分布的非高斯性和多模态然,获得好的跟踪效果。然而,在突变运动跟踪场景下,基于粒子滤波的跟踪器往往通过扩大粒子数目以完全覆盖状态空间的方式提高跟踪的性能,导致其计算量呈指数增长,最终在实际应用上受到限制。基于马尔可夫链蒙塔卡罗的跟踪方法能够以较为高效的方式在高维状态空间中进行采样,提高了跟踪效率。然而普通的马尔可夫链蒙特卡罗方法在目标分布能量场较强的情况下,往往会陷入局部最优解。为了使算法适应突变运动问题,统计学及物理学的一些方法被引入视频目标跟踪框架,如自适应马尔可夫链蒙特卡罗方法、哈密顿蒙特卡罗方法、自适应随机逼近蒙特卡罗采样方法、Wang-landau蒙特卡罗等。然而上述方法存在两个明显问题。(1)使用随机漫步方法访问状态空间,而随机漫步方法通常需要长时间的迭代才能到达有希望的对象状态,所需样本数量较大,搜索效率不高。(2)在对样本似然度评估时,往往单独考虑样本本身或样本附近区域的似然度,没有兼顾局部与个体,导致选取样本质量较低,最终影响算法跟踪精度。
因此,必须设计一种既能覆盖全局适应目标突变运动问题,又能保证算法的运行效率,同时,跟踪方法应能够保证跟踪精度。
发明内容
本发明提供一种基于扩展Wang-landau蒙特卡罗和KCF的突变运动目标跟踪方法,解决传统目标的突变运动跟踪算法运行效率不高,精度低的问题,增大包含目标状态区域中样本的接受概率,提高样本质量。
为实现以上目的,本发明提供以下技术方案:
一种基于扩展Wang-landau蒙特卡罗和KCF的突变运动目标跟踪方法,包括:
步骤1:获取目标图像,并根据所述目标图像的第一帧图像的数据信息对目标的状态参数进行初始化;
步骤2;根据所述目标图像进行初始化网络,并在状态空间内根据扩展Wang-landau蒙特卡罗方法进行预定次数的采样;
步骤3:通过迭代评估,建立可靠的态密度分布,并通过态密度分布进行重要区域提议,确定可能包含目标的重要区域;
步骤4:对重要区域执行KCF方法以确定跟踪目标的位置,并根据跟踪目标的位置截取目标图像块用于下一帧图像的跟踪;
步骤5:重复上述步骤2至步骤4直到最后一帧图像,以获得每一帧图像的跟踪目标的位置。
优选的,所述根据所述目标图像的第一帧图像的数据信息对目标的状态参数进行初始化,包括:
获取目标图像的第一帧图像的数据信息,并确定目标在第一帧图像内的状态参数[x,y,w,h],其中,(x,y)为目标中心像素点的坐标值,w为目标宽度,h为目标高度。
优选的,所述根据所述目标图像进行初始化网络和初始化扩展Wang-landau蒙特卡罗方法参数,包括:
将当前帧图像分为d个子区域并为各子区域建立直方图初始化每个子区域的态密度为1,区域似然度为1/d,直方图为0,设置重要区域数量为T。
优选的,所述在状态空间内根据扩展Wang-landau蒙特卡罗方法进行预定次数的采样,包括:
使用打方差高斯分布覆盖对第t帧中目标在状态空间可能存在的位置进行预测,生成候选样本位置:
其中,和/>分别是被提出的x和y轴的位置,σx和σy则分别代表x方向和y方向高斯扰动的方差。
优选的,通过迭代评估,建立可靠的态密度分布,并通过态密度分布进行重要区域提议,确定可能包含目标的重要区域,包括:
对候选样本使用多范围似然接受函数进行评估:
其中,Yt代表状态Xt的观测值,为前一个样本Xt所在子区域,/>是候选样本Xt′所在子区域,p(Yt;Xt′)为候选样本的似然度,p(Yt;Xt)为前一个样本的似然度,/>为子区域/>的态密度值,/>为子区域的/>的态密度值,/>为子区域/>的区域似然度,/>为子区域的/>的区域似然度,Q(Xt;Xt′)和Q(Xt′;Xt)为提议密度;
若接受概率a大于1则直接接受样本,若接受概率a处于0至1,则接受,若接受概率a小于1,则接受概率a与一个0至1范围的随机数进行比较,若大于随机数则接受,若小于则拒绝。
优选的,所述对候选样本使用多范围似然接受函数进行评估,还包括:
在评价样本与目标的相似度时,采用区域加样本点两个尺度对候选样本进行评价,其中多范围似然项被定义为:
xt′为候选样本,xt为前一样本,p(Yt;Xt′)为样本点的似然值,由观测值与给定模型相似性给出,为xt′所属区域的似然值由下式给出:
其中,为在子区域/>中第n次采样的样本,m为区域中已经存在的样本数量,将多范围似然项插入接受函数中形成多范围似然接受函数。
优选的,通过迭代评估,建立可靠的态密度分布,并通过态密度分布进行重要区域提议,确定可能包含目标的重要区域,还包括:
在每次接受或拒绝样本后,对各个子区域的态密度、区域似然度及对应的直方图进行更新,当扩展Wang-landau蒙特卡罗采样进行时,状态密度值按照公式:不断更新,其中,f为一个大于1修正因子;
直方图按照公式/>不断更新,最终生成一个平坦统计直方图,以获得更精细的态密度分布。
优选的,所述通过迭代评估,建立可靠的态密度分布,并通过态密度分布进行重要区域提议,确定可能包含目标的重要区域,还包括:
每一次迭代完成后,判断是否到达最大采样次数,如果否,则继续迭代直至达到终止条件;
输出当前态密度分布,并根据当前态密度的降序排列选出态密度值较高的子区域作为可能包含目标的重要区域。
优选的,所述对重要区域执行KCF方法以确定跟踪目标的位置,包括:
依据目标图像构造循环矩阵X,循环矩阵X基于目标周围区域的图像x0的循环位移,其中,循环矩阵其中,/>代表矩阵中x的DFT变换,F是一个离散傅里叶矩阵,FH代表对F进行共轭转置,diag表示向量对角化;
通过循环矩阵X获得候选样本,将目标跟踪过程视为目标样本和候选样本持续分类,通过分类器得到第i个样本xi与其对应回归目标yi之间的关系为f(xi)=yi,将分类问题就被转化为求目标函数最小值问题:
w表示一个权重系数,L代表一个损失函数,λ为一个正则化参数;
设为一个从低维到高维的非线性映射,其点积形式/>由核函数K计算,其中x与x′为所有不同的样本,将解w表示为样本xi的线性组合,f(z)=wTz因此被转化为:
其中,αi为一个替代w的变量:
α=(K+λI)-1y;
K为元素为所有样本对之间点积Ki,j=κ(xi,xj)的核矩阵,λ是一个正则化参数,控制过度拟合,当选用合适的内核使K为循环时,上式被对角化,与a对应的可以由下式计算:
为核矩阵K的第一行元素,″^″表示向量的离散傅里叶变换,于是目标跟踪的分类问题转换到频率域中对向量α的求解;
通过α的求解,相当于在线回归中获得了权值w然后通过分类器的分类方式实现目标检测,选取候选样本z和目标样本x,根据公式得到响应图,⊙为按元素进行的乘法,kxz是目标样本x和候选样本z的核相关性,将在响应图y中获得最大响应值的候选样本,确定为跟踪目标。
优选的,还包括:
所述重要区域通过态密度分布通过扩展Wang-landau蒙特卡罗采样得到,在全部采样结束后,对d个子区域的态密度值进行降序排列,将前T个子区域作为可能包含目标的重要区域执行KCF方法获得T个响应图,其中所有响应图中响应最大的位置被作为目标位置输出。
本发明提供一种基于扩展Wang-landau蒙特卡罗和KCF的突变运动目标跟踪方法,采用多范围似然策略扩展传统Wang-landau蒙特卡罗方法,增大包含目标状态区域中样本的接受概率,提高样本质量;并将核相关滤波器(KCF)引入扩展Wang-landau蒙特卡罗中,实现时域目标定位,能简化贝叶斯框架下区域迭代寻优的操作,提高了跟踪器的搜索效率。解决传统目标的突变运动跟踪算法运行效率不高,精度低的问题,增大包含目标状态区域中样本的接受概率,提高样本质量。
附图说明
为了更清楚地说明本发明的具体实施例,下面将对实施例中所需要使用的附图作简单地介绍。
图1为本发明提供的一种基于扩展Wang-landau蒙特卡罗和KCF的突变运动目标跟踪方法的流程图。
图2为本发明实施例提供的突变运动目标跟踪的流程图。
图3为本发明与其他算法的跟踪效果示意图。
图4为本发明与其他算法的距离精度比较示意图。
图5为本发明与其他算法的重叠率比较示意图。
具体实施方式
下面将结合本发明实施中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
针对传统目标的突变运动跟踪算法运行效率不高,精度低的问题,本发明提供一种基于扩展Wang-landau蒙特卡罗和KCF的突变运动目标跟踪方法,采用多范围似然策略扩展传统Wang-landau蒙特卡罗方法,增大包含目标状态区域中样本的接受概率,提高样本质量;并将核相关滤波器(KCF)引入扩展Wang-landau蒙特卡罗中,实现时域目标定位,能简化贝叶斯框架下区域迭代寻优的操作,提高了跟踪器的搜索效率。解决传统目标的突变运动跟踪算法运行效率不高,精度低的问题,增大包含目标状态区域中样本的接受概率,提高样本质量。
如图1所示,一种基于扩展Wang-landau蒙特卡罗和KCF的跟踪方法,其步骤如下:
步骤1:获取目标图像,并根据所述目标图像的第一帧图像的数据信息对目标的状态参数进行初始化。
读取第一帧图像的数据信息,确定目标在第一帧图像内的状态参数[x,y,w,h],其中,(x,y)为目标中心像素点的坐标值,w为目标宽度,h为目标高度。
步骤2:根据所述目标图像进行初始化网络和初始化扩展Wang-landau蒙特卡罗方法参数,并在状态空间内根据扩展Wang-landau蒙特卡罗方法进行预定次数的采样。
设置Wang-landau蒙特卡罗最大采样次数iter,建议密度高斯方差为σ,修正因子f。将当前帧图像分为d个子区域,每个子区域的宽和高分别为rw和rh,为各子区域建立直方图初始化每个子区域的态密度为1,区域似然度为1/d,直方图为0,设置KCF跟踪方法中搜索窗口大小为[rw+w,rh+h]。
步骤3:通过迭代评估,建立可靠的态密度分布,并通过态密度分布进行重要区域提议,确定可能包含目标的重要区域。
具体地,利用扩展Wang-landau蒙特卡罗获得包含目标的重要区域。当新的图像到来时,初始化子区域网格,在状态空间内进行扩展Wang-landau蒙特卡罗采样至最大采样次数。根据最终态密度分布提议重要区域。扩展Wang-landau蒙特卡罗方法实现主要分为四步:
A、依据高斯分布提议候选样本位置;
通过建议分布来获得一个可能的候选样本位置。仅考虑目标在位置上的大规模变化,依据上一样本位置,使用大方差的的高斯分布作为给出候选样本位置的提议分布:
其中,和/>分别是被提出的x和y轴的位置,σx和σy则分别代表x方向和y方向高斯扰动的方差。
B、依据多范围似然策略接受或拒绝候选样本;
对提出的候选样本是否为目标可能存在的状态进行筛选。依据提出样本的位置Xt′,在当前帧图像上截取图像块。在样本及区域两个范围下分别评估候选样本与目标的似然度及其所在区域与目标的似然度。计算样本点似然度如下:
其中,D(·)表示方差,Cov(·)表示协方差,M和N分别是目标图像块和候选图像块的HOG特征。
最终候选样本的接受率计算如下:
其中,Yt代表状态Xt的观测值,为前一个样本Xt所在子区域,/>是候选样本Xt′所在子区域。/>为子区域/>的DOS值,/>为子区域/>的边际似然值。区域范围下的样本接受由/>控制其接受与模板最相似子区域中的样本;在样本点范围下的状态转移由/>来完成,其更倾向接受似然度较高的样本。由态密度的反比/>控制接受态密度较低区域中的样本,鼓励采样器探索尚未探索的区域,从而捕捉发生突变运动的目标。依据该接受机制包含目标的区域,因产生样本相似度较高,将会拥有更高的态密度值。
C:在每次接受或拒绝样本后,对各个子区域的态密度、区域似然度及对应的直方图进行更新。当某个状态被提议成功时,其所属子空间的直方图和状态密度值/>根据一下公式更新:
其中,f为一个修正因子,通常取大于1的值。当扩展Wang-landau蒙特卡罗采样进行时,态密度按照设定的更新模式不断更新,直方图也会按照算法逐步增加,最终生成一个平坦统计直方图平坦直方图被定义为:直方图中最低直方图的柱值(bin),不低于所有直方图平均值的80%。这就意味着每个状态子区域都在某个程度上被访问到。当直方图达到平坦时,为了获得更精细的态密度,算法将会对修正因子f进行调整:
与此同时,直方图的统计值将被重置为0,蒙特卡罗采样模拟继续进行,直到直方图再次变平坦,并以更精确的修正因子重新开始。
区域似然度计算如下:
为在子区域/>中第n次采样的样本,m为区域中已经存在的样本数量,通过区域中已存在样本的平均似然度估计区域似然度
D:一次迭代完成,判断是否到达最大采样次数,达到终止条件结束,输出当前态密度分布,并根据当前态密度的降序排列选出态密度值较高的T个子区域作为可能包含目标的重要区域。否则,进入下次采样转到B步。
步骤4:对重要区域执行KCF方法以确定跟踪目标的位置,并根据跟踪目标的位置截取目标图像块用于下一帧图像的跟踪。
具体地,使用KCF方法获得重要性区域中最大响应值,确定跟踪目标。依据重要区域获得待搜索的图像时,采用KCF跟踪方法获得重要性区域的响应图,依据最大响应值定位目标。KCF方法实现主要分为三步。
第一步:依据基样本图像构造循环矩阵X。
循环矩阵X依据及样本图像构造,基样本图像来自于上一帧目标图像。利用循环位移操作产生其他的候选样本,一个候选样本集合包含了基样本向量和其产生的n-1个候选样本。一个循环矩阵可以通过离散傅里叶变换被对角化:其中,F是离散傅里叶矩阵,是个常量矩阵,FH代表对F进行共轭转置,/>是对基样本向量x进行离散傅里叶变换/>diag表示向量对角化操作。
第二步:跟踪问题的时域-频域转化,实现分类问题的求解。
目标跟踪过程可以视为目标样本和候选样本持续分类的操作。在线性岭回归中,训练目标为找到一个w使f(z)=wTz能够最小化样本xi及其回归目标yi的平方误差,将跟踪的目标样本从候选样本中分离,权值w通过下式获得:
设为一个从低维到高维的非线性映射,其点积形式/>由核函数K计算。其中x与x′为所有不同的样本。将解w表示为样本xi的线性组合。f(z)=wTz因此被转化为:
其中,αi为一个替代w的变量:
α=(K+λI)-1y;
K为元素为所有样本对之间点积Ki,j=κ(xi,xj)的核矩阵,λ是一个正则化参数,控制过度拟合。当选用合适的内核使K为循环时,上式被对角化,与a对应的可以由下式计算:
为核矩阵K的第一行元素,″^″表示向量的离散傅里叶变换,于是目标跟踪的分类问题转换到频率域中对向量α的求解,然后经反傅里叶变换获得时域中决策函数形式,实现高效的目标跟踪过程。
第三步:获得最大响应值,确定跟踪目标。
通过α的求解,相当于在线回归中获得了权值w然后通过分类器的分类方式实现目标检测。选取候选样本z,其和目标样本x的维度相同,响应图可以由下式获得:
⊙为按元素进行的乘法,kxz是基样本向量x和观测样本z的核相关性。在y中获得最大响应值的候选样本,确定为跟踪结果,即目标定位。
步骤5:重复上述步骤2至步骤4直到最后一帧图像,以获得每一帧图像的跟踪目标的位置,实现运动目标的跟踪。
如图2所示,本发明的实施步骤如下:初始化目标状态参数和扩展Wang-landau蒙特卡罗方法参数;采用Wang-landau蒙特卡罗采样方法在状态空间进行采样,通过迭代评估,建立可靠的态密度分布,并通过态密度分布进行重要区域提议,确定目标可能存在位置;确定目标可能存在的位置后,对重要区域执行KCF方法,获得重要区域的最大响应,并依据最大响应定位目标;重复上述操作实现突变运动目标的有效跟踪。能对动态摄像机下目标存在帧间突变运动时能够有效地实现持续性跟踪,实现了帧间存在运动突变的目标的精确跟踪,提高了在复杂场景下跟踪方法的适应能力。同时,将核相关滤波器引入扩展Wang-landau蒙特卡罗跟踪问题中,提出能够同时适应平滑和突变两种运动模式的新型跟踪框架;提出多范围似然机策略,能够对样本的似然度进行更准确的评估,提高获得样本的质量,增强区域提议机制的可靠性;利用KCF在局部搜索中快速性的优势,通过将时域定位转化为频域定位,减少了所需样本数量,配合提议重要区域,能够以高效率适应图像帧之间存在的突变运动问题。
在实际应用中,可采用定性和定量两种评价方式来评价本发明的有效性。定性评价方式采用本发明方法和各种代表性方法在部分帧内的跟踪效果图,如图3所示。图3分别是四个视频在部分帧内的跟踪效果图,这些突变运动产生的帧间大位移使得其他算法表现出不适应,甚至跟踪失败,而本发明提出的方法获得了好的跟踪效果。定量评价方式采用中心位置误差率和目标重叠率来评价,距离精度DP是指依据设定的阈值图像序列中能够成功跟踪目标的帧数与总帧数的比值。其中,阈值是通过跟踪结果与真实结果的中心误差值确定的,本发明设置阈值为0.5。中心误差是通过计算跟踪目标的中心位置和真实位置之间的欧氏距离,一般其值越小说明跟踪结果比较优。目标重叠率OP是指跟踪结果与真实目标区域面积与操作和并操作的比值,其值越大,说明跟踪结果越好。根据图3的四个视频进行跟踪目标的评价,图4展示了本发明与代表性跟踪算法AWLMC、CACF、AMCMC和KCF的距离精度DP值比较结果,图5展示相应跟踪算法的目标重叠率OP值的比较结果。综合图3、4和5所示,本发明提供的目标跟踪方法能够很好地解决目标突变的运动问题,获得了较好地跟踪表现。
可见,本发明采用全局态密度分布预测机制,获得可能包含目标的重要区域,保证循环矩阵能够覆盖目标状态空间,以弥补传统跟踪方法无法适应突变运动问题;利用频域处理配合重要区域提议简化传统方法的迭代过程,使用更少的样本,在频域确定目标位置,提高了运行效率;依据多范围似然机制,在局部区域和样本点两个范围下评估新样本的联合似然度,提高接纳样本的质量,从而保证了态密度重要区域提议机制的可靠性,最终提高算法的精度。避免了传统方法使用大量样本的计算代价过大问题,能够良好的适应目标突变运动突变问题,后续对跟踪目标的识别、理解和分析具有重要意义。
因此,本发明提供一种基于扩展Wang-landau蒙特卡罗和KCF的突变运动目标跟踪方法,采用多范围似然策略扩展传统Wang-landau蒙特卡罗方法,增大包含目标状态区域中样本的接受概率,提高样本质量;并将核相关滤波器(KCF)引入扩展Wang-landau蒙特卡罗中,实现时域目标定位,能简化贝叶斯框架下区域迭代寻优的操作,提高了跟踪器的搜索效率。解决传统目标的突变运动跟踪算法运行效率不高,精度低的问题,增大包含目标状态区域中样本的接受概率,提高样本质量。
以上依据图示所示的实施例详细说明了本发明的构造、特征及作用效果,以上所述仅为本发明的较佳实施例,但本发明不以图面所示限定实施范围,凡是依照本发明的构想所作的改变,或修改为等同变化的等效实施例,仍未超出说明书与图示所涵盖的精神时,均应在本发明的保护范围内。
Claims (9)
1.一种基于扩展Wang-landau蒙特卡罗和KCF的突变运动目标跟踪方法,其特征在于,包括:
步骤1:获取目标图像,并根据所述目标图像的第一帧图像的数据信息对目标的状态参数进行初始化;
步骤2;根据所述目标图像进行初始化网络和初始化扩展Wang-landau蒙特卡罗方法参数,并在状态空间内根据扩展Wang-landau蒙特卡罗方法进行预定次数的采样;
步骤3:通过迭代评估,建立可靠的态密度分布,并通过态密度分布进行重要区域提议,确定可能包含目标的重要区域;
步骤4:对重要区域执行KCF方法以确定跟踪目标的位置,并根据跟踪目标的位置截取目标图像块用于下一帧图像的跟踪;
步骤5:重复上述步骤2至步骤4直到最后一帧图像,以获得每一帧图像的跟踪目标的位置;
其中,通过迭代评估,建立可靠的态密度分布,并通过态密度分布进行重要区域提议,确定可能包含目标的重要区域,包括:
对候选样本使用多范围似然接受函数进行评估:
其中,Yt代表状态Xt的观测值,为前一个样本Xt所在子区域,/>是候选样本Xt′所在子区域,p(Yt;Xt′)为候选样本的似然度,p(Yt;Xt)为前一个样本的似然度,/>为子区域/>的态密度值,/>为子区域的/>的态密度值,/>为子区域/>的区域似然度,为子区域的/>的区域似然度,Q(Xt;Xt′)和Q(Xt′;Xt)为提议密度;
若接受概率a大于1则直接接受样本,若接受概率a处于0至1,则接受,若接受概率a小于1,则接受概率a与一个0至1范围的随机数进行比较,若大于随机数则接受,若小于则拒绝。
2.根据权利要求1所述的基于扩展Wang-landau蒙特卡罗和KCF的突变运动目标跟踪方法,其特征在于,所述根据所述目标图像的第一帧图像的数据信息对目标的状态参数进行初始化,包括:
获取目标图像的第一帧图像的数据信息,并确定目标在第一帧图像内的状态参数[x,y,w,h],其中,(x,y)为目标中心像素点的坐标值,w为目标宽度,h为目标高度。
3.根据权利要求2所述的基于扩展Wang-landau蒙特卡罗和KCF的突变运动目标跟踪方法,其特征在于,所述根据所述目标图像进行初始化网络和初始化扩展Wang-landau蒙特卡罗方法参数,包括:
将当前帧图像分为d个子区域并为各子区域建立直方图初始化每个子区域的态密度为1,区域似然度为1/d,直方图为0,设置重要区域数量为T。
4.根据权利要求3所述的基于扩展Wang-landau蒙特卡罗和KCF的突变运动目标跟踪方法,其特征在于,所述在状态空间内根据扩展Wang-landau蒙特卡罗方法进行预定次数的采样,包括:
使用打方差高斯分布覆盖对第t帧中目标在状态空间可能存在的位置进行预测,生成候选样本位置:
其中,和/>分别是被提出的x和y轴的位置,σx和σy则分别代表x方向和y方向高斯扰动的方差。
5.根据权利要求4所述的基于扩展Wang-landau蒙特卡罗和KCF的突变运动目标跟踪方法,其特征在于,所述对候选样本使用多范围似然接受函数进行评估,还包括:
在评价样本与目标的相似度时,采用区域加样本点两个尺度对候选样本进行评价,其中多范围似然项被定义为:
xt′为候选样本,xt为前一样本,p(Yt;Xt′)为样本点的似然值,由观测值与给定模型相似性给出,为xt′所属区域的似然值由下式给出:
其中,为在子区域/>中第n次采样的样本,m为区域中已经存在的样本数量,将多范围似然项插入接受函数中形成多范围似然接受函数。
6.根据权利要求5所述的基于扩展Wang-landau蒙特卡罗和KCF的突变运动目标跟踪方法,其特征在于,通过迭代评估,建立可靠的态密度分布,并通过态密度分布进行重要区域提议,确定可能包含目标的重要区域,还包括:
在每次接受或拒绝样本后,对各个子区域的态密度、区域似然度及对应的直方图进行更新,当扩展Wang-landau蒙特卡罗采样进行时,状态密度值按照公式:不断更新,其中,f为一个大于1修正因子;
直方图按照公式/>不断更新,最终生成一个平坦统计直方图,以获得更精细的态密度分布。
7.根据权利要求6所述的基于扩展Wang-landau蒙特卡罗和KCF的突变运动目标跟踪方法,其特征在于,所述通过迭代评估,建立可靠的态密度分布,并通过态密度分布进行重要区域提议,确定可能包含目标的重要区域,还包括:
每一次迭代完成后,判断是否到达最大采样次数,如果否,则继续迭代直至达到终止条件;
输出当前态密度分布,并根据当前态密度的降序排列选出态密度值较高的子区域作为可能包含目标的重要区域。
8.根据权利要求7所述的基于扩展Wang-landau蒙特卡罗和KCF的突变运动目标跟踪方法,其特征在于,所述对重要区域执行KCF方法以确定跟踪目标的位置,包括:
依据目标图像构造循环矩阵X,循环矩阵X基于目标周围区域的图像x0的循环位移,其中,循环矩阵其中,/>代表矩阵中x的DFT变换,F是一个离散傅里叶矩阵,FH代表对F进行共轭转置,diag表示向量对角化;
通过循环矩阵X获得候选样本,将目标跟踪过程视为目标样本和候选样本持续分类,通过分类器得到第i个样本xi与其对应回归目标yi之间的关系为f(xi)=yi,将分类问题就被转化为求目标函数最小值问题:
w表示一个权重系数,L代表一个损失函数,λ为一个正则化参数;
设为一个从低维到高维的非线性映射,其点积形式/>由核函数K计算,其中x与x′为所有不同的样本,将解w表示为样本xi的线性组合,f(z)=wTz因此被转化为:
其中,αi为一个替代w的变量:
α=(K+λI)-1y;
K为元素为所有样本对之间点积Ki,j=κ(xi,xj)的核矩阵,λ是一个正则化参数,控制过度拟合,当选用合适的内核使K为循环时,上式被对角化,与a对应的可以由下式计算:
为核矩阵K的第一行元素,″^″表示向量的离散傅里叶变换,于是目标跟踪的分类问题转换到频率域中对向量α的求解;
通过α的求解,相当于在线回归中获得了权值w然后通过分类器的分类方式实现目标检测,选取候选样本z和目标样本x,根据公式得到响应图,⊙为按元素进行的乘法,kxz是目标样本x和候选样本z的核相关性,将在响应图y中获得最大响应值的候选样本,确定为跟踪目标。
9.根据权利要求8所述的基于扩展Wang-landau蒙特卡罗和KCF的突变运动目标跟踪方法,其特征在于,还包括:
所述重要区域通过态密度分布通过扩展Wang-landau蒙特卡罗采样得到,在全部采样结束后,对d个子区域的态密度值进行降序排列,将前T个子区域作为可能包含目标的重要区域执行KCF方法获得T个响应图,其中所有响应图中响应最大的位置被作为目标位置输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910803418.9A CN110717930B (zh) | 2019-08-28 | 2019-08-28 | 一种基于扩展Wang-landau蒙特卡罗和KCF的突变运动目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910803418.9A CN110717930B (zh) | 2019-08-28 | 2019-08-28 | 一种基于扩展Wang-landau蒙特卡罗和KCF的突变运动目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110717930A CN110717930A (zh) | 2020-01-21 |
CN110717930B true CN110717930B (zh) | 2024-02-20 |
Family
ID=69209581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910803418.9A Active CN110717930B (zh) | 2019-08-28 | 2019-08-28 | 一种基于扩展Wang-landau蒙特卡罗和KCF的突变运动目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110717930B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111915647B (zh) * | 2020-07-16 | 2021-08-13 | 郑州轻工业大学 | 一种对象标签引导的自适应视频目标跟踪方法 |
CN115128800B (zh) * | 2022-06-27 | 2024-02-02 | 西北工业大学 | 基于f-p腔的光学位移敏感单元及逆设计方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101281648A (zh) * | 2008-04-29 | 2008-10-08 | 上海交通大学 | 低复杂度的尺度自适应视频目标跟踪方法 |
CN107341820A (zh) * | 2017-07-03 | 2017-11-10 | 郑州轻工业学院 | 一种融合Cuckoo搜索和KCF的突变运动目标跟踪方法 |
CN109461166A (zh) * | 2018-10-26 | 2019-03-12 | 郑州轻工业学院 | 一种基于kcf混合mfo的快速运动目标跟踪方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104200237B (zh) * | 2014-08-22 | 2019-01-11 | 浙江生辉照明有限公司 | 一种基于核化相关滤波高速自动多目标跟踪方法 |
-
2019
- 2019-08-28 CN CN201910803418.9A patent/CN110717930B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101281648A (zh) * | 2008-04-29 | 2008-10-08 | 上海交通大学 | 低复杂度的尺度自适应视频目标跟踪方法 |
CN107341820A (zh) * | 2017-07-03 | 2017-11-10 | 郑州轻工业学院 | 一种融合Cuckoo搜索和KCF的突变运动目标跟踪方法 |
CN109461166A (zh) * | 2018-10-26 | 2019-03-12 | 郑州轻工业学院 | 一种基于kcf混合mfo的快速运动目标跟踪方法 |
Non-Patent Citations (1)
Title |
---|
朱航江 ; 朱帆 ; 潘振福 ; 朱永利 ; .运动状态与尺度估计的核相关目标跟踪方法.计算机科学.2017,(S2),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN110717930A (zh) | 2020-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108470354B (zh) | 视频目标跟踪方法、装置和实现装置 | |
CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
CN105405151B (zh) | 基于粒子滤波和加权Surf的抗遮挡目标跟踪方法 | |
Zhang et al. | A robust tracking system for low frame rate video | |
Fox | KLD-sampling: Adaptive particle filters | |
CN110033473B (zh) | 基于模板匹配和深度分类网络的运动目标跟踪方法 | |
CN103632382A (zh) | 一种基于压缩感知的实时多尺度目标跟踪方法 | |
CN110049549B (zh) | 基于WiFi指纹的多融合室内定位方法及其系统 | |
CN112085765B (zh) | 结合粒子滤波及度量学习的视频目标跟踪方法 | |
CN100531405C (zh) | 体育视频目标跟踪方法 | |
CN110717930B (zh) | 一种基于扩展Wang-landau蒙特卡罗和KCF的突变运动目标跟踪方法 | |
CN110363165B (zh) | 基于tsk模糊系统的多目标跟踪方法、装置及存储介质 | |
CN116448019B (zh) | 建筑节能工程质量平面度智能检测装置及方法 | |
CN102346854A (zh) | 前景物体检测方法和设备 | |
CN103985143A (zh) | 基于字典学习的视频中判别性在线目标跟踪方法 | |
CN112052802A (zh) | 一种基于机器视觉的前方车辆行为识别方法 | |
CN111860587A (zh) | 一种用于图片小目标的检测方法 | |
Zhang et al. | Infrared small target tracking based on sample constrained particle filtering and sparse representation | |
CN114972735A (zh) | 基于roi预测和多模块学习的抗遮挡移动目标跟踪装置及方法 | |
CN112164093A (zh) | 一种基于边缘特征和相关滤波的人物自动跟踪方法 | |
CN112991394B (zh) | 基于三次样条插值和马尔科夫链的kcf目标跟踪方法 | |
CN108257148B (zh) | 特定对象的目标建议窗口生成方法及其在目标跟踪的应用 | |
CN116740652B (zh) | 一种基于神经网络模型的锈斑面积扩大的监测方法与系统 | |
Firouznia et al. | Adaptive chaotic sampling particle filter to handle occlusion and fast motion in visual object tracking | |
CN110570450B (zh) | 一种基于级联的上下文感知框架的目标跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |