CN109977971A - 基于均值偏移与核相关滤波的尺度自适应目标跟踪系统 - Google Patents
基于均值偏移与核相关滤波的尺度自适应目标跟踪系统 Download PDFInfo
- Publication number
- CN109977971A CN109977971A CN201910249619.9A CN201910249619A CN109977971A CN 109977971 A CN109977971 A CN 109977971A CN 201910249619 A CN201910249619 A CN 201910249619A CN 109977971 A CN109977971 A CN 109977971A
- Authority
- CN
- China
- Prior art keywords
- target
- frame
- image
- algorithm model
- system based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims description 40
- 238000012549 training Methods 0.000 claims description 28
- 125000004122 cyclic group Chemical group 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 7
- 102000008297 Nuclear Matrix-Associated Proteins Human genes 0.000 claims description 6
- 108010035916 Nuclear Matrix-Associated Proteins Proteins 0.000 claims description 6
- 210000000299 nuclear matrix Anatomy 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 239000004568 cement Substances 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000004438 eyesight Effects 0.000 abstract description 9
- 230000004044 response Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Abstract
本发明涉及视觉和目标跟踪技术领域,具体涉及一种基于均值偏移与核相关滤波的尺度自适应目标跟踪系统。本发明提出基于均值偏移与核相关滤波的尺度自适应目标跟踪系统很好地解决目标跟踪中的一些难题,如快速运动,运动模糊以及尺度变化下的目标跟踪等,通过对动态视频的每一帧用MS算法模型对目标进行初步判定获得目标的初始位置,然后KCF算法模型以此位置为输入进行采样,找出具有最大响应值的尺度大小,确定最终的目标位置,本发明中的方法计算速度快,能快速得到确定最终的目标位置,并对确定最终的目标位置进行跟踪,算法实现简单,可以实现实时的尺度自适应目标跟踪,具有更强的可靠性和鲁棒性。
Description
技术领域
本发明涉及视觉和目标跟踪技术领域,具体涉及一种基于均值偏移与核相关滤波的尺度自适应目标跟踪系统。
背景技术
视觉是人类与外界交流的窗口,是取外界信息的重要途径,为人类提供大量丰富的外界信息。然而,人的精力与视野都非常有限,所以人的视觉在各个领域中的应用具有一定的局限性。随着计算机技术的飞速发展,一大批学者加入能让计算机处理视觉信息、完善人类视觉上诸多短板的课题研究之中,也因此推动了计算机视觉的产生和发展。计算视觉是在了解人类视觉基础上,用成像系统代替人类视觉器官,用计算级代替人脑完成对输入图像的处理与理解。目标跟踪作为计算机视觉领域的热门课题之一,是对连续的图像序列进行运动目标检测、提取特征、分类识别、跟踪、行为识别,以获得目标准确的运动信息参数(如位置、速度等),并对其进行相应的处理分析,实现对目标行为的理解,以完成更高一级的检测任务。因此,目标跟踪在科研和工程实践中有着重要的研究价值和广泛的应用前景。
目标跟踪是典型的不确定性问题,并随着监视与反监视技术的发展和目标机动性的提高,使得目标跟踪问题的不确定性更加严重。这些不确定性主要表现为目标运动状态的不确定性、信息源的不确定性,背景杂波造成的数据模糊等。目标跟踪的本质则是通过滤波,对目标运动状态进行估计和预测,来消除这些不确定性,一般采用以下两种方式:
(1)相关滤波类跟踪算法是模板类方法,对快速变形和快速运动情况的跟踪效果不好。尤其是KCF算法是基于固定的学习率来更新目标模型,这就导致当学习率太大时,部分或者短暂的遮挡会检测不准确,模型会学到背景信息,随着时间的积累将导致目标的漂移;当学习率太小时,如果目标发生变形,而学习到的模板还是上一帧中的目标模板,就会导致跟踪器检测不到目标,从而将目标丢失。
(2)基于生成模型的均值偏移算法采用目标的颜色直方图作为搜索特征,通过不断迭代均值偏移向量使得算法收敛于目标的真实位置,从而达到跟踪的目的。均值偏移算法作为一种经典的跟踪算法,具有计算量不大,在目标区域已知的情况下完全可以做到实时跟踪的优点。然而,均值偏移算法对相似性较高的目标具有较差的跟踪效果,这是因为它仅仅只做了颜色相似度匹配。举个例子,从当前帧知道了目标区域80%是红色,20%是绿色,然后在下一帧,搜索算法去找最符合这个颜色比例的区域,所以当有相似物体出现时,均值偏移算法容易偏移到相似物体上。
上述两种方式都使用固定模版来跟踪目标的,目标的尺度变化对跟踪效果也有着巨大的影响,在目标跟踪过程中,目标尺寸发生变化时,用固定模板跟踪目标就会导致目标过小时增加背景杂波,而目标过大时减少目标特征的提取。
发明内容
本发明要解决的技术问题是提供一种计算速度快,能快速得到确定最终的目标位置,并对确定最终的目标位置进行跟踪,具有更强的可靠性和鲁棒性的基于均值偏移与核相关滤波的尺度自适应目标跟踪系统。
为了解决上述技术问题,本发明解决其技术问题所采用的技术方案是:
一种基于均值偏移与核相关滤波的尺度自适应目标跟踪系统,包括以下步骤:
步骤一:对动态视频框选图像帧数区域,在图像帧序列的首帧图像中获得要跟踪目标的初始位置信息和大小;
步骤二:将获取首帧图像的彩色图像信息输入至预设的MS算法模型进行训练;
步骤三:将获取的首帧图像转换为灰度图像,将灰度图像信息输入至KCF算法模型进行训练;
步骤四:获取新的图像帧,将新的图像帧信息输入至训练好的MS算法模型中确定目标的位置;
步骤五:将图像帧的灰度图像与步骤四中确定目标的位置进行采样输入至KCF算法模型中,重新确定新的目标位置,将其作为新的图像帧的最终目标位置;
步骤六:判断所述的新的图像帧是否为图像帧序列的最后一帧,若是,则结束目标跟踪过程,若否,则返回步骤二。
优选的,步骤五中,还包括使用最终目标位置结果交叉更新所述MS算法模型以及KCF算法模型。
优选的,所述的MS算法模型为:
在d维空间Rd中,给定n个样本点,记为{xi}i=1,...,n,则该d维空间中的基准点x的均值偏移向量的基本形式为:
其中,k为所有n个样本中落到区域Sh中的样本个数,Sh是一个半径为h的高维球形区域中满足以下关系的y点的集合:
Sh≡{y:(y-x)T(y-x)≤h2}
上式是对MS算法模型的最初始的定义。
优选的,引入核函数和权重函数,则新的MS算法模型表达式为:
其中,{xi}i=1,...,n为目标所在区域的n个像素点;w(xi)为点xi对应的权重,w(xi)≥0;GH(xi-x)=|H|-1/2G(H-1/2(xi-x)),G(·)为单位核函数,其轮廓函数g满足G(x)=g(||x||2),H为正定对称矩阵,其满足H=h2I,进而得到均值向量的如下扩展形式:
其中,h为核窗口大小即核宽。
优选的,所述的MS算法模型的跟踪过程包括目标表示和均值偏移迭代,若目标模型像素位置为则为目标中心坐标,其目标模型特征qu=(u=1,2,…,m)的概率密度为:
其中,k(x)为核函数,用于对像素进行加权;h为核函数带宽;n为目标窗口中像素点的个数;m是特征空间的元素个数;函数b(x)将坐标的像素映射到特征空间;δ(x)为1维Kronecker delta函数,C为归一化常数,其中
中心坐标为y的目标候选区域各特征分布密度{pu(y)}u=1,2,…,m根据上述表达式计算。
优选的,所述的KCF算法模型为:选取n×1维的目标块x作为基本样本;然后使用基本样本和通过循环位移得到的虚拟样本训练KCF算法模型,通过循环移位算子来模拟该向量的一维平移,循环移位算子是置换矩阵,其形式如下:
在该式中,循环矩阵中的元素pi,j也可以用pi,j=p(j-i)modn表示;
使用上式对目标图像样本进行循环移位,得到训练样本集合Xi={Cix|i=0,1,L,n-1};训练样本Xi赋予标签yi,则KCF算法模型的训练过程可以用如下的公式描述:
即可获得W,使得本式的代价函数式最小,其中
其中αi为训练样本Xi的系数;表示将训练样本Xi映射到高维特征空间的函数。
优选的,任意两个样本p和q在高纬度特征空间的相关性和相似度为其中k()为高斯核函数,此时W的求解转换成权重系数的求解:
α=(K+λI)-1y
其中α=[α1,α2,L,αn],K是核矩阵,Ki,j=k(Xi,Xj),对本式进行傅里叶变换:
其中为α的离散傅里叶变换;kxx为核矩阵的第一行向量。
优选的,用训练好的KCF算法模型对新的图像帧Z进行检测;其次,图像Z以上一帧的目标中心为中心;最后,以图像Z为基准通过循环位移得到所有的目标候选区域图像块,并计算目标候选区域的方向梯度直方图特征,计算其成为目标区域的概率的表达式:
选取概率值最大的候选区域x′为当前帧的目标区域。
优选的,模型更新是对x′进行循环移位得到新训练样本集合,用来更新下一帧中用于KCF算法模型训练所需的参数α,其更新表达式为:
α=(1-β)αpre+βαx′
其中,β为更新模型的学习率且为固定值;αpre为前一帧分类器参数,αx′为当前帧分类器参数。
优选的,为了确定MS算法模型跟踪目标在新的帧中的位置的相似性,采用巴氏系数来度量,这样MS算法模型在下一帧中确定一个候选位置,使得巴氏系数最大,其表达式为:
本发明的有益效果:
本发明提出基于均值偏移与核相关滤波的尺度自适应目标跟踪系统很好地解决目标跟踪中的一些难题,如快速运动,运动模糊以及尺度变化下的目标跟踪等,通过对动态视频的每一帧用MS算法模型对目标进行初步判定获得目标的初始位置,然后KCF算法模型以此位置为输入进行采样,找出具有最大响应值的尺度大小,确定最终的目标位置,本发明中的方法计算速度快,能快速得到确定最终的目标位置,并对确定最终的目标位置进行跟踪,算法实现简单,可以实现实时的尺度自适应目标跟踪,具有更强的可靠性和鲁棒性。
附图说明
图1是本发明的一种基于均值偏移与核相关滤波的尺度自适应目标跟踪系统的流程图。
图2是本发明的交叉更新的示意图
图3是本发明实施例中各算法在不同数据集上的中心误差。
图4是本发明的实施例中各算法在BlurOwl数据集上的部分跟踪效果。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明,以使本领域的技术人员可以更好地理解本发明并能予以实施,但所举实施例不作为对本发明的限定。
参照图1所示,一种基于均值偏移与核相关滤波的尺度自适应目标跟踪系统,包括以下步骤:
步骤一:对动态视频框选图像帧数区域,在图像帧序列的首帧图像中获得要跟踪目标的初始位置信息和大小;
步骤二:将获取首帧图像的彩色图像信息输入至预设的MS算法模型进行训练;
步骤三:将获取的首帧图像转换为灰度图像,将灰度图像信息输入至KCF算法模型进行训练;
步骤四:获取新的图像帧,将新的图像帧信息输入至训练好的MS算法模型中确定目标的位置;
步骤五:将图像帧的灰度图像与步骤四中确定目标的位置进行采样输入至KCF算法模型中,寻找具有最大响应值的尺度大小,重新确定新的目标位置,将其作为新的图像帧的最终目标位置;
步骤六:判断所述的新的图像帧是否为图像帧序列的最后一帧,若是,则结束目标跟踪过程,若否,则返回步骤二。
步骤五中,还包括使用最终目标位置结果交叉更新所述MS算法模型以及KCF算法模型。
均值偏移算法通过迭代运算收敛于概率密度函数的局部最大值,实现目标定位和跟踪,对目标的变形,旋转等情况下有较强的鲁棒性,所述的MS算法模型为:
在d维空间Rd中,给定n个样本点,记为{xi}i=1,...,n,则该d维空间中的基准点x的均值偏移向量的基本形式为:
其中,k为所有n个样本中落到区域Sh中的样本个数,Sh是一个半径为h的高维球形区域中满足以下关系的y点的集合:
Sh≡{y:(y-x)T(y-x)≤h2}
上式是对MS算法模型的最初始的定义。
该式表明,最初的均值偏移算法中,区域Sh中样本点对x的贡献是一样的然后引入核函数和权重系数:
(1)引入核函数:考虑基准点周围和小距离的样本对均值偏移向量影响大的实际情况,改变对MS算法模型的最初始的定义中的任何样本点对均值偏移向量贡献都相同的理论,引入核函数,使均值偏移向量中的样本点对于均值偏移向量的贡献与样本点距离基准点的远近有关。距离基准点近的样本点对于均值偏移向量贡献大;反之,距离基准点远的样本点对于均值偏移向量贡献小,采用的改进均值偏移向量如下:给定一种单位核函数G(x),其轮廓函数g满足G(x)=g(||x||2)。
(2)引入权重函数:在均值偏移向量的无参密度估计中,不仅距离影响均值偏移向量的大小,而且不同样本点对于均值偏移向量重要性也不相同,考虑这种实际情况时,则引入权重函数w(xi)。
引入核函数和权重函数,则新的MS算法模型表达式为:
其中,{xi}i=1,...,n为目标所在区域的n个像素点;w(xi)为点xi对应的权重,w(xi)≥0;GH(xi-x)=|H|-1/2G(H-1/2(xi-x)),G(·)为单位核函数,其轮廓函数g满足G(x)=g(||x||2),H为正定对称矩阵,其满足H=h2I,进而得到均值向量的如下扩展形式:
其中,h为核窗口大小即核宽。h大小的选择决定了运算模型样本的多少,同时对概率密度估计也有影响,h越大参与计算的样本数量就越多,概率密度估计的峰值就少,目标概率模型分布越平滑。
所述的MS算法模型的跟踪过程包括目标表示和均值偏移迭代,若目标模型像素位置为则为目标中心坐标,其目标模型特征qu=(u=1,2…,m,的)概率密度为:
其中,k(x)为核函数,用于对像素进行加权;h为核函数带宽;n为目标窗口中像素点的个数;m是特征空间的元素个数;函数b(x)将坐标的像素映射到特征空间;δ(x)为1维Kronecker delta函数,C为归一化常数,其中
中心坐标为y的目标候选区域各特征分布密度{pu(y)}u=1,2,…,m根据上述表达式计算。
核相关滤波算法(KCF)的核心思想是将目标区域的样本点进行循环位移得到额外的样本用来训练分类器,以解决目标跟踪中样本不足的问题,但同时会给分类器的训练带来巨大的计算成本,因此KCF算法在计算时引入了离散傅里叶变换。
所述的KCF算法模型为:选取n×1维的目标块x作为基本样本;然后使用基本样本(正样本)和通过循环位移得到的虚拟样本(负样本)训练KCF算法模型,通过循环移位算子来模拟该向量的一维平移,循环移位算子是置换矩阵,其形式如下:
在该式中,循环矩阵的每行是通过将前一行向右移位一个单位而获得的,循环矩阵中的元素pi,j也可以用pi,j=p(j-i)modn表示;
相关滤波器用于跟踪的基本原理是,首先对数据集的第一帧图像,将给定的目标区域提取特征进行训练,得到相关滤波器;然后对数据集剩下的每一帧图像都先对标候选区域提取特征,经过cos窗函数之后,进行傅里叶变换,之后与之前训练好的滤波器相乘;最后经过反傅里叶变换之后得到最大响应值的区域即为要追踪目标的新位置,更新滤波器用于下一帧图像的预测。KCF算法是一种基于相关滤波理论的跟踪算法,其本质是训练一个分类器使得目标的响应输出最大。
使用上式对目标图像样本进行循环移位,得到训练样本集合Xi={Cix|i=0,1,L,n-1};训练样本Xi赋予标签yi(yi服从高斯分布),则KCF算法模型的训练过程可以用如下的公式描述:
即可获得w,使得本式的代价函数式最小,其中
其中αi为训练样本Xi的系数;表示将训练样本Xi映射到高维特征空间的函数。
任意两个样本p和q在高纬度特征空间的相关性和相似度为其中k()为高斯核函数,此时w的求解转换成权重系数的求解:
α=(K+λI)-1y
其中α=[α1,α2,L,αn],K是核矩阵,Ki,j=k(Xi,Xj),对本式进行傅里叶变换:
其中为α的离散傅里叶变换;kxx为核矩阵的第一行向量。
用训练好的KCF算法模型对新的图像帧Z进行检测;其次,图像Z以上一帧的目标中心为中心;最后,以图像Z为基准通过循环位移得到所有的目标候选区域图像块,并计算目标候选区域的方向梯度直方图特征,计算其成为目标区域的概率的表达式:
选取概率值最大的候选区域x′为当前帧的目标区域。
模型更新是对x′进行循环移位得到新训练样本集合,用来更新下一帧中用于KCF算法模型训练所需的参数α,其更新表达式为:
α=(1-β)αpre+βαx′
其中,β为更新模型的学习率且为固定值;αpre为前一帧分类器参数,αx′为当前帧分类器参数。
为了确定MS算法跟踪目标在新的帧中的位置,目标直方图与候选直方图之间的相似性常用巴氏系数来度量,采用巴氏系数来度量,这样MS算法模型在下一帧中确定一个候选位置,使得巴氏系数最大,其表达式为:
本发明提出均值偏移与核相关滤波的尺度自适应算法,对视频的每一帧,采用的策略是用均值偏移算法对目标进行初步判定获得目标的初始位置,然后核相关滤波算法以此位置为输入进行采样,并根据尺度策略找出具有最大响应值的尺度框,确定最终的目标位置,最后更新算法模型。为了保证算法对目标跟踪的速度,本发明算法只有一层。
均值偏移算法用颜色分布进行目标外观表示,然后计算目标在下一帧图像上的概率分布,通过不断地迭代收敛到最终的目标位置。MS算法对部分遮挡有较好的效果,但是目标模型仅采用颜色特征,缺乏目标空间信息,对目标的描述不充分,易发生错误定位。KCF算法对遮挡和快速运动的跟踪效果不好,但是其循环矩阵对目标的描述比较充分,将两者结合可以相互补充,达到较好的跟踪效果。MS算法速度没有KCF算法快,将两者结合之后速度相较于KCF算法来说有所下降,因此本发明混合算法只有一层。同样由于算法的实时性问题,本发明并未采用SAMF算法的多特征融合,仅仅用到其尺度策略。为了方便实验对比,本发明算法简写为MSKCFS。本发明算法MSKCFS跟踪过程如下:
输入:帧数frames、第t帧图像
输出:第t帧的目标位置
Step1:读取第一帧图像并获取图像中目标的初始位置和大小
Step2:将获取的图像信息用公式(1)训练MS算法模型
Step3:将彩色图像转化成灰度图像,用公式(4)训练KCF算法模型
Step4:读取新的图像帧
Step5:用训练好的MS算法模型确定目标的位置
Step6:将图像帧的灰度图像与MS算法模型确定目标的位置作为KCF算法的输入,寻找具有最大响应值的尺度大小,重新确定新的目标位置
Step7:将KCF算法得到的新的目标位置作为新的图像帧的最终目标位置
Step8:更新KCF模型
Step9:如果不是数据集的最后一帧,转向Step4,否则转向Step10
Step10:结束目标跟踪过程。
下面对本发明的实例作详细说明:本实例在公用的50个数据集上进行,表1描述了部分实验数据的特点;实验环境为Intel(R)Core(TM)i7-6700 CPU 3.40GHz,8GB RAM,Windows10操作系统,编程环境是Matlab2013a。本实例算法的HOG特征细胞单元设置为4×4;划分为9个梯度空间,特征维数为9×9;学习速率为θ=0.01;尺度池S={0.985,0.99,0.995,1.01,1.015};
表1部分数据集特点
在进行对比实验时,本实例主要采用以下两种算法评价标准:中心误差(CenterLocation Error,CLE)和平均中心误差(Average Center Location Error,ACLE)。中心误差的公式如下所示:
CLE=|CenterGT-Centeralgorithm|
其中CenterGT是真实的目标中心,Centeralgorithm是用跟踪算法的跟踪结果得到的目标中心。本实例在CLE=|CenterGT-Centeralgorithm|的基础上给出了平均中心误差ACLE的定义如下公式所示:
实验结果:
本实例算法与多示例学习跟踪器(MIL)、尺度自适应多特征跟踪器(SAMF)、核相关滤波跟踪器(KCF)、长期相关跟踪器(LCT)、快速压缩跟踪器(FCT)和基于时空上下文的快速跟踪器(STC)这6个主流算法进行实验对比。
图3反映了各个算法在同一数据集上每一帧的中心误差情况。在具有快速运动和运动模糊特点的Jumping数据集上,各个算法都有不同程度的偏移,STC、KCF和FCT算法偏移比较严重,本实例算法在数据集前期有较大偏移而在后期比较稳定。在具有尺度变化特点的Freeman1数据集上,MIL和本实例算法的跟踪效果一直很稳定并且中心误差值比较低,其他算法在0到100帧上表现很稳定,而在100帧以后都出现较大偏移。综上所述,本实例算法在处理尺度变化、快速运动及运动模糊问题上取得更好的跟踪效果。
BlurOwl是典型的由于目标快速运动而造成的运动模糊的数据集。如图4所示,目标在以下帧中均发生运动模糊现象,在第77帧时,只有本实例算法与LCT算法跟踪到目标,其他算法开始漂移;从第153帧到第155帧连续3帧上的跟踪结果来看,LCT算法在153帧和154帧上没有正确跟踪到目标,但在第155帧时重新检测到目标,其他算法在这个过程中均丢失了目标,而本实例算法始终准确跟踪到目标;因此本实例算法在处理运动模糊及快速运动时较其他算法有更好的鲁棒性。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例,本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换,均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。
Claims (10)
1.一种基于均值偏移与核相关滤波的尺度自适应目标跟踪系统,其特征在于包括以下步骤:
步骤一:对动态视频框选图像帧数区域,在图像帧序列的首帧图像中获得要跟踪目标的初始位置信息和大小;
步骤二:将获取首帧图像的彩色图像信息输入至预设的MS算法模型进行训练;
步骤三:将获取的首帧图像转换为灰度图像,将灰度图像信息输入至KCF算法模型进行训练;
步骤四:获取新的图像帧,将新的图像帧信息输入至训练好的MS算法模型中确定目标的位置;
步骤五:将图像帧的灰度图像与步骤四中确定目标的位置进行采样输入至KCF算法模型中,重新确定新的目标位置,将其作为新的图像帧的最终目标位置;
步骤六:判断所述的新的图像帧是否为图像帧序列的最后一帧,若是,则结束目标跟踪过程,若否,则返回步骤二。
2.如权利要求1所述的基于均值偏移与核相关滤波的尺度自适应目标跟踪系统,其特征在于,步骤五中,还包括使用最终目标位置结果交叉更新所述MS算法模型以及KCF算法模型。
3.如权利要求1所述的基于均值偏移与核相关滤波的尺度自适应目标跟踪系统,其特征在于,所述的MS算法模型为:
在d维空间Rd中,给定n个样本点,记为{xi}i=1,...,n,则该d维空间中的基准点x的均值偏移向量的基本形式为:
其中,k为所有n个样本中落到区域Sh中的样本个数,Sh是一个半径为h的高维球形区域中满足以下关系的y点的集合:
Sh≡{y:(y-x)T(y-x)≤h2}
上式是对MS算法模型的最初始的定义。
4.如权利要求3所述的基于均值偏移与核相关滤波的尺度自适应目标跟踪系统,其特征在于,引入核函数和权重函数,则新的MS算法模型表达式为:
其中,{xi}i=1,...,n为目标所在区域的n个像素点;w(xi)为点xi对应的权重,w(xi)≥0;GH(xi-x)=|H|-1/2G(H-1/2(xi-x)),G(·)为单位核函数,其轮廓函数g满足G(x)=g(||x||2),H为正定对称矩阵,其满足H=h2I,进而得到均值向量的如下扩展形式:
其中,h为核窗口大小即核宽。
5.如权利要求3所述的基于均值偏移与核相关滤波的尺度自适应目标跟踪系统,其特征在于,所述的MS算法模型的跟踪过程包括目标表示和均值偏移迭代,若目标模型像素位置为则为目标中心坐标,其目标模型特征qu=(u=1,2,…,m)的概率密度为:
其中,k(x)为核函数,用于对像素进行加权;h为核函数带宽;n为目标窗口中像素点的个数;m是特征空间的元素个数;函数b(x)将坐标的像素映射到特征空间;δ(x)为1维Kronecker delta函数,C为归一化常数,其中
中心坐标为y的目标候选区域各特征分布密度{pu(y)}u=1,2,…,m根据上述表达式计算。
6.如权利要求2所述的基于均值偏移与核相关滤波的尺度自适应目标跟踪系统,其特征在于,所述的KCF算法模型为:选取n×1维的目标块x作为基本样本;然后使用基本样本和通过循环位移得到的虚拟样本训练KCF算法模型,通过循环移位算子来模拟该向量的一维平移,循环移位算子是置换矩阵,其形式如下:
在该式中,循环矩阵中的元素pi,j也可以用pi,j=p(j-i)modn表示;
使用上式对目标图像样本进行循环移位,得到训练样本集合Xi={Cix|i=0,1,L,n-1};训练样本Xi赋予标签yi,则KCF算法模型的训练过程可以用如下的公式描述:
即可获得w,使得本式的代价函数式最小,其中
其中αi为训练样本Xi的系数;表示将训练样本Xi映射到高维特征空间的函数。
7.如权利要求6所述的基于均值偏移与核相关滤波的尺度自适应目标跟踪系统,其特征在于,任意两个样本p和q在高纬度特征空间的相关性和相似度为其中k()为高斯核函数,此时w的求解转换成权重系数的求解:
α=(K+λI)-1y
其中α=[α1,α2,L,αn],K是核矩阵,Ki,j=k(Xi,Xj),对本式进行傅里叶变换:
其中为α的离散傅里叶变换;kxx为核矩阵的第一行向量。
8.如权利要求7所述的基于均值偏移与核相关滤波的尺度自适应目标跟踪系统,其特征在于,用训练好的KCF算法模型对新的图像帧Z进行检测;其次,图像Z以上一帧的目标中心为中心;最后,以图像Z为基准通过循环位移得到所有的目标候选区域图像块,并计算目标候选区域的方向梯度直方图特征,计算其成为目标区域的概率的表达式:
选取概率值最大的候选区域x′为当前帧的目标区域。
9.如权利要求7所述的基于均值偏移与核相关滤波的尺度自适应目标跟踪系统,其特征在于,模型更新是对x′进行循环移位得到新训练样本集合,用来更新下一帧中用于KCF算法模型训练所需的参数α,其更新表达式为:
α=(1-β)αpre+βαx′
其中,β为更新模型的学习率且为固定值;αpre为前一帧分类器参数,αx′为当前帧分类器参数。
10.如权利要求5所述的基于均值偏移与核相关滤波的尺度自适应目标跟踪系统,其特征在于,为了确定MS算法模型跟踪目标在新的帧中的位置的相似性,采用巴氏系数来度量,这样MS算法模型在下一帧中确定一个候选位置,使得巴氏系数最大,其表达式为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910249619.9A CN109977971A (zh) | 2019-03-29 | 2019-03-29 | 基于均值偏移与核相关滤波的尺度自适应目标跟踪系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910249619.9A CN109977971A (zh) | 2019-03-29 | 2019-03-29 | 基于均值偏移与核相关滤波的尺度自适应目标跟踪系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109977971A true CN109977971A (zh) | 2019-07-05 |
Family
ID=67081666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910249619.9A Pending CN109977971A (zh) | 2019-03-29 | 2019-03-29 | 基于均值偏移与核相关滤波的尺度自适应目标跟踪系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109977971A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110781847A (zh) * | 2019-10-30 | 2020-02-11 | 辽宁鼎汉奇辉电子系统工程有限公司 | 一种基于神经网络动作行为识别的方法 |
CN111080676A (zh) * | 2019-12-20 | 2020-04-28 | 电子科技大学 | 一种通过在线分类跟踪内窥镜图像序列特征点的方法 |
CN111275740A (zh) * | 2020-01-19 | 2020-06-12 | 武汉大学 | 一种基于高分辨率孪生网络的卫星视频目标跟踪方法 |
CN111582349A (zh) * | 2020-04-30 | 2020-08-25 | 陕西师范大学 | 一种基于YOLOv3和核相关滤波改进的目标跟踪算法 |
CN111815668A (zh) * | 2020-06-23 | 2020-10-23 | 浙江大华技术股份有限公司 | 目标跟踪方法、电子设备及存储介质 |
US20200380274A1 (en) * | 2019-06-03 | 2020-12-03 | Nvidia Corporation | Multi-object tracking using correlation filters in video analytics applications |
CN112435280A (zh) * | 2020-11-13 | 2021-03-02 | 桂林电子科技大学 | 一种无人机视频的运动目标检测与跟踪方法 |
CN112528817A (zh) * | 2020-12-04 | 2021-03-19 | 重庆大学 | 一种基于神经网络的巡检机器人视觉检测及跟踪方法 |
CN112926693A (zh) * | 2021-04-12 | 2021-06-08 | 辽宁工程技术大学 | 针对快速运动和运动模糊的核化相关滤波算法 |
CN112991394A (zh) * | 2021-04-16 | 2021-06-18 | 北京京航计算通讯研究所 | 基于三次样条插值和马尔科夫链的kcf目标跟踪方法 |
CN113327273A (zh) * | 2021-06-15 | 2021-08-31 | 中国人民解放军火箭军工程大学 | 一种基于可变窗函数相关滤波的红外目标跟踪方法 |
CN113822912A (zh) * | 2021-10-08 | 2021-12-21 | 中国人民解放军国防科技大学 | 图像目标长宽比变化的尺度自适应跟踪方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107016689A (zh) * | 2017-02-04 | 2017-08-04 | 中国人民解放军理工大学 | 一种尺度自适应的相关滤波对冲目标跟踪方法 |
CN108550161A (zh) * | 2018-03-20 | 2018-09-18 | 南京邮电大学 | 一种尺度自适应核相关滤波快速目标跟踪方法 |
-
2019
- 2019-03-29 CN CN201910249619.9A patent/CN109977971A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107016689A (zh) * | 2017-02-04 | 2017-08-04 | 中国人民解放军理工大学 | 一种尺度自适应的相关滤波对冲目标跟踪方法 |
CN108550161A (zh) * | 2018-03-20 | 2018-09-18 | 南京邮电大学 | 一种尺度自适应核相关滤波快速目标跟踪方法 |
Non-Patent Citations (1)
Title |
---|
周华争: "联合判别与生成模型的目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200380274A1 (en) * | 2019-06-03 | 2020-12-03 | Nvidia Corporation | Multi-object tracking using correlation filters in video analytics applications |
CN110781847A (zh) * | 2019-10-30 | 2020-02-11 | 辽宁鼎汉奇辉电子系统工程有限公司 | 一种基于神经网络动作行为识别的方法 |
CN111080676A (zh) * | 2019-12-20 | 2020-04-28 | 电子科技大学 | 一种通过在线分类跟踪内窥镜图像序列特征点的方法 |
CN111275740B (zh) * | 2020-01-19 | 2021-10-22 | 武汉大学 | 一种基于高分辨率孪生网络的卫星视频目标跟踪方法 |
CN111275740A (zh) * | 2020-01-19 | 2020-06-12 | 武汉大学 | 一种基于高分辨率孪生网络的卫星视频目标跟踪方法 |
CN111582349A (zh) * | 2020-04-30 | 2020-08-25 | 陕西师范大学 | 一种基于YOLOv3和核相关滤波改进的目标跟踪算法 |
CN111815668A (zh) * | 2020-06-23 | 2020-10-23 | 浙江大华技术股份有限公司 | 目标跟踪方法、电子设备及存储介质 |
CN112435280A (zh) * | 2020-11-13 | 2021-03-02 | 桂林电子科技大学 | 一种无人机视频的运动目标检测与跟踪方法 |
CN112528817A (zh) * | 2020-12-04 | 2021-03-19 | 重庆大学 | 一种基于神经网络的巡检机器人视觉检测及跟踪方法 |
CN112528817B (zh) * | 2020-12-04 | 2024-03-19 | 重庆大学 | 一种基于神经网络的巡检机器人视觉检测及跟踪方法 |
CN112926693A (zh) * | 2021-04-12 | 2021-06-08 | 辽宁工程技术大学 | 针对快速运动和运动模糊的核化相关滤波算法 |
CN112991394B (zh) * | 2021-04-16 | 2024-01-19 | 北京京航计算通讯研究所 | 基于三次样条插值和马尔科夫链的kcf目标跟踪方法 |
CN112991394A (zh) * | 2021-04-16 | 2021-06-18 | 北京京航计算通讯研究所 | 基于三次样条插值和马尔科夫链的kcf目标跟踪方法 |
CN113327273A (zh) * | 2021-06-15 | 2021-08-31 | 中国人民解放军火箭军工程大学 | 一种基于可变窗函数相关滤波的红外目标跟踪方法 |
CN113327273B (zh) * | 2021-06-15 | 2023-12-19 | 中国人民解放军火箭军工程大学 | 一种基于可变窗函数相关滤波的红外目标跟踪方法 |
CN113822912A (zh) * | 2021-10-08 | 2021-12-21 | 中国人民解放军国防科技大学 | 图像目标长宽比变化的尺度自适应跟踪方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109977971A (zh) | 基于均值偏移与核相关滤波的尺度自适应目标跟踪系统 | |
CN109800689B (zh) | 一种基于时空特征融合学习的目标跟踪方法 | |
CN110070074B (zh) | 一种构建行人检测模型的方法 | |
CN110084836B (zh) | 基于深度卷积特征分层响应融合的目标跟踪方法 | |
CN108447080B (zh) | 基于分层数据关联和卷积神经网络的目标跟踪方法、系统和存储介质 | |
CN109816689A (zh) | 一种多层卷积特征自适应融合的运动目标跟踪方法 | |
CN106204638A (zh) | 一种基于尺度自适应和遮挡处理的航拍目标跟踪方法 | |
CN108109162B (zh) | 一种利用自适应特征融合的多尺度目标跟踪方法 | |
CN107545582A (zh) | 基于模糊逻辑的视频多目标跟踪方法及装置 | |
CN111311647B (zh) | 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置 | |
CN108961308B (zh) | 一种漂移检测的残差深度特征目标跟踪方法 | |
CN107862240B (zh) | 一种多摄像头协同的人脸追踪方法 | |
CN105976397B (zh) | 一种目标跟踪方法 | |
CN110276785A (zh) | 一种抗遮挡红外目标跟踪方法 | |
CN109087337B (zh) | 基于分层卷积特征的长时间目标跟踪方法及系统 | |
CN109886356A (zh) | 一种基于三分支神经网络的目标追踪方法 | |
CN112836640A (zh) | 一种单摄像头多目标行人跟踪方法 | |
CN108256462A (zh) | 一种商场监控视频中的人数统计方法 | |
CN111476819A (zh) | 一种基于多相关滤波模型的长时目标跟踪方法 | |
CN108682022A (zh) | 基于对抗迁移网络的视觉跟踪方法及系统 | |
Yang et al. | Visual tracking with long-short term based correlation filter | |
CN112200021A (zh) | 基于有限范围场景内的目标人群跟踪监控方法 | |
CN110287829A (zh) | 一种结合深度q学习和注意模型的视频人脸识别方法 | |
CN107368802A (zh) | 基于kcf和人脑记忆机制的运动目标跟踪方法 | |
Ding et al. | Machine learning model for feature recognition of sports competition based on improved TLD algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190705 |