CN104200226B - 基于机器学习的粒子滤波目标跟踪方法 - Google Patents
基于机器学习的粒子滤波目标跟踪方法 Download PDFInfo
- Publication number
- CN104200226B CN104200226B CN201410441058.XA CN201410441058A CN104200226B CN 104200226 B CN104200226 B CN 104200226B CN 201410441058 A CN201410441058 A CN 201410441058A CN 104200226 B CN104200226 B CN 104200226B
- Authority
- CN
- China
- Prior art keywords
- mrow
- target
- image
- value
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000002245 particle Substances 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000010801 machine learning Methods 0.000 title claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 67
- 230000009466 transformation Effects 0.000 claims abstract description 26
- 230000008859 change Effects 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims abstract description 3
- 238000012706 support-vector machine Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 238000005352 clarification Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000000052 comparative effect Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 abstract 1
- 230000006641 stabilisation Effects 0.000 abstract 1
- 238000011105 stabilization Methods 0.000 abstract 1
- 238000010276 construction Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000009472 formulation Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000007812 deficiency Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000001154 acute effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于机器学习的粒子滤波目标跟踪方法,主要解决现有技术跟踪效率低、目标跟踪过程中易受环境变化影响、目标模型适应性不好的问题。本发明实现的具体步骤是:(1)提取目标和背景特征;(2)训练目标模型;(3)目标的模板匹配跟踪;(4)判断目标模型变换到实时目标图像的变换参数和最优变换参数之间的绝对误差是否小于0.3;(5)粒子滤波的目标跟踪;(6)判断视频序列中的所有图像是否处理完毕。本发明能有效地提高跟踪效率,并且跟踪目标稳定,目标模型的适应性更强。
Description
技术领域
本发明属于计算机视觉领域,更进一步涉及数字图像的目标跟踪技术领域中的一种基于机器学习的粒子滤波目标跟踪方法。本发明可用于实现目标的精确跟踪,针对视频序列中的特定目标,将目标模板匹配和粒子滤波器相结合,提高了跟踪效率。
背景技术
基于图像序列的运动目标自动跟踪是图像处理、模式识别和精确制导领域的重要课题,在国防、工业和交通等领域有着广泛的应用。国内外很多文献对目标的表述和跟踪方法进行了研究。但在实际的跟踪中常常还会遇到问题,很难完成长序列视频目标的跟踪。究其原因主要是模型的相对固定不能适应大幅度的光照、背景变化和物体的大范围运动等。
雷云,丁晓青和王生进在论文“嵌入粒子滤波中的Adaboost跟踪器”(《清华大学学报》2007,47(7):1141-1143)中采用Adaboost分类器和粒子滤波相结合的方法来跟踪目标。首先给定感兴趣的目标类别,训练一组级联的Adaboost分类器,然后将级联Adaboost分类器中的每个弱分类器和每层强分类器嵌入到粒子滤波跟踪算法中。该方法存在的不足是,Adaboost分类器需要大量的训练样本,使得在跟踪过程中实时性不佳,跟踪效率较低。
刘海龙,胡福乔和赵宇明在论文“基于粒子滤波和在线学习的目标跟踪”(《计算机工程》2013,39(10):232-235)提出一种目标跟踪方法。该方法首先将获取的第一帧图像来训练分类器和初始化粒子滤波器,对于视频后续帧,分类器和粒子滤波器分别对目标进行检测和跟踪,并利用粒子滤波的跟踪结果来提高训练样本库的准确性,改进在线学习算法,并通过反复迭代来提高整体算法的精度。该方法存在的不足是,目标的运动产生的形变及光照变化对跟踪效果的影响较大,目标模型的适应性不好。
发明内容:
本发明的目的在于克服上述现有技术的不足,提出了一种基于机器学习的粒子滤波目标跟踪方法。
实现本发明的目的的基本思路是:首先,利用目标和背景的颜色直方图特征和纹理特征表示目标和背景的信息;其次,利用支持向量机SVM对获得的目标和背景的特征进行训练,获得目标模型;再次,根据训练获得的目标模型,进行目标模板的跟踪,在误差小于0.3的情况下,重新对目标模板进行支持向量机SVM的训练;最后,根据重新训练的目标模型,对目标进行粒子滤波跟踪。
实现本发明目的的具体步骤如下:
(1)提取目标和背景联合特征:
(1a)提取目标和背景的颜色直方图特征;
(1b)提取目标和背景的局部二值模式特征;
(1c)将颜色直方图特征与局部二值模式特征联合,得到目标和背景的联合特征;
(2)训练目标模型:
(2a)用目标和背景的联合特征,标记视频序列中所有的彩色图像,得到初始训练样本;
(2b)利用支持向量机SVM,对初始训练样本进行训练,得到目标样本分类器;
(2c)利用目标样本分类器,从初始训练样本中分离出目标模型;
(3)目标的模板匹配跟踪:
(3a)框出目标在视频序列的第一帧图像中的位置,获得搜索模板;
(3b)将前一帧图像中目标的位置作为当前帧中目标的初始位置,得到当前帧的目标图像,采用去均值归一化互相关算法,计算搜索模板与目标图像的相似性度量矩阵中的所有元素值;
(3c)判断相似性度量矩阵中的所有元素中最大值是否大于0.8,若是,执行步骤(3d),否则,执行步骤(3b);
(3d)采用绝对误差计算公式,计算目标模型变换到实时目标图像的变换参数和最优变换参数之间的绝对误差;
(4)判断目标模型变换到实时目标图像的变换参数和最优变换参数之间的绝对误差是否大于0.3,若是,执行步骤(5);否则,将当前帧的目标图像加入支持向量机的训练样本中,执行步骤(2);
(5)粒子滤波的目标跟踪:
(5a)在当前帧目标图像中,按高斯分布初始化100个与当前帧目标图像相同的粒子;
(5b)使用目标样本分类器,对当前帧目标图像中的所有粒子进行分类,得到目标样本分类器的输出概率;
(5c)利用粒子位置计算公式,计算当前帧目标的位置,得到当前帧目标的特征值;
(5d)将当前帧目标的特征值输入到目标样本分类器,得到目标样本分类器的输出概率;
(5e)判断目标样本分类器的输出概率是否小于0.5,若是,则执行步骤(5a),否则,执行步骤(6);
(6)判断视频序列中的所有图像是否处理完毕,若是,则执行步骤(7),否则,执行步骤(3);
(7)结束。
本发明与现有技术相比,具有以下优点:
第一,本发明采用在线更新目标模型,克服了现有技术中需要大量训练样本的缺点,使得本发明具有跟踪效率高的优点。
第二,本发明将模板跟踪及粒子滤波跟踪相结合,用来更新目标的训练集合,克服了现有技术中目标跟踪效果容易受目标运动产生的形变及光照变化影响的缺点,使得本发明具有跟踪目标稳定的优点。
第三,本发明采用支持向量机SVM训练目标分类器,通过目标分类器输出的概率值计算粒子滤波器的粒子权重,克服了现有技术中目标模型适应性不好的缺点,使得本发明具有目标模型的适应性更强的优点。
附图说明
图1为本发明的流程图;
图2为本发明的仿真图。
具体实施方式
下面结合附图1对本发明的步骤作进一步的详细说明。
步骤1,提取目标和背景特征
颜色直方图所描述的是不同色彩在整幅图像中所占的比例,而并不关心每种色彩所处的空间位置,即对于图像中帧间的对象或物体的移动不敏感。因此,本发明使用颜色特征,计算颜色直方图。
第一步,将视频序列中彩色图像的一个像素的红色分量右移5位,将绿色分量右移2位,将蓝色分量左移1位;将移位后的红色、绿色、蓝色分量值相加,得到该帧彩色图像中一个像素的色调值,色调值的取值范围是[0-26];
第二步,采用第一步的方法,计算该帧彩色图像中所有像素中的每一个像素的色调值;
第三步,用每个色调值对应的像素个数除以该帧彩色图像所有像素的个数,得到该帧彩色图像目标和背景的颜色直方图特征;
第四步,对视频序列中的彩色图像,采用第三步的方法,得到所有彩色图像的目标和背景的颜色直方图特征。
本发明采用局部二值模式LBP(Local Binary Pattern)建立目标模型和背景的局部纹理模型。局部二值模式算子定义为在半径为1的圆形邻域内,以圆心位置处的像素为阈值,将周围的8个像素的灰度值与其进行比较,若周围像素值大于中心像素值,则该像素点的位置被标记为1,否则为0。这样,该圆形邻域内的8个点可产生8bit的无符号数,即得到该邻域中心位置处像素的局部二值模式值。对整个图片上的所有像素点都用上面的方法处理,也就是将某一像素点与其周围的8个点进行比较,然后选定一个起始点按顺时针的方向得到一个二进制串,再将其转换为十进制数,这样就得到了整幅图上所有像素点的局部二值模式值。
对于半径为1的圆形邻域内含有8个采样点的局部二值模式算子将会有256种模式,当二进制模式过多时,使数据量过大,且直方图过于稀疏,将不利于图像纹理的提取及后续环节的处理。为了解决二进制模式过多的问题,提高统计性,需要对原始的局部二值模式模式进行降维处理,使得在数据量减少的情况下能最好的代表图像的信息。本发明中我们使用等价模式来对局部二值模式算子的模式进行降维,Ojala等认为,在实际图像中,绝大多数局部二值模式模式最多只包含两次从1到0或从0到1的跳变。因此,Ojala将“等价模式”定义为:当某个局部二值模式所对应的循环二进制数从0到1或从1到0最多有两次跳变时,该LBP所对应的二进制就称为一个等价模式类。如00000000(0次跳变),00000111(只含一次从0到1的跳变),10001111(先由1跳到0,再由0跳到1,共两次跳变)都是等价模式类。除等价模式类以外的模式都归为另一类,称为混合模式类,例如10010111(共四次跳变)通过这样的改进,二进制模式的种类大大减少,而不会丢失任何信息。对于半径为1的圆形邻域内8个采样点来说,共有58个等价模式,其它的所有模式为第59类,这样8位二进制数的模式由原来的256种减少为59种,这使得特征向量的维数更少,并且可以减少高频噪声带来的影响。
第一步,按照下式,计算彩色图像的一个像素灰度值,与该像素邻域内其他像素灰度值的绝对差值:
Δg=|gp-g|
其中,Δg表示彩色图像的一个像素灰度值与该像素邻域内其他像素灰度值的绝对差值,gp表示以该像素为中心半径为1的圆周上的第p个像素的灰度值,g表示彩色图像的一个像素的灰度值,|·|表示取绝对值操作;
第二步,按照下式,比较彩色图像的一个像素灰度值与该像素邻域内其他像素灰度值的绝对差值与灰度阈值大小:
其中,Δg表示彩色图像的一个像素灰度值与该像素邻域内其他像素灰度值的绝对差值,s(·)表示彩色图像的一个像素灰度值与该像素邻域内其他像素灰度值的绝对差值与灰度阈值的比较结果,T表示灰度阈值,取值范围为[1-5],|·|表示取绝对值操作;
第三步,按照下式,对彩色图像的所有像素,计算每一个像素的局部二值模式值:
其中,LBP表示彩色图像的一个像素的局部二值模式,(x,y)表示一帧图像的一个像素的位置,Δg表示彩色图像的一个像素灰度值与该像素邻域内其他像素灰度值的绝对差值,s(·)表示彩色图像的一个像素灰度值与该像素邻域内其他像素灰度值的绝对差值与灰度阈值的比较结果,p表示以该像素为中心半径为1的圆周上的第p个像素,∑表示求和操作;
第四步,将彩色图像中像素的局部二值模式LBP值归一化为概率,得到彩色图像中目标和背景的纹理特征。
第五步,对视频序列中的彩色图像,采用第四步的方法,得到所有彩色图像的目标和背景的局部二值模式特征。
将颜色直方图特征与局部二值模式特征联合,得到目标和背景的联合特征。
步骤2,训练目标模型
支持向量机SVM是一个有监督分类器,它需要有标注好的训练数据来先进行训练过程,再完成预测分类任务。支持向量机SVM的目标就是要根据结构风险最小化原理,构造一个目标函数将两类模式尽可能地区分开来,主要思想可以概括为两点:(1)它通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分,从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能;(2)它基于结构风险最小化理论,在特征空间中建构最优分割超平面,使得学习器得到全局最优化,并且在整个样本空间的期望风险以某个概率满足一定上界。具体的训练方法可由下列步骤来完成。
用目标和背景的联合特征,标记视频序列中所有的彩色图像,得到初始训练样本。
按照下式计算初始训练样本的最优构造系数:
其中,表示初始训练样本的最优构造系数,ai表示初始训练目标样本的第i个目标样本的构造系数,aj表示初始训练背景样本的构造系数的第j个分量,xi表示初始训练目标样本中第i个目标样本的特征值,xj表示初始训练背景样本中第j个背景样本的特征值,N1表示初始训练目标样本的个数,N-1表示初始训练背景样本的个数,arg表示取参数操作,min表示最小化操作,||·||表示范数,∑表示求和操作。
按照下式,计算初始训练目标样本的最近点:
其中,c表示初始训练目标样本的最近点,表示初始训练目标样本最优构造系数的第i个分量,xi表示初始训练目标样本中第i个目标样本的特征值,N1表示初始训练目标样本的个数,∑表示求和操作。
按照下式,计算初始训练背景样本的最近点:
其中,d表示初始训练背景样本的最近点,表示初始训练背景样本最优构造系数的第j个分量,xj表示初始训练背景样本中第i个背景样本的特征值,N-1表示初始训练背景样本的个数,∑表示求和操作。
按照下式,计算初始训练样本的分割超平面系数:
其中,表示初始训练样本的分割超平面系数,c表示初始训练目标样本的最近点,d表示初始训练背景样本的最近点。
按照下式,计算初始训练样本的分割超平面系数:
其中,表示初始训练样本的分割超平面系数,c表示初始训练目标样本的最近点,d表示初始训练背景样本的最近点。
按照下式,计算初始训练样本的分类决策函数:
其中,f(x)表示初始训练样本的分类决策函数,和表示初始训练样本的分割超平面系数,x表示初始训练样本中一个样本的特征值,sgn表示符号函数。
计算初始训练样本通过支持向量机SVM训练的后正确分类的概率:
其中,Pf(·)表示支持向量机SVM对目标进行正确分类的概率,y表示初始训练样本中一个样本的类别,x表示初始训练样本中一个样本的特征值,f(·)表示初始训练样本的分类决策函数,h表示初始训练样本通过支持向量机SVM训练的最优化参数,k表示初始训练样本通过支持向量机SVM训练的最优化参数,exp表示指数操作。
通过对目标和背景样本集合的训练,可以得到一个目标样本的分类器。
步骤3,目标的模板匹配跟踪
框出目标在测试视频序列中第一帧图像中所处的位置,获得搜索模板初始位置,应使目标位于模板中心。
将前一帧图像中目标的位置作为当前帧中目标的初始位置,得到当前帧的目标图像,采用去均值归一化互相关算法,计算搜索模板与目标图像的相似性度量矩阵中的所有元素值。
去均值归一化互相关算法的计算公式如下:
其中,ui,j表示搜索模板与目标图像的相似性度量矩阵中位置(i,j)处的元素值,I(·)表示目标图像,r表示目标图像中像素横坐标位置,c表示目标图像中像素的纵坐标位置,表示目标图像中像素灰度均值,Ts(·)表示搜索模板,表示搜索模板中像素灰度均值,m表示搜索模板的长度,n表示搜索模板的宽度,∑表示求和操作。
根据该互相关函数,可以得到模板与目标候选区域的一个相似性度量矩阵,如果矩阵中的所有元素中最大值大于设定的匹配阈值时(通常根据经验设置为0.8),表示此区域是与目标区域最为相似的区域,可以根据该区域位置初始化目标模型变换到实时目标图像的变换参数P,进行模板匹配跟踪当前模板;否则,增大搜索模板的尺寸,扩大搜索范围。
搜索模板主要负责在当前视频中估计目标的大致位置,因此需要实时变化。这种目标定位方法与传统方法相比克服了目标位置发生剧烈变化时对目标不能进行准确定位的情况。
按照下式,计算目标模板变换到实时目标图像的变换参数;
I(W)=PT(X)
其中,I(·)表示目标图像,W表示目标图像的像素坐标,P表示变换参数,T(·)表示目标模板,X表示目标模板的像素坐标。
按照下式,计算目标模板到目标图像的最优变换参数:
P′=argmin(∑[I(W)-T(X)]2)
其中,P′表示目标模板到目标图像的最优变换参数,I(·)表示目标图像,W表示目标图像的像素坐标,T(·)表示目标模板,X表示目标模板的像素坐标,arg表示取参数操作,min表示最小化操作,∑表示求和操作。
按照下式,计算目标模型变换到实时目标图像的变换参数和最优变换参数之间的绝对误差:
δ=|P′-P|
其中,δ表示目标模型到目标图像的变换参数和最优变换参数之间的绝对误差,P′表示目标模板到目标图像的最优变换参数,P表示目标模板到目标图像的变换参数,|·|表示取绝对值操作。
步骤4,判断最优变换参数和变换参数之间的绝对误差是否大于0.3,若是,则执行步骤(5);否则当前帧的目标图像加入支持向量机的训练样本中,执行步骤(2)。
步骤5,粒子滤波的目标跟踪
根据目标图像的特征产生一定数量的粒子,去搜索目标对象。粒子初始化方式是在上一帧得到的目标图像附近按照高斯分布初始化,可以理解成,靠近目标的地方粒子较多,远离目标的地方较少。
在获得的当前帧目标图像的周围,按高斯分布初始化100个与当前帧目标图像相同的粒子。
使用目标样本分类器对当前帧目标图像中的所有粒子进行分类,得到目标样本分类器的输出概率。
按照下式,计算当前帧目标图像中每个粒子的权值:
wi=Pf(y=1|xi)
其中,wi表示当前帧目标图像中第i个粒子的权值,Pf(·)目标样本分类器对当前帧目标图像中的第i个粒子进行分类得到的输出概率,y表示步骤(3a)中框出的目标,xi表示当前帧目标图像中第i个粒子的特征值,
按照下式,计算当前帧目标图像的横坐标位置:
其中,e表示当前帧目标的横坐标位置,ki表示当前帧目标图像中第i个粒子的横坐标位置,wi表示当前帧目标图像中第i个粒子的权值,∑表示求和操作。
按照下式,计算当前帧新目标图像的纵坐标位置:
其中,t表示当前帧目标的纵坐标位置,li表示当前帧目标图像中第i个粒子的纵坐标位置,wi表示当前帧目标图像中第i个粒子的权值,∑表示求和操作。
将当前帧目标的特征值输入到目标样本分类器,得到目标样本分类器的输出概率。
判断分类器的输出概率是否小于0.5,若是,则执行步骤(5a),否则,执行步骤(6)。
步骤6,判断视频序列中的所有图像是否处理完毕,若是,则执行步骤(7),否则,执行步骤(3);
步骤7,结束。
下面结合附图2对本发明的效果做进一步说明。
1,仿真条件
本发明在Intel(R)Core(TM)i5CPU650@3.20GHz,2.99G内存的电脑上,采用MATLABR2009b软件,对像素为640*480的David视频序列完成仿真,该视频序列存在人脸和背景的变化。
2,仿真内容与结果
本发明方法对像素为640*480的视David频序列进行进行脸部的跟踪。跟踪结果如图2所示,其中图2(a)中的虚线框内的人脸目标为使用本发明的模板匹配跟踪结果示意图,图2(b)中的虚线框内的黑色的点表示粒子分布情况,虚线框内的人脸为粒子滤波器根据粒子分布进行跟踪的结果示意图。
从图2所示的跟踪效果来看,本发明的方法能准确而稳定地跟踪到视频序列中的人脸目标,本发明提出的模板匹配与粒子滤波结合的跟踪算法可以有效跟踪复杂场景中的目标,对背景变化有较强的抗干扰性,不仅提高了跟踪精度,而且具有较强的鲁棒性。
Claims (8)
1.一种基于机器学习的粒子滤波目标跟踪方法,包括如下步骤:
(1)提取目标和背景联合特征:
(1a)提取目标和背景的颜色直方图特征;
(1b)提取目标和背景的局部二值模式特征;
(1c)将颜色直方图特征与局部二值模式特征联合,得到目标和背景的联合特征;
(2)训练目标模型:
(2a)用目标和背景的联合特征,标记视频序列中所有的彩色图像,得到初始训练样本;
(2b)利用支持向量机SVM,对初始训练样本进行训练,得到目标样本分类器;
(2c)利用目标样本分类器,从初始训练样本中分离出目标模型;
(3)目标的模板匹配跟踪:
(3a)框出目标在视频序列的第一帧图像中的位置,获得搜索模板;
(3b)将前一帧图像中目标的位置作为当前帧中目标的初始位置,得到当前帧的目标图像,采用去均值归一化互相关算法,计算搜索模板与目标图像的相似性度量矩阵中的所有元素值;
(3c)判断相似性度量矩阵中的所有元素中最大值是否大于0.8,若是,执行步骤(3d),否则,执行步骤(3b);
(3d)采用绝对误差计算公式,计算目标模型变换到实时目标图像的变换参数和最优变换参数之间的绝对误差;
(4)判断目标模型变换到实时目标图像的变换参数和最优变换参数之间的绝对误差是否大于0.3,若是,执行步骤(5);否则,将当前帧的目标图像加入支持向量机的训练样本中,执行步骤(2);
(5)粒子滤波的目标跟踪:
(5a)在当前帧目标图像中,按高斯分布初始化100个与当前帧目标图像相同的粒子;
(5b)使用目标样本分类器,对当前帧目标图像中的所有粒子进行分类,得到目标样本分类器的输出概率;
(5c)利用粒子位置计算公式,计算当前帧目标的位置,得到当前帧目标的特征值;
(5d)将当前帧目标的特征值输入到目标样本分类器,得到目标样本分类器的输出概率;
(5e)判断目标样本分类器的输出概率是否小于0.5,若是,则执行步骤(5a),否则,执行步骤(6);
(6)判断视频序列中的所有图像是否处理完毕,若是,则执行步骤(7),否则,执行步骤(3);
(7)结束。
2.根据权利要求1所述的基于机器学习的粒子滤波目标跟踪方法,其特征在于,步骤(1a)中所述的提取目标和背景的颜色直方图特征的步骤如下:
第一步,将视频序列中彩色图像的一个像素的红色分量右移5位,将绿色分量右移2位,将蓝色分量左移1位;将移位后的红色、绿色、蓝色分量值相加,得到该帧彩色图像中一个像素的色调值,色调值的取值范围是[0-26];
第二步,采用第一步的方法,计算该帧彩色图像中所有像素中的每一个像素的色调值;
第三步,用每个色调值对应的像素个数除以该帧彩色图像所有像素的个数,得到该帧彩色图像目标和背景的颜色直方图特征;
第四步,对视频序列中的彩色图像,采用第三步的方法,得到所有彩色图像的目标和背景的颜色直方图特征。
3.根据权利要求1所述的基于机器学习的粒子滤波目标跟踪方法,其特征在于,步骤(1b)中所述的提取目标和背景的局部二值模式特征的步骤如下:
第一步,按照下式,计算彩色图像的一个像素灰度值,与该像素邻域内其他像素灰度值的绝对差值:
Δg=|gp-g|
其中,Δg表示彩色图像的一个像素灰度值与该像素邻域内其他像素灰度值的绝对差值,gp表示以该像素为中心半径为1的圆周上的第p个像素的灰度值,g表示彩色图像的一个像素的灰度值,|·|表示取绝对值操作;
第二步,按照下式,比较彩色图像的一个像素灰度值与该像素邻域内其他像素灰度值的绝对差值与灰度阈值大小:
<mrow>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mi>&Delta;</mi>
<mi>g</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>|</mo>
<mi>&Delta;</mi>
<mi>g</mi>
<mo>|</mo>
<mo>&GreaterEqual;</mo>
<mi>T</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>|</mo>
<mi>&Delta;</mi>
<mi>g</mi>
<mo>|</mo>
<mo><</mo>
<mi>T</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中,Δg表示彩色图像的一个像素灰度值与该像素邻域内其他像素灰度值的绝对差值,s(·)表示彩色图像的一个像素灰度值与该像素邻域内其他像素灰度值的绝对差值与灰度阈值的比较结果,T表示灰度阈值,取值范围为[1-5],|·|表示取绝对值操作;
第三步,按照下式,对彩色图像的所有像素,计算每一个像素的局部二值模式值:
<mrow>
<mi>L</mi>
<mi>B</mi>
<mi>P</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>p</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mn>7</mn>
</munderover>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mi>&Delta;</mi>
<mi>g</mi>
<mo>)</mo>
</mrow>
<msup>
<mn>2</mn>
<mi>p</mi>
</msup>
</mrow>
其中,LBP表示彩色图像的一个像素的局部二值模式,(x,y)表示一帧图像的一个像素的位置,Δg表示彩色图像的一个像素灰度值与该像素邻域内其他像素灰度值的绝对差值,s(·)表示彩色图像的一个像素灰度值与该像素邻域内其他像素灰度值的绝对差值与灰度阈值的比较结果,p表示以该像素为中心半径为1的圆周上的第p个像素,∑表示求和操作;
第四步,将彩色图像中像素的局部二值模式LBP值归一化为概率,得到彩色图像中目标和背景的纹理特征;
第五步,对视频序列中的彩色图像,采用第四步的方法,得到所有彩色图像的目标和背景的局部二值模式特征。
4.根据权利要求1所述的基于机器学习的粒子滤波目标跟踪方法,其特征在于,步骤(1c)中所述的颜色直方图特征与局部二值模式特征联合的步骤如下:
第一步,将每一帧彩色图像的颜色直方图特征和纹理特征进行相交并归一化为概率,得到每一帧彩色图像的目标和背景的联合特征;
第二步,对视频序列中的彩色图像,采用第一步的方法,得到所有彩色图像的目标和背景的联合特征。
5.根据权利要求1所述的基于机器学习的粒子滤波目标跟踪方法,其特征在于,步骤(2b)中所述的支持向量机SVM在训练过程中对目标进行分类的计算公式如下:
<mrow>
<msub>
<mi>P</mi>
<mi>f</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>=</mo>
<mn>1</mn>
<mo>|</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>1</mn>
<mo>+</mo>
<mi>exp</mi>
<mo>&lsqb;</mo>
<mi>h</mi>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>k</mi>
<mo>&rsqb;</mo>
</mrow>
</mfrac>
</mrow>
其中,Pf(·)表示支持向量机SVM对目标进行正确分类的概率,y表示初始训练样本中一个样本的类别,x表示初始训练样本中一个样本的特征值,f(·)表示初始训练样本的分类决策函数,h表示初始训练样本通过支持向量机SVM训练的最优化参数,k表示初始训练样本通过支持向量机SVM训练的最优化参数,exp表示指数操作。
6.根据权利要求1所述的基于机器学习的粒子滤波目标跟踪方法,其特征在于,步骤(3b)中所述的去均值归一化互相关算法的计算公式如下:
<mrow>
<msub>
<mi>u</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>r</mi>
<mo>=</mo>
<mi>i</mi>
</mrow>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mi>m</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>c</mi>
<mo>=</mo>
<mi>j</mi>
</mrow>
<mrow>
<mi>j</mi>
<mo>+</mo>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<mo>{</mo>
<mo>&lsqb;</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mi>r</mi>
<mo>,</mo>
<mi>c</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mover>
<mi>I</mi>
<mo>&OverBar;</mo>
</mover>
<mo>&rsqb;</mo>
<mo>&lsqb;</mo>
<msub>
<mi>T</mi>
<mi>s</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>r</mi>
<mo>-</mo>
<mi>i</mi>
<mo>,</mo>
<mi>c</mi>
<mo>-</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mover>
<msub>
<mi>T</mi>
<mi>s</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>&rsqb;</mo>
<mo>}</mo>
</mrow>
<msup>
<mrow>
<mo>{</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>r</mi>
<mo>=</mo>
<mi>i</mi>
</mrow>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mi>m</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>c</mi>
<mo>=</mo>
<mi>j</mi>
</mrow>
<mrow>
<mi>j</mi>
<mo>+</mo>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msup>
<mrow>
<mo>&lsqb;</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mi>r</mi>
<mo>,</mo>
<mi>c</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mover>
<mi>I</mi>
<mo>&OverBar;</mo>
</mover>
<mo>&rsqb;</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>&CenterDot;</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>r</mi>
<mo>=</mo>
<mi>i</mi>
</mrow>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mi>m</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>c</mi>
<mo>=</mo>
<mi>j</mi>
</mrow>
<mrow>
<mi>j</mi>
<mo>+</mo>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msub>
<mi>T</mi>
<mi>s</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>r</mi>
<mo>-</mo>
<mi>i</mi>
<mo>,</mo>
<mi>c</mi>
<mo>-</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mover>
<msub>
<mi>T</mi>
<mi>s</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>&rsqb;</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>}</mo>
</mrow>
<mrow>
<mn>1</mn>
<mo>/</mo>
<mn>2</mn>
</mrow>
</msup>
</mfrac>
</mrow>
其中,ui,j表示搜索模板与目标图像的相似性度量矩阵中位置(i,j)处的元素值,I(·)表示目标图像,r表示目标图像中像素横坐标位置,c表示目标图像中像素的纵坐标位置,表示目标图像中像素灰度均值,Ts(·)表示搜索模板,表示搜索模板中像素灰度均值,m表示搜索模板的长度,n表示搜索模板的宽度,∑表示求和操作。
7.根据权利要求1所述的基于机器学习的粒子滤波目标跟踪方法,其特征在于,步骤(3f)中所述绝对误差的计算公式如下:
δ=|P′-P|
其中,δ表示目标模板到目标图像的最优变换参数和目标模板到目标图像的变换参数之间的绝对误差,P′表示目标模板到目标图像的最优变换参数,P表示目标模板到目标图像的变换参数,|·|表示取绝对值操作。
8.根据权利要求1所述的基于机器学习的粒子滤波目标跟踪方法,其特征在于,步骤(5c)中所述粒子位置计算公式如下:
<mrow>
<mi>e</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>100</mn>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mi>i</mi>
<mn>100</mn>
</munderover>
<msub>
<mi>k</mi>
<mi>i</mi>
</msub>
<mo>&times;</mo>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
</mrow>
其中,e表示当前帧目标的横坐标位置,ki表示当前帧目标图像中第i个粒子的横坐标位置,wi表示当前帧目标图像中第i个粒子的权值,∑表示求和操作;
<mrow>
<mi>t</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>100</mn>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mi>i</mi>
<mn>100</mn>
</munderover>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
<mo>&times;</mo>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
</mrow>
其中,t表示当前帧目标的纵坐标位置,li表示当前帧目标图像中第i个粒子的纵坐标位置,wi表示当前帧目标图像中第i个粒子的权值,∑表示求和操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410441058.XA CN104200226B (zh) | 2014-09-01 | 2014-09-01 | 基于机器学习的粒子滤波目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410441058.XA CN104200226B (zh) | 2014-09-01 | 2014-09-01 | 基于机器学习的粒子滤波目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104200226A CN104200226A (zh) | 2014-12-10 |
CN104200226B true CN104200226B (zh) | 2017-08-25 |
Family
ID=52085516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410441058.XA Expired - Fee Related CN104200226B (zh) | 2014-09-01 | 2014-09-01 | 基于机器学习的粒子滤波目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104200226B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105139422B (zh) * | 2015-08-14 | 2018-05-18 | 中国联合网络通信集团有限公司 | 一种自解释目标跟踪方法及装置 |
CN105469120A (zh) * | 2015-12-15 | 2016-04-06 | 浪潮电子信息产业股份有限公司 | 一种图像匹配的方法及装置 |
CN106097388B (zh) * | 2016-06-07 | 2018-12-18 | 大连理工大学 | 视频目标跟踪中目标位置预测、搜索范围自适应调整及双重匹配融合的方法 |
CN110082776B (zh) * | 2019-03-08 | 2023-04-07 | 贵州电网有限责任公司 | 一种基于2d激光数据的机器人实时定位方法 |
CN110648351B (zh) * | 2019-09-19 | 2022-02-01 | 安徽大学 | 基于稀疏表示的多外观模型融合目标跟踪方法及其装置 |
CN112085765B (zh) * | 2020-09-15 | 2024-05-31 | 浙江理工大学 | 结合粒子滤波及度量学习的视频目标跟踪方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101276468A (zh) * | 2007-03-27 | 2008-10-01 | 三菱电机株式会社 | 在视频帧序列中跟踪目标的由计算机执行的方法 |
CN101877130A (zh) * | 2009-04-29 | 2010-11-03 | 中国科学院自动化研究所 | 复杂场景下基于粒子滤波器的运动目标跟踪方法 |
CN102184551A (zh) * | 2011-05-10 | 2011-09-14 | 东北大学 | 结合多种特征匹配和粒子滤波的目标自动跟踪方法及系统 |
CN103886609A (zh) * | 2014-04-03 | 2014-06-25 | 江苏物联网研究发展中心 | 基于粒子滤波和lbp特征的车辆跟踪方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7526101B2 (en) * | 2005-01-24 | 2009-04-28 | Mitsubishi Electric Research Laboratories, Inc. | Tracking objects in videos with adaptive classifiers |
-
2014
- 2014-09-01 CN CN201410441058.XA patent/CN104200226B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101276468A (zh) * | 2007-03-27 | 2008-10-01 | 三菱电机株式会社 | 在视频帧序列中跟踪目标的由计算机执行的方法 |
CN101877130A (zh) * | 2009-04-29 | 2010-11-03 | 中国科学院自动化研究所 | 复杂场景下基于粒子滤波器的运动目标跟踪方法 |
CN102184551A (zh) * | 2011-05-10 | 2011-09-14 | 东北大学 | 结合多种特征匹配和粒子滤波的目标自动跟踪方法及系统 |
CN103886609A (zh) * | 2014-04-03 | 2014-06-25 | 江苏物联网研究发展中心 | 基于粒子滤波和lbp特征的车辆跟踪方法 |
Non-Patent Citations (3)
Title |
---|
图像目标跟踪算法研究;马燕;《中国优秀硕士学位论文全文数据库 信息科技辑》;20110715(第07期);第二章 * |
基于粒子滤波和在线训练支持向量机的目标跟踪新方法;郑建宾;《电脑知识与技术》;20081128;第4卷(第5期);第3.2节,第5节 * |
基于粒子滤波算法的目标跟踪研究;张昊堃;《中国优秀硕士学位论文全文数据库 信息科技辑》;20131215(第S2期);第4.2.1、4.2.3-4.2.4、4.3节 * |
Also Published As
Publication number | Publication date |
---|---|
CN104200226A (zh) | 2014-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104200226B (zh) | 基于机器学习的粒子滤波目标跟踪方法 | |
Sun et al. | Research on the hand gesture recognition based on deep learning | |
CN110363122B (zh) | 一种基于多层特征对齐的跨域目标检测方法 | |
CN111652216B (zh) | 基于度量学习的多尺度目标检测模型方法 | |
CN106997597B (zh) | 一种基于有监督显著性检测的目标跟踪方法 | |
CN107748873B (zh) | 一种融合背景信息的多峰目标跟踪方法 | |
CN110033473B (zh) | 基于模板匹配和深度分类网络的运动目标跟踪方法 | |
CN110097053B (zh) | 一种基于改进Faster-RCNN的电力设备外观缺陷检测方法 | |
CN103049763B (zh) | 一种基于上下文约束的目标识别方法 | |
CN108346159A (zh) | 一种基于跟踪-学习-检测的视觉目标跟踪方法 | |
CN105528794A (zh) | 基于混合高斯模型与超像素分割的运动目标检测方法 | |
CN108921120B (zh) | 一种适应广泛零售场景下的香烟识别方法 | |
CN103886619B (zh) | 一种融合多尺度超像素的目标跟踪方法 | |
CN106682569A (zh) | 一种基于卷积神经网络的快速交通标识牌识别方法 | |
CN105354568A (zh) | 基于卷积神经网络的车标识别方法 | |
CN110163069B (zh) | 用于辅助驾驶的车道线检测方法 | |
CN103440510A (zh) | 一种面部图像中特征点的定位方法 | |
CN112241762A (zh) | 一种用于病虫害图像分类的细粒度识别方法 | |
CN103456030B (zh) | 基于散射描述子的目标跟踪方法 | |
CN103020614B (zh) | 基于时空兴趣点检测的人体运动识别方法 | |
CN104598885A (zh) | 街景图像中的文字标牌检测与定位方法 | |
CN112784869B (zh) | 一种基于注意力感知与对抗学习的细粒度图像识别方法 | |
CN106157330A (zh) | 一种基于目标联合外观模型的视觉跟踪方法 | |
CN110334584A (zh) | 一种基于区域全卷积网络的手势识别方法 | |
CN105426924A (zh) | 一种基于图像中层特征的场景分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170825 |