CN103793926B - 基于样本重选择的目标跟踪方法 - Google Patents
基于样本重选择的目标跟踪方法 Download PDFInfo
- Publication number
- CN103793926B CN103793926B CN201410069126.4A CN201410069126A CN103793926B CN 103793926 B CN103793926 B CN 103793926B CN 201410069126 A CN201410069126 A CN 201410069126A CN 103793926 B CN103793926 B CN 103793926B
- Authority
- CN
- China
- Prior art keywords
- sample
- represent
- sigma
- weak classifier
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于样本重选择的目标跟踪方法,主要解决当目标发生外观形变、光照变化、快速运动而导致跟踪失败的跟踪问题。本发明实现的步骤如下:(1)预处理第一帧图像;(2)计算样本的先验概率;(3)构建弱分类器;(4)构建强分类器;(5)更新弱分类器模型;(6)预测当前帧目标框位置;(7)计算精确样本的先验概率;(8)更新分类器模型;(9)判断是否为最后一帧图像,若是,则结束,否则,返回步骤(6)处理下一帧图像。本发明通过样本重选择和计算样本的先验概率的方法构建分类器,增强了分类器模型的稳定性,提高了分类器的预测准确率,从而增强了目标跟踪的准确性和可靠性。
Description
技术领域
本发明属于图像处理技术领域,更进一步涉及计算机视觉技术领域中的一种基于样本重选择的目标跟踪方法。本发明采用一种通过两次迭代重新选择训练样本,训练更具有识别能力的分类器的方法,实现运动目标跟踪,可用于监测环境的变化、侦查战场的情况。
背景技术
视频图像序列的目标跟踪是图像处理技术领域的重要组成部分,它在行为识别、智能交通、环境监测、战场侦察、医学图像、气象分析等许多方面都有非常广泛的实际应用。近几年,基于改进机器学习的方法对视频图像目标的分类、检测、跟踪的发展起到了很大的推动作用。传统的监督学习算法需要人工标记训练样本的类标,通常是在目标位置周围获取样本块作为正训练样本,偏离目标位置较大的样本块作为负训练样本,目标位置和尺寸的确定也需要人工标记,但是这些样本块是否适合分类器学习并不是很明确,特别是当上一帧图像中跟踪到的目标位置不够精确时会对后续帧样本标记产生很大影响。所以,对于传统的监督学习方法,样本标记具有很大的歧义性。本发明提出的基于样本重选择的目标跟踪方法在样本包的基础上采用样本重选择的策略,有效降低了样本标记的歧义性,使得跟踪性能更加稳定、准确。
哈尔滨工程大学提出的专利申请“一种运动目标跟踪方法”(专利申请号201210487250.3,公开号CN103020986A)公开了一种通过计算目标模板观测模型和准目标观测模型的相似度实现目标跟踪的方法,该方法的实现的具体步骤是,(1)采用基于码本模型的快速运动目标检测方法准确检测到运动目标;(2)融合局部直方图特征与颜色特征提取出运动目标特征,初始化在线Adaboost弱分类器,训练出强分类器;(3)由在线Adaboost跟踪方法的特征矩阵和弱分类器得到置信图,采用CamShift方法实现对运动目标的跟踪,更新弱分类器。该方法存在的不足是,采用在线Adaboost弱分类器训练强分类器的方法,不能避免样本标记的歧义性,因而训练得到的分类器识别能力不够强,当目标发生强烈光照变化、背景杂乱时无法实现长期准确地跟踪。
中国科学院长春光学精密机械与物理研究所提出的专利申请“基于半监督学习和随机蕨类分类器的目标跟踪方法”(专利申请号201210428369.3,公开号CN102982340A)公开了一种基于检测、跟踪、学习的目标跟踪方法。该方法实现的具体步骤是,首先,初始化在线模型,生成正实例样本,规范化该正实例样本;其次,训练检测器,利用“短期”检测器进行目标跟踪,对跟踪结果的有效性进行评估;最后,用检测器进行检测监测目标,结合检测结果与跟踪结果,学习更新训练集。该发明存在的不足是,采用直接训练的随机蕨类分类器虽然可以解决目标发生尺度变化、旋转、模糊等问题,但是分类器预测的准确性不高,当目标发生漂移、光亮变化、快速运动等现象时不具有良好的鲁棒性,无法实现有效准确地跟踪。
发明内容
本发明针对现有技术的不足,提出一种基于样本重选择的目标跟踪方法,以实现当目标发生漂移、遮挡、光照变化、外观形变时对目标进行准确有效地跟踪。
为实现上述目的,本发明的具体步骤如下:
(1)预处理第一帧图像:
(1a)输入一段待跟踪视频图像序列中的第一帧图像,将第一帧图像作为当前帧图像;
(1b)在当前帧图像中将待跟踪目标用矩形框框出,将矩形框的位置作为待跟踪目标的初始位置,将矩形框框出的图像区域作为模板目标;
(2)计算样本的先验概率:
(2a)在当前帧图像中,以待跟踪目标的初始位置为中心,取出与待跟踪目标的初始位置大小相同的多个矩形框,将这些矩形框作为样本;
(2b)提取样本的Haar特征;
(2c)采用直方图均衡化方法,得到模板目标的均衡化直方图;
(2d)在当前帧图像中样本的左上角的3×3邻域内,获取与样本大小相同的9个图像块,采用直方图均衡化方法,得到这9个图像块的均衡化直方图,采用相关系数公式,计算这9个图像块的均衡化直方图与模板目标的均衡化直方图的9个相关系数;
(2e)求9个相关系数的平均值,将该平均值作为样本的先验概率;
(3)构建弱分类器:
(3a)将高斯参数中的均值初始化为0,高斯参数中的均值方差初始化为1,完成了样本的高斯参数初始化;
(3b)采用更新参数公式中样本的Haar特征,分别更新样本中正样本的高斯参数和负样本的高斯参数;
(3c)利用弱分类器公式,构建样本中正样本对应的弱分类器和负样本对应的弱分类器;
(4)构建强分类器:
(4a)按照下式,计算弱分类器的最大似然概率:
其中,Lm表示第m个弱分类器的最大似然概率,m表示弱分类器的序号,m=1,2,...,M,M表示弱分类器的总数,xij表示第i个样本包中第j个样本,i表示样本构成样本包的个数,j表示样本的个数,Xi表示第i个样本包,yi=1表示样本中的正样本,yi=0表示样本中的负样本,p(yi|Xi)表示yi在条件Xi下的概率,p(yi|xij)表示yi在条件xij下的概率,∑(·)表示求和操作,log(·)表示取对数操作,∏(·)表示连乘操作;
(4b)从M个弱分类器中,选出K1个最大似然概率较小的弱分类器,从K1个弱分类对应的样本中,挑选S1个概率最小的样本,采用更新高斯参数公式,更新弱分类器的高斯参数,从K1个弱分类器中挑选出K2个弱分类器,在K2个弱分类对应的样本中挑选出S2个概率最小的样本;
(4c)按照下式,构建强分类器模型:
Hk=Hk-1+hk
其中,hk表示第k个弱分类器,Lm表示弱分类器的最大似然概率,Hk-1表示(k-1)个弱分类器组成的强分类器,Hk表示k个弱分类器组成的强分类器,argmin(·)表示选取最小值操作;
(5)采用更新高斯参数公式,更新弱分类器的高斯参数;
(6)预测当前帧目标框位置:
(6a)载入待跟踪视频序列中下一帧,作为当前帧图像,在当前帧图像中,以上一帧图像待跟踪目标的位置为中心,取出与待跟踪目标的位置大小相同的多个矩形框,将这些矩形框作为当前帧图像的检测样本;
(6b)提取当前帧图像的检测样本的Haar特征;
(6c)用当前帧图像的上一帧图像的弱分类器模型,对当前帧图像的检测样本进行分类预测,得到当前帧图像的检测样本的分类决策概率值,从分类决策概率值中,选出最大决策概率值的检测样本在当前帧图像中的位置,将该位置作为当前帧图像中待跟踪目标的位置;
(7)计算当前帧精确样本的先验概率:
(7a)在当前帧图像中,将待跟踪目标的位置对应的图像区域,作为当前帧图像的模板目标;以当前帧图像中待跟踪目标的位置为中心,取出与待跟踪目标的位置大小相同的多个矩形框,将这些矩形框作为当前帧图像的精确样本;
(7b)提取当前帧图像的精确样本的Haar特征;
(7c)采用直方图均衡化方法,得到当前帧图像的模板目标的均衡化直方图;
(7d)在当前帧图像的检测样本的左上角点的3×3邻域内,获取与当前帧图像的精确样本大小相同的9个图像块,采用直方图均衡化方法,得到这9个图像块的均衡化直方图,采用相关系数公式,计算9个图像块的均衡化直方图与模板目标的均衡化直方图的9个相关系数;
(7e)求9个相关系数的平均值,将该平均值作为当前帧图像的精确样本的先验概率;
(8)更新分类器:
(8a)利用弱分类器公式,构建当前帧图像的精确样本的正样本对应的弱分类器和负样本对应的弱分类器;
(8b)按照下式,计算弱分类器的最大似然概率:
其中,Lm表示第m个弱分类器的最大似然概率,m表示弱分类器的序号,m=1,2,...,M,M表示弱分类器的总数,xij表示第i个样本包中当前帧图像的第j个精确样本,i表示当前帧图像的精确样本构成样本包的个数,j表示当前帧图像的精确样本的个数,Xi表示第i个样本包,yi=1表示当前帧图像的精确样本的正样本,yi=0表示当前帧图像的精确样本的负样本,p(yi|Xi)表示yi在条件Xi下的概率,p(yi|xij)表示yi在条件xij下的概率,∑(·)表示求和操作,log(·)表示取对数操作,∏(·)表示连乘操作;
(8c)从M个弱分类器中,选出K1个最大似然概率较小的弱分类器,从K1个弱分类对应的当前帧图像的精确样本中,挑选S1个概率最小的当前帧图像的精确样本,采用更新高斯参数公式,更新弱分类器的高斯参数,从K1个弱分类器中挑选出K2个弱分类器,在K2个弱分类对应的当前帧图像的精确样本中挑选出S2个概率最小的精确样本,按照下式,构建强分类器:
Hk=Hk-1+hk
其中,hk表示第k个弱分类器,Lm表示弱分类器的最大似然概率,Hk-1表示(k-1)个弱分类器组成的强分类器,Hk表示k个弱分类器组成的强分类器,argmin(·)表示选取最小值操作;
(8d)采用更新高斯参数公式,更新弱分类器的高斯参数;
(9)判断当前帧图像是否为待跟踪视频图像序列的最后一帧图像,若是,执行步骤(10);否则,执行步骤(6);
(10)结束。
本发明与现有技术相比具有以下优点:
第一、由于本发明采用样本重选择的方法,去掉歧义性比较大的样本,克服了现有技术中分类器识别能力不够强的缺点,使得用于训练分类器的正样本更正,负样本更负,从而增强分类器模型的稳定性。
第二、由于本发明采用在贝叶斯框架构建的分类器中引入先验概率的方法,克服了现有技术中分类器预测准确率不高的缺点,提高了分类器预测的准确性,从而增强了目标跟踪的准确性和可靠性。
附图说明
图1为本发明的流程图;
图2为在输入的第一帧视频图像中用矩形框框出待跟踪目标的示意图;
图3为输入当目标发生外观形变时的一帧视频图像的跟踪结果示意图;
图4为输入当目标发生外观形变和光照变化时的一帧视频图像的跟踪结果示意图。
具体实施方式
下面结合附图对本发明做进一步的描述。
结合附图1中,实现本发明的具体步骤如下:
步骤1,预处理第一帧图像。
输入一段待跟踪视频图像序列中的第一帧图像。
在第一帧图像中将待跟踪目标用矩形框标出,将矩形框的位置作为待跟踪目标的初始位置。本发明的实施例中,所输入的一段待跟踪视频图像序列的第一帧图像如图2所示。图2为一段人体头部运动的视频图像序列的第一帧图像,图2中矩形框的位置表示待跟踪目标的初始位置,矩形框框定的图像区域为模板目标,图中左上角文字表示待跟踪视频图像序列中图像的帧序号。
步骤2,计算样本的先验概率。
在第一帧图像中,以待跟踪目标的初始位置为中心,取出与待跟踪目标的初始位置大小相同的多个矩形框,将这些矩形框作为样本。
获取样本中正样本的方法:在以初始位置的左上角点为圆心,半径为3的圆形区域内,按照下式,选取与初始位置等大的图像块作为正样本:
其中,Xp表示获取的所有正样本,表示初始位置的左上角点坐标,l(x)表示获取的正样本的左上角点的坐标,x表示获取的一个正样本,||·||表示求一范数操作。
获取样本中负样本的方法:在以初始位置的左上角点为圆心,半径为6的圆与半径为25的圆组成的环形区域内,按照下式,选取与初始位置等大的图像块作为负样本:
其中,γ=6,β=25,XN表示获取的所有负样本,s=3,表示初始位置的左上角点坐标,l(x)表示获取的负样本的左上角点的坐标,x表示获取的一个负样本,||·||表示求一范数操作。
提取样本的haar特征,采用直方图均衡化方法,得到模板目标的均衡化直方图。
直方图均衡化的具体步骤如下:对图像进行非线性拉伸,重新分配图像像素值,得到不同灰度范围内图像像素数量相同的图像直方图,该图像直方图服从均匀分布。
在第一帧图像中,在样本的左上角的3×3的邻域内获取与样本大小相同的9个图像块,采用直方图均衡化方法,得到9个图像块的均衡化直方图,按照下式,计算9个图像块与模板目标的均衡化直方图的相关系数:
其中,ρis表示第i个样本的第s个图像块的均衡化直方图与模板目标的均衡化直方图的相关系数,i表示样本的序号,s表示图像块的序号,Et(z)表示模板目标的均衡化直方图,Ois(z)表示第i个样本的第s个图像块的均衡化直方图,t表示当前帧图像帧数,z表示直方图级数,z=1,2,...,256,∑(·)表示求和操作。
求9个相关系数的平均值,将该平均值作为样本的先验概率。
步骤3,构建弱分类器。
将高斯参数中的均值初始化为0,高斯参数中的均值方差初始化为1,完成了样本的高斯参数初始化。
采用更新参数公式中样本的Haar特征,分别更新样本中正样本的高斯参数和负样本的高斯参数,更新参数公式如下:
其中,μ1表示正样本的均值,γ表示更新系数,γ=0.85,n表示第i个样本中Haar特征的个数,xi表示第i个样本,i表示样本的序号,yi=1表示样本中的正样本,yi=0表示样本中的负样本,f(xi)表示第i个样本的Haar特征,σ1表示正样本的方差,μ0表示负样本的均值,σ0表示负样本的方差,符号←表示赋值操作,∑(·)表示求和操作。
按照下式,在贝叶斯框架构建的分类器中引入先验概率,构建出正样本对应的弱分类器模型和负样本对应的弱分类器模型:
其中,h(xij)表示样本的弱分类器模型,i表示样本构成样本包的个数,j表示样本的个数,xij表示第i个样本包中第j个样本,f(xij)表示第i个样本包中第j个样本的Haar特征,y=1表示样本中正样本,p(f(xij)|y=1)表示f(xij)在条件y=1下的概率,该概率服从均值为μ1、方差为σ1的正态分布,p(f(xij)|y=0)表示f(xij)在条件y=0下概率,该概率服从均值为μ0、方差为σ0的正态分布,p(y=1)表示样本的先验概率,log(·)表示取对数操作。
步骤4,构建强分类器。
采用下式的最大似然函数方法,计算弱分类器的最大似然概率:
其中,Lm表示第m个弱分类器的最大似然概率,m表示弱分类器的序号,m=1,2,...,M,M表示弱分类器的总数,xij表示第i个样本包中第j个样本,i表示样本构成样本包的个数,j表示样本的个数,Xi表示第i个样本包,yi=1表示样本中的正样本,yi=0表示样本中的负样本,p(yi|Xi)表示yi在条件Xi下的概率,p(yi|xij)表示yi在条件xij下的概率,∑(·)表示求和操作,log(·)表示取对数操作,∏(·)表示连乘操作。
从M个弱分类器中,选出K1个最大似然概率较小的弱分类器,从K1个弱分类对应的样本中,挑选S1个概率最小的样本,采用下式,更新弱分类器的高斯参数:
其中,μ1表示正样本的均值,n表示第i个样本中Haar特征的个数,xi表示第i个样本,i表示样本的序号,yi=1表示样本中的正样本,yi=0表示样本中的负样本,f(xi)表示第i个样本的Haar特征,σ1表示正样本的方差,μ0表示负样本的均值,σ0表示负样本的方差,符号←表示赋值操作,∑(·)表示求和操作。
从K1个弱分类器中挑选出K2个弱分类器,在K2个弱分类对应的样本中挑选出S2个概率最小的样本,按照下式,构建强分类器模型:
Hk=Hk-1+hk
其中,hk表示第k个弱分类器,Lm表示弱分类器的最大似然概率,Hk-1表示(k-1)个弱分类器组成的强分类器,Hk表示k个弱分类器组成的强分类器,argmin(·)表示选取最小值操作。
步骤5,更新弱分类器模型。
采用下式,更新弱分类器的高斯参数:
其中,μ1表示正样本的均值,n表示第i个样本中Haar特征的个数,xi表示第i个样本,i表示样本的序号,yi=1表示样本中的正样本,yi=0表示样本中的负样本,f(xi)表示第i个样本的Haar特征,σ1表示正样本的方差,μ0表示负样本的均值,σ0表示负样本的方差,符号←表示赋值操作,∑(·)表示求和操作。
步骤6,预测当前帧目标框位置。
载入待跟踪视频序列中下一帧,作为当前帧图像,在当前帧图像中,以上一帧图像待跟踪目标的位置为中心,取出与待跟踪目标的位置大小相同的多个矩形框,将这些矩形框作为当前帧图像的检测样本。
获取检测样本的方法如下:以上一帧图像待跟踪目标的位置为圆心,在半径为25的圆形区域内,按照下式,选取与初始位置等大的多个图像块作为检测样本:
其中,Xd表示获取的所有检测样本,s=25,表示上一帧图像待跟踪目标的位置的左上角点坐标,l(x)表示获取的检测样本的左上角点的坐标,x表示获取的一个检测样本,||·||表示求一范数操作。
提取当前帧图像的检测样本的Haar特征,由当前帧图像的上一帧图像的弱分类器模型,对当前帧图像的检测样本进行分类预测。
分类预测的具体步骤如下:
第一步,按照下式,计算当前帧图像的检测样本的弱分类器参数:
其中,h(xij)表示当前帧图像的检测样本的弱分类器参数,i表示当前帧图像的检测样本构成样本包的个数,j表示当前帧图像的检测样本的个数,xij表示第i个样本包中第j个检测样本,f(xij)表示第i个样本包中第j个当前帧图像的检测样本的haar特征,p(f(xij)|y=1)表示f(xij)在条件y=1下的概率,该概率服从均值为μ1、方差为σ1的正态分布,p(f(xij)|y=0)表示f(xij)在条件y=0下概率,该概率服从均值为μ0、方差为σ0的正态分布,log(·)表示取对数操作。
第二步,按照下式,计算检测样本的强分类器参数,将强分类器参数作为当前帧图像的检测样本的分类决策概率值:
其中,H表示当前帧图像的检测样本的分类决策概率值,h(xij)表示当前帧图像的检测样本的弱分类器参数,i表示当前帧图像的检测样本构成样本包的个数,j表示当前帧图像的检测样本的个数,xij表示第i个样本包中第j个当前帧图像的检测样本,∑(·)表示求和操作。
从分类决策概率值中,选出最大决策概率值对应的检测样本在当前帧图像中的位置,将该位置作为当前帧图像中待跟踪目标的位置,如图3和图4所示,图3是待跟踪视频图像序列中目标发生外观形变时的一帧视频图像,该图中矩形框的位置是预测得到的目标位置,图中左上角文字表示待跟踪视频序列中图像的帧序号;图4是待跟踪视频图像序列中目标发生外观形变和光照变化时的一帧视频图像,该图中矩形框的位置是预测得到的目标位置,图中左上角文字表示待跟踪视频序列中图像的帧序号。
步骤7,计算精确样本的先验概率。
在当前帧图像中,将待跟踪目标的位置对应的图像区域作为当前帧图像的模板目标,以当前帧图像中待跟踪目标的位置为中心,取出与待跟踪目标的位置大小相同的多个矩形框,将这些矩形框作为当前帧图像的精确样本。
采用直方图均衡化方法,得到当前帧图像的模板目标的均衡化直方图。
直方图均衡化的具体步骤如下:对图像进行非线性拉伸,重新分配图像像素值,得到不同灰度范围内图像像素数量相同的图像直方图,该图像直方图服从均匀分布。
在当前帧图像的检测样本的左上角点的3×3邻域内,获取与当前帧图像的精确样本大小相同的9个图像块,采用直方图均衡化方法,得到这9个图像块的均衡化直方图,按照下式,计算9个图像块的均衡化直方图与模板目标的均衡化直方图的9个相关系数;
其中,ρis表示第i个样本的第s个图像块的均衡化直方图与模板目标的均衡化直方图的相关系数,i表示样本的序号,s表示图像块的序号,Et(z)表示模板目标的均衡化直方图,Ois(z)表示第i个样本的第s个图像块的均衡化直方图,t表示当前帧图像帧数,z表示直方图级数,z=1,2,...,256,∑(·)表示求和操作。
求9个相关系数的平均值,将该平均值作为当前帧图像的精确样本的先验概率。
步骤8,更新分类器。
按照下式,在贝叶斯框架构建的分类器中引入当前帧图像的精确样本的先验概率,构建出当前帧图像的精确样本中正样本对应的弱分类器模型和负样本对应的弱分类器模型:
其中,h(xij)表示当前帧图像的精确样本的弱分类器模型,i表示精确样本构成样本包的个数,j表示当前帧图像的精确样本的个数,xij表示第i个样本包中第j个精确样本,f(xij)表示当前帧图像的第i个样本包中第j个精确样本的Haar特征,p(y=1)表示当前帧图像的精确样本的先验概率,p(f(xij)|y=1)表示f(xij)在条件y=1下的概率,该概率服从均值为μ1、方差为σ1的正态分布,p(f(xij)|y=0)表示f(xij)在条件y=0下概率,该概率服从均值为μ0、方差为σ0的正态分布,log(·)表示取对数操作。
采用下式的最大似然函数方法,计算弱分类器的最大似然概率:
其中,Lm表示第m个弱分类器的最大似然概率,m表示弱分类器的序号,m=1,2,...,M,M表示弱分类器的总数,xij表示第i个样本包中第j个样本,i表示当前帧图像的精确样本构成样本包的个数,j表示当前帧图像的精确样本的个数,Xi表示第i个样本包,yi=1表示当前帧图像的精确样本的正样本,yi=0表示当前帧图像的精确样本的负样本,p(yi|Xi)表示yi在条件Xi下的概率,p(yi|xij)表示yi在条件xij下的概率,∑(·)表示求和操作,log(·)表示取对数操作,∏(·)表示连乘操作。
从M个弱分类器中,选出K1个最大似然概率较小的弱分类器,从K1个弱分类对应的当前帧图像的精确样本中,挑选S1个概率最小的精确样本,按照下式,更新弱分类器的高斯参数:
其中,μ1表示正样本的均值,n表示第i个当前帧图像的精确样本中Haar特征的个数,xi表示第i个当前帧图像的精确样本,i表示当前帧图像的精确样本的序号,yi=1表示当前帧图像的精确样本中的正样本,yi=0表示当前帧图像的精确样本中的负样本,f(xi)表示第i个样本的Haar特征,σ1表示正样本的方差,μ0表示负样本的均值,σ0表示负样本的方差,符号←表示赋值操作,∑(·)表示求和操作。
从K1个弱分类器中挑选出K2个弱分类器,在K2个弱分类对应的当前帧图像的精确样本中挑选出S2个概率最小的精确样本,按照下式,构建强分类器:
Hk=Hk-1+hk
其中,hk表示第k个弱分类器,Lm表示弱分类器的最大似然概率,Hk-1表示(k-1)个弱分类器组成的强分类器,Hk表示k个弱分类器组成的强分类器,argmin(·)表示选取最小值操作。
按照下式,更新弱分类器的高斯参数:
其中,μ1表示正样本的均值,n表示第i个样本中Haar特征的个数,xi表示第i个样本,i表示当前帧图像的精确样本的序号,yi=1表示当前帧图像的精确样本中的正样本,yi=0表示当前帧图像的精确样本中的负样本,f(xi)表示第i个样本的Haar特征,σ1表示正样本的方差,μ0表示负样本的均值,σ0表示负样本的方差,符号←表示赋值操作,∑(·)表示求和操作。
步骤9,判断当前帧图像是否为待跟踪视频图像序列的最后一帧图像,若是,执行步骤10;否则,返回步骤6。
步骤10,结束。
下面结合附图3和附图4对本发明的效果做进一步说明。
1.仿真实验条件:
本发明的硬件测试平台是:处理器为Pentium(R)Dual-CoreCPUE5300,主频为2.62GHz,内存2GB;软件平台为:Windows7旗舰版,32位操作系统,MATLABR2011b;本发明仿真实验所用数据是一段人体头部运动的视频图像序列,该视频图像序列共有462帧视频图像。
2.仿真内容:
第一,载入待跟踪视频图像序列中一帧视频图像如图3所示,该图像中目标发生了外观形变,从该图像中获取检测样本,提取检测样本的haar特征,用上一帧得到的弱分类器模型对检测样本进行分类预测,从预测结果中选出最大决策概率值的检测样本在当前帧图像中的位置,将该位置作为当前帧图像中待跟踪目标的位置;图3中矩形框的位置是待跟踪视频图像序列中目标发生外观形变时的一帧视频图像中待跟踪目标的位置,通过样本重选择的方法,更新分类器模型,为下一帧图像处理做准备。
第二,载入待跟踪视频图像序列中一帧视频图像如图4,该图像中目标发生光照变化,从该图像中获取检测样本,提取检测样本的haar特征,用上一帧得到的弱分类器模型对检测样本进行分类预测,从预测结果中选出最大决策概率值的检测样本在当前帧图像中的位置,将该位置作为当前帧图像中待跟踪目标的位置;图4中矩形框的位置是待跟踪视频图像序列中目标发生外观形变时的一帧视频图像中待跟踪目标的位置,通过样本重选择的方法,更新分类器模型,为下一帧图像处理做准备。
3.仿真结果分析:
在图3和图4中,矩形框的位置表示本发明跟踪到的待跟踪视频图像序列中待跟踪目标的位置。由图3和图4可以看出,矩形框准确地框定了目标,说明本发明能够在视频图像序列中目标发生外观形变、光照变化的情况下实现准确、有效地目标跟踪。
Claims (3)
1.一种基于样本重选择的目标跟踪方法,包括如下步骤:
(1)预处理第一帧图像:
(1a)输入一段待跟踪视频图像序列中的第一帧图像,将第一帧图像作为当前帧图像;
(1b)在当前帧图像中将待跟踪目标用矩形框框出,将矩形框的位置作为待跟踪目标的初始位置,将矩形框框出的图像区域作为模板目标;
(2)计算样本的先验概率:
(2a)在当前帧图像中,以待跟踪目标的初始位置为中心,取出与待跟踪目标的初始位置大小相同的多个矩形框,将这些矩形框作为样本;
(2b)提取样本的Haar特征;
(2c)采用直方图均衡化方法,得到模板目标的均衡化直方图;
(2d)在当前帧图像中样本的左上角的3×3邻域内,获取与样本大小相同的9个图像块,采用直方图均衡化方法,得到这9个图像块的均衡化直方图,采用相关系数公式,计算这9个图像块的均衡化直方图与模板目标的均衡化直方图的9个相关系数;
(2e)求9个相关系数的平均值,将该平均值作为样本的先验概率;
(3)构建弱分类器:
(3a)将高斯参数中的均值初始化为0,高斯参数中的方差初始化为1,完成了样本的高斯参数初始化;
(3b)采用更新参数公式中样本的Haar特征,分别更新样本中正样本的高斯参数和负样本的高斯参数;
所述更新参数的公式如下:
其中,μ1表示正样本的均值,γ表示更新系数,γ=0.85,n表示第i个样本中Haar特征的个数,xi表示第i个样本,i表示样本的序号,yi=1表示样本中的正样本,yi=0表示样本中的负样本,f(xi)表示第i个样本的Haar特征,σ1表示正样本的方差,μ0表示负样本的均值,σ0表示负样本的方差,符号←表示赋值操作,∑(·)表示求和操作;
(3c)利用弱分类器公式,构建样本中正样本对应的弱分类器和负样本对应的弱分类器;
所述的弱分类器公式如下:
其中,h(xij)表示样本的弱分类器,i表示样本构成样本包的个数,j表示样本的个数,xij表示第i个样本包中第j个样本,f(xij)表示第i个样本包中第j个样本的Haar特征,y=1表示样本中正样本,p(f(xij)|y=1)表示f(xij)在条件y=1下的概率,该概率服从均值为μ1、方差为σ1的正态分布,p(f(xij)|y=0)表示f(xij)在条件y=0下概率,该概率服从均值为μ0、方差为σ0的正态分布,p(y=1)表示样本的先验概率,log(·)表示取对数操作;
(4)构建强分类器:
(4a)按照下式,计算弱分类器的最大似然概率:
其中,Lm表示第m个弱分类器的最大似然概率,m表示弱分类器的序号,m=1,2,...,M,M表示弱分类器的总数,xij表示第i个样本包中第j个样本,i表示样本构成样本包的个数,j表示样本的个数,Xi表示第i个样本包,yi=1表示样本中的正样本,yi=0表示样本中的负样本,p(yi|Xi)表示yi在条件Xi下的概率,p(yi|xij)表示yi在条件xij下的概率,∑(·)表示求和操作,log(·)表示取对数操作,∏(·)表示连乘操作;
(4b)从M个弱分类器中,选出K1个最大似然概率较小的弱分类器,从K1个弱分类对应的样本中,挑选S1个概率最小的样本,采用更新高斯参数公式,更新弱分类器的高斯参数,从K1个弱分类器中挑选出K2个弱分类器,在K2个弱分类对应的样本中挑选出S2个概率最小的样本;
所述更新高斯参数公式如下:
其中,μ1表示正样本的均值,n表示第i个样本中Haar特征的个数,xi表示第i个样本,i表示样本的序号,yi=1表示样本中的正样本,yi=0表示样本中的负样本,f(xi)表示第i个样本的Haar特征,σ1表示正样本的方差,μ0表示负样本的均值,σ0表示负样本的方差,符号←表示赋值操作,∑(·)表示求和操作;
(4c)按照下式,构建强分类器模型:
Hk=Hk-1+hk
其中,hk表示第k个弱分类器,Lm表示弱分类器的最大似然概率,Hk-1表示(k-1)个弱分类器组成的强分类器,Hk表示k个弱分类器组成的强分类器,argmin(·)表示选取最小值操作;
(5)采用更新高斯参数公式,更新弱分类器的高斯参数;
所述更新高斯参数公式如下:
其中,μ1表示正样本的均值,n表示第i个样本中Haar特征的个数,xi表示第i个样本,i表示样本的序号,yi=1表示样本中的正样本,yi=0表示样本中的负样本,f(xi)表示第i个样本的Haar特征,σ1表示正样本的方差,μ0表示负样本的均值,σ0表示负样本的方差,符号←表示赋值操作,∑(·)表示求和操作;
(6)预测当前帧目标框位置:
(6a)载入待跟踪视频序列中下一帧,作为当前帧图像,在当前帧图像中,以上一帧图像待跟踪目标的位置为中心,取出与待跟踪目标的位置大小相同的多个矩形框,将这些矩形框作为当前帧图像的检测样本;
(6b)提取当前帧图像的检测样本的Haar特征;
(6c)用当前帧图像的上一帧图像的弱分类器模型,对当前帧图像的检测样本进行分类预测,得到当前帧图像的检测样本的分类决策概率值,从分类决策概率值中,选出最大决策概率值的检测样本在当前帧图像中的位置,将该位置作为当前帧图像中待跟踪目标的位置;
所述的分类预测的具体步骤如下:
第一步,按照下式,计算检测样本的弱分类器参数:
其中,h(xij)表示检测样本的弱分类器参数,i表示检测样本构成样本包的个数,j表示检测样本的个数,xij表示第i个样本包中第j个检测样本,f(xij)表示第i个样本包中第j个检测样本的Haar特征,p(f(xij)|y=1)表示f(xij)在条件y=1下的概率,该概率服从均值为μ1、方差为σ1的正态分布,p(f(xij)|y=0)表示f(xij)在条件y=0下概率,该概率服从均值为μ0、方差为σ0的正态分布,log(·)表示取对数操作;
第二步,按照下式,计算检测样本的强分类器参数,作为检测样本的决策概率值:
其中,H表示检测样本的强分类器参数,h(xij)表示检测样本的弱分类器参数,i表示检测样本构成样本包的个数,j表示检测样本的个数,xij表示第i个样本包中第j个检测样本,∑(·)表示求和操作;
(7)计算当前帧精确样本的先验概率:
(7a)在当前帧图像中,将待跟踪目标的位置对应的图像区域,作为当前帧图像的模板目标;以当前帧图像中待跟踪目标的位置为中心,取出与待跟踪目标的位置大小相同的多个矩形框,将这些矩形框作为当前帧图像的精确样本;
(7b)提取当前帧图像的精确样本的Haar特征;
(7c)采用直方图均衡化方法,得到当前帧图像的模板目标的均衡化直方图;
(7d)在当前帧图像的检测样本的左上角点的3×3邻域内,获取与当前帧图像的精确样本大小相同的9个图像块,采用直方图均衡化方法,得到这9个图像块的均衡化直方图,采用相关系数公式,计算9个图像块的均衡化直方图与模板目标的均衡化直方图的9个相关系数;
(7e)求9个相关系数的平均值,将该平均值作为当前帧图像的精确样本的先验概率;
(8)更新分类器:
(8a)利用弱分类器公式,构建当前帧图像的精确样本的正样本对应的弱分类器和负样本对应的弱分类器;
所述的弱分类器公式如下:
其中,h(xij)表示样本的弱分类器,i表示样本构成样本包的个数,j表示样本的个数,xij表示第i个样本包中第j个样本,f(xij)表示第i个样本包中第j个样本的Haar特征,y=1表示样本中正样本,p(f(xij)|y=1)表示f(xij)在条件y=1下的概率,该概率服从均值为μ1、方差为σ1的正态分布,p(f(xij)|y=0)表示f(xij)在条件y=0下概率,该概率服从均值为μ0、方差为σ0的正态分布,p(y=1)表示样本的先验概率,log(·)表示取对数操作;
(8b)按照下式,计算弱分类器的最大似然概率:
其中,Lm表示第m个弱分类器的最大似然概率,m表示弱分类器的序号,m=1,2,...,M,M表示弱分类器的总数,xij表示第i个样本包中当前帧图像的第j个精确样本,i表示当前帧图像的精确样本构成样本包的个数,j表示当前帧图像的精确样本的个数,Xi表示第i个样本包,yi=1表示当前帧图像的精确样本的正样本,yi=0表示当前帧图像的精确样本的负样本,p(yi|Xi)表示yi在条件Xi下的概率,p(yi|xij)表示yi在条件xij下的概率,∑(·)表示求和操作,log(·)表示取对数操作,∏(·)表示连乘操作;
(8c)从M个弱分类器中,选出K1个最大似然概率较小的弱分类器,从K1个弱分类对应的当前帧图像的精确样本中,挑选S1个概率最小的当前帧图像的精确样本,采用更新高斯参数公式,更新弱分类器的高斯参数,从K1个弱分类器中挑选出K2个弱分类器,在K2个弱分类对应的当前帧图像的精确样本中挑选出S2个概率最小的精确样本,按照下式,构建强分类器:
Hk=Hk-1+hk
其中,hk表示第k个弱分类器,Lm表示弱分类器的最大似然概率,Hk-1表示(k-1)个弱分类器组成的强分类器,Hk表示k个弱分类器组成的强分类器,argmin(·)表示选取最小值操作;
所述更新高斯参数公式如下:
其中,μ1表示正样本的均值,n表示第i个样本中Haar特征的个数,xi表示第i个样本,i表示样本的序号,yi=1表示样本中的正样本,yi=0表示样本中的负样本,f(xi)表示第i个样本的Haar特征,σ1表示正样本的方差,μ0表示负样本的均值,σ0表示负样本的方差,符号←表示赋值操作,∑(·)表示求和操作;
弱分类器公式如下:
其中,h(xij)表示样本的弱分类器,i表示样本构成样本包的个数,j表示样本的个数,xij表示第i个样本包中第j个样本,f(xij)表示第i个样本包中第j个样本的Haar特征,y=1表示样本中正样本,p(f(xij)|y=1)表示f(xij)在条件y=1下的概率,该概率服从均值为μ1、方差为σ1的正态分布,p(f(xij)|y=0)表示f(xij)在条件y=0下概率,该概率服从均值为μ0、方差为σ0的正态分布,p(y=1)表示样本的先验概率,log(·)表示取对数操作;
(8d)采用更新高斯参数公式,更新弱分类器的高斯参数;
所述更新高斯参数公式如下:
其中,μ1表示正样本的均值,n表示第i个样本中Haar特征的个数,xi表示第i个样本,i表示样本的序号,yi=1表示样本中的正样本,yi=0表示样本中的负样本,f(xi)表示第i个样本的Haar特征,σ1表示正样本的方差,μ0表示负样本的均值,σ0表示负样本的方差,符号←表示赋值操作,∑(·)表示求和操作;
(9)判断当前帧图像是否为待跟踪视频图像序列的最后一帧图像,若是,执行步骤(10);否则,执行步骤(6);
(10)结束。
2.根据权利要求1所述的基于样本重选择的目标跟踪方法,其特征在于,步骤(2c)、步骤(2d)、步骤(7c)和步骤(7d)中所述直方图均衡化方法的具体步骤如下:对当前帧图像进行非线性拉伸,重新分配图像像素值,得到不同灰度范围内图像像素数量相同、均匀分布的当前帧图像直方图。
3.根据权利要求1所述的基于样本重选择的目标跟踪方法,其特征在于,步骤(2d)和步骤(7d)中所述的相关系数公式如下:
其中,ρis表示第i个样本的第s个图像块的均衡化直方图与模板目标的均衡化直方图的相关系数,i表示样本的序号,s表示图像块的序号,Et(z)表示模板目标的均衡化直方图,Ois(z)表示第i个样本的第s个图像块的均衡化直方图,t表示当前帧图像帧数,z表示直方图级数,z=1,2,...,256,∑(·)表示求和操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410069126.4A CN103793926B (zh) | 2014-02-27 | 2014-02-27 | 基于样本重选择的目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410069126.4A CN103793926B (zh) | 2014-02-27 | 2014-02-27 | 基于样本重选择的目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103793926A CN103793926A (zh) | 2014-05-14 |
CN103793926B true CN103793926B (zh) | 2016-06-29 |
Family
ID=50669549
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410069126.4A Expired - Fee Related CN103793926B (zh) | 2014-02-27 | 2014-02-27 | 基于样本重选择的目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103793926B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106355204A (zh) * | 2016-08-31 | 2017-01-25 | 武汉大学 | 基于贝叶斯学习和增量子空间学习的目标跟踪方法 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106934332A (zh) * | 2015-12-31 | 2017-07-07 | 中国科学院深圳先进技术研究院 | 一种多目标跟踪的方法 |
CN108846868B (zh) * | 2018-04-25 | 2022-06-10 | 上海大学 | 一种基于cfa插值特性的数字图像真伪鉴别方法 |
CN108829248B (zh) * | 2018-06-01 | 2020-11-20 | 中国科学院软件研究所 | 一种基于用户表现模型矫正的移动目标选择方法及系统 |
CN109993775B (zh) * | 2019-04-01 | 2023-03-21 | 云南大学 | 基于特征补偿的单目标跟踪方法 |
CN110473227B (zh) * | 2019-08-21 | 2022-03-04 | 图谱未来(南京)人工智能研究院有限公司 | 目标跟踪方法、装置、设备及存储介质 |
CN112465859A (zh) * | 2019-09-06 | 2021-03-09 | 顺丰科技有限公司 | 快速运动目标的检测方法、装置、设备和储存介质 |
CN110933435B (zh) * | 2019-11-29 | 2022-07-12 | 上海依图网络科技有限公司 | 动图延时优化处理方法、装置、设备及可读存储介质 |
CN112613553B (zh) * | 2020-12-18 | 2022-03-08 | 中电金信软件有限公司 | 图片样本集生成方法、装置、计算机设备和存储介质 |
US11991346B2 (en) * | 2021-11-15 | 2024-05-21 | Ford Global Technologies, Llc | Video streaming anomaly detection |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102903122A (zh) * | 2012-09-13 | 2013-01-30 | 西北工业大学 | 基于特征光流与在线集成学习的视频目标跟踪方法 |
CN102968621A (zh) * | 2012-11-23 | 2013-03-13 | 西安电子科技大学 | 基于第二代Bandelet统计特征的人体运动识别方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7526101B2 (en) * | 2005-01-24 | 2009-04-28 | Mitsubishi Electric Research Laboratories, Inc. | Tracking objects in videos with adaptive classifiers |
US8295543B2 (en) * | 2007-08-31 | 2012-10-23 | Lockheed Martin Corporation | Device and method for detecting targets in images based on user-defined classifiers |
-
2014
- 2014-02-27 CN CN201410069126.4A patent/CN103793926B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102903122A (zh) * | 2012-09-13 | 2013-01-30 | 西北工业大学 | 基于特征光流与在线集成学习的视频目标跟踪方法 |
CN102968621A (zh) * | 2012-11-23 | 2013-03-13 | 西安电子科技大学 | 基于第二代Bandelet统计特征的人体运动识别方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106355204A (zh) * | 2016-08-31 | 2017-01-25 | 武汉大学 | 基于贝叶斯学习和增量子空间学习的目标跟踪方法 |
CN106355204B (zh) * | 2016-08-31 | 2019-08-20 | 武汉大学 | 基于贝叶斯学习和增量子空间学习的目标跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103793926A (zh) | 2014-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103793926B (zh) | 基于样本重选择的目标跟踪方法 | |
Dong et al. | Occlusion-aware real-time object tracking | |
Lei et al. | Region-enhanced convolutional neural network for object detection in remote sensing images | |
CN105512640A (zh) | 一种基于视频序列的人流量统计方法 | |
CN102855461B (zh) | 在图像中检测手指的方法及设备 | |
Zhang et al. | Robust object tracking via active feature selection | |
CN105931253A (zh) | 一种基于半监督学习相结合的图像分割方法 | |
CN106778687A (zh) | 基于局部评估和全局优化的注视点检测方法 | |
CN103745233B (zh) | 基于空间信息迁移的高光谱图像分类方法 | |
CN105976397B (zh) | 一种目标跟踪方法 | |
CN102708384B (zh) | 一种基于随机蕨的自举弱学习方法及其分类器 | |
CN103985143A (zh) | 基于字典学习的视频中判别性在线目标跟踪方法 | |
CN105809713A (zh) | 基于在线Fisher判别机制增强特征选择的目标跟踪方法 | |
CN102024149B (zh) | 物体检测的方法及层次型物体检测器中分类器的训练方法 | |
Teng et al. | Generative robotic grasping using depthwise separable convolution | |
CN106056146B (zh) | 基于逻辑回归的视觉跟踪方法 | |
Deng et al. | Attention based visual analysis for fast grasp planning with a multi-fingered robotic hand | |
CN113269038A (zh) | 一种基于多尺度的行人检测方法 | |
CN103996207A (zh) | 一种物体跟踪方法 | |
CN108257148A (zh) | 特定对象的目标建议窗口生成方法及其在目标跟踪的应用 | |
Bao et al. | Robust visual tracking based on hierarchical appearance model | |
Li et al. | Research on hybrid information recognition algorithm and quality of golf swing | |
CN110781803B (zh) | 一种基于扩展卡尔曼滤波器的人体姿态识别方法 | |
Xudong et al. | Pedestrian detection and tracking with deep mutual learning | |
Cui | RETRACTED ARTICLE: Research on English translation distortion detection based on image evolution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160629 Termination date: 20210227 |