CN105719292B - 利用两层级联的Boosting分类算法实现视频目标跟踪的方法 - Google Patents
利用两层级联的Boosting分类算法实现视频目标跟踪的方法 Download PDFInfo
- Publication number
- CN105719292B CN105719292B CN201610037690.7A CN201610037690A CN105719292B CN 105719292 B CN105719292 B CN 105719292B CN 201610037690 A CN201610037690 A CN 201610037690A CN 105719292 B CN105719292 B CN 105719292B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- weak classifier
- value
- mtd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Abstract
本发明公开了一种利用两层级联的Boosting分类算法实现视频目标跟踪的方法，该方法包括：图像的预处理，获取目标样本与目标区域中的图像块；通过滤波器提取特征，得到正负样本的特征值；包含在线特征选择和权重训练的两层Boosting级联算法；分类器检测的目标跟踪等步骤。本发明使用多个滤波器对图像块提取特征，更为精细地表达出图像块的特征，解决了使用类Haar特征构造模板单一，丢失图像色彩和纹理细节的问题；另外，使用两层级联的结构，对滤波器类型和图像块位置分别进行选择，使所选择的特征更加适用于跟踪任务。
Description
技术领域
本发明属于图像处理技术领域，涉及一种利用两层级联的Boosting分类算法实现视频目标跟踪的方法。
背景技术
基于视频的目标跟踪技术是计算机视觉和图像处理领域众多学者关注的一个经典问题。随着计算机存储、网络通信以及图像处理等技术飞速发展，视频跟踪技术也有了长足的进步。
设计稳定高效的目标跟踪算法是极具挑战性的，困难主要来源于应用中背景复杂、目标遮挡、以及目标变形与旋转等因素的影响。目前流行的算法主要分为生成和判别两大类方法。生成方法以跟踪目标作为特征来构造一个模板，不同算法的构造过程各有差异，在跟踪过程中匹配候选样本，匹配程度最高的区域即为目标区域。判别方法通过训练分类器来判别候选样本为正样本的概率，概率最高的区域即目标。
1、Zhang,K.,L.Zhang,and M.-H.Yang,Real-time compressive tracking,inComputer Vision–ECCV 2012.2012,Springer.p.864-877.
CT(Compressive Tracker)跟踪算法，选用Haar特征(仅对矩形区域做灰度值积分)作为提取特征的方法。同时它使用正负样本来训练贝叶斯分类器并用该分类器判别候选样本。
2、Grabner,H.and H.Bischof.On-line boosting and vision.in ComputerVision and Pattern Recognition,2006IEEE Computer Society Conferenceon.2006.IEEE.
OAB(Online Adaptive Boosting)跟踪算法，同样选用了Haar特征作为提取特征的方法。同时它使用正负样本训练多个弱分类器，以弱分类器的分类效果为参考选择合适的若干个图像块所对应的弱分类器，线性组合成一个强分类器，并用该强分类器来判别候选样本。但是该算法只是在图像块的维度上作了Boosting。
3、Krizhevsky A,Sutskever I,Hinton G E.ImageNet Classification withDeep Convolutional Neural Networks[J].Advances in Neural InformationProcessing Systems,2012,25:2012.
基于深度卷积神经网络的图像分类算法，通过构造多层级联的神经网络，实现对图像内容的1000分类。深度卷积神经网络的第一层卷积核大小为11x11,通过大量标注图片训练得到，反应了图像中的基本结构。
发明内容
本发明的目的是提供一种利用两层级联的Boosting分类算法实现视频目标跟踪的方法，该方法用当前帧目标区域内不同位置的图像块在不同类型滤波器(f)作用下的特征值作为分类特征；利用两层级联的Boosting算法分别对图像块位置和它的描述滤波器进行选择；最后在搜索区域内，对每个候选位置进行检测，从而得到目标的位置，用矩形框表示。每个特征都可以单独地构造弱分类器来对候选位置进行判断；采用两级特征选择的结构，使得两层中被选到的很多弱分类器加权组合构造出一个强分类器，该强分类器再对候选位置进行判断。与传统方法相比，本发明使用多个滤波器对图像块提取特征，更为精细地表达出图像块的特征，解决了使用类Haar特征构造模板单一，丢失图像色彩和纹理细节的问题；另外，所提出的跟踪方法使用两层级联的结构，对滤波器类型和图像块位置分别进行选择，尽可能使所选择的特征适用于跟踪任务。
实现本发明目的的具体技术方案是：
一种利用两层级联的Boosting分类算法实现视频目标跟踪的方法，该方法包括以下具体步骤：
S1、预处理
在图像序列的第一帧中，首先标出跟踪的目标区域并在目标区域中随机产生出若干大小和相对位置的图像块；使用AlexNet深度神经网络中第一层中卷积层的卷积核组作为基滤波器库FB，并对FB做归一化处理；缩放FB，使得FB中的每个滤波器与目标区域中的图像块宽高大小一致，缩放结果作为滤波器库F＝{f1,f2,…,fN},N＝96；
S2、正负样本的特征提取
以目标区域作为正样本，目标区域周边四个同样大小区域作为负样本，在正负样本中同样的相对位置取出图像块与对应F中的fj分别逐元素即像素相乘并求和得到特征值hs；
S3、特征选择和权重训练的两层Boosting级联算法
第一级Boosting算法是对滤波器作选择，使用步骤S2求得的特征值hs训练第一级Boosting的弱分类器并获得第一级参数其中α为第一级弱分类器的置信值，pfmean为第一级正样本均值，nfmean为负样本均值，thrf为分类阈值，parf为弱分类器符号，为弱分类器分类正确数，为弱分类器分类错误数，ef为弱分类器错误率；
第二级Boosting算法是对图像块作选择，使用第一级弱分类器的置信值α与正负样本特征值hs的加权结果W作为特征值输入第二级，并获得第二级Boosting弱分类器参数其中β为第二级弱分类器的置信值，ppmean为第二级正样本均值，npmean为负样本均值，thrp为分类阈值，parp为弱分类器符号，为弱分类器分类正确数，为弱分类器分类错误数，ep为弱分类器错误率；
S4、分类器检测的目标跟踪
在下一帧图像中的设定范围内设置候选样本，在候选样本中取出图像块大小和相对位置与正样本保持一致，与F中对应的fj求得第一级特征值hd；将hd与第一级弱分类器的置信值α加权组合得到第二级特征值Wd，Wd再与第二级弱分类器的置信值β加权组合，得到强分类器分类结果gstrong；最大gstrong值的候选样本作为下一帧的目标区域；重复步骤S2-S4，实现持续目标跟踪。
在步骤S2中，所述的特征值hs求法是图像块与大小等同的fj分别逐元素相乘并求和，其公式为：
是由正负样本中第i个图像块与第j个滤波器相乘得到的特征值。
在步骤S3中，所述第一级弱分类器的置信值α计算公式为：
α由该弱分类器分类的错误率ef确定，ef由弱分类器分类错误数与分类总数之比得到；训练过程中，当该弱分类器分类正确时，值累加；分类错误时，值累加。
在步骤S3中，所述第一级弱分类器的置信值α与正负样本特征值hs的加权结果Wi的计算公式为：
其中，Wi由第一级αi,j与hs加权的结果；M是图像块的个数，N是滤波器的个数；n是第一级Boosting训练出来错误率ef较小的弱分类器的个数。
在步骤S3中，所述第二级弱分类器的置信值β计算公式：
β由该弱分类器分类的错误率ep确定，ep由弱分类器分类错误数与分类总数之比得到；训练过程中，当该弱分类器分类正确时，值累加；分类错误时，值累加。
在步骤S4中，所述第二级特征值Wd的计算公式：
Wd由第一级αi,j与hd加权的结果；其中，特征值hd的计算公式：
是由候选样本中选择出来的图像块和滤波器fj相乘得到的特征值。
在步骤S4中，所述强分类器分类结果gstrong的计算：
其中，gweak为弱分类器分类值，其取值为+1或-1，+1表示该弱分类器判别样本为正样本；-1表示弱分类器判别样本为负样本；m是第二级Boosting训练出来错误率ep较小的弱分类器的个数；候选区域含有目标的gstrong是m个gweak的累加；其中：
gweak作为第二级弱分类器的分类值其计算公式为：
gweak＝parp·sign(Wd-thrp) (11)
其中，第二级分类阈值thrp和分类器符号parp是由正负样本特征值均值ppmean,npmean决定。
与传统方法相比，本发明使用多个滤波器对图像块提取特征，更为精细地表达出图像块的特征，解决了使用类Haar特征构造模板单一，丢失图像色彩和纹理细节的问题；另外，所提出的跟踪方法使用两层级联的结构，对滤波器类型和图像块位置分别进行选择，使所选择的特征更加适用于跟踪任务。在目标跟踪的精准性上有了很大提升。
附图说明
图1为本发明流程图；
图2为本发明在图像中选择正负样本划分示意图，实线框为选取的正样本，虚线框为选取的四个负样本；
图3为本发明分类器特征选择与权重训练过程的流程图；
图4为本发明目标检测过程的流程图；
图5为本发明目标检测过程中候选目标选择的示意图；左图为第一级粗搜索，右图为第二级精细搜索；其中，图中实线框为得到的最佳目标候选位置，虚线框表示滑动窗中的其他位置。
具体实施方式
下面将结合附图和具体实施方式，对本发明的技术方案进行清楚、完整地描述。
参阅图1，本发明其实现过程包括以下步骤：一是图像的预处理过程，获取目标样本与目标区域中的图像块；二是通过滤波器提取特征，得到正负样本的特征池；三是包含在线特征选择和权重训练的两层Boosting级联算法；四是通过分类器检测的目标跟踪。具体过程：
1、视频跟踪的预处理
在图像序列的第一帧中，首先标出跟踪的目标区域。在目标区域中随机产生出若干大小和相对位置的图像块。使用AlexNet深度神经网络中第一层中卷积层的卷积核组作为基滤波器库(FB)，并对FB做归一化处理。缩放FB，使得它中的每个滤波器与目标区域中的图像块宽高大小一致，缩放结果作为滤波器库(F＝{f1,f2,…,fN},N＝96)；具体：
步骤1.1：处理第一帧图像，如该图像为三通道彩图，保留三个通道；如是单通道灰度图像，将这一通道复制，填充另两个通道。在第一帧中标出跟踪的目标区域。
步骤1.2：指定矩形目标中的图像块为M个。图像块使用随机选择的方式(大小和相对位置都随机)。得到图像块的相对位置X、Y、宽W和高H，分别放在px、py、pw和ph四个数组里。
步骤1.3：使用基滤波器库FB，该库是由AlexNet深度神经网络中第一层中卷积层的卷积核组成，它是通过大量图片数据训练而来，包含了N(96)个各异的滤波器模板，模板大小为11×11。这一组卷积核作为视频跟踪算法的基滤波器库(FB)。
步骤1.4：对FB做归零化处理。归零化按下面的公式进行：
其中，sum是对滤波器模板求和，ones{11×11}是值全为1的长宽为11×11的模板。对F中每一个fj的各元素都减去均值，得到新的滤波器模板归零化后滤波器各元素之和为0。
步骤1.5：对滤波器库F中的f进行宽高尺寸调整。根据每个图像块的宽高，改变与之对应滤波器组的宽高。使得基滤波器库中的每个滤波器与得到的图像块宽高大小一致，缩放结果作为滤波器库(F＝{f1,f2,…,fN})。
2、正负样本的特征值提取
步骤2.1：参阅图2所示，获取参与训练的正负样本。以目标区域作为正样本，临近的周围四个位置作为负样本。样本个数分别为Np＝1和Nn＝4。
步骤2.2：计算训练样本的特征值。在正负样本中同样的相对位置取出图像块与F中的fj分别逐元素相乘并求和得到的特征值hs，作为训练的输入特征。对于图像块F中共有有N个滤波器，特征提取由公式:
是由正负样本中第i个图像块与第j个滤波器相乘得到的特征值。最终得到的正负样本特征维度都是M×N。
3、参阅图3，特征选择和权重训练的两层Boosting级联算法
3.1第一级Boosting训练过程，包含以下内容：
步骤3.1.1：初始化弱分类器。每一个图像块对应一个滤波器库F，因此一个图像块需初始化N组弱分类器。弱分类器的参数包括正负样本均值pfmean和nfmean、方差pfsigma和nfsigma、训练样本的权重importancef以及统计正误的累加值和他们的取值分别是pfmean＝0,nfmean＝0,pfsigma＝1，nfsigma＝1，importancef＝1，和
步骤3.1.2：输入正负样本的特征值hs。当为正样本特征为hs值时，更新弱分类器其中k是更新系数。同理为负样本时更新弱分类器nfmean＝k×hs+(1-k)×nfmean。方差的更新公式为同时求出弱分类器的阈值thrf：thrf＝(pfmean+nfmean)/2,以及分类器符号parf：parf＝sign(pfmean-nfmean)。
步骤3.1.3：使用上述弱分类器来判别训练样本，计算该判别是否正确。indic存放样本的指示标识，如果弱分类器判断正确，indic＝+1；否则indic＝-1。样本输入时判别公式：indic＝parf·sign(hs-thrf)。由此每一个样本都会得到一个标识，它指示弱分类判断是否正确。
步骤3.1.4：当indic＝+1，即弱分类器判断正确时，该弱分类器的样本分类正确数加上权重importancef；indic＝-1，即判断错误，当前弱分类器的样本分类错误数加上importancef。训练样本输入时，每个弱分类器都会对训练样本反复判断，和不断累加。
步骤3.1.5：计算当前弱分类器的错误率。根据公式：
每个图像块有N个滤波器，将排序，选择较小的值即分类效果较好的几个弱分类器并记录该弱分类器的序号。
求出第一级弱分类器的置信值α，根据公式：
步骤3.1.6：更新参数importancef。弱分类器判断错误时，根据公式因为ef∈(0,0.5)，此时相应样本的importancef会增加。反之importancef会减小。
3.2在第一级Boosting训练基础上提取新特征。
步骤3.2.1：使用第一级弱分类器的置信值α与正负样本特征值hs的加权结果W作为特征值输入第二级。由于在目标区域中随机出了M个图像块，每个图像块都对应滤波器库F，第二级特征值Wi的计算公式为：
其中，Wi由第一级αi,j与hs加权的结果；M是图像块的个数，N是滤波器的个数；n是第一级Boosting训练出来错误率ef较小的弱分类器的个数。最终得到的正负样本特征W维度都是M。
3.3第二级Boosting算法，弱分类器参数和权重的训练的步骤如下：
步骤3.3.1：初始化弱分类器。目标区域有M个图像块，因此初始化M组弱分类器。弱分类器的参数包括正负样本均值ppmean和npmean、方差ppsigma和npsigma、训练样本的权重importancep以及统计正误的累加值和他们的取值分别是ppmean＝0,npmean＝0,ppsigma＝1，npsigma＝1，importancep＝1，和
步骤3.3.2：输入正负样本的特征值W。当为正样本特征为W值时，更新弱分类器ppmean＝k×W+(1-k)×ppmean，其中k是更新系数。同理为负样本时更新弱分类器npmean＝k×W+(1-k)×npmean。方差的更新公式为同时求出弱分类器的阈值thrp：thrp＝(ppmean+npmean)/2,以及分类器符号parp：parp＝sign(ppmean-npmean)。
步骤3.3.3：使用上述弱分类器来判别训练样本，计算该判别是否正确。indic存放样本的指示标识，如果弱分类器判断正确，indic＝+1；否则indic＝-1。样本输入时判别公式：indic＝parp·sign(W-thrp)。由此每一个样本都会得到一个标识，它指示弱分类判断是否正确。
步骤3.3.4：当indic＝+1，即弱分类器判断正确时，该弱分类器的样本分类正确数加上权重importancep；indic＝-1，即判断错误，当前弱分类器的样本分类错误数加上importancep。第二级训练样本输入时，每个弱分类器都会对训练样本反复判断，和不断累加。
步骤3.3.5：计算当前弱分类器的错误率。根据公式：
目标有M个图像块，将排序，选择较小的值即分类效果较好的几个弱分类器并记录该弱分类器的序号。
求出第二级弱分类器的置信值β，根据公式：
步骤3.3.6：更新参数importancep，弱分类器判断错误时，根据公式因为ep∈(0,0.5)，此时相应样本的importancep会增加。反之importancep会减小。
4、参阅图4，通过分类器检测的目标跟踪
4.1目标位置的粗搜索，具体步骤如下：
步骤4.1.1：在前一帧图像中目标的上下左右各20像素搜索区域内以4像素点为步长，依次滑动，得到Nd个目标候选样本并存放它们的位置坐标，参阅图5左图。以每一个候选样本为检测样本，取出与其对应的图像块与由第一级Boosting算法选择出来的滤波器fj逐元素相乘并求和得到描述特征公式为：
其中j的取值是第一级选出来的结果。Nd数量很大，因此在循环中使用了OPENMP的并行计算以减少时间。
步骤4.1.2：将hd与第一级弱分类器的置信值α加权组合得到第二级特征值Wd，其公式为：
其中，n是第一级选出来滤波器的个数。
步骤4.1.3：Wd与第二级弱分类器的置信值β加权组合，得到强分类器分类结果gstrong，根据公式：
gweak＝parp·sign(Wd-thrp) (11)
thrp＝(ppmean+npmean)/2，parp＝sign(ppmean-npmean) (12)
公式(10)中，gstrong反应了当前样本候选区域含有目标的gs t rong，是由第二级Boosting算法选出来的m弱分类器的gweak加权组合得到。
步骤4.1.4：比较所有候选样本gstrong。t＝max(gi strong),i∈(1,2,…,Nd)，序号为t的区域交给步骤4.2继续处理。
4.2目标位置的精细搜索：在上述步骤中得到的跟踪目标周围上下左右5个像素搜索区域内，以1像素点为步长滑动产生若干候选位置，参阅图5右图。对每个候选位置，按步骤4.1.1-4.1.4步骤再次逐一计算gstrong，并得到目标所在的最终区域。
4.3 gstrong最大候选样本的作为下一帧的目标区域。重复步骤2到步骤4的过程实现目标持续跟踪。
Claims (7)
1.利用两层级联的Boosting分类算法实现视频目标跟踪的方法，其特征在于该方法包括以下具体步骤：
S1、预处理
在图像序列的第一帧中，首先标出跟踪的目标区域并在目标区域中随机产生出若干大小和相对位置的图像块；使用AlexNet深度神经网络中第一层中卷积层的卷积核组作为基滤波器库FB，并对FB做归一化处理；缩放FB，使得FB中的每个滤波器与目标区域中的图像块宽高大小一致，缩放结果作为滤波器库F＝{f1,f2,…,fN},N＝96；
S2、正负样本的特征提取
以目标区域作为正样本，目标区域周边四个同样大小区域作为负样本，在正负样本中同样的相对位置取出图像块与对应F中的fj分别逐元素即像素相乘并求和得到特征值hs；
S3、特征选择和权重训练的两层Boosting级联算法
第一级Boosting算法是对滤波器作选择，使用步骤S2求得的特征值hs训练第一级Boosting的弱分类器并获得第一级参数其中α为第一级弱分类器的置信值，pfmean为第一级正样本均值，nfmean为负样本均值，thrf为分类阈值，parf为弱分类器符号，为弱分类器分类正确数，为弱分类器分类错误数，ef为弱分类器错误率；
第二级Boosting算法是对图像块作选择，使用第一级弱分类器的置信值α与正负样本特征值hs的加权结果W作为特征值输入第二级，并获得第二级Boosting弱分类器参数其中β为第二级弱分类器的置信值，ppmean为第二级正样本均值，npmean为负样本均值，thrp为分类阈值，parp为弱分类器符号，为弱分类器分类正确数，为弱分类器分类错误数，ep为弱分类器错误率；
S4、分类器检测的目标跟踪
在下一帧图像中的设定范围内设置候选样本，在候选样本中取出图像块大小和相对位置与正样本保持一致，与F中对应的fj求得第一级特征值hd；将hd与第一级弱分类器的置信值α加权组合得到第二级特征值Wd，Wd再与第二级弱分类器的置信值β加权组合，得到强分类器分类结果gstrong；最大gstrong值的候选样本作为下一帧的目标区域；重复步骤S2-S4，实现持续目标跟踪。
2.根据权利要求1所述的方法，其特征在于，在步骤S2中，所述的特征值hs求法是图像块与大小等同的fj分别逐元素相乘并求和，其公式为：
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>h</mi>
<msub>
<mi>s</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
</msub>
<mo>=</mo>
<msub>
<mi>p</mi>
<msub>
<mi>s</mi>
<mi>i</mi>
</msub>
</msub>
<mo>*</mo>
<msub>
<mi>f</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mi>M</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>j</mi>
<mo>&Element;</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mi>N</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
是由正负样本中第i个图像块与第j个滤波器相乘得到的特征值；M是图像块的个数，N是滤波器的个数。
3.根据权利要求1所述的方法，其特征在于，在步骤S3中，所述第一级弱分类器的置信值α计算公式为：
<mrow>
<msub>
<mi>e</mi>
<mi>f</mi>
</msub>
<mo>=</mo>
<msub>
<mi>n</mi>
<msub>
<mi>f</mi>
<mi>r</mi>
</msub>
</msub>
<mo>/</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>n</mi>
<msub>
<mi>f</mi>
<mi>r</mi>
</msub>
</msub>
<mo>+</mo>
<msub>
<mi>n</mi>
<msub>
<mi>f</mi>
<mi>c</mi>
</msub>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>&alpha;</mi>
<mo>=</mo>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<mn>1</mn>
<mo>-</mo>
<msub>
<mi>e</mi>
<mi>f</mi>
</msub>
</mrow>
<msub>
<mi>e</mi>
<mi>f</mi>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
α由该弱分类器分类的错误率ef确定，ef由弱分类器分类错误数与分类总数之比得到；训练过程中，当该弱分类器分类正确时，值累加；分类错误时，值累加。
4.根据权利要求1所述的方法，其特征在于，在步骤S3中，所述第一级弱分类器的置信值α与正负样本特征值hs的加权结果W的计算公式为：
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>W</mi>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>h</mi>
<msub>
<mi>s</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
</msub>
<mo>&CenterDot;</mo>
<msub>
<mi>&alpha;</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mi>M</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>j</mi>
<mo>&Element;</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mi>N</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，Wi由第一级弱分类器的置信值αi,j与加权的结果；M是图像块的个数，N是滤波器的个数；n是第一级Boosting训练出来错误率ef较小的弱分类器的个数。
5.根据权利要求1所述的方法，其特征在于在步骤S3中，所述第二级弱分类器的置信值β计算公式：
<mrow>
<msub>
<mi>e</mi>
<mi>p</mi>
</msub>
<mo>=</mo>
<msub>
<mi>n</mi>
<msub>
<mi>p</mi>
<mi>r</mi>
</msub>
</msub>
<mo>/</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>n</mi>
<msub>
<mi>p</mi>
<mi>r</mi>
</msub>
</msub>
<mo>+</mo>
<msub>
<mi>n</mi>
<msub>
<mi>p</mi>
<mi>c</mi>
</msub>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>&beta;</mi>
<mo>=</mo>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<mn>1</mn>
<mo>-</mo>
<msub>
<mi>e</mi>
<mi>p</mi>
</msub>
</mrow>
<msub>
<mi>e</mi>
<mi>p</mi>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
β由该弱分类器分类的错误率ep确定，ep由弱分类器分类错误数与分类总数之比得到；训练过程中，当该弱分类器分类正确时，值累加；分类错误时，值累加。
6.根据权利要求2所述的方法，其特征在于，在步骤S4中，所述第二级特征值Wd的计算公式：
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>W</mi>
<msub>
<mi>d</mi>
<mi>i</mi>
</msub>
</msub>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>h</mi>
<msub>
<mi>d</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
</msub>
<mo>&CenterDot;</mo>
<msub>
<mi>&alpha;</mi>
<mrow>
<mi>j</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msub>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mi>M</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>j</mi>
<mo>&Element;</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mi>N</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
由第一级弱分类器的置信值αi,j与加权的结果；其中，特征值的计算公式：
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>h</mi>
<msub>
<mi>d</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
</msub>
<mo>=</mo>
<msub>
<mi>p</mi>
<msub>
<mi>d</mi>
<mi>i</mi>
</msub>
</msub>
<mo>*</mo>
<msub>
<mi>f</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mi>M</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>j</mi>
<mo>&Element;</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mi>N</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
是由候选样本中选择出来的图像块和滤波器fj相乘得到的特征值。
7.根据权利要求1所述的方法，其特征在于，在步骤S4中，所述强分类器分类结果gstrong的计算：
<mrow>
<msup>
<mi>g</mi>
<mrow>
<mi>s</mi>
<mi>t</mi>
<mi>r</mi>
<mi>o</mi>
<mi>n</mi>
<mi>g</mi>
</mrow>
</msup>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</munderover>
<msub>
<mi>&beta;</mi>
<mi>i</mi>
</msub>
<mo>&CenterDot;</mo>
<msubsup>
<mi>g</mi>
<mi>i</mi>
<mrow>
<mi>w</mi>
<mi>e</mi>
<mi>a</mi>
<mi>k</mi>
</mrow>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，gweak为弱分类器分类值，其取值为+1或-1，+1表示该弱分类器判别样本为正样本；-1表示弱分类器判别样本为负样本；m是第二级Boosting训练出来错误率ep较小的弱分类器的个数；候选区域含有目标的gstrong是m个gweak的累加；其中：
gweak作为第二级弱分类器的分类值其计算公式为：
gweak＝parp·sign(Wd-thrp) (11)
其中，第二级分类阈值thrp和分类器符号parp是由正负样本特征值均值ppmean,npmean决定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610037690.7A CN105719292B (zh) | 2016-01-20 | 2016-01-20 | 利用两层级联的Boosting分类算法实现视频目标跟踪的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610037690.7A CN105719292B (zh) | 2016-01-20 | 2016-01-20 | 利用两层级联的Boosting分类算法实现视频目标跟踪的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105719292A CN105719292A (zh) | 2016-06-29 |
| CN105719292B true CN105719292B (zh) | 2018-05-15 |
Family
ID=56147763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610037690.7A Active CN105719292B (zh) | 2016-01-20 | 2016-01-20 | 利用两层级联的Boosting分类算法实现视频目标跟踪的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105719292B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296734B (zh) * | 2016-08-05 | 2018-08-28 | 合肥工业大学 | 基于极限学习机和boosting多核学习的目标跟踪方法 |
| CN106327527B (zh) * | 2016-08-11 | 2019-05-14 | 电子科技大学 | 基于Online Boosting的目标轮廓跟踪方法 |
| CN108304856B (zh) * | 2017-12-13 | 2020-02-28 | 中国科学院自动化研究所 | 基于皮层丘脑计算模型的图像分类方法 |
| CN108062531B (zh) * | 2017-12-25 | 2021-10-19 | 南京信息工程大学 | 一种基于级联回归卷积神经网络的视频目标检测方法 |
| CN108122011B (zh) * | 2017-12-26 | 2021-09-03 | 中国科学院半导体研究所 | 基于多种不变性混合的目标跟踪方法和系统 |
| CN109614517B (zh) * | 2018-12-04 | 2023-08-01 | 广州市百果园信息技术有限公司 | 视频的分类方法、装置、设备及存储介质 |
| CN110033473B (zh) * | 2019-04-15 | 2021-04-20 | 西安电子科技大学 | 基于模板匹配和深度分类网络的运动目标跟踪方法 |
| CN110706253B (zh) * | 2019-09-19 | 2022-03-08 | 中国科学院自动化研究所 | 基于表观特征和深度特征的目标跟踪方法、系统、装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101196991A (zh) * | 2007-12-14 | 2008-06-11 | 同济大学 | 密集客流计数和行人步行速度自动检测方法及系统 |
| CN102915545A (zh) * | 2012-09-20 | 2013-02-06 | 华东师范大学 | 一种基于OpenCV的视频目标跟踪算法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101271514B (zh) * | 2007-03-21 | 2012-10-10 | 株式会社理光 | 一种快速目标检测和目标输出的图像检测方法及装置 |
-
2016
- 2016-01-20 CN CN201610037690.7A patent/CN105719292B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101196991A (zh) * | 2007-12-14 | 2008-06-11 | 同济大学 | 密集客流计数和行人步行速度自动检测方法及系统 |
| CN102915545A (zh) * | 2012-09-20 | 2013-02-06 | 华东师范大学 | 一种基于OpenCV的视频目标跟踪算法 |
Non-Patent Citations (2)
| Title |
|---|
| On-line Boosting and Vision;Helmut Grabner et al;《IEEE Computer society conference on computer vision & pattern recognition》;20061231;第1卷(第1期);第1-8页 * |
| 基于随机森林的视觉跟踪算法研究及应用;顾幸方;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130715(第7期);第I138-1205页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105719292A (zh) | 2016-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105719292B (zh) | 利用两层级联的Boosting分类算法实现视频目标跟踪的方法 | |
| CN105184309B (zh) | 基于cnn和svm的极化sar图像分类 | |
| CN107679465B (zh) | 一种基于生成网络的行人重识别数据生成和扩充方法 | |
| CN107506740A (zh) | 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法 | |
| Le et al. | Tiny imagenet visual recognition challenge | |
| CN108346159A (zh) | 一种基于跟踪-学习-检测的视觉目标跟踪方法 | |
| CN107229904A (zh) | 一种基于深度学习的目标检测与识别方法 | |
| CN104537647B (zh) | 一种目标检测方法及装置 | |
| CN107481188A (zh) | 一种图像超分辨率重构方法 | |
| CN104182772A (zh) | 一种基于深度学习的手势识别方法 | |
| CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
| CN108388896A (zh) | 一种基于动态时序卷积神经网络的车牌识别方法 | |
| Sharma et al. | Implications of pooling strategies in convolutional neural networks: A deep insight | |
| CN104616319B (zh) | 基于支持向量机的多特征选择目标跟踪方法 | |
| CN106023065A (zh) | 一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法 | |
| CN107085704A (zh) | 基于elm自编码算法的快速人脸表情识别方法 | |
| CN106022220A (zh) | 一种体育视频中对参赛运动员进行多人脸跟踪的方法 | |
| CN107316004A (zh) | 基于深度学习的空间目标识别方法 | |
| CN107194418A (zh) | 一种基于对抗特征学习的水稻蚜虫检测方法 | |
| CN113408605A (zh) | 基于小样本学习的高光谱图像半监督分类方法 | |
| CN108122003A (zh) | 一种基于深度神经网络的弱小目标识别方法 | |
| CN107808376A (zh) | 一种基于深度学习的举手检测方法 | |
| CN107424161A (zh) | 一种由粗至精的室内场景图像布局估计方法 | |
| CN109410249B (zh) | 一种结合深度特征与手绘特征自适应的目标追踪方法 | |
| Tripathi et al. | Detection of various categories of fruits and vegetables through various descriptors using machine learning techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |