CN104866821A

CN104866821A - 基于机器学习的视频物体跟踪方法

Info

Publication number: CN104866821A
Application number: CN201510222535.8A
Authority: CN
Inventors: 王元庆; 刘晓亮; 黄金盆; 黄开成
Original assignee: Nanjing University
Current assignee: Nanjing University
Priority date: 2015-05-04
Filing date: 2015-05-04
Publication date: 2015-08-26
Anticipated expiration: 2035-05-04
Also published as: CN104866821B

Abstract

基于机器学习的视频物体跟踪方法，用物体检测方式或者人眼手动标定的方式标定物的属性；跟踪物体选择，其中物体为视频序列中的一切物体；对视频序列采取直方图均衡化处理和去噪处理；将获得的物体模板信息参数传递给跟踪模板，进行模板匹配的跟踪，之后利用不同的预测方式对运动的物体位置进行预测；基于模板匹配的属性(预测则用Kalman和Camshift两种预测方式来预测；跟踪方式中两种预测的权重D选择贝叶斯决策来进行纠正；获取物体的真实属性S_检测。

Description

基于机器学习的视频物体跟踪方法

一、技术领域

本发明涉及一种物体跟踪方法，特别是设计一种机器学习的跟踪算法，属于模式识别领域和机器视觉领域。

二、背景技术

随着信息技术与智能科学的迅速发展，计算机视觉已经成为IT产业和高新技术领域的前沿。视觉跟踪是当前计算机视觉领域的热点问题之一。

早在20世纪50年代初期，GAC公司已经为美国海军研制开发了自动地形识别的跟踪系统(Automatic Terrain Recognition and NavigationSystem,ATRAN)。70年代初期，随着Kalman滤波技术引入雷达跟踪中，目标检测与跟踪理论开始引起人们的极大关注。

相比之下，国内对视频运动目标检测与跟踪技术研究比较晚，由于物体在运动中属性(形状，位置，大小，颜色等)会发生改变，如果不能及时判定出对物体有利的跟踪方式和更新跟踪的物体的属性值，那么跟踪就会发生较大的偏差，这也是现阶段视频物体跟踪的难点。

有鉴于此，本发明所阐述的机器学习方式的物体跟踪方式，更具实时的学习物体属性变化，切换物体的跟踪方式和更新物体的属性值，使得物体的跟踪更加准确稳定。

三、发明内容

本发明的目的是：提出采用机器学习的算法，将物体检测和物体跟踪相结合，计算出哪一种跟踪方式更加适合当前物体的跟踪模式并且动态更新物体的属性(形状、位置、大小、颜色等)，实时切换跟踪策略，使得对物体跟踪更加稳定，增强了跟踪物体的适应性。

为了达成上述目的，本发明所采用的技术方案如下：基于机器学习的视频物体跟踪方法，用物体检测方式或者人眼手动标定的方式标定物的属性；跟踪物体选择，其中物体为视频序列中的一切物体(不单是实例中的人脸瞳孔)；对视频序列采取直方图均衡化处理和去噪处理(也可包括一些突出跟踪物体的图像处理)；将获得的物体模板信息参数传递给跟踪模板，进行模板匹配的跟踪，之后利用不同的预测方式对运动的物体位置进行预测。

基于模板匹配的属性(跟踪框的位置大小)预测则用Kalman和Camshift两种预测方式来预测；Kalman对物体的的位置鲁棒性强，Camshift对物体的形状变化鲁棒性强，所以在跟踪方式中两种预测的权重D选择就用机器学习算法中的计算后验概率的方式即贝叶斯决策来进行纠正；(其方式采用了贝叶斯计算方式以及贝叶斯衍生出一系列的后验概率计算方式)，最后将预测的准确位置传递给模板进行精确的匹配。

在预测期间利用检测值和预测值的贝叶斯概率公式计算出较为准确的跟踪方式：在跟踪物体的同时用低帧率的方式对物体进行检测，

获取物体的真实属性S_检测，将不同方式预测出的跟踪属性S_跟踪和检测出的真实属性S_检测进行后验概率的计算即贝叶斯决策，通过计算出来的概率值大小调整所用预测方式的权重D，同时更新跟踪模板的信息。选择预测方式应用了机器学习的方式，实时地将预测值和检测值进行后验概率的运算，获得两种预测方式接近真实值得概率的大小。

机器学习的方式利用了计算后验概率的方式，其方式采用了贝叶斯计算方式以及贝叶斯衍生出一系列的后验概率计算方式。

采用的匹配模板也不唯一，可以用可变模板也可以用固定模版。

进一步，在此方法中有两条时序同时进行(检测时序和跟踪时序)，其中检测时序的优先级高于跟踪时序，用检测时序纠正跟踪时序的累计误差。

进一步，在利用模板匹配进行匹配时候，利用当前帧匹配后模板和检测到的模板更新后帧匹配的模板参数。将获得的物体模板信息参数传递给跟踪模板，进行模板匹配(Match Template)的跟踪，基于模板匹配的属性(跟踪框的位置大小)预测则可以用Kalman和Camshift两种预测方式来预测，根据Kalman和Camshift两种预测的原理可以得知Kalman对物体的的位置鲁棒性比较强，Camshift对物体的形状变化鲁棒性比较强，所以在跟踪方式中两种预测的权重D选择就需要用到机器学习算法中的贝叶斯决策来进行纠正。

在跟踪物体的同时用低帧率的方式对物体进行检测，获取物体的真实属性S_检测，将不同方式预测出的跟踪属性S_跟踪和检测出的真实属性S_检测进行后验概率的计算(贝叶斯决策)，通过计算出来的概率值大小调整所用预测方式的权重D，同时更新跟踪模板的信息。这样的动态更新的策略使得跟踪适应性更广。

本发明的有益效果是：与现有技术相比，其显著优点是：

1.对于大多数的视频跟踪物体都有很强的适应性

2.对于物体在运动中的形态变换，颜色变化适应性强

3.长时间的跟踪不会产生误差累积，也不会产生跟踪偏移稳定

4对于遮挡物体也能很好跟踪。

四、附图说明

图1为本发明跟踪的整体流程图。

图2为本发明Camshift和Kalman预测算法权重计算的流程示意图。

图3为本发明Match Template跟踪模板更新算法流程示意图。

五、具体实施方式

为了更了解本发明的技术内容，特举具体实例说明如下(以人脸瞳孔跟位置踪为例子)。

如图1所示，用视频采集器对所需跟踪物体(人脸)进行采集，然后用人脸分类器对图片中的人脸进行检测并且记录检测到的人脸框位置X_物体检测，Y_检 _测物体和像素I_物体检测。将这些参数初始化Kalman和Camshift滤波器，在下一帧Kalman会预测出人脸可能出现位置X_k,Y_k,同样Camshift也会预测出人脸可能出现位置X_c，Y_c，如果人脸分类器如果能检测到人脸那么也会出现检测到的值X_检测，Y_检测这样就可以算出哪种预测更加符合检测值，那么就可以加大这种预测方法的权重，这样在用模板匹配的时候可以减少匹配时间。

计算权重的方法用到了机器学习的贝叶斯决策，也就是算出预测方式的后验概率。贝叶斯公式如下：

p (w_{i} | x) = \frac{p (x | w_{i}) P (w_{i})}{p (x)}

其公式表示：通过先验概率p(w_i)、概率密度函数p(x|w_i)以及证据因子p(x)可以求出后验概率p(w_i|x)。根据公式可以算出后验概率分别如下：

p_k＝B_k(X_k，Y_k，X_c，Y_c，X_检测，Y_检测)

p_c＝B_c(X_k，Y_k，X_c，Y_c，X_检测，Y_检测)

其中B_k和B_c是后验概率的映射函数，根据属性的不同计算后验概率的方法可以不同，由于XY表示坐标那么后验概率可以用距离远近来衡量。最后得出的结果如下:

获得后验概率以后根据后验概率可以算出两种方式所占的权重D_k和D_c。那么最终的预测位置坐标为：

X＝D_kX_k+D_cX_c

Y＝D_kY_k+D_kY_k

具体的算法流程如图2所示。

如图3所示将基于机器学习算法预测属性参数传递给模板，让模板在传递的位置附近进行模板的匹配，衡量匹配符合的方法有很多例如平方差匹配、标准平方差匹配、相关匹配、标准相关匹配、相关匹配等根据不同的跟踪要求选择不同的跟踪匹配方式，最后将匹配到的模板进行更新作为下一帧的匹配模版。如果在前帧可以检测到物体那么优先采用检测获得的模板参数进行下一帧的模版匹配。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims

1.基于机器学习的视频物体跟踪方法，用物体检测方式或者人眼手动标定的方式标定物的属性；跟踪物体选择，其中物体为视频序列中的一切物体(不单是实例中的人脸瞳孔)；对视频序列采取直方图均衡化处理和去噪处理(也可包括一些突出跟踪物体的图像处理)；将获得的物体模板信息参数传递给跟踪模板，进行模板匹配的跟踪，之后利用不同的预测方式对运动的物体位置进行预测；基于模板匹配的属性(跟踪框的位置大小)预测则用Kalman和Camshift两种预测方式来预测；跟踪方式中两种预测的权重D选择用机器学习算法中的计算后验概率的方式即贝叶斯决策来进行纠正；在跟踪物体的同时用低帧率的方式对物体进行检测，获取物体的真实属性S_检测。

2.根据权利要求1所述的方法，其特征在于，衡量模板匹配的方式有欧式距离，马氏距离，相关系数等。

3.根据权利要求1所述的方法，其特征在于，在机器学习算法中的计算后验概率的方式中有两条时序同时进行(检测时序和跟踪时序)，其中检测时序的优先级高于跟踪时序，用检测时序纠正跟踪时序的累计误差。

4.根据权利要求2的方法，其特征在于，在利用模板匹配进行匹配时候，利用当前帧匹配后模板和检测到的模板更新后帧匹配的模板参数。

5.根据权利要求1所述的方法，其特征在于，用视频采集器对所需跟踪物体(人脸)进行采集，然后用人脸分类器对图片中的人脸进行检测并且记录检测到的人脸框位置X_物体检测，Y_检测物体和像素I_物体检测。将这些参数初始化Kalman和Camshift滤波器，在下一帧Kalman会预测出人脸可能出现位置X_k,Y_k,同样Camshift也会预测出人脸可能出现位置X_c，Y_c，如果人脸分类器如果能检测到人脸那么也会出现检测到的值X_检测，Y_检测这样就可以算出哪种预测更加符合检测值，那么就加大这种预测方法的权重，这样在用模板匹配的时候可以减少匹配时间；计算权重的方法用到了机器学习的贝叶斯决策，也就是算出预测方式的后验概率。贝叶斯公式如下：

p (w_{i} | x) = \frac{p (x | w_{i}) P (w_{i})}{p (x)}

其公式表示：通过先验概率P(wi)、概率密度函数P(xIwi)以及证据因子p(x)可以求出后验概率p(wiIx)；根据公式算出后验概率分别如下：

p_k＝B_k(X_k，Y_k，X_c，Y_c，X_检测，Y_检测)

p_c＝B_c(X_k，Y_k，X_c，Y_c，X_检测，Y_检测)

其中B_k和B_c是后验概率的映射函数，根据属性的不同计算后验概率的方法不同，由于XY表示坐标那么后验概率可以用距离远近来衡量。最后得出的结果如下:

获得后验概率以后根据后验概率可以算出两种方式所占的权重D_k和D_c；那么最终的预测位置坐标为：

X＝D_kX_k+D_cX_c

Y＝D_kY_k+D_kY_k。