CN103617636A - 基于运动信息及稀疏投影的视频目标自动检测跟踪方法 - Google Patents

Abstract

本发明公开了一种基于运动信息及稀疏投影的视频目标自动检测跟踪方法，用于解决现有基于向前向后运动历史图像的自动目标检测及定位跟踪方法跟踪准确率差的技术问题。技术方案是利用前向图像及前向图像的运动信息自动完成图像上的运动运动目标检测；其次，利用稀疏投影的方式把图像上检测到的运动目标进行实时的跟踪；最后，通过运动轨迹信息的统计，分析出真实运动目标的跟踪结果并去除噪声目标的影响。经测试，检测跟踪结果准确率达到了85%以上。

Description

基于运动信息及稀疏投影的视频目标自动检测跟踪方法

技术领域

本发明涉及一种视频目标自动检测跟踪方法，特别是涉及一种基于运动信息及稀疏投影的视频目标自动检测跟踪方法。

背景技术

利用运动目标在空间及时间上连贯的运动信息特性，自动、有效地把运动目标从复杂的运动背景中检测出来并进行鲁棒的在线目标跟踪，具有非常重要的意义。现有的在线目标自动检测跟踪方法主要有：基于背景差分的自动目标检测跟踪方法和基于运动特性统计的自动目标检测跟踪方法。

文献“Moving object localization in thermal imagery by forward-backward MHI.Computer Vision and Pattern Recognition Workshop,133-140,2006.”公开了一种基于向前向后运动历史图像的自动目标检测及定位跟踪方法。该方法通过构造前向的运动信息差分图像及后向的运动信息差分图像，并在两个图像的融合基础上完成自动的运动目标检测。但是该方法主要是基于图像的灰度帧差信息进行统计，因此对运动目标的运动速度很敏感。当运动目标停留在固定的地点进行运动时，自动检测效果不好，不能完整的定位出运动目标从而降低了目标跟踪的精度；当运动目标的运动速度很小的时，自动检测失效从而无法进行目标跟踪处理。综上所述，基于向前向后运动历史图像的自动目标检测及定位方法的鲁棒性并不是很好，给后续的目标跟踪带来了很大的困难。

发明内容

为了克服现有基于向前向后运动历史图像的自动目标检测及定位跟踪方法跟踪准确率差的不足，本发明提供一种基于运动信息及稀疏投影的视频目标自动检测跟踪方法。该方法利用前向图像及前向图像的运动信息自动完成图像上的运动运动目标检测；其次，利用稀疏投影的方式把图像上检测到的运动目标进行实时的跟踪；最后，通过运动轨迹信息的统计，分析出真实运动目标的跟踪结果并去除噪声目标的影响。可以提高检测跟踪结果的准确率。

本发明解决其技术问题所采用的技术方案是：一种基于运动信息及稀疏投影的视频目标自动检测跟踪方法，其特点是包括以下步骤：

步骤一、自动目标检测。

(a)首先通过基于角点检测和非极大值抑制的方法对前向图像上的两帧图像

和进行特征点提取，其中Δ≥1，并利用RANSAC方法去除两帧图像上的外点；

(b)构造图像

和

之间的仿射变化。

$I_{\mathrm{\α}}^F=P_{\mathrm{\α}-1}^{\mathrm{\α}}\×I_{\mathrm{\α}-\mathrm{\Δ}}^F---\left(1\right)$

采用增量计算的方式计算得到

$P_{\mathrm{\α}-\mathrm{\Δ}}^{\mathrm{\α}}=P_{\mathrm{\α}-1}^{\mathrm{\α}}\×P_{\mathrm{\α}-2}^{\mathrm{\α}-1}\×\·\·\·\×P_{\mathrm{\α}-\mathrm{\Δ}}^{\mathrm{\α}-\mathrm{\Δ}+1}---\left(2\right)$

(c)利用两帧图像和获取帧差运动图像：

$D(x,y,\mathrm{\α})=|I_{\mathrm{\α}}^F-I_{\mathrm{\α}-\mathrm{\Δ}}^F|---\left(3\right)$

(d)利用仿射变化函数

结合运动补偿的方式D(x,y,α)构造出前向图像H_F(x,y,α)并利用高斯滤波函数进行平滑处理消除噪点。利用同样的方法计算

和D(x,y,β)后构造出后向图像H_B(x,y,β)。

$H_F(x,y,\mathrm{\&alpha;})=\left\{\begin{array}{ccc}\max (0,P_{\mathrm{\&alpha;}-1}^{\mathrm{\&alpha;}}{H}_F(x,y,\mathrm{\&alpha;}-1)-d)& \mathrm{if}& D(x,y,\mathrm{\&alpha;})<T_F\\ 255& \mathrm{if}& D(x,y,\mathrm{\&alpha;})\&GreaterEqual;T_F\end{array}\right.---\left(4\right)$

$H_B(x,y,\mathrm{\&beta;})=\left\{\begin{array}{ccc}\max (0,P_{\mathrm{\&beta;}-1}^{\mathrm{\&beta;}}{H}_B(x,y,\mathrm{\&beta;}-1)-d)& \mathrm{if}& D(x,y,\mathrm{\&beta;})<T_B\\ 255& \mathrm{if}& D(x,y,\mathrm{\&beta;})\&GreaterEqual;T_B\end{array}\right.---\left(5\right)$

其中，衰减值参数d=25，阈值T_F=125，阈值T_B=125。

(e)把前向图像H_F(x,y,α)和后向图像H_B(x,y,β)进行关联，获得当前需处理图像H(x,y)_t，

H(x,y)_t=max(H_F(x,y,α),H_B(x,y,β))   (6)

(f)利用最近临聚类的方式，把当前图像H(x,y)获得的运动特征点进行归类作为图像目标

步骤二、随机稀疏投影的运动目标跟踪。

(a)生成稀疏投影矩阵

稀疏投影矩阵R的组成元素r_ij采用随机采样的方式获取，定义如下，

式中，s=2或者s=3。

(b)把当前图像H(x,y)_t上检测出来的所有目标

进行跟踪。根据每一个目标的在图像上的坐标位置

生成正样本集合

和负样本集合

并把所有图像样本转换成高维的多尺度图像特征向量

(c)利用步骤四生成的稀疏投影矩阵R把多尺度图像特征向量x_i转换成各自对应的低维特征向量

v_i=Rx_i   (8)

式中，

分别对应稀疏投影矩阵空间、图像空间、特征空间，其中n＜＜m。

(d)利用朴素贝叶斯分类器H(v)对所有低维特征向量v_i进行分类，

$H\left(v\right)=\log \left(\frac{{\mathrm{\&Pi;}}_{i=1}^{n}p\left({\mathrm{\&upsi;}}_i\right|y=1)p(y=1)}{{\mathrm{\&Pi;}}_{i=1}^{n}p\left({\mathrm{\&upsi;}}_i\right|y=0)p(y=0)}\right)=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\log \left(\frac{p(y=1)}{p(y=0)}\right)---\left(9\right)$

式中，先验假设p(y=1)=p(y=0)，y∈{0,1}代表二值分类的类标签。利用参数

控制条件概率分布形成高斯分布，

标量参数

分别都是增量更新参数，

${\mathrm{\&mu;}}_i^1\&LeftArrow;{\mathrm{\&lambda;\&mu;}}_i^1+(1-\mathrm{\&lambda;}){\mathrm{\&mu;}}^1---\left(10\right)$

${\mathrm{\&sigma;}}_i^1\&LeftArrow;\sqrt{\mathrm{\&lambda;}{\left({\mathrm{\&sigma;}}_i^1\right)}^2+(1-\mathrm{\&lambda;}){\left({\mathrm{\&sigma;}}^1\right)}^2+\mathrm{\&lambda;}(1-\mathrm{\&lambda;}){({\mathrm{\&mu;}}_i^1-{\mathrm{\&mu;}}^1)}^2}---\left(11\right)$

式中，参数λ=0.85， ${\mathrm{\&mu;}}^1=\frac{1}{n}{\mathrm{\&Sigma;}}_{k=0|y=1}^{n-1}{v}_i\left(k\right),$ ${\mathrm{\&sigma;}}^1=\sqrt{\frac{1}{n}{\mathrm{\&Sigma;}}_{k=0|y=1}^{n-1}{(v_i\left(k\right)-{\mathrm{\&mu;}}^1)}^2}.$ 经过朴素贝叶斯分类器处理后，每一个目标

对应的都得到一个分类样本l(R)_i作为目标

步骤三、运动目标轨迹的分析。

(a)把当前图像H(x,y)_t+1上的所有运动目标的运动轨迹进行统计。如果运动目标

的运动轨迹是线性的，则判断该运动目标为真实运动目标；如果运动目标

的运动轨迹是非线性的，则判断该运动目标为虚假运动目标；

(b)对运动目标

和

的运动轨迹进行统计。如果运动目标

的运动轨迹和

的运动轨迹一致，则合并这两个运动目标为一个目标；运动目标

的运动轨迹和

的运动轨迹不一致，则把运动目标

作为新的运动目标加入到真实目标里面。

本发明的有益效果是：该方法利用前向图像及前向图像的运动信息自动完成图像上的运动运动目标检测；其次，利用稀疏投影的方式把图像上检测到的运动目标进行实时的跟踪；最后，通过运动轨迹信息的统计，分析出真实运动目标的跟踪结果并去除噪声目标的影响。经测试，检测跟踪结果准确率达到了85%以上。

下面结合具体实施方式对本发明作详细说明。

具体实施方式

本发明基于运动信息及稀疏投影的视频目标自动检测跟踪方法具体步骤如下：

1、自动目标检测。

(a)首先通过基于角点检测和非极大值抑制的方法对前向图像上的两帧图像

和

进行特征点提取（其中Δ≥1），并利用RANSAC方法去除两帧图像上的外点；

(b)构造图像

和

之间的仿射变化。

$I_{\mathrm{\&alpha;}}^F=P_{\mathrm{\&alpha;}-1}^{\mathrm{\&alpha;}}\&times;I_{\mathrm{\&alpha;}-\mathrm{\&Delta;}}^F---\left(1\right)$

为了减小仿射变化函数的误差，采用增量计算的方式计算得到

$P_{\mathrm{\&alpha;}-\mathrm{\&Delta;}}^{\mathrm{\&alpha;}}=P_{\mathrm{\&alpha;}-1}^{\mathrm{\&alpha;}}\&times;P_{\mathrm{\&alpha;}-2}^{\mathrm{\&alpha;}-1}\&times;\&CenterDot;\&CenterDot;\&CenterDot;\&times;P_{\mathrm{\&alpha;}-\mathrm{\&Delta;}}^{\mathrm{\&alpha;}-\mathrm{\&Delta;}+1}---\left(2\right)$

(c)利用两帧图像

和

获取帧差运动图像：

$D(x,y,\mathrm{\&alpha;})=|I_{\mathrm{\&alpha;}}^F-I_{\mathrm{\&alpha;}-\mathrm{\&Delta;}}^F|---\left(3\right)$

(d)利用仿射变化函数

结合运动补偿的方式D(x,y,α)构造出前向图像H_F(x,y,α)并利用高斯滤波函数进行平滑处理消除噪点。利用同样的方法计算

和D(x,y,β)后构造出后向图像H_B(x,y,β)。

$H_F(x,y,\mathrm{\&alpha;})=\left\{\begin{array}{ccc}\max (0,P_{\mathrm{\&alpha;}-1}^{\mathrm{\&alpha;}}{H}_F(x,y,\mathrm{\&alpha;}-1)-d)& \mathrm{if}& D(x,y,\mathrm{\&alpha;})<T_F\\ 255& \mathrm{if}& D(x,y,\mathrm{\&alpha;})\&GreaterEqual;T_F\end{array}\right.---\left(4\right)$

$H_B(x,y,\mathrm{\&beta;})=\left\{\begin{array}{ccc}\max (0,P_{\mathrm{\&beta;}-1}^{\mathrm{\&beta;}}{H}_B(x,y,\mathrm{\&beta;}-1)-d)& \mathrm{if}& D(x,y,\mathrm{\&beta;})<T_B\\ 255& \mathrm{if}& D(x,y,\mathrm{\&beta;})\&GreaterEqual;T_B\end{array}\right.---\left(5\right)$

其中，衰减值参数d=25，阈值T_F=125，阈值T_B=125。

(e)把前向图像H_F(x,y,α)和后向图像H_B(x,y,β)进行关联，获得当前需处理图像H(x,y)_t，

H(x,y)_t=max(H_F(x,y,α),H_B(x,y,β))   (6)

(f)利用最近临聚类的方式，把当前图像H(x,y)获得的运动特征点进行归类作为图像目标

2、随机稀疏投影的运动目标跟踪。

(a)生成稀疏投影矩阵

稀疏投影矩阵R的组成元素r_ij采用随机采样的方式获取，定义如下，

式中，s=2或者s=3。为了提高算法的鲁棒性及计算的实时性，一次生成10个稀疏投影矩阵，矩阵的维数采用均匀随机采样的方式在0～100之间生成。

(b)把当前图像H(x,y)_t上检测出来的所有目标

进行跟踪。根据每一个目标

的在图像上的坐标位置

生成正样本集合

和负样本集合

并把所有图像样本转换成高维的多尺度图像特征向量

(c)利用步骤四生成的稀疏投影矩阵R把多尺度图像特征向量x_i转换成各自对应的低维特征向量

v_i=Rx_i   (8)式中，分别对应稀疏投影矩阵空间、图像空间、特征空间，其中n＜＜m。

(d)利用朴素贝叶斯分类器H(v)对所有低维特征向量v_i进行分类，

$H\left(v\right)=\log \left(\frac{{\mathrm{\&Pi;}}_{i=1}^{n}p\left({\mathrm{\&upsi;}}_i\right|y=1)p(y=1)}{{\mathrm{\&Pi;}}_{i=1}^{n}p\left({\mathrm{\&upsi;}}_i\right|y=0)p(y=0)}\right)=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\log \left(\frac{p(y=1)}{p(y=0)}\right)---\left(9\right)$

式中，先验假设p(y=1)=p(y=0)，y∈{0,1}代表二值分类的类标签。利用参数控制条件概率分布形成高斯分布，

标量参数分别都是增量更新参数，

${\mathrm{\&mu;}}_i^1\&LeftArrow;{\mathrm{\&lambda;\&mu;}}_i^1+(1-\mathrm{\&lambda;}){\mathrm{\&mu;}}^1---\left(10\right)$

${\mathrm{\&sigma;}}_i^1\&LeftArrow;\sqrt{\mathrm{\&lambda;}{\left({\mathrm{\&sigma;}}_i^1\right)}^2+(1-\mathrm{\&lambda;}){\left({\mathrm{\&sigma;}}^1\right)}^2+\mathrm{\&lambda;}(1-\mathrm{\&lambda;}){({\mathrm{\&mu;}}_i^1-{\mathrm{\&mu;}}^1)}^2}---\left(11\right)$

式中，参数λ=0.85， ${\mathrm{\&mu;}}^1=\frac{1}{n}{\mathrm{\&Sigma;}}_{k=0|y=1}^{n-1}{v}_i\left(k\right),$ ${\mathrm{\&sigma;}}^1=\sqrt{\frac{1}{n}{\mathrm{\&Sigma;}}_{k=0|y=1}^{n-1}{(v_i\left(k\right)-{\mathrm{\&mu;}}^1)}^2}.$ 经过朴素贝叶斯分类器处理后，每一个目标

对应的都得到一个分类样本l(R)_i作为目标

3、运动目标轨迹的分析。

(a)把当前图像H(x,y)_t+1上的所有运动目标

的运动轨迹进行统计。如果运动目标

的运动轨迹是线性的，则判断该运动目标为真实运动目标；如果运动目标

的运动轨迹是非线性的，则判断该运动目标为虚假运动目标（噪声，遮挡物等影响）；

(b)对运动目标和

的运动轨迹进行统计。如果运动目标

的运动轨迹和的运动轨迹一致，则合并这两个运动目标为一个目标；运动目标

的运动轨迹和

的运动轨迹不一致，则把运动目标

作为新的运动目标加入到真实目标里面。

Claims (1)

1.一种基于运动信息及稀疏投影的视频目标自动检测跟踪方法，其特征在于包括以下步骤：

步骤一、自动目标检测；

(a)首先通过基于角点检测和非极大值抑制的方法对前向图像上的两帧图像

和

进行特征点提取，其中Δ≥1，并利用RANSAC方法去除两帧图像上的外点；

(b)构造图像和

之间的仿射变化；

$I_{\mathrm{\&alpha;}}^F=P_{\mathrm{\&alpha;}-1}^{\mathrm{\&alpha;}}\&times;I_{\mathrm{\&alpha;}-\mathrm{\&Delta;}}^F---\left(1\right)$

采用增量计算的方式计算得到

$P_{\mathrm{\&alpha;}-\mathrm{\&Delta;}}^{\mathrm{\&alpha;}}=P_{\mathrm{\&alpha;}-1}^{\mathrm{\&alpha;}}\&times;P_{\mathrm{\&alpha;}-2}^{\mathrm{\&alpha;}-1}\&times;\&CenterDot;\&CenterDot;\&CenterDot;\&times;P_{\mathrm{\&alpha;}-\mathrm{\&Delta;}}^{\mathrm{\&alpha;}-\mathrm{\&Delta;}+1}---\left(2\right)$

(c)利用两帧图像

和

获取帧差运动图像：

$D(x,y,\mathrm{\&alpha;})=|I_{\mathrm{\&alpha;}}^F-I_{\mathrm{\&alpha;}-\mathrm{\&Delta;}}^F|---\left(3\right)$

(d)利用仿射变化函数

结合运动补偿的方式D(x,y,α)构造出前向图像H_F(x,y,α)并利用高斯滤波函数进行平滑处理消除噪点；利用同样的方法计算和D(x,y,β)后构造出后向图像H_B(x,y,β)；

$H_F(x,y,\mathrm{\&alpha;})=\left\{\begin{array}{ccc}\max (0,P_{\mathrm{\&alpha;}-1}^{\mathrm{\&alpha;}}{H}_F(x,y,\mathrm{\&alpha;}-1)-d)& \mathrm{if}& D(x,y,\mathrm{\&alpha;})<T_F\\ 255& \mathrm{if}& D(x,y,\mathrm{\&alpha;})\&GreaterEqual;T_F\end{array}\right.---\left(4\right)$

$H_B(x,y,\mathrm{\&beta;})=\left\{\begin{array}{ccc}\max (0,P_{\mathrm{\&beta;}-1}^{\mathrm{\&beta;}}{H}_B(x,y,\mathrm{\&beta;}-1)-d)& \mathrm{if}& D(x,y,\mathrm{\&beta;})<T_B\\ 255& \mathrm{if}& D(x,y,\mathrm{\&beta;})\&GreaterEqual;T_B\end{array}\right.---\left(5\right)$ 其中，衰减值参数d=25，阈值T_F=125，阈值T_B=125；

(e)把前向图像H_F(x,y,α)和后向图像H_B(x,y,β)进行关联，获得当前需处理图像H(x,y)_t，

H(x,y)_t=max(H_F(x,y,α),H_B(x,y,β))   (6)

(f)利用最近临聚类的方式，把当前图像H(x,y)获得的运动特征点进行归类作为图像目标

步骤二、随机稀疏投影的运动目标跟踪；

(a)生成稀疏投影矩阵

稀疏投影矩阵R的组成元素r_ij采用随机采样的方式获取，定义如下，

式中，s=2或者s=3；

(b)把当前图像H(x,y)_t上检测出来的所有目标

进行跟踪；根据每一个目标

的在图像上的坐标位置

生成正样本集合

和负样本集合并把所有图像样本转换成高维的多尺度图像特征向量

(c)利用步骤四生成的稀疏投影矩阵R把多尺度图像特征向量x_i转换成各自对应的低维特征向量

v_i=Rx_i   (8)式中，

分别对应稀疏投影矩阵空间、图像空间、特征空间，其中n＜＜m；

(d)利用朴素贝叶斯分类器H(v)对所有低维特征向量v_i进行分类，

$H\left(v\right)=\log \left(\frac{{\mathrm{\&Pi;}}_{i=1}^{n}p\left({\mathrm{\&upsi;}}_i\right|y=1)p(y=1)}{{\mathrm{\&Pi;}}_{i=1}^{n}p\left({\mathrm{\&upsi;}}_i\right|y=0)p(y=0)}\right)=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\log \left(\frac{p(y=1)}{p(y=0)}\right)---\left(9\right)$

式中，先验假设p(y=1)=p(y=0)，y∈{0,1}代表二值分类的类标签；利用参数

控制条件概率分布形成高斯分布，

标量参数

分别都是增量更新参数，

${\mathrm{\&mu;}}_i^1\&LeftArrow;{\mathrm{\&lambda;\&mu;}}_i^1+(1-\mathrm{\&lambda;}){\mathrm{\&mu;}}^1---\left(10\right)$

${\mathrm{\&sigma;}}_i^1\&LeftArrow;\sqrt{\mathrm{\&lambda;}{\left({\mathrm{\&sigma;}}_i^1\right)}^2+(1-\mathrm{\&lambda;}){\left({\mathrm{\&sigma;}}^1\right)}^2+\mathrm{\&lambda;}(1-\mathrm{\&lambda;}){({\mathrm{\&mu;}}_i^1-{\mathrm{\&mu;}}^1)}^2}---\left(11\right)$ 式中，参数λ=0.85， ${\mathrm{\&mu;}}^1=\frac{1}{n}{\mathrm{\&Sigma;}}_{k=0|y=1}^{n-1}{v}_i\left(k\right),$ ${\mathrm{\&sigma;}}^1=\sqrt{\frac{1}{n}{\mathrm{\&Sigma;}}_{k=0|y=1}^{n-1}{(v_i\left(k\right)-{\mathrm{\&mu;}}^1)}^2};$ 经过朴素贝叶斯分类器处理后，每一个目标

对应的都得到一个分类样本l(R)_i作为目标

步骤三、运动目标轨迹的分析；

(a)把当前图像H(x,y)_t+1上的所有运动目标

的运动轨迹进行统计；如果运动目标

的运动轨迹是线性的，则判断该运动目标为真实运动目标；如果运动目标

的运动轨迹是非线性的，则判断该运动目标为虚假运动目标；

(b)对运动目标

和

的运动轨迹进行统计；如果运动目标

的运动轨迹和

的运动轨迹一致，则合并这两个运动目标为一个目标；运动目标

的运动轨迹和

的运动轨迹不一致，则把运动目标

作为新的运动目标加入到真实目标里面。