CN103413324A - 航拍视频自动目标跟踪方法 - Google Patents

Abstract

本发明公开了一种航拍视频自动目标跟踪方法，用于解决现有基于稳像检测和数据关联的航拍视频目标跟踪方法跟踪错误率高的技术问题。技术方案是首先利用金字塔光流法提取鲁棒的光流轨迹特征，而非简单的运动前景分割；其次利用运动约束、位置约束、存在时长约束对光流轨迹进行有效管理；最后根据连续若干帧空间聚类结果进行时间维度上的聚类，有效克服目标交叉目标近距离情况下空间聚类错误问题。本发明在时空聚类基础之上，获得目标跟踪结果，降低了跟踪错误率。经测试，跟踪错误率由背景技术的18%降低到8%，跟踪错误率降低了10%。

Description

航拍视频自动目标跟踪方法

技术领域

本发明涉及一种航拍视频目标跟踪方法，特别涉及一种航拍视频自动目标跟踪方法。

背景技术

航拍视频自动目标跟踪是计算机视觉领域的重要研究课题。现有的航拍视频自动目标跟踪方法主要基于先稳像后检测跟踪的框架。

文献“Moving Objects Detection and Tracking Framework for UAV-basedSurveillance，Fourth Pacific-Rim Symposium on Image and Video Technology，2010:456-461”公开了一种基于稳像检测和数据关联的航拍视频目标跟踪算法。该方法首先通过SIFT特征点匹配实现相邻帧之间的配准，之后通过混合高斯背景建模方法进行背景抑制，利用Graph-Cut方法精确分割目标区域，最后利用数据关联实现目标跟踪。但是该方法跟踪结果好坏严重依赖于相邻帧配准精度以及目标检测精度，一旦发生漏检或者目标之间距离太近，跟踪就会发生错误，跟踪错误率平均约18%。

发明内容

为了克服现有基于稳像检测和数据关联的航拍视频目标跟踪方法跟踪错误率高的不足，本发明提供一种航拍视频自动目标跟踪方法。该方法首先利用金字塔光流法提取鲁棒的光流轨迹特征，而非简单的运动前景分割；其次利用运动约束、位置约束、存在时长约束对光流轨迹进行有效管理；最后根据连续若干帧空间聚类结果进行时间维度上的聚类，有效克服目标交叉目标近距离情况下空间聚类错误问题。本发明在时空聚类基础之上，获得目标跟踪结果，可以降低跟踪错误率。

本发明解决其技术问题所采用的技术方案是：一种航拍视频自动目标跟踪方法，其特点是包括以下步骤：

步骤一、输入一段航拍视频序列，首先是提取光流轨迹特征，并对其进行管理。ObjNum表示当前已经跟踪的目标个数，初始为0。L表示当前所有有效光流轨迹的个数，记光流轨迹集合为S={F_i,i=1,...,L}，初始状态下为空，

表示当前第i条光流轨迹。对当前t时刻图像提取Harris角点，并选择角点响应大于0.01的角点作为侯选光流特征点，采用金字塔光流算法对S中的特征点和侯选特征点计算光流矢量，获得其在下一帧中相应的位置。

利用RANSAC方法和侯选光流特征点对计算当前帧和下一帧之间的仿射变换模型AF，并将侯选特征点分为内点和外点，内点为符合变换模型的背景点，外点为运动目标上的点。对于这些外点计算其与S中已有光流特征点的最小空间距离，若大于给定阈值，则作为新的特征点加入S，新特征点对应的目标ID为0。

AF=[R|T]            (1)

其中R和T分别为旋转矩阵和平移矩阵。对光流轨迹集合中旧特征点利用公式(2)计算运动补偿之后的运动矢量。

${\mathrm{MV}}_{i,t}=\left(\begin{array}{c}{x}_{i,t+1}\\ y_{i,t+1}\end{array}\right)-\mathrm{AF}\×\left(\begin{array}{c}{x}_{i,t}\\ y_{i,.t}\end{array}\right)---\left(2\right)$

若||MV_i,t||₂<Threshold_v或Length(F_i)<Threshold_l，则从S中删除F_i。其中Length(F_i)表示F_i存在时间长度，Threshold_v和Threshold_l分别为速度阈值和存在时长阈值。

用N表示时间聚类阈值，将S中所有光流轨迹投影到t+1时刻的图像坐标系下，并选择所有存在时长大于N的轨迹构成聚类光流集合CS={CF_j,j=1,...,J},进行后续聚类处理,

为第j条参与聚类的特征轨迹，J为参与聚类的轨迹个数。

步骤二、取光流轨迹在当前时刻的位置{(x_j,t,y_j,t),j=1,...,J}作为样本点进行聚类，由于目标类别数不确定，无法事先确定聚类类别数。给定聚类距离阈值Threshold_d（本施例中取

采用最近邻聚类，得到聚类的结果，记当前聚类类别数为k_t，具体聚类步骤如下：

(1)初始化。

当前类别数设置为0。

(2)对所有样本点(x_j,t,y_j,t),j=1,...,J进行如下操作：

a)如果当前类别数为0，建立一个新类别，

如果当前类别数不为0，计算当前样本点(x_j,t,y_j,t)与所有类别的距离，记最小距离为mindistance，对应的类别为k_m，若mindistance<Threshold_d，那么将(x_j,t,y_j,t)归入第k_m类，并更新第k_m类的中心和样本数。若mindistance≥Threshold_d，则建立一个新类别，将当前样本点(x_j,t,y_j,t)作为新类别的中心，类别数加1；

根据聚类结果得到当前帧J×J维对称关联矩阵AM_t，满足AM_t(j₁,j₂)=AM_t(j₂,j₁)，AM_t(j₁,j₂)=1表示j₁条光流轨迹和第j₂条光流轨迹聚为同一类，AM_t(j₁,j₂)=0则表示属于不同类。依次对t-1,t-2,...,t-N+1时刻的轨迹特征进行空间聚类，分别得到相应的空间关联矩阵 ${\mathrm{AM}}_{t_0},t_0=t-N+1,...,t.$

步骤三、分别对之前连续N帧重复步骤二中的聚类操作，得到相应的关联矩阵AM_t-N+1,...,AM_t-1。

步骤四、利用公式(1)

$\mathrm{ATM}(i,j)=\underset{t_0=t-N+1}{\overset{t}{\mathrm{\&Sigma;}}}{\mathrm{AM}}_{t_0}(i,j)---\left(\text{3}\right)$

统计任意两条光流轨迹聚为同一类的次数，得到关联次数矩阵ATM；

步骤五、给定关联阈值α，根据公式(4)

$(i,j)=\left\{\begin{array}{cc}1& \mathrm{ATM}(i,j)>N\&times;\mathrm{\&alpha;}\\ 0& \mathrm{othrewise}\end{array}\right.----\left(4\right)$

计算关联矩阵AM，AM(i,j)=1表示第i条光流轨迹和第j条光流轨迹来自于同一个目标，否则为不同目标；

步骤六、根据关联矩阵AM将光流轨迹分为不同类，并计算各个类中心作为目标位置。

最终队列个数C即为当前跟踪目标个数。根据时空聚类结果，计算当前跟踪目标中心，并绘制多目标轨迹。确定目标中心和ID具体步骤如下：

遍历所有队列Q_c,c=1,...,C，依次执行如下操作：

(1)统计当前队列Q_c所有轨迹对应目标ID，若全为0，执行步骤(2)；若不全为0，执行步骤(3)；

(2)建立一个新的跟踪目标，跟踪目标个数ObjNum加1，当前队列Q_c所有轨迹目标ID置为ObjNum；

(3)统计各个不为0的ID对应的轨迹个数，选择个数最多的ID作为当前队列Q_c所有轨迹的目标ID；

(4)利用公式(5)和公式(6)计算当前队列对应的目标中心，其中M_c为当前目标对应轨迹个数。

$x_c=\frac{1}{M_c}\underset{i=1}{\overset{M_c}{\mathrm{\&Sigma;}}}{x}_{i,t}---\left(5\right)$

$y_c=\frac{1}{M_c}\underset{i=1}{\overset{M_c}{\mathrm{\&Sigma;}}}{y}_{i,t}---\left(6\right)$

(5)选择队列中最长的轨迹作为当前目标跟踪的轨迹并输出显示。

本发明的有益效果是：该方法首先利用金字塔光流法提取鲁棒的光流轨迹特征，而非简单的运动前景分割；其次利用运动约束、位置约束、存在时长约束对光流轨迹进行有效管理；最后根据连续若干帧空间聚类结果进行时间维度上的聚类，有效克服目标交叉目标近距离情况下空间聚类错误问题。本发明在时空聚类基础之上，获得目标跟踪结果，降低了跟踪错误率。经测试，跟踪错误率由背景技术的18%降低到8%，跟踪错误率降低了10%。

下面结合具体实施方式对本发明作详细说明。

具体实施方式

本发明航拍视频自动目标跟踪方法具体步骤如下：

步骤一、利用金字塔光流算法对已有光流特征点和当前新检测的Harris角点计算光流矢量特征，通过RANSAC方法计算相邻帧之间的仿射变换模型及特征点的运动状态，利用运动约束、空间位置约束、存在时间约束对特征点进行管理，得到当前最可靠的光流轨迹，并选择长度大于N的光流轨迹。

输入一段航拍视频序列，首先是提取光流轨迹特征，并对其进行管理。ObjNum表示当前已经跟踪的目标个数，初始为0。L表示当前所有有效光流轨迹的个数，记光流轨迹集合为S={F_i,i=1,...,L}，初始状态下为空，

表示当前第i条光流轨迹。对当前t时刻图像提取Harris角点，并选择角点响应大于0.01的角点作为侯选光流特征点，采用金字塔光流算法对S中的特征点和侯选特征点计算光流矢量，获得其在下一帧中相应的位置。为了同时保证计算效率和精确度，金字塔光流层数为5，窗宽为5。

利用RANSAC方法和侯选光流特征点对计算当前帧和下一帧之间的仿射变换模型AF，并将侯选特征点分为内点和外点，内点为符合变换模型的背景点，外点为运动目标上的点。对于这些外点计算其与S中已有光流特征点的最小空间距离，若大于给定阈值(本施例中取

)，则作为新的特征点加入S，新特征点对应的目标ID为0。

AF=[R|T]             (1)

其中R和T分别为旋转矩阵和平移矩阵。对光流轨迹集合中旧特征点利用公式(2)计算运动补偿之后的运动矢量。

${\mathrm{MV}}_{i,t}=\left(\begin{array}{c}{x}_{i,t+1}\\ y_{i,t+1}\end{array}\right)-\mathrm{AF}\&times;\left(\begin{array}{c}{x}_{i,t}\\ y_{i,t}\end{array}\right)---\left(2\right)$

若||MV_i,t||₂<Threshold_v或Length(F_i)<Threshold_l，则从S中删除F_i。其中Length(F_i)表示F_i存在时间长度，Threshold_v和Threshold_l分别为速度阈值和存在时长阈值，本施例中分别取

和10。

用N表示时间聚类阈值，本施例中取N=30。将S中所有光流轨迹投影到t+1时刻的图像坐标系下，并选择所有存在时长大于N的轨迹构成聚类光流集合CS={CF_j,j=1,...,J},进行后续聚类处理,

为第j条参与聚类的特征轨迹，J为参与聚类的轨迹个数。

步骤二、对光流轨迹在当前帧进行最近邻聚类，依次给定类别数k=1,...,N进行最近邻聚类，分别计算类内方差，选择类内方差曲线的拐点对应的类别数K作为聚类结果，得到当前帧关联矩阵AM_t，AM_t(i,j)=1表示i条光流轨迹和第j条光流轨迹聚为同一类，AM_t(i,j)=0则表示属于不同类。

取光流轨迹在当前时刻的位置{(x_j,t,y_j,t),j=1,...,J}作为样本点进行聚类，由于目标类别数不确定，无法事先确定聚类类别数。给定聚类距离阈值Threshold_d（本施例中取

采用最近邻聚类，得到聚类的结果，记当前聚类类别数为k_t，具体聚类步骤如下：

(3)初始化。

当前类别数设置为0。

(4)对所有样本点(x_j,t,y_j,t),j=1,...,J进行如下操作：

a)如果当前类别数为0，建立一个新类别，

b)如果当前类别数不为0，计算当前样本点(x_j,t,y_j,t)与所有类别的距离，记最小距离为mindistance，对应的类别为k_m，若mindistance<Threshold_d，那么将(x_j,t,y_j,t)归入第k_m类，并更新第k_m类的中心和样本数。若mindistance≥Threshold_d，则建立一个新类别，将当前样本点(x_j,t,y_j,t)作为新类别的中心，类别数加1；

根据聚类结果得到当前帧J×J维对称关联矩阵AM_t，满足AM_t(j₁,j₂)=AM_t(j₂,j₁)，AM_t(j₁,j₂)=1表示j₁条光流轨迹和第j₂条光流轨迹聚为同一类，AM_t(j₁,j₂)=0则表示属于不同类。依次对t-1,t-2,...,t-N+1时刻的轨迹特征进行空间聚类，分别得到相应的空间关联矩阵 ${\mathrm{AM}}_{t_0},t_0=t-N+1,...,t.$

步骤三、分别对之前连续N帧重复步骤二中的聚类操作，得到相应的关联矩阵AM_t-N+1,...,AM_t-1。

步骤四、在目标交叉运动的复杂条件下，仅仅通过空间聚类进行目标跟踪，容易发生错误。本发明在空间聚类基础上，进行时间维度上的聚类，从而提高跟踪算法的鲁棒性。首先利用公式(3)计算轨迹关联次数矩阵ATM

$\mathrm{ATM}(j_1,j_2)=\underset{t_0=t-N+1}{\overset{t}{\mathrm{\&Sigma;}}}{\mathrm{AM}}_{t_0}(j_1,j_2)---\left(3\right)$

步骤五、给定关联阈值α∈[0,1]，本施例中取α=0.8，根据公式(4)计算关联矩阵AM。

$\mathrm{AM}(j_1,j_2)=\left\{\begin{array}{cc}1& \mathrm{ATM}(j_1,j_2)>N\&times;\mathrm{\&alpha;}\\ 0& \mathrm{otherwise}\end{array}---\left(4\right)\right.$

AM(j₁,j₂)=1表示第j₁条光流轨迹和第j₂条光流轨迹来自于同一个目标，否则为不同目标。利用队列操作方法将所有轨迹归入不同类中，具体步骤如下：

(1)初始化。

设置当前队列Q_c,c=1为空。

(2)遍历AM，若找到AM(j₃,j₄)为第一个不为0的元素，则执行步骤(3);若找不到，结束。

(3)将j₃进队Q_c，头指针指向队头。

(4)若头指针指向队尾，那么当前队列所有元素即为一个跟踪目标所对应轨迹的编号，保存当前队列Q_c，令c=c+1，建立新队列Q_c并重复步骤(1)(2)继续搜索其他目标对应的轨迹编号;若头指针指向有效的队列元素，记头指针指向的元素为j，遍历AM的第j行，将所有不为0元素所对应的列坐标进队，AM第j行和第j列所有元素置为0。

(5)头指针后移一位，重复步骤(4)。

步骤六、根据关联矩阵AM将光流轨迹分为不同类，并计算各个类中心作为目标位置。

最终队列个数C即为当前跟踪目标个数。根据时空聚类结果，计算当前跟踪目标中心，并绘制多目标轨迹。确定目标中心和ID具体步骤如下：

遍历所有队列Q_c,c=1,...,C，依次执行如下操作：

(6)统计当前队列Q_c所有轨迹对应目标ID，若全为0，执行步骤(2)；若不全为0，执行步骤(3)；

(7)建立一个新的跟踪目标，跟踪目标个数ObjNum加1，当前队列Q_c所有轨迹目标ID置为ObjNum；

(8)统计各个不为0的ID对应的轨迹个数，选择个数最多的ID作为当前队列Q_c所有轨迹的目标ID；

(9)利用公式(5)和(6)计算当前队列对应的目标中心，其中M_c为当前目标对应轨迹个数。

$x_c=\frac{1}{M_c}\underset{i=1}{\overset{M_c}{\mathrm{\&Sigma;}}}{x}_{i,t}---\left(5\right)$

$y_c=\frac{1}{M_c}\underset{i=1}{\overset{M_c}{\mathrm{\&Sigma;}}}{y}_{i,t}---\left(6\right)$

(10)选择队列中最长的轨迹作为当前目标跟踪的轨迹并输出显示。

Claims (1)

1.一种航拍视频自动目标跟踪方法，其特征在于包括以下步骤：

步骤一、输入一段航拍视频序列，首先是提取光流轨迹特征，并对其进行管理；ObjNum表示当前已经跟踪的目标个数，初始为0；L表示当前所有有效光流轨迹的个数，记光流轨迹集合为S={F_i,i=1,...,L}，初始状态下为空，

表示当前第i条光流轨迹；对当前t时刻图像提取Harris角点，并选择角点响应大于0.01的角点作为侯选光流特征点，采用金字塔光流算法对S中的特征点和侯选特征点计算光流矢量，获得其在下一帧中相应的位置；

利用RANSAC方法和侯选光流特征点对计算当前帧和下一帧之间的仿射变换模型AF，并将侯选特征点分为内点和外点，内点为符合变换模型的背景点，外点为运动目标上的点；对于这些外点计算其与S中已有光流特征点的最小空间距离，若大于给定阈值，则作为新的特征点加入S，新特征点对应的目标ID为0；

AF=[R|T]           (1)

其中R和T分别为旋转矩阵和平移矩阵；对光流轨迹集合中旧特征点利用公式(2)计算运动补偿之后的运动矢量；

${\mathrm{MV}}_{i,t}=\left(\begin{array}{c}{x}_{i,t+1}\\ y_{i,t+1}\end{array}\right)-\mathrm{AF}\&times;\left(\begin{array}{c}{x}_{i,t}\\ y_{i,t}\end{array}\right)---\left(2\right)$

若||MV_i,t||₂<Threshold_v或Length(F_i)<Threshold_l，则从S中删除F_i；其中Length(F_i)表示F_i存在时间长度，Threshold_v和Threshold_l分别为速度阈值和存在时长阈值；

用N表示时间聚类阈值，将S中所有光流轨迹投影到t+1时刻的图像坐标系下，并选择所有存在时长大于N的轨迹构成聚类光流集合CS={CF_j,j=1,...,J},进行后续聚类处理,

为第j条参与聚类的特征轨迹，J为参与聚类的轨迹个数；

步骤二、取光流轨迹在当前时刻的位置{(x_j,t,y_j,t),j=1,...,J}作为样本点进行聚类，由于目标类别数不确定，无法事先确定聚类类别数；给定聚类距离阈值Threshold_d（本施例中取

采用最近邻聚类，得到聚类的结果，记当前聚类类别数为k_t，具体聚类步骤如下：

(1)初始化；

当前类别数设置为0；

(2)对所有样本点(x_j,t,y_j,t),j=1,...,J进行如下操作：

a)如果当前类别数为0，建立一个新类别，

如果当前类别数不为0，计算当前样本点(x_j,t,y_j,t)与所有类别的距离，记最小距离为mindistance，对应的类别为k_m，若mindistance<Threshold_d，那么将(x_j,t,y_j,t)归入第k_m类，并更新第k_m类的中心和样本数；若mindistance≥Threshold_d，则建立一个新类别，将当前样本点(x_j,t,y_j,t)作为新类别的中心，类别数加1；

根据聚类结果得到当前帧J×J维对称关联矩阵AM_t，满足AM_t(j₁,j₂)=AM_t(j₂,j₁)，AM_t(j₁,j₂)=1表示j₁条光流轨迹和第j₂条光流轨迹聚为同一类，AM_t(j₁,j₂)=0则表示属于不同类；依次对t-1,t-2,...,t-N+1时刻的轨迹特征进行空间聚类，分别得到相应的空间关联矩阵 ${\mathrm{AM}}_{t_0},t_0=t-N+1,...,t;$

步骤三、分别对之前连续N帧重复步骤二中的聚类操作，得到相应的关联矩阵AM_t-N+1,...,AM_t-1；

步骤四、利用公式(1)

$\mathrm{ATM}(i,j)=\underset{t_0=t-N+1}{\overset{t}{\mathrm{\&Sigma;}}}{\mathrm{AM}}_{t0}(i,j)---\left(3\right)$

统计任意两条光流轨迹聚为同一类的次数，得到关联次数矩阵ATM；

步骤五、给定关联阈值α，根据公式(4)

$\mathrm{AM}(i,j)=\left[\begin{array}{cc}1& \mathrm{ATM}(i,j)>N\&times;\mathrm{\&alpha;}\\ 0& \mathrm{otherwise}\end{array}\right]---\left(4\right)$

计算关联矩阵AM，AM(i,j)=1表示第i条光流轨迹和第j条光流轨迹来自于同一个目标，否则为不同目标；

步骤六、根据关联矩阵AM将光流轨迹分为不同类，并计算各个类中心作为目标位置；

最终队列个数C即为当前跟踪目标个数；根据时空聚类结果，计算当前跟踪目标中心，并绘制多目标轨迹；确定目标中心和ID具体步骤如下：

遍历所有队列Q_c,c=1,...,C，依次执行如下操作：

(1)统计当前队列Q_c所有轨迹对应目标ID，若全为0，执行步骤(2)；若不全为0，执行步骤(3)；

(2)建立一个新的跟踪目标，跟踪目标个数ObjNum加1，当前队列Q_c所有轨迹目标ID置为ObjNum；

(3)统计各个不为0的ID对应的轨迹个数，选择个数最多的ID作为当前队列Q_c所有轨迹的目标ID；

(4)利用公式(5)和公式(6)计算当前队列对应的目标中心，其中M_c为当前目标对应轨迹个数；

$x_c=\frac{1}{M_c}\underset{i=1}{\overset{M_c}{\mathrm{\&Sigma;}}}{x}_{i,t}---\left(5\right)$

$y_c=\frac{1}{M_c}\underset{i=1}{\overset{M_c}{\mathrm{\&Sigma;}}}{y}_{i,t}---\left(6\right)$

(5)选择队列中最长的轨迹作为当前目标跟踪的轨迹并输出显示。