CN106296743A - 一种自适应运动目标跟踪方法及无人机跟踪系统 - Google Patents

Abstract

本发明涉及一种自适应运动目标跟踪方法及无人机跟踪系统，其中，本运动目标跟踪方法包括如下步骤：步骤S1，确定前一帧与当前帧图像中目标区域质心的移动方向；以及步骤S2，在当前帧图像中，使目标搜索窗口中心跟踪目标区域质心；本发明能始终保持目标位于目标搜索窗口中心，并据此对下一帧图像中的目标进行跟踪，并根据目标区域质心方法计算下一帧图像中的目标区域质心；将当前帧图像中的目标搜索窗口中心按当前帧图像的目标PCA‑ASIFT特征库中各特征的主方向朝着所述下一帧图像中目标区域质心移动，据此始终保持目标位于目标搜索窗口中心并完成对下一帧图像中的目标跟踪。

Description

一种自适应运动目标跟踪方法及无人机跟踪系统

技术领域

本发明涉及一种自适应的无人机运动目标检测与跟踪方法及系统。

背景技术

运动目标检测与跟踪在计算机视觉、模式识别等领域一直都是研究的核心技术问题，尤其将这种技术与无人机相结合，更是巨大推动了运动目标检测与跟踪技术的发展，拓宽了目标检测与跟踪技术的运用前景。运动目标检测与跟踪的关键就在于利用计算机视觉技术、模式识别分类方法检测出视频序列图像中的运动目标，并对目标区域进行有效、稳定跟踪。将目标检测与跟踪技术与无人机相结合在智能交通监控、大气环境监测、自然灾害救援、地域轮廓描绘等领域有着重要的应用价值。

在无人机飞行过程中，动态背景不断变化，经常存在目标相似物、目标被部分遮挡甚至完全消失、光照发生变化以及目标发生旋转等复杂因素，从视频序列图像中精确检测目标以及实现有效、稳定跟踪目标还面临着诸多技术性上的难题。目前，在国内外发表的文献中未见有一种方法能够适应各种复杂因素下的运动目标检测与跟踪。传统的连续自适应均值移动跟踪方法以目标颜色为关键信息，固定了视频序列图像中目标搜索窗口的位置和大小，因而不能适应复杂因素下的运动目标检测与跟踪。

发明内容

本发明的目的是提供一种运动目标跟踪方法，以实现对运动目标进行自适应跟踪。

为了解决上述技术问题，本发明提供了一种运动目标跟踪方法，包括如下步骤：

步骤S1，确定前一帧与当前帧图像中目标区域质心的移动方向；以及

步骤S2，在当前帧图像中，使目标搜索窗口中心跟踪目标区域质心。

进一步，所述步骤S1中获得目标区域质心的方法包括如下步骤：

步骤S11，提取前一帧图像的目标特征，并对目标特征进行降维；

步骤S12，建立目标特征库；以及

步骤S13，确定当前帧图像的目标区域，并获得目标区域质心。

进一步，所述步骤S11中提取前一帧图像的目标特征，并对目标特征进行降维包括：

在前一帧图像中选取目标区域，根据ASIFT算法提取目标区域的矢量特征集，即F＝{f₁,f₂,…,f_n}；其中，所述目标区域为椭圆区域；以及

根据目标区域质心，通过马氏距离对矢量特征集F＝{f₁,f₂,…,f_n}中各特征进行降维，生成特征维数与马氏距离成反比的PCA-ASIFT特征库，即F_PCA-ASIFT＝{F_p1,F_p2,…,F_pN}。

进一步，所述步骤S12中建立目标特征库的方法包括：

根据隐马尔可夫模型训练特征并建立目标特征库，即

根据所述隐马尔可夫模型在相应复杂因素下建立PCA-ASIFT特征库的训练参数，且根据训练参数训练PCA-ASIFT特征库中各特征；

将在所述前一帧图像中建立目标PCA-ASIFT特征库，以作为当前图像特征分类的标准。

进一步，所述步骤S13中确定当前帧图像的目标区域，并获得目标区域质心的方法包括：

当前帧图像采用与前一帧图像相同的目标特征提取方法，并且

根据前一帧图像的目标PCA-ASIFT特征库中对当前帧图像进行特征分类，剔除非目标区域特征，以得到分类结果，确定目标区域；以及

根据当前帧图像分类出的PCA-ASIFT特征库中各特征所处位置的最大值和最小值，以描述当前帧图像对应的目标区域，并计算该目标区域质心。

进一步，步骤S1中计算目标区域质心的移动方向的方法包括：

根据所述目标PCA-ASIFT特征库中各特征的矢量对应方向，计算目标区域质心的移动方向，以作为当前帧图像中目标搜索窗口的移动方向即

${\stackrel{\→}{F}}_p={\stackrel{\→}{F}}_{p1}+{\stackrel{\→}{F}}_{p2}+...+{\stackrel{\→}{F}}_{pN}.$

进一步，设前一帧图像为I_p，且建立的二维坐标，则该帧图像I_p的目标搜索窗口中心I_p(x_p0,y_p0)和目标区域质心I_p(x_pc,y_pc)的计算公式分别为：

所述目标搜索窗口中心I_p(x_p0,y_p0)计算公式为：

$\left\{\begin{array}{c}{x}_{p0}=\underset{x}{\mathrm{\Σ}}{W}_p(x,y)I_p(x,y)\\ y_{p0}=\underset{y}{\mathrm{\Σ}}{W}_p(x,y)I_p(x,y)\end{array}\right.;$

其中，I_p(x,y)表示前一帧图像I_p的目标搜索窗口所包含像素；W_p(x,y)表示为每个像素赋予相应加权系数；以及

所述目标区域质心I_p(x_pc,y_pc)计算公式为

$\left\{\begin{array}{c}{J}_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{I}_p(x,y)\\ J_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}x{I}_p(x,y)\\ J_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}y{I}_p(x,y)\\ x_{pc}=J_{10}/J_{00},y_{pc}=J_{01}/J_{00}\end{array}\right..$

进一步，所述步骤S2中在当前帧图像中，使目标搜索窗口中心跟踪目标区域质心的方法包括：自适应更新当前帧图像的目标搜索窗口和下一帧图像中目标搜索窗口的移动方向，即

若|x_p0+1-x_pc|＜ε，且|y_p0+1-y_pc|＜ε，则I_p+1(x_p0+1,y_p0+1)为当前帧图像I_p+1中目标搜索窗口中心，即目标搜索窗口不更新，以完成对当前帧图像中的目标进行跟踪；反之，则将当前帧图像的目标搜索窗口中心置换为目标区域质心；

其中，ε为目标搜索窗口移动判断阈值；以及

同时使目标搜索窗口大小置换为目标区域的最小外接矩形。

又一方面，本发明还提供了一种无人机跟踪系统，其通过运动目标跟踪方法实现对目标进行自适应跟踪。

所述无人机跟踪系统包括：无人机、与该无人机进行无线通讯的地面控制站。

进一步，所述无人机包括：机载数据处理及控制模块和摄像机；其中所述摄像机通过视频采集模块与机载数据处理及控制模块相连，且该机载数据处理及控制模块通过运动目标跟踪方法实现对摄像机拍摄的图像中的目标进行跟踪。

本发明的有益效果是，本发明能始终保持目标位于目标搜索窗口中心，并据此对下一帧图像中的目标进行跟踪，并根据目标区域质心方法计算下一帧图像中的目标区域质心；将当前帧图像中的目标搜索窗口中心按当前帧图像的目标PCA-ASIFT特征库中各特征的主方向朝着所述下一帧图像中目标区域质心移动，据此始终保持目标位于目标搜索窗口中心并完成对下一帧图像中的目标跟踪。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明的运动目标跟踪方法的方法流程图；

图2是本发明的目标区域质心的方法流程图；

图3是本发明中前一帧、当前帧和下一帧图像中目标搜索窗口中心跟随目标区域质心示意图；

图4是本发明的无人机跟踪系统的原理框图。

图中：目标区域1、目标搜索窗口2。

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

实施例1

如图1所示，本发明提供了一种运动目标跟踪方法，包括如下步骤：

步骤S1，确定前一帧与当前帧图像中目标区域质心的移动方向；以及

步骤S2，在当前帧图像中，使目标搜索窗口中心跟踪目标区域质心。

本发明所述的图像具体为按照帧排列的视频序列图像。

如图2所示，可选的，所述步骤S1中获得目标区域质心的方法包括如下步骤：

步骤S11，提取前一帧图像的目标特征，并对目标特征进行降维；

步骤S12，建立目标特征库；以及

步骤S13，确定当前帧图像的目标区域，并获得目标区域质心。

可选的，所述步骤S11中提取前一帧图像的目标特征，并对目标特征进行降维包括：

在前一帧图像中选取目标区域，根据ASIFT算法(即抗视角变化的尺度不变特征变换)提取目标区域的矢量特征集，即F＝{f₁,f₂,…,f_n}；其中，所述目标区域为椭圆区域；其中，若前一帧图像为首帧图像，则人为选择视频序列图像中的运动目标，即目标搜索窗口。

根据目标区域质心，通过马氏距离对矢量特征集F＝{f₁,f₂,…,f_n}中各特征进行降维，生成特征维数与马氏距离成反比的PCA-ASIFT特征库(经降维的可抗视角变化的尺度不变特征变换抗)，即F_PCA-ASIFT＝{F_p1,F_p2,…,F_pN}，以保留特征包含的关键信息和大幅降低方法运算量。

降维的具体步骤为：

利用ASIFT算法获得的特征描述目标，距离目标区域质心越近的特征包含的信息越能描述目标，其中，该距离定义为马氏距离。

因此，矢量特征集F＝{f₁,f₂,…,f_n}中某两个特征子集分别为f_a＝(f_a1,f_a2,…,f_am)、f_b＝(f_b1,f_b2,…,f_bm)，即两个特征子集对应的马氏距离为：

可选的，所述步骤S12中建立目标特征库的方法包括：

根据隐马尔可夫模型(HMM)训练特征并建立目标特征库，即

根据所述隐马尔可夫模型在相应复杂因素下建立PCA-ASIFT特征库的训练参数(HMM参数)，且根据训练参数训练PCA-ASIFT特征库中各特征；将在所述前一帧图像中建立目标PCA-ASIFT特征库，以作为当前图像特征分类的标准。

根据HMM在不同复杂因素下建立所述目标PCA-ASIFT特征库的训练参数，例如但不限于在光照变化、遮挡、目标相似物、目标旋转等不同复杂因素下利用HMM分别建立相应训练参数，建立HMM参数主要包括左右形式的隐马尔可夫模型状态个数和每个状态包含的高斯函数个数；优选的，在光照变化、遮挡、目标相似物、目标旋转复杂因素下根据实际实验效果取得的最优参数分别为光照变化的训练参数4、2(其中，隐马尔可夫模型状态个数为4，高斯函数个数为2，以下训练参数类似)；遮挡4、6；目标相似物6、8；目标旋转6、4。

可选的，所述步骤S13中确定当前帧图像的目标区域，并获得目标区域质心的方法包括：当前帧图像采用与前一帧图像相同的目标特征提取方法，并且根据前一帧图像的目标PCA-ASIFT特征库中对当前帧图像进行特征分类，剔除非目标区域特征，以得到分类结果，确定目标区域；以及根据当前帧图像分类出的PCA-ASIFT特征库中各特征所处位置的最大值和最小值，以描述当前帧图像对应的目标区域，并计算该目标区域质心。其中，各特征所处位置为特征在视频序列图像中的二维坐标，即通过各特征所处位置的最大值和最小值分别定义椭圆的长轴和短轴位置，以描述当前帧图像对应的目标区域(椭圆区域)；且目标区域质心为经过加权后的目标区域几何中心；以及步骤S1中计算目标区域质心的移动方向的方法包括：根据所述目标PCA-ASIFT特征库中各特征的矢量对应方向，计算目标区域质心的移动方向(各特征的主方向)，以作为当前帧图像中目标搜索窗口的移动方向即

并且根据计算特征所处位置的最大值和最小值描述的目标区域和所述目标PCA-ASIFT特征库中各特征的主方向，分别自适应更新所述当前帧图像的目标搜索窗口和下一帧图像中目标搜索窗口的移动方向。

具体的，设前一帧图像为I_p，且建立的二维坐标，则该帧图像I_p的目标搜索窗口中心I_p(x_p0,y_p0)和目标区域质心I_p(x_pc,y_pc)的计算公式分别为：

所述目标搜索窗口中心I_p(x_p0,y_p0)计算公式为：

$\left\{\begin{array}{c}{x}_{p0}=\underset{x}{\mathrm{\Σ}}{W}_p(x,y)I_p(x,y)\\ y_{p0}=\underset{y}{\mathrm{\Σ}}{W}_p(x,y)I_p(x,y)\end{array}\right.;$

其中，I_p(x,y)表示前一帧图像I_p的目标搜索窗口所包含像素；W_p(x,y)表示为每个像素赋予相应加权系数；以及

所述目标区域质心I_p(x_pc,y_pc)计算公式为

$\left\{\begin{array}{c}{J}_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{I}_p(x,y)\\ J_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}x{I}_p(x,y)\\ J_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}y{I}_p(x,y)\\ x_{pc}=J_{10}/J_{00},y_{pc}=J_{01}/J_{00}\end{array}\right..$

以及所述步骤S2中在当前帧图像中，使目标搜索窗口中心跟踪目标区域质心的方法包括：自适应更新当前帧图像的目标搜索窗口和下一帧图像中目标搜索窗口的移动方向，即

若|x_p0+1-x_pc|＜ε，且|y_p0+1-y_pc|＜ε，则I_p+1(x_p0+1,y_p0+1)为当前帧图像I_p+1中目标搜索窗口中心，即目标搜索窗口不更新，以完成对当前帧图像中的目标进行跟踪；反之，则将当前帧图像的目标搜索窗口中心置换为目标区域质心以完成跟踪；其中，ε为目标搜索窗口移动判断阈值；以及同时使目标搜索窗口大小置换为目标区域的最小外接矩形，继而对下一帧图像I_p+2中的目标进行跟踪。

始终保持目标位于目标搜索窗口中心，并据此对下一帧图像中的目标进行跟踪，具体地，根据上述目标区域质心计算公式计算下一帧图像中的目标区域质心；将当前帧中的目标搜索窗口中心按该帧图像的目标PCA-ASIFT特征库中各特征的主方向朝着下一帧图像中目标区域质心移动，据此始终保持目标位于目标搜索窗口中心并完成对下一帧图像中的目标跟踪，其中，移动以欧式距离为标准；根据自适应更新目标搜索窗口和移动方向完成后续视频序列图像中的目标跟踪。

进一步，定义下一帧图像I_p+1，则该帧图像I_p+1的目标搜索窗口中心

I_p+1(x_p0+1,y_p0+1)，目标区域质心I_p+1(x_pc+1,y_pc+1)，目标搜索窗口移动方向

将当前帧图像的目标区域质心I_p(x_pc,y_pc)按的方向朝着下一帧图像目标搜索窗口的中心I_p+1(x_p0+1,y_p0+1)移动，如果|x_p0+1-x_pc|＜ε，且|y_p0+1-y_pc|＜ε，完成目标跟踪，否则，将下一帧图像目标搜索窗口中心I_p+1(x_p0+1,y_p0+1)置换为I_p+1(x_pc+1,y_pc+1)，继而完成后续视频序列图像中的目标跟踪。

实施例2

在实施例1基础上，本发明还提供了一种无人机跟踪系统。

如图4所示，所述无人机跟踪系统包括：无人机、与该无人机进行无线通讯的地面控制站。

所述无人机包括：机载数据处理及控制模块和摄像机；其中所述摄像机通过视频采集模块与机载数据处理及控制模块相连，且该机载数据处理及控制模块通过如实施例1所述的运动目标跟踪方法实现对摄像机拍摄的图像中的目标进行跟踪。

并且，所述地面控制站还包括用于接收无人机信号的无线通讯模块，与该无线通讯模块相连的地面数据处理模块，以及地面控制模块，进而实现对无人机的控制，例如控制起降。

其中所述机载数据处理及控制模块和地面数据处理模块例如但不限于采用嵌入式处理器。

所述运动目标跟踪方法中涉及的各帧图像均通过摄像机拍摄并通过视频采集模块进行采集。

因此，本无人机跟踪系统能够在光照变化、遮挡、目标相似物、目标旋转等复杂因素下精确地检测出运动目标且稳定跟踪目标。由于本发明实例针对动态场景下的地面运动目标；因此，本发明实例可应用于不同的场景需求，本发明的实例具有实时性好、适应光照变化、遮挡、目标相似物、目标旋转等各种复杂因素、可扩展性好、目标检测精确度高、跟踪性能稳定的特点。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (10)

1.一种运动目标跟踪方法，其特征在于，包括如下步骤：

步骤S1，确定前一帧与当前帧图像中目标区域质心的移动方向；以及

步骤S2，在当前帧图像中，使目标搜索窗口中心跟踪目标区域质心。

2.根据权利要求1所述的运动目标跟踪方法，其特征在于，

所述步骤S1中获得目标区域质心的方法包括如下步骤：

步骤S11，提取前一帧图像的目标特征，并对目标特征进行降维；

步骤S12，建立目标特征库；以及

步骤S13，确定当前帧图像的目标区域，并获得目标区域质心。

3.根据权利要求2所述的运动目标跟踪方法，其特征在于，

所述步骤S11中提取前一帧图像的目标特征，并对目标特征进行降维包括：

在前一帧图像中选取目标区域，根据ASIFT算法提取目标区域的矢量特征集，即F＝{f₁,f₂,…,f_n}；其中，所述目标区域为椭圆区域；以及

根据目标区域质心，通过马氏距离对矢量特征集F＝{f₁,f₂,…,f_n}中各特征进行降维，生成特征维数与马氏距离成反比的PCA-ASIFT特征库，即F_PCA-ASIFT＝{F_p1,F_p2,…,F_pN}。

4.根据权利要求3所述的运动目标跟踪方法，其特征在于，

所述步骤S12中建立目标特征库的方法包括：

根据隐马尔可夫模型训练特征并建立目标特征库，即

根据所述隐马尔可夫模型在相应复杂因素下建立PCA-ASIFT特征库的训练参数，且根据训练参数训练PCA-ASIFT特征库中各特征；

将在所述前一帧图像中建立目标PCA-ASIFT特征库，以作为当前图像特征分类的标准。

5.根据权利要求4所述的运动目标跟踪方法，其特征在于，

所述步骤S13中确定当前帧图像的目标区域，并获得目标区域质心的方法包括：

当前帧图像采用与前一帧图像相同的目标特征提取方法，并且

根据前一帧图像的目标PCA-ASIFT特征库中对当前帧图像进行特征分类，剔除非目标区域特征，以得到分类结果，确定目标区域；以及

根据当前帧图像分类出的PCA-ASIFT特征库中各特征所处位置的最大值和最小值，以描述当前帧图像对应的目标区域，并计算该目标区域质心。

6.根据权利要求5所述的运动目标跟踪方法，其特征在于，

步骤S1中计算目标区域质心的移动方向的方法包括：

根据所述目标PCA-ASIFT特征库中各特征的矢量对应方向，计算目标区域质心的移动方向，以作为当前帧图像中目标搜索窗口的移动方向即

${\stackrel{\→}{F}}_p={\stackrel{\→}{F}}_{p1}+{\stackrel{\→}{F}}_{p2}+...+{\stackrel{\→}{F}}_{pN}.$

7.根据权利要求6所述的运动目标跟踪方法，其特征在于，

设前一帧图像为I_p，且建立的二维坐标，则该帧图像I_p的目标搜索窗口中心I_p(x_p0,y_p0)和目标区域质心I_p(x_pc,y_pc)的计算公式分别为：

所述目标搜索窗口中心I_p(x_p0,y_p0)计算公式为：

$\left\{\begin{array}{c}{x}_{p0}=\underset{x}{\mathrm{\Σ}}{W}_p(x,y)I_p(x,y)\\ y_{p0}=\underset{y}{\mathrm{\Σ}}{W}_p(x,y)I_p(x,y)\end{array}\right.;$

其中，I_p(x,y)表示前一帧图像I_p的目标搜索窗口所包含像素；W_p(x,y)表示为每个像素赋予相应加权系数；以及

所述目标区域质心I_p(x_pc,y_pc)计算公式为

$\left\{\begin{array}{c}{J}_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{I}_p(x,y)\\ J_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{\mathrm{xI}}_p(x,y)\\ J_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{\mathrm{yI}}_p(x,y)\\ x_{pc}=J_{10}/J_{00},y_{pc}=J_{01}/J_{00}\end{array}\right..$

8.根据权利要求7所述的运动目标跟踪方法，其特征在于，

所述步骤S2中在当前帧图像中，使目标搜索窗口中心跟踪目标区域质心的方法包括：

自适应更新当前帧图像的目标搜索窗口和下一帧图像中目标搜索窗口的移动方向，即

若|x_p0+1-x_pc|＜ε，且|y_p0+1-y_pc|＜ε，则I_p+1(x_p0+1,y_p0+1)为当前帧图像I_p+1中目标搜索窗口中心，即目标搜索窗口不更新，以完成对当前帧图像中的目标进行跟踪；反之，则将当前帧图像的目标搜索窗口中心置换为目标区域质心；

其中，ε为目标搜索窗口移动判断阈值；以及

同时使目标搜索窗口大小置换为目标区域的最小外接矩形。

9.一种无人机跟踪系统，其特征在于，包括：无人机、与该无人机进行无线通讯的地面控制站。

10.根据权利要求9所述的无人机跟踪系统，其特征在于，所述无人机包括：机载数据处理及控制模块和摄像机；其中

所述摄像机通过视频采集模块与机载数据处理及控制模块相连，且该机载数据处理及控制模块通过运动目标跟踪方法实现对摄像机拍摄的图像中的目标进行跟踪。