CN110533692A - 一种面向无人机航拍视频中移动目标的自动跟踪方法 - Google Patents

Abstract

本申请实施例公开了一种面向无人机航拍视频中移动目标的自动跟踪方法，旨在解决相对运动下移动目标的自动跟踪问题。其中该方法包括：获取所述无人机航拍监控区域的视频图像序列；通过所述无人机上的传感器得到无人机航拍中移动目标的轮廓，计算出移动目标特征区域在当前帧上的位置；求解第1、2帧的运动矢量集；将前一步骤中中获得的运动矢量集与参考帧的运动矢量集进行相似度判断，得出目标车辆的最优运动矢量；并循环上面的步骤直到移动目标运动出无人机的航拍范围。通过本申请实施例，能够解决相对运动下移动目标的自动跟踪问题；同时具有较高的鲁棒性和实时性，适用于对道路车辆的自动追踪。

Description

一种面向无人机航拍视频中移动目标的自动跟踪方法

技术领域

本申请属于无人机航拍监控视频应用技术领域，具体涉及航拍视频图像中移动目标的自动跟踪方法。

背景技术

基于视觉的目标自动跟踪在智能监控、动作与行为分析、自动驾驶等领域都有重要的应用。例如，在自动驾驶系统中，目标跟踪算法要对运动的车、行人、其他动物的运动进行跟踪，对它们在未来的位置、速度等信息做出预判，具有广阔的市场应用前景。

基于视频图像的移动目标跟踪目前总体上可分为基于区域的跟踪，基于动态轮廓的跟踪，基于特征跟踪和基于模型的跟踪四类，所采用的算法大致可分为基于概率统计最大化的跟踪算法和确定性推导的跟踪算法两大类。严格来讲，这种分类并不是绝对的，有些方法将多种算法集成在一起，真正决定算法性能的并不是这些跟踪算法框架，而是一些更加基础的内容，比如目标特征的构造和检测。

自从低空无人机广泛应用以来，无人机监控逐步成为当前的应用热点，但是，与地面监控视频采集方式不同的是，无人机在空中时刻处于移动状态，传统的基于固定监控视频的移动目标跟踪方法，很难直接运用到无人机监控视频目标跟踪上。

发明内容

本申请要解决的技术问题是提供一种适用于无人机航拍视频中移动目标的自动跟踪方法，有效解决相对运动下移动目标的自动跟踪问题。

本申请提供了如下方案：

一种面向无人机航拍视频中移动目标的自动跟踪方法，至少包括以下步骤，

1)获取所述无人机航拍监控区域的视频图像序列；

2)通过所述无人机上的传感器得到无人机航拍中移动目标的轮廓，计算出移动目标特征区域在当前帧上的位置M:M_i＝(x_i,j,y_i,j)，j＝1,2,...k_i，其中i的取值是从传感器采集到的数据中出现第一个移动目标轮廓开始的，并得到当前帧的运动矢量集：

S_i-1,i＝(x_i,m-x_i-1,n,y_i,m-y_i-1,n)m＝1,2,...S_i,n＝1,2,...k_i-1。

3)求解第1、2帧的运动矢量集S_1,2：S_1,2＝(x_2,m-x_1,n,y_2,m-y_1,n)，其中m,n分别表示当前帧和参考帧数据中目标轮廓包含的质点个数，m,n的取值应使|y_2,m-y_1,n|的值最小；

4)将步骤3)中获得的运动矢量集与参考帧的运动矢量集进行相似度判断，即通过比较和得出移动目标的最优运动矢量为

5)更新对应移动的运动矢量；

6)循环步骤2)到步骤步骤5)直到i的取值小于2。

作为优选，在步骤3)和步骤4)之间还包括通过事先预测和动态搜索策略减少运动矢量集的解空间的步骤。

作为优选，所述移动目标为车辆。

作为优选，所述移动车辆的特征区域为质点。

根据本申请提供的具体实施例，本申请公开了以下技术效果：

本申请实施例的方法中，在无人机和地面目标都处于移动状态时，通过相对运动矢量解决相对运动下移动目标的自动跟踪问题；同时具有较高的鲁棒性和实时性，适用于对道路车辆的自动追踪。

说明书附图

图1为相对运动矢量示意图。

图2为相对运动矢量预测及搜索示意图。

图3为本发明一具体实施方式中的流程示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步的详细说明。

在本申请实施例中，可以为无人机航拍视频中某路口移动车辆的自动跟踪。在对移动车辆进行跟踪时，需对无人机航拍获得的图像序列进行分析，计算出目标车辆在每帧图像上的二维位置坐标，并根据不同的特征值，将图像序列中不同帧之间目标车辆关联起来，得到各个目标车辆完整的运动轨迹，即在连续的图像序列中建立移动车辆的对应关系。

可以知道，将移动车辆替换为其他运动目标是可行的，例如行人跟踪，在基于特征的跟踪时，没必要跟踪整个目标区域，只要跟踪目标的某个显著特征，如拐点、质心或有明显标记区域对应的点、线、曲线等，凭借该特征可以将目标从背景中检测出来，就可以实现对整个运动目标的跟踪。行人和车辆等目标各自特征不相同，只影响跟踪时初始的特征选取上。

运动矢量是指将图像序列的每一帧分成许多互不重叠的宏块，并认为宏块内所有象素的位移量都相同，然后对每个宏块到参考帧某一给定特定搜索范围内根据一定的匹配准则找出与当前块最相似的块，即匹配块，匹配块与当前块的相对位移即为运动矢量。参见图1，为相对运动矢量示意图，设t时刻的帧图像为当前帧f(x,y)，t'时刻的帧图像为参考帧f'(x,y)，参考帧在时间上可以超前或者滞后于当前帧，当t′＜t时，称之为后向运动，当t＞t时，称之为前向运动。当在参考帧t′中搜索到帧t中当前块的匹配块时，可以得到相应的运动场d(x；t,t+Δt)，即可得到当前帧的运动矢量。

在进行移动目标自动跟踪时，需要通过一定搜索策略寻找当前帧与参考帧之间的运动矢量集，再根据运动矢量的相似度判断准则，得出当前运动矢量集的唯一矢量解，并将该矢量与之前跟踪目标的运动矢量进行加权，进而通过运动矢量来跟踪描述目标运动情况的过程，其中，运动矢量的相似度可以采用余弦相似度函数表示。

下面，以无人机航拍视频中某城市平面交叉口移动车辆的自动跟踪为例，说明相对运动矢量建模和自动跟踪方法的实现过程。

1.移动车辆相对运动矢量建模

建立基于无人机航拍视频中某城市平面交叉口移动车辆轮廓质心的运动矢量模型的具体的思路是：在图像预处理的基础上，将目标检测点构成的二维轮廓抽象为多个质心构成的平面图形，计算其质心位置，将该质心与前一帧数据中提取出的质心进行矢量连接，构成两帧间的运动矢量，设运动矢量模型的目标函数为d(x,y)：

d(x,y)＝(x'-x,y'-y) (1)

上式中，(x,y)，(x',y')分别表示当前帧和参考帧数据中目标轮廓的质心位置坐标，M_i，(x_i,y_i)分别表示第i个质心的质量和坐标，m,n分别表示当前帧和参考帧数据中目标轮廓包含的质点个数。

由于方形的车辆在二维图像上呈现，其轮廓容易检测，采用质心追踪完成对目标车辆的追踪较易实现，使得在光照发生变化时，也能进行目标车辆跟踪，具有一定的鲁棒性。

2.移动车辆自动跟踪方法

研究表明，跟驰状态下的车辆在道路上的运动具有显著制约性、延迟性及传递性等特性，跟驰性指在无法超车的单一车道上，车辆列队行驶时后车跟随前车的行驶状态，也即车辆的移动受到客观道路条件以及司机的反应时间和应对策略所共同制约。因此可据车辆在道路上的行驶特性设置跟踪范围，并使用以参考帧运动矢量终点为起点，沿着矢量方向由近及远的搜索策略来确定当前帧的最优运动矢量解。

参看图3，具体包括如下步骤：

步骤1.读入无人机航拍视频图像，并对视频帧进行必要的预处理，包括基于灰度变换的图像增强、线性平滑法的去噪处理。

户外无人机航拍道路上的车辆，环境光照强度易受天气、时间、云层遮挡等多种因素影响，出现过曝或曝光不足的情况，图像灰度可能会局限在一个很小的范围内。这时在显示器上看到的将是一个模糊不清、似乎没有灰度层次的图像。采用线性或非线性的灰度变换对图像所关注的区域或整体像素灰度进行拉伸，可有效地改善图像视觉效果。

步骤2.通过传感器得到第i帧数据中的k_i个目标车辆轮廓，并计算出对应的质心位置M：

M_i＝(x_i,j,y_i,j)，j＝1,2,...k_i

此处i的取值是从传感器采集到的数据中出现第一个目标车辆轮廓开始的。并得到当前帧的运动矢量集：

S_i-1,i＝(x_i,m-x_i-1,n,y_i,m-y_i-1,n)m＝1,2,...S_i,n＝1,2,...k_i-1。

步骤3.对第1，2帧的运动矢量集进行特殊处理，求解S_1,2：

S_1,2＝(x_2,m-x_1,n,y_2,m-y_1,n)，m,n的取值应使|y_2,m-y_1,n|的值最小。在本申请的实施例中，在从无人机航拍视频图像序列中选取第1、2帧时，第1帧为从传感器采集到的数据中出现第一个目标车辆轮廓时的对应图像帧，第二帧可以是第一帧图像的后续帧，也可以是按照等间隔选取的某一帧图像。也即要依据目标车辆的运动速度选择合适的时间间隔，避免前后帧图片中目标车辆几乎完全重叠；同时减轻运算量。

步骤4.当i＞2时，如图2所示，通过事先预测和动态搜索策略，初步减少运动矢量集的解空间。

步骤5.将上一歩获得的运动矢量集与参考帧的运动矢量集进行相似度判断，即通过比较和得出目标车辆的最优运动矢量为

步骤6.更新对应目标车辆的运动矢量，达到跟踪目标车辆运动轨迹的目的。

步骤7.当目标车辆离开检测区域后，通过判断对应运动矢量的方向得出目标车辆的运动方向。

参看图3，从检测到目标车辆进入无人机航拍区域内开始，循环进行计算相对运动矢量集并更新目标运动矢量集，直到有效帧数小于2，退出循环，此时目标车辆驶出无人机航拍区域，可分析目标车辆的运动方向等数据。

步骤8.清除该运动矢量，准备接下来的跟踪。

Claims (4)

1.一种面向无人机航拍视频中移动目标的自动跟踪方法，其特征在于至少包括以下步骤，

1)获取所述无人机航拍监控区域的视频图像序列；

2)通过所述无人机上的传感器得到无人机航拍中移动目标的轮廓，计算出移动目标特征区域在当前帧上的位置M:M_i＝(x_i,j,y_i,j)，j＝1,2,...k_i，其中i的取值是从传感器采集到的数据中出现第一个移动目标轮廓开始的，并得到当前帧的运动矢量集：

S_i-1,i＝(x_i,m-x_i-1,n,y_i,m-y_i-1,n)m＝1,2,...S_i,n＝1,2,...k_i-1。

3)求解第1、2帧的运动矢量集S_1,2：S_1,2＝(x_2,m-x_1,n,y_2,m-y_1,n)，其中m,n分别表示当前帧和参考帧数据中目标轮廓包含的质点个数，m,n的取值应使|y_2,m-y_1,n|的值最小；

4)将步骤3)中获得的运动矢量集与参考帧的运动矢量集进行相似度判断，即通过比较和得出移动目标的最优运动矢量为

5)更新对应移动目标的运动矢量；

6)循环步骤2)到步骤步骤5)直到i的取值小于2。

2.根据权利要求1所述的一种面向无人机航拍视频中移动目标的自动跟踪方法，其特征在于：在步骤3)和步骤4)之间还包括通过事先预测和动态搜索策略减少运动矢量集的解空间的步骤。

3.根据权利要求1所述的一种面向无人机航拍视频中移动目标的自动跟踪方法，其特征在于：所述移动目标为车辆。

4.根据权利要求3所述的一种面向无人机航拍视频中移动目标的自动跟踪方法，其特征在于：所述移动车辆的特征区域为质点。