CN114296479A - 一种基于图像的无人机对地面车辆跟踪方法及系统 - Google Patents

Abstract

一种基于图像的无人机对地面车辆跟踪方法及系统，涉及无人机跟踪技术领域，用以解决现有技术不能对地面车辆进行有效地实时跟踪的问题。本发明的技术要点包括：利用无人机机载相机采集包含地面车辆的图像，通过图像处理获取地面车辆在图像中的位置信息，从而计算获得地面车辆相对于无人机的视线角；根据所述视线角控制云台旋转以使地面车辆始终在相机视野范围内，实现对地面车辆的跟踪；进一步地，根据所述视线角和云台的姿态信息，计算获得NED坐标系下地面车辆的位置，从而获得无人机和地面车辆的相对距离，并根据相对距离调整无人机飞行速度。本发明可以很好的锁定地面目标车辆，给出精确的目标定位结果，可跟踪快速运动的车辆目标。

Description

一种基于图像的无人机对地面车辆跟踪方法及系统

技术领域

本发明涉及无人机跟踪技术领域，具体涉及一种基于图像的无人机对地面车辆跟踪方法及系统。

背景技术

随着旋翼无人机技术的迅速发展，其便于操控、稳定性好、机动灵活的优势，促使旋翼无人机在执行多样化任务中日益发挥重要作用。旋翼无人机的一个非常重要的任务就是检测和跟踪可疑地面车辆目标，四旋翼无人机具备低空悬停和全向机动能力，适合对地面特定目标进行跟踪监视、抵近确认任务。

在感知地面车辆目标方面，常用的传感器有单目相机、双目相机、激光雷达等，其中单目相机以其价格低廉，信息丰富，轻便易用的优点成为该任务场景下最合适的传感器。而在无人机执行侦察飞行任务过程中，需要目标持续稳定的存在于视场中，由于相机受到无人机轻微机动及外界因素的干扰会发生晃动和抖动，导致视频和图像无法清晰地捕捉到；相机的视场还会随着无人机大机动而转变，地面车辆也会做摆脱机动而导致相机视野中目标的丢失。因此为了追踪任务的顺利执行，需要采用云台相机进行稳像控制与对目标的持续跟踪，这会最大程度的保证旋翼无人机对地面车辆目标的持续感知。

发明内容

鉴于以上问题，本发明提出一种基于图像的无人机对地面车辆跟踪方法及系统，用以解决现有技术不能对地面车辆进行有效地实时跟踪的问题。

根据本发明一方面，提供一种基于图像的无人机对地面车辆跟踪方法，其中，无人机携带云台和相机，所述云台用于调整相机姿态；所述方法包括以下步骤：

步骤一、利用无人机机载相机采集包含地面车辆的图像，通过对所述图像进行处理获取所述地面车辆在图像中的位置信息；

步骤二、根据地面车辆在图像中的位置信息计算获得地面车辆相对于无人机的视线角；

步骤三、根据所述视线角，控制云台旋转以使地面车辆始终在相机视野范围内，实现对地面车辆的跟踪。

进一步地，在步骤三之后还包括：

步骤四、根据所述视线角和云台的姿态信息，计算获得NED坐标系下地面车辆的位置，从而获得无人机和地面车辆的相对距离；

步骤五、根据所述相对距离调整无人机飞行速度，以实现跟踪过程中对无人机飞行速度的分段控制。

进一步地，步骤一中所述地面车辆在图像中位置信息包括地面车辆在图像中的中心位置坐标和在图像中的目标框尺寸。

进一步地，步骤二中所述视线角为：

式中，angle_x表示水平视线角，angle_y表示垂直视线角；f_x,f_y分别表示相机焦距f 的水平分量和垂直分量；(c_x,c_y)表示图像中心坐标；(x_p,y_p)表示地面车辆在图像中的中心位置坐标。

进一步地，步骤三的具体步骤包括：设置地面车辆在图像中心区域时所对应的相对无人机的水平角度阈值和垂直角度阈值分别为θ_x,θ_y，当视线角中angle_x>θ_x或angle_y>θ_y时则认为地面车辆偏离图像中心区域，从而生成相对角度调节指令，根据相对角度调节指令控制云台旋转，以使该地面车辆在图像中心区域显示。

进一步地，步骤四中所述地面车辆在NED坐标系下的位置坐标(x_wA,y_wA,z_wA)的计算公式为：

(x_wA,y_wA,z_wA)＝R_fwR_fc ^TR_φβγP_c

式中，R_fw表示无人机机体坐标系到NED坐标系的转换矩阵；R_fc表示机体坐标系下相机的安装矩阵；R_φβγ表示云台实时姿态对应相机坐标系到云台初始姿态对应相机坐标系的转换矩阵，

φ,β,γ为相机相对于其初始角度的旋转角；P_c表示根据视线角计算获得的、地面车辆在云台初始姿态对应相机坐标系下的位置坐标，P_C＝(h×tan(angle_x),h×tan(angle_y),h)，h表示无人机对地高度。

进一步地，步骤五中根据所述相对距离调整无人机飞行速度的公式为：

式中，V_x表示无人机飞行速度上限；V_max表示预设飞行最大速度阈值；△x表示无人机和地面车辆相对距离的水平分量；d₁、d₂均为无人机和地面车辆相对距离的水平分量阈值。

根据本发明另一方面，提供一种基于图像的无人机对地面车辆跟踪系统，该系统包括无人机、云台、相机、目标图像位置获取模块、视线角计算模块、云台控制模块、相对距离获取模块、速度控制模块；

所述无人机携带云台、相机、目标图像位置获取模块、视线角计算模块、云台控制模块、相对距离获取模块和速度控制模块；所述云台用于调整相机姿态；所述相机用于采集包含地面车辆的图像，并发送给所述目标图像位置获取模块；

所述目标图像位置获取模块，其配置成通过对所述图像进行处理获取所述地面车辆在图像中的位置信息；其中，所述位置信息包括中心位置坐标和在图像中的目标框尺寸；

所述视线角计算模块，其配置成根据地面车辆在图像中的位置信息计算获得地面车辆相对于无人机的视线角；所述视线角为：

式中，angle_x表示水平视线角，angle_y表示垂直视线角；f_x,f_y分别表示相机焦距f 的水平分量和垂直分量；(c_x,c_y)表示图像中心坐标；(x_p,y_p)表示地面车辆在图像中的中心位置坐标；

所述云台控制模块，其配置成根据所述视线角，控制云台旋转以使地面车辆始终在相机视野范围内，实现对地面车辆的跟踪；具体包括：设置地面车辆在图像中心区域时所对应的相对无人机的水平角度阈值和垂直角度阈值分别为θ_x,θ_y，当视线角中angle_x>θ_x或angle_y>θ_y时则认为地面车辆偏离图像中心区域，从而生成相对角度调节指令，根据相对角度调节指令控制云台旋转，以使该地面车辆在图像中心区域显示；

所述相对距离获取模块，其配置成根据所述视线角和云台的姿态信息，计算获得NED坐标系下地面车辆的位置，从而获得无人机和地面车辆的相对距离；

所述速度控制模块，其配置成根据所述相对距离调整无人机飞行速度，以实现跟踪过程中对无人机飞行速度的分段控制。

进一步地，所述相对距离获取模块中所述地面车辆在NED坐标系下的位置坐标(x_wA,y_wA,z_wA)的计算公式为：

(x_wA,y_wA,z_wA)＝R_fwR_fc ^TR_φβγP_c

式中，R_fw表示无人机机体坐标系到NED坐标系的转换矩阵；R_fc表示机体坐标系下相机的安装矩阵；R_φβγ表示云台实时姿态对应相机坐标系到云台初始姿态对应相机坐标系的转换矩阵，

φ,β,γ为相机相对于其初始角度的旋转角；P_c表示根据视线角计算获得的、地面车辆在云台初始姿态对应相机坐标系下的位置坐标，P_C＝(h×tan(angle_x),h×tan(angle_y),h)，h表示无人机对地高度。

进一步地，所述速度控制模块中根据所述相对距离调整无人机飞行速度的公式为：

式中，V_x表示无人机飞行速度上限；V_max表示预设飞行最大速度阈值；△x表示无人机和地面车辆相对距离的水平分量；d₁、d₂均为无人机和地面车辆相对距离的水平分量阈值。

本发明的有益技术效果是：

本发明通过控制云台相机锁定目标车辆，利用视觉几何完成目标定位，利用速度控制器完成目标车辆跟踪。相比其它传统方法，本发明具有以下优势：1)利用视觉信息控制云台相机对目标车辆进行视角锁定，最大程度避免了由于无人机姿态变化，空地端速度差异导致的目标丢失问题；2)结合实际的场景需求，精细推导出一套定位方式，推导过程详实，定位结果准确；3)传统的旋翼无人机对地目标跟踪大都采用位置控制器，存在位置震荡和速度超调的问题，本发明采用速度控制，飞行轨迹更顺滑，控制更精细。本发明方法可以较好的锁定目标车辆，给出精确的目标定位结果；同时，对目标的控制相应效果很好，可跟踪快速运动的车辆目标。

附图说明

本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。

图1是本发明实施例一种无人机对地面车辆目标跟踪方法的流程图；

图2是本发明另一实施例一种无人机对地面车辆目标跟踪方法的流程框图；

图3是本发明实施例中无人机与地面车辆目标飞行中的几何关系示意图；

图4是本发明实施例中地面视角和无人机视角拼接示例图。

图5是本发明实施例一种无人机对地面车辆目标跟踪系统的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，在下文中将结合附图对本发明的示范性实施方式或实施例进行描述。显然，所描述的实施方式或实施例仅仅是本发明一部分的实施方式或实施例，而不是全部的。基于本发明中的实施方式或实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式或实施例，都应当属于本发明保护的范围。

为实现更加鲁棒高效的无人机对地面车辆跟踪，本发明利用云台加机载相机的传感器组合，提出了一种基于图像的无人机对地面车辆跟踪方法。该方法首先通过基于深度学习的目标检测方法获取地面可疑车辆目标在机载相机所拍摄图像中的位置；再根据地面可疑车辆目标在机载相机所拍摄图像中的位置推算出目标在相机系下的视线角，通过视线角控制云台相机旋转以追踪目标车辆；然后根据机载相机的内参信息、无人机的IMU信息、GPS信息、云台反馈角等信息求得地面可疑车辆相对于旋翼无人机的位置关系；接下来根据位置信息调整无人机飞行速度，最后由机载计算机发送解算出的控制指令给无人机的飞控模块，引导无人机对地面车辆目标进行追踪。

本发明实施例提供一种基于图像的无人机对地面车辆跟踪方法，如图1所示，无人机携带云台和相机，云台用于调整相机姿态；该方法包括以下步骤：

步骤一、利用无人机机载相机采集包含地面车辆的图像，通过对图像进行处理获取地面车辆在图像中的位置信息；其中，位置信息包括地面车辆在图像中的中心位置坐标和在图像中的目标框尺寸；

步骤二、根据地面车辆在图像中的位置信息计算获得地面车辆相对于无人机的视线角；

步骤三、根据视线角，控制云台旋转以使地面车辆始终在相机视野范围内，实现对地面车辆的跟踪；

步骤四、根据视线角和云台的姿态信息，计算获得NED坐标系下地面车辆的位置，从而获得无人机和地面车辆的相对距离；

步骤五、根据相对距离调整无人机飞行速度，以实现跟踪过程中对无人机飞行速度的分段控制。

本实施例中，可选地，步骤二中视线角为：

式中，angle_x表示水平视线角，angle_y表示垂直视线角；f_x,f_y分别表示相机焦距f 的水平分量和垂直分量；(c_x,c_y)表示图像中心坐标；(x_p,y_p)表示地面车辆在图像中的中心位置坐标。

本实施例中，可选地，步骤三的具体步骤包括：设置地面车辆在图像中心区域时所对应的相对无人机的水平角度阈值和垂直角度阈值分别为θ_x,θ_y，当视线角中angle_x>θ_x或angle_y>θ_y时则认为地面车辆偏离图像中心区域，从而生成相对角度调节指令，根据相对角度调节指令控制云台旋转，以使该地面车辆在图像中心区域显示。

本实施例中，可选地，步骤四中地面车辆在NED坐标系下的位置坐标(x_wA,y_wA,z_wA)的计算公式为：

(x_wA,y_wA,z_wA)＝R_fwR_fc ^TR_φβγP_c

式中，R_fw表示无人机机体坐标系到NED坐标系的转换矩阵；R_fc表示机体坐标系下相机的安装矩阵；R_φβγ表示云台实时姿态对应相机坐标系到云台初始姿态对应相机坐标系的转换矩阵，

φ,β,γ为相机相对于其初始角度的旋转角；P_c表示根据视线角计算获得的、地面车辆在云台初始姿态对应相机坐标系下的位置坐标，P_C＝(h×tan(angle_x),h×tan(angle_y),h)，h表示无人机对地高度。

本实施例中，可选地，步骤五中根据相对距离调整无人机飞行速度的公式为：

式中，V_x表示无人机飞行速度上限；V_max表示预设飞行最大速度阈值；△x表示无人机和地面车辆相对距离的水平分量；d₁、d₂均为无人机和地面车辆相对距离的水平分量阈值，对于地面车辆运动速度在5m/s以下的情况，d₁取20m、d₂取5m时效果较好。

本发明另一实施例提供一种基于图像的无人机对地面车辆跟踪方法，如图2、3所示，该方法包括以下步骤：

步骤一：车辆目标检测跟踪；

根据本发明实施例，在感知系统中，对视野内的可疑目标车辆进行检测是第一个环节，是后续所有模块的基础。该模块要实现在遥感情况下对地面车辆目标的检测。由于检测算法是对整幅图像的处理，相比跟踪算法仅需在一定像素范围内进行处理而言，速率较低，因此考虑将检测与跟踪相结合一起实现目标锁定的任务。具体为：基于深度学习算法利用先验的航拍车辆数据训练一个深度学习网络，检测时首先利用检测算法对实时图像进行检测，当检测到目标时将得到目标在图像中的框选信息(x₀,y₀,w,h)；其中，x₀,y₀为目标框的中心位置坐标，w,h为目标框的宽与长；接下来使用该信息初始化一个目标跟踪器，跟踪算法会基于检测结果快速跟踪目标，当目标丢失时，将重启检测线程，直到检测到目标后再转回跟踪线程，这样可以完成检测跟踪的状态切换。

步骤二：基于步骤一的检测结果，控制云台相机锁定目标；

根据本发明实施例，设相机的焦距为f，且

图像中心坐标为c_x,c_y，目标点在NED坐标系下位置坐标为(x,y,z)，图像中目标位置坐标为(x_p,y_p)，则可求得目标在相机坐标系下的视线角为：

其中，angle_x为水平视线角，angle_y为垂直视线角；设定目标位于图像中心区域的角度阈值为θ_x,θ_y，当angle_x>θ_x或angle_y>θ_y时则认为目标偏离中心区域。需要说明的是，当只有一个方向偏离中心区域时只控制云台的一轴进行转动。接下来根据相对角度信息，生成相对角速度调节指令，通过控制旋转云台旋转，使目标车辆在图像中的成像位置向图像正中心移动。

步骤三：根据无人机状态信息、相机内参、云台相机反馈角等信息对车辆目标进行定位，解算出目标车辆相对于无人机的位置信息；

根据本发明实施例，通过步骤二计算出的视线角，可计算相机坐标系下在目标视线方向上的某点A的位置，其中，k为比例系数，有：

x_c＝k×f×tan(angle_x)

y_c＝k×f×tan(angle_y)

z_c＝k×f

以量纲k×f对A点位置坐标进行归一化，得到归一化后的A点位置： P_c＝(tan(angle_x),tan(angle_y),1)。

由云台的反馈角得到相机相对于初始角度的旋转角φ,β,γ，可以求出对应的三个基础旋转矩阵R_φ,R_β,R_γ，如下：

由基础旋转矩阵可求得旋转矩阵R_φβγ＝R_γR_βR_φ。

由于跟踪任务的尺度远远大于云台和飞机本体之间的尺度，因此假设云台和飞机之间的平移可以忽略不计，从飞机机体坐标系到云台相机初始位置的转换矩阵为R_fc(安装矩阵)，飞机机体坐标系到NED坐标系的转换矩阵为R_fw，NED坐标系下飞机的高度为h，则飞机机体坐标系下的A点位置为：

R_fc ^TR_φβγP_c

机载NED坐标系下的A点位置为：

R_fwR_fc ^TR_φβγP_c

由于A点、光心、目标点在同一直线上，因此可以得到该直线在NED坐标系下的方程：

其中，x_wA,y_wA,z_wA为该NED坐标系下的A点坐标分量。

由于目标在地面上，最终可以得到目标在NED坐标系下的坐标为：

步骤四：基于步骤二解算出的目标在NED坐标系下的位置信息，利用速度控制系统解算出控制指令传输给飞控单元，操控无人机追踪地面目标；

根据本发明实施例，本发明的追踪方式为固定飞行高度，调整旋翼无人机X、Y方向的速度分量来控制无人机追击目标车辆，从而简化问题规模。为了达到无人机与飞机距离远时速度快，快速追击，无人机与目标车辆距离近时速度减少，避免快速机动丢失目标，本发明设计了一个速度分段模块，通过测算的无人机与目标车辆在水平距离对无人机速度进行分段控制。

本发明将追击过程分为三个阶段，其中，水平方向距离阈值分别为d₁、d₂；V_x为各阶段的速度上限，V_max为设计的最大速度阈值。通过对无人机速度进行分段控制，追击过程中呈现分级降速效果。

速度控制方面采用位置式速度PID控制，将无人机与目标车辆的水平距离作为误差e，其中目标车辆在世界系下的位置可由步骤三计算得到，无人机在世界系下的位置可由其搭载的 GPS系统得到。然后控制器对误差信号进行校正，产生最适宜的速度控制量，从而进行速度控制。可给出速度的PID控制规律如下式所示。

式中，v_k是k时刻的控制量，e_j，e_k和e_k-1分别是j时刻、k时刻、k-1时刻的位置误差，表示k时刻内速度误差的累积；k_p是比例项参数，k_i是积分项参数，k_d是微分项参数。

进一步采用以下实验验证本发明的技术效果。

选取DJI M100旋翼无人机作为实验的飞行平台，选取DJI妙算2作为机载计算机，选取一台轿车作为跟踪平台。首先获取目标车辆的图像，制作训练集，训练出检测模型，在公路环境上进行跟踪测试。测试图像如图4所示。测试软件环境为ubuntu16.04+ROSkinect，硬件环境为NVIDIA Jetson TX2+8GB RAM，OpenCV版本为3.4。云台相机为大疆Zenmuse X4S 相机，视频流分辨率为640×480像素。

本发明在道路场景中对地面车辆目标进行跟踪，任务执行区域大致为长度700m的公路，设置旋翼无人机飞行高度为30m，汽车沿着公路以20km/h的速度慢速行驶。实验结果表明，无人机可以在30m的空中检测定位到目标车辆，并跟踪上目标车辆。在追踪过程中97.4％的图像中存在车辆目标，检测率达95％，检测定位系统的计算速度为22帧左右，由图4可以看出，在任务区域内，无人机可以有效并鲁棒的跟踪目标车辆。

本发明依赖地面为平面的假设，因此应用场景应避免为丘陵山地等地区，以避免定位效果不良。

本发明另一实施例提供一种基于图像的无人机对地面车辆跟踪系统，如图5所示，该系统包括无人机1、云台2、相机3、目标图像位置获取模块4、视线角计算模块5、云台控制模块6、相对距离获取模块7、速度控制模块8；

无人机1携带云台2、相机3、目标图像位置获取模块4、视线角计算模块5、云台控制模块6、相对距离获取模块7和速度控制模块8；云台2用于调整相机3姿态；相机3用于采集包含地面车辆的图像，并发送给目标图像位置获取模块4；

目标图像位置获取模块4，其配置成通过对图像进行处理获取地面车辆在图像中的位置信息；其中，位置信息包括中心位置坐标和在图像中的目标框尺寸；

视线角计算模块5，其配置成根据地面车辆在图像中的位置信息计算获得地面车辆相对于无人机的视线角；视线角为：

式中，angle_x表示水平视线角，angle_y表示垂直视线角；f_x,f_y分别表示相机焦距f 的水平分量和垂直分量；(c_x,c_y)表示图像中心坐标；(x_p,y_p)表示地面车辆在图像中的中心位置坐标；

云台控制模块6，其配置成根据视线角，控制云台旋转以使地面车辆始终在相机视野范围内，实现对地面车辆的跟踪；具体包括：设置地面车辆在图像中心区域时所对应的相对无人机的水平角度阈值和垂直角度阈值分别为θ_x,θ_y，当视线角中angle_x>θ_x或angle_y>θ_y时则认为地面车辆偏离图像中心区域，从而生成相对角度调节指令，根据相对角度调节指令控制云台旋转，以使该地面车辆在图像中心区域显示；

相对距离获取模块7，其配置成根据视线角和云台的姿态信息，计算获得NED坐标系下地面车辆的位置，从而获得无人机和地面车辆的相对距离；

速度控制模块8，其配置成根据相对距离调整无人机飞行速度，以实现跟踪过程中对无人机飞行速度的分段控制。

本实施例中，可选地，相对距离获取模块7中地面车辆在NED坐标系下的位置坐标(x_wA,y_wA,z_wA)的计算公式为：

(x_wA,y_wA,z_wA)＝R_fwR_fc ^TR_φβγP_c

式中，R_fw表示无人机机体坐标系到NED坐标系的转换矩阵；R_fc表示机体坐标系下相机的安装矩阵；R_φβγ表示云台实时姿态对应相机坐标系到云台初始姿态对应相机坐标系的转换矩阵，

φ,β,γ为相机相对于其初始角度的旋转角；P_c表示根据视线角计算获得的、地面车辆在云台初始姿态对应相机坐标系下的位置坐标，P_C＝(h×tan(angle_x),h×tan(angle_y),h)，h表示无人机对地高度。

本实施例中，可选地，速度控制模块8中根据相对距离调整无人机飞行速度的公式为：

式中，V_x表示无人机飞行速度上限；V_max表示预设飞行最大速度阈值；△x表示无人机和地面车辆相对距离的水平分量；d₁、d₂均为无人机和地面车辆相对距离的水平分量阈值。

本发明实施例一种基于图像的无人机对地面车辆跟踪系统的功能可以由前述一种基于图像的无人机对地面车辆跟踪方法说明，因此系统实施例未详述部分，可参见以上方法实施例，在此不再赘述。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种基于图像的无人机对地面车辆跟踪方法，其特征在于，无人机携带云台和相机，所述云台用于调整相机姿态；所述方法包括以下步骤：

步骤一、利用无人机机载相机采集包含地面车辆的图像，通过对所述图像进行处理获取所述地面车辆在图像中的位置信息；

步骤二、根据地面车辆在图像中的位置信息计算获得地面车辆相对于无人机的视线角；

步骤三、根据所述视线角，控制云台旋转以使地面车辆始终在相机视野范围内，实现对地面车辆的跟踪。

2.根据权利要求1所述的一种基于图像的无人机对地面车辆跟踪方法，其特征在于，在步骤三之后还包括：

步骤四、根据所述视线角和云台的姿态信息，计算获得NED坐标系下地面车辆的位置，从而获得无人机和地面车辆的相对距离；

步骤五、根据所述相对距离调整无人机飞行速度，以实现跟踪过程中对无人机飞行速度的分段控制。

3.根据权利要求2所述的一种基于图像的无人机对地面车辆跟踪方法，其特征在于，步骤一中所述地面车辆在图像中的位置信息包括地面车辆在图像中的中心位置坐标和在图像中的目标框尺寸。

4.根据权利要求3所述的一种基于图像的无人机对地面车辆跟踪方法，其特征在于，步骤二中所述视线角为：

式中，angle_x表示水平视线角，angle_y表示垂直视线角；f_x,f_y分别表示相机焦距f的水平分量和垂直分量；(c_x,c_y)表示图像中心坐标；(x_p,y_p)表示地面车辆在图像中的中心位置坐标。

5.根据权利要求4所述的一种基于图像的无人机对地面车辆跟踪方法，其特征在于，步骤三的具体步骤包括：设置地面车辆在图像中心区域时所对应的相对无人机的水平角度阈值和垂直角度阈值分别为θ_x,θ_y，当视线角中angle_x>θ_x或angle_y>θ_y时则认为地面车辆偏离图像中心区域，从而生成相对角度调节指令，根据相对角度调节指令控制云台旋转，以使该地面车辆在图像中心区域显示。

6.根据权利要求5所述的一种基于图像的无人机对地面车辆跟踪方法，其特征在于，步骤四中所述地面车辆在NED坐标系下的位置坐标(x_wA,y_wA,z_wA)的计算公式为：

(x_wA,y_wA,z_wA)＝R_fwR_fc ^TR_φβγP_c

式中，R_fw表示无人机机体坐标系到NED坐标系的转换矩阵；R_fc表示机体坐标系下相机的安装矩阵；R_φβγ表示云台实时姿态对应相机坐标系到云台初始姿态对应相机坐标系的转换矩阵，

f,β,γ为相机相对于其初始角度的旋转角；P_c表示根据视线角计算获得的、地面车辆在云台初始姿态对应相机坐标系下的位置坐标，P_C＝(h×tan(angle_x),h×tan(angle_y),h)，h表示无人机对地高度。

7.根据权利要求6所述的一种基于图像的无人机对地面车辆跟踪方法，其特征在于，步骤五中根据所述相对距离调整无人机飞行速度的公式为：

式中，V_x表示无人机飞行速度上限；V_max表示预设飞行最大速度阈值；△x表示无人机和地面车辆相对距离的水平分量；d₁、d₂均为无人机和地面车辆相对距离的水平分量阈值。

8.一种基于图像的无人机对地面车辆跟踪系统，其特征在于，包括无人机、云台、相机、目标图像位置获取模块、视线角计算模块、云台控制模块、相对距离获取模块、速度控制模块；

所述无人机携带云台、相机、目标图像位置获取模块、视线角计算模块、云台控制模块、相对距离获取模块和速度控制模块；所述云台用于调整相机姿态；所述相机用于采集包含地面车辆的图像，并发送给所述目标图像位置获取模块；

所述目标图像位置获取模块，其配置成通过对所述图像进行处理获取所述地面车辆在图像中的位置信息；其中，所述位置信息包括中心位置坐标和在图像中的目标框尺寸；

所述视线角计算模块，其配置成根据地面车辆在图像中的位置信息计算获得地面车辆相对于无人机的视线角；所述视线角为：

式中，angle_x表示水平视线角，angle_y表示垂直视线角；f_x,f_y分别表示相机焦距f的水平分量和垂直分量；(c_x,c_y)表示图像中心坐标；(x_p,y_p)表示地面车辆在图像中的中心位置坐标；

所述云台控制模块，其配置成根据所述视线角，控制云台旋转以使地面车辆始终在相机视野范围内，实现对地面车辆的跟踪；具体包括：设置地面车辆在图像中心区域时所对应的相对无人机的水平角度阈值和垂直角度阈值分别为θ_x,θ_y，当视线角中angle_x>θ_x或angle_y>θ_y时则认为地面车辆偏离图像中心区域，从而生成相对角度调节指令，根据相对角度调节指令控制云台旋转，以使该地面车辆在图像中心区域显示；

所述相对距离获取模块，其配置成根据所述视线角和云台的姿态信息，计算获得NED坐标系下地面车辆的位置，从而获得无人机和地面车辆的相对距离；

所述速度控制模块，其配置成根据所述相对距离调整无人机飞行速度，以实现跟踪过程中对无人机飞行速度的分段控制。

9.根据权利要求8所述的一种基于图像的无人机对地面车辆跟踪系统，其特征在于，所述相对距离获取模块中所述地面车辆在NED坐标系下的位置坐标(x_wA,y_wA,z_wA)的计算公式为：

(x_wA,y_wA,z_wA)＝R_fwR_fc ^TR_φβγP_c

式中，R_fw表示无人机机体坐标系到NED坐标系的转换矩阵；R_fc表示机体坐标系下相机的安装矩阵；R_φβγ表示云台实时姿态对应相机坐标系到云台初始姿态对应相机坐标系的转换矩阵，

φ,β,γ为相机相对于其初始角度的旋转角；P_c表示根据视线角计算获得的、地面车辆在云台初始姿态对应相机坐标系下的位置坐标，P_C＝(h×tan(angle_x),h×tan(angle_y),h)，h表示无人机对地高度。

10.根据权利要求9所述的一种基于图像的无人机对地面车辆跟踪系统，其特征在于，所述速度控制模块中根据所述相对距离调整无人机飞行速度的公式为：

式中，V_x表示无人机飞行速度上限；V_max表示预设飞行最大速度阈值；△x表示无人机和地面车辆相对距离的水平分量；d₁、d₂均为无人机和地面车辆相对距离的水平分量阈值。

Images