CN109597432B - 一种基于车载摄像机组的无人机起降监控方法及系统 - Google Patents

Abstract

本发明涉及无人机技术领域，提供了一种基于车载摄像机组的无人机起降监控方法及系统，该方法包括对目标的连续跟踪、对无人机运动状态测量监控、无人机起降场地净空检测、无人机起降场地净场检测、无人机起降过程监视与故障分析、无人机发射回收效能评估和态势分析、助推起飞火箭筒跟踪定位和测风速风向。该系统功能丰富，既可测量实现对无人机起降过程的精确跟踪测量，又可监测起降场地具体的环境条件，同时能对整个起降操作流程进行态势分析和判读；获得的视频和图像数据可用在日后故障分析、效能评估和态势分析中，提高发射回收过程的工作效率；该系统基于高精度的光电探测系统，不对外辐射电磁信号，隐蔽性好，可在电子战环境下实现正常工作。

Description

一种基于车载摄像机组的无人机起降监控方法及系统

技术领域

本发明涉及无人机技术领域，特别涉及一种基于车载摄像机组的无人机起降监控方法及 系统。

背景技术

无人机作为一种新型武器装备在现代战场中扮演者越来越重要的角色，成为现代战场的 杀手锏。作为一种无人装备，无人机的起飞与降落是飞行中的极为重要的环节，根据世界各 地无人机事故调查机构统计资料来看，有超过一半的事故发生在飞机起降期间。无人机的起 降过程与起降场地的具体环境条件及无人机运动状态密切相关，因此建立可靠、精确的无人 机起降监控系统，通过监测无人机运动状态以及起降场地的具体环境情况，可以大大提高无 人机起降的安全性，同时为起降过程中的故障分析、效能评估和态势分析提供数据支撑。

当前用于无人机起降监控的技术主要用在无人机降落时引导无人机进场过程，例如基于 GPS/北斗、雷达、机载和地基光电设备等引导进场技术，这些技术通过定位测量装置探测无 人机的运动信息，并据此调整无人机的飞行状态，使其能够安全降落。但是无人机执行任务 时，需要安全地起飞和降落两方面作为保障，并且安全起降不仅仅与无人机运动信息有关， 还对起降场地的具体条件有较高的要求。现有技术方案由于其测量范围和精度有限，无法对 整个起降过程进行多角度、宽覆盖的监测。

发明内容

本发明的目的就是克服现有技术的不足，已有技术方案的基础上，为提高无人机起降安 全性，减少和防止起降过程中事故的发生，本发明提供了一种基于车载摄像机组的无人机起 降监控方法及系统，该系统部署方便、稳定性强、探测范围广，能够精确测量无人机的运动 状态，同时可以对起降场地和整个起降过程进行监控、录像，为事故分析、效能评估和态势 分析提供可靠数据，全面保障无人机的起降安全。

本发明的技术方案如下：

一种基于车载摄像机组的无人机起降监控方法，该方法包括对目标的连续追踪，所述对 目标的连续追踪包括如下步骤：

设置不少于3台车载摄像机用于目标的追踪定位，各摄像机根据不同任务对任务范围进 行扫描并将图像数据传输给数据处理器，所述数据处理器分析数据并检测目标，实现目标捕 获；

当有一台车载摄像机捕获到目标图像后，数据处理器计算目标大致位置，并利用该位置 引导其它车载摄像机转动至该区域，实现小范围内的精确搜索和捕捉；

车载摄像机捕获目标后，数据处理器实时分析视频图像，实现对目标的视频跟踪，得到 跟踪脱靶量；

所述数据处理器基于视频跟踪脱靶量，计算车载摄像机的理论姿态角，并控制车载摄像 机向理论姿态角转动，以实现对目标的连续追踪。

进一步的，所述目标包括无人机、火箭筒和障碍物等。

进一步的，所述车载摄像机均设置于云台上，分别对车载相机和云台进行标定，数据处 理器根据视频跟踪的脱靶量、车载相机标定结果和云台标定结果计算各车载相机、云台的理 论姿态角，并控制云台、车载相机向理论姿态角转动。

进一步的，该方法还包括目标运动状态测量，目标运动状态测量的方法如下：

车载摄像机组对目标实现稳定跟踪，此时目标与车载摄像机确定空间唯一的一条直线， 该直线由车载摄像机及云台姿态角确定；

多于2台车载相机稳定跟踪目标时，各车载摄像机与目标确定多条直线，空间多条直线 交于一点，求取该点坐标即可获得目标位置；由于测量误差存在，通常空间直线不会相交于 一点，取距离所述多条直线距离之和最近的点作为目标的位置坐标，如下公式求得：

其中，d_i(x,y,z)为空间任意一点(x,y,z)到直线l_i的距离，l_i为第i个车载摄像机与目标所 确定的直线；

连续求取目标位置，即可通过不同时刻的目标坐标获得目标的运动速度和运动方向；

根据连续时刻的目标运动速度，获得目标的加速度。

进一步的，目标的三维姿态信息通过如下方法获得：

在无人机上布置N个具有明显特征的合作标志点，根据合作标志点的结构参数可获得该 N个点的空间位置信息。通过一台或多台摄像机对目标进行拍摄，分析提取出该N个合作标 志点在图像中的坐标，利用PNP(Perspective-N-Points)问题建立方程组进行解析，求得目标相 对于车载摄像机的三维姿态信息。

进一步的，该方法还包括无人机起降场地净空、净场检测；在无人机起飞、降落前，对 车载摄像机组进行任务规划，实现以地面为中心，360°范围内场地、低空自动扫描检测。

一种基于车载摄像机组的无人机起降监控系统，包括不少于3套光电成像摄像机、数据 处理器；所述摄像机、数据处理器均设置于地面控制站方舱车上；所述摄像机包括转动云台 和探照灯；所述系统利用上述的方法对目标进行跟踪监控。

数据处理器可实现数据实时处理，运算结果实时显示。

本发明的有益效果为：该系统作为一种全新的无人机起降监控系统，功能丰富，既可以 测量实现对无人机起降过程的精确跟踪测量，又可以监测起降场地具体的环境条件，同时能 对整个起降操作流程进行态势分析和判读。另外，获得的视频和图像数据可用在日后进行故 障分析、效能评估和态势分析中，提高发射回收过程的工作效率。另外，该系统基于高精度 的光电探测系统，不对外辐射电磁信号，因此可在电子战环境下实现正常工作，这一点对现 代战争条件下显得尤为重要。

附图说明

图1所示为本发明实施例一种基于车载摄像机组的无人机起降监控系统所实现功能示意 图。

图2所示为本发明实施例中无人机起降监控系统的数据处理流程图。

图3所示为车载摄像机部署位置示意图。

具体实施方式

下文将结合具体附图详细描述本发明具体实施例。应当注意的是，下述实施例中描述的 技术特征或者技术特征的组合不应当被认为是孤立的，它们可以被相互组合从而达到更好的 技术效果。在下述实施例的附图中，各附图所出现的相同标号代表相同的特征或者部件，可 应用于不同实施例中。

本实施例中，一种基于车载摄像机组的无人机起降监控系统，该系统布置在无人机地面 指挥控制站方舱车上，包括三套光电成像摄像机(含转动云台和探照灯)组成的摄像机组， 图像处理计算机(数据处理器)。

摄像机组：三台摄像机实时跟踪飞机以及对起降场地周边环境进行探测。其中每台摄像 机由高精度云台、可见光摄像机、伺服控制设备、探照灯等组成。

图像处理计算机：完成图像处理和显示功能，控制摄像机组对飞机及起降周边环境进行 监控测量。同时对飞机起降视频和有关参数进行记录和回放。为事后进行分析总结提供视频 和有关数据。同时，显示监控视频和测量、态势标注结果，显示飞机三维运动状态，显示飞 机起降轨迹，并对有关参数进行告警提示。

光电传感器测得飞机或起降场地周边环境的图像数据，送入地面控制站计算机，经过地 面控制站综合处理，形成包括图像、图形、数据、字符的综合显示信息，分别发送给地面指 挥人员和其它相关的调度人员观看和指挥。在综合处理的过程中，系统进行自动跟踪并实时 测量无人机目标位置、姿态、速度、加速度等参数，监视飞机的飞行姿态，同时可以监测起 降场地是否满足安全起降条件，将所有这些信息以人机界面友好的方式告知地面指挥人员， 地面指挥人员可以根据信息进行起降任务规划及无人机的运动状态，保障无人机的起降安全。

本发明实施例一种基于车载摄像机组的无人机起降监控方法，利用上述监控系统进行监 控，包括无人机检测、跟踪和运动状态测量监控、无人机场地净空检测、无人机起降场地净 场检测、无人机起降过程监视与故障分析、无人机发射回收效能评估和态势分析、火箭筒定 位、测风速风向。需要说明的是，上述功能并不必然集成于同一系统之中，可选择其中一项 或几项组成系统，本实施例只是较佳实施例，不应以之限定本发明的保护范围。

无论是在降落阶段引导无人机精确降落，还是对起降场地空域、地域出现的障碍物或无 人机起飞后的火箭筒进行定位和测量，首先需要实现摄像机组对目标(主要是飞机、障碍物 或火箭筒等)的稳定视频跟踪，在此基础上地面图像处理计算机利用三个摄像机的空间关系 以及自身位置姿态等综合处理，实时形成包括图像、图形、数据、字符的综合显示信息，分 别发送给地面指挥人员和其它相关的调度人员观看和指挥。系统进行自动跟踪并实时测量目 标位置、姿态、速度、加速度等信息，监视目标的运动姿态，并将所有信息以人机界面友好 的方式告知地面指挥人员，地面指挥人员可以根据信息进行起降任务规划及无人机的运动状 态，保障无人机的起降安全。系统工作流程如图1所示。

一、无人机检测、跟踪和运动状态监控与测量

车载摄像机组由三个高清摄像机组成，可同时对无人机进行持续跟踪并计算飞机位置， 包括位置、姿态、速度(三维)、加速度(三维)等。在降落阶段可为无人机提供相关的进 场信息，同时反馈给无人机进行修正，从而精确地引导飞机进场着陆。同时，通过视频图像， 对飞机起落架状态进行监视和告警。另外，每个摄像机均配备远距离探照灯，系统可在夜间 工作，提高了系统的应用能力。

一)对目标的检测、连续追踪包括如下步骤：

1)基于车载GPS(或其它定位设备)及三个摄像机的空间位置关系，获取三个摄像机 的绝对地理坐标(经度、纬度、高度)和姿态角；

2)摄像机基于不同任务对任务范围区域进行扫描，探测并捕获任务目标，车载计算机 通过实时视频图像处理，控制云台转动，实现摄像机连续对目标的跟踪与成像；

3)基于目标可能物理尺寸、成像参数及视频图像，估算目标距离摄像机距离，进而根 据估算距离实时调节成像焦距和焦平面，实现目标持续清晰成像；

4)地面计算机实时显示跟踪视频和跟踪状态参数，并基于三组摄像机视频跟踪数据， 包括云台位置、姿态等，利用空间交会摄影测量，实时计算目标位置、航向、速度，并输出 状态警告；

5)地面指挥人员可以根据信息进行起降任务规划及无人机的运动状态，保障无人机的起 降安全。

其中，步骤1)中获取摄像机位置和姿态的方法如下：

以无人机地面控制站测姿定位设备为GPS为例，摄像机部署位置如图3所示.

其中，GPS天线在无人机地面控制站主垂线上，主天线在后，副天线在前。此时，测得 的基准点位置(Lon,Lat,Alt)为GPS主天线位置，基准方位角θ为两GPS天线的连线与正北 方向的夹角，基准俯仰角

为GPS副天线相对于主天线在垂直方向形成的夹角，通常该角度 近似为0。

摄像机布置如图3所示，摄像机1、2组成的连线与摄像机2、3组成的连线垂直，摄像机1、2距离为L₁，摄像机2、3距离为L₂，当取基准俯仰角

为0时，各摄像机距离基准点 的距离与方位(Dist_i,θ_i)(i＝1,2,3)可分别通过下列公式计算获得：

基于相对距离与方位，可通过通用地理坐标变换计算得到各摄像机基准位置(Lon_i,Lat_i,Alt_i)(i＝1,2,3)；

由于各摄像机安装底座与车顶持平，方位0度与方舱中垂线一致，因此各摄像机均为

二)目标跟踪控制方法如下：

为实现车载摄像机组对目标持续精确定位，任意时刻至少需要两台摄像机能稳定跟踪目 标。另外，当无人机一站双机飞行时，可以实现对两架无人机同时跟踪。

各摄像机目标跟踪方法如下：

1)相机标定，获取相机畸变参数和像元尺寸；

2)云台标定，获取相机在不同焦距下像素运动与云台姿态角变化量的关系；

3)各摄像机根据不同任务对任务范围进行扫描，计算机实时分析并检测目标，实现目 标及时捕获；

4)当有一台摄像机捕获到目标图像后，计算机基于捕获的目标图像及相机参数、状态， 估算目标大致位置，并利用该位置引导其它两台摄像机转动至该区域，实现小范围内的精确搜索与捕捉；

5)当摄像机捕获到目标后，计算机实时分析视频图像，并实现对目标的视频跟踪，得 到跟踪脱靶量。为保证系统运算效率，跟踪算法采用自适应尺度高效KCF核相关滤 波跟踪算法；

6)计算机基于视频跟踪脱靶量、相机标定结果和云台标定结果计算各相机云台理论姿 态角，并发送控制指令显示相机向理论姿态角转动；

7)重复步骤5)、6)，实现各摄像机对目标的稳定跟踪。

二)目标运动状态测量

当摄像机组实现对目标的稳定跟踪后，计算机基于三组摄像机视频跟踪数据，包括云台 位置、姿态等，利用空间交会摄影测量，可实时计算目标位置、航向、速度。算法原理如下：

1)当摄像机稳定跟踪目标时，目标处于视频图像中心，此时目标与摄像机确定空间中 唯一的一条直线，该直线由摄像机自身及云台姿态角确定。三维空间直线形式如下：

l_i:A_ix+B_iy+C_iz+D_i＝0(i＝1,2,3)

其中，系数A_i,B_i,C_i,D_i(i＝1,2,3)由摄像机位置和两个姿态角唯一确定；

2)当有多于2台摄像机稳定跟踪目标时，各摄像机与目标确定多条直线，空间多条直 线交于一点，该点即为目标，求取该点坐标即可获得目标位置；由于测量误差存在，通常空 间直线不会相较于一点，一般取距离直线组距离最近的点作为目标位置坐标。即求取使下列 公式：

其中，d_i(x,y,z)为空间任意一点(x,y,z)到直线l_i的距离；

3)连续求取目标位置，即可通过在不同时刻的目标坐标获取目标运动速度和运动方向；

4)根据连续时刻目标的运动速度，可获得目标的加速度信息；

5)在飞机上布置N个具有明显特征的合作标志点，根据合作标志点的结构参数可获得 该N个点的空间位置信息。通过一台或多台摄像机对目标进行拍摄，分析提取出该N个合 作标志点在图像中的坐标，利用PNP(Perspective-N-Points)问题建立方程组进行解析，求得目 标相对于摄像机的三维姿态信息。

二、无人机起降场地净空检测

车载摄像机组对飞机起降场地进行空域扫描，检测和跟踪空中可能妨碍无人机正常放飞 和回收的飞行物，并实时反馈给地面控制站，辅助指挥控制人员进行起降决策。

三、无人机起降场地净场检测

车载摄像机组对飞机起降场地进行场地扫描检测，检测起降场地上可能妨碍无人机正常 加速和滑降的障碍物，并实时反馈给地面控制站，辅助指挥控制人员进行起降决策。

为实现无人机起降场地净空、净场检测，在无人机起飞降落前对摄像机组进行任务规划， 实现以地面为中心、360°范围内场地、低空自动扫描检测，其中，每台摄像机实现120°工 作范围。同时，系统对地面障碍物、低空飞行器进行自动检测、标识和报警。根据需要可在 线调整摄像机，实现三台摄像机同时跟踪同一目标，进而实现定位测量和运动状态分析。

另外在起降阶段，车载摄像机组实时监控无人机机务人员操控流程，并对各阶段进行视 频录像和统计分析，生成进度提醒，实时标注到态势界面。同时系统将态势分析结果生成发 射或回收态势报告，供事后分析，对于发现流程操作短板、提高工作效率提供数据支撑。

四、无人机起降过程监视与故障分析

车载摄像机组由三台高分辨率摄像机组成，能够多方位、高清晰度地记录飞机起降过程 的细节，为日后进行故障分析提供清晰可靠的视频图像数据。

五、无人机发射、回收效能评估和态势分析

车载摄像机组实时记录的高清晰视频和图像可对起降过程中的设备、人员以及发射回收 流程等进行测量和标注，完成发射、回收效能评估和态势分析，对无人机发射回收阶段改进 工作流程、提高工作效率提供了支撑材料。

六、其他功能

当无人机通过火箭助推起飞时，火箭筒会脱离飞机，掉落在未知区域。通过车载摄像机 组抓取并持续跟踪火箭筒，计算出其位置信息，为搜寻人员缩小搜寻范围，提高无人机发射 阶段的工作效率。另外，当起降场地布置有风向带时，可以利用摄像机组进行风速、风向测 量。

本文虽然已经给出了本发明的几个实施例，但是本领域的技术人员应当理解，在不脱离 本发明精神的情况下，可以对本文的实施例进行改变。上述实施例只是示例性的，不应以本 文的实施例作为本发明权利范围的限定。

Claims (5)

1.一种基于车载摄像机组的无人机起降监控方法，其特征在于，该方法包括对目标的连续追踪，所述对目标的连续追踪包括如下步骤：

设置不少于3台车载摄像机用于目标的追踪定位，各摄像机根据不同任务对任务范围进行扫描并将图像数据传输给数据处理器，所述数据处理器分析数据并自动检测目标，实现目标捕获；所述车载摄像机均设置于云台上，分别对车载相机和云台进行标定，数据处理器根据视频跟踪的脱靶量、车载相机标定结果和云台标定结果计算各车载相机、云台的理论姿态角，并控制云台、车载相机向理论姿态角转动；

当有一台车载摄像机捕获到目标图像后，数据处理器计算目标的位置，并利用该位置引导其它车载摄像机转动至该位置，实现小范围内的精确搜索和捕捉；

车载摄像机捕获目标后，数据处理器实时分析视频图像，实现对目标的连续视频跟踪，得到跟踪脱靶量，数据处理器基于视频跟踪脱靶量，计算车载摄像机的理论姿态角，并控制车载摄像机向理论姿态角转动，以实现对目标的连续追踪；

该方法还包括无人机起降场地净空、净场检测；在无人机起飞、降落前，对车载摄像机组进行任务规划，实现以地面为中心，360°范围内场地、低空自动扫描检测；

目标运动状态测量的方法如下：

车载摄像机组对目标实现稳定跟踪，此时目标与车载摄像机确定空间唯一的一条直线，该直线由车载摄像机及云台姿态角确定；

多于2台车载相机稳定跟踪目标时，各车载摄像机与目标确定多条直线，空间多条直线交于一点，求取该点坐标即可获得目标位置；由于测量误差存在，通常空间直线不会相交于一点，取距离所述多条直线距离之和最近的点作为目标的位置坐标，如下公式求得：

其中，d_i(x,y,z)为空间任意一点(x,y,z)到直线l_i的距离，l_i为第i个车载摄像机与目标所确定的直线；

连续求取目标位置，即可通过不同时刻的目标坐标获得目标的运动速度和运动方向；

根据连续时刻的目标运动速度，获得目标的加速度。

2.如权利要求1所述的方法，其特征在于，所述目标包括无人机、火箭筒和障碍物。

3.如权利要求1所述的方法，其特征在于，无人机的三维姿态信息通过如下方法获得：

在无人机上布置N个具有明显特征的合作标志点，根据合作标志点的结构参数可获得该N个点的空间位置信息；通过一台或多台摄像机对目标进行拍摄，分析提取出该N个合作标志点在图像中的坐标，利用PNP问题建立方程组进行解析，求得目标相对于车载摄像机的三维姿态信息。

4.一种基于车载摄像机组的无人机起降监控系统，其特征在于，包括不少于3套光电成像摄像机、数据处理器；所述摄像机、数据处理器均设置于地面控制站方舱车上；所述摄像机包括转动云台和探照灯；所述系统利用如权利要求1-3任一项所述的方法对目标进行跟踪监控。

5.如权利要求4所述的系统，其特征在于，数据处理器实现数据实时处理，运算结果实时显示。

Images