CN113780246A - 无人机三维航迹监测方法、系统以及三维监测装置 - Google Patents

Abstract

本申请提供一种无人机三维航迹监测方法、系统以及三维监测装置，通过无人机三维航迹监测系统对无人机目标进行监控。无人机三维航迹监测方法包括：通过同光轴的双相机对无人机目标进行搜索，并识别无人机目标；通过双相机对无人机目标进行跟踪，获取观测点与无人机目标的距离、无人机目标的俯仰角和无人机目标的旋转角，实时计算无人机目标的三维坐标，并预测无人机目标的三维轨迹。本申请的方法不需要人工干预，通过双相机的配合，能够有效防止跟踪过程中无人机目标的丢失，并且还能进行无人机的航迹预测，监测精度高。系统采用模块化设计，适用领域广，可根据应用条件平衡系统性能和成本。

Description

无人机三维航迹监测方法、系统以及三维监测装置

技术领域

本发明属于无人机技术领域，具体涉及一种用于无人机三维航迹监测方法、系统以及三维监测装置。

背景技术

近年来，无人机广泛应用于电力、石油、交通、安防巡检。市面上无人机厂商型号众多，质量良莠不齐，需要进行量化的飞行性能检测。无人机操作人员需参加飞行操作资质和专业技能培训，主要依靠现场教员采用肉眼观察，培养合格的无人机操作手培养成本高、难度大、效率低，不易于无人机推广应用。传统的多旋翼无人机飞行性能检测和操作培训考核，多采用裁判现场打分的形式，缺乏科学量化的评价手段。固定翼无人机飞行高度高，距离远，无法采用裁判打分的方式评价其飞行性能。在安防领域，飞行安全事故和无人机非法入侵时有发生，但及时发现定位外部无人机入侵一直是安防的难题。

目前无人机三维位置测量方法可以分成四类。

一是通过测量站点对空组网观测采用共线方程解算无人机三维位置的方式。该类方法无法应用于长距离上的移动目标观测，例如在数百至数千米距离对固定翼无人机飞行性能检测。由于无法对观测范围外的无人机进行检测，因此也无法应用与无人机非法入侵监测。

二是通过有源或无源雷达探测的方式。但是，无人机数图传链路功率小，无源雷达探测距离有限。在工作距离内，无人机位置测量不够精确，仅能探测到无人机的大概方位，无法精确测距定位。不能用于无人机性能试验检测或培训考核。也无法为无人机主动防御装置提供准确的无人机目标位置。有源雷达成本较高，无人机属于低小慢目标，多普勒效应不明显，导致雷达探测效果差，且易受到飞鸟等目标干扰造成系统误报。有源雷达存在电磁波辐射，对附近电子设备存在电磁干扰等问题。有源雷达安装布设需要证照手续等，且成本高，难以大范围推广应用。

三是通过事先在带观测无人机上加装GNSS定位装置。但是在复杂背景下会出现其他目标误报、虚警等问题。目标跟踪和伺服过程也没有进行误差补偿等手段，只能实现无人机位置方向的跟踪，无法解算目标在地理坐标系下的精确空间位置，其观测数据由于各项系统误差源不可控。

四是采用光电一体设备进行目标识别跟踪的方式。但是缺乏从复杂背景下提取出位置未知的移动目标的鲁棒性，需要手动或者由其他系统提供目标位置的初值，才能控制相机捕捉到移动目标。不能预测计算目标的下一步方位，当目标速度较快时，将导致无法技术搜索到有效目标，从而产生跟踪误差甚至目标丢失，降低目标的跟踪性能。

发明内容

鉴于此，本发明的目的在于提供一种无人机三维航迹监测方法、系统以及三维监测装置，以解决现有技术中存在的监测范围小，从复杂背景中准确识别出空中飞行的无人机目标结算其三维坐标，计算并预测其飞行航迹困难等问题。

在第一方面，一种无人机三维航迹监测方法，其特征在于，包括：

通过同光轴的双相机对无人机目标进行搜索，并识别无人机目标；

通过双相机对无人机目标进行跟踪，获取观测点与无人机目标的距离、无人机目标的俯仰角和无人机目标的旋转角，实时计算无人机目标的三维坐标，并预测无人机目标的三维轨迹。

进一步地，

所述通过同光轴的双相机对无人机目标进行搜索，并识别无人机目标采用图像处理技术，所述图像处理技术包括帧差分算法和第一深度学习目标识别算法。

进一步地，在对无人机目标进行搜索的过程中，通过所述帧差分算法和第一深度学习目标识别算法的比对排除非无人机目标。

进一步地，所述帧差分算法包括：

计算出连续的第N、N+1、N+2…N+S帧图像中观测重合的区域；

在重合区域中对第N、N+1、N+2…N+S连续的第一预设帧值的图像进行比对，获取图像中移动目标区域；

计算移动目标区域的最小外接矩形的帧差分识别结果RC_i的像素坐标，其中，帧差分识别结果RC_i≥第一预设像素。

进一步地，所述第一深度学习目标识别算法包括：

第一深度学习模型，以识别无人机目标；

通过第一深度学习模型处理各帧图像，计算目标的最小外接矩形的深度学习识别结果RD_i的像素坐标，其中，深度学习识别结果RD_i≥第二预设像素。

进一步地，所述帧差分算法和所述第一深度学习目标识别算法比对排除非无人机目标的方法是：

对于同帧的一张图像，当最小外接矩形的帧差分识别结果RC_i的像素坐标与最小外接矩形的深度学习识别结果RD_i的像素坐标的交并比IOU大于第一预设值时，确定搜索区域中发现疑似无人机目标；

当连续第二预设帧值出现第一预设像素及以上的疑似无人机目标，则确认为无人机目标，对无人机目标进行跟踪；否则，确认为疑似无人机目标的误报。

进一步地，所述图像处理技术还包括第二深度学习目标识别算法，当排除非无人机目标后，通过第二深度学习目标识别算法确认无人机目标类型；

所述第二深度学习目标识别算法包括：

第二深度学习模型，以匹配并输出无人机目标类型；

当连续第三预设帧值匹配为无人机目标，则对该无人机目标进行跟踪；否则，重新进行搜索。

进一步地，所述的通过双相机对无人机目标进行跟踪采用目标跟踪算法；

所述目标跟踪算法用于处理双相机采集的图像，并根据获得的图像的数据调节伺服云台。

进一步地，所述目标跟踪算法包括：

跟踪模块，跟踪模块用于跟踪无人机目标在连续帧之间的运动轨迹，由前一帧无人机目标所在位置预估当前帧无人机目标位置；

学习模块，所述学习模块采用P-N学习算法，对所述跟踪模块预估到的运动轨迹进行修正。

进一步地，所述根据获得的图像的数据调节伺服云台采用云台图像跟踪伺服方法调节伺服云台，所述云台图像跟踪伺服方法包括：

在所述双相机视野正中心定义一个坐标原点；

根据无人机目标的脱靶量坐标获取无人机目标偏离坐标原点的角度，逐渐修正并减小无人机目标偏离坐标原点的角度。

进一步地，获取无人机目标偏离坐标原点的角度的方法是通过以下公式：

其中，f为双相机的焦距，（

，

）为无人机目标的脱靶量坐标。

进一步地，所述的对无人机目标进行跟踪的过程包括：

通过激光测距仪获取观测点与无人机目标之间的距离，并由角度传感器计算旋转角和俯仰角，加入系统误差补偿，并通过极坐标转换，计算得到无人机目标的三维位置坐标；

通过双相机连续观测，获取无人机目标移动速度以及无人机目标的移动方向；

根据无人机目标移动速度以及无人机目标的移动方向，预测预设时间段无人机的航迹。

进一步地，所述无人机三维航迹监测方法包括对多个无人机目标进行观测，对多个无人机目标进行观测的方法包括：

采用图像处理技术，通过双相机记录多个所述无人机目标，并加入系统误差补偿，进行对无人机目标的观测和切换。

进一步地，所述无人机三维航迹监测方法包括对多个无人机目标进行观测，对多个无人机目标进行观测的方法还包括：采用地理坐标跟踪技术；

地理坐标跟踪技术包括：

对各无人机目标进行定位，计算无人机目标在伺服云台坐标系中的坐标；

通过变换矩阵转换为大地坐标系下的坐标，通过计算机存储大地坐标值；

对各无人机目标进行引导，地理坐标跟踪器根据储存的各无人机目标的大地坐标值，计算出各无人机目标在伺服云台坐标系下的坐标值；

伺服系统根据所述坐标值，驱动伺服云台转动到该旋转角与俯仰角，使目标始终保持在相机的靶面中心。

在第二方面，提供一种无人机三维监测系统，包括：

三维监测装置，用于对无人机进行搜索和跟踪；

图像处理模块，用于对所述三维监测装置获得的图像进行分析，以排除非无人机目标以及识别确定无人机目标；

跟踪模块，用于预估无人机目标的飞行轨迹。

进一步地，所述图像处理模块包括：

帧差分算法单元，用于计算出连续的第N、N+1、N+2…N+S帧图像中观测重合的区域；在重合区域中对第N、N+1、N+2…N+S连续的第一预设帧值的图像进行比对，获取图像中移动目标区域；计算移动目标区域的最小外接矩形的帧差分识别结果RC_i的像素坐标，其中，帧差分识别结果RC_i≥第一预设像素；

深度学习目标识别算法单元，包括第一深度学习目标识别算法单元和第二深度学习目标识别算法单元；

其中，

所述第一深度学习目标识别算法单元用于预先训练第一深度学习模型，以识别无人机目标；通过第一深度学习模型处理各帧图像，计算目标的最小外接矩形的深度学习识别结果RD_i的像素坐标，其中，深度学习识别结果RD_i≥第一预设像素；

所述帧差分算法单元和所述第一深度学习目标识别算法单元通过比对排除非无人机目标，当排除非无人机目标后，所述第二深度学习目标识别算法单元用于确认无人机目标类型。

进一步地，所述第二深度学习目标识别算法单元能够预先训练第二深度学习模型，以匹配并输出无人机目标类型；当连续第二预设帧值匹配为无人机目标，则对该无人机目标进行跟踪；否则，重新进行搜索。

进一步地，还包括学习模块，所述学习模块用于对所述跟踪模块预估到的运动轨迹进行修正。

和/或，定位模块，用于对所述三维监测装置的地理坐标进行定位。

在第三方面，提供一种三维监测装置，包括：

伺服云台，其上设置有水平伺服电机、俯仰伺服电机以及角度传感器；

双相机，其同光轴设置在所述伺服云台上，所述双相机用于对无人机目标进行搜索和跟踪；

激光测距仪，其与所述双相机同光轴设置，所述激光测距仪与所述双相机独立光路，所述激光测距仪用于测量其所在观测点与监测到的无人机目标之间的距离。

进一步地，所述双相机包括：

短焦距相机，其设置于所述伺服云台上，用于对无人机目标进行搜索；

长焦距相机，其与所述短焦距相机同光轴设置，长焦距相机用于对无人机目标进行识别和跟踪。

进一步地，还包括一同光轴框架，其设置于所述伺服云台，所述同光轴框架用于安装所述短焦距相机、所述长焦距相机以及所述激光测距仪。

本申请具有的有益效果：

本申请提供的无人机三维航迹监测方法、系统以及三维监测装置，通过无人机三维航迹监测系统对无人机目标进行搜索，通过对双相机拍摄的图像进行分析、计算以及比对，排出非无人机目标，并消除误报虚警。当识别到无人机目标后，对无人机目标进行识别和跟踪，并通过测量无人机目标距离观测点的距离和方位角，并消除系统中存在的系统误差，实时计算无人机目标的三维坐标，并预测无人机目标的飞行轨迹。此过程不需要人工干预，通过双相机的配合，能够有效防止跟踪过程中无人机目标的丢失，并且还能进行无人机的航迹预测，监测精度高，适用领域，并能够平衡系统性能，节约成本。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚。

图1是根据本发明实施例提供的无人机三维航迹监测方法的流程示意图；

图2是根据本发明实施例提供的无人机三维监测系统的简易结构示意图。

其中，1-短焦距相机，2-长焦距相机，3-激光测距仪，4-同光轴框架，5-俯仰伺服电机，6-水平伺服电机。

具体实施方式

以下将参照附图更详细地描述本发明的各种实施例。在各个附图中，相同的元件采用相同或类似的附图标记来表示。为了清楚起见，附图中的各个部分没有按比例绘制。

参考图1，在第一方面，本申请提供的一种无人机三维航迹监测方法，在本实施例中，通过第二方面提供的无人机三维监测系统和第三方面提供的三维监测装置，来实施无人机三维航迹监测方法，为了便于更好的理解在第一方面申请的无人机三维航迹监测方法，首先对无人机三维监测系统进行详细的描述。

具体的，无人机三维监测系统包括：三维监测装置，用于对无人机进行搜索和跟踪；图像处理模块，用于对所述三维监测装置获得的图像进行分析，以排除非无人机目标以及识别确定无人机目标；跟踪模块，用于预估无人机目标的飞行轨迹。

图像处理模块包括帧差分算法单元和深度学习目标识别算法单元。帧差分算法单元，用于计算出连续的第N、N+1、N+2…N+S帧图像中观测重合的区域；在重合区域中对第N、N+1、N+2…N+S连续的第一预设帧值的图像进行比对，获取图像中移动目标区域；计算移动目标区域的最小外接矩形的帧差分识别结果RC_i的像素坐标，其中，帧差分识别结果RC_i（Rectangle Compare）≥第一预设像素。深度学习目标识别算法单元，包括第一深度学习目标识别算法单元和第二深度学习目标识别算法单元。

所述第一深度学习目标识别算法单元用于预先训练第一深度学习模型，以识别无人机目标；通过第一深度学习模型处理各帧图像，计算目标的最小外接矩形的深度学习识别结果RD_i（Rectangle discrimination）的像素坐标，其中，深度学习识别结果RD_i≥第一预设像素。

所述帧差分算法单元和所述第一深度学习目标识别算法单元通过比对排除非无人机目标，当排除非无人机目标后，所述第二深度学习目标识别算法单元用于确认无人机目标类型。第二深度学习目标识别算法单元能够预先训练第二深度学习模型，以匹配并输出无人机目标类型；当连续第二预设帧值匹配为无人机目标，则对该无人机目标进行跟踪；否则，重新进行搜索。

参考图2，第三方面提供的三维监测装置包括：伺服云台，其上设置有水平伺服电机6、俯仰伺服电机5以及角度传感器，通过水平伺服电机6能够进行在水平面上的转动，俯仰伺服电机5可以进行俯仰角的角度调节，能够通过该伺服平台对无人机目标的追踪；双相机，其同光轴设置在所述伺服云台上，所述双相机用于对无人机目标进行搜索和跟踪；双相机包括：短焦距相机1，其设置于所述伺服云台上，短焦距相机1能够提供较大的视野，用于对无人机目标进行搜索；长焦距相机2，其与所述短焦距相机1同光轴设置，长焦距相机2用于精确地对无人机目标进行捕捉跟踪，两个相机经过内外标定消除安装过程中误差，以保证光路同轴；激光测距仪3，其与所述双相机同光轴设置，且激光测距仪与双相机独立光路，避免了将激光器与可见光摄像机设计为共光路形式，激光器高能量输出激光造成可见光波段的增透膜损伤。所述激光测距仪3用于测量其所在观测点与监测到的无人机目标之间的距离。

在本实施例中，通过角度传感器计算双相机（即长焦距相机2和短焦距相机1）的俯仰角和旋转角，从而能够计算和预测无人机目标的飞行三维轨迹。

三维监测装置还包括一同光轴框架4，其设置于所述伺服云台上，所述同光轴框架4用于安装所述短焦距相机1、所述长焦距相机2以及所述激光测距仪3。同光轴框架4经水平伺服电机6和俯仰伺服电机5驱动，实现短焦距相机1、所述长焦距相机2以及所述激光测距仪3的同光轴移动。

无人机三维监测系统通过双相机、激光测距仪3、同光轴框架4以及伺服云台，并通过图像处理模块、跟踪模块和学习模块，可以自动识别出无人机目标并进行实时跟踪，计算并预测无人机飞行航迹。

无人机三维航迹监测方法，包括：步骤一、通过同光轴的双相机对无人机目标进行搜索，并识别无人机目标；步骤二、通过双相机对无人机目标进行跟踪，获取观测点与无人机目标的距离、无人机目标的俯仰角和无人机目标的旋转角，实时计算无人机目标的三维坐标，并预测无人机目标的三维轨迹。

作为本领域的技术人员应当理解的是，在步骤一之前还可以包括组装调试步骤，实现对无人机三维监测系统的组装和调试，并消除三维监测装置上双相机的光轴、激光测距仪3的光轴、伺服云台的方位轴轴线以及俯仰轴轴线之间的重合度误差。从而保证双相机以及激光测距仪3的监测精度。还需要确定三维监测装置的精确地理坐标，通过显示镜头，在水平方向上，水平正东为0向；在竖直方向上，以铅垂线向上为0向。两电机均采用顺时针转动，转动过程中转换成以极坐标形式计算同光轴观测的方向角。

所述通过同光轴的双相机对无人机目标进行搜索，并识别无人机目标采用图像处理技术；所述图像处理技术包括帧差分算法和第一深度学习目标识别算法。

在本实施例中，各相机1以10fps或以上频率对空拍摄。

在对无人机目标进行搜索的过程中，首先对非无人机目标进行排除。对无人机目标进行排除的方法是：通过所述帧差分算法和第一深度学习目标识别算法的比对排除非无人机目标；帧差分算法和第一深度学习目标识别算法为两个独立的算法，能够提高系统的鲁棒性，降低误报率。

其中，图像处理技术还包括第二深度学习目标识别算法，所述第一深度学习目标识别算法用于初步识别疑似无人机目标，并排除非无人机目标；所述第二深度学习目标识别算法用于确定是否为无人机目标。

进一步地，通过所述帧差分算法和第一深度学习目标识别算法的比对排除非无人机目标；其中，所述帧差分算法包括：首先，计算出连续的第N、N+1、N+2…N+S帧图像中观测重合的区域；然后，在重合区域中对第N、N+1、N+2…N+S连续的第一预设帧值的图像进行比对，获取图像中移动目标区域；最后，计算移动目标区域的最小外接矩形的帧差分识别结果RC_i（Rectangle Compare）的像素坐标，其中，帧差分识别结果RC_i≥第一预设像素。其中，N+S为代数式，N、S和i均为未知数。在一个具体实施例中，第一预设帧值为3帧，第一预设像素为3*3像素。

所述第一深度学习目标识别算法包括：预先训练第一深度学习模型，以识别多种无人机目标，比如识别多旋翼无人机、固定翼无人机、无人直升机等典型飞行无人机目标；然后通过第一深度学习模型处理各帧图像，计算目标的最小外接矩形深度学习识别结果RD_i（Rectangle discrimination）的像素坐标，其中，RD_i≥第一预设像素（3*3像素），i为未知数。

对于同帧的一张图像，通过帧差分算法和第一深度学习目标识别算法分别获取的最小外接矩形RC_i的像素坐标与最小外接矩形RD_i的像素坐标的交并比IOU（Intersectionover Union）大于0.5时，确定搜索区域中发现疑似无人机目标；

当连续第二预设帧值出现3*3像素及以上的疑似无人机目标，则对无人机目标进行跟踪；否则，解除疑似无人机目标的误报和虚警。比如，排除云块变化、飞鸟等疑似无人机目标。其中，第二预设帧值包括但不限定为5帧，应当理解的是，帧数越多，判别就越清晰。

所述第二深度学习目标识别算法包括：预先训练第二深度学习模型，以匹配并输出无人机目标类型；当连续至少第二预设帧值（5帧）匹配为无人机目标，则对该无人机目标进行跟踪。否则，重新进行搜索。

第二深度学习目标识别算法和第一深度学习目标识别算法的区别是：第一深度学习目标识别算法识别远距离小范围像素范围的点状目标，第二深度学习目标识别算法识别长焦距相机2拉近后图像中无人机目标范围较大，从而识别几何轮廓清晰的多旋翼无人机、固定翼无人机、无人直升机等典型飞行无人机目标。

所述的通过双相机对无人机目标进行跟踪采用目标跟踪算法，所述目标跟踪算法用于处理双相机采集的图像，并根据获得的图像的数据调节伺服云台。

目标跟踪算法用于分别处理双相机采集到的图像，并相互独立，以长焦距相机2采集的图像为准对伺服云台发送伺服命令。短焦距相机1提供较大的视野，推测目标下一刻的方位，若长焦距相机2丢失无人机目标，则立即切换至短焦距相机1的跟踪数据，继续跟踪，调节伺服电机，使得长焦距相机2重心对准无人机目标。

所述目标跟踪算法包括：

跟踪模块，跟踪模块用于跟踪无人机目标在连续帧之间的运动轨迹，由前一帧无人机目标所在位置预估当前帧无人机目标位置。具体的，采用 L-K 光流法实现跟踪。在光流法的基础之上，通过中值流跟踪算法和归一化交叉相关筛选出最优的跟踪点，提供给光流实现跟踪。

学习模块，所述学习模块采用P-N学习算法，对所述跟踪模块预估到的运动轨迹进行修正。它是利用带标签的样本（训练样本）与不带标签的样本（测试样本）间存在的结构性特征来训练分类器，目标跟踪的过程中具有空间与时间上的结构性。时间上的结构性是指跟踪器在跟踪的过程中，目标根据跟踪器预估目标在下一帧中的位置只有一处，并且在连续帧过程中，目标运动的轨迹应该是一条平滑的轨迹线，而不会出现无法构成轨迹线的情况。P-N学习算法包括P专家算法和N专家算法，此时 P 专家算法可以根据时间上的结构性来判别检测器是否出现分类错误的情况，比如原本为正样本被检测器误分为负样本，通过P 专家算法发修正回正样本来构成跟踪过程中的轨迹线。空间上的结构性是指由检测器与P 专家算法给出的正样本中找出最可信的一个位置来保证目标只会出现在一个位置上。这个位置就是跟踪的结果并作为跟踪器的初始值。

所述根据获得的图像的数据调节伺服云台采用云台图像跟踪伺服方法调节伺服云台，云台图像跟踪伺服方法包括：在所述双相机视野正中心定义一个坐标原点；根据无人机目标的脱靶量坐标获取无人机目标偏离坐标原点的角度，脱靶量坐标为（

，

），逐渐修正并减小无人机目标偏离坐标原点的角度。

获取无人机目标偏离坐标原点的角度的方法是通过以下公式：

其中，f为双相机的焦距，（

，

）为无人机目标的脱靶量坐标。

在本实施例中，将激光测距仪3与双相机同光轴设置；首先，通过激光测距仪3获取观测点与无人机目标之间的距离，并由角度传感器计算旋转角和俯仰角，加入系统误差补偿，并通过极坐标转换，计算得到无人机目标的三维位置坐标；通过连续观测，获取无人机目标移动速度以及无人机目标的移动方向；最后，根据无人机目标移动速度以及无人机目标的移动方向，预测预设时间段无人机的航迹。

系统误差补偿是由于安装基面的加工平整度问题，导致伺服云台、双相机、激光测距仪3的光轴与伺服云台的方位俯仰轴一般不重合，通过系统的误差补偿，从而提高了监测的精度。

作为本领域技术人员应当知晓，三维监测装置的多个部件，多个部件在安装和运行中会存在多处的误差值，即系统误差，会严重影响三维监测装置的精确度，因此，需要对其进行系统误差补偿。

系统误差补偿采用自抗扰控制策略，自抗扰控制策略是一种非线性控制技术，不完全依赖于被控对象的数学模型，通过处理输入信号以及输出信号来提取扰动量，从而计算出系统中接收到的总扰动量，再将总扰动量的值取负前馈补偿于控制量，以“抵消”扰动的作用，大大提高系统的扰动隔离能力。

双相机与激光测距仪3均安装在伺服云台中的同光轴框架4中，应当理解的是，如果将激光器与可见光摄像机设计为共光路形式，激光器的高能量输出激光将造成可见光波段的增透膜损伤。因此本系统设计为双相机与激光测距仪3独立光路。由于同光轴框架4安装基面的加工误差，双相机的安装基面的加工误差、激光测距仪3安装基面的加工误差，同光轴框架4变形等因素，造成双相机与激光测距仪3安装在同光轴框架4后，光轴不能完全平行。

伺服云台通过装配在方位轴系上和俯仰轴系上的角度传感器测量目标在平台坐标系下的位置（R，B，C）。测量目标到伺服平台的距离为R，当伺服云台的光轴对准目标时伺服云台角度传感器俯仰角为B、伺服云台角度传感器方位角为C 。由于角度传感器自身分辨率精度、重复性、伺服云台的角度传感器安装面不平整、编码器轴与伺服云台的轴不完全重合等因素，造成方位、俯仰角角度传感器测量误差。

引入基于扩张状态观测器的自抗扰控制策略，使得其对总扰动量的等效扰动作用进行实时观测与补偿，强化了伺服系统的扰动隔离能力，构建了光电跟踪平台视轴速度稳定回路的数学模型，并引入了电流环对该数模进行简化处理，通过伺服控制系统中扰动作用原理，引入扰动总和的思想，采用基于自抗扰控制器的改进型视轴稳定控制方法。设计了含有降阶扩张状态观测器的自抗扰控制器，对扰动总和实时观测并进行线性化前馈补偿，有效提高了稳定平台伺服系统的扰动隔离性能，进而提升了平台观测精度。

对多个无人机目标进行观测的方法包括：

采用图像处理技术，通过双相机记录多个所述无人机目标，并加入系统误差补偿，进行多个无人机目标的观测和切换；具体的，通过短焦距相机1同时记录多个无人机目标，采用双相机同时观测的模式，避免了单相机变焦切换造成的目标丢失问题。采用双相机标定消除光轴误差，可以通过程序消除系统误差，避免了变焦相机镜片组变焦过程中系统误差不可控问题，进一步提升了观测精度。

或者，采用地理坐标跟踪技术，首先对各无人机目标进行定位，计算无人机目标在伺服云台坐标系中的坐标，通过变换矩阵转换为大地坐标系下（WGS84坐标系或国家大地2000坐标系）的坐标，通过计算机存储大地坐标值。然后对各无人机目标进行引导，地理坐标跟踪器根据储存的各无人机目标的大地坐标值，计算出各无人机目标在伺服云台坐标系下的坐标值，伺服系统根据所述坐标值，驱动伺服云台转动到该旋转角与俯仰角，使目标始终保持在相机的靶面中心，并保持图像稳定。对一个目标观察完毕后，计算机程序可自动将下一个目标通过地理坐标跟踪的方法引导入视场，有效解决了单纯依靠图像处理技术不能持续跟踪多个目标的问题，有效提高了对无人机目标的捕捉和监测效率。

本申请提供的无人机三维航迹监测方法、系统以及三维监测装置，通过无人机三维航迹监测系统对无人机目标进行搜索，通过对双相机拍摄的图像进行分析、计算以及比对，排出非无人机目标，并消除误报虚警。当识别到无人机目标后，对无人机目标进行识别和跟踪，并通过测量无人机目标距离观测点的距离和方位角，并消除系统中存在的系统误差，实时计算无人机目标的三维坐标，并预测无人机目标的飞行轨迹。此过程不需要人工干预，通过双相机的配合，能够有效防止跟踪过程中无人机目标的丢失，并且还能进行无人机的航迹预测，监测精度高，适用领域，并能够平衡系统性能，节约成本。

应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

最后应说明的是：显然，上述实施例仅仅是为清楚地说明本发明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (21)

1.一种无人机三维航迹监测方法，其特征在于，包括：

通过同光轴的双相机对无人机目标进行搜索，并识别无人机目标；

通过双相机对无人机目标进行跟踪，获取观测点与无人机目标的距离、无人机目标的俯仰角和无人机目标的旋转角，实时计算无人机目标的三维坐标，并预测无人机目标的三维轨迹。

2.根据权利要求1所述的无人机三维航迹监测方法，其特征在于，所述通过同光轴的双相机对无人机目标进行搜索并识别无人机目标采用图像处理技术，所述图像处理技术包括帧差分算法和第一深度学习目标识别算法。

3.根据权利要求2所述的无人机三维航迹监测方法，其特征在于，在对无人机目标进行搜索的过程中，通过所述帧差分算法和第一深度学习目标识别算法的比对排除非无人机目标。

4.根据权利要求3所述的无人机三维航迹监测方法，其特征在于，所述帧差分算法包括：

计算出连续的第N、N+1、N+2…N+S帧图像中观测重合的区域；

在重合区域中对第N、N+1、N+2…N+S连续的第一预设帧值的图像进行比对，获取图像中移动目标区域；

计算移动目标区域的最小外接矩形的帧差分识别结果RC_i的像素坐标，其中，帧差分识别结果RC_i≥第一预设像素。

5.根据权利要求4所述的无人机三维航迹监测方法，其特征在于，所述第一深度学习目标识别算法包括：

第一深度学习模型，以识别无人机目标；

通过第一深度学习模型处理各帧图像，计算目标的最小外接矩形的深度学习识别结果RD_i的像素坐标，其中，深度学习识别结果RD_i≥第二预设像素。

6.根据权利要求5所述的无人机三维航迹监测方法，其特征在于，所述帧差分算法和所述第一深度学习目标识别算法比对排除非无人机目标的方法是：

对于同帧的一张图像，当最小外接矩形的帧差分识别结果RC_i的像素坐标与最小外接矩形的深度学习识别结果RD_i的像素坐标的交并比IOU大于第一预设值时，确定搜索区域中发现疑似无人机目标；

当连续第二预设帧值出现第一预设像素及以上的疑似无人机目标，则确认为无人机目标，对无人机目标进行跟踪；否则，确认为疑似无人机目标的误报。

7.根据权利要求3或6所述的无人机三维航迹监测方法，其特征在于，所述图像处理技术还包括第二深度学习目标识别算法，当排除非无人机目标后，通过第二深度学习目标识别算法确认无人机目标类型；

所述第二深度学习目标识别算法包括：

第二深度学习模型，以匹配并输出无人机目标类型；

当连续第三预设帧值匹配为无人机目标，则对该无人机目标进行跟踪；否则，重新进行搜索。

8.根据权利要求1所述的无人机三维航迹监测方法，其特征在于，所述的通过双相机对无人机目标进行跟踪采用目标跟踪算法；

所述目标跟踪算法用于处理双相机采集的图像，并根据获得的图像的数据调节伺服云台。

9.根据权利要求8所述的无人机三维航迹监测方法，其特征在于，所述目标跟踪算法包括：

跟踪模块，跟踪模块用于跟踪无人机目标在连续帧之间的运动轨迹，由前一帧无人机目标所在位置预估当前帧无人机目标位置；

学习模块，所述学习模块采用P-N学习算法，对所述跟踪模块预估到的运动轨迹进行修正。

10.根据权利要求8所述的无人机三维航迹监测方法，其特征在于，所述根据获得的图像的数据调节伺服云台采用云台图像跟踪伺服方法调节伺服云台，所述云台图像跟踪伺服方法包括：

在所述双相机视野正中心定义一个坐标原点；

根据无人机目标的脱靶量坐标获取无人机目标偏离坐标原点的角度，逐渐修正并减小无人机目标偏离坐标原点的角度。

11.根据权利要求10所述的无人机三维航迹监测方法，其特征在于，获取无人机目标偏离坐标原点的角度的方法是通过以下公式：

其中，f为双相机的焦距，（

，

）为无人机目标的脱靶量坐标。

12.根据权利要求1所述的无人机三维航迹监测方法，其特征在于，所述的对无人机目标进行跟踪的过程包括：

通过激光测距仪获取观测点与无人机目标之间的距离，并由角度传感器计算旋转角和俯仰角，加入系统误差补偿，并通过极坐标转换，计算得到无人机目标的三维位置坐标；

通过双相机连续观测，获取无人机目标移动速度以及无人机目标的移动方向；

根据无人机目标移动速度以及无人机目标的移动方向，预测预设时间段无人机的航迹。

13.根据权利要求1所述的无人机三维航迹监测方法，其特征在于，所述无人机三维航迹监测方法包括对多个无人机目标进行观测，对多个无人机目标进行观测的方法包括：

采用图像处理技术，通过双相机记录多个所述无人机目标，并加入系统误差补偿，进行对无人机目标的观测和切换。

14.根据权利要求1所述的无人机三维航迹监测方法，其特征在于，所述无人机三维航迹监测方法包括对多个无人机目标进行观测，对多个无人机目标进行观测的方法还包括：采用地理坐标跟踪技术；

地理坐标跟踪技术包括：

对各无人机目标进行定位，计算无人机目标在伺服云台坐标系中的坐标；

通过变换矩阵转换为大地坐标系下的坐标，通过计算机存储大地坐标值；

对各无人机目标进行引导，地理坐标跟踪器根据储存的各无人机目标的大地坐标值，计算出各无人机目标在伺服云台坐标系下的坐标值；

伺服系统根据所述坐标值，驱动伺服云台转动到该旋转角与俯仰角，使目标始终保持在相机的靶面中心。

15.一种无人机三维监测系统，其特征在于，包括：

三维监测装置，用于对无人机进行搜索和跟踪；

图像处理模块，用于对所述三维监测装置获得的图像进行分析，以排除非无人机目标以及识别确定无人机目标；

跟踪模块，用于预估无人机目标的飞行轨迹。

16.根据权利要求15所述的无人机三维监测系统，其特征在于，所述图像处理模块包括：

帧差分算法单元，用于计算出连续的第N、N+1、N+2…N+S帧图像中观测重合的区域；在重合区域中对第N、N+1、N+2…N+S连续的第一预设帧值的图像进行比对，获取图像中移动目标区域；计算移动目标区域的最小外接矩形的帧差分识别结果RC_i的像素坐标，其中，帧差分识别结果RC_i≥第一预设像素；

深度学习目标识别算法单元，包括第一深度学习目标识别算法单元和第二深度学习目标识别算法单元；

其中，

所述第一深度学习目标识别算法单元用于预先训练第一深度学习模型，以识别无人机目标；通过第一深度学习模型处理各帧图像，计算目标的最小外接矩形的深度学习识别结果RD_i的像素坐标，其中，深度学习识别结果RD_i≥第一预设像素；

所述帧差分算法单元和所述第一深度学习目标识别算法单元通过比对排除非无人机目标，当排除非无人机目标后，所述第二深度学习目标识别算法单元用于确认无人机目标类型。

17.根据权利要求16所述的无人机三维监测系统，其特征在于，所述第二深度学习目标识别算法单元能够预先训练第二深度学习模型，以匹配并输出无人机目标类型；当连续第二预设帧值匹配为无人机目标，则对该无人机目标进行跟踪；否则，重新进行搜索。

18.根据权利要求15所述的无人机三维监测系统，其特征在于，还包括：

学习模块，所述学习模块用于对所述跟踪模块预估到的运动轨迹进行修正；

和/或，定位模块，用于对所述三维监测装置的地理坐标进行定位。

19.一种三维监测装置，其特征在于，包括：

伺服云台，其上设置有水平伺服电机、俯仰伺服电机以及角度传感器；

双相机，其同光轴设置在所述伺服云台上，所述双相机用于对无人机目标进行搜索和跟踪；

激光测距仪，其与所述双相机同光轴设置，所述激光测距仪与所述双相机独立光路，所述激光测距仪用于测量其所在观测点与监测到的无人机目标之间的距离。

20.根据权利要求19所述的三维监测装置，其特征在于，所述双相机包括：

短焦距相机，其设置于所述伺服云台上，用于对无人机目标进行搜索；

长焦距相机，其与所述短焦距相机同光轴设置，长焦距相机用于对无人机目标进行识别和跟踪。

21.根据权利要求19所述的三维监测装置，其特征在于，还包括一同光轴框架，其设置于所述伺服云台，所述同光轴框架用于安装所述双相机和所述激光测距仪。

Images