CN115544673B - 一种大型无人机起降辅助操控的方法 - Google Patents

Abstract

本发明提供一种大型无人机起降辅助操控的方法，包括：无人机上安装前视摄像机；无人机地面控制站中运行平显软件和飞行仿真软件；平显软件上显示前视摄像机的实时画面并根据无人机遥测数据绘制虚拟跑道，同时计算链路周期平均时延信息；飞行仿真软件接收无人机遥测数据并结合时延信息进行飞行模拟，将飞行模拟数据实时传输到平显软件的三维视景模块；三维视景模块根据飞行模拟预测数据进行虚拟场景的飞行仿真，得到无人机飞行模拟三维画面；平显软件同时显示虚拟跑道以及前视摄像机的实时画面与无人机飞行模拟三维画面，通过比对画面判断此刻操作对应真实无人机的反馈预期。本发明能够解决无人机传输延迟情况下人工操控带来的系统诱发震荡的问题。

Description

一种大型无人机起降辅助操控的方法

技术领域

本发明涉及无人机起降辅助操控技术领域，具体而言，涉及一种大型无人机起降辅助操控的方法。

背景技术

大型固定翼无人机作为航空高端智能制造装备的典型代表，虽然大部分时间能够依靠无人机智能系统安全运行，但是在应急情况下，仍然需要地面操控人员介入，进行人工安全操控，保证无人机安全返航。

地面人员使用地面控制系统，通过数据链路无线操控无人机，整个信息传输和反馈的过程存在操控时延。时延带来地面人员操控难度，当前监视的状态是无人机时延时间之前的状态，并不是无人机当前真正的状态，使得地面人员在操作无人机的时候需要通过自身反映来适应和克服系统带来的操控时延。不同操控人员的身体反映所反馈的操控适应能力是存在差别的，也使得不同操控人员的操控能力参差不齐。特别是在无人机起飞和降落阶段，无人机速度快、跑道窄，这个阶段需要操控人员产生操控预估判断无人机系统运行方向，通过精准操控来抵消延迟带来的无人机滞后操控。否则将带来地面人员的操控诱发震荡，使得无人机在人工操控过程中的运行状态始终处于震荡状态，无法收敛，导致人为操控事故发生。

发明内容

本发明旨在提供一种大型无人机起降辅助操控的方法，以解决无人机传输延迟情况下人工操控带来的系统诱发震荡的问题。

本发明提供的一种大型无人机起降辅助操控的方法，包括：

S1，在无人机上安装前视摄像机；

S2，在无人机地面控制站中运行平显软件和飞行仿真软件；

S3，在平显软件上显示前视摄像机的实时画面并根据无人机遥测数据绘制虚拟跑道，同时计算链路周期平均时延信息；

S4，飞行仿真软件接收无人机遥测数据并结合链路周期平均时延信息进行实时飞行模拟，将飞行模拟数据实时传输到平显软件的三维视景模块；

S5，平显软件的三维视景模块根据飞行模拟预测数据进行虚拟场景的飞行仿真，得到无人机飞行模拟三维画面；

S6，平显软件同时显示虚拟跑道以及前视摄像机的实时画面与无人机飞行模拟三维画面，飞行员通过比对前视摄像机的实时画面与无人机飞行模拟三维画面，判断此刻操作对应真实无人机的反馈预期，从而消除链路传输延迟带来的操作反馈滞后的问题。

进一步的，步骤S1中在无人机上安装前视摄像机的方法包括：

在无人机正前方安装前视摄像机；

前视摄像机在无人机上的安装朝向沿无人机机体坐标系X轴指向机头正前方；

前视摄像机和无人机机载数据链设备连接，通过数据链能够实时下传画面到无人机地面控制站。

进一步的，无人机机头下方还安装有远光照明灯。

进一步的，步骤S3中绘制虚拟跑道的方法包括：

根据无人机遥测数据中飞行阶段字判断无人机是否是起飞或降落阶段；如果无人机是起飞或降落阶段，则根据无人机位置和航向进行跑道数据库确定和信息提取，从而确定有无跑道数据库：

当无跑道数据库时：对前视摄像机的实时画面进行实时跑道检测和/或高速公路边缘检测，提取跑道和/或高速公路边缘信息；在平显软件上显示的前视摄像机的实时画面上用实线将检测结果绘制成虚拟跑道，叠加显示在实时画面上；

当有跑道数据库时：根据无人机位置和航向，调用跑道数据库信息，在平显软件上显示的前视摄像机的实时画面上用实线将跑道数据库信息叠加显示在实时画面上。

进一步的，步骤S3中计算链路周期平均时延信息的方法包括：

产生每一帧遥控数据时，无人机地面控制站获取本地时间T1，并将本地时间T1填入每一帧遥控数据中，遥控数据传输到无人机数据链设备；

无人机数据链设备接收到遥控数据后，提取其中的时间T1，立即填入无人机遥测数据，并传输到无人机地面控制站的平显软件；

平显软件接收到无人机遥测数据后，立即获取计算机当前本地时间T2，并计算链 路当前实时传输时延T=T2-T1，同时计算周期平均时延信息

，Tz初始化值为T。

平显软件将计算周期平均时延信息Tz显示出来并传给飞行模拟软件。

进一步的，计算周期平均时延信息后，平显软件实时接收链路信息，并根据链路信息判断链路类型是卫通链路还是视距链路，如果进行了链路切换，则周期平均时延信息Tz的计算重新开始。

进一步的，步骤S4中进行实时飞行模拟预测的方法包括：

飞行模拟软件实时接收无人机遥测数据中的无人机飞行阶段、无人机实时飞行经度、纬度、海拔高度、姿态、航路、风速、风向和无人机实时重量，以及无人机地面控制站的左手操作杆、右手操作杆和脚蹬的控制数据；

飞行模拟软件采用真实飞行包进行实时飞行模拟，真实飞行包结合上述实时的无人机遥测数据和控制数据，并根据周期平均时延信息Tz模拟计算的无人机当前遥测数据，实时产生飞行模拟数据。

进一步的，步骤S6中平显软件的显示模式包括：

真实视频上方叠加三维显示模式；

分屏显示模式。

进一步的，所述真实视频上方叠加三维显示模式是指：

平显软件的显示区域分为两块显示区域，分别为左边显示区域和右边显示区域；

左边显示区域显示无人机正常起飞或降落阶段的前视摄像机的实时画面；并在前视摄像机的实时画面上方绘制一个小窗口，小窗口内显示无人机飞行模拟三维画面；

右边显示区域显示虚拟跑道的跑道俯视图。

进一步的，所述分屏显示模式是指：

显示区域分为三块显示区域，分别为左上显示区域，左下显示区域和右边显示区域；

左上显示区域显示无人机飞行模拟三维画面，左下显示区域显示前视摄像机的实时画面；或者，左上显示区域显示前视摄像机的实时画面，左下显示区域显示无人机飞行模拟三维画面；

右边显示区域显示虚拟跑道的跑道俯视图。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明考虑到了无人机数据链传输延迟会带来人工操控无人机时候操作和观察的滞后性。这种滞后性会导致无人机飞行员在操作无人机起飞和着路时候带来的诱发震荡。本发明通过无人机地面控制站的飞行模拟软件，引入真实飞行遥测数据，真实模拟无人机起飞和降落阶段的情况，并通过飞行模拟软件实时预测无人机位置和姿态信息，通过三维视景画面显示无人机的预测位置和姿态，帮助飞行员预测无人机即将运动的位置和姿态，飞行员根据反馈信息可提前做出操控判断。

2、本发明考虑到链路实时传输延迟和不同链路之间切换时候时延变化较大情况所带来的仿真模拟滞后情况，通过计算链路周期平均延迟，并通过仿真模拟估算无人机当前真实位置，更加真实的进行无人机控制辅助。

3、本发明考虑到无人机在非机场跑道起飞降落的情况，提出采用视频实时边缘检测方法提取非机场跑道，并在平显上进行虚拟跑道绘制，辅助飞行员进行起飞和降落操作。

4、本发明通过将无人机飞行模拟三维画面、前视摄像机的实时画面和跑道俯视图画面同时在一个屏幕显示，能够帮助飞行员更好的获取预测信息和真实信息的对比，更加安全可靠的做出分析后的操控判断。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例中大型无人机起降辅助操控的方法的原理图。

图2为本发明实施例中真实视频上方叠加三维显示模式的示意图。

图3为本发明实施例中分屏显示模式的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如图1所示，本实施例提出一种大型无人机起降辅助操控的方法，包括：

S1，在无人机上安装前视摄像机：

在无人机正前方安装前视摄像机；

前视摄像机在无人机上的安装朝向沿无人机机体坐标系X轴指向机头正前方；

前视摄像机和无人机机载数据链设备连接，通过数据链能够实时下传画面到无人机地面控制站。

为了便于在夜晚使用，无人机机头下方还安装有远光照明灯。

S2，在无人机地面控制站中运行平显软件和飞行仿真软件；应当理解，无人机、前视摄像机无人机地面控制站及其平显软件和飞行仿真软件等通过网络进行通信。平显软件可以采用21:9的显示器进行平显软件界面显示。

S3，在平显软件上显示前视摄像机的实时画面并根据无人机遥测数据绘制虚拟跑道，同时计算链路周期平均时延信息；其中：

绘制虚拟跑道的方法包括：

根据无人机遥测数据中飞行阶段字判断无人机是否是起飞或降落阶段；如果无人机是起飞或降落阶段，则根据无人机位置和航向进行跑道数据库确定和信息提取，从而确定有无跑道数据库：

当无跑道数据库时：对前视摄像机的实时画面进行实时跑道检测和/或高速公路边缘检测，提取跑道和/或高速公路边缘信息；如果是白天，可以采用边缘检测方法；如果是夜晚，开启远光照明灯，在高速可进行高速反光标识照明，并通过视频进行高速反光标识检测，在跑道可进行跑道灯检测。然后在平显软件上显示的前视摄像机的实时画面上用实线将检测结果绘制成虚拟跑道，叠加显示在实时画面上；

当有跑道数据库时：根据无人机位置和航向，调用跑道数据库信息，在平显软件上显示的前视摄像机的实时画面上用实线将跑道数据库信息叠加显示在实时画面上。

需要说明的是，飞行阶段字是指无人机的飞行阶段的状态说明；一般来说，无人机的飞行阶段包括三轮滑跑、两轮滑跑、离地起飞、巡航、进场着陆、两轮减速、三轮减速和任务结束，本实施例中要判断无人机是起飞或降落阶段，则是，若飞行阶段字是三轮滑跑、两轮滑跑或离地起飞，那么表明无人机是起飞阶段，若飞行阶段字是进场着陆、两轮减速或三轮减速，那么表明无人机是降落阶段。

计算链路周期平均时延信息的方法包括：

产生每一帧遥控数据时，无人机地面控制站获取本地时间T1，并将本地时间T1填入每一帧遥控数据中，遥控数据传输到无人机数据链设备；

无人机数据链设备接收到遥控数据后，提取其中的时间T1，立即填入无人机遥测数据，并传输到无人机地面控制站的平显软件；

平显软件接收到无人机遥测数据后，立即获取计算机当前本地时间T2，并计算链 路当前实时传输时延T=T2-T1，同时计算周期平均时延信息

，Tz初始化值为T； 进一步地，计算周期平均时延信息后，平显软件实时接收链路信息，并根据链路信息判断链 路类型是卫通链路还是视距链路，如果进行了链路切换，则周期平均时延信息Tz的计算重 新开始。

平显软件将计算周期平均时延信息Tz显示出来并传给飞行模拟软件。

S4，飞行仿真软件接收无人机遥测数据并结合链路周期平均时延信息进行实时飞行模拟，将飞行模拟数据实时传输到平显软件的三维视景模块：

飞行模拟软件实时接收无人机遥测数据中的无人机飞行阶段、无人机实时飞行经度、纬度、海拔高度、姿态、航路、风速、风向和无人机实时重量，以及无人机地面控制站的左手操作杆、右手操作杆和脚蹬的控制数据；

飞行模拟软件采用真实飞行包进行实时飞行模拟，真实飞行包结合上述实时的无人机遥测数据和控制数据，并根据周期平均时延信息Tz模拟计算的无人机当前遥测数据，实时产生飞行模拟数据。

S5，平显软件的三维视景模块根据飞行模拟预测数据进行虚拟场景的飞行仿真，得到无人机飞行模拟三维画面；

S6，平显软件同时显示虚拟跑道以及前视摄像机的实时画面与无人机飞行模拟三维画面，飞行员通过比对前视摄像机的实时画面与无人机飞行模拟三维画面，判断此刻操作对应真实无人机的反馈预期，从而消除链路传输延迟带来的操作反馈滞后的问题。本实施例平显软件的显示模式提供如下两种显示模式：

模式1，真实视频上方叠加三维显示模式：

如图2所示，平显软件的显示区域分为两块显示区域，分别为左边显示区域和右边显示区域；如前述采用21:9的显示器进行平显软件界面显示，左边显示区域则为16:9，右边显示区域则为5:9。

左边显示区域显示无人机正常起飞或降落阶段的前视摄像机的实时画面；并在前视摄像机的实时画面上方绘制一个小窗口，小窗口内显示无人机飞行模拟三维画面；

右边显示区域显示虚拟跑道的跑道俯视图。

模式2，分屏显示模式，如图3所示：

显示区域分为三块显示区域，分别为左上显示区域，左下显示区域和右边显示区域；如前述采用21:9的显示器进行平显软件界面显示，左上显示区域和左下显示区域组合的显示区域则为16:9，并进行上下均分，右边显示区域则为5:9。

左上显示区域显示无人机飞行模拟三维画面，左下显示区域显示前视摄像机的实时画面；或者，左上显示区域显示前视摄像机的实时画面，左下显示区域显示无人机飞行模拟三维画面；可以根据使用习惯进行设置。

右边显示区域显示虚拟跑道的跑道俯视图。在跑道俯视图中用实线绘制无人机遥测数据中的航迹，用虚线绘制飞行模拟数据中的航迹。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种大型无人机起降辅助操控的方法，其特征在于，包括：

S1，在无人机上安装前视摄像机；

S2，在无人机地面控制站中运行平显软件和飞行仿真软件；

S3，在平显软件上显示前视摄像机的实时画面并根据无人机遥测数据绘制虚拟跑道，同时计算链路周期平均时延信息；

S4，飞行仿真软件接收无人机遥测数据并结合链路周期平均时延信息进行实时飞行模拟，将飞行模拟数据实时传输到平显软件的三维视景模块；

S5，平显软件的三维视景模块根据飞行模拟预测数据进行虚拟场景的飞行仿真，得到无人机飞行模拟三维画面；

S6，平显软件同时显示虚拟跑道以及前视摄像机的实时画面与无人机飞行模拟三维画面，飞行员通过比对前视摄像机的实时画面与无人机飞行模拟三维画面，判断此刻操作对应真实无人机的反馈预期，从而消除链路传输延迟带来的操作反馈滞后的问题；

步骤S3中绘制虚拟跑道的方法包括：

根据无人机遥测数据中飞行阶段字判断无人机是否是起飞或降落阶段；如果无人机是起飞或降落阶段，则根据无人机位置和航向进行跑道数据库确定和信息提取，从而确定有无跑道数据库：

当无跑道数据库时：对前视摄像机的实时画面进行实时跑道检测和/或高速公路边缘检测，提取跑道和/或高速公路边缘信息；在平显软件上显示的前视摄像机的实时画面上用实线将检测结果绘制成虚拟跑道，叠加显示在实时画面上；

当有跑道数据库时：根据无人机位置和航向，调用跑道数据库信息，在平显软件上显示的前视摄像机的实时画面上用实线将跑道数据库信息叠加显示在实时画面上；

步骤S3中计算链路周期平均时延信息的方法包括：

产生每一帧遥控数据时，无人机地面控制站获取本地时间T1，并将本地时间T1填入每一帧遥控数据中，遥控数据传输到无人机数据链设备；

无人机数据链设备接收到遥控数据后，提取其中的时间T1，立即填入无人机遥测数据，并传输到无人机地面控制站的平显软件；

平显软件接收到无人机遥测数据后，立即获取计算机当前本地时间T2，并计算链路当前实时传输时延T=T2-T1，同时计算周期平均时延信息

，Tz初始化值为T；

平显软件将计算周期平均时延信息Tz显示出来并传给飞行模拟软件；

步骤S4中进行实时飞行模拟预测的方法包括：

飞行模拟软件实时接收无人机遥测数据中的无人机飞行阶段、无人机实时飞行经度、纬度、海拔高度、姿态、航路、风速、风向和无人机实时重量，以及无人机地面控制站的左手操作杆、右手操作杆和脚蹬的控制数据；

飞行模拟软件采用真实飞行包进行实时飞行模拟，真实飞行包结合上述实时的无人机遥测数据和控制数据，并根据周期平均时延信息Tz模拟计算的无人机当前遥测数据，实时产生飞行模拟数据。

2.根据权利要求1所述的大型无人机起降辅助操控的方法，其特征在于，步骤S1中在无人机上安装前视摄像机的方法包括：

在无人机正前方安装前视摄像机；

前视摄像机在无人机上的安装朝向沿无人机机体坐标系X轴指向机头正前方；

前视摄像机和无人机机载数据链设备连接，通过数据链能够实时下传画面到无人机地面控制站。

3.根据权利要求2所述的大型无人机起降辅助操控的方法，其特征在于，无人机机头下方还安装有远光照明灯。

4.根据权利要求1所述的大型无人机起降辅助操控的方法，其特征在于，计算周期平均时延信息后，平显软件实时接收链路信息，并根据链路信息判断链路类型是卫通链路还是视距链路，如果进行了链路切换，则周期平均时延信息Tz的计算重新开始。

5.根据权利要求1所述的大型无人机起降辅助操控的方法，其特征在于，步骤S6中平显软件的显示模式包括：

真实视频上方叠加三维显示模式；

分屏显示模式。

6.根据权利要求5所述的大型无人机起降辅助操控的方法，其特征在于，所述真实视频上方叠加三维显示模式是指：

平显软件的显示区域分为两块显示区域，分别为左边显示区域和右边显示区域；

左边显示区域显示无人机正常起飞或降落阶段的前视摄像机的实时画面；并在前视摄像机的实时画面上方绘制一个小窗口，小窗口内显示无人机飞行模拟三维画面；

右边显示区域显示虚拟跑道的跑道俯视图。

7.根据权利要求5所述的大型无人机起降辅助操控的方法，其特征在于，所述分屏显示模式是指：

显示区域分为三块显示区域，分别为左上显示区域，左下显示区域和右边显示区域；

左上显示区域显示无人机飞行模拟三维画面，左下显示区域显示前视摄像机的实时画面；或者，左上显示区域显示前视摄像机的实时画面，左下显示区域显示无人机飞行模拟三维画面；

右边显示区域显示虚拟跑道的跑道俯视图。

Images