CN113360055A - 一种无人机航路规划数据可视化与人机交互方法及系统 - Google Patents

Abstract

本发明公开一种无人机航路规划数据可视化与人机交互方法及系统，属于计算机辅助决策与规划领域，通过加载无人机航路规划任务区域的数字地图数据、地形高程数据，获取航路基本属性信息、航路点信息和航段信息；在航路要素表上完整显示航路点与航段信息；在数字地图上图形化显示航路点与航段的位置、距离和航向信息，形成航路态势图；在高程剖面图上显示航路途经的地形信息，以及图形化显示航路点与航段的位置、距离和高度信息；同步更新航路要素表、航路态势图和高程剖面图。本发明减轻了无人机任务规划人员的工作压力和强度，提高无人机任务规划人员对利用无人机航路规划系统进行辅助决策的时效性和有效性。

Description

一种无人机航路规划数据可视化与人机交互方法及系统

技术领域

本发明属于计算机辅助决策与规划领域，更具体地，本发明涉及无人机航路规划图形系统的数据可视化与人机交互方法及系统。

背景技术

无人机航路规划即综合地理信息和环境威胁信息，在考虑无人机性能、任务规定的到达时间、无人机之间的协同要求、飞行过程中的油料消耗情况、可能面临的威胁、飞行区域等约束条件的情况下，规划出一条自出发地到目的地的最优飞行航路或多条可飞行航路。作为无人机控制系统的关键技术之一，航路规划保障了无人机自主飞行、智能控制、行业应用的实现，同时，有效的航路规划系统能够大大提高无人机的任务完成能力。

航路规划本质上是对一个问题的寻优求解，即从某个特定问题的初始状态出发，发现一系列行为或构造一系列操作步骤，达到解决该问题的目标状态。当前航路规划技术大量采用计算机辅助决策的方法，涉及控制理论、优化理论、认知学、计算机技术、人工智能等多个领域，其目标就是自动化或半自动化的给出航路规划的最优解。

由于无人机任务和环境的复杂性，涉及到无人机的飞行性能、动力学特征、地形匹配、威胁区域规避、多无人机航路冲突等多种因素、自然地理环境带来的约束条件以及任务目标的动态要求，导致航路规划优化问题的难点主要是其问题优化的复杂性。无人机任务规划人员需要面对大量不断随时空变化的航路动态数据，这就需要利用数据可视化技术，将数据和态势的重要信息、关键时节和多域数据间彼此的关联性可视化地展现在规划人员面前。

最终航路规划的决策还是要由规划人员来调整和决定，这期间需要大量的人机交互的试错和核查过程，调整并确认诸如无人机起飞降落时间与地点、路径点、飞行高度、任务需求、碰撞检测、威胁规避、地形利用、油料消耗、通信链路等复杂的影响无人机航路规划的要素，经过复杂而细致的调整操作逐步迭代逼近面向不同任务需求的航路规划最优解。所以在提升航路规划自动化水平的同时，还应重视设计创新的数据的可视化和人机交互方法和系统，从而在无人机航路规划作业中，最大化的发挥人的经验和知识带来的审时度势优势。

为了提高无人机执行任务的成功率，常常需要多架无人机协同完成任务。多无人机协同航路规划与单机无人机航路规划相比，除了要考虑躲避环境障碍、满足无人机飞行约束等条件，还需注意无人机之间的避免碰撞以及协同完成任务等要求。因此，多无人机协同航路规划更加复杂，也更难解决。需要将更丰富、更细致的在时间、空间以及实体多维度的综合视角提供给航路规划人员，对规划数据的可视化和人机交互提出了很大的挑战。

航路规划的优化问题，通常除了采用相关优化算法作为辅助规划手段，还需要大量的人工介入，不断进行调整、评估和确认的反复迭代。这种现状导致了航路规划必然是一个多轮人机交互的工作场景，如何提供一个良好高效的人机交互体验，权衡和设计人机控制的边界，成为无人机航路规划系统设计中一项专业和重要的工作。

鉴于上述内容，期望提供一种用于无人机航路规划的数据可视化与人机交互方法和系统，将影响无人机航路规划的各种要素信息采用地图、图形、线条、标号、字符、数字等综合显示方式，从多视角综合展示给无人机规划人员，并提供多种先进高效的人机交互手段，为规划决策提供多方位直观的参考信息，从而提高对无人机航路规划的有效性，缩短规划试错求解过程，减轻无人机任务规划人员的工作压力和强度。

发明内容

本发明的目的在于提供一种将无人机任务规划中无人机航路要素数据用计算机可视化形式进行多视角展示与图形化的人机交互方法及系统。减轻无人机任务规划人员的工作压力和强度，提高无人机任务规划人员对利用无人机航路规划系统进行辅助决策的时效性和有效性。

为实现上述目的，本发明采用以下技术方案：

一种无人机航路规划数据可视化与人机交互方法，包括如下步骤：

加载无人机航路规划任务区域的地理环境信息，地理环境信息包括数字地图数据与地形高程数据；

获取并解析无人机航路要素数据，航路要素数据包括航路基本属性信息、航路点信息和航段信息；

在航路要素表上完整显示航路点与航段信息；

在数字地图上图形化显示航路点与航段的位置、距离和航向信息，形成航路态势图；

根据地形高程数据在高程剖面图上显示航路途经的地形信息，以及图形化显示航路点与航段的位置、距离和高度信息；

当在航路要素表、航路态势图和高程剖面图的任意一个中改变航路信息时，航路要素表、航路态势图和高程剖面图三者同步更新显示。

进一步地，航路要素表按照航路点与航段信息采用相互错行的方式进行显示，其中在航路要素表左侧显示航路点信息，在航路要素表右侧显示航段信息，每一条航段信息与两个相邻航路点信息采用锯齿状相连交错显示。

进一步地，航路基本属性信息包括：航路ID、实体类型、航路名称、航路类型、开始时间、装载油量、返航油量、耗油量、总距离和总时间。

进一步地，航路点信息包括：航路点序号、到达时间、离开时间、停留时间、航路点类型、航路点经度、航路点纬度、航路点绝对高度、航路点真实高度和剩余油量等。

进一步地，航段信息包括：航段用时、航段平均速度、航段距离和航路坡度。

进一步地，在航路要素表中还采用图形化显示油料余量信息，用于预测油料消耗。

进一步地，根据无人机航路所飞越区域加载地形高程数据，并刷新显示对应的数字地图。

进一步地，在数字地图上图形化显示航路点与航段包括：采用以航路点位置为中心的圆形标记突出显示航路点位置，并在圆形标记中显示航路点标识；将航路点间以连线方式显示航段，并在航段上标记箭头符号，箭头方向与航向一致。

进一步地，高程剖面图上将航路途经的地形信息以地表高程包络线的形式进行显示，将航路中的各航路点的高度信息与地形包络线同时进行显示，并通过航路点连线来显示航路高度变化过程。

一种用于上述方法的无人机航路规划数据可视化与人机交互系统，包括：

用户输入设备，用于向计算设备输入操控指令、信息数据的计算机人机交互输入设备；

计算设备，用于存储数字地图数据、地形高程数据、航路要素数据和运行图形化人机交互模块，图形化人机交互模块用于将数字地图数据、地形高程数据、航路要素数据可视化生成航路要素表、航路态势图和高程剖面图；

图形显示设备，用于显示基于数据可视化的航路要素表、航路态势图和高程剖面图的人机交互视觉显示设备。

附图说明

图1是为本发明实施例的无人机航路规划数据可视化与人机交互系统组成图。

图2是为本发明实施例的无人机航路要素表。

图3是为本发明实施例的无人机航路态势图。

图4是为本发明实施例的无人机航路高程剖面图。

图5是为本发明实施例的用于无人机航路规划的数据可视化与人机交互的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清晰、完整的描述，显然，这些说明性的实施例是示例性的，仅仅是用于无人机航路规划的可视化综合显示与人机交互方法的示例和向导，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1描绘了用于无人机航路规划的数据可视化与人机交互系统(以下简称数据可视化与人机交互系统)100的示例性实施例。在示例性实施例中，数据可视化与人机交互系统100包括但不限制为用于无人机航路规划的用户输入设备101、计算设备102、图形显示设备103。

应当理解，图1是数据可视化与人机交互系统100的简要表示，是为了解释和便于描述的目的，而不是限制本主题的应用或范围。具体实践中，数据可视化与人机交互系统100将可能包括用于某些附加功能和特征的其它模块。

在示例性实施例中，用户输入设备101指那些连接于计算设备102，用于用户进行航路规划操作时进行信息输入与人机交互的设备，如键盘、鼠标、触控笔、屏幕触控等。

在示例性实施例中，数据可视化与人机交互系统软件运行于计算设备102中，其一般性的具有用于完成航路规划数据可视化任务所需的数字地图数据104、地形高程数据105、航路要素数据106和图形化人机交互模块107。

图形显示设备103指那些连接于计算设备102的图形显示器，可包括模拟的(如CRT显示器)或数字的(如液晶、有源矩阵、等离子体等类型的显示器)，也可包括同时兼具用户输入设备101的部分功能的屏幕触控功能的显示器。在某些实施例中，可选地，可有多台显示器用于扩展显示内容。

数字地图数据104主要包括航路规划所需的相关地域的地貌、地物按照地理坐标进行管理的空间位置或分布信息，数字地图数据104类型可包括栅格图、矢量图、影像图等。数字地图数据104一般通过计算设备的地理信息系统进行管理。

地形高程数据105为地球地表高程按照地理坐标进行网格化采样的海拔高程数据。

航路要素数据106是影响无人机航路规划优劣的各个因素数据，其互为作用与影响。其中任务意图或性能约束一般将作为输入数据调整的依据，经过航路解算后，从而将影响其他要素的改变，这些要素数据的组合，形成了航路规划的某个解决方案。

在示例性实施例中以XML Schema形式表示的航路要素数据结构，其包括航路基本属性信息、航路点属性信息和航段属性信息三个部分。

航路基本属性信息包括：航路ID、实体类型、航路名称、航路类型、开始时间、装载油量、返航油量、耗油量、总距离、总时间。

航路点属性信息包括：航路点经度、航路点纬度、航路点绝对高度、到达时间、停留时间、剩余油量、安全高度、方位、航路点类型。

航段属性信息包括：平均速度、航段距离、航段时间。

图形化人机交互模块107以数字地图数据104、地形高程数据105、航路要素数据106作为数据源，将以上数据综合可视化为航路要素表200、航路态势图300和高程剖面图400。

无人机任务规划人员在对航路规划进行决策时，通过用户输入设备101和图形显示设备103与计算设备102进行人机交互。

图2是在图1中的图形显示设备103上将航路要素数据进行可视化后的航路要素表200。

航路要素表200中按照规划航路的航路点序号在左侧列出了各个航路点的规划信息，如航路点序号、到达时间、离开时间、停留时间、航路点类型、航路点经度、航路点纬度、航路点绝对高度、航路点真实高度、剩余油量等信息。

航路要素表200中按照规划航路的航路点序号采用可视化的逐级变化的余油图形符号201和数字百分比的方式显示各航路点的余油估计情况。

航路要素表200中在右侧显示两个相邻航路点间航段的规划信息，包括航时、平均速度、航段距离、航段坡度等信息。

航路要素表200中航路点与航段间采用行列表形式，形成锯齿交错衔接方式202，将航路点信息与航段信息同时在一张航路要素表中按序体现出来。

航路要素表200中可以通过增加与删除按钮203对航路点进行增加与删除。

航路规划人员面对航路要素表200中相关要素，可以按照任务需要，对各相关要素进行修改，修改完成后，图形化人机交互模块107在后台根更新受影响和相关联的其他航路要素，同时更新航路要素数据106，将结果刷新显示在航路要素表200中相关位置以及航路态势图300和高程剖面图400上，从而完成航路要素更新的一次人机交互过程。

图3是在图1中的图形显示设备103在地理信息系统基础上将无人机航路规划相关的信息在航路态势图300上进行可视化显示。航路态势图300界面上包括数字地图309、工具栏301、信息栏302。

工具栏301主要放置对航路态势图进行缩放与漫游操作快捷按钮，对航路进行选择、增删等操作快捷按钮，以及一些常用辅助功能的业务计算如通视性、覆盖性计算等操作按钮。

信息栏302主要实时显示在数字地图309背景界面上相关的航路、目标、区域等相关信息。

在航路态势图300上将所获取的无人机航路信息以航路点与航段的形式在数字地图309上予以图形化显示，以航路点位置为中心的圆形标记303突出显示航路点位置，并在圆形标记中显示航路点标识307。航路点间以连线方式显示航段304，并在航路上标记箭头符号308，箭头方向与航向一致。

在航路态势图300的数字地图上309可视化显示无人机任务地域的地形、地貌等地理背景信息，可视化显示规划的无人机及该区域内其它飞行器航路信息，可视化显示无人机起降场、导航站、兴趣目标等位置与作用范围，同时还显示影响无人机的航路规划的其他人为划定的区域如禁飞区、侦察区等。在图3中显示了航路点303、航段304、起降场305、信标台306在数字地图309上的可视化示例。

航路规划人员可在航路态势图上根据任务规划要求，参考数字地图309以及信息栏302的相关信息作为参考，对航路点采用拖拽、点选等人机交互形式进行操作部署。图形化人机交互模块107同时更新航路要素数据106，从而完成航路要素更新的一次人机交互过程。

航路规划人员可在航路态势图300上根据任务规划要求，采用在数字地图上连线、定义区域的方式进行人机交互，图形化人机交互模块107对关心地域的地形、地物、目标进行通视性、通过性、覆盖性显示等。

图4是在图1中的图形显示设备103上将航路要素数据进行可视化后的航路剖面图400。

航路剖面图400采用平面直角坐标形式显示，横轴404为距离值，纵轴405为高度值。地表高程包络线401将无人机途经点地形起伏变化情况进行可视化，同时按照无人机全程飞行阶段的距离与高度的关系显示了无人机规划航路在垂直高度上的变化情况402，并与航路点标记403同时显示。通过航路剖面图400将无人机航路与飞越地形的相对高度差进行图形化呈现，为地形对航路的影响和安全提供直观的可视化分析手段。

航路规划人员可在航路剖面图400上根据任务规划要求，通过拖拽的形式调整航路点高度，图形化人机交互模块107在后台更新受影响和相关联的其他航路要素，同时更新航路要素数据106，从而完成航路要素更新的一次人机交互过程。

图5是根据示例性实施例用于在数据可视化与人机交互系统100中，航路要素数据从加载到可视化综合显示过程的流程图500。计算设备102中的图形化人机交互模块107通过步骤501，在后台加载涉及的相应地域的地图数据104，并在步骤502加载地图图幅对应的地形高程数据105；步骤503解析航路要素数据106，进行数据准备；以上数据准备过程只是示例性实施例中一种典型步骤，其加载数据的过程顺序并不限制本主题的应用和范围。

图5中数据准备过程完成后，进入数据可视化显示过程。在步骤505，图形化人机交互模块107将当前的航路要素数据与标识生成航路要素表200显示在图形显示设备103上；在步骤506，图形化人机交互模块107在将当前的数字地图、航路信息、目标信息综合可视化生成航路态势图300显示在图形显示设备103上；在步骤507，图形化人机交互模块107将当前的航路要素数据与地形包络综合可视化形成高程剖面图400显示在图形显示设备103上。

操作员在图形显示设备103中显示的航路要素表、航路态势图、高程剖面图三个界面中，通过用户输入设备101(如键盘输入、鼠标点击与拖拽、触控笔点击与拖拽、笔试输入等)进行一次航路规划人机交互操作504。

每次航路规划人机交互操作504完成后，通过步骤508检测用户是否在航路要素表、航路态势图、高程剖面图三个界面中通过用户输入设备101(如键盘输入、鼠标点击与拖拽、触控笔点击与拖拽、笔试输入等)对航路要素数据进行修改。如有修改，则通过步骤509更新航路要素数据106，根据新的航路要素数据106重新同步刷新在航路要素表200、航路态势图300、高程剖面视图400相关数据、符号与图形，以可视化方式展示航路要素变更结果。如用户只是进行改变视图的显示比例、范围、单位、精度等未涉及航路信息改变的人机交互操作，则仅刷新在航路要素表200、航路态势图300、高程剖面图400的界面显示，无需重新解算和更新航路要素数据。

因此，以上示例性实施例提供了一种用于在无人机航路规划软件中进行航路规划的可视化综合显示和人机交互方法及系统。

尽管在本发明前述的说明中为一个示例性实施例，但应当理解的是存在大量的变化。也应理解的是，该一个或多个示例性实施例仅仅是举例，且并不想要以任何方式限制本发明的范围、应用或配置。相反，前述的说明将为本领域技术人员用于实现本发明的示例性实施例提供便利。应理解的是，可以对示例性实施例中描述的功能和显示布置做出各种改变，而不脱离在权利要求中阐述的本发明的范围。

Claims (10)

1.一种无人机航路规划数据可视化与人机交互方法，其特征在于，包括如下步骤：

加载无人机航路规划任务区域的地理环境信息，地理环境信息包括数字地图数据与地形高程数据；

获取并解析无人机航路要素数据，航路要素数据包括航路基本属性信息、航路点信息和航段信息；

在航路要素表上完整显示航路点与航段信息；

在数字地图上图形化显示航路点与航段的位置、距离和航向信息，形成航路态势图；

根据地形高程数据在高程剖面图上显示航路途经的地形信息，以及图形化显示航路点与航段的位置、距离和高度信息；

当在航路要素表、航路态势图和高程剖面图的任意一个中改变航路信息时，航路要素表、航路态势图和高程剖面图三者同步更新显示。

2.如权利要求1所述的方法，其特征在于，航路要素表按照航路点与航段信息采用相互错行的方式进行显示，其中在航路要素表左侧显示航路点信息，在航路要素表右侧显示航段信息，每一条航段信息与两个相邻航路点信息采用锯齿状相连交错显示。

3.如权利要求1所述的方法，其特征在于，航路基本属性信息包括：航路ID、实体类型、航路名称、航路类型、开始时间、装载油量、返航油量、耗油量、总距离和总时间。

4.如权利要求1或2所述的方法，其特征在于，航路点信息包括：航路点序号、到达时间、离开时间、停留时间、航路点类型、航路点经度、航路点纬度、航路点绝对高度、航路点真实高度和剩余油量。

5.如权利要求1或2所述的方法，其特征在于，航段信息包括：航段用时、航段平均速度、航段距离和航路坡度。

6.如权利要求1所述的方法，其特征在于，在航路要素表中还采用图形化显示油料余量信息，用于预测油料消耗。

7.如权利要求1所述的方法，其特征在于，根据无人机航路所飞越区域加载地形高程数据，并刷新显示对应的数字地图。

8.如权利要求1所述的方法，其特征在于，在数字地图上图形化显示航路点与航段的位置、距离和航向信息的方法为：采用以航路点位置为中心的圆形标记突出显示航路点位置，并在圆形标记中显示航路点标识；将航路点间以连线方式显示航段，并在航段上标记箭头符号，箭头方向与航向一致。

9.如权利要求1所述的方法，其特征在于，高程剖面图上将航路途经的地形信息以地表高程包络线的形式进行显示，将航路中的各航路点的高度信息与地形包络线同时进行显示，并通过航路点连线来显示航路高度变化过程。

10.一种用于权利要求1-9任一项所述方法的无人机航路规划数据可视化与人机交互系统，其特征在于，包括：

用户输入设备，用于向计算设备输入操控指令、信息数据的计算机人机交互输入设备；

计算设备，用于存储地图数据、地形高程数据、航路要素数据和运行图形化人机交互模块，图形化人机交互模块用于将地图数据、地形高程数据、航路要素数据可视化生成航路要素表、航路态势图和高程剖面图；

图形显示设备，用于显示基于数据可视化的航路要素表、航路态势图和高程剖面图的人机交互视觉显示设备。

Images