CN117203596A - 辅助操作人员使用遥控器驾驶无人机的设备、方法和软件 - Google Patents

Abstract

本发明涉及辅助操作人员(120)使用遥控器(150)驾驶无人机(160)的设备(100)、方法和软件。设备(100)包括配置为从遥控器(150)接收数据的内部数据通信接口(108)、配置为显示数据的增强现实显示器(112)、包括计算机程序代码(106)的一个或多个存储器(104)以及一个或多个处理器(102)，处理器用于使设备(100)：当操作人员(120)看向(204)无人机(160)时，在增强现实显示器(112)上叠加指示无人机(160)的位置的目标符号(200)；当操作人员(120)看向(204)无人机(160)时，在增强现实显示器(112)上叠加指示无人机(160)的方位的方位符号(202)；获得与无人机(160)相关的地理位置；并在所获得的地理位置上设置世界标记。

Description

辅助操作人员使用遥控器驾驶无人机的设备、方法和软件

技术领域

各种实施例涉及一种辅助操作人员使用遥控器驾驶无人机的设备、一种辅助操作人员使用遥控器驾驶无人机的方法、以及一种包括计算机程序代码的计算机可读介质，所述计算机程序代码在由一个或多个处理器执行时导致该方法的执行。

背景技术

(基于地面的)操作人员使用遥控器(有时至少部分由自动驾驶仪辅助)驾驶无人机(或无人驾驶飞行器，UAV)。

操作人员必须同时看向空中的无人机、操作手持遥控器、并偶尔看向遥控器的显示屏。这会导致对形势的感知能力差，从而导致潜在的危险情形。

法规要求操作人员必须与空中的无人机保持视觉接触(通过视线)。这是相当具有挑战性的，因为例如，由于距离远、环境光线低或物理障碍，无人机可能是看不到的。

这些问题可以通过另一个人——即所谓的观察员——保持与无人机的视觉接触、甚至使用双筒望远镜来缓解，而操作人员可以集中精力操作遥控器(但可能仍然需要偶尔检查遥控器的显示器)。当然，这样的设置需要操作人员和观察员良好的沟通技巧。另外，劳动力增加了一倍，导致无人机的运营成本更高。

US2018/0196425 A1、US2019/0077504 A1和US2019/0049949 A1公开了与在驾驶无人机时使用头戴式显示器相关的各个方面。

发明内容

根据一个方面，提供了独立权利要求的主题。从属权利要求定义了一些实施例。

附图和实施例的描述中更详细地阐述了一个或多个实施方案的示例。

附图说明

现在将参考附图描述一些实施例，在附图中

图1A和图1B示出了用于辅助操作人员使用遥控器驾驶无人机的设备的实施例；

图2和图3示出了由设备的增强现实显示器提供的视图的实施例；

图4、图5、图6、图7、图8和图9示出了无人机的取向的实施例；

图10、图11和图12示出了使与无人机相关的障碍物可视化的实施例；

图13示出了使与无人机相关的航路点可视化的实施例；

图14和图15示出了使无人机捕获的数据可视化的实施例；

图16和图17示出了使与无人机的飞行相关的地图可视化的实施例；

图18和图19示出了设备的可视化菜单结构的实施例；

图20、图21和图22示出了使与无人机的物理环境相关的外部数据可视化的实施例；

图23、图24、图25、图26和图27示出了使无人机在不同的能见度期间的视线可视化的实施例；

图28和图29示出了包括两个设备的系统的实施例；

图30是示出了辅助操作人员使用遥控器驾驶无人机的方法的实施例的流程图；和

图31、图32和图33示出了与世界标记相关的实施例。

具体实施方式

以下实施例仅为示例。尽管说明书可能在多个位置引用“一个”实施例，但这并不一定意味着每次这样的引用是指相同的实施例，或者该特征仅适用于单个实施例。不同实施例的单一特征也可以组合以提供其他实施例。此外，用词“包含”和“包括”应当理解为不将所描述的实施例限制为仅由已经提及的那些特征组成，并且这样的实施例还可以包含没有具体提及的特征/结构。

在实施例的描述和权利要求中的附图标记用于参考附图来说明实施例，而不仅仅将其限制于这些示例。

以下描述中公开的不落入独立权利要求的范围内的实施例和特征(如果有的话)应被解释为有助于理解本发明的各种实施例的示例。

参见图1A，图1A示出了辅助操作人员(或领航员)120使用遥控器150驾驶无人机160的设备100的简化框图。无人机160也被称为UAV(无人驾驶飞行器)。UAS(无人驾驶飞行器系统)可以被定义为包括无人机(或UAV)160、(基于地面的)遥控器150、以及遥控器150与无人机160之间的无线通信系统152。

同时，参考图30，图30是示出了辅助操作人员120使用遥控器150驾驶无人机160的方法的实施例的流程图。

该方法开始于3000并结束于3010。注意，只要需要，该方法都可以通过循环回到操作3002来运行(在设备100启动之后直到关闭)。

图30中的操作并不严格按照时间顺序，并且一些操作可以同时执行或者以与给定顺序不同的顺序执行。还可以在操作之间或操作内执行其他功能以及在操作之间交换其他数据。一些操作或操作的一部分也可以被省略或由相应的操作或操作的一部分代替。应当注意的是，不需要特殊的操作顺序，除非由于处理顺序的逻辑要求而有必要。

设备100包括内部数据通信接口108，其被配置为从遥控器150接收3002与飞行相关的数据。与飞行相关的数据可以包括无人机160的遥测数据。与飞行相关的数据可以包括但不限于：陀螺仪、磁力计等传感器读数、角速率、速度、海拔和全球位置等融合数据、电池、云台、飞行状态等飞行器信息，等等。注意，取决于无人机环境，设备100还可以直接从无人机160接收一些数据。

内部数据通信接口108可以使用被配置为与遥控器150的无线收发器通信的无线电收发器来实现。用于内部数据通信接口108的技术包括但不限于以下一项或多项：使用IEEE 802.11ac标准或Wi-Fi协议套件实现的无线局域网(WLAN)、蓝牙或蓝牙LE(低功耗)等短距离无线电网络、采用用户身份模块(SIM)或eSIM(嵌入式SIM)的蜂窝无线电网络，或其他标准或专有无线连接方式。注意，在一些用例中，内部数据通信接口108可以附加地或替代地利用标准或专有有线连接，例如适用的总线。一实施例利用根据USB(通用串行总线)标准的有线连接。

设备100还包括增强现实(AR)显示器112，其被配置为向操作人员120显示3004与飞行相关的数据。注意，图2至图29的附图示出了具体实施例，但除了这些之外，还可以在增强现实显示器112上显示各种通知和与飞行相关的状态。

在附图中，增强现实显示器112被实现为附有头带(或者安装在头盔上)并由操作人员120作为护目镜佩戴在眼睛前面的头戴式显示器。在附图中，增强现实显示器112被实现为在其上显示全息图像的透视显示器。在一个替代实施例中，增强现实显示器112可以采用相机来截取现实世界视图并将现实世界的增强视图显示为投影。

在一个实施例中，设备100使用2(或更高版本)混合现实智能眼镜来实现，该混合现实智能眼镜采用透视全息透镜作为增强现实显示器112，从而提供完整的开发环境。头戴式设备100于是包括必要的处理器(包括片上系统、定制的全息处理单元和协处理器)102、存储器104和软件106、深度相机、摄像机、投影透镜、惯性测量单元(包括加速度计、陀螺仪和磁力计)、无线连接单元108、110以及可充电电池。注意，这些部件中的一些没有在图1中示出。这种现成的环境提供增强现实引擎144，其被配置为提供例如与将现实世界和增强现实融合在一起以及追踪操作人员120头部和眼睛运动相关的基本操作。

然而，还可以使用增强现实显示器112的其他适用的实施方案，包括但不限于：眼镜、平视显示器、具有增强现实成像的隐形眼镜等。出于本实施例的目的，增强现实显示器112被配置为提供由计算机生成的感知信息增强的现实世界飞行环境210和无人机160的交互式实时体验。除了自然环境210和无人机160之外，还叠加(或覆盖)了与飞行相关的数据。

设备100还包括：一个或多个存储器104，其包括计算机程序代码106；以及一个或多个处理器102，其被配置为执行计算机程序代码106以使设备100执行所需的数据处理。由设备100执行的数据处理可以被解释为方法或算法130。

术语“处理器”102指的是能够处理数据的器件。在一个实施例中，处理器102被实现为在集成电路上实现中央处理单元(CPU)的功能的微处理器。CPU是执行计算机程序代码106的逻辑机。CPU可以包括一组寄存器、算术逻辑单元(ALU)和控制单元(CU)。控制单元由从(工作)存储器104传输到CPU的计算机程序代码106的序列控制。控制单元可以包含用于基本操作的多个微指令。微指令的实现可能会有所不同，具体取决于CPU设计。一个或多个处理器102可以被实现为单一处理器的核心和/或单独的处理器。

术语“存储器”104指的是能够在运行时存储数据(＝工作存储器)或永久存储数据(＝非易失性存储器)的器件。工作存储器和非易失性存储器可以通过随机存取存储器(RAM)、动态RAM(DRAM)、静态RAM(SRAM)、闪存、固态盘(SSD)、PROM(可编程只读存储器)、合适的半导体或实现电子计算机存储器的任何其他装置来实现。

计算机程序代码106由软件实现。在一个实施例中，软件可以通过合适的编程语言来编写，并且所得到的可执行代码可以存储在存储器104中并由一个或多个处理器102执行。

计算机程序代码106实现方法/算法130。计算机程序代码102可以使用编程语言编码为计算机程序(或软件)，该编程语言可以是高级编程语言，例如C、C++或Rust。计算机程序代码106可以是源代码形式、目标代码形式、可执行文件或某种中间形式，但是为了在一个或多个处理器102中使用，它是作为应用程序140的可执行形式。存在多种构造计算机程序代码106的方式：根据所使用的软件设计方法和编程语言，可以将操作分为模块、子例程、方法、类、物体、小应用程序、宏等。在现代编程环境中，存在软件库，即现成函数的编译，其可以被计算机程序代码106用来执行各种标准操作。另外，操作系统(例如通用操作系统)可以向计算机程序代码106提供系统服务。

一个实施例提供了存储计算机程序代码106的计算机可读介质170，计算机程序代码106在被加载到一个或多个处理器102中并由一个或多个处理器102执行时使得一个或多个处理器102执行在图30中描述的方法/算法130。计算机可读介质170可以至少包括以下各项：能够将计算机程序代码106传送到一个或多个处理器102的任何实体或器件、记录介质、计算机存储器、只读存储器、电载波信号、电信信号和软件分发介质。在一些管辖范围中，根据立法和专利实践，计算机可读介质170可以不是电信信号。在一个实施例中，计算机可读介质170可以是计算机可读存储介质。在一个实施例中，计算机可读介质170可以是非暂时性计算机可读存储介质。

如图1A和图1B所示，计算机可读介质170可以携带计算机程序代码160，作为设备100的可执行应用程序140，以及遥控器150的可执行应用程序142，以将与设备100相关的数据发送到设备100。在典型的无人机环境中，诸如的软件开发套件可用于应用程序142，以与遥控器150连接。

图1A的设备100示出为包括增强现实显示器112、包括计算机程序代码106的一个或多个存储器104、以及一个或多个处理器102的集成单元。

然而，如图1B所示，设备100还可以被实现为分布式设备100，使得操作人员120配备有增强现实显示器112，但是具有单独的处理部分180，其与增强现实显示器112和遥控器150通信地耦合，并且包括一个或多个存储器104和一个或多个处理器102，该一个或多个存储器104包括计算机程序代码106。这可以被实现为使得处理部分180是由操作人员120携带的用户设备，例如智能电话、平板电脑或便携式计算机，并且通信耦合可以是有线的或无线的。另一种实施方案是这样的，即处理部分180是联网计算机服务器，其根据客户端-服务器架构、云计算架构、对等系统或另一种可应用的分布式计算架构与增强现实显示器112互操作。

图2和图3示出了由设备100的增强现实显示器112提供的视图的实施例。注意，从图2至图29的所有附图都将每个用例示出为两个不同视角的组合。

现在更详细地研究图2和图3。如图所示，第一视角示出了飞行：操作人员120操作遥控器150并通过设备100，或者更精确地说，通过设备100的增强现实显示器112来观察(或看向)204空中210的无人机160。如图所示，第二视角示出了在增强现实显示器112上显示的要素200、202。

在从图2到图29的所有附图中都使用该约定：虚线箭头204示出了操作人员120所看向的方向，通常是正在看向空中的无人机160，但是在一些用例中，操作人员120正在看向另一方向(例如正在看向地面)，用虚线箭头标记的注视方向由附图标记600、1404、1706、1804、2602表示。然而，在前面提到的替代实施例中，使用摄像机来截取现实世界视图并将现实世界的增强视图显示为投影，朝向增强现实显示器112的注视方向可以不同于相机的拍摄方向。例如，为了容易进行飞行定位，操作人员120不需要倾斜头部来注视天空，而是使相机向上倾斜。

注意，在所有描述的实施例中，操作人员120站在地面500上，并且无人机160在空中210飞行。然而，这些实施例也适用于其他类型的环境，例如在地下洞穴中、人造结构(例如建筑物或隧道)内部或甚至在无人机160在操作人员120下方飞行(即，操作人员120在看向204无人机160时是向下看而不是向上看)的这种用例中驾驶无人机160。在这样的用例中，操作人员120可以站在高平台(例如摩天大楼或山)上，并且无人机160在下方(例如在街道上方或在山谷中)飞行。这些实施例还可以应用于使无人机160在水下飞行，即，无人机160于是为无人水下航行器(UUV)，并且操作人员120可以在无人机位于河流、湖泊、海洋、充满水的矿井或隧道等水下时例如从陆地或从船上操作无人机160。

在某种程度上，从图2到图29的所有图都是混合体，示出了现实世界之上的增强现实。现实世界是从外部视线(如同另一个人从现实世界的外部观察用例)示出的，而增强现实显示器112是以操作人员120的第一人称视角示出的。

现在返回到图2和图3。在一个实施例中，使设备100在增强现实显示器112上叠加3006目标符号200——目标符号200在操作人员120看向204无人机160(对于UAV来说在空中210)时指示无人机160的位置(对于UAV来说在空中210)。在一个实施例中，还使设备在增强现实显示器112上叠加3008方位符号202——方位符号202指示在操作人员120看向204无人机160(对于UAV来说在空中210)时无人机160的方位(对于UAV来说在空中210)。

增强现实显示器112的使用使得操作人员120能够在飞行期间看向204天空210中的无人机160。这提高了操作人员120关于飞行的情境意识，而不需要测位仪。操作人员保持与空中210的无人机160的视觉接触(通过视线)，但也同时显示实际正确的世界位置中的航空数据，如将要解释的。

目标符号200指示无人机160在空中210的位置，这使得操作人员120在飞行期间更容易追踪无人机160。在一个实施例中，目标符号200是如图所示的标线。标线200通常用于枪械的望远瞄准镜中。标线200可以包括如图3所示的圆圈300和部分十字准线302的组合，但也可以使用其他图案，例如点、柱、V形等。

方位符号202指示无人机160在空中210的方位，这使得操作人员120更容易理解在飞行期间用遥控器150向无人机160发出的转向命令的效果。在一个实施例中，方位符号202是如图所示的箭头。如图3所示，箭头202可以通过弧304增强，弧304示出了围绕操作人员120的360度圆的一部分。箭头202可以指向无人机160的航向，如稍后将解释的。

在增强现实显示器112中，通过沉浸式感知集成，来自数字世界的目标符号200和方位符号202混合到操作人员120对现实世界的感知中，被感知为飞行环境210的自然部分。

接下来参见图4、图5、图6、图7、图8和图9，其示出了无人机160的方位的实施例。

在一个实施例中，方位符号202被配置为指出一相对于无人机160在空中210的方位固定的预定方向。由于操作人员120知道该预定方向，所以操作人员容易理解用遥控器150给出的转向命令影响飞行的方式。如图3所示，遥控器150可以包括例如两个操纵杆310、312以给出转向命令。当然，其他类型的转向装置也与所描述的实施例兼容。然而，遥控器150可以以各种自由度控制无人机160：使无人机160向左或向右倾斜的滚转、使无人机160向前或向后倾斜的俯仰、以及使无人机160顺时针或逆时针旋转的横摆。此外，海拔控制器控制无人机160飞得更高或更低。注意，遥控器150的一些用户界面元件可以被编程为与设备100交互，使得设备100的用户界面操作除了在增强现实环境中执行之外还可以利用遥控器150的(物理)用户界面元件来执行。

在图4所示的实施例中，预定方向相对于无人机160的航向400固定。在导航时，无人机160的航向400是无人机160的机头所指向的罗盘方向。注意，例如作为四轴飞行器(＝具有四个旋翼的直升机)的无人机160可能不具有“自然的”机头，在这种情况下，仅将无人机160的一个方向定义为机头。

图5示出了需要彼此关联以便实现实施例的各坐标系502、504、506。世界坐标系502定义三维世界模型可视化，其被映射到设备100的坐标系504和无人机160的坐标系506。设备100然后使用其自己的坐标系504来显示增强现实，而且示出了无人机160的位置和操作人员120在世界坐标系502中的位置。

在图5和图6所示的实施例中，使设备100执行：

-获得无人机160在世界坐标系502中的地面500上的位置；

-获得无人机160在设备100增强现实坐标系504中的地面500上的位置；

-将无人机160在增强现实坐标系504中的位置与无人机160在世界坐标系502中的位置锁定在一起；

-获得无人机160在地面500上的航向400；和

-将航向400设置成在设备100的增强现实坐标系504中的校准航向符号的朝向。

这样，持续追踪操作人员120的头部的任何运动的增强现实坐标系504现在牢固地基于世界坐标502，并且还遵循实际罗盘方向602。因此实现了将世界纬度和经度(世界坐标系502的x和z)以及罗盘航向信息602耦合到增强现实呈现/图像中。

在一个更具体的实施例中，使设备100执行：

-(从遥控器150或从无人机160)获得无人机160在世界坐标系502中的地面500上的位置；

-在增强现实显示器112上叠加校准位置符号；

-在校准位置符号被设置在无人机160上(例如被设置在无人机160的中心上或无人机160上的另一预定点上)之后接收第一用户确认；

-(从增强现实引擎144)获得无人机160在设备100的增强现实坐标系504中的地面500上的位置；

-将无人机160在增强现实坐标系504中的位置与无人机160在世界坐标系502中的位置锁定在一起；

-(从遥控器150或从无人机160)获得无人机160在地面500上的航向400；

-在增强现实显示器112上叠加校准方位符号；

-在校准方位符号与无人机160对准(例如与无人机160的尾鼻线或与无人机160的另一预定方位对准)之后接收第二用户确认；和

-将航向400设置为校准方位符号在设备100的增强现实坐标系504中的方位。

首先，为增强现实系统示出了无人机160在世界坐标系502中的位置，以及无人机160相对于增强现实坐标系504的位置。通过指示无人机160的中心位于增强现实视场112内的精确点，通过增强现实指示符，该点现在在现实世界坐标系502和增强现实系统坐标504中都是已知的。通过这种组合，获得带世界纬度和经度信息的固定的共同位置。该纬度和经度来自无人机160，因为它此时知道它的确切坐标(由GPS或另一种全球导航卫星系统提供，或者由另一种定位技术如基于蜂窝无线电的定位提供)。增强现实指针棒或另一类型的校准位置符号可以为操作人员120指示增强现实显示器112中的位置。当显示无人机160的位置时，该棒在操作人员160前面移动固定的距离并指向下方，被引导到无人机160的中心之上。它被保持稳定以确认该位置，然后将坐标系502、504锁定在一起。或者，这也可以使用机器视觉来完成，仅看到无人机160并破译其在增强现实坐标系504中的位置，然后将无人机160的纬度、经度、甚至航向锁定到该形状中。显示无人机160的位置可以采用多种方式完成，但是需要有信心地完成以将世界坐标系502和增强现实坐标系504可靠地锁定在一起。

其次，由于无人机160知道其机头指向何处，即无人机160将航向度数告知其罗盘，因此这可以用于坐标系502、504的最终耦合。增强现实系统用于将显示线或另一类型的校准方位符号与无人机160的尾鼻线对准，并且当实现这一点时，世界坐标系502中的显示线的该罗盘方位现在是已知的。因此，任何方向的世界罗盘航向，例如北向，都可以从其中计算出来。

作为可选步骤，当从无人机160获得世界位置(纬度、经度)时，还可以从基于准确的世界坐标系502的地图系统或者从无人机160本身(可能通过遥控器150)查询准确的海拔(世界坐标系502中的y)。因此，我们还可以校准该点在空间中的海拔(如果需要精确的精度，则利用无人机160的顶部表面相对于地面500的无人机偏移量)，因此从这里开始使用地图数据来准确确定任何其他世界点地形海拔。总而言之，为了实现世界锁定，可能需要纬度、经度、可能的海拔和罗盘航向。

在该耦合之后，整个系统中的所有其他内容都是围绕无人机160实际位于世界坐标502中的位置以及世界中其周围的实际事物的知识构建的。注意，与耦合相关的所描述的实施例可以作为独立的实施例来操作，而不管所有其他实施例以及关于独立权利要求和其他从属权利要求描述的那些实施例如何。

与飞行相关的数据被映射到世界坐标502，并且因此被显示3004、3006、3008，使得其可视化利用其在世界坐标系502中的三维位置信息，该三维位置被锁定到增强现实坐标系504。

在图7所示的实施例中，可以利用数字信息进一步增强情境意识。当操作人员120正在看向204空中210的无人机160时，设备100使用与目标符号200视觉耦合的数值和标尺700将无人机160的巡航海拔704叠加在增强现实显示器112上。如图7所示，标尺700可以包括水平线，每条水平线都指示一特定的海拔。还使设备在操作人员120正在看向204空中210的无人机160时在增强现实显示器112上叠加无人机160的航向706度数702——其在视觉上与方位符号202耦合。这对于专家操作人员120来说可能是有用的。

在图8所示的实施例中，使设备100在增强现实显示器112上叠加水平延伸到无人机160在地面500上的地理位置的间接视线引导线800，当操作人员120正在看向204空中210的无人机160时，在空中210的无人机160的巡航海拔中，间接视线引导线802从无人机160在地面500上的地理位置继续竖直延伸到目标符号200。这可以进一步增强态势感知，因为操作人员120可以首先观察水平引导线800以查看无人机160在地球表面500上的地理位置，然后观察竖直引导线802以掌握无人机160在空中210的位置。

在图9所示的实施例中，当操作人员120正在看向204空中210的无人机160时，使设备100在增强现实显示器112上叠加航迹符号900，该航迹符号900指示无人机160在空中210的航迹902和速度。在导航时，航迹902是无人机160实际行进的路线。航向400与航迹902之间的差异是由空气210的运动(例如气流)引起的。通过显示航迹902和速度，操作人员120预见当前控制的效果，然后可以根据需要对其进行调整。

接下来参见图10、图11和图12，其示出了使与无人机160相关的障碍物可视化的实施例。

在图10所示的实施例中，当操作人员120看向204空中210的无人机160时，使设备100在增强现实显示器112上叠加障碍物指示符号1000，该障碍物指示符号1000被配置为描绘无人机160到真实物体1004的距离1002。距离1002可以是无人机160与真实物体1004之间的最短距离。如图10所示，障碍物指示符号1000可以使用箭头来标记该距离，可能通过指示距离1002的数值增强。真实物体1004可以是诸如建筑物、桥梁等人造物体，或者诸如山丘、森林等自然物体。

图11示出了另一实施例，其中障碍物指示符号1000包括至少部分地叠加在真实物体1004上的视觉指示符1100。如图11所示，视觉指示符1100可以是覆盖在真实物体1004上的阴影或类似的视觉效果。这样，当无人机160接近物体1004时，操作人员120立即识别出碰撞危险。

图12示出了适用于图10的实施例或图11的实施例的又一实施例。障碍物指示符号1200包括描绘从无人机160到真实物体1206的最短水平距离1202和竖直距离1204的元素。这样，可以识别无人机160的竖直和水平移动的效果以避免与真实物体1206发生碰撞。

接下来来看图13，其示出了使与无人机160相关的航路点可视化的实施例。使设备100在增强现实显示器112上叠加地图1300，所述地图1300显示操作人员120的地理位置1302、无人机160的地理位置1304、以及航路点1306。这样，操作人员120直观地对与飞行相关的周围环境有更好的了解。如图13所示，地图1300和无人机160可以同时位于操作人员120的视野内，并且视线可以被交替地引导204到无人机或被引导1310到地图1300。当操作人员120看向204空中210的无人机160时，还使设备100在增强现实显示器112上叠加竖直航路点符号1308，该竖直航路点符号1308从航路点1306在地面500上的地理位置开始并向航路点1306的预定海拔延伸。航路点符号1308的狭窄部分可以精确地指出在地面500上的地理位置，而航路点符号1308的较宽部分可以指示航路点在空中210的设定海拔。这样，航路点符号1308被显示于现实世界的正确位置。

接下来，图14和图15示出了使由无人机160捕获的数据可视化的实施例。当操作人员120看向204空中210的无人机160时，使设备100在增强现实显示器112上于目标符号200附近叠加用无人机160自带的一个或多个传感器1402实时捕获的一个或多个视觉元素1400，并将一个或多个视觉元素1400定位在增强现实显示器112上，使得在操作人员120看向204空中210的无人机160时视线保持不受阻挡。视觉元素1400可以如图所示放置在目标符号200的任一侧，但也可以放置在目标符号200周围的任何地方。在任何情况下，操作人员120可以快速扫视1404视觉元素1400，但主要看向204无人机160并同时操纵无人机170。在所示实施例中，图像传感器1402捕获图像或视频馈送作为数据，然后将其作为视觉元素1400叠加在增强现实显示器112上。这样，操作人员120可以操纵无人机120，使得图像传感器1402拍摄期望的视图。注意，图像传感器可以作为(普通)可见光相机(例如照相机或摄像机)操作。除此之外，图像传感器可以例如作为热(或红外)相机、多光谱相机、高光谱相机或电晕放电相机操作。无人机160上的一个或多个传感器1402可以包括但不限于以下技术中的一种或多种：激光雷达(光检测和测距，或激光成像、检测和测距，或3-D激光扫描)传感器、声纳(声音导航和测距)传感器、雷达(无线电探测和测距)传感器、化学传感器、生物传感器、辐射传感器、粒子传感器、磁传感器、网络信号强度传感器等。无人机160可以携带这些传感器1402的任意组合作为有效负载，其数据然后如上所述用动态定位的一个或多个视觉元件1400可视化。

图16和图17示出了与无人机160的飞行相关的可视化地图的实施例。操作人员120可以选择地图1600、1700的陈列/显示方式，或者设备100可以根据飞行情况自动决定使用哪个陈列/显示方式。当操作人员120看向204空中210的无人机160时，使设备100在增强现实显示器112上于增强现实显示器112的目标符号200附近叠加竖直陈列/显示的地图1600，地图1600显示操作人员120的地理位置1602和无人机160的地理位置1604。或者，当操作人员120看向1706地面500时，使设备100在增强现实显示器112上叠加水平陈列/显示的地图1700，地图1700显示操作人员112的地理位置1702和无人机160的地理位置1704。通过使用竖直陈列/显示的图1600，当操作人员注视204无机人160并观看旁边的地图1600时，可以始终清楚地意识到情境。通过使用水平陈列/显示的图1700，操作人员120需要看向1706地面500，但如图所示，由于地图1700表面与地球表面500平行，因此地图1700可以被显示得更大并且更直观。

图17还示出了所使用的地图1700可以是三维地形图，其还示出了描绘成三维建筑物1708的海拔数据。

图18和图19示出了使设备100的菜单结构可视化的实施例。当操作人员120看向1804地面500时，使设备100在增强现实显示器112上在操作人员120周围叠加菜单结构1800。使设备100检测来自操作人员120的手势1802作为与菜单结构1800相关的命令，并基于该命令而在增强现实显示器112上显示与飞行相关的数据1900。这样，操作人员120可以快速操纵设备100。如图18所示，示出了目标符号200和方位符号202的基本显示，而在图19中，操作人员120已从菜单结构1800选择使用与目标符号200视觉耦合的数值和标尺700来显示无人机160的巡航海拔，如先前参考图7所解释的。

图20、图21和图22示出了使与无人机160的物理环境相关的外部数据可视化的实施例。

如图1A和图1B所示，设备100包括被配置为接收与无人机160的物理环境相关的外部数据114的外部数据通信接口110。注意，在一个实施例中，外部数据通信接口110可以使用内部数据通信接口108来实现。使设备100在增强现实显示器112上叠加外部数据114的一个或多个可视化2000。这样，设备100可以通过将外部数据源合并到由增强现实显示器112实现的单个用户界面来增强操作人员120的情境意识。如先前所解释的，外部数据114被映射到世界坐标502，并且因此被显示以使得其可视化利用知道其在世界坐标系502中表示的三维位置，该三维位置被锁定到增强现实坐标系504。除了从各种源获得外部数据之外，外部数据通信接口110还可以用于将与飞行相关的数据传送到外部接收者116，所传输的数据包括但不限于：无人机160的位置、来自操作人员120的语音、来自无人机160的一个或多个视频馈送等。

如图20所示，外部数据114可以包括天气数据，并且一个或多个可视化2000描绘天气数据。在一个实施例中，天气数据包括关于风速和风向的信息。方向可以用箭头指示，并且速度可以如图所示用箭头标尺或者可选地用数值指示。附加地或替代地，天气数据可以包括以下一项或多项：湍流(预测的或已知的)、湿度、云可视化、降雨警告、冰雹警告、降雪警告、风暴警告、关于闪电的警告、照明条件(当日时间、太阳和/或月亮的位置)、雾、气温和气压、能见度、露点(对航空领航员很重要)、“体感”温度。所有这些也可能与时间相关，即可以使天气预报可视化，例如即将到来的云锋和风的变化。

如图21所示，外部数据可以包括114空中交通管制数据，其包括空域的分类，并且一个或多个可视化2100、2102描绘了与无人机160在空中210的位置相匹配的空域的分类。例如，自由空域2100可以用“I”标记，而受限空域2102可以用“II”和如图所示的阴影矩形或者用另一种三维形状(例如多边形网格)或者甚至用两个三维形状(例如多边形)标记。一般来说，空域的分类可以包括但不限于：无人机禁飞区(面积、体积)、无人机和/或其他航空作业的空域预留和通知、机场管制区、空域管制区、电力线路和其他障碍物、国家边境地区、上述所有不同海拔的区域、警告/危险/限制区、UAV预留区、UAS预留区、航模预留区。航空地图可以使用具有各种墙壁、屋顶、飞行高度等的三维多边形网格来可视化，所有这些都位于增强现实显示器112中所见的它们的正确位置。

如图22所示，外部数据可以包括114空中交通管制数据，其包括飞机2200在空中210的位置，并且一个或多个可视化2202、2204描绘了飞机2200在空中210的位置。在一个实施例中，一个或多个可视化2202、2204是针对飞行器2200在距无人机160在空中210的位置的预定距离内(例如，在3、5或10公里的半径内)飞行而显示的。可视化可以利用指示飞行器2200的位置的箭头2202、2204来实现，并且附加地或替代地，可以显示飞行器2200的模拟。

图23、图24、图25、图26和图27示出了在不同能见度期间将无人机160的视线可视化的实施例。

在图23的实施例中，当操作人员120在能见度良好的情况下使设备100以可看到无人机160的视线看向204空中210的无人机160时，使设备100在增强现实显示器112上叠加与飞行相关的数据。这是理想的飞行情形。

在图24的实施例中，当操作人员120在能见度受损的情况下以增强的朝向无人机160的视线看向204空中210的无人机160时，使设备100在增强现实显示器112上叠加与飞行相关的数据。增强的视线可以通过用目标符号200引导操作人员120看正确的方向来实现。可选地，可以在正确的位置显示模拟无人机160。能见度受损可能是由弱光条件、云、雾、烟雾、雨、降雪或某种其他物理现象引起的。

在图25的实施例中，当操作人员120在能见度受阻的情况下以增强和模拟的视线看向204空中210的无人机160时，使设备100在增强现实显示器112上叠加与飞行相关的数据。对无人机160的视线受阻可能是由障碍物2502引起的，即，无人机160位于障碍物2502后面。障碍物2502可以是图10和图11的真实物体1004，即，障碍物2502可以是诸如建筑物、桥梁等人造物体或者诸如山丘、森林等自然物体。增强是通过用目标符号200引导操作人员120看正确的方向来实现的，并且模拟是通过在正确的位置显示模拟无人机160来实现的。

在一个实施例中，当操作人员120在能见度高的情况下以对无人机160的增强视线看向204空中210的无人机160时，使设备100在增强现实显示器112上叠加与飞行相关的数据。这没有在任何附图中示出，但是基本上，例如，无人机160然后在高空或地平线附近，并且用目标符号200引导操作人员120看正确的方向，使得操作人员120可能仅能这样地看到无人机160：其为远处的微小物体。

在图26和图27所示的实施例中，使设备100在增强现实显示器112上调整2700与飞行相关的数据的显示2600，使得当操作人员看向204空中210的无人机160时，视线2602保持不受阻挡。在图26中，操作人员120以自由视线2602持续看向204无人机160。然而，当无人机下降2604时，地图2600最终将阻挡视线2602。如图27所示，无人机160现在飞行得相对较低，但是由于地图2600向左移动2700，视线2602保持自由。

最后来看图28和图29，其示出了包括两个设备100、2800的系统的实施例。

第一设备100用于辅助第一操作人员120使用遥控器150在空中210飞行无人机160。

第一操作人员120相对于无人机160在空中210的位置的第一地理位置2814用于调整第一视点，以使得与飞行相关的数据——其包括第一目标符号200和第一方位符号202——被叠加在第一设备100的第一增强现实显示器112上。

如图28所示，第二设备2800用于通知第二操作人员2802关于在空中210驾驶无人机160。

第二操作人员2802相对于无人机160在空中210的位置的第二地理位置2804用于调整第二视点，以使得与飞行相关的数据——其包括第二目标符号2806和第二方位符号2808——被叠加在第二设备2800的第二增强现实显示器2810上。

这样，第二操作人员2802可以至少观察2812无人机160在空中210的飞行。例如，这可能仅用于娱乐、用于教育目的、用于通过飞行执照测试、用于监控、用于追踪失踪人员，或者甚至用于协助第一操作人员120。还可以向操作人员120、2802中的一者或两者提供基于使用无人机160自带的一个或多个传感器1402实时捕获的数据的一个或多个视觉元素，如先前所解释的。

在图29所示的实施例中，第二设备2800用于协助第二操作人员2802控制2902无人机160自带的一个或多个传感器1402，而第一操作人员120控制无人机160的飞行方向2908和速度。

例如，如果传感器1402是如前所述的图像传感器，则第二操作人员2802的第二地理位置2804用于调整第二视点，以使得与飞行相关的数据——其也包括从无人机160自带的一个或多个摄像机2900实时地捕获的一个或多个视频馈送——被叠加在第二设备2800的第二增强现实显示器2810。如图29所示，一个或多个视频馈送2904被叠加在第二增强现实显示器2810上。

注意，图29的用例还可以是这样的，即可以在增强现实显示器112、2810对两名操作人员120、2802显示相同的信息，并且由于他们都有遥控器150、2906，因此可以在操作人员120、2906之间无缝地移交飞行责任。这在训练期间或在长期任务期间可能是特别有用的。还可以设想，在特别危险或受限的空域中，被授权的领航员2802可以引导无人机160安全地穿越，此后(原来的)操作人员120重新获得对无人机160的控制。

注意，图28和图29的场景不限于第二操作人员2802物理地存在于无人机160和第一操作人员120附近。如先前所解释的，外部数据通信接口110可以将与飞行相关的数据传送到外部接收者116。外部接收者116可以是联网的计算机服务器，其根据客户端-服务器架构、云计算架构、对等系统或另一种适用的分布式计算架构与第一设备100和第二设备2800互操作/协作。这样，第二操作人员120可以在很远的地方，甚至在不同的城市、国家或大陆，并且仍然能够观察或者甚至如所描述的那样进行协助。当然，数据传输延迟需要被最小化并需要考虑，尤其是在例如远处的第二操作人员2802正在控制2902一个或多个传感器1402的情况下。

最后，参考图31、图32和图33来研究与世界标记相关的实施例。

首先，使设备100获得与无人机160相关的地理位置。接下来，使设备100在所获得的地理位置上设置世界标记。世界标记可以通过由操作人员120执行的用户界面操作来设置，或者世界标记可以由设备100自动(例如，当满足预定条件时)或半自动地设置，设备100向操作人员120建议在用户界面中设置世界标记(并且操作人员120然后可以确认或撤销世界标记)。这样，世界标记将无人机160和地理位置彼此耦合。这种耦合可以以几种不同的方式进行。如之前参考图5所解释的，地点可以在现实世界坐标502和增强现实系统坐标504中均为已知的。结合“世界标记”提到的“地理位置”可以指现实世界坐标502，但在一些情况下，它也可以指增强现实系统坐标504。不同之处在于，现实世界坐标502定义精确位置(在地图系统中并且由GPS或另一全球导航卫星系统提供，或通过另一种定位技术提供)，而增强现实系统坐标504定义在增强现实内(例如定义在存在于现实世界中并在增强现实内建模的建筑物或另一人造结构内)的精确位置。实际上，如果坐标系502、504如先前所解释的那样被锁定在一起，则在两个坐标系502、504中均定义世界标记。

然而，即使当GNSS定位不可用时——比方说在建筑物内部飞行时，增强现实系统坐标系504与无人机坐标系506之间也可以形成锁定关系，并且在世界的增强现实模型中执行无人机160的定位和定向。如果已知模型可用于无人机160的飞行环境中的物理结构，则整个结构的现实世界坐标系502中表示的位置然后可以被映射到增强现实坐标系504。因此，即使没有GNSS，无人机160在现实世界坐标系502中的位置也是已知的。当然，如果室内定位信息可用，则可以将其融合以进一步提高无人机160的位置和方位及其在增强现实坐标系504中的映射的准确性。

在图31所示的实施例中，与无人机160相关的地理位置是无人机160的地理位置。这可以被实现为使得通过确定无人机160的地理位置3100来获得与无人机160相关的地理位置，并且通过在无人机160的地理位置(经纬度坐标、海拔/海拔高度)上设置世界标记3102来设置所获得的地理位置3100上的世界标记。如图31所示，操作人员120通过设备100观察204现实世界飞行环境210中的无人机160，并将世界标记3102设置在无人机160的地理位置3100上。操作人员120在使用增强现实环境的辅助下实际看到由操作人员120执行的用户界面操作(在由遥控器150控制的增强现实环境112中)导致的增强现实显示器112上的世界标记3102的设置。

注意，世界标记3102可以采用各种图形形状，例如柱子，或模拟现实世界物体(公园长椅等)的另一符号。操作人员120可以添加与世界标记3102相关的评论(“失踪人员的背包”)或一些预定义的文本标签。无人机160可以利用自带的传感器1402从世界标记3102周围的区域捕获图像数据并且将该图像数据与世界标记3102耦合，使得稍后可以通过参考世界标记3102来查看图像数据。

在图31中还示出的一个实施例中，使设备100在增强现实显示器112上叠加显示世界标记3102的地理位置3106的地图2600。另外，地图2600还可以显示操作人员120的地理位置3104。此外，地图3600还可以示出在世界标记3102的地理位置3106上方飞行的无人机3108。这样，操作人员120可以将现实世界210与地图2600进行比较并将无人机160下方的一个位置精确确定为兴趣点。

在图32所示的实施例中，与无人机160相关的地理位置是从无人机160本身捕获的图像数据获得的。这可以实现为使得通过以下方式获得与无人机160相关的地理位置：从无人机160自带的一个或多个传感器1402获得图像数据，从操作人员120接收标记在图像数据中显示的位置的用户界面选择3204，并确定图像数据中显示的位置的现实世界地理位置3200。此外，通过在现实世界地理位置3200上设置世界标记3202来设置所获得的地理位置上的世界标记。如图32所示，操作人员120观察通过自带的摄像机1402获得的视频馈送2904，并且标记位置3204。然而，如之前所解释的，除了摄像机之外或者代替摄像机，一个或多个传感器1402可以包括例如(普通)可见光摄像机如摄影机、热成像(或例如，红外)相机、多光谱相机、高光谱相机或电晕放电相机中的一个或多个，所有这些都可以生成图像数据形式的测量数据。此外，同样如之前所解释的，无人机160自带的一个或多个传感器1402可以包括但不限于以下技术中的一种或多种：激光雷达(光检测和测距，或者激光成像、检测和测距，或3D激光扫描)传感器、声纳(声音导航和测距)传感器、雷达(无线电探测和测距)传感器、化学传感器、生物传感器、辐射传感器、粒子传感器、磁传感器、网络信号强度传感器，所有这些传感器都会测量各种数据，这些数据可以被可视化为图像数据。这样，操作人员120可以通过指向来自无人机160的视频2904中的位置3204来标记在世界中的位置，然后基于已知的无人机160位置和高度、已知的无人机160航向、已知的相机1402的观看方向以及已知的指示位置处的地面高程来将视频帧中的该点外推到世界位置中。该实施例可用于在无人机160的视频视图中精确确定可能的人以获得该人的纬度和经度，以用于紧急服务、监控操作或另一应用领域。

在图33所示的实施例中，与无人机160相关的地理位置被指定为来自无人机160自带的一个或多个传感器1402的视图。这可以被实现为使得通过以下方式来获得与无人机160相关的地理位置：从无人机160自带的一个或多个传感器1402获得图像数据，并且基于无人机160的地理位置和海拔、一个或多个传感器1402的测量方向以及一个或多个传感器1402的视锥体3304来定义图像数据中的视图3310。视锥体3304可以由如图33所示的截锥体形成，并且在3D计算机图形中，它定义在屏幕上可见的三维区域。锥体是相机1402的(通常是圆锥形的)视觉的适应。通过将视图3310设置为世界标记来设置所获得的地理位置上的世界标记。此外，将地图2600——其将世界标记显示为从无人机160的地理位置延伸的视图3310——叠加在增强现实显示器112上。该实施例可以用于覆盖地图2600上来自无人机160图像馈送2904(由热成像相机或之前解释的某种其他传感器类型1402捕获)的视图3310，以更好地理解特定的特征(例如人3312)与如地图2600中所示的周围环境的关系。这样，可以推定人3300和人3300的现实世界位置3302。图33还示出了包含在增强现实显示器112上显示的人3306的图像馈送2904。操作人员120可以在增强现实显示器112中观察无人机160，并且同时观察增强现实显示器112上的图像馈送2904和地图2600中的至少一者。

在一个实施例中，设备100使用先前解释的外部数据通信接口110来与外部接收者116沟通与世界标记相关的数据。使设备100使用外部数据通信接口110将与世界标记3102、3202、3312相关的数据发送到外部接收者116，例如应急人员、监控人员、操作中心等。

尽管已经根据附图参考一个或多个实施例描述了本发明，但是显然本发明不限于此，而是可以在所附权利要求的范围内以多种方式进行修改。所有词语和表达应当被广义地解释，并且它们旨在说明而不是限制实施例。对于本领域技术人员来说显而易见的是，随着技术的进步，本发明构思可以以各种方式实现。

Claims (15)

1.一种辅助操作人员(120)使用遥控器(150)驾驶无人机(160)的设备(100)，包括：

内部数据通信接口(108)，其被配置为从遥控器(150)接收与飞行相关的数据；

增强现实显示器(112)，其被配置为向操作人员(120)显示与飞行相关的数据；

一个或多个存储器(104)，其包括计算机程序代码(106)；和

一个或多个处理器(102)，其被配置为执行计算机程序代码(106)以使所述设备(100)执行至少以下操作：

当操作人员(120)看向(204)所述无人机(160)时，在所述增强现实显示器(112)上叠加指示所述无人机(160)的位置的目标符号(200)；

当操作人员(120)看向(204)所述无人机(160)时，在所述增强现实显示器(112)上叠加指示所述无人机(160)的方位的方位符号(202)；

获得与所述无人机(160)相关的地理位置；和

在所获得的地理位置上设置世界标记。

2.根据权利要求1所述的设备，其中

获得与所述无人机(160)相关的地理位置包括确定所述无人机(160)的地理位置(3100)，并且

在所获得的地理位置(3100)上设置世界标记包括在所述无人机(160)的地理位置上设置所述世界标记(3102)。

3.根据权利要求1所述的设备，其中

获得与所述无人机(160)相关的地理位置包括：从所述无人机(160)自带的一个或多个传感器(1402)获得图像数据、从操作人员(120)接收用户界面选择(3204)、以及确定在图像数据中显示的位置的现实世界地理位置(3200)，其中所述用户界面选择(3204)标记在图像数据中显示的位置，并且

在所获得的地理位置上设置世界标记(3202)包括在所述现实世界地理位置(3200)上设置所述世界标记。

4.根据权利要求1所述的设备，

获得与所述无人机(160)相关的地理位置包括从所述无人机(160)自带的一个或多个传感器(1402)获得图像数据，并且基于所述无人机(160)地理位置和海拔、所述一个或多个传感器(1402)的测量方向以及所述一个或多个传感器(1402)的视锥体(3304)将视图(3310)定义到所述图像数据中，

在所获得的地理位置上设置世界标记包括将所述视图(3310)设置为所述世界标记，以及

在所述增强现实显示器(112)上叠加地图(2600)，所述地图将所述世界标记显示为从所述无人机(160)的地理位置延伸的视图(3310)。

5.根据前述权利要求中任一项所述的设备，其中，使所述设备(100)执行：

在所述增强现实显示器(112)上叠加显示所述世界标记(3102)的地理位置(3106)的地图(2600)。

6.根据权利要求5所述的设备，其中，所述地图(2600)还显示所述操作人员(120)的地理位置(3104)。

7.根据前述权利要求中任一项所述的设备，其中，所述设备(100)包括：

外部数据通信接口(110)，其被配置为发送与所述无人机(160)的飞行相关的数据；

其中，使所述设备(100)执行下述步骤：

使用所述外部数据通信接口(110)将与所述世界标记(3102，3202，3312)相关的数据发送到外部接收者(116)。

8.根据前述权利要求中任一项所述的设备，其中，使所述设备(100)执行下述步骤：

获得所述无人机(160)在世界坐标系(502)中在地面(500)上的位置；

获得所述无人机(160)在所述设备(100)的增强现实坐标系(504)中在地面(500)上的位置；

将所述无人机(160)在所述增强现实坐标系(504)中的位置与所述无人机(160)在所述世界坐标系(502)中的位置锁定在一起；

获得所述无人机(160)在地面(500)上的航向(400)；和

将所述航向(400)设置为所述设备(100)的增强现实坐标系(504)中的校准航向符号的方位。

9.根据前述权利要求中任一项所述的设备，其中，使所述设备(100)执行下述步骤：

当操作人员(120)看向(204)空中(210)的无人机(160)时，在所述增强现实显示器(112)上叠加间接视线引导线(800)，所述间接视线引导线(800)水平延伸到所述无人机(160)在地面(500)上的地理位置，间接视线引导线(802)从该位置继续竖直延伸到空中(210)的无人机(160)的巡航海拔目标符号(200)。

10.根据前述权利要求中任一项所述的设备，其中，使所述设备(100)执行下述步骤：

在所述增强现实显示器(112)上叠加显示操作人员(120)的地理位置(1302)、所述无人机(160)的地理位置(1304)和航路点(1306)的地图(1300)；和

当操作人员(120)看向(204)空中(210)的无人机(160)时，在所述增强现实显示器(112)上叠加竖直航路点符号(1308)，所述竖直航路点符号(1308)开始于从地面(500)上的航路点(1306)的地理位置、并朝向所述航路点(1306)的预定海拔延伸。

11.根据前述权利要求中任一项所述的设备，其中，使所述设备(100)执行下述步骤：

当操作人员(120)看向(204)空中(210)的无人机(160)时，基于使用无人机(160)自带的一个或多个传感器(1402)实时捕获的数据，在所述增强现实显示器(112)上在目标符号(200)附近叠加一个或多个视觉元素(1400)；和

当操作人员(120)看向(204)空中(210)的无人机(160)时，将所述一个或多个视觉元素(1400)定位在所述增强现实显示器(112)上，使得视线保持不受阻挡。

12.根据前述权利要求中任一项所述的设备，其中，使所述设备(100)执行下述步骤：

当操作人员(120)看向(204)空中(210)的无人机(160)时，在所述增强现实显示器(112)上在增强现实显示器(112)的目标符号(200)附近叠加竖直布局的地图(1600)，所述地图(1600)显示操作人员(120)的地理位置(1602)和所述无人机(160)的地理位置(1604)；或者

当操作人员(120)看向(1706)地面(500)时，在所述增强现实显示器(112)上叠加显示操作人员(112)的地理位置(1702)和所述无人机(160)的地理位置(1704)的水平布局的地图(1700)。

13.根据前述权利要求中任一项所述的设备，其中，使所述设备(100)执行下述步骤：

当操作人员(120)在能见度良好的情况下以能够看到所述无人机(160)的视线(2300)、或在能见度受损的情况下以增强的对所述无人机(160)的视线(2400)、或在能见度受阻的情况下以增强和模拟的对所述无人机(160)的视线、或在能见度很远的情况下以增强的对所述无人机(160)的视线看向(204)空中(210)中的无人机(160)时，在所述增强现实显示器(112)上叠加与飞行相关的数据。

14.一种辅助操作人员使用遥控器驾驶无人机的方法，包括：

从所述遥控器接收(3002)与飞行相关的数据；

在增强现实显示器上向操作人员显示(3004)与飞行相关的数据；

当操作人员看向所述无人机时，在所述增强现实显示器上叠加(3006)指示所述无人机的位置的目标符号；

当操作人员看向所述无人机时，在所述增强现实显示器上叠加(3008)指示所述无人机的方位的方位符号；

获得与所述无人机(160)相关的地理位置；和

在所获得的地理位置上设置世界标记。

15.一种包括计算机程序代码(106)的计算机可读介质(170)，所述计算机程序代码(106)在由一个或多个处理器(102)执行时导致一辅助操作人员使用遥控器驾驶无人机的方法的执行，所述方法包括：

从所述遥控器接收(3002)与飞行相关的数据；

在增强现实显示器上向操作人员显示(3004)与飞行相关的数据；

当操作人员看向所述无人机时，在所述增强现实显示器上叠加(3006)指示所述无人机的位置的目标符号；

当操作人员看向所述无人机时，在所述增强现实显示器上叠加(3008)指示所述无人机的方位的方位符号；

获得与所述无人机(160)相关的地理位置；和

在所获得的地理位置上设置世界标记。