CN117222955A - 用于协助操作员使用远程控制器和ar眼镜来飞行无人机的装置、方法和软件 - Google Patents
用于协助操作员使用远程控制器和ar眼镜来飞行无人机的装置、方法和软件 Download PDFInfo
- Publication number
- CN117222955A CN117222955A CN202280029353.7A CN202280029353A CN117222955A CN 117222955 A CN117222955 A CN 117222955A CN 202280029353 A CN202280029353 A CN 202280029353A CN 117222955 A CN117222955 A CN 117222955A
- Authority
- CN
- China
- Prior art keywords
- drone
- human operator
- augmented reality
- reality display
- sky
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 239000011521 glass Substances 0.000 title description 3
- 230000003190 augmentative effect Effects 0.000 claims abstract description 117
- 238000004590 computer program Methods 0.000 claims abstract description 23
- 238000004891 communication Methods 0.000 claims abstract description 18
- 230000015654 memory Effects 0.000 claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims description 18
- 238000012800 visualization Methods 0.000 claims description 14
- 230000002829 reductive effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 10
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
用于协助人类操作员(120)使用远程控制器(150)来飞行无人机(160)的装置(100)、方法和软件。装置(100)包括：内部数据通信接口(108)，其被配置为从远程控制器(150)接收数据；增强现实显示器(112)，其被配置为显示数据；包括计算机程序代码(106)的一个或更多个存储器(104)；以及一个或更多个处理器(102)，使得装置(100)执行以下：当人类操作员(120)看向(204)无人机(160)时，在增强现实显示器(112)上叠映指示无人机(160)的位置的目标符号(200)；以及当人类操作员(120)看向(204)无人机(160)时，在增强现实显示器(112)上叠映指示无人机(160)的方向的方向符号(202)。
Description
技术领域
各种实施例涉及用于协助人类操作员使用远程控制器来飞行无人机的装置、用于协助人类操作员使用远程控制器来飞行无人机的方法、以及包括计算机程序代码的计算机可读介质，当计算机程序代码由一个或更多个处理器执行时导致方法的执行。
背景技术
(基于地面的)人类操作员使用远程控制器(有时至少部分地由自动驾驶仪协助)飞行无人机(或无人驾驶飞行器，UAV)。
人类操作员必须同时看向天空中的无人机，操作手持远程控制器，并偶尔看向远程控制器的显示器。这将造成糟糕的态势感知，从而导致潜在的危险情况。
法律要求是人类操作员必须与天空中的无人机(通过视线)保持视觉接触。这是相当具有挑战性的，因为无人机可能会因例如距离远、低环境光或物理障碍而不可见。
这些问题可以由所谓的观察员的另一个人保持对无人机的视觉接触(甚至使用双筒望远镜)来缓解，而人类操作员可以专注在操作远程控制器上(但可能仍需要偶尔查看远程控制器的显示器)。当然，对于人类操作员和观察员来说，这样的设置需要良好的沟通技巧。另外，人力增加了一倍，导致了更高的无人机的操作成本。
US2018/0196425 A1、US2019/0077504 A1和US2019/0049949 A1公开了与在无人机飞行中使用头戴式显示器有关的各个方面。
发明内容
根据一个方面，提供了独立权利要求的主题。从属权利要求限定了一些实施例。
在附图和具体实施方式中更详细地阐述了实施方式的一个或更多个示例。
附图说明
现将参考附图描述一些实施例，其中：
图1A和图1B示出了用于协助人类操作员使用远程控制器来飞行无人机的装置的实施例；
图2和图3示出了由装置的增强现实显示器提供的视图的实施例；
图4、图5、图6、图7、图8和图9示出了无人机的方向的实施例；
图10、图11和图12示出了将与无人机相关的障碍物进行可视化的实施例；
图13示出了将与无人机相关的航路点进行可视化的实施例；
图14和图15示出了将由无人机捕捉的数据进行可视化的实施例；
图16和图17示出了将与无人机的飞行有关的地图进行可视化的实施例；
图18和图19示出了将装置的菜单结构进行可视化的实施例；
图20、图21和图22示出了将与无人机的物理环境有关的外部数据进行可视化的实施例；
图23、图24、图25、图26和图27示出了将在不同能见度期间的对到无人机的视线进行可视化的实施例；
图28和图29示出了包括两个装置的系统的实施例；以及
图30是示出用于协助人类操作员使用远程控制器来飞行无人机的方法的实施例的流程图。
具体实施方式
以下实施例仅为示例。尽管说明书可以在多个位置提及“一个”实施例，但这并不一定意味着每个这样的提及都指向相同的实施例，或者特征仅适用于单个实施例。不同实施例的单个特征还可以被组合以提供其他实施例。此外，词语“包含”和“包括”应被理解为没有将描述的实施例限制为仅由已提及的那些特征组成，并且这样的实施例还可以包含未具体提及的特征/结构。
具体实施方式和权利要求书中的附图标记都用于参考附图来示出实施例，而不将其仅限制于这些示例。
在下面的描述中公开的不属于独立权利要求范围的实施例和特征(如果有的话)，将被解释为有助于理解本发明的各种实施例的示例。
让我们研究图1A，图1A示出了用于协助人类操作员(或飞行员)120使用远程控制器150来飞行无人机160的装置100的简化框图。无人机160也被称为UAV(无人驾驶飞行器)。UAS(无人驾驶飞行系统)可以被限定为包括无人机(或UAV)160、(地基)远程控制器150和在远程控制器150与无人机160之间的无线通信系统152。
同时，参考图30，图30是示出用于协助人类操作员120使用远程控制器150来飞行无人机160的方法的实施例的流程图。
该方法从3000开始并在3010结束。注意，该方法可以通过循环回到操作3002来运行需要的尽可能长的时间(在装置100启动之后直到关闭为止)。
图30中，操作并不严格按时间顺序，并且一些操作可以同时执行或以与给定顺序不同的顺序执行。其他功能也可以在操作之间或操作中执行，以及其他数据也可以在操作之间交换。一些操作或操作的一部分也可以被省略或由相应的操作或操作的一部分代替。应该注意的是，除非因处理顺序的逻辑要求而有必要，否则不需要特殊的操作顺序。
装置100包括内部数据通信接口108，内部数据通信接口108被配置为从远程控制器150接收与飞行有关的数据(3002)。与飞行有关的数据可以包括无人机160的遥测数据。与飞行有关的数据可以包括但不限于：传感器读数(诸如，陀螺仪、磁力计)、角速度、速度、融合数据(诸如，高度和全球定位)、飞机信息(诸如，电池、云台和飞行状态)等。注意，根据无人机环境，装置100也可以直接从无人机160接收一些数据。
内部数据通信接口108可以使用被配置为与远程控制器150的无线收发器通信的无线电收发器来实现。用于内部数据通信接口108的技术包括但不限于以下一种或更多种：无线局域网(WLAN)，其使用IEEE 802.11ac标准或Wi-Fi协议套件来实现；短距离无线互联网，诸如，蓝牙或蓝牙LE(低能量)；蜂窝无线电互联网，其采用用户识别模块(SIM)或eSIM(嵌入式SIM)，或另一标准或专有无线连接方式。注意，例如，在一些用例中，内部数据通信接口108可以额外地或交替地利用诸如例如可用总线的标准的或专有的有线连接。实施例根据USB(通用串行总线)标准利用有线连接。
装置100还包括增强现实(AR)显示器112，增强现实(AR)显示器112被配置为向人类操作员120显示与飞行有关的数据(3004)。注意，从图2至图29的附图示出了具体实施例，但除了这些，与飞行有关的各种通知和状态也可以被显示在增强现实显示器112上。
在附图中，增强现实显示器112被实现为头戴式显示器，其附着在头带上(或是头盔安装式的)并由人类操作员120佩戴为眼前的遮阳板。在附图中，增强现实显示器112被实现为透视显示器，在透视显示器上显示全息图像。在替代的实施例中，增强现实显示器112可以采用摄像头来截取真实世界视图并将真实世界的增强视图作为投影显示。
在一个实施例中，装置100被实现为：将混合有采用透视全息透镜的现实智能眼镜的2(或更高版本)用作增强现实显示器112，提供完整的动态环境。然后，头戴式装置100包括必要的处理器102(包括片上系统、定制的全息处理单元和协处理器)、存储器104和软件106、深度相机、摄像机、投影镜头、惯性测量单元(包括加速度计、陀螺仪和磁力计)、无线连接单元108、110和可充电电池。注意，这些部件的一些没有在图1中示出。例如，这样的现成的环境提供了增强现实引擎144，增强现实引擎144被配置为提供关于将现实世界和增强现实融合在一起以及跟踪人类操作员120的头部和眼睛运动的基本操作。
然而，也可以使用增强现实显示器112的其他应用实现，包括但不限于：眼镜、平视显示器、具有增强现实成像的隐形眼镜等。为了本实施例的目的，增强现实显示器112被配置为提供真实世界飞行环境210与无人机160的交互式实时体验，交互式实时体验被计算机生成的感知信息增强。除了自然环境210和无人机160之外，与飞行有关的数据被叠映(或被覆盖)。
装置100还包括：一个或更多个存储器104，存储器104包括计算机程序代码106；以及一个或更多个处理器102，处理器102被配置为执行计算机程序代码106以使装置100执行所需的数据处理。由装置100执行的数据处理可以被解释为方法或算法130。
术语“处理器”102指能够处理数据的器件。在一个实施例中，处理器102被实现为微处理器，其在集成电路上实现中央处理单元(CPU)的功能。CUP是执行计算机程序代码106的逻辑机器。CPU可以包括一组寄存器、算术逻辑单元(ALU)和控制单元(CU)。控制单元由从(工作)存储器104传输到CPU的计算机程序代码106序列控制。控制单元可以包括大量用于基本操作的微指令。微指令的实现可能根据CPU的设计而不同。一个或更多个处理器102可以被实现为单个处理器的核和/或被实现为独立的处理器。
术语“存储器”104指能够在运行时(＝工作存储器)或永久(＝非易失性存储器)存储数据的器件。工作存储器和非易失性存储器可以通过随机存取存储器(RAM)、动态RAM(DRAM)、静态RAM(SRAM)、闪速存储器、固态磁盘(SSD)、PROM(可编程只读存储器)、合适的半导体或实现电子计算机存储器的任何其他方式来实现。
计算机程序代码106由软件实现。在一个实施例中，软件可以通过合适的编程语言来编写，且得到的可执行代码可以被存储在存储器104中并由一个或更多个处理器102执行。
计算机程序代码106实现方法/算法130。计算机程序代码102可以使用编程语言来被编码为计算机程序(或软件)，例如，编程语言可以是高级编程语言，诸如C、C++或Rust。计算机程序代码106可以是源代码形式、目标代码形式、可执行文件形式或某种中间形式，但是为了在一个或更多个处理器102中使用，其是作为应用140的可执行形式。有很多构造计算机程序代码的方法：根据软件设计方法和使用的编程语言的不同，操作可以被分为模块、子例程、方法、类、对象、小程序、宏等。在现代编程环境中，有软件库，即现成函数的汇编，其可以被计算机程序代码106使用以执行各种各样的标准操作。此外，操作系统(诸如，通用操作系统)可以向计算机程序代码106提供系统服务。
一个实施例提供存储计算机程序代码106的计算机可读介质170，当计算机程序代码106被加载到一个或更多个处理器102中并由一个或更多个处理器102执行时，导致一个或更多个处理器102执行图30所述的方法/算法130。计算机可读介质170可以至少包括以下部分：能够将计算机程序代码106携带到一个或更多个处理器102的任何实体或器件、记录介质、计算机存储器、只读存储器、电载波信号、通信信号和软件分发介质。在一些司法管辖区，根据立法和专利实践，计算机可读介质170可以不是通信信号。在一个实施例中，计算机可读介质170可以是计算机可读储存介质。在一个实施例中，计算机可读介质170可以是非瞬态计算机可读储存介质。
如图1A和图1B所示，计算机可读介质170可以携带计算机程序代码160作为用于装置100的可执行应用140，以及作为用于远程控制器150的可执行应用142，以向装置100传输与飞行有关的数据。在典型的无人机环境中，诸如软件开发工具包可以用于应用142以与远程控制器150交互。
图1A将装置100示为集成单元，集成单元包括：增强现实显示器112、包括计算机程序代码106的一个或更多个存储器104、以及一个或更多个处理器102。
然而，如图1B所示，装置100还可以被实现为分布式装置100，使得人类操作员120被提供增强现实显示器112，但具有单独的处理部分180，单独的处理部分180与增强现实显示器112和远程控制器150通信耦接，并且包括一个或更多个存储器104以及一个或更多个处理器102，存储器104包括计算机程序代码106。这可以被实现使得处理部分180是用户装置(诸如，由人类操作员120携带的智能手机、平板电脑或便携式计算机)，以及通信耦接可以是有线或无线的。另一实现使得处理部分180是互联网计算机服务器，其根据客户机-服务器体系结构、云计算体系结构、点对点系统或另一应用的分布式计算体系结构与增强现实显示器112进行交互操作。
图2和图3示出了由装置100的增强现实显示器112提供的视图的实施例。注意，从图2至图29的所有示意图将每个用例作为两个不同视角的组合来示出。
让我们更详细地检查图2和图3。如所示，第一视角示出了飞行：人类操作员120操作远程控制器150并通过装置100(或者，更精确地表达，通过装置100的增强现实显示器112)观察(或看向)204天空210中的无人机160。如所示，第二视角示出了在增强现实显示器112上显示的元素200、202。
从图2至图29的所有示意图中都使用了这种约定：虚箭头线204显示人类操作员120看向的方向，通常是看向天空中的无人机160，但在一些用例中，人类操作员120看向另一个方向，诸如看向地面，注视方向用由附图标记600、1404、1706、1804、2602所指的虚箭头线标记。然而，在前面提到的使用摄像头截取真实世界视图并显示真实世界的增强视图作为投影的替代实施例中，注视增强现实显示器112的方向可以不同于摄像头的捕捉方向。例如，为了缓缓移动飞行位置，人类操作员不需要倾斜头部注视天空，但摄像机向上倾斜。
注意，在所有描述的实施例中，人类操作员120是站在地面500上的，而无人机160是在天空210中飞行的。然而，实施例也适用于其他类型的环境，诸如，在地下洞穴中，在人造结构(诸如，建筑物或隧道)内飞行无人机160，或者甚至在无人机160在人类操作员120下方飞行的用例中，即，人类操作员120看向204无人机160时是向下看而不是向上看。在这样的用例中，人类操作员120可能站在一个很高的平台上(诸如，摩天大楼或一座山)，而无人机160在下方飞行(诸如，在街道上方或在山谷中)。实施例还可以应用于在水中飞行无人机160，即，当无人机在河、湖、海、充水矿井或隧道等水下时，于是无人机160是无人水下航行器(UUV)，且人类操作员120可以例如从陆地或从船舶操作无人机160。
在某种程度上，从图2至图29的所有附图都是示出在现实世界之上的增强现实的混合物。真实世界从外部视图(如从真实世界外部观察用例的另一个人的视图)示出，而增强现实显示器112从人类操作员120的第一人视图示出。
现在让我们回到图2和图3。在一个实施例中，当人类操作员120看向204无人机160(在天空210中的UAV)时，装置100被使得在增强现实显示器112上叠映指示无人机160(在天空210中UAV)的位置的目标符号200(3006)。在一个实施例中，当人类操作员120看向204无人机160(在天空210中的UAV)时，装置还被使得在增强现实显示器112上叠映指示无人机160(在天空210中的UAV)的方向的方向符号202(3008)。
增强现实显示器112的使用使人类操作员120能够在飞行期间看向204天空中的无人机160。这提高了人类操作员120对飞行的态势感知，而不需要观察员。人类操作员(通过视线)保持对天空210中的无人机160的视觉接触，但也同时被显示实际正确的世界位置中的航空数据，如将被解释的那样。
目标符号200指示无人机160在天空210中的位置，这使得人类操作员120在飞行期间更容易地跟踪无人机160。在一个实施例中，目标符号200是如图所示的标线。标线200通常用于火器的望远镜瞄准器。标线200可以包括如图3所示的圆300和部分十字瞄准线302的组合，但是也可以使用诸如小圆点、杆、V形线等的其他图案。
方向符号202指示无人机160在天空210中的方向，这使得人类操作员120更容易理解在飞行期间用远程控制器150向无人机160发出的转向命令的效果。在一个实施例中，方向符号202是如所示的箭头。如图3所示，箭头202可以由圆弧304增强，圆弧304示出围绕人类操作员120的360度圆的一部分。箭头202可以指向无人机160的航向，如后面将被解释的那样。
在增强现实显示器112中，来自数字世界的目标符号200和方向符号202通过沉浸式感觉的融合来融入人类操作员120的现实世界的感知，来自数字世界的目标符号200和方向符号202被认为是飞行环境210的天然的部分。
接下来让我们研究图4、图5、图6、图7、图8和图9，其示出了无人机160的方向的实施例。
在一个实施例中，方向符号202被配置为指向相对于无人机160在天空210中的方向而固定的预定方向。由于人类操作员120知道预定方向，因此对于人类操作员120来说很容易理解用远程控制器150给出的转向命令影响飞行的方式。如图3所示，远程控制器150可以包括例如两个操纵杆310、312以给出转向命令。当然，其他种类的转向布置也与描述的实施例兼容。然而，远程控制器150可以以各种自由度来控制无人机160：摇摆，使无人机160向左或向右倾斜；颠簸，使无人机160向前或向后倾斜；以及偏航，使无人机160顺时针或逆时针旋转。此外，高度控制器控制无人机飞得更高或更低。注意，远程控制器150的一些用户界面元件可以被编程为与装置100交互，使得装置100的用户界面操作除了在增强现实环境中执行外，还可以与远程控制器150的(物理)用户界面元件一起执行。
在图4所示的一个实施例中，预定方向相对于无人机160的航向400而固定。在导航中，无人机160的航向400是罗盘方向，无人机160的机首被指向罗盘方向。注意，无人机160是四轴飞行器(＝具有四个旋翼的直升机)，例如，可能没有“天然”的机首，在该情况下，无人机160的一个方向就被限定为机首。
图5示出了为了启用实施例而需要相互关联的各种坐标系502、504、506。世界坐标系502限定三维世界模型可视化，三维世界模型可视化被映射到装置100的坐标系504以及被映射到无人机160的坐标系506。然后，装置100使用其自身的坐标系504来显示增强现实，但也示出了无人机160和人类操作员120在世界坐标系502中的位置。
在图5和图6所示的一个实施例中，装置100被使得执行：
-获取无人机160在世界坐标系502中在地面500上的位置；
-获取无人机160在装置100的增强现实坐标系504中在地面500上的位置；
-将无人机160在增强现实坐标系504中的位置与无人机160在世界坐标系502中的位置进行锁定；
-获取无人机160在地面500上的航向400；以及
-将航向400设置为在装置100的增强现实坐标系504中校准航向符号的方向。
以这种方式，不断跟踪人类操作员120的任何头部移动的增强现实坐标系504现在牢固地基于世界坐标502，并且也遵循实际罗盘方向602。因此，实现了将世界纬度和经度(世界坐标系502的x和z)以及罗盘航向信息602耦接到增强现实呈现中。
在更具体的实施例中，导致装置100执行：
-(从远程控制器150或从无人机160)获取无人机160在世界坐标系502中在地面500上的位置；
-在增强现实显示器112上叠映校准位置符号；
-校准位置符号被放在无人机160上(诸如，放在无人机160的中心上或无人机160上的另一预定点上)后接收第一次用户确认；
-(从增强现实引擎144)获取无人机160在装置100的增强现实坐标系504中在地面500上的位置；
-将无人机160在增强现实坐标系504中的位置与无人机160在世界坐标系502中的位置进行锁定；
-(从远程控制器150或从无人机160)获取无人机160在地面500上的航向400；
-在增强现实显示器112上叠映校准方向符号；
-在校准方向符号与无人机160对齐(诸如与无人机160的尾首线或与无人机160的另一预定方向对齐)后接收第二次用户确认；以及
-将航向400设置为装置100的增强现实坐标系504中校准方向符号的方向。
首先，增强现实系统被显示无人机160在世界坐标系502中的位置以及与增强现实坐标系504相关的无人机160的位置。通过用增强现实指示器来指示无人机160中心点位于增强现实视场112内的该确切地点，该地点现在在现实世界坐标系502和增强现实坐标系504中都是已知的。通过这种组合，具有世界经度和纬度信息的固定共同位置被获取。该纬度和经度来自无人机160，因为无人机160现在知道无人机160的确切坐标(由GPS或其他全球导航卫星系统提供，或由诸如基于蜂窝无线电的定位的另一定位技术提供)。增强现实指针棒或另一类型的校准位置符号可以向人类操作员120指示增强现实显示器112中的位置。当显示无人机160的位置时，在人类操作员160前的固定距离处移动并指向下方的该指针棒被引导到无人机160的中心上方。指针棒被保持稳定以确认位置，然后将坐标系502、504锁定在一起。替代地，这也可以使用机器视觉来完成，只要看到无人机160并破译其在增强现实坐标系504中的位置，然后锁定无人机160纬度、经度以及甚至朝向那种形状前进。显示无人机160的位置可以以多种方式完成，但需要有信心将世界和增强现实坐标系502、504可靠地锁定在一起。
其次，由于无人机160知道其机首指向的位置，即无人机160以度数告诉其罗盘航向，这可以被用来完成坐标系502、504的耦接。增强现实系统被用于将显示线或另一类型的校准方向符号与无人机160的尾首线对准，并且当实现这一点时，此刻就知道了显示线在世界坐标系502中的罗盘方向。因此，任何方向的世界罗盘航向，例如北向，就都可以从其计算出来。
作为可选步骤，当从无人机160获取世界位置(纬度、经度)时，精确高度(世界坐标系502中的y)还可以可能通过远程控制器150来基于精确世界坐标502而从地图系统查询到，或者从无人机160本身查询到。因此，我们也可以校准该点在空间中的高度(如果需要精确的精度，则使用自地面起的无人机160顶面的无人机具体偏移距离)，并且如此使用地图数据以精确地确定目前位置之后的任何其他世界点地形高度。总而言之，要实现的世界锁定可能需要纬度、经度，可能还需要高度以及罗盘航向。
在这种耦接之后，整个系统中的其他一切都是围绕着无人机160在世界坐标502中的实际位置以及在世界中围绕无人机160的确切是什么而建立的。注意，与耦接相关的描述的实施例可以作为独立实施例操作，而不考虑所有其他实施例，还有与独立权利要求和其他从属权利要求相关的描述的实施例。
与飞行有关的数据被映射到世界坐标502，并因此被显示步骤3004、3006、3008，使得与飞行有关的数据的可视化利用知道在世界坐标系502中表示的与飞行有关的数据的三维位置，与飞行有关的数据的可视化被锁定在增强现实坐标系504中。
在图7所示的一个实施例中，态势感知可以利用数字信息来进一步增强。当人类操作员看向204天空中的无人机160时，装置100被使得使用在视觉上与目标符号200耦接的数值和刻度700来在增强现实显示器112上叠映无人机160的巡航高度704。如图7所示，刻度700可以包括各自指示特定高度的水平线。当人类操作员120看向204天空210中的无人机160时，装置被使得在增强现实显示器112上叠映无人机160的在视觉上与方向符号202耦接的度数702的航向706。这对于专业的人类操作员120可能是有用的。
在图8所示的一个实施例中，当人类操作员120看向204天空210中的无人机160时，装置100被使得在增强现实显示器112上叠映间接视线导引线800，间接视线导引线800水平地延伸至无人机160在地面500上的地理位置，从无人机160的在地面500上的地理位置起，间接视线导引线802继续垂直地延伸至无人机160在天空210中的巡航高度处的目标符号200。这可以进一步增强态势感知，因为人类操作员120可以首先观察水平导引线800以看到无人机160在地球表面500上的地理位置，并且然后观察垂直导引线802以掌握无人机160在天空210中的位置。
在图9所示的一个实施例中，当人类操作员120看向204天空210中的无人机160时，装置100被使得在增强现实显示器112上叠映轨迹符号900，轨迹符号900指示无人机160在天空210中的轨迹902和速度。在导航中，轨迹902是无人机实际飞行的路线。航向400和轨迹902之间的差异是由空气210的运动(诸如由气流)导致的。通过显示轨迹902和速度，人类操作员120预知当前控制的效果，然后可以根据需要进行调整。
接下来让我们研究图10、图11和图12，示出了将与无人机160相关的障碍物进行可视化的实施例。
在图10所示的一个实施例中，当人类操作员120看向204天空210中的无人机160时，装置100被使得在增强现实显示器112上叠映障碍物指示符号1000，障碍物指示符号1000被配置为描绘无人机160到真实物体1004的距离1002。距离1002可以是无人机160与真实物体1004之间的最短距离。如图10所示，障碍物指示符号1000可以用箭头标记距离，可能由指示距离1002的数值增强。真实物体1004可以是人造物体，诸如建筑物、桥梁等，或可以是自然物体，诸如山、森林等。
图11示出了另外的实施例，其中，障碍物指示符号1000包括至少部分地叠映在真实物体1004上的视觉指示符(indicator)1100。如图11所示，视觉指示符1100可以是叠放在真实物体1004上的阴影或类似的视觉效果。以这种方式，当无人机160接近物体1004时，人类操作员120立即识别出碰撞危险。
图12示出了另一个实施例，可适用于图10的实施例或图11的实施例。障碍物指示符号1200包括描绘从无人机160到真实物体1206的最短水平距离1202和最短垂直距离1204的元素。以这种方式，无人机160的垂直运动和水平运动的效果可以被识别，以避免与真实物体1206发生碰撞。
让我们接下来研究图13，示出了将与无人机160相关的航路点进行可视化的实施例。装置100被使得在增强现实显示器112上叠映地图1300，地图1300显示人类操作员120的地理位置1302、无人机160的地理位置1304和航路点1306。以这种方式，人类操作员120直观地对与飞行有关的环境有更好的了解。如图13所示，地图1300和无人机160可以同时在人类操作员120的视野范围内，并且注视可以交替为指向无人机(204)或指向地图1300(1310)。当人类操作员120看向204天空210中的无人机160时，装置100还被使得在增强现实显示器112上叠映垂直航路点符号1308，垂直航路点符号1308从地面500上的航路点1306的地理位置开始并朝向航路点1306的预定高度延伸。航路点符号1308的窄部分可以精确地确定地球500上的地理位置，而航路点符号1308的更宽的部分可以指示航路点在天空210中的设置高度。以这种方式，航路点符号1308被显示在真实世界的正确位置上。
接下来，图14和图15示出了将被无人机160捕捉的数据进行可视化的实施例。装置100被使得：当人类操作员120看向204天空210中的无人机160时，在增强现实显示器112上，在目标符号200附近叠映使用无人机160机载的一个或更多个传感器1402来实时捕捉的一个或更多个视觉元素1400，以及当人类操作员120看向204天空210中的无人机160时，在增强现实显示器112上放置一个或更多个视觉元素1400，使得视线保持无阻挡。视觉元素1400可以如所示地被放置在目标符号200的任意一侧，但也可以放置在围绕目标符号200的任何地方。在任何情况下，人类操作员120可以快速瞥一眼1404视觉元素1400，但主要看向204无人机160并同时操纵无人机170。在所示实施例中，图像传感器1402捕捉图像源或视频源作为数据，然后图像源或视频源作为视觉元素1400被叠映在增强现实显示器112上。以这种方式，人类操作员120可以操纵无人机120，使得图像传感器1402拍摄期望的视图。注意，图像传感器可以作为(普通)可见光相机(诸如，照相相机或摄像机)操作。除此之外，图像传感器可以作为例如热(或红外)相机、多光谱相机、高光谱相机或电晕放电相机操作。无人机160机载的一个或更多个传感器1402可以包括但不限于以下技术中的一个或更多个技术：激光雷达(光探测和测距，或激光成像、探测以及测距，或3-D激光扫描)传感器、声纳(声音导航和测距)传感器、雷达(无线电探测和测距)传感器、化学传感器、生物传感器、辐射传感器、粒子传感器、磁传感器、网络信号强度传感器等。无人机160可以携带这些传感器1402的任何组合作为有效载荷，其数据然后被可视化为通过动态地放置的一个或更多个视觉元素1400所解释的那样。
图16和图17示出了将与无人机160的飞行有关的地图进行可视化的实施例。人类操作员120可以选择地图1600、1700的布局，或者装置100可以根据飞行情况自动决定使用哪一种布局。当人类操作员120看向204天空210中的无人机160时，装置100被使得在增强现实显示器112上叠映垂直布局的地图1600，垂直布局的地图1600在增强现实显示器112上在目标符号200的附近显示人类操作员120的地理位置1602和无人机160的地理位置1604。替代地，当人类操作员120看向204天空210中的无人机160时，装置100被使得在增强现实显示器112上叠映水平布局的地图1700，地图1700显示人类操作员112的地理位置1702和无人机160的地理位置1704。通过使用垂直布局的地图1600，当人类操作员注视204无人机160并看旁边的地图1600时，可以始终保持态势感知。通过使用水平布局的地图1700，人类操作员120需要看向1706地面500，但如所示，地图1700可能显示得更大及更直观，因为地图1700表面与地球表面500平行。
图17还示出了使用的地图1700可以是三维地形图，三维地形图还示出了由三维建筑物1708所描绘的高度数据。
图18和图19示出了将装置100的菜单结构进行可视化的实施例。当人类操作员120看向204天空210中的无人机160时，装置100被使得在增强现实显示器112上围绕人类操作员120叠映菜单结构1800。装置100被使得检测来自人类操作员120的手势1802作为与菜单结构1800有关的命令，并基于命令控制在增强现实显示器112上的与飞行相关的数据的显示1900。以这种方式，人类操作员120可以快速地操控装置100。如图18所示，示出了目标符号200和方向符号202的基本显示，而在图19中，人类操作员120已从菜单结构1800选择以使用在视觉上与目标符号200耦接的数值和刻度700来显示无人机160的巡航高度，如前面参考图7所解释的那样。
图20、图21和图22示出了将与无人机160的物理环境有关的外部数据进行可视化的实施例。
如图1A和图1B所示，装置100包括外部数据通信接口110，外部数据通信接口110被配置为接收与无人机160的物理环境有关的外部数据114。注意，在一个实施例中，外部数据通信接口110可以使用内部数据通信接口108来实现。装置100被使得在增强现实显示器112上叠映一个或更多个外部数据114的可视化2000。以这种方式，装置100可以通过将外部数据源并入由增强现实显示器112实现的单个用户界面来增加人类操作员120的态势感知。如前所述，外部数据114被映射到世界坐标502并因此被显示，使得外部数据114的可视化利用知道在世界坐标系502中表示的外部数据114的三维位置，外部数据114的可视化被锁定到增强现实坐标系504。除了从各种源获取外部数据外，外部数据通信接口110还可以被用于将与飞行有关的数据通信到外部接收器116，传输的数据包括但不限于：无人机160的位置、来自人类操作员120的语音、来自无人机160的一个或更多个视频源等。
如图20所示，外部数据114可以包括天气数据，并且一个或更多个可视化2000描绘天气数据。在一个实施例中，天气数据包括关于风速和风向的信息。方向可以用箭头指示，而速度可以用如所示的箭头的规模(scale)指示，或者替代地用数值指示。另外，替代地，天气数据可以包括以下一种或更多种：湍流(预测或已知)、湿度、云可视化、降雨警告、冰雹警告、降雪警告、风暴警告、闪电警告、光照条件(一天中的时间、太阳和/或月亮的位置)、雾、气温和气压、能见度、露点(对航空飞行员很重要)、“体感”温度。所有这些都可能与时间紧密相关，即，天气预测可能是可视化的，例如，即将到来的云锋和风的变化。
如图21所示，外部数据114可以包括包含空域分类的空中交通管制数据，并且一个或更多个可视化2100、2102描绘与无人机160在天空210中的位置相匹配的空域分类。如所示，自由空域2100可以标记为“I”，而限制空域2102可以标记为：“II”和如所示的阴影矩形，或者为另一种三维形状(诸如，多边形网格)，或者甚至为二维形状(诸如，多边形)。通常，空域分类可以包括但不限于：无人机禁飞区(面积、体积)、无人机和/或其他航空作业空域的预定和告知、机场管制区、空域管制区、电线和其他障碍物、国家边境区、所有不同高度上的上述空域、警告/危险/限制区、UAV预定区、UAS预定区、模型飞机预定区。航空地图可以使用具有各种墙壁、屋顶、飞行高度等的三维多边形网格来可视化，如在增强现实显示器112中看见的那样，所有这些空域分类都位于其正确的位置。
如图22所示，外部数据114可以包括空中交通管制数据，空中交通管制数据包括飞机2200在天空210中的位置，并且一个或更多个可视化2202、2204描绘飞机2200在天空210中的位置。在一个实施例中，显示了在距离无人机160在天空210中的位置的预定距离内(诸如，例如在3、5或10公里的半径内)飞行的飞机2200的一个或更多个可视化2202、2204。可视化可以用指示飞机2200位置的箭头2202、2204来实现，并且可以另外地或替代地显示飞机2200的模拟。
图23、图24、图25、图26和图27示出了将在不同能见度期间的对无人机160的视线进行可视化的实施例。
在图23的一个实施例中，当人类操作员120在良好的能见度期间，用对无人机160的可视化视线看向204天空210中的无人机160时，装置100被使得在增强现实显示器112上叠映与飞行有关的数据。这是理想的飞行情况。
在图24的一个实施例中，当人类操作员120在降低的能见度期间，用对无人机160的增强的视线看向204天空210中的无人机160时，装置100被使得在增强现实显示器112上叠映与飞行有关的数据。增强的视线可以通过用目标符号200引导人类操作员120看向正确的方向来实现。可选地，模拟无人机160可以在正确位置显示。能见度降低可能是由弱光条件、云、雾、烟雾、雨、下雪或其他物理现象导致的。
在图25的一个实施例中，当人类操作员120在受阻的能见度期间，用对无人机160的增强和模拟的视线看向204天空210中的无人机160时，装置100被使得在增强现实显示器112上叠映与飞行有关的数据。能见度受阻可能是由障碍物2502导致的，即，无人机160在障碍物2502的后面。障碍物2502可以是图10和图11中的真实物体1004，即，障碍物2502可以是人造物体，诸如建筑物、桥梁等，或可以是自然物体，诸如山、森林等。增强是通过用目标符号200引导人类操作员120看向正确的方向来实现的，以及模拟是通过显示在正确位置的模拟无人机160来实现的。
在一个实施例中，当人类操作员120在长距离的能见度期间，用对无人机160的增强的视线看向204天空210中的无人机160时，装置100被使得在增强现实显示器112上叠映与飞行有关的数据。这没有在任何附图中示出，但然后无人机160例如基本上在高高的天空中，或接近地平线，以及人类操作员120通过目标符号200被引导看向正确的方向，从而人类操作员120可以只将无人机160看成在远处的微小的物体。
在图26和图27所示的一个实施例中，当人类操作员120看向204天空210中的无人机160时，装置100被使得调整2700增强现实显示器112上的与飞行有关的数据的显示2600，使得视线2602保持无阻挡。在图26中，人类操作员120继续以自由视线2602看向204无人机160。然而，当无人机下降2604时，地图2600最终会挡住2602视线。如图27所示，无人机160现在飞得相对低，但视线2602仍然是自由的，因为地图2600向左移动2700。
让我们最后研究图28和图29，示出了包括两个装置100、2800的系统的实施例。
第一装置100用于协助第一人类操作员120使用远程控制器150来在天空210中飞行无人机160。
与无人机160在天空210中的位置相关的第一人类操作员120的第一地理位置2814用于调整用于呈现与飞行有关的数据的第一视点，与飞行有关的数据包括将叠映在第一装置100的第一增强现实显示器112上的第一目标符号200和第一方向符号202。
如图28所示，第二装置2800用于通知与在天空210中飞行的无人机160相关的第二人类操作员2802。
与无人机160在天空210中的位置相关的第二人类操作员2802的第二地理位置2804被用于调整用于呈现与飞行有关的数据的第二视点，与飞行有关的数据包括将叠映在第二装置2800的第二增强现实显示器2810上的第二目标符号2806和第二方向符号2808。
以这种方式，第二人类操作员2802至少可以观察2812无人机160在天空210中的飞行。例如，这可能只是为了好玩，为了教育目的，为了通过飞行执照的考试，为了监视，为了追踪失踪的人，或者甚至为了协助第一个人类操作员120。如前所解释的，一名或两名操作员120、2802也可以被提供有基于使用无人机160机载的一个或更多个传感器1402来实时捕捉的数据的一个或多个视觉元素。
在图29所示的实施例中，第二装置2800用于协助与控制无人机160机载的一个或更多个传感器1402相关的第二人类操作员2802，而第一人类操作员120控制无人机160的飞行方向2908和速度。
例如，如果传感器1402是如前面所述的图像传感器，则第二人类操作员2802的第二地理位置2804被用于调整用于呈现与飞行有关的数据的第二视点，与飞行有关的数据还包括将叠映在第二装置2800的第二增强现实显示器2810上的从无人机160机载的一个或更多个视频摄像机2900实时捕捉的一个或更多个视频源。如图29所示，一个或更多个视频源2904被叠映在第二增强现实显示器2810上。
注意，图29的用例也可以是这样的，两个操作员120、2802可以在增强现实显示器112、2810上被显示相同的信息，并且由于他们二者都具有远程控制器150、2906，因此可以在飞行中，在操作员120、2906之间无缝地转移飞行的责任。这在训练课程或长期任务期间可能特别有用。还设想，在特别危险或受限制的空域中，授权飞行员2802可以驾驶无人机160安全穿越，然后(原始)操作员120重新获得对无人机160的控制。
注意，图28和图29的场景不限于第二人类操作员2802物理上存在于无人机160和第一人类操作员120附近。如前所述，外部数据通信接口110可以将与飞行有关的数据通信到外部接收器116。外部接收器116可以是互联网计算机服务器，其根据客户机-服务器体系结构、云计算体系结构、点对点系统或另一应用的分布式计算体系结构与第一装置100和第二装置2800交互操作。以这种方式，第二人类操作员120可以在很远的地方，甚至在不同的城市、国家或洲，并且仍然能够观察或甚至协助，如所描述的那样。当然，数据传输延迟需要被最小化并被加以考虑，特别是例如，如果远程第二人类操作员2802正在控制2902一个或更多个传感器1402。
尽管本发明已经根据附图参考一个或更多个实施例进行了描述，但很明显，本发明并不限于此，而是可以在所附权利要求的范围内以多种方式进行修改。所有的字语和表达都应该被广泛地解释，且它们旨在示出而不是限制实施例。对于本领域的技术人员来说显而易见的是，随着技术的进步，创造性的构思可以以各种方式实现。
Claims (23)
1.一种用于协助人类操作员(120)使用远程控制器(150)来飞行无人机(160)的装置(100)，包括：
内部数据通信接口(108)，其被配置为从所述远程控制器(150)接收与飞行有关的数据；
增强现实显示器(112)，其被配置为向所述人类操作员(120)显示与飞行有关的所述数据；
一个或更多个存储器(104)，其包括计算机程序代码(106)；以及
一个或更多个处理器(102)，其被配置为执行所述计算机程序代码(106)以使得所述装置(100)至少执行以下操作：
当所述人类操作员(120)看向(204)所述无人机(160)时，在所述增强现实显示器(112)上叠映指示所述无人机(160)的位置的目标符号(200)；以及
当所述人类操作员(120)看向(204)所述无人机(160)时，在所述增强现实显示器(112)上叠映指示所述无人机(160)的方向的方向符号(202)。
2.如权利要求1所述的装置，其中，所述方向符号(202)被配置为指出相对于所述无人机(160)在天空(210)中的方向而固定的预定方向。
3.如权利要求2所述的装置，其中，所述预定方向相对于所述无人机(160)的航向(400)而固定。
4.如前述任一项权利要求所述的装置，其中，所述装置(100)被使得执行：
获取所述无人机(160)在世界坐标系(502)中在地面(500)上的位置；
获取所述无人机(160)在装置(100)的增强现实坐标系(504)中在所述地面(500)上的位置；
锁定所述无人机(160)在所述增强现实坐标系(504)中的位置与所述无人机(160)在所述世界坐标系(502)中的位置；
获取所述无人机(160)在所述地面(500)上的航向(400)；以及
将所述航向(400)设置为在所述装置(100)的所述增强现实坐标系(504)中校准航向符号的方向。
5.如前述任一项权利要求所述的装置，其中，所述装置(100)被使得执行：
当所述人类操作员(120)看向(204)所述天空(210)中的所述无人机(160)时，使用在视觉上与所述目标符号(200)耦接的数值和刻度(700)来在所述增强现实显示器(112)上叠映所述无人机(160)的巡航高度(704)；以及
当所述人类操作员(120)看向(204)所述天空(210)中的所述无人机(160)时，在所述增强现实显示器(112)上叠映所述无人机(160)的在视觉上与所述方向符号(202)耦接的以度数(702)来表示的航向(706)。
6.如前述任一项权利要求所述的装置，其中，所述装置(100)被使得执行：
当所述人类操作员(120)看向(204)所述天空(210)中的所述无人机(160)时，在所述增强现实显示器(112)上叠映间接视线导引线(800)，所述间接视线导引线(800)水平地延伸至所述无人机(160)在地面(500)上的地理位置，从所述无人机(160)在地面(500)上的所述地理位置起，所述间接视线导引线(802)继续垂直地延伸至所述无人机(160)在所述天空(210)中的巡航高度处的所述目标符号(200)。
7.如前述任一项权利要求所述的装置，其中，所述装置(100)被使得执行：
当所述人类操作员(120)看向(204)所述天空(210)中的所述无人机(160)时，在所述增强现实显示器(112)上叠映轨迹符号(900)，所述轨迹符号(900)指示所述无人机(160)在所述天空(210)中的轨迹(902)和速度。
8.如前述任一项权利要求所述的装置，其中，所述装置(100)被使得执行：
当所述人类操作员(120)看向(204)所述天空(210)中的所述无人机(160)时，在所述增强现实显示器(112)上叠映障碍物指示符号(1000)，所述障碍物指示符号(1000)被配置为描绘所述无人机(160)到真实物体(1004)的距离(1002)。
9.如权利要求8所述的装置，其中，所述障碍物指示符号(1000)包括至少部分地叠映在所述真实物体(1004)之上的视觉指示符(1100)。
10.如前述任一项权利要求所述的装置，其中，所述装置(100)被使得执行：
在所述增强现实显示器(112)上叠映地图(1300)，所述地图(1300)显示所述人类操作员(120)的地理位置(1302)、所述无人机(160)的地理位置(1304)以及航路点(1306)；以及
当所述人类操作员(120)看向(204)所述天空(210)中的所述无人机(160)时，在所述增强现实显示器(112)上叠映垂直航路点符号(1308)，所述垂直航路点符号(1308)从地面(500)上的航路点(1306)的地理位置开始并朝向所述航路点(1306)的预定高度延伸。
11.如前述任一项权利要求所述的装置，其中，所述装置(100)被使得执行：
当所述人类操作员(120)看向(204)所述天空(210)中的所述无人机(160)时，在所述增强现实显示器(112)上，在所述目标符号(200)附近叠映基于使用所述无人机(160)机载的一个或更多个传感器(1402)来实时捕捉的数据的一个或更多个视觉元素(1400)；以及
当所述人类操作员(120)看向(204)所述天空(210)中的所述无人机(160)时，在所述增强现实显示器(112)上定位一个或更多个所述视觉元素(1400)，使得视线保持无阻挡。
12.如前述任一项权利要求所述的装置，其中，所述装置(100)被使得执行：
当所述人类操作员(120)看向(204)所述天空(210)中的所述无人机(160)时，在所述增强现实显示器(112)上叠映垂直布局的地图(1600)，所述垂直布局的地图(1600)在所述增强现实显示器(112)上在所述目标符号(200)的附近显示所述人类操作员(120)的地理位置(1602)和所述无人机(160)的地理位置(1604)；或者
当所述人类操作员(120)看向(204)所述天空(210)中的所述无人机(160)时，在所述增强现实显示器(112)上叠映水平布局的地图(1700)，所述水平布局的地图(1700)显示人类操作员(112)的地理位置(1702)和所述无人机(160)的地理位置(1704)。
13.如前述任一项权利要求所述的装置，其中，所述装置(100)被使得执行：
当所述人类操作员(120)看向(204)所述天空(210)中的所述无人机(160)时，在所述增强现实显示器(112)上围绕所述人类操作员(120)叠映菜单结构(1800)；
检测来自所述人类操作员(120)的手势(1802)作为与所述菜单结构(1800)有关的命令；以及
基于所述命令在所述增强现实显示器(112)上控制与飞行有关的数据的显示(1900)。
14.如前述任一项权利要求所述的装置，其中，所述装置(100)包括：
外部数据通信接口(110)，其被配置为接收与所述无人机(160)的物理环境有关的外部数据(114)；
其中，所述装置(100)被使得执行：
在所述增强现实显示器(112)上叠映所述外部数据(114)的一个或更多个可视化(2000)。
15.如权利要求14所述的装置，其中，所述外部数据(114)包括天气数据，并且一个或更多个所述可视化(2000)描绘所述天气数据。
16.如权利要求14或15所述的装置，其中，所述外部数据(114)包括包含空域分类的空中交通管制数据，并且一个或更多个可视化(2100、2102)描绘与所述无人机(160)在天空(210)中的位置相匹配的所述空域分类。
17.如权利要求14、15或16所述的装置，其中，所述外部数据(114)包括空中交通管制数据，所空中交通管制数据包括飞机(2200)在天空(210)中的位置，并且一个或更多个可视化(2202、2204)描绘所述飞机(2200)在天空(210)中的位置。
18.如前述任一项权利要求所述的装置，其中，所述装置(100)被使得执行：
当所述人类操作员(120)以如下方式看向(204)天空(210)中的无人机(160)时，在所述增强现实显示器(112)上叠映与飞行有关的数据：在良好的能见度期间，用对所述无人机(160)的可视化视线(2300)；或者在降低的能见度期间，用对所述无人机(160)的增强的视线(2400)；或者在受阻的能见度期间，用对所述无人机(160)的增强和模拟的视线；或者在长距离的能见度期间，用对所述无人机(160)的增强的视线。
19.如前述任一项权利要求所述的装置，其中，所述装置(100)被使得执行：
当所述人类操作员(120)看向(204)所述天空(210)中的所述无人机(160)时，在所述增强现实显示器(112)上调整(2700)与飞行有关的数据的显示(2600)，使得视线(2602)保持无阻挡。
20.一种包括两个如前述任一项权利要求所述的装置的系统，其中：
第一装置(100)，其用于协助第一人类操作员(120)使用远程控制器(150)来在天空(210)中飞行无人机(160)，其中，与所述无人机(160)在天空(210)中的位置相关的所述第一人类操作员(120)的第一地理位置(2814)用于调整用于呈现与飞行有关的数据的第一视点，所述与飞行有关的数据包括将叠映在所述第一装置(100)的第一增强现实显示器(112)上的第一目标符号(200)和第一方向符号(202)；以及
第二装置(2800)，其用于通知与在天空(210)中飞行所述无人机(160)相关的第二人类操作员(2802)，其中，与所述无人机(160)在天空(210)中的位置相关的所述第二人类操作员(2802)的第二地理位置(2804)用于调整用于呈现与飞行有关的数据的第二视点，所述与飞行有关的数据包括将叠映在所述第二装置(2800)的第二增强现实显示器(2810)上的第二目标符号(2806)和第二方向符号(2808)。
21.如权利要求20所述的系统，其中，所述第二装置(2800)用于协助与控制(2902)所述无人机(160)机载的一个或更多个传感器(1402)相关的所述第二人类操作员(2802)。
22.一种用于使用远程控制器来协助人类操作员飞行无人机的方法，包括：
从所述远程控制器接收与飞行有关的数据(3002)；
在增强现实显示器上向所述人类操作员显示与飞行有关的所述数据(3004)；
当所述人类操作员看向所述无人机时，在所述增强现实显示器上叠映指示所述无人机的位置的目标符号(3006)；以及
当所述人类操作员看向所述所述无人机时，在所述增强现实显示器上叠映指示所述无人机的方向的方向符号(3008)。
23.一种包括计算机程序代码(106)的计算机可读介质(170)，所述计算机程序代码(106)在由一个或更多个处理器(102)执行时，使得执行用于协助人类操作员使用远程控制器来飞行无人机的方法，包括：
从所述远程控制器接收与飞行有关的数据(3002)；
在增强现实显示器上向所述人类操作员显示与飞行有关的所述数据(3004)；
当所述人类操作员看向所述无人机时，在所述增强现实显示器上叠映指示所述无人机的位置的目标符号(3006)；以及
当所述人类操作员看向所述所述无人机时，在所述增强现实显示器上叠映指示所述无人机的方向的方向符号(3008)。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP21158161.6 | 2021-02-19 | ||
| EP21158161.6A EP4047434B1 (en) | 2021-02-19 | 2021-02-19 | Apparatus, method and software for assisting an operator in flying a drone using a remote controller and ar glasses |
| PCT/EP2022/053921 WO2022175379A1 (en) | 2021-02-19 | 2022-02-17 | Apparatus, method and software for assisting an operator in flying a drone using a remote controller and ar glasses |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117222955A true CN117222955A (zh) | 2023-12-12 |
Family
ID=74672174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280029353.7A Pending CN117222955A (zh) | 2021-02-19 | 2022-02-17 | 用于协助操作员使用远程控制器和ar眼镜来飞行无人机的装置、方法和软件 |
Country Status (8)
| Country | Link |
|---|---|
| US (2) | US11409280B1 (zh) |
| EP (2) | EP4047434B1 (zh) |
| JP (1) | JP2024516480A (zh) |
| KR (1) | KR20230158498A (zh) |
| CN (1) | CN117222955A (zh) |
| ES (1) | ES2970543T3 (zh) |
| PL (1) | PL4047434T3 (zh) |
| WO (1) | WO2022175379A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| PL4047434T3 (pl) * | 2021-02-19 | 2024-04-15 | Anarky Labs Oy | Urządzenie, sposób i oprogramowanie do wspomagania operatora w pilotowaniu drona z użyciem pilota zdalnego sterowania i okularów rozszerzonej rzeczywistości ar |
Family Cites Families (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10488860B1 (en) * | 2006-02-21 | 2019-11-26 | Automodality, Inc. | Geocoding data for an automated vehicle |
| US9134534B2 (en) * | 2010-02-28 | 2015-09-15 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including a modular image source |
| US20150309316A1 (en) * | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
| US9097890B2 (en) * | 2010-02-28 | 2015-08-04 | Microsoft Technology Licensing, Llc | Grating in a light transmissive illumination system for see-through near-eye display glasses |
| FR2957266B1 (fr) * | 2010-03-11 | 2012-04-20 | Parrot | Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante. |
| TWI649675B (zh) * | 2013-03-28 | 2019-02-01 | 新力股份有限公司 | Display device |
| US8903568B1 (en) * | 2013-07-31 | 2014-12-02 | SZ DJI Technology Co., Ltd | Remote control method and terminal |
| JP2015119373A (ja) * | 2013-12-19 | 2015-06-25 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| US9595138B2 (en) * | 2014-05-29 | 2017-03-14 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Augmented reality display device |
| CN107577247B (zh) * | 2014-07-30 | 2021-06-25 | 深圳市大疆创新科技有限公司 | 目标追踪系统及方法 |
| CN107847289A (zh) * | 2015-03-01 | 2018-03-27 | 阿里斯医疗诊断公司 | 现实增强的形态学手术 |
| FR3035523B1 (fr) * | 2015-04-23 | 2017-04-21 | Parrot | Systeme de pilotage de drone en immersion |
| JP6572618B2 (ja) * | 2015-05-08 | 2019-09-11 | 富士通株式会社 | 情報処理装置、情報処理プログラム、情報処理方法、端末装置、設定方法、設定プログラム |
| FR3046226B1 (fr) * | 2015-12-29 | 2020-02-14 | Thales | Affichage de donnees meteorologiques dans un aeronef |
| FR3046225B1 (fr) * | 2015-12-29 | 2019-06-28 | Thales | Affichage de donnees meteorologiques dans un aeronef |
| US10317989B2 (en) * | 2016-03-13 | 2019-06-11 | Logitech Europe S.A. | Transition between virtual and augmented reality |
| WO2017185316A1 (zh) * | 2016-04-29 | 2017-11-02 | 深圳市大疆创新科技有限公司 | 一种无人机第一视角飞行的控制方法及系统、智能眼镜 |
| US10474144B2 (en) * | 2016-08-01 | 2019-11-12 | The United States Of America, As Represented By The Secretary Of The Navy | Remote information collection, situational awareness, and adaptive response system for improving advance threat awareness and hazardous risk avoidance |
| CN107278262B (zh) * | 2016-11-14 | 2021-03-30 | 深圳市大疆创新科技有限公司 | 飞行轨迹的生成方法、控制装置及无人飞行器 |
| CN106500716A (zh) * | 2016-12-13 | 2017-03-15 | 英业达科技有限公司 | 车辆导航投影系统及其方法 |
| CN106643781A (zh) * | 2016-12-14 | 2017-05-10 | 英业达科技有限公司 | 车辆导航显示系统及其方法 |
| JP2018112809A (ja) * | 2017-01-10 | 2018-07-19 | セイコーエプソン株式会社 | 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム |
| US10532814B2 (en) * | 2017-09-11 | 2020-01-14 | Disney Enterprises, Inc. | Augmented reality travel route planning |
| US20190088025A1 (en) * | 2017-09-15 | 2019-03-21 | DroneBase, Inc. | System and method for authoring and viewing augmented reality content with a drone |
| US10678238B2 (en) * | 2017-12-20 | 2020-06-09 | Intel IP Corporation | Modified-reality device and method for operating a modified-reality device |
| US11153503B1 (en) * | 2018-04-26 | 2021-10-19 | AI Incorporated | Method and apparatus for overexposing images captured by drones |
| JP2019211249A (ja) * | 2018-05-31 | 2019-12-12 | パナソニック株式会社 | 飛行物体検知システムおよび飛行物体検知方法 |
| US20210018911A1 (en) * | 2018-11-30 | 2021-01-21 | Rakuten, Inc. | Display control system, display control device and display control method |
| CN110244760A (zh) * | 2019-06-06 | 2019-09-17 | 深圳市道通智能航空技术有限公司 | 一种避障方法、装置和电子设备 |
| KR20210078164A (ko) * | 2019-12-18 | 2021-06-28 | 엘지전자 주식회사 | 드론을 제어하기 위한 사용자 단말, 시스템 및 제어 방법 |
| US11043038B1 (en) * | 2020-03-16 | 2021-06-22 | Hong Kong Applied Science and Technology Research Institute Company Limited | Apparatus and method of three-dimensional interaction for augmented reality remote assistance |
| US11804052B2 (en) * | 2020-03-26 | 2023-10-31 | Seiko Epson Corporation | Method for setting target flight path of aircraft, target flight path setting system, and program for setting target flight path |
| PL4047434T3 (pl) * | 2021-02-19 | 2024-04-15 | Anarky Labs Oy | Urządzenie, sposób i oprogramowanie do wspomagania operatora w pilotowaniu drona z użyciem pilota zdalnego sterowania i okularów rozszerzonej rzeczywistości ar |
-
2021
- 2021-02-19 PL PL21158161.6T patent/PL4047434T3/pl unknown
- 2021-02-19 EP EP21158161.6A patent/EP4047434B1/en active Active
- 2021-02-19 ES ES21158161T patent/ES2970543T3/es active Active
- 2021-02-19 EP EP23198555.7A patent/EP4273656A3/en active Pending
- 2021-11-29 US US17/536,500 patent/US11409280B1/en active Active
-
2022
- 2022-02-17 WO PCT/EP2022/053921 patent/WO2022175379A1/en active Application Filing
- 2022-02-17 CN CN202280029353.7A patent/CN117222955A/zh active Pending
- 2022-02-17 KR KR1020237031900A patent/KR20230158498A/ko active Search and Examination
- 2022-02-17 JP JP2023550305A patent/JP2024516480A/ja active Pending
- 2022-02-18 US US17/675,028 patent/US11669088B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024516480A (ja) | 2024-04-16 |
| US11669088B2 (en) | 2023-06-06 |
| US11409280B1 (en) | 2022-08-09 |
| US20220269267A1 (en) | 2022-08-25 |
| EP4047434C0 (en) | 2023-11-08 |
| US20220269266A1 (en) | 2022-08-25 |
| EP4047434B1 (en) | 2023-11-08 |
| EP4273656A3 (en) | 2023-12-20 |
| EP4273656A2 (en) | 2023-11-08 |
| EP4047434A1 (en) | 2022-08-24 |
| KR20230158498A (ko) | 2023-11-20 |
| PL4047434T3 (pl) | 2024-04-15 |
| WO2022175379A1 (en) | 2022-08-25 |
| ES2970543T3 (es) | 2024-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11794890B2 (en) | Unmanned aerial vehicle inspection system | |
| US11568756B2 (en) | Augmented reality for vehicle operations | |
| US10678238B2 (en) | Modified-reality device and method for operating a modified-reality device | |
| EP2413101B1 (en) | Method and system for attitude differentiation in enhanced vision images of an aircraft cockpit display | |
| EP3111170B1 (en) | Projected synthetic vision | |
| EP1840861A2 (en) | Forward looking virtual imaging | |
| RU2651621C2 (ru) | Отображение пространственного положения летательного аппарата | |
| US10382746B1 (en) | Stereoscopic augmented reality head-worn display with indicator conforming to a real-world object | |
| ES2501167T3 (es) | Procedimiento y sistema para calcular una ruta de vuelo | |
| EP2523062B1 (en) | Time phased imagery for an artificial point of view | |
| US11669088B2 (en) | Apparatus, method and software for assisting human operator in flying drone using remote controller | |
| US11262749B2 (en) | Vehicle control system | |
| EP4295205A1 (en) | Apparatus, method and software for assisting human operator in flying drone using remote controller | |
| CN117203596A (zh) | 辅助操作人员使用遥控器驾驶无人机的设备、方法和软件 | |
| US11967035B1 (en) | Visualizing area covered by drone camera | |
| US20200294406A1 (en) | Aide System of Positioning of an Aircraft, Flying Set Comprising Such a System and Associated Aide Method of Positioning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |