CN113448343B - 用于设定飞行器的目标飞行路径的方法、系统和可读介质 - Google Patents

用于设定飞行器的目标飞行路径的方法、系统和可读介质 Download PDF

Info

Publication number
CN113448343B
CN113448343B CN202110312750.2A CN202110312750A CN113448343B CN 113448343 B CN113448343 B CN 113448343B CN 202110312750 A CN202110312750 A CN 202110312750A CN 113448343 B CN113448343 B CN 113448343B
Authority
CN
China
Prior art keywords
virtual
dimensional model
aircraft
flight path
target flight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110312750.2A
Other languages
English (en)
Other versions
CN113448343A (zh
Inventor
E·米祖福卡
M·莱娃
壹岐拓则
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN113448343A publication Critical patent/CN113448343A/zh
Application granted granted Critical
Publication of CN113448343B publication Critical patent/CN113448343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • G08G5/0034—Assembly of a flight plan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • G08G5/0039—Modification of a flight plan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/006—Navigation or guidance aids for a single aircraft in accordance with predefined flight zones, e.g. to avoid prohibited zones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Astronomy & Astrophysics (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及用于设定飞行器的目标飞行路径的方法、系统和程序。一种设定飞行器在物理环境中的目标飞行路径的方法，该方法包括以下步骤：显示与物理环境对应的虚拟三维模型；根据指示起点的位置的用户输入在虚拟三维模型中设定起点；连续地跟踪在与虚拟三维模型对应的空间中移动的物理对象的轨迹，同时在虚拟三维模型内显示与物理对象从起点开始的轨迹对应的连续路径；根据指示连续路径的终点的位置的用户输入在虚拟三维模型中设定终点；以及基于虚拟三维模型中从起点到终点的连续路径来生成飞行器在物理环境中的目标飞行路径。

Description

用于设定飞行器的目标飞行路径的方法、系统和可读介质
技术领域
本发明涉及一种设定飞行器在物理环境中的目标飞行路径的方法、目标飞行路径设定系统以及用于设定飞行器在物理环境中的目标飞行路径的计算机程序。
背景技术
近年来，已开发出能够远程引航或自主飞行的诸如无人机的无人驾驶飞行器(无人飞行器)。应用包括(但不限于)采矿(测量尘土的体积排量的摄影测量术)、农业(监测作物健康/田地)、搜索和救援(基于网格的飞行路径)。这些无人驾驶飞行器常常配备有机载装置，例如用于捕获空中图像/视频的相机、用于获得地形数据和其它检测数据的传感器、用于在作物上喷洒农药的设备等。传统上已使用了具有多个操纵杆的控制器来向无人驾驶飞行器远程地发送各种飞行命令。然而，远程地控制无人驾驶飞行器需要相当大量的技能，因为它需要引航员或用户在飞行期间以精确的定时发送精确的命令，以在期望的飞行路径上导航飞行器。此外，除了控制飞行器的飞行路径之外，引航员可能还需要在飞行期间控制机载相机或传感器的性质以捕获期望的飞行图像镜头和/或数据。例如，除了调节诸如镜头焦距的其它相机参数之外，需要在飞行期间精确地控制机载相机的万向接头的取向以使机载相机对准期望的待捕获对象。
美国专利申请公布No.2018/0196425提出了使用头戴式显示器(HMD)装置来改进无人驾驶飞行器的可操作性。更具体地，HMD装置用于显示作为虚拟图像叠加在外部场景上的操作支持信息(例如，飞行器移动方向、飞行器状态信息、标记和地图信息)，以使得用户可在飞行期间在参考支持图像的同时执行无人驾驶飞行器的操作，而无需移开视线并忽略实际飞行器。
国际专利公布No.WO 2018/094670公开了一种用于农业无人飞行器的控制方法，其中在飞行前使用显示在地面控制终端上的二维地图来设定飞行路径。飞行路径包括诸如喷洒流量、喷洒方向、飞行速度、飞行高度等的工作参数信息，其中经由用户接口直接输入其在飞行路径上的期望位置处的数值。
发明内容
然而，在如上所述的传统技术中，存在这样的问题：该方法需要在各个期望的点处根据用户输入的数字的复杂处理。此外，难以设定复杂的三维飞行路径，例如蛇行穿过现有物理结构、越过现有物理结构或在现有物理结构下方飞行。配置位于三维空间中的诸如相机和传感器的机载装置的位置和取向也非常具有挑战性。
鉴于上述情况，本公开的一个目的在于提供一种设定飞行器在物理环境中的目标飞行路径的方法、目标飞行路径设定系统以及用于设定飞行器在物理环境中的目标飞行路径的计算机程序，其使得用户能够在要操作飞行器的物理环境的三维模型中直观地设定目标飞行路径。
本公开的一个方面包括一种设定飞行器在物理环境中的目标飞行路径的方法。该方法包括以下步骤：显示与物理环境对应的虚拟三维模型；根据指示起点的位置的用户输入在虚拟三维模型中设定起点；连续地跟踪在与虚拟三维模型对应的空间中移动的物理对象的轨迹，同时在虚拟三维模型内显示与物理对象从起点开始的轨迹对应的连续路径；根据指示连续路径的终点的位置的用户输入在虚拟三维模型中设定终点；以及基于虚拟三维模型中从起点到终点的连续路径来生成飞行器在物理环境中的目标飞行路径。
本公开的另一方面包括一种被设置为设定飞行器在物理环境中的目标飞行路径的目标飞行路径设定系统。该目标飞行路径设定系统包括显示装置、图像传感器、存储器和处理器。显示装置被配置为显示与物理环境对应的虚拟三维模型。图像传感器被配置为捕获在与虚拟三维模型对应的空间中的物理对象的移动。存储器被配置为存储由图像传感器输出的物理对象的移动。处理器被配置为根据指示起点的位置的用户输入在虚拟三维模型中设定起点，连续地跟踪由图像传感器捕获的物理对象的移动的轨迹，同时控制显示装置在虚拟三维模型内显示与物理对象从起点开始的移动的轨迹对应的连续路径，根据指示连续路径的终点的位置的用户输入在虚拟三维模型中设定终点，并且基于虚拟三维模型中从起点到终点的连续路径来生成飞行器在物理环境中的目标飞行路径。
本公开的另一方面包括一种非暂时性机器可读介质，其包括用于设定飞行器在物理环境中的目标飞行路径的指令，所述指令在由一个或更多个处理器执行时使得所述一个或更多个处理器执行操作，所述操作包括：显示与物理环境对应的虚拟三维模型；根据指示起点的位置的用户输入在虚拟三维模型中设定起点；连续地跟踪在与虚拟三维模型对应的空间中移动的物理对象的轨迹，同时在虚拟三维模型内显示与物理对象从起点开始的轨迹对应的连续路径；根据指示连续路径的终点的位置的用户输入在虚拟三维模型中设定终点；以及基于虚拟三维模型中从起点到终点的连续路径来生成飞行器在物理环境中的目标飞行路径。
附图说明
现在参照附图，附图形成本原始公开的一部分：
图1是示出根据本发明的一个实施方式的目标飞行路径设定系统的示意图；
图2是示出根据实施方式的当用户使用虚拟三维模型来设定飞行器的目标飞行路径时的一个示例的示意图；
图3是示出根据实施方式的头戴式显示装置的功能组件的框图；
图4是说明根据本发明的实施方式的设定飞行器在物理环境中的目标飞行路径的方法的流程图；
图5是示出在根据实施方式的设定目标飞行路径的方法中在虚拟三维模型内设定目标飞行路径的起点的步骤的示意图；
图6是示在根据实施方式的设定目标飞行路径的方法中在虚拟三维模型内显示连续路径的同时连续地跟踪物理对象的轨迹的步骤的示意图；
图7是示出在根据实施方式的设定目标飞行路径的方法中校正物理对象的轨迹的步骤的示意图；
图8是示出在根据实施方式的设定目标飞行路径的方法中在虚拟三维模型内设定连续路径的终点的步骤的示意图；
图9是示出在根据实施方式的设定目标飞行路径的方法中在虚拟三维模型内修改连续路径的步骤的一部分的示意图；
图10是示出在图9所示的步骤之后在虚拟三维模型内修改连续路径的步骤的另一部分的示意图；
图11是示出根据实施方式的在虚拟三维模型中受限区域的显示的示意图；
图12是示出根据实施方式的在虚拟三维模型中避开受限区域的替代路线的显示的示意图；
图13是示出根据实施方式的在虚拟三维模型中指示安装在飞行器上的图像传感器的图像捕获区域的框的显示的示意图；
图14是示出根据实施方式的叠加在物理环境的真实世界视图上的与连续路径的至少一部分对应的路线标记的显示的示意图；
图15是示出根据本发明的实施方式的修改示例的目标飞行路径设定系统的示意图。
具体实施方式
现在将参照附图说明所选实施方式。对于本领域技术人员而言将从本公开显而易见的是，提供实施方式的以下描述仅是为了例示，而非为了限制由所附权利要求及其等同物限定的本发明。初始参照图1，根据实施方式示出目标飞行路径设定系统。图1是示出头戴式显示装置100的示意性配置的说明图。头戴式显示装置100是目标飞行路径设定系统的一个示例。头戴式显示装置100在操作上可连接到无人驾驶飞行器400和遥控装置500。
头戴式显示装置100是安装在用户的头上的显示装置，并且也被称为头戴式显示器(HMD)。在此示例中，HMD 100是使得图像出现在通过眼镜视觉上识别的外部世界中的透视型(透射型)显示装置。
HMD 100用作用户接口系统，用户通过其在要操作无人驾驶飞行器400的物理环境中设定无人驾驶飞行器400的目标飞行路径。如图2所示，HMD 100被配置为显示与物理环境对应的虚拟三维模型AR，以使得用户可使用虚拟三维模型AR来设定目标飞行路径。
如下面说明的，HMD 100被配置为允许用户设定目标飞行路径，除了飞行路径或路线信息之外，该目标飞行路径还可包括无人驾驶飞行器400的各种属性，例如用于操作机载装置(例如，相机、传感器等)的控制参数。在此示例中，如图2所示，头戴式显示装置100被配置为在要操作无人驾驶飞行器400的物理环境的三维虚拟模型内导航和设定目标飞行路径。尽管头戴式显示装置100用作用于设定无人驾驶飞行器400的目标飞行路径的用户接口系统的示例，但是用户接口系统可包括任何传统虚拟显示装置、增强现实装置、头戴式耳机、移动装置、平板计算机、膝上型计算机、台式计算机、空间跟踪系统、控制器以及可用于在虚拟三维模型AR内交互以设定无人驾驶飞行器400的目标飞行路径的任何其它计算机或装置。
一旦使用HMD 100设定了目标飞行路径，优选将目标飞行路径的规范从HMD 100输出到无人驾驶飞行器400。无人驾驶飞行器400被配置为根据所接收的目标飞行路径来执行飞行。HMD 100还可被配置为支持在飞行期间无人驾驶飞行器400的操作。
HMD 100包括使得用户视觉上识别图像的图像显示部20(显示装置的一个示例)以及控制图像显示部20的控制装置10。图像显示部20是穿戴在用户的头上的穿戴体。在此实施方式中，图像显示部20具有眼镜形状。图像显示部20包括右显示单元22和左显示单元24、右导光板26和左导光板28。
右显示单元22通过右导光板26执行图像的显示。在图像显示部20的穿戴状态下，右显示单元22位于用户的右太阳穴区域附近。左显示单元24通过左导光板28执行图像的显示。在图像显示部20的穿戴状态下，左显示单元24位于用户的左太阳穴区域附近。需要注意的是，右显示单元22和左显示单元24也被统称为“显示驱动部”。
此实施方式中的右导光板26和左导光板28是由透光树脂等形成的光学部(例如，棱镜)。右导光板26和左导光板28将右显示单元22和左显示单元24所输出的图像光引导到用户的眼睛。需要注意的是，可在右导光板26和左导光板28的表面上设置调光板。调光板是根据光的波长区域具有不同透射率的薄板状光学元件。调光板用作所谓的波长滤光器。例如，调光板被设置为覆盖前框架的表面(与用户的眼睛相对的表面的相对侧的表面)。通过适当选择调光板的光学特性，可调节任何波长区域中的光(例如，可见光、红外光和紫外光)的透射率。可调节从外部入射在右导光板26和左导光板28上并透射通过右导光板26和左导光板28的外部光的光量。
图像显示部20将右显示单元22和左显示单元24分别生成的图像光引导到右导光板26和左导光板28，并且利用图像光使得用户视觉上识别诸如图2所示的虚拟三维模型AR的图像(增强现实(AR)图像)(这也被称为“显示图像”)。当外部光透射通过右导光板26和左导光板28并从用户的前方入射在用户的眼睛上时，形成图像的图像光和外部光叠加并入射在用户的眼睛上。因此，图像在用户中的可见性受外部光的强度影响。
因此，可通过例如将调光板附接到前框架并适当地选择或调节调光板的光学特性来调节图像的视觉识别的容易程度。在典型示例中，可选择具有使得穿戴HMD 100的用户能够视觉上至少识别外部的场景的透光率的调光板。可抑制阳光并改进图像的可见性。当使用调光板时，可预期保护右导光板26和左导光板28并抑制对右导光板26和左导光板28的损坏、附着污物等的效果。调光板可以可拆卸地附接到前框架或右导光板26和左导光板28中的每一个。多种类型的调光板可能能够交替地附接。可省略调光板。
相机61设置在图像显示部20的前框架中。相机61设置在使得相机61不阻挡透射通过前框架的前表面上的右导光板26和左导光板28的外部光的位置中。
相机61是数字相机，其包括诸如CCD或CMOS的成像装置和成像镜头。此实施方式中的相机61是单目相机。然而，可采用立体相机。例如，可采用包括两个或更多个镜头的立体相机，每一镜头具有单独的图像传感器。另选地，两个单独的相机可分别布置在图像显示部20的左侧和右侧，以使得可独立地捕获与右眼和左眼对应的图像，并且可处理各个图像以实现增强现实显示。相机61在HMD 100的正面方向上对外部场景(真实世界视图)的至少一部分进行成像，这是在图像显示部20的穿戴状态下用户在视觉上识别的视野的图像。换言之，相机61对与用户的视野交叠的范围或方向进行成像，并且对用户注视的方向进行成像。可适当地设定相机61的视角的宽度。在此实施方式中，设定相机61的视角的宽度以对用户通过右导光板26和左导光板28视觉上可识别的用户的整个视野进行成像。
图像显示部20包括距离测量传感器62，距离测量传感器62检测到位于预设测量方向上的测量目标对象的距离。距离测量传感器62的测量方向可被设定为HMD 100的正面方向(与相机61的成像方向交叠的方向)。距离测量传感器62可例如由光发射部(例如，LED或激光二极管)以及接收由光源发射并在测量目标对象上反射的光的反射光的光接收部配置。在这种情况下，基于时间差通过三角测量处理和距离测量处理计算距离。距离测量传感器62可例如由发射超声的发射部以及接收在测量目标对象上反射的超声的接收部配置。在这种情况下，基于时间差通过距离测量处理计算距离。相机61和/或距离测量传感器62构成对象检测传感器，对象检测传感器被配置为在与图像显示部20所显示的虚拟三维模型AR对应的空间中检测物理对象的移动。
在图1中，控制装置10和图像显示部20通过连接线缆40连接。连接线缆40可拆卸地连接到设置在控制装置10中的连接器并且连接到图像显示部20内的各种电路。连接线缆40包括用于传输数字数据的金属线缆或光纤线缆。连接线缆40还可包括用于传输模拟数据的金属线缆。连接器46设置在连接线缆40的中间。
连接器46是连接立体声迷你插头的插孔。连接器46和控制装置10通过例如用于传输模拟声音信号的线连接。在图1所示的配置示例中，包括右耳机和左耳机和麦克风63的头戴式耳机30连接到连接器46。另选地，可在显示部20中包含具有头戴式耳机30的功能的音频系统。
例如，如图1所示，麦克风63被设置为使得麦克风63的声音收集部面向用户的视线方向。麦克风63收集声音并将声音信号输出到声音接口182(图3)。麦克风63可以是单声道麦克风或者可以是立体声麦克风，可以是具有方向性的麦克风，或者可以是非定向麦克风。
控制装置10是用于控制HMD 100的装置。控制装置10的示例包括控制器、移动装置、平板计算机、膝上型计算机、可穿戴计算机、台式计算机、智能电话以及能够与图像显示部20和无人驾驶飞行器400通信的任何其它系统。在此示例中，控制装置10是允许用户将其携带到飞行执行地点的便携式装置。控制装置10包括照明部12、触摸板14、方向键16、确定键17和电源开关18。照明部12利用从其发射的光来通知HMD 100的操作状态(例如，电源的开或关)。作为照明部12，例如，可使用LED(发光二极管)。
触摸板14检测触摸板14的操作表面上的触摸操作并且输出与检测内容对应的信号。作为触摸板14，可采用各种类型的触摸板(例如，静电型、压力检测型和光学型)。方向键16检测与向上、向下、左和右方向对应的键上的按压操作并输出与检测内容对应的信号。确定键17检测按压操作并输出用于确定控制装置10中的操作的内容的信号。电源开关18检测开关的滑动操作以改变HMD 100的电源的状态。
图3是在功能上示出HMD 100的配置的框图。控制装置10包括主处理器140，主处理器140执行计算机程序以控制HMD 100、存储部、输入/输出部、传感器、接口和电源部130。存储部、输入/输出部、传感器、接口和电源部130连接到主处理器140。主处理器140安装在包含在控制装置10中的控制器板120上。
存储部包括存储器118和非易失性存储部121。存储器118配置暂时存储由主处理器140执行的计算机程序和由主处理器140处理的数据的工作区域。非易失性存储部121由闪存或eMMC(嵌入式多媒体卡)配置。非易失性存储部121存储由主处理器140执行的计算机程序和由主处理器140处理的各种数据。在此实施方式中，非易失性存储部121构成存储用于设定飞行器在物理环境中的目标飞行路径的程序的非暂时性机器可读介质。在此实施方式中，这些存储部安装在控制器板120上。
输入/输出部包括触摸板14和操作部110。操作部110包括控制装置10中所包括的方向键16、确定键17和电源开关18。主处理器140控制这些输入/输出部并获取从输入/输出部输出的信号。
传感器包括六轴传感器111、磁传感器113和GPS(全球定位系统)接收器115。六轴传感器111是包括三轴加速度传感器和三轴陀螺仪(角速度)传感器的运动传感器(惯性传感器)。作为六轴传感器111，可采用通过将传感器模块化而获得的IMU(惯性测量单元)。例如，磁传感器113是三轴地磁传感器。GPS接收器115包括未示出的GPS天线，GPS接收器115接收从GPS卫星发送的无线电信号，并且检测控制装置10的当前位置的坐标。传感器(六轴传感器111、磁传感器113和GPS接收器115)根据预先指定的采样频率向主处理器140输出检测值。传感器输出检测值的定时可对应于来自主处理器140的指令。本文所描述的GPS系统以外的传统定位系统可用于确定用户和/或HMD 100的位置/取向。
接口包括无线通信部117、声音编解码器180、外部连接器184、外部存储器接口186、USB(通用串行总线)连接器188、传感器集线器192、FPGA 194和接口196。这些组件用作与外部的接口。无线通信部117在HMD 100与外部设备之间执行无线通信。无线通信部117包括图中未示出的天线、RF电路、基带电路和通信控制电路。另选地，无线通信部117被配置成通过集成这些组件而获得的装置。无线通信部117执行符合诸如Bluetooth(注册商标)和包括Wi-Fi(注册商标)的无线LAN的标准的无线通信。
声音编解码器180连接到声音接口182并且执行经由声音接口182输入和输出的声音信号的编码/解码。声音接口182是输入和输出声音信号的接口。声音编解码器180可包括执行从模拟声音信号到数字声音数据的转换的A/D转换器以及执行与A/D转换器的转换相反的转换的D/A转换器。此实施方式中的HMD 100从左右耳机输出声音并且利用麦克风63收集声音。声音编解码器180将主处理器140所输出的数字声音数据转换为模拟声音信号并且经由声音接口182输出模拟声音信号。声音编解码器180将输入到声音接口182的模拟声音信号转换为数字声音数据并且将数字声音数据输出到主处理器140。
外部连接器184是用于将与主处理器140通信的外部装置(例如，个人计算机、智能电话和游戏机)连接到主处理器140的连接器。连接到外部连接器184的外部装置可以是内容的供应源并且可用于主处理器140所执行的计算机程序的调试和HMD 100的操作日志的收集。可采用各种形式作为外部连接器184。作为外部连接器184，例如，可采用适于有线连接的接口(例如，USB接口、微型USB接口和用于存储卡的接口)以及适于无线连接的接口(例如，无线LAN接口和Bluetooth接口)。
外部存储器接口186是便携式存储器装置可连接至的接口。例如，外部存储器接口186包括存储卡插槽和接口电路，卡型记录介质被插入到该存储卡插槽中以允许数据的读取和写入。可适当地选择卡型记录介质的尺寸、形状、标准等。USB连接器188是符合USB标准的存储器装置、智能电话、个人计算机等可连接至的接口。例如，USB连接器188包括符合USB标准的连接器和接口电路。可适当地选择USB连接器188的尺寸和形状、USB标准的版本等。
HMD 100包括振动器19。振动器19包括未示出的电机和未示出的偏心转子。振动器19根据主处理器140的控制来生成振动。例如，当检测到操作部110上的操作时或者当HMD100的电源被打开和关闭时，HMD 100按预定振动模式利用振动器19生成振动。振动器19可设置在图像显示部20侧，例如图像显示部20的右保持部21(镜腿的右侧部)中，而非设置在控制装置10中。
传感器集线器192和FPGA 194经由接口(I/F)196连接到图像显示部20。传感器集线器192获取包括在图像显示部20中的各种传感器的检测值并且将检测值输出到主处理器140。FPGA 194执行在主处理器140与图像显示部20的各部之间发送和接收的数据的处理以及经由接口196的数据的传输。接口196连接到图像显示部20的右显示单元22和左显示单元24。在此实施方式的示例中，连接线缆40连接到左保持部23。连接到连接线缆40的引线铺设在图像显示部20内部。右显示单元22和左显示单元24中的每一个连接到控制装置10的接口196。
电源部130包括电池132和电源控制电路134。电源部130供应电力以便于控制装置10操作。电池132是可充电电池。电源控制电路134执行电池132的剩余电量的检测和对OS143的充电的控制。电源控制电路134连接到主处理器140并且将电池132的剩余电量的检测值或电池132的电压的检测值输出到主处理器140。控制装置10可基于电源部130所供应的电力向图像显示部20供应电力。主处理器140可能能够控制从电源部130到控制装置10的各部和图像显示部20的电力的供应状态。
右显示单元22包括显示单元板210、OLED单元221、相机61、距离测量传感器62、照度传感器65、LED指示器67和温度传感器217。连接到接口196的接口(I/F)211、接收部(Rx)213和EEPROM(电可擦除可编程只读存储器)215安装在显示单元板210上。接收部213经由接口211接收从控制装置10输入的数据。当接收到显示在OLED单元221上的图像的图像数据时，接收部213将所接收的图像数据输出到OLED单元221中的OLED驱动电路。
EEPROM 215以主处理器140可读取的形式存储各种数据。例如，EEPROM 215存储关于图像显示部20的OLED单元221和241的光发射特性和显示特性的数据以及关于右显示单元22或左显示单元24的传感器的特性的数据。具体地，例如，EEPROM 215存储与OLED单元221和241的伽马校正有关的参数、用于补偿温度传感器217和239的检测值的数据等。这些数据在HMD 100出厂期间通过测试生成并被写入到EEPROM 215中。在出货之后，主处理器140读取EEPROM 215中的数据并使用数据进行各种类型的处理。
相机61根据经由接口211输入的信号来执行成像并将捕获的图像数据或指示成像结果的信号输出到控制装置10。如图1所示，照度传感器65设置在前框架27的端部ER，并且被设置为从穿戴图像显示部20的用户的前方接收外部光。照度传感器65输出与所接收的光量(光接收强度)对应的检测值。如图1所示，LED指示器67设置在前框架27的端部ER处相机61附近。LED指示器67在相机61执行成像期间点亮，以告知正在执行成像。
温度传感器217检测设置在右显示单元22中的电路的温度，并且输出与所检测的温度对应的电压值或电阻值。
左显示单元24包括显示单元板230、OLED单元241和温度传感器239。连接到接口196的接口(I/F)231、接收部(Rx)233、六轴传感器235和磁传感器237安装在显示单元板230上。接收部233经由接口231接收从控制装置10输入的数据。当接收到显示在OLED单元241上的图像的图像数据时，接收部233将所接收的图像数据输出到OLED单元241的OLED驱动电路。
六轴传感器235是包括三轴加速度传感器和三轴陀螺仪(角速度)传感器的运动传感器(惯性传感器)。作为六轴传感器235，可采用通过将传感器模块化而获得的IMU传感器。例如，磁传感器237是三轴地磁传感器。六轴传感器235和磁传感器237设置在图像显示部20中。因此，当图像显示部20穿戴在用户的头上时，六轴传感器235和磁传感器237检测用户的头部的移动。从所检测的头部的移动指定图像显示部20的方向并指定用户的视野。需要注意的是，HMD 100还能够使用相机61的成像结果、来自无人驾驶飞行器400的无线通信的无线电波强度来指定图像显示部20的方向和用户的视野。
温度传感器239检测设置在左显示单元24中的电路的温度并且输出与所检测的温度对应的电压值或电阻值。
右显示单元22的相机61、距离测量传感器62、照度传感器65和温度传感器217以及左显示单元24的六轴传感器235、磁传感器237和温度传感器239连接到控制装置10的传感器集线器192。传感器集线器192根据主处理器140的控制来执行传感器的采样循环的设置和初始化。传感器集线器192根据传感器的采样循环来执行对传感器的通电、控制数据的传输、检测值的获取等。传感器集线器192按预设定时将包括在右显示单元22和左显示单元24中的传感器的检测值输出到主处理器140。传感器集线器192可包括暂时保持传感器的检测值的高速缓存功能。传感器集线器192可包括对传感器的检测值的信号格式和数据格式的转换功能(例如，到统一格式的转换功能)。传感器集线器192根据主处理器140的控制来开始和停止对LED指示器67的通电，以点亮或熄灭LED指示器67。
尽管省略了例示和详细说明，但是由遥控装置500控制的无人驾驶飞行器400是能够根据来自遥控装置500的远程引航而飞行的无人飞行器。无人驾驶飞行器400是能够根据预先存储在安装在无人飞行器上的存储部中的飞行控制数据来执行自主飞行的无人飞行器。无人驾驶飞行器400安装有诸如GPS传感器(GPS接收器)、高度传感器、IMU传感器和图像传感器的各种传感器。无人驾驶飞行器400在任何时间通过无线通信向遥控装置500发送与所安装的传感器对应的信息，例如当前位置、高度、速度、移动方向、姿态和空中拍摄的图像。HMD 100的遥控装置500和控制装置10可被集成到诸如移动装置、平板计算机、膝上型计算机、可穿戴计算机、智能电话和任何其它系统的单个物理装置中。
无人驾驶飞行器400可包括接收和执行目标飞行路径的规范的机载控制装置。例如，机载装置包括协调并自动执行目标飞行路径的规范的存储器和处理器。
现在参照图4的流程图，将详细说明根据一个实施方式的设定飞行器在物理环境中的目标飞行路径的方法。在此实施方式中，图4中的控制处理在作为目标飞行路径设定系统的示例的图1所示的HMD 100上实现。
在步骤S10中，HMD 100的图像显示部20被配置为显示与物理环境对应的虚拟三维模型AR。更具体地，显示要操作无人驾驶飞行器400的物理环境的虚拟三维模型AR。虚拟三维模型AR对应于要操作无人驾驶飞行器400的物理环境。因此，虚拟三维模型AR可以是要操作无人驾驶飞行器400的位置、区域、建筑物和/或房间的虚拟模型。虚拟三维模型AR可从第三方在线提供商或现有地图存储库源加载。另选地，虚拟三维模型AR可预先通过无人驾驶飞行器400本身或其它飞行器所获得的先前飞行信息生成(例如，使用卫星图像、航拍等生成)并被存储在诸如存储部121或外部存储器装置的存储器中。在步骤S10中显示的虚拟三维模型AR可包括计算机图形和渲染的三维视觉对象，其已基于其在物理环境中的对应真实物理对应物成形并纹理化。
在此实施方式中，HMD 100被配置为经由增强现实显示来提供虚拟三维模型AR，如图2所示。用户所穿戴的图像显示部20允许虚拟对象显示在物理环境的平坦表面(例如，桌子)上，以创建虚拟三维模型AR被支撑在物理桌子上的外观。在图2所示的示例中，虚拟三维模型AR是物理环境的小比例模型，以创建用户从上方俯瞰物理环境的虚拟图像。即使当用户移动安装有HMD 100的头部时，通过跟踪图像显示部20和/或置于虚拟三维模型AR内的物理对象(例如，用户的手)的移动，可适当地更新显示在图像显示部20上的虚拟三维模型AR以维持置于桌子上并从不同的角度/位置观看的缩放虚拟三维模型AR的虚拟图像。
在步骤S20中，HMD 100被配置为在虚拟三维模型AR中根据指示起点SP的位置的用户输入来设定起点SP。如图5所示，可通过首先在虚拟三维模型内检测物理对象O，然后接收将所检测到的物理对象O的位置设定为目标飞行路径的起点SP的用户指令来设定起点SP。物理对象O可以是用户的身体部位(例如，手、手指)或者诸如用户所持有的无人驾驶飞行器400的模型或复制品的物品。作为物理对象O，代替仅仅指点手指，用户可使用手和/或手指来形成规定形状(例如，利用手指画出圆形形状)，并且该规定形状的位置和取向可用作待跟踪的物理对象O。
指示起点SP的位置的用户指令可包括按压HMD 100上的按钮、执行指示设定起点SP的手势、给出语音命令、输入注视命令(例如，眼睛注视和/或头部注视)等。另选地，用户的视线可作为光标显示在图像显示部20上叠加在虚拟三维模型AR上，并且起点SP被设定为当接收到用户指令时光标所在的位置。此外，另选地，可在HMD 100上直接输入指示起点SP的位置的坐标或值。
在步骤S30中，HMD 100被配置为开始连续地跟踪在与虚拟三维模型AR对应的空间中移动的物理对象O的轨迹，同时在虚拟三维模型AR内从起点SP显示与物理对象O的轨迹对应的连续路径P。在此增强现实三维模型AR中，用户可与虚拟对象交互并使用置于虚拟三维模型AR中的物理对象O来指示目标飞行路径的轨迹。在此步骤中，HMD 100被配置为在接收到用户指令时开始跟踪物理对象O的轨迹并开始生成轨迹。用户指令可包括从起始点SP移动物理对象O、按压HMD 100上的按钮、执行指示设定起点SP的手势、给出语音命令、输入注视命令(例如，眼睛注视和/或头部注视)等。另选地，当物理对象O距S10中设定的起始点SP达到规定距离或更小时，HMD 100可被配置为开始生成轨迹。步骤S30中的处理可与步骤S20中的处理同时执行。
除了物理对象O在虚拟三维模型AR内的位置坐标之外，跟踪物理对象O可包括跟踪物理对象O的取向。物理对象O的取向对应于无人驾驶飞行器400的取向。HMD 100被配置为使用定位系统和/或传感器(例如，相机61、距离测量传感器62等)来连续地跟踪物理对象O的移动。HMD 100被配置为将物理对象O的移动连续地存储为轨迹，并且在虚拟三维模型AR内显示连续路径P，如图6所示。连续路径P对应于物理对象O从起点SP开始的轨迹。
物理对象O的精确移动可被转换为轨迹并作为连续路径P显示在图像显示部20上。如图7所示，优选校正轨迹以便去除在移动期间物理对象O的意外晃动所导致的锯齿，以使得形成并显示相对平滑的连续路径P。在图7中，以虚线来显示物理对象O的实际轨迹，并且以实线来显示校正的轨迹(连续路径P)。可使用诸如移动平均方法的传统噪声去除算法作为校正方法。换言之，在虚拟三维模型AR内显示连续路径P可包括减少物理对象O的轨迹的数据中的噪声以生成连续路径P的显示数据。因此，可获得没有由物理对象O的意外晃动导致的锯齿的平滑目标飞行路径，从而防止在执行目标飞行路径时无人驾驶飞行器400的意外和不必要的移动。
在步骤S40中，HMD 100被配置为根据指示终点EP的位置的用户输入来设定虚拟三维模型AR中的连续路径P的终点EP。当接收到设定目标飞行路径的终点EP的用户指令时，设定终点EP。用户指令可包括按压HMD 100上的按钮、执行指示设定终点EP的手势、给出语音命令、输入注视命令(例如，眼睛注视和/或头部注视)等。另选地，可在HMD 100上直接输入指示终点EP的位置的坐标或值。
在步骤S50中，HMD 100被配置为确定是否已接收到发起连续路径P的修改处理的用户输入。用户输入可包括按压HMD 100上的按钮、执行指示发起修改处理的规定手势、给出语音命令、输入注视命令(例如，眼睛注视和/或头部注视)等。如果确定接收到用于发起修改处理的用户输入(是)，则控制流程前进到步骤S60。否则，控制流程前进到步骤S70。
在步骤S60中，HMD 100被配置为根据用户的指令来修改连续路径P。HMD 100可被配置为识别物理对象O的移动，其指示连续路径P的片段的变形。例如，HMD 100可被配置为识别用于编辑或修改虚拟三维模型AR中正在显示的连续路径P的轨迹的用户手势控制。当执行修改处理时，HMD 100可被配置为响应用户的手势控制以创建通过诸如用户的手指的物理对象O的操作来直接操作所显示的连续路径P的虚拟图像，如图9和图10所示。例如，用户可使手指靠近所显示的连续路径P，通过手指的捏紧运动来执行抓住连续路径P的一部分的手势，如图9所示。然后，用户可将手指朝着虚拟三维模型AR内的期望位置移动以修改连续路径P的轨迹，如图10所示。因此，可利用简单的操作以直观的方式将连续路径P修改为期望的形状。另选地，连续路径P可例如这样修改：通过按压HMD 100上的按钮、执行指示抓住位置的捏紧运动以外的不同手势、给出语音命令、输入注视命令(例如，眼睛注视和/或头部注视)等来选择要抓住并移动的连续路径P的位置。
在修改之后，已如上所述修改的连续路径P的区域应该连续地且平滑地连接到连续路径P的其余部分。这可通过在抓住并移动运动之前指定要修改的连续路径P的片段来实现。如图9和图10所示，HMD 100被配置为根据用户的指令沿着连续路径P设定第一点P1和第二点P2，并且HMD 100被配置为仅使虚拟三维模型AR中连续路径P的介于第一点P1和第二点P2之间的指定片段变形，而无需移动第一点P1和第二点P2。第一点P1和第二点P2可按照与步骤S20中的起点SP或步骤S40中的终点EP相同的方式设定。因此，连续路径P可在修改之后连续地且平滑地连接到连续路径P的其余部分。因此，可确保从起点SP到终点EP连续而没有不期望的行进方向的突然改变的目标飞行路径，并且可防止飞行中错误和故障。
HMD 100被配置为重复步骤S60中的修改处理，直至在步骤S50中确定没有接收到发起修改处理的用户输入。
在步骤S70中，HMD 100被配置为基于在虚拟三维模型AR中从起点SP到终点EP的连续路径P的数据来生成无人驾驶飞行器400在物理环境中的目标飞行路径。除了路线信息之外，目标飞行路径还可包括指示飞行器的各种控制参数(例如，飞行速度)和/或机载装置的各种控制参数(例如，相机角度、装置启用定时等)的信息。HMD 100可被配置为在步骤S20中跟踪物理对象O的同时接受控制参数的用户输入。用户还可在连续路径P的绘制完成之后通过指定要执行控制参数的期望位置来输入控制参数。HMD 100可被配置为在虚拟三维模型AR中沿着连续路径P显示控制参数。
使用上述方法生成的目标飞行路径可被转换/封装成用于控制无人驾驶飞行器400的轨迹计划格式。HMD 100可存储轨迹计划并将轨迹计划发送给无人驾驶飞行器400的遥控装置500。然后，可由无人驾驶飞行器400执行该轨迹计划。
HMD 100还可被配置为在虚拟三维模型AR中显示关于障碍物、建筑物、受限飞行区域、布局等的信息，以使得用户可避开受限位置。图11示出在虚拟三维模型AR中显示受限飞行区域R的示例。要显示的信息可从自动相关监视-广播(ADS-B)获得，ADS-B提供从临时飞行限制到跑道关闭的空域相关更新。用户甚至可视觉化物理上不存在的障碍物，例如受限飞行区域。因此，可设定确实避开这些障碍物的目标飞行路径。
HMD 100还可被配置为当物理对象O进入与虚拟三维模型AR中的受限区域对应的区域时发出通知。该通知可以是诸如视觉、听觉、触觉等的任何类型的通知。在用户设定目标飞行路径的同时，可使用户意识到受限区域。因此，可设定确实避开这些障碍物的目标飞行路径。
HMD 100还可被配置为当物理对象进入与虚拟三维模型AR中的受限区域对应的区域时，显示避开受限区域的替代路线。图12示出避开受限飞行区域R的替代路线(以虚线示出)的显示。用户可通过简单地采用替代路线来设定确实避开受限区域的目标飞行路径。
HMD 100还可被配置为在虚拟三维模型AR中显示框F，如图13所示。当无人驾驶飞行器400被假设为处于物理环境中与虚拟三维模型AR中沿着连续路径P的规定位置对应的位置时，框F指示安装在无人驾驶飞行器400上的图像传感器(例如，相机)的图像捕获区域。如图13所示，还可显示表示无人驾驶飞行器400的图标D。HMD 100可被配置为接受用户的输入以操纵虚拟三维模型AR内的图标D以调节框F的位置、尺寸、角度等。用户可清楚地理解成像捕获区域，而非显示要捕获的图像。用户可在虚拟三维模型AR中调节物理对象O的位置和取向，以便确定可实现期望的图像捕获区域的位置和取向。另外，显示图像框可比在任意位置生成要捕获的新图像更快速地处理。因此，与生成要捕获的图像的系统相比，时间和处理器负载可缩短。
HMD 100还可被配置为显示与连续路径P的至少一部分对应的路线标记叠加在物理环境的真实世界视图上。可在远离物理环境的位置预先设定目标飞行路径，或者可在物理环境中就地设定目标飞行路径。当就地设定目标飞行路径时，HMD 100可被配置为将虚拟三维模型AR就地显示在地面或桌子上，同时显示路线标记M叠加在物理环境的真实世界视图上。例如，如图14所示，路线标记M可以是与连续路径P的一部分对应的箭头。可同时显示链接到三维模型AR的轨迹和链接到真实空间中的建筑物的轨迹。这样，用户可更可靠地且准确地确认目标飞行路径。
HMD 100还可被配置为根据用户输入在显示虚拟三维模型AR的第一显示模式和显示路线标记M的第二显示模式之间切换。第一显示模式和第二显示模式可根据用户输入来切换，例如移动用户的头部以切换视线、按压HMD 100上的按钮、语音命令、输入注视命令(例如，眼睛注视和/或头部注视)等。
目标飞行路径可被存储在存储多条飞行路径的共享服务器300中以允许多个用户共享目标飞行路径。图15示出系统的修改配置。如图15所示，HMD 100和遥控装置500经由通过无线通信连接的接入点AP连接到互联网INT。结果，HMD 100和遥控装置500通过管理服务器300和互联网INT彼此连接。这样，可取得来自任何无人驾驶飞行器的元数据以渲染新的上下文相关媒体体验。此外，本地或单个用户可通过经由HMD 100凝视真实世界中的热点来利用交互式热点在空域中渲染过去飞行路径，以查看无人驾驶飞行器在该点时拍摄的媒体。在多用户或社交媒体场景中，多个用户可经由互联网与其他用户共享过去的飞行以查看过去的飞行路径，与来自其他用户的内容交互。遥控装置500可经由LAN而非互联网INT连接到管理服务器300。
根据上述用于设定飞行器在物理环境中的目标飞行路径的方法、系统和计算机程序，可在虚拟三维模式AR下可视化和调节飞行路径的同时以直观方式生成预编程的飞行路径。更具体地，由于连续地跟踪物理对象O的移动并且在虚拟三维模型AR中同时显示连续路径P，所以用户可在实际执行飞行之前在物理环境中容易地可视化和设想飞行路径。虚拟三维模型AR中的飞行路径的可视化使得用户能够立即沿着预期路线识别障碍物和限制等，并且使得用户可在实际飞行之前根据需要修改飞行路径。此外，由于通过连续地跟踪物理对象O的移动来绘制连续路径P，所以可消除用于将预期飞行路径上的两个离散点连接的复杂计算。因此，与通过将用户所指定的离散位置连接来生成飞行路径的系统相比，设定目标飞行路径所需的时间和处理器负载可缩短。
修改示例
需要注意的是，本发明不限于上述实施方式。在不脱离本发明的精神的情况下，可按各种形式实施本发明。例如，可进行下面说明的修改。
在上面说明的实施方式中，HMD 100用作目标飞行路径设定系统的示例。然而，可经由显示监视器提供虚拟三维模型，并且用户可使用键盘、鼠标、操纵杆、控制器和任何其它用户输入装置与所显示的虚拟三维模型交互。此外，可经由应用和/或web接口提供虚拟三维模型。可经由插件将虚拟三维模型提供给动画和/或建模软件。例如，虚拟三维模型可被加载到3D动画建模软件中，并且插件允许用户经由软件与虚拟三维模型交互以设定飞行器的目标飞行路径。
上面说明的设定目标飞行路径的方法可用于计划两个或更多个飞行器的协调移动。例如，可协调多个飞行器的多条飞行路径以执行飞行表演、空中灯光表演等。
在实施方式中，说明了诸如无人机的能够被远程引航或自主飞行的无人驾驶飞行器(无人飞行器)作为飞行器的示例。然而，飞行器可以是任何远程操作或自动操作的移动体，例如直升机、飞机、火箭、热气球、汽车、火车、潜艇、船只、人造卫星、机器人以及这些的玩具/复制品。
术语的一般解释
在理解本发明的范围时，如本文中所使用的，术语“包括”及其派生词旨在为开放式术语，其指定存在所述特征、元件、组件、组、整数和/或步骤，但是不排除存在其它未提及的特征、元件、组件、组、整数和/或步骤。上文也适用于具有相似含义的词语，例如术语“包含”、“具有”及其派生词。另外，术语“部件”、“部”、“部分”、“构件”或“元件”当以单数使用时可具有单个部件或多个部件的双重含义。本文中用于描述组件、部、装置等执行的操作或功能的术语“检测”包括不需要物理检测的组件、部、装置等，而是包括确定、测量、建模、预测或计算等以执行该操作或功能。本文中用于描述装置的组件、部或部件的术语“配置”包括被构造和/或编程为执行期望的功能的硬件和/或软件。如本文中所使用的诸如“基本上”、“约”和“大约”的程度术语意指所修饰的术语的合理偏差量，使得最终结果不会显著改变。
尽管仅选择了所选实施方式来示出本发明，但是对于本领域技术人员而言从本公开将显而易见的是，在不脱离所附权利要求中限定的本发明的范围的情况下，可在本文中进行各种改变和修改。例如，各种组件的尺寸、形状、位置或取向可根据需要和/或期望改变。被示出为彼此直接连接或接触的组件可具有设置在它们之间的中间结构。一个元件的功能可由两个元件执行，反之亦然。一个实施方式的结构和功能可在另一实施方式中采用。在特定实施方式中未必同时呈现所有优点。与现有技术相比独特的每一个特征(单独或与其它特征组合)也应该被视为申请人的进一步发明的单独描述，包括由这样的特征具体实现的结构和/或功能概念。因此，根据本发明的实施方式的以上描述仅是为了例示而提供，而非为了限制由所附权利要求及其等同物限定的本发明。

Claims (16)

1.一种设定飞行器在物理环境中的目标飞行路径的方法，该方法包括以下步骤：
在头戴式显示装置的图像显示部上显示与所述物理环境对应的虚拟三维模型；
利用所述头戴式显示装置的对象检测传感器，在与所述图像显示部所显示的所述虚拟三维模型对应的空间中检测物理对象；
根据指示起点的位置的用户输入来在所述虚拟三维模型中设定所述起点；
连续地跟踪在与所述虚拟三维模型对应的所述空间中移动的所述物理对象的轨迹，同时在所述虚拟三维模型内显示与所述物理对象从所述起点开始的所述轨迹对应的连续路径，所述连续路径被显示于所述头戴式显示装置的所述图像显示部上；
根据指示所述连续路径的终点的位置的用户输入来在所述虚拟三维模型中设定所述终点；
基于所述虚拟三维模型中从所述起点到所述终点的所述连续路径来生成所述飞行器在所述物理环境中的所述目标飞行路径；
显示与所述连续路径的至少一部分对应的路线标记叠加在所述物理环境的真实世界视图上，能够同时显示链接到所述虚拟三维模型的轨迹和链接到真实空间中的建筑物的轨迹，其中，所述路线标记是箭头；以及
在显示所述虚拟三维模型的第一显示模式和显示所述路线标记的第二显示模式之间切换。
2.根据权利要求1所述的方法，其中，
在所述虚拟三维模型内显示所述连续路径的步骤包括：减少所述物理对象的所述轨迹的数据中的噪声以生成所述连续路径的显示数据。
3.根据权利要求1所述的方法，其中，
生成所述目标飞行路径的步骤包括：在设定所述终点之后，在所述虚拟三维模型中修改所述连续路径。
4.根据权利要求3所述的方法，其中，
修改所述连续路径的步骤包括：沿着所述连续路径设定第一点和第二点，并且在不移动所述第一点和所述第二点的情况下通过识别指示所述连续路径的介于所述第一点和所述第二点之间的片段的变形的所述物理对象的移动来在所述虚拟三维模型中使所述连续路径的所述片段变形。
5.根据权利要求1所述的方法，该方法还包括以下步骤：
当所述飞行器被假设为处于所述物理环境中与所述虚拟三维模型中的规定位置对应的位置时，在所述虚拟三维模型中显示指示安装在所述飞行器上的图像传感器的图像捕获区域的框。
6.根据权利要求1所述的方法，其中，
所述物理对象是用户的身体部位。
7.根据权利要求1所述的方法，其中，
所述物理对象是所述飞行器的模型。
8.根据权利要求1所述的方法，其中，
连续地跟踪所述物理对象的所述轨迹的步骤包括：连续地跟踪在与所述虚拟三维模型对应的所述空间中移动的所述物理对象的取向，并且
生成所述飞行器的所述目标飞行路径的步骤包括：生成包括所述飞行器在所述物理环境中沿着所述目标飞行路径的取向信息的所述目标飞行路径。
9.根据权利要求1所述的方法，该方法还包括以下步骤：
在所述虚拟三维模型中显示与所述物理环境中的受限飞行区域对应的受限区域。
10.根据权利要求9所述的方法，该方法还包括以下步骤：
当所述物理对象进入与所述虚拟三维模型中的所述受限区域对应的区域时，发出通知。
11.根据权利要求9所述的方法，该方法还包括以下步骤：
当所述物理对象进入与所述虚拟三维模型中的所述受限区域对应的区域时，在所述虚拟三维模型中显示避开所述受限区域的替代路线。
12.根据权利要求1所述的方法，该方法还包括以下步骤：
将所述目标飞行路径保存到存储多条飞行路径的共享服务器以允许多个用户共享所述目标飞行路径。
13.一种飞行器控制方法，该飞行器控制方法包括以下步骤：
根据权利要求1所述的方法来设定所述目标飞行路径；以及
将所述飞行器编程为根据所述目标飞行路径来飞行，所述飞行器是无人飞行器。
14.一种被设置为设定飞行器在物理环境中的目标飞行路径的目标飞行路径设定系统，该目标飞行路径设定系统包括头戴式显示装置、存储器和处理器，
所述头戴式显示装置包括：
显示装置，该显示装置被配置为显示与所述物理环境对应的虚拟三维模型；以及
对象检测传感器，该对象检测传感器被配置为检测在与所述虚拟三维模型对应的空间中物理对象的移动，
所述存储器被配置为存储由所述对象检测传感器输出的所述物理对象的所述移动，
所述处理器被配置为：
根据指示起点的位置的用户输入在所述虚拟三维模型中设定所述起点；
连续地跟踪由所述对象检测传感器检测的所述物理对象的所述移动的轨迹，同时控制所述显示装置在所述虚拟三维模型内显示与所述物理对象从所述起点开始的所述移动的所述轨迹对应的连续路径，所述连续路径被显示于所述头戴式显示装置的所述显示装置上；
根据指示所述连续路径的终点的位置的用户输入来在所述虚拟三维模型中设定所述终点；
基于所述虚拟三维模型中从所述起点到所述终点的所述连续路径来生成所述飞行器在所述物理环境中的所述目标飞行路径；
使所述显示装置显示与所述连续路径的至少一部分对应的路线标记叠加在所述物理环境的真实世界视图上，能够同时显示链接到所述虚拟三维模型的轨迹和链接到真实空间中的建筑物的轨迹，其中，所述路线标记是箭头；以及
使所述显示装置在显示所述虚拟三维模型的第一显示模式和显示所述路线标记的第二显示模式之间切换。
15.根据权利要求14所述的目标飞行路径设定系统，其中，
至少所述显示装置和所述对象检测传感器构成头戴式显示装置的一部分。
16.一种存储用于设定飞行器在物理环境中的目标飞行路径的程序的非暂时性机器可读介质，所述程序在由一个或更多个处理器执行时使得所述一个或更多个处理器执行操作，所述操作包括：
在头戴式显示装置的图像显示部上显示与所述物理环境对应的虚拟三维模型；
利用所述头戴式显示装置的对象检测传感器，在与所述图像显示部所显示的所述虚拟三维模型对应的空间中检测物理对象；
根据指示起点的位置的用户输入来在所述虚拟三维模型中设定所述起点；
连续地跟踪在与所述虚拟三维模型对应的空间中移动的所述物理对象的轨迹，同时在所述虚拟三维模型内显示与所述物理对象从所述起点开始的所述轨迹对应的连续路径，所述连续路径被显示于所述头戴式显示装置的所述图像显示部上；
根据指示所述连续路径的终点的位置的用户输入来在所述虚拟三维模型中设定所述终点；
基于所述虚拟三维模型中从所述起点到所述终点的所述连续路径来生成所述飞行器在所述物理环境中的所述目标飞行路径；
显示与所述连续路径的至少一部分对应的路线标记叠加在所述物理环境的真实世界视图上，能够同时显示链接到所述虚拟三维模型的轨迹和链接到真实空间中的建筑物的轨迹，其中，所述路线标记是箭头；以及
在显示所述虚拟三维模型的第一显示模式和显示所述路线标记的第二显示模式之间切换。
CN202110312750.2A 2020-03-26 2021-03-24 用于设定飞行器的目标飞行路径的方法、系统和可读介质 Active CN113448343B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/830,459 2020-03-26
US16/830,459 US11804052B2 (en) 2020-03-26 2020-03-26 Method for setting target flight path of aircraft, target flight path setting system, and program for setting target flight path

Publications (2)

Publication Number Publication Date
CN113448343A CN113448343A (zh) 2021-09-28
CN113448343B true CN113448343B (zh) 2024-01-19

Family

ID=77809408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110312750.2A Active CN113448343B (zh) 2020-03-26 2021-03-24 用于设定飞行器的目标飞行路径的方法、系统和可读介质

Country Status (2)

Country Link
US (1) US11804052B2 (zh)
CN (1) CN113448343B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019164514A1 (en) * 2018-02-23 2019-08-29 Google Llc Transitioning between map view and augmented reality view
EP4172955A1 (en) * 2020-06-30 2023-05-03 Snap, Inc. Generating ground truth datasets for virtual reality experiences
EP4273656A3 (en) * 2021-02-19 2023-12-20 Anarky Labs Oy Apparatus, method and software for assisting an operator in flying a drone using a remote controller and ar glasses
CN115115957B (zh) * 2022-08-30 2022-12-30 珠海翔翼航空技术有限公司 基于影像分析的飞机识别系统、识别方法及识别设备
CN117873128B (zh) * 2023-12-29 2024-05-28 广东大道检测技术有限公司 一种适用于桥梁检测的无人机巡检系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103926933A (zh) * 2014-03-29 2014-07-16 北京航空航天大学 一种无人飞行器室内同时定位与环境建模方法
CN109997091A (zh) * 2016-12-01 2019-07-09 深圳市大疆创新科技有限公司 用于管理3d飞行路径的方法和相关系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
EP2978258B1 (en) * 2014-07-22 2017-03-08 Alcatel Lucent Seamless replacement of a first drone base station with a second drone base station
US9601022B2 (en) * 2015-01-29 2017-03-21 Qualcomm Incorporated Systems and methods for restricting drone airspace access
US9660718B2 (en) * 2015-05-13 2017-05-23 Ubiqomm, LLC Ground terminal and UAV beam pointing in an unmanned aerial vehicle (UAV) for network access
US9928649B2 (en) 2015-08-03 2018-03-27 Amber Garage, Inc. Interface for planning flight path
US10511091B2 (en) * 2016-07-15 2019-12-17 Qualcomm Incorporated Dynamic beam steering for unmanned aerial vehicles
EP3511758A4 (en) * 2016-09-26 2019-08-28 SZ DJI Technology Co., Ltd. METHOD FOR CONTROLLING AN UNMANUFACTURED AIRCRAFT, GLASSES OF A HEAD-MOUNTED DISPLAY AND SYSTEM
US10642272B1 (en) * 2016-09-28 2020-05-05 Amazon Technologies, Inc. Vehicle navigation with image-aided global positioning system
WO2018086130A1 (zh) * 2016-11-14 2018-05-17 深圳市大疆创新科技有限公司 飞行轨迹的生成方法、控制装置及无人飞行器
WO2018094670A1 (zh) 2016-11-24 2018-05-31 深圳市大疆创新科技有限公司 农业无人飞行器的控制方法、地面控制端及存储介质
JP2018112809A (ja) 2017-01-10 2018-07-19 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
CN107504972B (zh) * 2017-07-27 2018-08-07 北京航空航天大学 一种基于鸽群算法的飞行器航迹规划方法及装置
WO2019077682A1 (ja) * 2017-10-17 2019-04-25 株式会社自律制御システム研究所 無人航空機の飛行計画経路を設定するためのシステム及びプログラム
US20190315486A1 (en) * 2018-04-16 2019-10-17 Qualcomm Incorporated Adaptive Voxels for Aerial Light Shows

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103926933A (zh) * 2014-03-29 2014-07-16 北京航空航天大学 一种无人飞行器室内同时定位与环境建模方法
CN109997091A (zh) * 2016-12-01 2019-07-09 深圳市大疆创新科技有限公司 用于管理3d飞行路径的方法和相关系统

Also Published As

Publication number Publication date
CN113448343A (zh) 2021-09-28
US20210304624A1 (en) 2021-09-30
US11804052B2 (en) 2023-10-31

Similar Documents

Publication Publication Date Title
CN113448343B (zh) 用于设定飞行器的目标飞行路径的方法、系统和可读介质
US10795353B2 (en) User interaction paradigms for a flying digital assistant
US9947230B2 (en) Planning a flight path by identifying key frames
US9928649B2 (en) Interface for planning flight path
US10521026B2 (en) Passive optical and inertial tracking in slim form-factor
US10897567B2 (en) Systems and methods for controlling an image captured by an imaging device
EP3469458B1 (en) Six dof mixed reality input by fusing inertial handheld controller with hand tracking
JP6851470B2 (ja) 無人機の制御方法、頭部装着式表示メガネおよびシステム
US20180181119A1 (en) Method and electronic device for controlling unmanned aerial vehicle
EP2712432A1 (en) Headset computer that uses motion and voice commands to control information display and remote devices
JP2018165066A (ja) 頭部装着型表示装置およびその制御方法
JP2018112809A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
CN110825333B (zh) 显示方法、装置、终端设备及存储介质
JP2018142764A (ja) 表示システム、表示装置、及び、表示装置の制御方法
KR20170090888A (ko) Hmd를 이용한 무인기 조종 장치
JP2019164420A (ja) 透過型頭部装着型表示装置および透過型頭部装着型表示装置の制御方法、透過型頭部装着型表示装置の制御のためのコンピュータープログラム
CN113508351A (zh) 控制方法、智能眼镜、可移动平台、云台、控制系统及计算机可读存储介质
JP2019081456A (ja) 頭部装着型表示装置、無人機の操縦方法
CN113677412A (zh) 信息处理装置、信息处理方法和程序
KR20180060403A (ko) 영상 기반의 드론 제어장치
KR20190053018A (ko) 카메라를 포함하는 무인 비행 장치를 조종하는 방법 및 전자장치
US20230245397A1 (en) Information processing method, program, and system
KR102263227B1 (ko) 상대 항법 정보를 활용한 증강 현실 기반 무인 이동체 제어 방법 및 장치
KR101927810B1 (ko) 객체의 움직임을 제어하는 제어장치
KR20170110442A (ko) 증강현실 기능을 구비한 제어용 컴퓨터 장치 및 그 제어방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant