CN106796761B - 用于支持模拟移动的系统和方法 - Google Patents

用于支持模拟移动的系统和方法 Download PDF

Info

Publication number
CN106796761B
CN106796761B CN201580053266.5A CN201580053266A CN106796761B CN 106796761 B CN106796761 B CN 106796761B CN 201580053266 A CN201580053266 A CN 201580053266A CN 106796761 B CN106796761 B CN 106796761B
Authority
CN
China
Prior art keywords
information
flight
user terminal
uav
movable object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580053266.5A
Other languages
English (en)
Other versions
CN106796761A (zh
Inventor
陶冶
李顺年
张芝源
张留涛
刘渭锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/CN2014/088051 external-priority patent/WO2016049924A1/en
Priority claimed from PCT/CN2014/089605 external-priority patent/WO2016065519A1/en
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to CN202110936060.4A priority Critical patent/CN113628500A/zh
Publication of CN106796761A publication Critical patent/CN106796761A/zh
Application granted granted Critical
Publication of CN106796761B publication Critical patent/CN106796761B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/24Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer including display or recording of simulated flight path
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30Simulation of view from aircraft
    • G09B9/301Simulation of view from aircraft by computer-processed or -generated image
    • G09B9/302Simulation of view from aircraft by computer-processed or -generated image the image being transformed by computer processing, e.g. updating the image to correspond to the changing point of view
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/46Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer the aircraft being a helicopter

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明的系统和方法可以支持可移动物体的模拟移动,诸如无人飞行器(UAV)的模拟飞行。一种可位于用户终端上的进程可以从飞行模拟器接收与所述模拟飞行有关的状态信息,所述飞行模拟器与所述无人飞行器相关联。继而,所述进程可以通过使所接收的状态信息与由所述用户终端上的所述进程获得的情景信息相关联来确定针对所述模拟飞行的飞行信息,并且向与所述用户终端相关联的显示器提供所确定的飞行信息。

Description

用于支持模拟移动的系统和方法
技术领域
本文公开的实施方式通常涉及但不仅限于可移动物体环境。
背景技术
诸如无人飞行器(UAV)等可移动物体可以沿限定的路线行进。无人飞行器可以完全地或部分地由位于所述无人飞行器之外的用户所控制。用户可以使用模拟来练习控制无人飞行器,所述模拟响应于来自用户的飞行控制命令而描绘处于模拟环境中的无人飞行器。
学习控制无人飞行器可能是困难的。未能适当地控制无人飞行器可能对所述无人飞行器造成损坏。修复对无人飞行器的损坏可能十分耗时且昂贵,因此教导用户在虚拟环境中控制无人飞行器可以是有利的,在所述虚拟环境中,真实的无人飞行器没有损坏的风险。
这是本发明的实施方式旨在解决的总体领域。
发明内容
本文描述了可支持无人飞行器(UAV)的模拟飞行的系统和方法。一种可位于用户终端上的进程(process)可以从飞行模拟器接收与所述模拟飞行有关的状态信息,所述飞行模拟器与所述无人飞行器相关联。继而,所述进程可以通过使所接收的状态信息与由所述用户终端上的所述进程获得的情景信息相关联来确定针对所述模拟飞行的飞行信息,并且向与所述用户终端相关联的显示器提供所确定的飞行信息。
本文还描述了可支持可移动物体的模拟移动的系统和方法。一种可位于用户终端上的进程可以从移动模拟器接收与所述模拟移动有关的状态信息,所述移动模拟器与所述可移动物体相关联。继而,所述进程可以通过使所接收的状态信息与由所述用户终端上的所述进程获得的情景信息相关联来确定针对所述模拟可移动物体的移动信息,并且向与所述用户终端相关联的显示器提供所确定的飞行信息。
附图说明
图1图示了根据本发明各个实施方式的可移动物体环境。
图2图示了根据实施方式的用于控制无人飞行器的示例性系统200。
图3图示了根据实施方式的由远程终端实现的示例性系统300。
图4图示了根据实施方式的示例性载体400的等距视图。
图5是根据本发明实施方式的无人飞行器(UAV)的示例性示图。
图6示出了根据本发明各个实施方式的实际飞行模拟环境的各种示例性部件。
图7示出了根据本发明各个实施方式与不同的物理模型进行交互的实际飞行模拟系统。
图8是根据本发明各个实施方式的支持模拟飞行的示例性示图。
图9图示了根据本发明各个实施方式用于在无人飞行器起飞之前显示模拟飞行的示例性用户界面(UI)。
图10图示了根据本发明各个实施方式用于在无人飞行器起飞之后显示模拟飞行的示例性用户界面(UI)。
图11图示了根据本发明各个实施方式的针对模拟飞行的示例性飞行显示部分。
图12图示了根据本发明各个实施方式的示例性地图部分。
图13图示了根据本发明各个实施方式用于在起飞之后显示处于模拟飞行中的无人飞行器的另一示例性用户界面(UI)。
图14示出了根据本发明各个实施方式的用标签来记录数据的流程图。
具体实施方式
本发明通过示例的方式而非通过限制的方式图示在附图中,其中相似的参考编号指示类似的元件。应当注意,本公开内容中对“一个”或“一种”或“一些”实施方式的引用不一定是对同一个实施方式引用,并且这样的引用意指至少一个。
如下文对本发明的描述使用无人飞行器(UAV)作为可移动物体的示例。对于本领域技术人员将会显而易见的是,可以不受限制地使用其他类型的可移动物体。
本发明的系统、装置和方法提供了训练用户在虚拟环境中放飞和控制无人飞行器(UAV)的机制。用户从在虚拟环境中放飞无人飞行器而获得的技能可以是可直接适用于在真实环境中放飞无人飞行器的。本发明的系统、装置和方法还提供了模拟平台,所述模拟平台采用至少一些可用于无人飞行器的真实飞行的部件。对无人飞行器的描述可以适用于任何其他类型的无人载运工具或任何其他类型的可移动物体。
可移动物体环境
图1图示了根据本发明各个实施方式的可移动物体环境。如图1中所示,可移动物体100可以包括载体102和有效载荷104。虽然可移动物体100可被描绘为飞行器,但这种描绘并不旨在成为限制性的,并且如前文所述可以使用任何合适类型的可移动物体。本领域技术人员将会理解,本文在飞行器系统的情景下描述的任何实施方式均可适用于任何合适的可移动物体(例如,无人飞行器)。在一些情况下,可以在可移动物体100上提供有效载荷104而无需载体102。可移动物体100可以包括推进机构106、感测系统108和通信系统110。
如前文所述,推进机构106可以包括旋翼、螺旋桨、桨叶、引擎、电机、轮子、轮轴、磁体或喷嘴中的一种或多种。可移动物体可以具有一个或多个、两个或更多个、三个或更多个或者四个或更多个推进机构。推进机构可以全都是同一类型。或者,一个或多个推进机构可以是不同类型的推进机构。推进机构106可以使用任何合适的装置而安装在可移动物体100上,所述装置诸如为本文其他各处所述的支撑元件(例如,驱动轴杆)。推进机构106可以安装在可移动物体100的任何合适的部分上,诸如顶部、底部、前面、后面、侧面或其合适的组合。
在一些实施方式中,推进机构106可以使得可移动物体100能够从表面垂直地起飞或者垂直地降落在表面上,而无需可移动物体100的任何水平移动(例如,无需沿着跑道行进)。可选地,推进机构106可以可操作地允许可移动物体100以指定位置和/或朝向悬停于空中。一个或多个推进机构100可以独立于其他推进机构受到控制。或者,推进机构100可被配置成同时受到控制。例如,可移动物体100可以具有多个水平朝向的旋翼,所述旋翼可以向所述可移动物体提供升力和/或推力。可以致动所述多个水平朝向的旋翼以向可移动物体100提供垂直起飞、垂直降落以及悬停能力。在一些实施方式中,所述水平朝向的旋翼中的一个或多个可以在顺时针方向上旋转,同时所述水平旋翼中的一个或多个可以在逆时针方向上旋转。例如,顺时针旋翼的数目可以等于逆时针旋翼的数目。每个水平朝向的旋翼的旋转速率可以独立地改变,以便控制由每个旋翼产生的升力和/或推力,并从而调节可移动物体100的空间布局、速度和/或加速度(例如,关于多达三个平移自由度和多达三个旋转自由度)。
感测系统108可以包括一个或多个传感器,所述传感器可以感测可移动物体100的空间布局、速度和/或加速度(例如,关于多达三个平移自由度和多达三个旋转自由度)。所述一个或多个传感器可以包括本文先前所述的任何传感器,包括GPS传感器、运动传感器、惯性传感器、距离传感器或图像传感器。由感测系统108提供的感测数据可以用于控制可移动物体100的空间布局、速度和/或朝向(例如,使用合适的处理单元和/或控制模块,如下文所述)。或者,感测系统108可以用于提供关于可移动物体周围的环境的数据,诸如气象条件、距潜在障碍物的距离、地理特征的位置、人造构造物的位置等。
通信系统110支持经由无线信号116与具有通信系统114的终端112的通信。通信系统110、通信系统114可以包括任何数目的适合于无线通信的发射器、接收器和/或收发器。所述通信可以是单向通信,以使得数据只能在一个方向上传输。例如,单向通信可以仅涉及可移动物体100向终端112传输数据,或者反之亦然。数据可以从通信系统110的一个或多个发射器传输至通信系统112的一个或多个接收器,或者反之亦然。或者,所述通信可以是双向通信,以使得数据在可移动物体100与终端112之间的两个方向上均可传输。双向通信可以涉及从通信系统110的一个或多个发射器向通信系统114的一个或多个接收器传输数据,并且反之亦然。
在一些实施方式中,终端112可以向可移动物体100、载体102和有效载荷104中的一个或多个提供控制数据,以及从可移动物体100、载体102和有效载荷104中的一个或多个接收信息(例如,可移动物体、载体或有效载荷的位置和/或运动信息;由有效载荷感测的数据,诸如由有效载荷相机捕捉的图像数据;以及从有效载荷相机捕捉的图像数据中生成的数据)。在一些情况下,来自终端的控制数据可以包括针对可移动物体、载体和/或有效载荷的相对位置、移动、致动或控制的指令。例如,控制数据可以导致可移动物体的位置和/或朝向的修改(例如,经由推进机构106的控制),或者有效载荷相对于可移动物体的移动(例如,经由载体102的控制)。来自终端的控制数据可以导致对有效载荷的控制,诸如对相机或其他图像捕捉装置的操作的控制(例如,拍摄静态或移动图片、放大或缩小、开启或关闭、切换成像模式、改变图像分辨率、改变聚焦、改变景深、改变曝光时间、改变视角或视野)。
在一些情况下,来自可移动物体、载体和/或有效载荷的通信可以包括来自一个或多个传感器(例如,感测系统108的或有效载荷104的传感器)的信息和/或基于感测信息而生成的数据。所述通信可以包括来自一个或多个不同类型的传感器(例如,GPS传感器、运动传感器、惯性传感器、距离传感器或图像传感器)的感测到的信息。这样的信息可以关于可移动物体、载体和/或有效载荷的位置(例如,位置、朝向)、移动或加速度。来自有效载荷的这样的信息可以包括由所述有效载荷捕捉的数据或所述有效载荷的感测到的状态。由终端112传输的控制数据可被配置成用于控制可移动物体100、载体102或有效载荷104中的一个或多个的状态。备选地或组合地,载体102和有效载荷104还可以各自包括通信模块,所述通信模块被配置成用于与终端112通信,以使得所述终端可以独立地与可移动物体100、载体102和有效载荷104中的每一个通信并对其加以控制。
在一些实施方式中,可移动物体100可被配置成用于与另一远程装置相通信——附加于终端112或代替终端112。终端112也可被配置成用于与另一远程装置以及可移动物体100相通信。例如,可移动物体100和/或终端112可以与另一可移动物体或者另一可移动物体的载体或有效载荷相通信。当需要时,所述远程装置可以是第二终端或其他计算装置(例如,计算机、膝上型计算机、平板计算机、智能电话或其他移动装置)。远程装置可被配置成用于向可移动物体100传输数据、从可移动物体100接收数据、向终端112传输数据以及/或者从终端112接收数据。可选地,远程装置可以连接至因特网或其他电信网络,以使得从可移动物体100和/或终端112接收的数据可被上传至网站或服务器。
图2图示了根据实施方式的用于控制无人飞行器的示例性系统200。系统200可以与本文所公开的系统、装置和方法的任何合适的实施方式结合使用。举例来说,系统200可以由可移动物体实现或运载。系统200可以包括感测模块202、处理单元204、非暂时性计算机可读介质206、控制模块208和通信模块210。
感测模块202可以利用以不同方式收集与可移动物体有关的信息的不同类型的传感器。不同类型的传感器可以感测不同类型的信号或者来自不同来源的信号。例如,所述传感器可以包括惯性传感器、GPS传感器、距离传感器(例如,激光雷达)或视觉/图像传感器(例如,相机)。感测模块202可以可操作地耦合至具有多个处理器的处理单元204。在一些实施方式中,感测模块可以可操作地耦合至传输模块212(例如,Wi-Fi图像传输模块),所述传输模块被配置成用于向合适的外部装置或系统直接传输感测数据。例如,传输模块212可以用于向远程终端传输由感测模块202的相机捕捉的图像。
处理单元204可以具有一个或多个处理器,诸如可编程处理器(例如,中央处理单元(CPU))。例如,处理单元204可以包括现场可编程门阵列(FPGA)以及/或者一个或多个ARM处理器。处理单元204可以可操作地耦合至非暂时性计算机可读介质206。非暂时性计算机可读介质206可以储存可由处理单元204执行的逻辑、代码和/或程序指令,用于执行一个或多个步骤。非暂时性计算机可读介质可以包括一个或多个存储器单元(例如,可移动介质或外部存储,诸如SD卡或随机存取存储器(RAM))。在一些实施方式中,来自感测模块202的数据可直接传送至并储存于非暂时性计算机可读介质206的存储器单元内。非暂时性计算机可读介质206的存储器单元可以储存可由处理单元204执行的逻辑、代码和/或程序指令,用以执行本文所描述的方法的任何合适的实施方式。例如,处理单元204可被配置成用于执行指令,从而使处理单元204的一个或多个处理器执行本文所讨论的一个或多个过程。存储器单元可以储存要由处理单元204处理的、来自感测模块的感测数据。在一些实施方式中,非暂时性计算机可读介质206的存储器单元可以用于储存由处理单元204产生的处理结果。
在一些实施方式中,处理单元204可以可操作地耦合至控制模块208,所述控制模块208被配置成用于控制可移动物体的状态。例如,控制模块208可被配置成用于控制可移动物体的推进机构以调节所述可移动物体关于六个自由度的空间布局、速度和/或加速度。例如,控制模块208可被配置成用于使无人飞行器保持悬停位置。备选地或组合地,控制模块208可以控制载体、有效载荷或感测模块的状态中的一个或多个。例如,控制模块208可以用于控制载体以便使有效载荷(例如,图像捕捉装置)在保持预定布局(例如,水平位置)的同时围绕第一轴线(例如,Y轴线或偏航轴线)旋转。控制模块208还可以用于控制有效载荷在所述有效载荷正在旋转的同时以预定的间隔捕捉多个图像。
处理单元204可以可操作地耦合至通信模块210,所述通信模块210被配置成用于传输和/或接收来自一个或多个外部装置(例如,终端、显示装置或其他遥控器)的数据。可以使用任何合适的通信手段,诸如有线通信或无线通信。例如,通信模块210可以利用局域网(LAN)、广域网(WAN)、红外线、无线电、WiFi、点对点(P2P)网络、电信网络、云通信等之中的一种或多种。可选地,可以使用中继站,诸如塔、卫星或移动台。无线通信可以依赖于距离或独立于距离。在一些实施方式中,通信可能需要或者可能不需要视线。通信模块210可以传输和/或接收来自感测模块202的感测数据、和/或由处理单元204产生的处理结果、预定控制数据或者来自终端或遥控器的用户命令等之中的一个或多个。
系统200的部件可以按任何合适的配置来布置。例如,系统200的一个或多个部件可以位于可移动物体、载体、有效载荷、终端、感测系统或与上述的一个或多个相通信的附加的外部装置上。此外,虽然图10描绘了单一处理单元204、单一非暂时性计算机可读介质206和单一控制模块208,但本领域技术人员将会理解,这并不旨在成为限制性的,并且系统200可以包括多个处理单元、控制模块和/或非暂时性计算机可读介质。在一些实施方式中,多个处理单元、控制模块和/或非暂时性计算机可读介质中的一个或多个可以位于不同的位置,诸如在可移动物体、载体、有效载荷、终端、感测模块、与上述的一个或多个相通信的附加的外部装置上或其合适的组合,以使得由系统1200执行的处理和/或存储器功能的任何合适的方面可以发生于一个或多个上述位置处。
图3图示了根据实施方式的由远程终端实现的示例性系统300。系统300可以用于控制诸如无人飞行器等可移动物体和/或用于显示与无人飞行器有关的信息。远程终端可以是遥控终端、远程显示终端或结合全部两者功能的终端。系统300可以与本文公开的系统、装置和方法的任何合适的实施方式结合使用。系统300可以包括输入模块302、处理单元304、非暂时性计算机可读介质306、显示模块308和通信模块310,其全部经由总线或类似的网络而互相连接。
输入模块302可以包括一个或多个输入机构,用于从操作所述输入模块的用户接收输入。这样的输入机构可以包括一个或多个操纵杆、开关、旋钮、滑动开关、按钮、拨号盘、触摸屏、小键盘、键盘、鼠标、语音控制、手势控制、惯性传感器等。这样的输入模块302可以用于接收用户输入,所述用户输入用于控制可移动物体、载体、有效载荷或其部件的方面。这样的方面可以包括姿态、位置、朝向、导航、跟踪等。例如,输入机构可以由用户手动设置为一个或多个位置,每个位置对应于用于控制无人飞行器的预定输入。
在一些实施方式中,输入机构可以由用户操纵以输入用于控制可移动物体的导航的控制命令。例如,用户可以利用旋钮、开关或类似的输入机构来输入针对可移动物体的飞行模式,诸如根据预定导航路径而自动驾驶或导航。又例如,用户可以通过以某些方式使控制终端倾斜来控制可移动物体的位置、姿态、朝向和其他方面,所述倾斜可以由一个或多个惯性传感器检测并用于生成对应的导航命令。再例如,用户可以使用输入机构来调节有效载荷的操作参数(例如,缩放)、姿态和/或有效载荷(例如,经由载体)或者位于可移动物体上的任何物体的其他方面。
处理单元304可以具有一个或多个处理器,诸如可编程处理器(例如,中央处理单元(CPU)或微控制器)。处理单元304可以可操作地耦合至存储器306。存储器306可以包括暂时性存储介质和/或非暂时性存储介质,所述存储介质被配置成用于储存数据以及/或者可由处理单元1304执行的、用于执行一个或多个例程或功能的逻辑、代码和/或程序指令。存储器可以包括一个或多个存储器单元(例如,可移动介质或外部存储,诸如SD卡或随机存取存储器(RAM))。在一些实施方式中,来自输入模块302的数据可以直接传送至并储存于存储器306的存储器单元内。存储器306的存储器单元可以储存可由处理单元304执行的逻辑、代码和/或程序指令以执行本文描述的方法的任何合适的实施方式。例如,处理单元304可被配置成用于执行指令,从而使处理单元304的一个或多个处理器执行本文描述的一个或多个过程。存储器单元可以储存感测数据或其他从外部装置(例如,可移动物体)接收的数据。在一些实施方式中,存储器306的存储器单元可以用于储存由处理单元304产生的处理结果。虽然图3描绘了单一处理单元304和单一存储器306,但本领域技术人员将会理解,这并不旨在成为限制性的,并且系统1300可以包括多个处理单元和/或存储器的多个存储器单元。
在一些实施方式中,显示模块1308可被配置成用于显示可移动物体、载体和/或有效载荷的信息,所述信息关于位置、平移速度、平移加速度、朝向、角速度、角加速度或其任何合适的组合。显示模块308可被配置成用于显示从可移动物体和/或有效载荷接收的信息,诸如感测数据(例如,由相机或其他图像捕捉装置记录的图像)、经处理的数据(诸如由位于可移动物体上的处理器生成的拼接图像)、在图像拼接进程期间生成的中间数据、控制反馈数据等。在一些实施方式中,显示模块308可以由实现输入模块302的同一装置实现。在其他实施方式中,显示模块308可以由与实现输入模块302的装置分离(但可能可操作地耦合至所述装置)的装置所实现。
通信模块310可被配置成用于传输和/或接收来自一个或多个外部装置(例如,可移动物体、有效载荷、基站、遥控器等)的数据。例如,通信模块310可被配置成用于向诸如可移动物体、载体和/或有效载荷等外部系统或装置传输控制数据(例如,导航命令、控制命令)。通信模块310还可被配置成用于从外部系统或装置接收数据(例如,感测数据和图像拼接数据)。在一些实施方式中。通信模块310可以包括发射器312和接收器314,所述发射器和接收器分别被配置成用于向远程装置传输数据以及从远程装置接收数据。在一些实施方式中,通信模块可以包括收发器,所述收发器组合了发射器和接收器的功能性。在一些实施方式中,发射器和接收器可以与彼此相通信并且与处理单元304相通信。可以使用任何合适的通信手段,诸如本文描述的有线通信或无线通信。
图4图示了根据实施方式的示例性载体400的等距视图。载体400可以用于将诸如图像捕捉装置等有效载荷耦合至诸如无人飞行器等可移动物体。
载体400可被配置成用于允许有效载荷围绕多达三个轴线旋转:相对于可移动物体的X轴线或俯仰轴线402、Z轴线或横滚轴线404以及Y轴线或偏航轴线406。例如,载体400可被配置成用于允许有效载荷仅围绕一个、两个或全部三个轴线旋转。所述三个轴线可以彼此正交或者可以不彼此正交。围绕任何轴线的旋转范围可以受限或者可以不受限,并且可以针对每个轴线而变化。旋转轴线可以彼此相交或者可以不彼此相交。例如,三个正交轴线可以彼此相交。它们可以相交于有效载荷处或者可以不相交于有效载荷处。或者,它们可以不相交。
载体400可以包括机架组件,所述机架组件包括第一机架构件408、第二机架构件416、第三机架构件422和第四机架构件428。第一机架构件408可被配置成用于与有效载荷(例如,图像捕捉装置)相耦合并且支撑所述有效载荷。
在一些实施方式中,载体包括一个或多个载体传感器,所述载体传感器有助于确定所述载体的状态或由所述载体携带的有效载荷的状态。状态信息可以包括关于载体、其部件和/或有效载荷的空间布局(例如,位置、朝向或姿态)、速度(例如,线速度或角速度)、加速度(例如,线加速度或角加速度)和/或其他信息。在一些实施方式中,从传感器数据获取或计算而得的状态信息可以用作反馈数据以控制载体的部件(例如,机架构件)的旋转。这样的载体传感器的示例可以包括运动传感器(例如,加速度计)、旋转传感器(例如,陀螺仪)、惯性传感器等。
载体传感器可以耦合至载体的任何一个或多个合适的部分(例如,机架构件和/或致动器构件),并且可以是或者可以不是相对于无人飞行器可移动的。附加地或备选地,至少一些载体传感器可以直接耦合至由载体携带的有效载荷。
载体传感器可以与载体的一些或全部致动器构件相耦合。例如,三个载体传感器可以分别耦合至载体的致动器构件1410、1418和1424并且被配置成用于测量相应的致动器构件1410、1418和1424的驱动。这样的传感器可以包括电位计或其他类似的传感器。在实施方式中,传感器(例如,电位计)可以插入于电机的电机轴杆上,以便测量电机转子与电机定子的相对位置,从而测量转子与定子的相对位置并且生成表示所述相对位置的位置信号。在实施方式中,每个致动器耦合的传感器被配置成用于提供其所测量的对应致动器构件的位置信号。例如,第一电位计可以用于生成针对第一致动器构件1410的第一位置信号,第二电位计可以用于生成针对第二致动器构件1418的第二位置信号,而第三电位计可以用于生成针对第三致动器构件1424的第三位置信号。在一些实施方式中,载体传感器还可以耦合至载体的一些或全部机架构件。传感器可能能够传送信息,所述信息关于载体和/或图像捕捉装置的一个、两个、三个、四个或更多机架构件的位置和/或朝向。传感器数据可以用于确定图像捕捉装置相对于可移动物体和/或参考系的位置和/或朝向。
载体传感器可以提供位置和/或朝向数据,所述数据可被传输至载体或可移动物体上的一个或多个控制器(未示出)。传感器数据可以在基于反馈的控制方案中使用。所述控制方案可以用于控制多个致动器构件(诸如两个、三个、四个、五个或更多个电机)的驱动。可位于载体上或携带所述载体的可移动物体上的一个或多个控制器可以生成用于驱动致动器构件的控制信号。在一些情况下,可以基于从载体传感器接收的、指示出载体或由所述载体携带的有效载荷的空间布局的数据而生成控制信号。如前文所述,载体传感器可以位于载体或有效载荷上。由控制器产生的控制信号可以由第一致动器的驱动器、第二致动器的驱动器和/或第三致动器的驱动器接收。基于控制信号,第一致动器的驱动器、第二致动器的驱动器和/或第三致动器的驱动器可以控制第一致动器构件、第二致动器构件和/或第三致动器构件的驱动,例如,用以实现载体的一个或多个部件的旋转。致动器的驱动器可以包括适合于控制对应的致动器构件的驱动并且从对应的传感器(例如,电位计)接收位置信号的硬件和/或软件部件。控制信号可以同时传输至致动器的驱动器,以产生致动器构件的同时驱动。或者,控制信号可以依次传输,或者仅传输至所述致动器的驱动器中的一个。有利地,控制方案可以用于提供用于驱动载体的致动器构件的反馈控制,从而支持载体部件的更精确且准确的旋转。
在一些情况下,载体可以经由一个或多个阻尼元件而间接地耦合至无人飞行器。所述阻尼元件可被配置成用于减少或消除由可移动物体(例如,无人飞行器)的移动而造成的负荷(例如,有效载荷、载体或全部两者)的移动。阻尼元件可以包括适合于衰减所耦合的负荷的运动的任何元件,诸如主动阻尼元件、被动阻尼元件或者既具有主动阻尼特性又具有被动阻尼特性的混合阻尼元件。由本文提供的阻尼元件衰减的运动可以包括震动、震荡、晃动或冲击中的一种或多种。这样的运动可以源于经由例如第四机架构件1428而传输至负荷的可移动物体的运动。例如,所述运动可以包括由推进系统和/或无人飞行器的其他部件的操作而造成的震动。
阻尼元件可以通过将负荷与不期望的运动的来源相隔离进而消散或减小传递到负荷的运动量(例如,震动隔离)来提供运动阻尼。阻尼元件可以减小原本会由负荷经受的运动的幅度(例如,振幅)。由阻尼元件施加的运动阻尼可以用于稳定负荷,从而提高由负荷(例如,图像捕捉装置)捕捉的图像的质量,以及降低基于所捕捉的图像来生成全景图像所需的图像拼接步骤的计算复杂度。
本文描述的阻尼元件可以由任何合适的材料或材料的组合形成,所述材料包括固态材料、液态材料或气态材料。用于阻尼元件的材料可以是可压缩的和/或可变形的。例如,阻尼元件可以由海绵、泡沫、橡胶、凝胶等制成。例如,阻尼元件可以包括基本上呈球形的橡胶球,诸如图12中所图示。阻尼元件可以具有任何合适的形状,诸如基本上呈球形、矩形、圆柱形等。备选地或附加地,阻尼元件可以包括压电材料或形状记忆材料。阻尼元件可以包括一个或多个机械元件,诸如弹簧、活塞、液压装置、气动装置、缓冲器、减震器、隔震器等。可以选择阻尼元件的性质以便提供预定量的运动阻尼。在一些情况下,阻尼元件可以具有粘弹性性质。阻尼元件的性质可以是各向同性的或各向异性的。例如,阻尼元件可以沿着全部运动方向平等地提供运动阻尼。相反地,阻尼元件可以仅沿着运动方向的子集(例如,沿着单一运动方向)提供运动阻尼。例如,如图12中所图示的阻尼元件可以主要沿着Y(偏航)轴线1406提供阻尼。因此,所图示的阻尼元件可被配置成用于减小垂直运动。
虽然本文的实施方式可被描绘为利用单一类型的阻尼元件(例如,橡胶球),但应当明白,可以使用各类阻尼元件的任何合适的组合。例如,可以使用一个、两个、三个、四个或更多个具有任何合适的一种类型或多种类型的阻尼元件将载体耦合至可移动物体。阻尼元件可以具有相同或不同的特性或性质,诸如刚度、粘弹性等。每个阻尼元件可以耦合至负荷的不同部分或仅耦合至负荷的某一部分。例如,阻尼元件可以位于负荷与可移动物体之间的接触点或表面或者耦合点或表面附近(例如,第四机架构件1428的耦合构件1430附近)。在一些情况下,负荷可以嵌入在一个或多个阻尼元件内或者由一个或多个阻尼元件所封闭。
示例性无人飞行器(UAV)
图5是根据本发明的实施方式的无人飞行器(UAV)的示例性示图。无人飞行器可以是如本文所述的可移动物体的示例。无人飞行器500可以包括具有四个旋翼502、504、506和508的推进系统。可以提供任何数目的旋翼(例如,一个、两个、三个、四个、五个、六个或更多个旋翼)。无人飞行器的旋翼、旋翼组件或其他推进系统可以使得所述无人飞行器能够悬停/保持位置、改变朝向和/或改变位置。相对的旋翼的轴杆之间的距离可以是任何合适的长度510。本文对无人飞行器的任何描述均可适用于可移动物体,诸如不同类型的可移动物体,并且反之亦然。
在一些实施方式中,可移动物体可被配置成用于携带负荷。负荷可以包括乘客、货物、设备、仪器等之中的一种或多种。负荷可以提供在外壳内。所述外壳可以与可移动物体的外壳相分离,或者是与可移动物体的外壳相同。或者,负荷可以具备外壳,而可移动物体不具有外壳。或者,负荷的一些部分或整个负荷可以在不具有外壳的情况下提供。负荷可以相对可移动物体刚性固定。可选地,负荷可以是可相对于可移动物体移动的(例如,可相对于可移动物体平移或旋转)。
在一些实施方式中,负荷包括有效载荷512。所述有效载荷可被配置成不执行任何操作或功能。或者,有效载荷可以是被配置成用于执行操作或功能的有效载荷,亦称为功能性有效载荷。例如,有效载荷可以包括一个或多个传感器,用于勘测一个或多个目标。可以向有效载荷中合并任何合适的传感器,诸如图像捕捉装置(例如,相机)、音频捕捉装置(例如,抛物面麦克风)、红外成像装置或紫外成像装置。所述传感器可以提供静态感测数据(例如,照片)或动态感测数据(例如,视频)。在一些实施方式中,传感器提供针对有效载荷的目标的感测数据。备选地或组合地,有效载荷可以包括一个或多个发射体,用于向一个或多个目标提供信号。可以使用任何合适的发射体,诸如照明源或声源。在一些实施方式中,有效载荷包括一个或多个收发器,诸如用于与远离可移动物体的模块相通信。可选地,有效载荷可被配置成用于与环境或目标交互。例如,有效载荷可以包括能够操纵物体的工具、仪器或机构,诸如机械臂。
可选地,负荷可以包括载体514。所述载体可以针对有效载荷而提供,并且所述有效载荷可以经由所述载体直接地(例如,直接接触可移动物体)或间接地(例如,不接触可移动物体)耦合至可移动物体。相反地,有效载荷可在无需载体的情况下安装于可移动物体上。有效载荷可以与载体一体形成。或者,有效载荷可以可拆卸地耦合至载体。在一些实施方式中,有效载荷可以包括一个或多个有效载荷元件,并且所述有效载荷元件中的一个或多个可以如上文所述是可相对于可移动物体和/或载体移动的。
载体可以与可移动物体一体形成。或者,载体可以可拆卸地耦合至可移动物体。载体可以直接地或间接地耦合至可移动物体。载体可以向有效载荷提供支撑(例如,承载所述有效载荷的重量的至少一部分)。载体可以包括能够稳定和/或引导有效载荷的移动的合适的安装结构(例如,云台平台)。在一些实施方式中,载体可以适于控制有效载荷相对于可移动物体的状态(例如,位置和/或朝向)。例如,载体可被配置成用于相对于可移动物体而移动(例如,关于一个、两个或三个平移自由度以及/或者一个、两个或三个旋转自由度),以使得有效载荷相对于合适的参考系保持其位置和/或朝向,而与可移动物体的移动无关。所述参考系可以是固定参考系(例如,周围环境)。或者,所述参考系可以是移动参考系(例如,可移动物体、有效载荷目标)。
在一些实施方式中,载体可被配置成用于允许有效载荷相对于载体和/或可移动物体的移动。所述移动可以是关于多达三个自由度(例如,沿着一个、两个或三个轴线)的平移或者是关于多达三个自由度(例如,绕着一个、两个或三个轴线)的旋转,或者是它们的任何合适的组合。
在一些情况下,载体可以包括载体机架组件和载体致动组件。所述载体机架组件可以向有效载荷提供结构支撑。载体机架组件可以包括单独的载体机架部件,其中一些是可相对于彼此移动的。所述载体致动组件可以包括一个或多个致动器(例如,电机),所述致动器致动单个载体机架部件的移动。致动器可以允许多个载体机架部件同时移动,或者可被配置成用于一次允许单一载体机架部件移动。载体机架部件的移动可以产生有效载荷的对应移动。例如,载体致动组件可以致动一个或多个载体机架部件绕着一个或多个旋转轴线(例如,横滚轴线、俯仰轴线或偏航轴线)的旋转。所述一个或多个载体机架部件的旋转可以使有效载荷相对于可移动物体绕着一个或多个旋转轴线旋转。备选地或组合地,载体致动组件可以致动一个或多个载体机架部件沿着一个或多个平移轴线的平移,并从而产生有效载荷相对于可移动物体沿着一个或多个对应的轴线的平移。
在一些实施方式中,可移动物体、载体和有效载荷相对于固定参考系(例如,周围环境)和/或相对于彼此的移动可以由终端所控制。所述终端可以是处于远离所述可移动物体、载体和/或有效载荷的位置处的遥控装置。终端可以安置在支撑平台上或固定至支撑平台。或者,终端可以是手持式或可穿戴式装置。例如,终端可以包括智能电话、平板计算机、膝上型计算机、计算机、眼镜、手套、头盔、麦克风或其合适的组合。终端可以包括用户接口,诸如键盘、鼠标、操纵杆、触摸屏或显示器。任何合适的用户输入均可用于与终端交互,诸如手动输入命令、语音控制、手势控制或位置控制(例如,经由终端的移动、位置或倾斜)。
终端可以用于控制可移动物体、载体和/或有效载荷的任何合适的状态。例如,终端可以用于控制可移动物体、载体和/或有效载荷相对于固定参考物来自彼此和/或朝着彼此的位置和/或朝向。在一些实施方式中,终端可以用于控制可移动物体、载体和/或有效载荷的单独元件,诸如载体的致动组件、有效载荷的传感器或有效载荷的发射体。终端可以包括适于与可移动物体、载体或有效载荷中的一个或多个相通信的无线通信装置。
终端可以包括用于查看可移动物体、载体和/或有效载荷的信息的合适的显示单元。例如,终端可被配置成用于显示可移动物体、载体和/或有效载荷的信息,所述信息关于位置、平移速度、平移加速度、朝向、角速度、角加速度或其任何合适的组合。在一些实施方式中,终端可以显示由有效载荷提供的信息,诸如由功能性有效载荷提供的数据(例如,由相机或其他图像捕捉装置记录的图像)。
可选地,同一终端可以控制可移动物体、载体和/或有效载荷或者可移动物体、载体和/或有效载荷的状态,以及接收和/或显示来自可移动物体、载体和/或有效载荷的信息。例如,终端可以控制有效载荷相对于环境的位置,同时显示由有效载荷捕捉的图像数据,或者与有效载荷的位置有关的信息。或者,不同的终端可以用于不同的功能。例如,第一终端可以控制可移动物体、载体和/或有效载荷的移动或状态,而第二终端可以接收和/或显示来自可移动物体、载体和/或有效载荷的信息。例如,第一终端可以用于控制有效载荷相对于环境的定位,而第二终端显示由所述有效载荷捕捉的图像数据。可以在可移动物体与既控制所述可移动物体又接收数据的集成式终端之间,或者在可移动物体与既控制所述可移动物体又接收数据的多个终端之间利用各种通信模式。例如,可以在可移动物体与既控制所述可移动物体又接收来自所述可移动物体的数据的终端之间形成至少两种不同的通信模式。
移动模拟
根据本发明的各个实施方式,可移动物体的移动的实际模拟可以共享用于可移动物体的真实操作的各个部件。例如,实际飞行模拟可以是包括在载运工具的真实飞行操作中使用的部件的飞行模拟。
图6示出了根据本发明各个实施方式的实际飞行模拟环境的各种示例性部件。实际飞行模拟环境600可以包括无人飞行器604、遥控器601、显示装置602以及遥控器与显示装置之间的连接器603。
可以在诸如飞行模式和模拟模式等不同的操作模式中操作无人飞行器。在飞行模式中,可以在真实环境中放飞无人飞行器,例如通过从遥控器接收指令或输入来放飞无人飞行器。例如,真实飞行环境可以是可在其中操作无人飞行器的户外环境、室内环境或者户外环境与室内环境的混合。无人飞行器的操作可以是无人飞行器的飞行或其他行动。真实环境可以存在于真实的时间和空间中。真实环境可以是在物理世界中有形的。
在模拟模式中,无人飞行器可以在虚拟环境内飞行而非实际地在真实环境中飞行。虚拟环境或模拟环境可以是存在于计算机软件结构中的环境。虚拟环境或模拟环境可以由来自用户的一个或多个输入、软件开发者或来自数据库的信息所创建。虚拟环境或模拟环境可以是对存在于真实的空间和时间中的环境或不存在于真实的空间和时间中的假想环境的表示。虚拟环境或模拟环境可以包括限定的边界、障碍物和表面。虚拟环境或模拟环境可以具有限定的介质用以支持无人飞行器的飞行,例如,所述介质可以是空气。所述介质可以存在于虚拟环境中并在所述虚拟环境中受到数学上的限定。在一些实施方式中,虚拟环境不存在于有形的物理世界中。
无人飞行器可以在物理上保持静止并且可以不在真实环境内自推进。当无人飞行器处于模拟模式中时,所述无人飞行器的一个或多个推进单元可以不操作。在模拟操作模式中,无人飞行器上的一个或多个部件可以有助于飞行模拟。在一些情况下,无人飞行器604上的部件可以都不用于飞行模拟中。在模拟操作模式中,可以在虚拟环境或模拟环境中放飞虚拟的无人飞行器。虚拟的无人飞行器和虚拟的环境可以在数学上存在于模拟空间中。虚拟的无人飞行器在虚拟环境中可以与真实的无人飞行器在真实环境中具有相同功能性。
当无人飞行器处于模拟模式中时,由遥控器601提供的输入可以是飞行控制数据。飞行控制数据可以是改变飞行路径或者使飞行事件开始或停止的指令。在示例中,飞行控制数据可以是用以启动推进系统、停止推进系统、增大推进系统的功率、减小推进系统的功率、改变无人飞行器的前进方向、改变无人飞行器的海拔、打开无人飞行器上的传感器、关闭无人飞行器上的传感器、报告来自无人飞行器上的传感器的传感器数据或者起始无人飞行器上的自动驾驶功能的指令。当无人飞行器处于模拟模式中时,可以不将飞行控制数据传递至无人飞行器的推进单元。
无人飞行器可以包括接收器,所述接收器被配置成用于接收模式信号,所述模式信号指示出无人飞行器处于飞行模式或模拟模式中。模式信号可以由与接收器相通信的遥控器、显示装置或单独装置所提供。在一些情况下,信号可以通过无人飞行器上的硬件部件而提供。硬件部件可以由用户操纵以向无人飞行器提供信号。例如,硬件部件可以是可在第一位置与第二位置之间物理转移以提供指示出第一模式或第二模式的信号的开关、按钮或旋钮。在另一示例中,飞行模式可以是默认模式并且无人飞行器可以在所述飞行模式中操作,除非模式信号指示出对模拟模式的改变。
在一些情况下,无人飞行器的一个或多个功能可以至少部分地由来自用户的输入所控制。可以通过遥控器向无人飞行器提供来自用户的输入。通过遥控器来提供输入以控制无人飞行器的一个或多个功能可能是困难的。在一些情况下,对于通过遥控器来提供输入以控制无人飞行器的一个或多个功能不熟悉的用户可能无法使用遥控器实现期望结果。无法使用遥控器实现期望结果可能导致无人飞行器的损坏和/或无人飞行器丢失于未知环境中。提供模拟练习可以是有利的,其中用户可以训练并练习使用遥控器在虚拟环境中控制虚拟无人飞行器。所述遥控器与用于在真实的飞行环境中放飞无人飞行器的遥控器可以是同一遥控器。
被配置成用于在虚拟环境(或模拟)中控制虚拟无人飞行器的遥控器可以与用于在真实环境中控制真实无人飞行器的控制器相同或类似。提供既用于模拟中又用于真实环境中的相同控制器可以产生针对用户而言更实际的训练经验。用户可以形成与遥控器上的物理接口的移动或操纵相关联的肌肉记忆。提供用于无人飞行器的模拟和真实飞行模式中的相同遥控器可以提供利用在模拟模式中形成的肌肉记忆以供真实飞行模式中使用的优点。肌肉记忆可以增加飞行模式中的反应时间、精确度和准确度。提供用于无人飞行器的模拟和飞行模式中的相同控制器可以使用户熟悉遥控器上的控件的灵敏度。例如,用户可以对无人飞行器对于来自遥控器的输入的响应时间变得熟悉。在另一示例中,用户可以对响应相对于遥控器上的物理接口的移动的幅度变得熟悉。此外,在模拟模式中,用户可以记住遥控器上的旋钮、按钮、操纵杆和/或拨号盘的位置,在飞行模式中,记住的这些部件的位置可以增加反应时间并因此提高用户控制无人飞行器的能力。
遥控器可以与用于在真实飞行操作中控制无人飞行器的遥控器相同。在一些情况下,遥控器可以是与用于在真实飞行操作中控制无人飞行器的遥控器类似或相同的拷贝。遥控器可以具有物理用户接口机构的任何组合。物理用户接口机构可以是遥控器上的部件,用户触摸或操纵所述部件以控制无人飞行器的至少一个功能。在示例中,物理用户接口机构可以是按钮、操纵杆、滚动球、触摸屏、开关、拨号盘或旋钮。在一些情况下,物理用户接口可以包括两个或更多个操纵杆。操纵杆可以垂直地和水平地移动。操纵杆可以用于控制俯仰、横滚、偏航和/或垂直速度。可以配置物理用户接口机构以使得用户可以控制无人飞行器绕着横滚轴线、偏航轴线和/或俯仰轴线的移动。物理用户接口机构可以由用户操纵以使无人飞行器在沿着三维空间中的平面的方向上平移。物理用户接口还可被配置成用于提供对于无人飞行器的飞行的用户控制。控制无人飞行器的飞行可以包括控制无人飞行器的速度、功率、油门和/或海拔。在一些情况下,物理用户接口可以提供用以控制无人飞行器的非飞行动作的机构。非飞行动作可以是位于无人飞行器上的传感器或有效载荷的移动。非飞行动作可以包括可被配置成用于携带有效载荷的无人飞行器的载体的致动。非飞行动作的另一示例可以是由无人飞行器上的传感器收集的数据的收集和/或报告。此外,物理用户接口可以提供用以起始无人飞行器的自主动作或任务的机构。在示例中,自主任务或动作可以是自动返航、保持姿势飞行、GPS飞行、自主起飞或自主降落。
无人飞行器模拟可以使用显示装置来描绘无人飞行器的虚拟模拟环境。可以在诸如移动装置等显示装置上运行应用程序。应用程序可以示出三维虚拟环境和无人飞行器在所述环境内的飞行。飞行控制系统可以用于控制无人飞行器在虚拟环境内的飞行。飞行控制系统可以位于无人飞行器上,位于显示装置上或者位于任何其他装置上。飞行控制系统可以使用来自虚拟传感器的数据生成模拟飞行。在一些情况下,无人飞行器可以在飞行模式或模拟模式内操作。当处于飞行模式中时,无人飞行器飞行控制系统可以向无人飞行器的推进单元发送信号以实现无人飞行器的飞行。当处于模拟模式中时,无人飞行器飞行控制系统可以向物理模型发送信号而不向推进单元发送信号。物理模型可以提供虚拟反馈,所述虚拟反馈可以帮助限定无人飞行器的模拟飞行。
显示装置可以是包括计算部件和视觉显示器的装置。计算部件可以包括一个或多个处理器、一个或多个存储器存储装置。处理器可被配置成用于根据非暂时性计算机可读介质来执行指令。存储器可以包括非暂时性计算机可读介质,所述非暂时性计算机可读介质包括用于执行本文所描述的一个或多个步骤的代码、逻辑或指令。显示装置可以包括非暂时性计算机可读介质,所述非暂时性计算机可读介质包括用于执行飞行模拟的程序指令。显示装置可以是移动装置,诸如智能电话。在一些情况下,显示装置可以是台式计算机、膝上型计算机、平板计算机或虚拟现实头戴式装置。或者,显示装置可以是计算部件和视觉显示器的组合,其中视觉显示器可以是触摸屏、投影仪、LCD屏、等离子屏、LED屏或OLED屏、电视机或监视器。显示装置可以提供飞行模拟期间的飞行数据的视觉表示和/或文本表示。在一些情况下,显示装置可以附加地提供飞行模拟期间的音频反馈。显示装置可被配置成用于通过用户交互部件来接收用户输入,所述用户交互部件诸如为触摸屏、开关、按钮、按键、旋钮、鼠标、指针、追踪球、操纵杆、触摸板、惯性传感器(例如,加速度计、陀螺仪、磁力计)、麦克风、视觉传感器或红外传感器。用户交互部件可以接收触摸输入、位置输入、音频输入或视觉输入。
在模拟模式中,显示装置可以从位于无人飞行器上的飞行控制系统接收模拟飞行数据。模拟飞行数据可以从位于无人飞行器上的飞行控制器直接传输至显示装置,或者所述数据可以从飞行控制器传输至遥控器并继而从遥控器传输至显示装置。显示装置可以包括非暂时性计算机可读介质,所述非暂时性计算机可读介质包括用于执行飞行模拟的指令。用于执行飞行模拟的指令可以本地储存在显示装置中的存储器存储装置上,或者储存在显示装置之外、位于与所述显示装置相通信的另一主机装置上。显示装置可以包括屏幕,所述屏幕可以描绘2D或3D渲染下的模拟数据。显示装置可以是移动电话(例如,智能电话)、平板计算机、台式计算机、膝上型计算机、虚拟现实头戴式装置或者与计算机装置相通信的电视机或投影仪。在一些情况下,显示装置可以包括触摸屏、LCD屏或等离子屏。
在各个实施方式中,如本文所讨论的飞行信息的显示所需的任何数据处理可以由显示终端本身、一个或多个与显示终端分离的装置或者其任何组合来实现。在示例中,显示终端可以是“虚设”终端或“瘦”终端,其仅能够显示信息而不能够进行复杂的数据处理。在这种情况下,大部分(如非全部)显示数据可以由其他装置或系统而不是显示终端来生成。在另一示例中,显示终端可能能够比虚设终端执行更多的数据处理。在这样的情况下,大部分(如非全部)显示数据可以由显示终端本身生成。例如,显示终端可能能够运行应用程序(例如,移动app)。在又一示例中,可以在显示终端与可操作地连接至所述显示终端的某种其他系统或装置之间拆分数据处理。例如,显示终端可被配置成用于运行前端应用程序,所述前端应用程序与运行在远程服务器上的后端应用程序相通信。在各个实施方式中,数据处理的实际分配可以取决于显示终端和/或其他装置或系统的软件/硬件特性、处理量、相应装置的负荷以及其他因素。
遥控器可以与显示装置相通信。可以通过有线连接或无线连接来提供遥控器与显示装置之间的通信。可以通过RF连接、IR连接、Wi-Fi网络、无线局域网(WLAN)、蜂窝网络或任何其他可用的无线网络在遥控器与显示装置之间提供无线连接。或者,可以通过永久性线缆连接、同轴电缆连接、火线连接、MIDI连接。eSATA连接、以太网连接或任何允许数据传输的其他可用的有线连接,在遥控器与显示装置之间提供有线连接。在一些情况下,有线连接可以是通过USB电缆的连接。
显示装置可以通过有线连接或无线连接与遥控器相通信。在一些情况下,有线连接可以是USB连接。遥控器可以从无人飞行器上的飞行控制系统接收模拟飞行数据。模拟飞行数据在被传递至显示装置之前可以由遥控器修改。在一些情况下,模拟飞行数据在被传递至显示装置之前可以不由遥控器修改。在一些情况下,可以在不连接至无人飞行器上的飞行控制系统的情况下操作飞行模拟。可以利用遥控器与显示装置之间的连接执行飞行模拟。显示装置可以从遥控器直接接收指令,并且显示装置可以在不与无人飞行器上的飞行控制器相通信的情况下生成飞行模拟。
在一些实施方式中,显示装置可被配置成用于从无人飞行器上的飞行控制系统直接接收模拟飞行数据。当无人飞行器处于模拟模式中时,显示装置可以仅从飞行控制系统接收模拟飞行数据。显示装置可以通过有线连接或无线连接来与无人飞行器上的飞行控制系统相通信。飞行控制系统可以向显示装置传输模拟飞行状态信息。无人飞行器还可被配置成用于与遥控器相通信,所述遥控器被配置成用于控制无人飞行器在飞行模式或模拟模式中的飞行。可以在飞行模式和模拟模式中使用相同的控制器来控制无人飞行器。在飞行模式中,传递至无人飞行器的飞行控制数据可以向位于所述无人飞行器上的一个或多个推进单元传输。在模拟模式中,传递至无人飞行器的飞行控制数据可以向物理模型传输以生成模拟飞行数据。模拟飞行数据可以通过飞行控制系统从来自遥控器的飞行控制数据、来自一个或多个虚拟传感器的虚拟传感器数据以及来自位于无人飞行器上的物理模型的一个或多个输出之中生成。显示装置可以响应于从飞行控制系统接收的模拟飞行数据而显示无人飞行器的模拟飞行状态信息。
遥控器和显示装置可以通过不同的有线连接或无线连接而与飞行控制系统或飞行控制器单独通信。飞行控制系统可以位于无人飞行器之上或之外。在一些情况下,飞行控制系统可以位于显示装置上。飞行控制系统可被配置成用于响应于来自控制器和/或显示装置的输入而生成飞行控制数据。飞行控制系统可以通过遥控器和/或显示装置而从用户接收输入。飞行控制系统可以将所述输入传递至一个或多个部件的系统,所述一个或多个部件可以生成真实的或虚拟的传感器数据并将此数据传递回飞行控制系统。基于真实的或虚拟的传感器数据,飞行控制系统可以生成飞行数据并且将所述飞行数据传输至遥控器和显示装置中的一个或全部两者。下文将详细描述生成真实的或虚拟的传感器数据的过程以及真实的与虚拟的传感器数据之间的区别。
物理模型
根据本发明的各个实施方式,可以针对特定的可移动物体,诸如特定的无人飞行器或无人飞行器的特定模型提供物理模型。在一些情况下,物理模型可以提供对应于默认的可移动物体的参数,所述默认的可移动物体诸如为默认的无人飞行器构造和/或模型。在一些情况下,物理模型可以位于诸如无人飞行器等可移动物体上。物理模型可被编程用以提供对应于其所位于的诸如无人飞行器等可移动物体的物理参数。
图7示出了根据本发明各个实施方式与不同的物理模型进行交互的实际飞行模拟系统。如图7中所示,控制器701可以连接至第一无人飞行器702或第二无人飞行器704。可以针对无人飞行器702提供物理模型703并且可以针对无人飞行器704提供物理模型705。
由控制器建立与特定无人飞行器的连接可以引起与具有对应于特定无人飞行器的固定变量的不同物理模型的连接。
当控制器701建立与第一无人飞行器702的连接时,所述控制器701可以利用针对第一无人飞行器702的物理模型703。控制器701可以与第一无人飞行器702相通信,所述无人飞行器702可以与第一物理模型703相通信。第一物理模型703可被配置成用于使用对应于第一无人飞行器702的固定参数来模拟飞行数据输出。例如,第一物理模型可被配置成用于在数学模型中使用对应于第一无人飞行器702的重量、尺寸、气动外形、电机强度、电机速度和其他动力性质来确定一个或多个输出。
而且,只要控制器701建立与第一无人飞行器704的连接,所述控制器701就可以利用针对所述第一无人飞行器705的物理模型705。在这种情况下,相同的控制器701可以与第二无人飞行器704上的第二物理模型705相通信。相比于第一无人飞行器702,第二无人飞行器704可以具有相对不同的大小、形状、重量和/或动力系统。控制器701可以与第二无人飞行器704相通信,所述第二无人飞行器704包括可以与第二物理模型705相通信。第二物理模型705可被配置成用于使用对应于第二无人飞行器704的固定参数来模拟飞行数据输出。例如,第二物理模型705可被配置成用于在数学模型中使用对应于第二无人飞行器的重量、尺寸、气动外形、电机强度、电机速度和其他动力性质来确定一个或多个输出。
在备选实施方式中,物理模型可以位于无人飞行器之外。物理模型可以位于显示装置上。当物理模型位于显示装置之上时,用户可以选择使用指定构造和/或模型的无人飞行器来运行模拟。物理模型可以具有固定物理参数,所述固定物理参数对应于保存在位于显示装置之上或之外的存储器存储装置上的无人飞行器的一个或多个可能构造和/或模型。用户可以选择使用所保存的、对应于保存在存储器存储装置上的无人飞行器的一个或多个可能构造和/或模型的固定物理参数,或者用户可以将固定物理参数直接输入到物理模型中。
物理模型可被配置成用于生成关于无人飞行器的飞行控制输入的期望响应作为输出。所述输出可以特定于具有固定物理参数(例如,尺寸、重量、气动截面和/或电机规格)的无人飞行器。对飞行控制输入的期望响应可以取决于无人飞行器的物理参数。例如,较重的无人飞行器可以比相对较轻的无人飞行器加速更慢。类似地,具有较强(例如,较高扭矩)电机的无人飞行器可以比具有相对较弱电机的无人飞行器加速更快。
此外,物理模型可以计算非飞行参数。在示例中,非飞行参数可以是电池使用率和剩余电池寿命。电池使用可以计算为无人飞行器规格(例如,尺寸、重量、气动截面和/或电机规格)、飞行控制数据和模拟环境中的可变参数的函数。可变参数可以影响无人飞行器的功率需求并因此影响电池使用率。例如,具有强逆风的模拟环境可以比不具有逆风或具有顺风的模拟环境更耗电池。类似地,飞行控制数据可以影响电池使用率。例如,以相对较高速度操作无人飞行器可以比以相对较低速度操作无人飞行器更快地消耗电池。可通过物理模型来计算的非飞行参数的另一示例是无人飞行器上的部件的磨损。物理模型可以计算模拟环境中作用于无人飞行器上的力并且确定一个或多个部件何时因为所述力而经受损坏。
物理模型可以向虚拟传感器提供一个或多个输出。虚拟传感器可被配置成基于来自物理模型模拟数据的一个或多个输出而生成虚拟传感器数据。虚拟传感器输出中的至少一小部分可以模仿无人飞行器在真实环境中的飞行模式操作期间将会由位于所述无人飞行器上的真实传感器生成的数据。虚拟传感器可以生成位置数据。位置数据可以是模拟环境中无人飞行器与障碍物或表面之间的一个或多个距离。在飞行模式操作中,位置数据可由雷达信号、声呐信号或全球定位系统(GPS)信号生成。虚拟传感器还可以生成视觉数据。在飞行模式中,视觉数据可以来自视觉传感器。视觉传感器可以是单目相机、立体视觉相机、雷达、声呐或红外相机。虚拟传感器可以生成描述无人飞行器的移动和/或作用于无人飞行器上的力的数据。在飞行模式中,被配置成用于检测无人飞行器的移动和/或作用于无人飞行器上的力的真实传感器可以是陀螺仪、磁力计和/或加速度计。
可以向处理单元提供传感器数据。处理单元可以位于无人飞行器上。处理单元可被配置成用于解译传感器数据以使用所述传感器数据来确定并生成飞行状态信息。当无人飞行器处于模拟模式或飞行模式中时,处理单元可以分别解译来自虚拟传感器或真实传感器的传感器数据。处理单元可以解译和/或处理来自真实传感器或虚拟传感器的传感器数据以生成飞行状态信息。飞行状态信息可以包括姿态、加速度、速度、陀螺仪信息、压力、无人飞行器的空间布局、位置(例如,GPS数据)数据。处理单元可以向飞行状态控制系统提供飞行状态信息。
模拟移动
根据本发明的各个实施方式,用户可以在虚拟场所中操作可移动物体,诸如借助于可移动物体的移动模拟器来执行模拟移动。
图8是根据本发明各个实施方式的支持模拟飞行的示例性示图。如图8中所示,用户803可以使用无人飞行器804来执行模拟飞行。例如,用户803可以利用用户终端810,所述用户终端可以包括进程801和显示器802。进程801可以由应用程序使用,所述应用程序诸如为运行在iOS或安卓操作系统上的应用程序。
在模拟飞行期间,与无人飞行器804相关联的飞行模拟器(或飞行控制系统)可以接收一个或多个飞行控制信号。例如,飞行模拟器可以位于无人飞行器上或位于显示装置上。另外,针对不同类型的无人飞行器的飞行模拟器可以采用不同的物理模型。
飞行控制信号可以从遥控器传输。遥控器可以由用户实时地操作或者遥控器可以从由用户预编程的处理器接收输入,以响应于启动命令而提供一系列飞行控制信号。飞行控制信号可以是用以执行离散任务或动作的指令。在示例中,离散任务或动作可以是要使速度增加或减少固定量或固定百分比、要在指定方向上转向指定度数或者要使高度增加或减少固定量或固定百分比。在一些情况下,飞行控制信号可以包括针对预定飞行序列的命令。在示例中,预定飞行序列可以是自动驾驶功能(例如,自动起飞、自动降落或自动驾驶飞行一段指定距离)、执行预编程的任务、无人飞行器自动返航至所述无人飞行器飞行的起点、无人飞行器自主悬停和/或无人飞行器保持姿势飞行。预编程的任务可以包括在机载传感器操作或不操作以收集和/或传输来自一个或多个位置的数据的情况下飞行至特定的一个或多个位置。飞行控制系统可以生成针对或关于离散任务或动作或者预定飞行序列的执行的模拟飞行数据。
如图8中所示,用户终端810中的进程801可以从无人飞行器804接收各种类型的信息,诸如模拟无人飞行器状态信息811。模拟无人飞行器状态信息811可以包括相对坐标信息,诸如虚拟空间中以出发点作为原点的无人飞行器804的笛卡儿坐标。
此外,进程801可以获得各种类型的情景信息812,诸如由用户终端810收集和/或接收的位置信息。
除了由无人飞行器804(或其部件)直接或间接提供的数据之外,用户终端810还可被配置成用于从其他来源接收数据,所述其他来源诸如为控制终端、服务器或在线服务、数据存储、卫星或任何其他合适的装置或系统。例如,这样的数据可以包括控制终端的位置信息。这样的数据连同无人飞行器数据可以在经过或不经过进一步处理的情况下一起显示在显示器802上。
进程801可以基于所接收的模拟状态信息811和情景信息812而确定集成的飞行信息813。而且,进程801可以向用户终端810的显示器802提供集成的飞行信息813。
所接收的与模拟飞行有关的状态信息可以包含无人飞行器的相对坐标信息。无人飞行器的坐标信息可以是相对于模拟飞行中无人飞行器的起飞点的位置信息。而且,由用户终端获得的情景信息可以是位置信息,所述位置信息可以包括处于模拟飞行中的无人飞行器的起飞点的经度信息和纬度信息。
另外,进程801可以基于所接收的无人飞行器的坐标信息和用户终端的位置信息来确定处于模拟飞行中的无人飞行器的飞行路径。例如,位置信息可以包括用户终端的经度信息和纬度信息,所述信息用作模拟飞行中无人飞行器的起飞点。而且,进程801可以基于可储存在用户终端中或从远程服务器接收的可用地理信息,诸如预定地形模型,来确定高度信息。继而,处于模拟飞行中的无人飞行器的飞行路径可以显示在用户终端810的显示器802的地图部分上。
例如,显示终端可被配置成基于来自无人飞行器和遥控终端的位置信息而显示无人飞行器和遥控终端的相对位置。又例如,显示器可被配置成基于对无人飞行器的地图数据和位置数据的处理而在地图上显示无人飞行器的实时位置。所述地图可以基于从远程数据服务器、数据存储等接收的地图数据而生成。无人飞行器的实时位置可以从所述无人飞行器、远程服务器、远程传感器系统等接收。
对于处于模拟移动中的可移动物体而言,可移动物体的坐标信息可以是相对于模拟移动中可移动物体的起始点的位置信息。而且,由用户终端获得的情景信息可以是位置信息,其可以包括处于模拟移动中的可移动物体的起始点的经度信息和纬度信息。
另外,进程801可以基于所接收的可移动物体的坐标信息和用户终端的位置信息来确定处于模拟移动中的可移动物体的移动路径。例如,位置信息可以包括用户终端的经度信息和纬度信息,所述信息用作模拟移动中可移动物体的起始点。而且,进程801可以基于可储存在用户终端中或从远程服务器接收的可用地理信息,诸如预定地形模型,来确定高度信息。继而,处于模拟飞行中的可移动物体的移动路径可以显示在用户终端810的显示器802的地图部分上。
例如,显示终端可被配置成基于来自可移动物体和遥控终端的位置信息而显示可移动物体和遥控终端的相对位置。又例如,显示器可被配置成基于对可移动物体的地图数据和位置数据的处理而在地图上显示可移动物体的实时位置。所述地图可以基于从远程数据服务器、数据存储等接收的地图数据而生成。可移动物体的实时位置可以从所述可移动物体、远程服务器、远程传感器系统等接收。
此外,进程801可以基于优先级列表来确定处于模拟飞行中的无人飞行器的位置信息。例如,优先级列表可以包括从无人飞行器、遥控器和用户终端上的应用程序接收的信息。如果从无人飞行器接收的位置信息不可适用或不可使用,则进程801可以基于从遥控器接收的位置信息来确定虚拟空间中的无人飞行器的位置。同样,如果从遥控器接收的位置信息不可靠或不准确,则进程801可以基于从应用程序接收的位置信息来确定虚拟空间中的无人飞行器的位置。否则,例如当系无法接收GPS信号时,进程801可以基于默认位置来确定虚拟空间中的无人飞行器的位置。
模拟飞行数据可以显示在显示装置的视觉显示器802或用户界面上。视觉显示可以是处于模拟环境中的无人飞行器的图像。可以对应于由飞行模拟器或控制器提供的飞行数据而在显示器中实时地清晰显示无人飞行器。所述显示可以是模拟环境在对所述环境的3D渲染下的图像或动画。模拟飞行数据能够以模拟飞行状态信息的形式显示。模拟飞行状态信息可以包括环境中的无人飞行器的位置、距环境中的特征的距离、无人飞行器的速度、无人飞行器的加速度、无人飞行器的定向前进方向以及/或者无人飞行器上的一个或多个系统的健康状况。
在模拟飞行中,用户803可以基于所显示的飞行信息和动画来控制无人飞行器804在虚拟空间中飞行。例如,用户803可以使用遥控器来发送一些控制信号以命令无人飞行器804进行移动。
在于无人飞行器804处接收控制信号之后,飞行模拟器(例如,位于无人飞行器804上的飞行模拟器)可以生成模拟飞行状态信息811。另外,模拟飞行状态信息811可以针对于用户终端810中的进程801,所述进程801可以确定更新的飞行信息813并且提供更新的飞行信息813以供显示。
在一些情况下,无人飞行器804可被配置成用于在模拟飞行中执行自主任务。自主任务可以由用户发起。在由用户发起自主任务之后,无人飞行器在执行所述自主任务的同时可以无需来自用户的附加控制或输入。自主任务可以使无人飞行器进入预定序列。所述预定序列可以包括无需用户输入的一系列动作。在示例中,自主任务可以是自动返航、保持姿势飞行、GPS飞行、自主起飞或自主降落。在本文提供的模拟系统中,用户可以练习命令无人飞行器执行自主任务。可以通过与飞行模式中使用的接口相同的接口,向处于模拟模式中的无人飞行器提供用以执行自主任务的指令。所述接口可以是遥控器。
自动驾驶功能可以是在模拟飞行中自动起飞或降落。自主起飞可以包括打开一个或多个推进单元并且生成足以离开表面的升力。自主起飞可以附加地包括调节无人飞行器的旋转和平移以保持稳定。一旦无人飞行器到达起飞表面上方的指定高度并且实现稳定,所述无人飞行器就可以退出自动驾驶功能并且用户就可以控制所述无人飞行器。类似地,在自动降落期间,无人飞行器可以接近表面,同时保持稳定并且在降落于表面上之后关闭一个或多个推进单元。在保持姿势飞行期间,无人飞行器可以在指定方向上飞行,同时与表面或障碍物保持指定距离。
模拟飞行的显示可以包括显示所接收的信息中的至少一些,所述信息可以是或者可以不是经处理的。在各个实施方式中,所显示的信息通常可以包括或有关于无人飞行器、由无人飞行器携带的有效载荷、由有效载荷和/或无人飞行器捕捉的图像或其他感测数据、远程终端(例如,针对无人飞行器和/或有效载荷的控制终端)、无人飞行器周围的环境以及/或者它们的任何组合。
例如,本文讨论的各种类型的信息可以同时在同一屏幕或同一用户界面上显示,以便给予用户对全部相关信息的全面观察。在示例中,无人飞行器状态信息和有效载荷状态信息可以同时显示在显示终端的同一屏幕上。在另一示例中,无人飞行器状态信息和/或有效载荷状态信息可以和关于远程终端(例如,控制终端)的信息(例如,位置和/或姿态)一起显示,以便提供对物体之间的相对关系的直观图示。又例如,无人飞行器状态信息、有效载荷状态信息和/或远程终端信息可以与由有效载荷捕捉的实时图像和/或其他关于无人飞行器的感测数据同时显示,以便允许用户直观地控制无人飞行器的导航和/或有效载荷的朝向(例如,经由载体的控制)。又例如,可以提供既示出无人飞行器的位置又示出有效载荷的视野(FOV)的地图,从而使得用户能够易于确定可由有效载荷的图像捕捉的地貌的范围。
在一些实施方式中,用于显示本文讨论的各种类型的信息的区域可以重叠或者可以不重叠以提高屏幕效率。重叠区域可被提供为透明的、半透明的或不透明的层。例如,用于显示无人飞行器状态信息和有效载荷状态信息的区域可以重叠以使得一区域可以用于同时显示这两种信息。又例如,无人飞行器和/或有效载荷状态信息可以在叠加于由有效载荷捕捉的图像之上的层中显示。
在一些实施方式中,可以基于用户偏好和/或用户输入来定制显示器。例如,用户可以提供一个或多个限定要显示的信息的内容和/或布局的参数。例如,用户可以指定与要显示的信息有关的量、类型、单位或度量制以及其他相关参数。又例如,用户可以指定用于显示所述信息的用户界面(UI)部件的字体、颜色、大小、形状、位置、格式、布局。在一些实施方式中,用于显示信息的用户界面还可以用于用户提供信息。这样的信息可以用于控制无人飞行器、有效载荷等的方面。
可以实时地或接近实时地实现上述步骤中的至少一些。例如,在模拟飞行中可以在生成关于无人飞行器和/或有效载荷的状态信息、由有效载荷所捕捉的图像、感测数据和/或其他信息时实时地或接近实时地接收这样的信息。同样地,可以在接收信息时实时地或接近实时地处理所接收的信息。显示所接收的信息可以实时地或接近实时地发生。最后,可以实时地或接近实时地更新显示,以便反映接收到了更新的信息。或者,在上述步骤中的一些或全部中可能存在一定的延迟。在各个实施方式中,上述步骤中的一些或全部可以在无人飞行器处于空中或在无人飞行器不处于空中时实现。
此外,为了提供对模拟飞行的实际显示,系统可以利用在真实飞行模式中使用的各种显示特征。
在提交于2014年10月27日、标题为“UAV FLIGHT DISPLAY”的国际申请号PCT/CN2014/089605中公开了显示特征的更多细节,上述申请的内容通过特此引用而全文并入于此。
一般而言,本文讨论的用于实现无人飞行器飞行显示的任何进程的任何步骤均可单独地或共同地由一个、两个、三个、四个或更多个装置或系统来实现。这样的装置或系统可以包括显示终端、遥控终端、服务器、基于云的系统或者任何其他合适的装置或系统。在示例中,上述全部步骤均可通过相同的装置或系统实现。用于无人飞行器飞行显示的数据可以由一个、两个、三个或更多个装置和/或系统接收。无人飞行器飞行显示所需的数据处理可以由一个、两个、三个或更多个装置和/或系统执行,所述装置和/或系统与用于接收数据的装置和/或系统可以重叠或者可以不重叠。最后,无人飞行器飞行数据的显示可以由一个、两个、三个或更多个装置和/或系统执行,所述装置和/或系统与用于接收和/或处理数据的装置和/或系统可以重叠或者可以不重叠。例如,无人飞行器和/或有效载荷的状态信息可以由第一装置接收,所述信息可以由第二装置处理,并且经处理的信息可以由第三装置显示。
用于显示模拟飞行的示例性用户界面(UI)
根据本发明的各个实施方式,与模拟飞行有关的信息能够以直观且高效的方式显示在用户界面中。例如,远程显示终端可以包括显示器,所述显示器与遥控终端分离或成为一体。远程显示终端可以与遥控终端相同或者是其一部分。
图9图示了根据本发明各个实施方式用于在无人飞行器起飞前显示模拟飞行的示例性用户界面(UI)。如图9中所示,UI 900可以包括一个或多个主要显示区域或部分916以及一个或多个辅助显示区域(secondary display aera)或部分901-910。
主要显示区域916可被配置成比任何一个辅助显示部分具有更大的显示面积(例如,更多的像素计数)。在一些实施方式中,主要显示区域和/或辅助显示区域中显示的信息的类型是固定的。
在一些其他实施方式中,主要显示区域和/或辅助显示区域中显示的信息的类型可以动态地交换或切换。例如,主要显示区域916中显示的信息可以与辅助显示区域中显示的信息动态地交换。在各个实施方式中,用户可以经由诸如触摸屏、鼠标、键盘、语音命令等任何合适的输入机构来切换或交换显示。在一些实施方式中,一个主要显示区域中显示的信息可以与另一主要显示区域中显示的信息动态地交换。一个辅助显示区域中显示的信息可以与另一辅助显示区域中显示的信息动态地交换。
如图9中所示,UI 900中的主要显示区域916可以用于显示处于模拟飞行中的无人飞行器911(例如,使用图标、图像或动画来显示)。例如,主要显示区域916中的图形显示可以示出无人飞行器911在停机坪913中的起始点915处的动画。动画的视点可以是任意位置或预先配置的位置(例如,起始点915向南12米并高过2米的一点)。
当处于模拟飞行中的无人飞行器911正在起飞时,飞行模拟器(例如,位于无人飞行器911上的飞行模拟器)可以生成针对处于模拟飞行中的无人飞行器911的模拟坐标信息,例如,以起始点915作为坐标系的原点。对应地,UI 900可以以动画形式显示处于模拟飞行中的无人飞行器911的移动。
而且,UI 900中的主要显示区域916可以用于显示由耦合至无人飞行器的有效载荷捕捉的图像数据,诸如静态照片或视频,而辅助显示区域可被配置成用于显示与无人飞行器有关和/或用于接收用户输入的信息。或者,UI 900中的主要显示区域916可以用于显示针对耦合至无人飞行器的有效载荷而提供的虚构的或预定的图像或视频数据。例如,在第一人称视角(FPV)模式中,系统可以例如基于沿着飞行路径的预定地形模型来显示对应于特定地理位置的虚构的或预定的视野。
在各个实施方式中,有效载荷的FOV和/或视线与无人飞行器正在前进的方向可以对准或者可以不对准。例如,有效载荷的FOV和/或视线可以与无人飞行器沿着偏航轴线、俯仰轴线和/或横滚轴线的前进方向成一角度。所述角度可以大于0度、30度、60度、90度、120度、150度、180度、210度、240度、300度等。
在一些实施方式中,UI 900可以提供一个或多个控制部分907和908,用于在模拟飞行中控制无人飞行器和相关联的有效载荷。例如,可以允许用户经由诸如触摸屏、鼠标、键盘、操纵杆、触控笔、可穿戴式装置、视觉命令或音频命令等一个或多个输入机构与UI900中的一些或全部区域进行交互。经由UI 900而提供的用户输入可以用于控制显示器和/或显示终端、无人飞行器、有效载荷、远程终端、传感器等的方面。
UI 900还可以包括一个或多个控制部分907和908,每个控制部分包括用于选择、启用、停用、修改或以其他方式控制无人飞行器和/或其组件的一个或多个模式、操作或例程的控件。在一些实施方式中,基于对控件的选择而生成的控制数据可以直接地或间接地向无人飞行器传输,以便控制无人飞行器和/或有效载荷的一个或多个方面。所述控件中的至少一些可以由图形图标表示,所述图形图标图示出与控制相关联的模式或操作。可以设计图形图标以促进在无需借助任何文字描述的情况下直观地理解控件的功能。另外,这样的“单触式”或“单击式”控制界面可以简化用户提供诸如选择、启用、停用或以其他方式控制无人飞行器和/或有效载荷的方面的控制的过程。例如,用户可以使用这样的“单触式”或“单击式”控件来启用预定例程和/或自主例程,诸如自动返航、自主起飞、自主降落、悬停等。
在一些实施方式中,UI 900可以用于允许用户遥控无人飞行器上的有效载荷,诸如在模拟飞行中当无人飞行器处于空中时。例如,控制部分907可以包括一个或多个用于选择诸如图像捕捉装置等有效载荷的模式的控件。控制部分907还可以包括多个有效载荷配置控件,用于设置有效载荷(例如,图像捕捉装置,诸如相机)的各种配置或操作参数。
在一些实施方式中,本文描述的UI 900可以由用户使用以控制可由无人飞行器、有效载荷或其部件执行的一个或多个自主任务的方面。自主任务可以由用户发起。在由用户发起自主任务之后,无人飞行器在执行自主任务时可以无需来自用户的附加控制或输入。自主任务可以使无人飞行器进入预定序列。所述预定序列可以包括无需用户输入的一系列动作。
控制部分908可以包括用于控制无人飞行器和/或有效载荷的其他方面的一个或多个控件。例如,可以使用起飞/降落控件来启用或停用无人飞行器的自主起飞和/或降落例程的执行。当起始时,自主起飞和/或降落例程可以使无人飞行器参与一系列预定动作(例如,涉及其推进系统、传感器、飞行控制系统等)以便在没有任何人为干预或者在人为干预最少的情况下起飞和/或降落。可以使用载体模式控件来指定用于控制载体的模式。载体将有效载荷耦合至无人飞行器并且可以允许有效载荷相对于无人飞行器移动。载体模式可以选自多个模式,包括头部跟随模式、第一人称视角(FPV)模式、自由控制模式、一键返航模式、手势控制模式、微调横滚控制模式等。
控制部分908还可以包括自动返航控件,所述自动返航控件允许用户例如利用单击或选择自动返航控件来启用和/或停用自动返航例程。当起始时,自动返航例程可以使无人飞行器参与一系列预定动作(例如,涉及其推进系统、传感器、飞行控制系统等)以便在没有任何人为干预或人为干预最少的情况下自主返航至预定归航点。归航点可以是无人飞行器的起飞点或任何具有已知(或预定)位置的任意点。归航点可以由用户指定或默认提供。在一些实施方式中,自动返航例程的归航点可以经由归航设置控件来设置。归航设置控件可以为用户提供选项以设置归航点。
此外,UI 900可以包括允许用户停止和重启模拟飞行的复位或重启按钮914。模拟飞行可以从开始重启,例如在无人飞行器起飞之前重启。而且,可以重启模拟飞行的一部分,即,可以沿着飞行路径从航路点重启所述模拟飞行。例如,用户可以利用复位或重启按钮914来重复练习模拟飞行的一部分。或者,UI 900可以迫使用户复位或重启模拟飞行,例如当训练新手驾驶员时。
UI 900还可以包括一个或多个信息显示部分901-902。显示部分901-902可被配置成用于显示处于模拟飞行中的无人飞行器的各种状态信息,诸如与电源、通信、数据存储容量、导航状态、传感器状态等有关的信息。
显示部分902可以包括针对与无人飞行器的各个通信信道的一个或多个状态指示器。例如,上行链路或控制信道(用于传输来自遥控器的遥控信号的通信信道或链路)的状态可以由控制器图标连同柱状图、数字(例如,从0至100)或者任何针对控制信道的状态或条件的其他合适的指示器一起表示。下行链路或数据信道(用于传输来自无人飞行器的诸如图像数据等数据的通信信道或链路)的状态可以由数据传输图标连同柱状图、数字(例如,从0至100)或者任何针对数据信道的状态和/或条件的其他合适的指示器一起表示。控制信道和数据信道的状态或条件可以指示出通信信道的信号强度、噪声、干扰、信噪比(SNR)、比特误码率、衰落率和其他特性。
显示部分902还可以包括针对无人飞行器或其部件的电源的一个或多个指示器。这样的指示器可以包括电池图标以及剩余电池电量的数字指示器。附加地或备选地,电源指示器还可以包括滚动条指示器。滚动条可以包括多个段,每个段指示出与电池电量有关的对应状态。在一个实施方式中,滚动条的每个段对应于电池电量的特定百分比范围。在一些实施方式中,多个段可以诸如通过颜色、图案、位置或其任何组合而可在视觉上彼此区别开来。滚动条上的滚动指针的位置可以对应于当前可用电池电量的水平。有利地,多段滚动条允许用户容易且直观地识别出电池电量的大致水平(例如,电池电量水平很低、较低、中等还是较高)而不必知道确切的百分比。
滚动条不仅可以表示电池电量的百分比,还能够以精确且实时的方式提供“更智能的”或更有用的电池电量表示——无人飞行器到达特定目的地或距离的能力,以使得用户不必自己进行计算或估计——这可能较慢和/或不准确。这样的电池指示器允许用户更快地作出决定,这转而确保无人飞行器的飞行安全性更好。
电源指示器还可以包括时间指示器,所述时间指示器示出模拟飞行中的大致飞行时间。飞行时间可以表示在模拟飞行中使用剩余电池电量进行飞行的时间。飞行时间可以表示在无人飞行器需要开始返航至特定目的地(例如,归航点)以确保可以安全到达所述目的地之前的时间量。飞行时间还可以表示在无人飞行器需要降落以确保安全之前的时间量。飞行时间还可以表示在起始自动化例程(例如,自动降落或自动返航)之前的时间量。有利地,时间指示器提供基于电池状态而得到的重要的飞行状态信息(例如,剩余飞行时间),以便使得用户能够采取快速动作。
显示部分902还可以包括设置控件,所述设置控件可由用户使用来提供并配置一般设置。选择设置控件可以引起显示附加控件,所述附加控件用于控制附加的方面或用于显示附加的信息。例如,附加控件可以用于重新格式化存储介质(例如,SD卡)、恢复默认设置、显示与无人飞行器、有效载荷、远程终端等相关联的版本信息等。
显示部分901可以包括GPS指示器,所述GPS指示器包括卫星图标和指示出GPS信号强度的柱状图。GPS指示器在视野中可以备选地或附加地包括一定数目(例如,12)的卫星。
显示部分901还可以包括导航模式指示器。例如,导航模式指示器可以用于指示出导航是基于GPS、视觉还是全部两者。在各个实施方式中,除了基于GPS和视觉之外,导航还可以基于感测系统来执行,所述感测系统诸如为惯性测量单元(IMU)、距离传感器(例如,激光雷达、红外线、超声波)等。可以基于任何合适的感测系统或其任何组合来选择导航模式。导航模式可以由运行在无人飞行器上的进程(例如,由飞行控制模块)自动确定、由远程用户经由遥控终端而远程选择,或它们的组合。可以基于无人飞行器的环境而动态地改变用户与无人飞行器之间的控制分配。例如,当无人飞行器位于相对简单的环境内(例如,在户外和/或开放空间中)时,可以需要较多的无人飞行器自主性和较少的用户干预。相反地,当无人飞行器位于相对复杂的环境内(例如,在室内和/或封闭空间中)时,可以需要较多的无人飞行器自主性和较少的用户干预。
在一些实施方式中,导航模式指示器的选择可以引起显示附加控件,用于配置与导航模式相关联的各种参数。这样的附加控件可以用于设置最大高度、最小高度、最大距离等。
显示部分901还可以包括智能朝向控制(IOC)指示器,用于控制无人飞行器的前进方向。显示部分901还可以包括一个或多个存储指示器,指示出有效载荷和/或无人飞行器的当前数据存储容量。显示部分901还可以包括后退控件,所述后退控件可以用于退出当前用户界面并返回至先前菜单控件/项目的界面,类似于浏览器后退按钮的功能性。
UI 900可以包括飞行显示部分,诸如图标显示部分903(或姿态球)和飞行参数显示部分906。飞行显示部分可以用于显示与无人飞行器有关的位置、姿态、速度和其他飞行信息。具体而言,飞行显示部分可被配置成用于同时显示无人飞行器状态信息和有效载荷状态信息。
而且,UI 900可以包括地图部分904,所述地图部分904可以用于在地图(例如,卫星地图)上显示无人飞行器的当前位置和/或朝向。所述地图还可被配置成用于指示遥控终端的当前位置和/或朝向、归航点、无人飞行器的飞行路径等。此外,地图可被配置成用于指示无人飞行器上的图像传感器的朝向和/或FOV的角度。在一些实施方式中,地图部分904能够以画中画的方式显示为图像部分916的插图。在其他实施方式中,地图部分904可以不与图像部分916重叠。
此外,UI 900可以包括其他信息部分,诸如风指示器905、有效载荷俯仰指示器910和各种有效载荷配置控件909。风指示器905可以显示场(即虚拟空间)中风的模拟速度和方向。有效载荷俯仰指示器910可以包括垂直滚动条,其向上和向下的移动可以对应于有效载荷围绕俯仰轴线的向上和向下的移动。
有效载荷配置控件909可以包括胶片速度控件、快门速度控件和曝光补偿控件。例如,胶片速度控件可以用于显示图像捕捉装置的当前胶片速度以及/或者选择或指定新的胶片速度(例如,ISO 200、ISO 400、ISO 600、ISO 800、ISO 1000)。快门速度控件可以用于显示图像捕捉装置的当前快门速度以及/或者选择或指定新的快门速度(例如,1/16000s、1/8000s、1/4000s、1/2000s、1/10000s、1/500s、1/250s、1/125s、1/60s、1/30s、1/15s、1/8s、1/4s、1/2s)。曝光补偿控件可以用于显示和/或调节与图像捕捉装置相关联的曝光。
在一些实施方式中,可以提供飞行状态指示器912以指示出无人飞行器的模拟飞行状态。可以基于诸如电源、推进单元、存储器、软件和/或硬件部件等无人飞行器部件的当前状态来确定模拟飞行状态。飞行状态指示器912可被配置成用于显示不同的颜色、图案、纹理、文本或其任何组合来表示不同的飞行状态。例如,绿色可以用于指示安全飞行状态。其他颜色,诸如黄色和红色,可以用于指示较危险的飞行状态。备选地或附加地,可以由飞行状态指示器912对应于不同的飞行状态来显示不同的文本内容。例如,可以显示“安全的飞行”或类似的文本以指示安全的飞行。可以显示“危险的飞行”或其他警告消息以指示较危险的飞行。在各个实施方式中,飞行状态指示器912可以安置在显示部分901与显示部分902之间或者安置在UI上的任何其他各处上。可以始终显示飞行状态指示器912,或者仅响应于某些预定条件、事件、用户动作等而显示飞行状态指示器912。例如,在一些实施方式中,可以仅当无人飞行器靠近或处于危险飞行状态时才显示飞行状态指示器912。又例如,可以仅当用户选择或以其他方式启用UI控件时才显示飞行状态指示器912。
在各个实施方式中,可以显示更多的、更少的或不同的控件,所述控件可以不同于所图示的UI 900。例如,UI可被配置成用于仅示出图像显示部分而不示出任何信息显示部分;或者反之亦然。在其他实施方式中,各个部分中显示的信息可以在不同的部分中混合和匹配。UI中显示的信息可以通过图形图标或指示器或者以文本或数字格式表示。此外,所显示的信息可以自动地或响应于用户输入进行动态改变。不同的信息部分可以动态地隐藏/收起或示出/展开。在一些实施方式中,显示在一个部分中的数据可以动态地切换成显示在另一部分中。例如,在实施方式中,地图部分904和图像部分901可以交换以使得图像部分以画中画的方式显示为地图部分的插图。在一些实施方式中,UI的部分的布局可以动态地改变成不同于图9中示出的布局。例如,能够以平铺的方式或者以一个或多个平行面板示出所述部分。
图10图示了根据本发明各个实施方式用于在无人飞行器起飞之后显示模拟飞行的示例性用户界面(UI)。如图10中所示,UI 1000可以包括一个或多个主要显示区域或部分1016以及一个或多个辅助显示区域或部分1001-1010。主要显示区域1016可被配置成比任何一个辅助显示部分具有更大的显示面积(例如,更多的像素计数)。在一些实施方式中,主要显示区域和/或辅助显示区域中显示的信息的类型是固定的。
在一些其他实施方式中,主要显示区域和/或辅助显示区域中显示的信息的类型可以动态地交换或切换。例如,主要显示区域1016中显示的信息可以与辅助显示区域中显示的信息动态地交换。在各个实施方式中,用户可以经由诸如触摸屏、鼠标、键盘、语音命令等任何合适的输入机构来切换或交换显示。在一些实施方式中,一个主要显示区域中显示的信息可以与另一主要显示区域中显示的信息动态地交换。一个辅助显示区域中显示的信息可以与另一辅助显示区域中显示的信息动态地交换。
如图10中所示,UI 1000中的主要显示区域1016可以用于显示处于模拟飞行中的无人飞行器1011。例如,主要显示区域1016中的图形显示可以示出无人飞行器1011已从停机坪1013中的起始点1015起飞的动画。当处于模拟飞行中的无人飞行器1011正在起飞时,飞行模拟器(例如,位于无人飞行器1011上的飞行模拟器)可以生成针对处于模拟飞行中的无人飞行器1011的模拟坐标信息,例如,以起始点1015作为坐标系的原点。对应地,UI 1000可以以动画形式显示处于模拟飞行中的无人飞行器1011的移动。
或者,UI 1000中的主要显示区域1016可以用于显示由耦合至无人飞行器的有效载荷捕捉的图像数据,诸如静态照片或视频,而辅助显示区域可被配置成用于显示与无人飞行器有关和/或用于接收用户输入的信息。
在各个实施方式中,有效载荷的FOV和/或视线与无人飞行器正在前进的方向可以对准或者可以不对准。例如,有效载荷的FOV和/或视线可以与无人飞行器沿着航向轴线、俯仰轴线和/或横滚轴线的前进方向成一角度。所述角度可以大于0度、30度、60度、90度、120度、150度、180度、210度、240度、300度等。
在一些实施方式中,UI 1000可以提供一个或多个控制部分1007和1008,用于在模拟飞行中控制无人飞行器和相关联的有效载荷。例如,可以允许用户经由诸如触摸屏、鼠标、键盘、操纵杆、触控笔、可穿戴式装置、视觉命令或音频命令等一个或多个输入机构与UI1000的一些或全部区域进行交互。经由UI 1000而提供的用户输入可以用于控制显示器和/或显示终端、无人飞行器、有效载荷、远程终端、传感器等的方面。
UI 1000还可以包括一个或多个控制部分1007和1008,每个控制部分包括用于选择、启用、停用、修改或以其他方式控制无人飞行器和/或其部件的一个或多个模式、操作或例程的控件。在一些实施方式中,基于对控件的选择而生成的控制数据可以直接地或间接地向无人飞行器传输,以便控制无人飞行器和/或有效载荷的一个或多个方面。所述控件中的至少一些可以由图形图标表示,所述图形图标图示出与控件相关联的模式或操作。可以设计图形图标以促进在无需借助任何文字描述的情况下直观地理解控件的功能。另外,这样的“单触式”或“单击式”控制界面可以简化用户提供诸如用于选择、启用、停用或以其他方式控制无人飞行器和/或有效载荷的方面的控制的过程。例如,用户可以使用这样的“单触式”或“单击式”控件来启用预定例程和/或自主例程,诸如自动返航、自主起飞、自主降落、悬停等。
此外,UI 1000可以包括允许用户停止和重启模拟飞行的复位或重启按钮1014。模拟飞行可以从开始重启,即在无人飞行器起飞之前重启。而且,可以重启模拟飞行的一部分,即,可以从沿着飞行路径从航路点重启所述模拟飞行。例如,用户可以利用复位或重启按钮1014来重复练习模拟飞行的一部分。或者,UI 1000可以迫使用户复位或重启模拟飞行,例如当训练新手驾驶员时。
UI 1000还可以包括一个或多个信息显示部分1001-1002。显示部分1001-1002可被配置成用于显示处于模拟飞行中的无人飞行器的各种状态信息,诸如与电源、通信、数据存储容量、导航状态、传感器状态等有关的信息。
UI 1000可以包括飞行显示部分,诸如图标显示部分1003(或姿态球)和飞行参数显示部分1006。飞行显示部分可以用于显示与无人飞行器有关的位置、姿态、速度和其他飞行信息。具体而言,飞行显示部分可被配置成用于同时显示无人飞行器的状态信息和有效载荷状态信息。
而且,UI 1000可以包括地图部分1004,所述地图部分1004可以用于在地图(例如,卫星地图)上显示无人飞行器的当前位置和/或朝向。所述地图还可被配置成用于指示遥控终端的当前位置和/或朝向、归航点、无人飞行器的飞行路径等。此外,地图可被配置成用于指示无人飞行器上的图像传感器的朝向和/或FOV的角度。在一些实施方式中,地图部分1004能够以画中画的方式显示为图像部分1016的插图。在其他实施方式中,地图部分904可以不与图像部分1016重叠。
此外,UI 1000可以包括其他信息部分,诸如风指示器1005、有效载荷俯仰指示器1010和各种有效载荷配置控件1009。风指示器1005可以显示场(即虚拟空间)中风的模拟速度和方向。有效载荷俯仰指示器910可以包括垂直滚动条,其向上和向下的移动可以对应于有效载荷围绕俯仰轴线的向上和向下的移动。有效载荷配置控件1009可以包括胶片速度控件、快门速度控件和曝光补偿控件。
在一些实施方式中,可以提供飞行状态指示器1012以指示出无人飞行器的模拟飞行状态。可以基于诸如电源、推进单元、存储器、软件和/或硬件部件等无人飞行器部件的当前状态来确定模拟飞行状态。飞行状态指示器1012可被配置成用于显示不同的颜色、图案、纹理、文本或其任何组合来表示不同的飞行状态。
图11图示了根据本发明各个实施方式针对模拟飞行的示例性飞行显示部分。如图11中所示,飞行显示部分1100可以用于显示模拟飞行中与无人飞行器以及/或者一个或多个有效载荷有关的位置、姿态、速度和其他飞行信息。所述飞行信息可以显示在飞行显示部分1100内的一个或多个显示区域或部分内。
飞行显示部分1100可以包括图标显示部分1102(或姿态球)和飞行参数显示部分1104。图标显示部分1102可以用于至少部分地显示无人飞行器的状态信息、有效载荷的状态信息、远程终端的状态信息或其任何组合。例如,飞行显示部分1102可被配置成用于同时显示处于模拟飞行中的无人飞行器状态信息和有效载荷状态信息。飞行显示部分1102可被配置成用于同时显示处于模拟飞行中的无人飞行器状态信息和远程终端状态信息。飞行显示部分1102可被配置成用于同时显示处于模拟飞行中的无人飞行器状态信息、有效载荷状态信息和远程终端状态信息。
图标显示部分1102可以包括以类似于自上而下雷达图的方式基本上呈圆形的区域1103。图标显示部分1102可以用于图示处于模拟飞行中的无人飞行器和远程终端(例如,遥控终端和/或远程显示终端)的相对定位和方位。无人飞行器可以由无人飞行器图标1110表示,而远程终端可以由远程终端图标1128表示。
在一些实施方式中,远程终端图标1128显示在基本上呈圆形的区域1103的中心处。基本上呈圆形的区域1103的比例尺可以通过从中心辐射的一个或多个同心距离圈表示。距离圈的半径可以根据预定比率或比例尺而对应于距中心的实际距离,诸如100米、200米、300米(或10英里、20英里、30英里)等。在一些实施方式中,可以动态地调节基本上呈圆形的区域1103的比例尺以使远程终端和无人飞行器适于处在所述基本上呈圆形的区域1103中。例如,当无人飞行器与远程终端之间的距离增加时,距离圈的数目可以增加;备选地和/或附加地,半径可以按比例放大以表示更长的距离。当无人飞行器与远程终端之间的距离减少时,情况可以相反。
远程终端的朝向可以由远程终端朝向指示器1106指示。远程终端朝向指示器1106可以位于基本上呈圆形的区域的外围上并且在远程终端例如围绕偏航轴线转向时进行对应地移动。在示例中,朝向指示器1106的方向可以对应于操作远程终端的用户正面对的方向。在一些实施方式中,远程终端的朝向可以由与远程终端相关联的磁力计和/或GPS传感器所测量。
在一些实施方式中,无人飞行器的朝向可以由无人飞行器图标1110的朝向所指示,诸如由如无人飞行器图标1110所示的无人飞行器机头指向的方向所指示。无人飞行器的朝向可以包括无人飞行器围绕偏航轴线的朝向。无人飞行器指示器1110可以与视野(FOV)指示器1108相关联。无人飞行器的FOV可以对应于由无人飞行器携带的有效载荷的FOV或者无人飞行器上的任何视觉或图像传感器的FOV。FOV指示器1108可以示出为从无人飞行器投射的基本上呈圆锥的形状。FOV的相对偏航角(例如,圆锥的中线与无人飞行器的前进方向之间的角度)可以对应于有效载荷或视觉传感器的相对于无人飞行器的偏航角的偏航角。默认情况下,FOV的相对偏航角可以与无人飞行器的前进方向相同,且因此为零。在一些情况下,有效载荷的载体可以使相对偏航角在有效载荷的指向方向与无人飞行器的前进方向之间。
在一些实施方式中,圆锥形的角度(例如,限定圆锥的两条直线之间的角度)可以对应于有效载荷的实际FOV。或者,圆锥形的角度可以是任意角度,其不必对应于有效载荷的实际FOV。在一些实施方式中,载体和/或有效载荷的偏航/横滚旋转的角度可以由图标显示部分1102中的偏航/横滚角度指示器以数字格式显示。
基本上呈圆形的区域1103还可以充当无人飞行器姿态显示器,其图示无人飞行器的朝向,例如,围绕俯仰轴线和/或横滚轴线的朝向。例如,有效载荷横滚/俯仰指示器1126可以包括在基本上呈圆形的区域1103的外围上的两个点之间延伸的线。线1126的倾斜可以用于指示出无人飞行器的横滚朝向。例如,平行于地平线1127的水平线或横线1126可以指示无人飞行器的零横滚旋转。线1126相对于地平线1127的逆时针倾斜(即,线的最左点低于线的最右端)可以指示出无人飞行器的对应的逆时针横滚(从无人飞行器的视角)。同样地,线1126相对于地平线1127的顺时针倾斜(即,线的最左端高于线的最右端)可以指示出无人飞行器的对应的顺时针横滚(从无人飞行器的视角)。
附加地或备选地,线1126相对于水平线1127的上升和下降可以用于指示出无人飞行器的俯仰朝向。例如,穿过基本上呈圆形的区域的中心的横线可以指示出无人飞行器相对于地平线1127的零俯仰旋转。线1126朝基本上呈圆形的区域1103的顶部的上升可以指示出围绕俯仰轴线的向上倾斜。线1126朝基本上呈圆形的区域1103的底部的下降可以指示出围绕俯仰轴线的向下倾斜。
在一些实施方式中,可以允许有效载荷相对于所述无人飞行器围绕一个、两个或三个轴线旋转移动。所述轴线可以包括俯仰轴线、横滚轴线、偏航轴线或其任何组合。因此,在一些备选实施方式中,基本上呈圆形的区域1103还可以充当有效载荷姿态显示器,其图示载体和/或有效载荷的朝向,例如,围绕俯仰轴线和/或横滚轴线的朝向。例如,有效载荷横滚/俯仰指示器1126可以包括在基本上呈圆形的区域1103的外围上的两个点之间延伸的线。线1126的倾斜可以用于指示有效载荷和/或载体的横滚朝向。例如,水平线或横线1126可以指示有效载荷相对于无人飞行器的零横滚朝向。线1126的逆时针倾斜(即,线的最左点低于线的最右端)可以指示出有效载荷相对于无人飞行器的对应的顺时针横滚。同样地,线1126的顺时针倾斜(即,线的最左端高于线的最右端)可以指示出有效载荷相对于无人飞行器的对应的逆时针横滚。
附加地或备选地,线1126的上升和下降可以用于指示出有效载荷和/或载体的俯仰朝向。例如,穿过基本上呈圆形的区域的中心的横线可以指示出有效载荷相对于无人飞行器的零俯仰旋转。线1126朝基本上呈圆形的区域603的顶部的上升可以指示出围绕俯仰轴线的向上倾斜。线1126朝基本上呈圆形的区域603的底部的下降可以指示出围绕俯仰轴线的向下倾斜。
在一些实施方式中,无人飞行器的偏航朝向可以由无人飞行器图标1110的朝向所图示。无人飞行器的俯仰和横滚朝向可以由基本上呈圆形的区域1103中的水平指示器1126所图示。有效载荷的偏航和横滚朝向可以分别由FOV指示器1108和横滚角度指示器1124所图示。
在一些实施方式中,有效载荷的俯仰朝向(或其视线)可以由包括垂直滚动条的有效载荷俯仰指示器1122所图示。俯仰指示器可以安置在图标显示部分1102中(或者,有效载荷俯仰指示器1122可以显示在UI中的主要显示部分中以易于控制)。滚动条的向上和向下移动可以对应于有效载荷围绕俯仰轴线的向上和向下移动。在一些实施方式中,俯仰指示器1122可以可选地包括方向指示器,所述方向指示器示出有效载荷的俯仰移动的方向。在一些实施方式中,始终显示俯仰指示器1122。在一些其他实施方式中,默认情况下不显示俯仰指示器1122,而仅在有效载荷的俯仰朝向与无人飞行器的俯仰朝向之间存在非零角度时才显示俯仰指示器1122。方向指示器可以包括上控件和/或下控件,所述上控件和/或下控件可在俯仰角达到或超过某一预定范围时被启用(例如,经由颜色、形状或其他特性的改变)。
在一些实施方式中,上文描述的朝向指示器被配置成用于仅显示信息。需要附加的控件来控制或以其他方式改变朝向(例如,俯仰/偏航/横滚)。在一些其他实施方式中,上文描述的朝向指示器被配置成用于既显示信息又接收用户输入以控制无人飞行器和/或有效载荷的各自朝向。
飞行参数显示部分1104可以用于显示无人飞行器的飞行参数,诸如距离和速度。可以相邻于图标显示部分1102或与之分离地显示飞行参数显示部分1104。如图所示,飞行参数显示部分1104可以包括垂直距离指示器1112和水平距离指示器1114,所述指示器分别用于示出无人飞行器与预定参考点之间的垂直距离和水平距离,所述预定参考点诸如为归航点、遥控终端和/或远程显示终端或者任何其他参考点或位置。
飞行参数显示部分1104可以包括垂直速度指示器1118和水平速度指示器1120,所述指示器分别用于示出模拟飞行中的无人飞行器相对于预定参考系(例如,相对于地面、风、遥控器或其他物体)的垂直速度和水平速度。例如,所显示的速度可以包括模拟飞行中的垂直速度、地速或空速。此外,垂直速度指示器1118还可以包括方向指示器1119,所述方向指示器1119指示出无人飞行器的垂直移动的方向。例如,方向指示器1119可以包括向上箭头和向下箭头。当无人飞行器向上移动时,可以高亮显示向上箭头或以其他方式将其显示为活动的。同样地,当无人飞行器向下移动时可以高亮显示向下箭头或以其他方式将其显示为活动的。
方向参数显示部分1104还可以包括距离指示器1116,其用于指示出无人飞行器到参考物体的距离。参考物体可以包括在无人飞行器周围的物体,诸如在无人飞行器飞行路径上或附近的物体。例如,距离指示器1116可以用于指示出距无人飞行器周围的障碍物的距离。所述距离可以从无人飞行器到物体表面来测量,所述物体表面诸如为建筑物、地面、树木等的任何表面。障碍物可以位于或者可以不位于距无人飞行器的预定范围内。所述预定范围可以通过用于检测障碍物的距离传感器的最大检测范围和/或最小检测范围来确定。距离传感器的示例可以包括激光雷达传感器、超声传感器、红外传感器、视觉传感器等。在一些实施方式中,参考点还可以包括遥控终端和/或显示终端的位置、无人飞行器返航的归航点或者其他任何航路点。在一些实施方式中,距离传感器1116可以包括距离图标以及从无人飞行器到参考点的距离的数字表示。在一些实施方式中,可以提供不止一个距离指示器来指示距不止一个参考点的距离。
在一些实施方式中,如果无人飞行器与参考点之间的距离在预定范围之外,则可以提供警告。例如,如果无人飞行器处于距物体的预定最小距离内,则可以给予警告,从而指示出即将与物体碰撞。因此,警告和距离指示器1116可以允许操作无人飞行器的用户以及时的方式避开这样的障碍物。又例如,如果无人飞行器距物体比预定距离更远,则可以给予警告。物体可以包括用户意在跟踪的目标物体。物体可以包括具有有限控制范围的遥控器。因此,警告和距离指示器1116可以允许用户操作无人飞行器返回至更靠近所述物体之处,例如,以防止失去对无人飞行器的控制。
在各个实施方式中,警告可以包括视觉信号、音频信号、触觉反馈或其任何组合。警告信号可以经由远程显示终端、遥控终端、无人飞行器或一些其他装置来提供。例如,可以由红色或闪烁的距离指示器616或显示终端上的一些其他视觉指示器来视觉地表示视觉警告。附加地或备选地,可以提供音频警告,其可以包括哔哔声、警报声、一段音乐、人声或其任何组合。附加地或备选地,可以提供触觉反馈,其可以包括震动、施力或者可由操作远程显示终端和/或遥控终端的用户感觉到的移动。例如,触觉反馈可以由远程显示终端和/或遥控终端的震动来表示。
在一些实施方式中,飞行显示部分1100中显示的至少一些图标或控件可以是可由用户选择的。对这样的可选择控件的选择可以引起附加于或替代于当前所显示的信息而显示进一步信息。例如,对控件1130的选择可以引起显示附加控件,用于控制与有效载荷相关的设置,诸如用于控制胶片速度、快门速度、曝光补偿等。又例如,对无人飞行器图标1110的选择可以引起显示对无人飞行器相对于远程终端(例如,遥控终端和/或远程显示终端)的空间布局的三维描绘。所述描绘可以包括由远程终端所感知的无人飞行器围绕俯仰轴线、偏航轴线和横滚轴线的朝向,或者根据一些其他参考点的无人飞行器围绕俯仰轴线、偏航轴线和横滚轴线的朝向。
在一些实施方式中,飞行显示部分1100的至少一些方面可以由用户定制。例如,用户可以经由用户界面来改变与显示部分1102相关联的视角或参考系。图标显示部分可被配置成仅示出由远程终端所感知的无人飞行器的相对空间布局,而不是同时示出处于模拟飞行中的远程终端和无人飞行器的自上而下视图。又例如,用户可以改变飞行参数显示部分1104中所示的值(诸如模拟飞行中的速度和距离)的单位和/或精度。
图12图示了根据本发明各个实施方式的示例性地图部分。地图部分1200可以用于显示处于模拟飞行中的无人飞行器的当前位置、远程终端(例如,遥控终端和/或远程显示终端)和/或参考点,诸如归航点。地图部分1200还可以用于显示无人飞行器的FOV和/或无人飞行器的飞行路径1205。
地图部分1200可以包括定位于地图1201上的无人飞行器图标1202、远程终端指示器和参考点指示器1203。由参考点指示器1203所指示的参考点可以包括归航点或一些其他合适的点。地图1201可以包括一区域的地理特征,诸如陆地、水体、森林、道路、建筑物等。地图1201可以基于卫星图像、GPS数据、地质勘测等而生成。在一些实施方式中,用于生成地图1201的数据可以从本地或远程数据存储、服务器、基于云的服务、卫星等获得。地图可以根据某种预定比率或比例尺而对应于实际地理区域。地图1201上的无人飞行器图标1202、远程终端指示器和参考点指示器1203的位置可以根据地图的比例尺而成比例地对应于其在地理区域中的相应位置。在一些实施方式中,可以缩放地图,以便显示全部无人飞行器、远程终端、参考点或任何其他感兴趣的物体。在其他实施方式中,地图仅显示上述感兴趣物体的子集。
无人飞行器图标1202可以用于在模拟飞行中指示出无人飞行器在地图上的位置和/或无人飞行器的朝向。无人飞行器的朝向可以由无人飞行器图标1202所示的无人飞行器机头的指向方向所指示。所显示的无人飞行器的朝向可以对应于无人飞行器的前进方向或偏航朝向。可以提供视野(FOV)指示器1204来指示无人飞行器的视野(FOV)。无人飞行器的FOV可以对应于由无人飞行器所携带的有效载荷的FOV或者位于无人飞行器上的任何视觉或图像传感器的FOV。FOV指示器1204可被示出为从无人飞行器投射的基本上呈圆锥的形状。圆锥的指向方向可以对应于有效载荷或任何其他合适的视觉传感器的偏航角或朝向。有效载荷或任何其他视觉传感器的偏航角可以与无人飞行器相同。在一些实施方式中,将有效载荷耦合至无人飞行器的载体可以允许有效载荷相对于无人飞行器围绕偏航轴线旋转移动。在这样的情况下,有效载荷的偏航朝向可以不同于无人飞行器的偏航朝向。在一些实施方式中,圆锥形的角度可以对应于有效载荷的实际FOV。或者,圆锥形的角度可以是任意角度,其不必对应于有效载荷的实际FOV。有利地,FOV指示器1204允许用户查看投射到地图上的无人飞行器的FOV的方向和/或角度范围,从而易于理解可由有效载荷或视觉传感器捕捉的地貌的大致范围。
远程终端指示器的朝向可以用朝向指示器示出。朝向指示器也可以基本上呈圆锥形。圆锥形的投射方向可以对应于操作远程终端的用户正面对的方向。由朝向指示器指示的方向可以对应于远程终端的朝向的改变而改变。
地图部分1200还可以包括飞行路径指示器1205。飞行路径指示器1205可以表示无人飞行器的模拟飞行路径。在一些实施方式中,可以从无人飞行器接收生成飞行路径所需的数据。所述数据可以包括沿着飞行路径的一系列航路点的位置信息(例如,模拟的GPS坐标)。或者,所接收的数据可以是相对位置信息(例如,以预定位置为原点)。继而,所述相对位置信息可以与用户终端处的位置信息相结合以得出所显示的模拟飞行路径。在一些实施方式中,用户可以通过指定开始位置/时间、结束位置/时间、飞行路径的持续时间以及其他参数来定制所显示的飞行路径。
在一些实施方式中,系统可以基于所接收的无人飞行器的坐标信息和用户终端的位置信息来确定处于模拟飞行中的无人飞行器的飞行路径。例如,位置信息可以包括用户终端的经度信息和纬度信息,所述信息用作模拟飞行中的无人飞行器的起飞点。而且,系统可以基于可储存在用户终端中或从远程服务器接收的可用地理信息来确定高度信息。继而,处于模拟飞行中的无人飞行器的飞行路径可以显示在地图部分1200上。
而且,地图部分1200还可以包括返航路径指示器1206。当在模拟飞行中执行自动返航任务时,无人飞行器可以在虚拟空间中使用返航路径。此外,用户可以与返航路径指示器1206进行交互,用于配置模拟飞行中的返航路径,诸如在地图中的选定位置处降落。
地图部分1200还可以包括擦除器控件1209。擦除器控件1209可以用于移除由飞行路径指示器1205显示的飞行路径的一些或全部部分。在实施方式中,对擦除器控件1209的选择导致从地图显示中擦除到目前为止的全部飞行路径。在另一实施方式中,用户可以选择擦除器控件1209并且使用其来擦除正在显示的飞行路径的一部分。在一些实施方式中,在擦除之后的附加飞行路径仍然可被记录和/或被显示。在其他实施方式中,擦除器控件1209可以用于关闭/开启飞行路径的记录和/或显示。
地图部分1200还可以包括参考控件,所述参考控件可以用于从多个具有不同参考系的显示模式中作出选择。例如,在第一显示模式下的参考系可以是无人飞行器。因此,无人飞行器的前进方向被显示为固定的(例如,无人飞行器的机头指向上方)。地图中的非无人飞行器物体(例如,远程终端、参考点、地理物体)相对于固定的无人飞行器前进方向示出,并且当无人飞行器的前进方向改变时改变其朝向。第二显示模式下的参考系可以是远程终端。因此,远程终端的前进方向是固定的,而地图中的非远程终端物体(例如,无人飞行器、建筑物、地理物体)相对于远程终端的固定前进方向示出,并且当远程终端的前进方向改变时改变其朝向。在第三显示模式下的参考系可以是地球。因此,地图中的地理物体诸如建筑物具有固定的朝向(例如,北、南、西、东)。当无人飞行器或远程终端的前进方向改变时,在地图中表示对应的改变。在一些实施方式中,参考控件可以由不同的图标来表示,以视觉地指示出当前选定的显示模式和/或下一可用的显示模式。例如,当选择第一模式时可以显示飞行器的图标。当选择第二模式时可以显示远程终端的图标。当选择第三模式时可以显示罗盘的图标。
地图部分1200还可以包括比例尺控件1208。比例尺控件1208可以用于从多个具有不同比例尺的显示模式中选择显示模式。例如,比例尺控件1208可以允许用户在第一显示模式与第二显示模式之间进行选择或切换。在第一显示模式下,地图的比例尺可以自动增大(例如,从1:1,000,000到1:5,000,000),以便显示全部兴趣点,诸如无人飞行器、远程终端和参考点。第一模式下的地图允许用户容易地查看全部兴趣点之间的全局关系。在第二显示模式下,地图可以自动按比例缩小以仅显示兴趣点的子集。例如,第二显示模式下的地图可以仅显示第一显示模式下的地图的一部分。例如,第二模式下的地图允许用户仅专注于无人飞行器周围的区域。在一些其他实施方式中,比例尺控件1208可被配置成用于允许用户在三个、四个或更多个不同显示模式之间切换。例如,第三模式下的地图可以具有在第一模式下的地图比例尺与第二模式下的地图比例尺之间的比例尺。在示例中,第三模式下的地图可以用于显示比第一模式更多但比第三模式更少的兴趣点。在一些实施方式中,比例尺控件1208可由不同的图标所表示,以视觉地指示出当前选定的显示模式和/或下一可用的显示模式。例如,在当前显示模式具有较大的地图比例尺时可以显示放大图标,而在当前显示模式具有较小的地图比例尺时可以显示缩小图标。有利地,比例尺控件1208使得用户能够容易地在不同查看模式之间切换(例如,经由一键点击),而无需占用进一步的显示区域。
在一些实施方式中,地图部分1200中的至少一些方面可以由用户定制。例如,用户可以指定要显示在地图上的兴趣点。兴趣点可以包括仅无人飞行器和远程终端、仅无人飞行器和参考点等。在一些实施方式中,用户可以添加除了所示之外的更多兴趣点。例如,用户可以通过在地图上点击来添加要在地图上示出的一个、两个、三个或更多个参考点。在一些实施方式中,用户可以添加或移除显示在地图上的信息。例如,可以允许用户启用或停用FOV指示器1204和/或远程终端朝向指示器1205。在其他实施方式中,可以允许用户在地图的特定部分上放大、缩小、在卫星视图与街景视图之间切换或者执行其他功能性。
图13图示了根据本发明各个实施方式用于在起飞之后显示处于模拟飞行中的无人飞行器的另一示例性用户界面(UI)。如图13中所示,当用户终端连接至不同类型的无人飞行器时,用户终端可以显示不同的UI 1300(而且在动画中具有不同的无人飞行器图像1301并且针对飞行模拟使用不同的物理模型)。
UI 1300可以包括一个或多个主要显示区域或部分1302以及一个或多个辅助显示区域或部分1303-1304。如图13中所示,地图部分1303以及其他辅助显示区域可被显示为动态地交换或切换。
图14示出了根据本发明各个实施方式用标签来记录数据的流程图。如图14中所示,在步骤1401中,用户终端上的进程可以从飞行模拟器接收处于模拟飞行中的无人飞行器的状态信息,所述飞行模拟器与所述无人飞行器相关联。继而,在步骤1402中,所述进程可以通过使所接收的状态信息与由用户终端获得的情景信息相关联来确定针对模拟飞行的飞行信息。另外,在步骤1403中,所述进程可以向与用户终端相关联的显示器提供所确定的飞行信息。
虽然本文已经示出和描述了本发明的优选实施方式,但对于本领域技术人员显而易见的是,这样的实施方式只是以示例的方式提供的。本领域技术人员现将在不偏离本发明的情况下想到许多更改、改变和替代。应当理解,在实践本发明的进程中可以采用对本文所描述的本发明实施方式的各种替代方案。所附权利要求旨在限定本发明的范围,并因此覆盖这些权利要求及其等效项的范围内的方法和结构。

Claims (60)

1.一种支持模拟飞行的方法,包括:
经由用户终端上的进程,从飞行模拟器接收处于所述模拟飞行中的无人飞行器(UAV)的状态信息,所述飞行模拟器与所述无人飞行器相关联;
通过使所述所接收的状态信息与由所述用户终端上的所述进程获得的情景信息相关联,确定针对所述模拟飞行的飞行信息;以及
向与所述用户终端相关联的显示器提供所述所确定的飞行信息;
其中,所述情景信息包括经由所述用户终端上的所述进程从遥控终端接收的所述遥控终端的位置信息;
经由所述用户终端上的所述进程,基于所述处于所述模拟飞行中的无人飞行器(UAV)的状态信息和所述遥控终端的位置信息,确定所述无人飞行器(UAV)和所述遥控终端的相对位置;以及
所述显示器被配置为显示所确定的所述无人飞行器(UAV)和所述遥控终端的相对位置。
2.根据权利要求1所述的方法,还包括:
在所述用户终端与关联于所述无人飞行器的所述飞行模拟器之间建立连接,以及
向所述无人飞行器上的所述飞行模拟器发送一个或多个控制信号。
3.根据权利要求1所述的方法,还包括:
复位或重启所述模拟飞行的至少一部分。
4.根据权利要求1所述的方法,还包括:
在与所述用户终端相关联的所述显示器上,显示与所述无人飞行器相关联的用户界面。
5.根据权利要求4所述的方法,还包括:
当所述用户终端与关联于不同的无人飞行器的飞行模拟器相连接时,在与所述用户终端相关联的所述显示器上显示不同的用户界面。
6.根据权利要求1所述的方法,还包括:
在与所述用户终端相关联的所述显示器上,显示处于所述模拟飞行中的所述无人飞行器的动画。
7.根据权利要求1所述的方法,其中:
所述所接收的状态信息包含所述无人飞行器的坐标信息,其中所述坐标信息是相对于处于所述模拟飞行中的所述无人飞行器的起飞点的坐标信息,且
由所述用户终端获得的所述情景信息包括:处于所述模拟飞行中的所述无人飞行器的所述起飞点的经度信息和纬度信息。
8.根据权利要求7所述的方法,还包括:
基于处于所述模拟飞行中的所述无人飞行器的所述所接收的坐标信息以及所述无人飞行器的所述起飞点的所述经度信息和纬度信息,确定处于所述模拟飞行中的所述无人飞行器的飞行路径。
9.根据权利要求8所述的方法,还包括:
在与所述用户终端相关联的所述显示器的地图部分上,显示处于所述模拟飞行中的所述无人飞行器的飞行路径。
10.根据权利要求1所述的方法,还包括:
在与所述用户终端相关联的所述显示器上,显示所述无人飞行器的飞行姿态信息和/或有效载荷状态信息。
11.根据权利要求1所述的方法,还包括:
在与所述用户终端相关联的所述显示器上,基于动画形式的预定地形模型而显示虚构的或预定的视野。
12.根据权利要求1所述的方法,其中:
所述进程由所述用户终端中的应用程序所使用,其中所述应用程序允许用户配置并操作处于所述模拟飞行中的所述无人飞行器。
13.根据权利要求1所述的方法,还包括:
基于优先级列表,确定处于所述模拟飞行中的所述无人飞行器的位置信息,所述优先级列表包括从所述无人飞行器、遥控器和所述用户终端上的应用程序接收的信息。
14.根据权利要求1所述的方法,其中:
所述用户终端包括控制终端和/或显示终端。
15.一种支持模拟飞行的系统,包括:
一个或多个微处理器;
运行在所述一个或多个微处理器上的进程,其中所述进程进行操作以:
从飞行模拟器接收处于所述模拟飞行中的无人飞行器(UAV)的状态信息,所述飞行模拟器与所述无人飞行器相关联;
通过使所述所接收的状态信息与由用户终端上的所述进程获得的情景信息相关联,确定针对所述模拟飞行的飞行信息;
以及
向与所述用户终端相关联的显示器提供所述所确定的飞行信息;
其中,所述情景信息包括经由所述用户终端上的所述进程从遥控终端接收的所述遥控终端的位置信息;
经由所述用户终端上的所述进程,基于所述处于所述模拟飞行中的无人飞行器(UAV)的状态信息和所述遥控终端的位置信息,确定所述无人飞行器(UAV)和所述遥控终端的相对位置;以及
所述显示器被配置为显示所确定的所述无人飞行器(UAV)和所述遥控终端的相对位置。
16.根据权利要求15所述的系统,其中:
在所述用户终端与关联于所述无人飞行器的所述飞行模拟器之间建立连接,并且向所述无人飞行器上的所述飞行模拟器发送一个或多个控制信号。
17.根据权利要求15所述的系统,其中:
所述进程操作以复位或重启所述模拟飞行的至少一部分。
18.根据权利要求15所述的系统,其中:
与所述用户终端相关联的所述显示器操作以:显示与所述无人飞行器相关联的用户界面。
19.根据权利要求18所述的系统,其中:
当所述用户终端与关联于不同的无人飞行器的飞行模拟器相连接时,与所述用户终端相关联的所述显示器操作以显示不同的用户界面。
20.根据权利要求15所述的系统,其中:
与所述用户终端相关联的所述显示器进行操作以显示处于所述模拟飞行中的所述无人飞行器的动画。
21.根据权利要求15所述的系统,其中:
所述所接收的状态信息包含所述无人飞行器的坐标信息,其中所述坐标信息是相对于处于所述模拟飞行中的所述无人飞行器的起飞点的坐标信息,且
由所述用户终端获得的所述情景信息包括:处于所述模拟飞行中的所述无人飞行器的所述起飞点的经度信息和纬度信息。
22.根据权利要求21所述的系统,其中:
所述进程操作以:基于处于所述模拟飞行中的所述无人飞行器的所述所接收的坐标信息以及所述无人飞行器的所述起飞点的所述经度信息和纬度信息,确定处于所述模拟飞行中的所述无人飞行器的飞行路径。
23.根据权利要求22所述的系统,其中:
在与所述用户终端相关联的所述显示器的地图部分上,显示处于所述模拟飞行中的所述无人飞行器的飞行路径。
24.根据权利要求15所述的系统,其中:
与所述用户终端相关联的所述显示器操作以:显示所述无人飞行器的飞行姿态信息和/或有效载荷状态信息。
25.根据权利要求15所述的系统,其中:
与所述用户终端相关联的所述显示器操作以:基于动画形式的预定地形模型,显示虚构的或预定的视野。
26.根据权利要求15所述的系统,其中:
所述进程由所述用户终端中的应用程序所使用,其中所述应用程序允许用户配置并操作处于所述模拟飞行中的所述无人飞行器。
27.根据权利要求15所述的系统,其中:
所述进程操作以:基于优先级列表,确定处于所述模拟飞行中的所述无人飞行器的位置信息,所述优先级列表包括从所述无人飞行器、遥控器和所述用户终端上的应用程序接收的信息。
28.根据权利要求15所述的系统,其中:
所述用户终端包括控制终端和/或显示终端。
29.一种具有储存于其上的指令的非暂时性计算机可读介质,当由处理器执行所述指令时,所述指令执行包括以下各项的步骤:
经由用户终端上的进程,从飞行模拟器接收处于模拟飞行中的无人飞行器(UAV)的状态信息,所述飞行模拟器与所述无人飞行器相关联;
通过使所述所接收的状态信息与由所述用户终端上的所述进程获得的情景信息相关联,确定针对所述模拟飞行的飞行信息;以及
向与所述用户终端相关联的显示器提供所述所确定的飞行信息;
其中,所述情景信息包括经由所述用户终端上的所述进程从遥控终端接收的所述遥控终端的位置信息;
经由所述用户终端上的所述进程,基于所述处于所述模拟飞行中的无人飞行器(UAV)的状态信息和所述遥控终端的位置信息,确定所述无人飞行器(UAV)和所述遥控终端的相对位置;以及
所述显示器被配置为显示所确定的所述无人飞行器(UAV)和所述遥控终端的相对位置。
30.一种支持模拟飞行的系统,包括:
一个或多个微处理器;
运行一个或多个微处理器的应用程序,其中所述应用程序操作以:
从飞行模拟器接收处于所述模拟飞行中的无人飞行器(UAV)的状态信息,所述飞行模拟器与所述无人飞行器相关联;
通过使所述所接收的状态信息与由用户终端上的进程获得的情景信息相关联,确定针对所述模拟飞行的飞行信息;以及
向与所述用户终端相关联的显示器提供所述所确定的飞行信息;
其中,所述情景信息包括经由所述用户终端上的所述进程从遥控终端接收的所述遥控终端的位置信息;
经由所述用户终端上的所述进程,基于所述处于所述模拟飞行中的无人飞行器(UAV)的状态信息和所述遥控终端的位置信息,确定所述无人飞行器(UAV)和所述遥控终端的相对位置;以及
所述显示器被配置为显示所确定的所述无人飞行器(UAV)和所述遥控终端的相对位置。
31.一种支持可移动物体的模拟移动的方法,包括:
经由用户终端上的进程,从移动模拟器接收处于所述模拟移动中的所述可移动物体的状态信息,所述移动模拟器与所述可移动物体相关联;
通过使所述所接收的状态信息与由所述用户终端上的所述进程获得的情景信息相关联,确定针对所述模拟移动的移动信息;以及
向与所述用户终端相关联的显示器提供所述所确定的移动信息;
其中,所述情景信息包括经由所述用户终端上的所述进程从遥控终端接收的所述遥控终端的位置信息;
经由所述用户终端上的所述进程,基于所述处于所述模拟飞行中的可移动物体的状态信息和所述遥控终端的位置信息,确定所述可移动物体和所述遥控终端的相对位置;以及
所述显示器被配置为显示所确定的所述可移动物体和所述遥控终端的相对位置。
32.根据权利要求31所述的方法,还包括:
在所述用户终端与关联于所述可移动物体的所述移动模拟器之间建立连接,以及
向所述可移动物体上的所述移动模拟器发送一个或多个控制信号。
33.根据权利要求31所述的方法,还包括:
复位或重启所述模拟移动的至少一部分。
34.根据权利要求31所述的方法,还包括:
在与所述用户终端相关联的所述显示器上,显示与所述可移动物体相关联的用户界面。
35.根据权利要求34所述的方法,还包括:
当所述用户终端与关联于不同的可移动物体的移动模拟器相连接时,在与所述用户终端相关联的所述显示器上显示不同的用户界面。
36.根据权利要求31所述的方法,还包括:
在与所述用户终端相关联的所述显示器上,显示处于所述模拟移动中的所述可移动物体的动画。
37.根据权利要求31所述的方法,其中:
所述所接收的状态信息包含所述可移动物体的坐标信息,其中所述坐标信息是相对于处于所述模拟移动中的所述可移动物体的起始点的坐标信息,且
由所述用户终端获得的所述情景信息包括:处于所述模拟移动中的所述可移动物体的所述起始点的经度信息和纬度信息。
38.根据权利要求37所述的方法,还包括:
基于处于所述模拟移动中的所述可移动物体的所述所接收的坐标信息以及所述可移动物体的所述起始点的所述经度信息和纬度信息,确定处于所述模拟移动中的所述可移动物体的移动路径。
39.根据权利要求38所述的方法,还包括:
在与所述用户终端相关联的所述显示器的地图部分上,显示处于所述模拟移动中的所述可移动物体的移动路径。
40.根据权利要求31所述的方法,还包括:
在与所述用户终端相关联的所述显示器上,显示所述可移动物体的姿态信息和/或有效载荷状态信息。
41.根据权利要求31所述的方法,还包括:
在与所述用户终端相关联的所述显示器上,基于动画形式的预定地形模型而显示虚构的或预定的视野。
42.根据权利要求31所述的方法,其中:
所述进程由所述用户终端中的应用程序所使用,其中所述应用程序允许用户配置并操作处于所述模拟移动中的所述可移动物体。
43.根据权利要求31所述的方法,还包括:
基于优先级列表来确定处于所述模拟移动中的所述可移动物体的位置信息,所述优先级列表包括从所述可移动物体、遥控器以及所述用户终端上的应用程序接收的信息。
44.根据权利要求31所述的方法,其中:
所述用户终端包括控制终端和/或显示终端。
45.一种支持模拟移动的系统,包括:
一个或多个微处理器;
运行在所述一个或多个微处理器上的进程,其中所述进程操作以:
经由用户终端上的进程,从移动模拟器接收处于所述模拟移动中的可移动物体的状态信息,所述移动模拟器与所述可移动物体相关联;
通过使所述所接收的状态信息与由所述用户终端上的所述进程获得的情景信息相关联,确定针对所述模拟移动的移动信息;
以及
向与所述用户终端相关联的显示器提供所述所确定的移动信息;
其中,所述情景信息包括经由所述用户终端上的所述进程从遥控终端接收的所述遥控终端的位置信息;
经由所述用户终端上的所述进程,基于所述处于所述模拟移动中的可移动物体的状态信息和所述遥控终端的位置信息,确定所述可移动物体和所述遥控终端的相对位置;以及
所述显示器被配置为显示所确定的所述可移动物体和所述遥控终端的相对位置。
46.根据权利要求45所述的系统,其中:
在所述用户终端与关联于所述可移动物体的所述移动模拟器之间建立连接,并且向所述可移动物体上的所述移动模拟器发送一个或多个控制信号。
47.根据权利要求45所述的系统,其中:
复位或重启所述模拟移动的至少一部分。
48.根据权利要求45所述的系统,其中:
与所述用户终端相关联的所述显示器操作以:显示与所述可移动物体相关联的用户界面。
49.根据权利要求48所述的系统,其中:
当所述用户终端与关联于不同的可移动物体的移动模拟器相连接时,与所述用户终端相关联的所述显示器操作以显示不同的用户界面。
50.根据权利要求45所述的系统,其中:
与所述用户终端相关联的所述显示器操作以:显示处于所述模拟移动中的所述可移动物体的动画。
51.根据权利要求45所述的系统,其中:
所述所接收的状态信息包含所述可移动物体的坐标信息,其中所述坐标信息是相对于处于所述模拟移动中的所述可移动物体的起始点的坐标信息,且
由所述用户终端获得的所述情景信息包括处于所述模拟移动中的所述可移动物体的所述起始点的经度信息和纬度信息。
52.根据权利要求51所述的系统,其中:
所述进程操作以:基于处于所述模拟移动中的所述可移动物体的所述所接收的坐标信息以及所述可移动物体的所述起始点的所述经度信息和纬度信息,确定处于所述模拟移动中的所述可移动物体的移动路径。
53.根据权利要求52所述的系统,其中:
在与所述用户终端相关联的所述显示器的地图部分上,显示处于所述模拟移动中的所述可移动物体的移动路径。
54.根据权利要求45所述的系统,其中:
与所述用户终端相关联的所述显示器操作以:显示所述可移动物体的姿态信息和/或有效载荷状态信息。
55.根据权利要求45所述的系统,其中:
与所述用户终端相关联的所述显示器操作以:基于动画形式的预定地形模型,显示虚构的或预定的视野。
56.根据权利要求45所述的系统,其中:
所述进程由所述用户终端中的应用程序所使用,其中所述应用程序允许用户配置并操作处于所述模拟移动中的所述可移动物体。
57.根据权利要求45所述的系统,其中:
所述进程操作以:基于优先级列表,确定处于所述模拟移动中的所述可移动物体的位置信息,所述优先级列表包括从所述可移动物体、遥控器以及所述用户终端上的应用程序接收的信息。
58.根据权利要求55所述的系统,其中:
所述用户终端包括控制终端和/或显示终端。
59.一种具有储存于其上的指令的非暂时性计算机可读介质,当由处理器执行所述指令时,所述指令执行包括以下各项的步骤:
经由用户终端上的进程,从移动模拟器接收处于模拟移动中的可移动物体的状态信息,所述移动模拟器与所述可移动物体相关联;
通过使所述所接收的状态信息与由所述用户终端上的所述进程获得的情景信息相关联,确定针对所述模拟移动的移动信息;以及
向与所述用户终端相关联的显示器提供所述所确定的移动信息;
其中,所述情景信息包括经由所述用户终端上的所述进程从遥控终端接收的所述遥控终端的位置信息;
经由所述用户终端上的所述进程,基于所述处于所述模拟移动中的可移动物体的状态信息和所述遥控终端的位置信息,确定所述可移动物体和所述遥控终端的相对位置;以及
所述显示器被配置为显示所确定的所述可移动物体和所述遥控终端的相对位置。
60.一种支持模拟飞行的系统,包括:
一个或多个微处理器;
运行一个或多个微处理器的应用程序,其中所述应用程序操作以:
经由用户终端上的进程,从移动模拟器接收处于所述模拟移动中的可移动物体的状态信息,所述移动模拟器与所述可移动物体相关联;
通过使所述所接收的状态信息与由所述用户终端上的所述进程获得的情景信息相关联,确定针对所述模拟移动的移动信息;
以及
向与所述用户终端相关联的显示器提供所述所确定的移动信息;
其中,其中,所述情景信息包括经由所述用户终端上的所述进程从遥控终端接收的所述遥控终端的位置信息;
经由所述用户终端上的所述进程,基于所述处于所述模拟移动中的可移动物体的状态信息和所述遥控终端的位置信息,确定所述可移动物体和所述遥控终端的相对位置;以及
所述显示器被配置为显示所确定的所述可移动物体和所述遥控终端的相对位置。
CN201580053266.5A 2014-09-30 2015-06-26 用于支持模拟移动的系统和方法 Expired - Fee Related CN106796761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110936060.4A CN113628500A (zh) 2014-09-30 2015-06-26 用于支持模拟移动的系统和方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
PCT/CN2014/088051 WO2016049924A1 (en) 2014-09-30 2014-09-30 Systems and methods for flight simulation
WOPCT/CN2014/088051 2014-09-30
CNPCT/CN2014/088051 2014-09-30
CNPCT/CN2014/089605 2014-10-27
PCT/CN2014/089605 WO2016065519A1 (en) 2014-10-27 2014-10-27 Uav flight display
WOPCT/CN2014/089605 2014-10-27
PCT/CN2015/082415 WO2016050099A1 (en) 2014-09-30 2015-06-26 System and method for supporting simulated movement

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110936060.4A Division CN113628500A (zh) 2014-09-30 2015-06-26 用于支持模拟移动的系统和方法

Publications (2)

Publication Number Publication Date
CN106796761A CN106796761A (zh) 2017-05-31
CN106796761B true CN106796761B (zh) 2021-08-20

Family

ID=55629409

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110936060.4A Withdrawn CN113628500A (zh) 2014-09-30 2015-06-26 用于支持模拟移动的系统和方法
CN201580053266.5A Expired - Fee Related CN106796761B (zh) 2014-09-30 2015-06-26 用于支持模拟移动的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110936060.4A Withdrawn CN113628500A (zh) 2014-09-30 2015-06-26 用于支持模拟移动的系统和方法

Country Status (3)

Country Link
US (2) US10134298B2 (zh)
CN (2) CN113628500A (zh)
WO (1) WO2016050099A1 (zh)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL224273B (en) * 2013-01-17 2018-05-31 Cohen Yossi Delay compensation during remote sensor control
CN106687878B (zh) * 2014-10-31 2021-01-22 深圳市大疆创新科技有限公司 用于利用视觉标记进行监视的系统和方法
US9679420B2 (en) * 2015-04-01 2017-06-13 Smartdrive Systems, Inc. Vehicle event recording system and method
US9778895B2 (en) * 2015-05-25 2017-10-03 A.L.D. Advanced Logistics Development Ltd. Systems, devices, components and associated computer executable code for providing remote viewing of a display associated with a computational device
US10250792B2 (en) * 2015-08-10 2019-04-02 Platypus IP PLLC Unmanned aerial vehicles, videography, and control methods
US10198956B2 (en) * 2015-10-09 2019-02-05 Randy Lane Silverman Unmanned aerial vehicle collision avoidance system
US10906530B2 (en) 2015-11-10 2021-02-02 Hyundai Motor Company Automatic parking system and automatic parking method
US10919574B2 (en) 2015-11-10 2021-02-16 Hyundai Motor Company Automatic parking system and automatic parking method
KR101892026B1 (ko) * 2015-11-10 2018-08-27 현대자동차주식회사 차량의 원격 주차 제어 방법 및 장치
US10606257B2 (en) 2015-11-10 2020-03-31 Hyundai Motor Company Automatic parking system and automatic parking method
US9952591B2 (en) * 2015-11-24 2018-04-24 Northrop Grumman Systems Corporation Spatial-temporal forecasting for predictive situational awareness
EP3422318B1 (en) 2016-04-15 2020-09-30 SZ DJI Technology Co., Ltd. Remote controller and manufacturing method for remote controller
CN107223223B (zh) * 2016-04-29 2021-08-13 深圳市大疆创新科技有限公司 一种无人机第一视角飞行的控制方法及系统、智能眼镜
RU173153U1 (ru) * 2016-08-04 2017-08-14 Иванова Елена Алексеевна Аттракцион-тренажер с дроном мультироторного типа
US10399696B2 (en) * 2016-08-31 2019-09-03 The Boeing Company Aircraft pilot display system and method of use
CN111562796B (zh) * 2016-09-26 2024-06-14 深圳市大疆创新科技有限公司 控制方法、控制设备和运载系统
CN106228862A (zh) * 2016-09-28 2016-12-14 国家电网公司 一种输电线路无人机巡检仿真培训方法
US10067736B2 (en) 2016-09-30 2018-09-04 Sony Interactive Entertainment Inc. Proximity based noise and chat
US11125561B2 (en) 2016-09-30 2021-09-21 Sony Interactive Entertainment Inc. Steering assist
US10210905B2 (en) * 2016-09-30 2019-02-19 Sony Interactive Entertainment Inc. Remote controlled object macro and autopilot system
US10377484B2 (en) 2016-09-30 2019-08-13 Sony Interactive Entertainment Inc. UAV positional anchors
US10410320B2 (en) 2016-09-30 2019-09-10 Sony Interactive Entertainment Inc. Course profiling and sharing
US10679511B2 (en) 2016-09-30 2020-06-09 Sony Interactive Entertainment Inc. Collision detection and avoidance
US10416669B2 (en) 2016-09-30 2019-09-17 Sony Interactive Entertainment Inc. Mechanical effects by way of software or real world engagement
US10850838B2 (en) 2016-09-30 2020-12-01 Sony Interactive Entertainment Inc. UAV battery form factor and insertion/ejection methodologies
US10336469B2 (en) 2016-09-30 2019-07-02 Sony Interactive Entertainment Inc. Unmanned aerial vehicle movement via environmental interactions
US10357709B2 (en) 2016-09-30 2019-07-23 Sony Interactive Entertainment Inc. Unmanned aerial vehicle movement via environmental airflow
US10710710B2 (en) * 2016-10-27 2020-07-14 International Business Machines Corporation Unmanned aerial vehicle (UAV) compliance using standard protocol requirements and components to enable identifying and controlling rogue UAVS
CN107636550A (zh) * 2016-11-10 2018-01-26 深圳市大疆创新科技有限公司 飞行控制方法、装置及飞行器
US10209707B2 (en) * 2016-11-11 2019-02-19 Aerovironment, Inc. Safety system for operation of an unmanned aerial vehicle
CN108205799B (zh) * 2016-12-16 2021-03-26 杭州海康威视数字技术股份有限公司 一种图像拼接方法及装置
US20180186472A1 (en) * 2016-12-30 2018-07-05 Airmada Technology Inc. Method and apparatus for an unmanned aerial vehicle with a 360-degree camera system
US10740972B2 (en) 2017-04-28 2020-08-11 Harman International Industries, Incorporated System and method for presentation and control of augmented vehicle surround views
CN107215479B (zh) * 2017-05-02 2022-04-08 西安飞豹科技有限公司 一种飞行模拟器通用数据处理框架及其构建方法
GB2563935B (en) * 2017-06-30 2022-04-13 The Royal Veterinary College Obstacle detection
CN107656539A (zh) * 2017-07-17 2018-02-02 浙江天衡五维电子科技有限公司 一种基于旋翼机的紫外自主盲降系统和方法
US11064184B2 (en) 2017-08-25 2021-07-13 Aurora Flight Sciences Corporation Aerial vehicle imaging and targeting system
US10495421B2 (en) 2017-08-25 2019-12-03 Aurora Flight Sciences Corporation Aerial vehicle interception system
US11074827B2 (en) * 2017-08-25 2021-07-27 Aurora Flight Sciences Corporation Virtual reality system for aerial vehicle
WO2019037103A1 (zh) * 2017-08-25 2019-02-28 深圳市大疆创新科技有限公司 无人机仿真飞行系统、方法、设备及机器可读存储介质
WO2019047233A1 (en) * 2017-09-11 2019-03-14 Sz Dji Technology Co. , Ltd. SYSTEM AND METHOD FOR SUPPORTING SAFE OPERATION OF AN OPERATING OBJECT
US10946960B2 (en) * 2017-11-21 2021-03-16 Vantage Robotics, Llc Anomalous payload detection for multirotor unmanned aerial systems
CN110622084A (zh) * 2018-01-23 2019-12-27 深圳市大疆创新科技有限公司 辅助移动方法、移动装置及可移动平台
WO2019165580A1 (zh) * 2018-02-27 2019-09-06 深圳市大疆创新科技有限公司 移动设备控制方法以及控制终端
CN108510832A (zh) * 2018-02-27 2018-09-07 王灵境 无人机驾驶训练系统
CN108375988A (zh) * 2018-05-25 2018-08-07 哈尔滨工业大学 一种带有不平衡负载的四旋翼无人机位姿控制方法
CN108854069B (zh) * 2018-05-29 2020-02-07 腾讯科技(深圳)有限公司 音源确定方法和装置、存储介质及电子装置
US11325705B2 (en) * 2018-06-19 2022-05-10 Unmanned Laboratory Drone cloud connectivity for asset and facility operations
WO2020000479A1 (zh) * 2018-06-30 2020-01-02 深圳市大疆创新科技有限公司 一种信息提示方法及控制终端
CN109218744B (zh) * 2018-10-17 2019-11-22 华中科技大学 一种基于drl的比特率自适应无人机视频流传输方法
US11688297B2 (en) * 2018-11-19 2023-06-27 The Boeing Company Virtual reality with virtualization in trainers and test environments
CN109240129A (zh) * 2018-11-28 2019-01-18 湖北安心智能科技有限公司 一种面向操作的无人机模拟仿真显控系统
US11721235B2 (en) * 2019-03-21 2023-08-08 Performance Drone Works Llc Quadcopter sensor noise and camera noise recording and simulation
US11150644B2 (en) 2019-05-29 2021-10-19 GM Cruise Holdings, LLC Rotating sensor suite for autonomous vehicles
WO2021015325A1 (ko) * 2019-07-23 2021-01-28 엘지전자 주식회사 무인 항공 시스템에서 스테이션 인식을 통한 무인 항공 로봇 착륙 방법 및 이를 지원하기 위한 장치
EP4004667A1 (en) 2019-07-24 2022-06-01 Sony Group Corporation Remote control and method for modifying an unmanned aerial vehicle's autonomous flight of a predetermined trajectory, and system comprising a remote control and an unmanned aerial vehicle
JP7069416B2 (ja) * 2019-08-30 2022-05-17 楽天グループ株式会社 無人航空機の操縦シミュレーションシステム及び方法
EP4014217A1 (en) * 2019-09-02 2022-06-22 Skygrid, LLC Utilizing visualization for managing an unmanned aerial vehicle
US11473913B2 (en) * 2019-09-20 2022-10-18 Prince Sultan University System and method for service oriented cloud based management of internet of drones
US11871114B2 (en) * 2019-10-04 2024-01-09 Visit Inc. System and method for producing panoramic image content
US11106221B1 (en) * 2019-11-25 2021-08-31 Kitty Hawk Corporation Multicopter with self-adjusting rotors
CN110827618A (zh) * 2019-11-29 2020-02-21 中仿智能科技(上海)股份有限公司 一种模拟飞行器测试系统
KR102267840B1 (ko) * 2019-12-30 2021-06-22 광주과학기술원 드론 모니터링 시스템
US20210216688A1 (en) * 2020-01-13 2021-07-15 Microsoft Technology Licensing, Llc Configuring aerodynamic simulation of a virtual object
EP4129820A4 (en) * 2020-03-26 2024-03-20 Hitachi, Ltd. CONTROL ASSISTANCE SYSTEM FOR UNMANNED AERIAL VEHICLES AND CONTROL ASSISTANCE METHOD FOR UNMANNED AIR BODY
US10913547B1 (en) 2020-03-31 2021-02-09 Kitty Hawk Corporation Charging station for self-balancing multicopter
CN112753001A (zh) * 2020-04-24 2021-05-04 深圳市大疆创新科技有限公司 飞行指引方法、装置、系统、控制终端及可读存储介质
WO2021212519A1 (zh) * 2020-04-24 2021-10-28 深圳市大疆创新科技有限公司 飞行指引方法、装置、系统、遥控终端及可读存储介质
US11296778B2 (en) * 2020-06-17 2022-04-05 T-Mobile Usa, Inc. Mesh network of unmanned aerial vehicles anchored to a cell site of a cellular radio access network
CN113826149A (zh) * 2020-09-21 2021-12-21 深圳市大疆创新科技有限公司 用于穿越机的飞行模拟方法及模拟终端
AU2021204693A1 (en) * 2020-09-23 2022-04-07 Insitu, Inc. (A Subsidiary Of The Boeing Company) A controlled powerup sequence for an unmanned aerial vehicle (UAV)
US11681301B2 (en) 2021-06-29 2023-06-20 Beta Air, Llc System for a guidance interface for a vertical take-off and landing aircraft
US11694568B2 (en) * 2021-11-10 2023-07-04 Beta Air, Llc System and method for an electric aircraft simulation network
US11562662B1 (en) 2021-11-16 2023-01-24 Beta Air, Llc Systems and methods for modular mobile flight simulator for an electric aircraft

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB958325A (en) 1962-07-08 1964-05-21 Communications Patents Ltd Improvements in or relating to ground-based flight training or simulating apparatus
JP3017948B2 (ja) * 1996-11-14 2000-03-13 コナミ株式会社 飛行シミュレーションゲーム装置
GB2370818B (en) 2001-01-03 2004-01-14 Seos Displays Ltd A simulator
US20060102798A1 (en) 2001-05-21 2006-05-18 Mission Technologies, Inc. Unmanned biplane for airborne reconnaissance and surveillance having staggered and gapped wings
JP2003127994A (ja) 2001-10-24 2003-05-08 Kansai Electric Power Co Inc:The 無人飛行物体の制御システム
CN1152236C (zh) 2001-12-21 2004-06-02 北京航空航天大学 共轴双旋翼无人驾驶直升机的地面操纵与监控装置
US6527225B1 (en) * 2002-04-30 2003-03-04 Sikorsky Aircraft Corporation Method for performing an automated category a takeoff
US20030211806A1 (en) 2002-05-10 2003-11-13 Paterson Eric M. Model aircraft flight simulation apparatus
JP4284949B2 (ja) 2002-09-05 2009-06-24 ソニー株式会社 移動撮影システム、移動撮影方法、及び撮影装置
US7237750B2 (en) 2004-10-29 2007-07-03 L3 Communications Autonomous, back-packable computer-controlled breakaway unmanned aerial vehicle (UAV)
US20100001902A1 (en) 2005-01-21 2010-01-07 The Boeing Company Situation awareness display
JPWO2006098469A1 (ja) 2005-03-18 2008-08-28 ヤマハ発動機株式会社 飛行制御システム
KR20070112413A (ko) * 2005-03-28 2007-11-23 야마하하쓰도키 가부시키가이샤 무인 헬리콥터
JP2006281830A (ja) 2005-03-31 2006-10-19 Yamaha Motor Co Ltd カメラの視点表示システム
US20060223637A1 (en) * 2005-03-31 2006-10-05 Outland Research, Llc Video game system combining gaming simulation with remote robot control and remote robot feedback
KR20070117686A (ko) 2005-04-04 2007-12-12 야마하하쓰도키 가부시키가이샤 기체 정보 표시 패널
US7706979B1 (en) 2005-05-03 2010-04-27 Stanley Robert Herwitz Closest points of approach determination for unmanned aerial vehicle ground-based sense-and-avoid display system
JP2007093045A (ja) 2005-09-27 2007-04-12 Mitsubishi Electric Corp 指令装置及び指令方法
US20060227047A1 (en) 2005-12-13 2006-10-12 Outland Research Meeting locator system and method of using the same
US20070243505A1 (en) 2006-04-13 2007-10-18 Honeywell International Inc. System and method for the testing of air vehicles
CN1953547A (zh) 2006-09-21 2007-04-25 上海大学 无人飞行器对地面移动目标的低空跟踪系统及方法
US8509965B2 (en) 2006-12-12 2013-08-13 American Gnc Corporation Integrated collision avoidance system for air vehicle
US20080147366A1 (en) * 2006-12-19 2008-06-19 Science Application International Corporation System and method for displaying simulation data and visualization data
CN201004174Y (zh) 2007-01-26 2008-01-09 青岛天骄无人机遥感技术有限公司 无人机地面监控系统
US7959111B1 (en) 2007-03-29 2011-06-14 Rockwell Collins, Inc. Angle of attack automated flight control system vertical control function
US7970532B2 (en) 2007-05-24 2011-06-28 Honeywell International Inc. Flight path planning to reduce detection of an unmanned aerial vehicle
CN100568135C (zh) 2007-11-20 2009-12-09 北京航空航天大学 一种小型机载单自由度光电稳定器
US8195025B2 (en) 2007-11-30 2012-06-05 At&T Intellectual Property I, L.P. Systems, methods, and computer products for digital video recorder management and scheduling
US8255153B2 (en) 2008-01-23 2012-08-28 Honeywell International Inc. Automatic alerting method and system for aerial vehicle target tracking
CN100587761C (zh) 2008-03-21 2010-02-03 北京航空航天大学 一种用于无人机飞行模拟训练的故障模拟方法
US8068983B2 (en) 2008-06-11 2011-11-29 The Boeing Company Virtual environment systems and methods
US8521339B2 (en) 2008-09-09 2013-08-27 Aeryon Labs Inc. Method and system for directing unmanned vehicles
JP2010117656A (ja) 2008-11-14 2010-05-27 Toshiba Corp シミュレーション装置
CN100587640C (zh) 2008-11-19 2010-02-03 北京航空航天大学 用于共轴双旋翼无人驾驶直升机的双模式地面操控系统
FR2938774A1 (fr) 2008-11-27 2010-05-28 Parrot Dispositif de pilotage d'un drone
CN101504287B (zh) 2009-01-22 2011-01-05 浙江大学 基于视觉信息的无人飞行器自主着陆的姿态参数估算方法
CN101593437A (zh) * 2009-07-10 2009-12-02 贵州盖克无人机有限责任公司 一种无人机飞行防撞方法及装置
CN101604830B (zh) 2009-07-14 2011-08-10 山东电力研究院 巡检架空线路线和杆塔用无人直升机系统及其方法
US8239047B1 (en) * 2009-07-15 2012-08-07 Bryan Bergeron Systems and methods for indirect control of processor enabled devices
CN101650866A (zh) 2009-09-22 2010-02-17 华南理工大学 一种应用于无人机的火灾检测系统及其火灾检测方法
US8616884B1 (en) * 2009-12-01 2013-12-31 The Boeing Company Integrated live and simulation environment system for an aircraft
CN102193599B (zh) 2010-03-16 2014-07-16 鸿富锦精密工业(深圳)有限公司 电脑机箱及其锁固结构
US8942964B2 (en) 2010-06-08 2015-01-27 Southwest Research Institute Optical state estimation and simulation environment for unmanned aerial vehicles
FR2961927B1 (fr) 2010-06-23 2013-12-20 Turbomeca Systeme de simulation temps reel de l'environnement d'un moteur d'aeronef
CN106508011B (zh) 2010-12-28 2014-08-06 成都飞机工业(集团)有限责任公司 分布式传感器仿真系统
CN202094531U (zh) 2011-03-29 2011-12-28 山东鲁能智能技术有限公司 适合于无人飞行器的输电线路巡检装置
US8897931B2 (en) 2011-08-02 2014-11-25 The Boeing Company Flight interpreter for captive carry unmanned aircraft systems demonstration
JP5766076B2 (ja) 2011-09-13 2015-08-19 アルパイン株式会社 方向距離マーク使用地図表示装置
WO2013103403A2 (en) 2011-09-30 2013-07-11 Aurora Flight Sciences Corporation Hardware-based weight and range limitation system, apparatus and method
CN202533754U (zh) 2011-10-14 2012-11-14 中国民航大学 无人飞行器物理仿真试验平台地面监控系统
CN103149846A (zh) 2011-12-06 2013-06-12 中国科学院沈阳自动化研究所 飞行机器人控制系统半物理仿真平台
CN202494448U (zh) 2012-02-24 2012-10-17 黄克明 一种航拍数据同步获取装置
NO334183B1 (no) 2012-03-22 2014-01-13 Prox Dynamics As Metode og anordning for å kontrollere og overvåke det omliggende område til et ubemannet luftfartøy
US9841761B2 (en) 2012-05-04 2017-12-12 Aeryon Labs Inc. System and method for controlling unmanned aerial vehicles
US9384668B2 (en) 2012-05-09 2016-07-05 Singularity University Transportation using network of unmanned aerial vehicles
US20140008496A1 (en) 2012-07-05 2014-01-09 Zhou Ye Using handheld device to control flying object
US20140018979A1 (en) 2012-07-13 2014-01-16 Honeywell International Inc. Autonomous airspace flight planning and virtual airspace containment system
US8954853B2 (en) 2012-09-06 2015-02-10 Robotic Research, Llc Method and system for visualization enhancement for situational awareness
JP2014064640A (ja) 2012-09-25 2014-04-17 Tum Co Ltd 義歯システムおよび入れ歯の作成方法
US8734250B2 (en) * 2012-10-05 2014-05-27 Wargaming.Net Llp Control of vehicles in three dimensional space
CN102982515A (zh) 2012-10-23 2013-03-20 中国电子科技集团公司第二十七研究所 一种无人机图像实时拼接的方法
US8874283B1 (en) 2012-12-04 2014-10-28 United Dynamics Advanced Technologies Corporation Drone for inspection of enclosed space and method thereof
DE102012023925A1 (de) * 2012-12-06 2014-06-12 Grenzebach Maschinenbau Gmbh Verfahren und Vorrichtung zum kombinierten Simulieren und Steuern ferngesteuerter Fahrzeuge mit einem benutzerfreundlichen Projektionssystem
US9527587B2 (en) 2012-12-19 2016-12-27 Elwha Llc Unoccupied flying vehicle (UFV) coordination
CN103921933A (zh) 2013-01-10 2014-07-16 深圳市大疆创新科技有限公司 飞行器变形结构及微型飞行器
CN104002743B (zh) * 2013-02-23 2016-12-28 重庆长安汽车股份有限公司 智能车辆位置提示系统及控制方法
CN105518576B (zh) 2013-06-28 2019-04-16 陈家铭 根据手势的控制装置操作
CN103365214A (zh) 2013-06-29 2013-10-23 天津大学 一种单旋翼无人飞行器三自由度半实物仿真平台及实验方法
CN103365298B (zh) 2013-07-05 2017-06-20 深圳市大疆创新科技有限公司 无人飞行器的飞行辅助系统和方法
CN103345826B (zh) * 2013-07-05 2017-07-18 深圳市大疆创新科技有限公司 无人飞行器的遥控终端、飞行辅助系统和方法
CN107168360B (zh) * 2013-07-05 2021-03-30 深圳市大疆创新科技有限公司 无人飞行器的飞行辅助方法和装置
CN103424126B (zh) 2013-08-12 2016-02-24 西安电子科技大学 一种无人机视觉自主着陆仿真验证系统及方法
US10410537B2 (en) * 2013-08-30 2019-09-10 Insitu, Inc. Unmanned vehicle simulation
CN103488179A (zh) 2013-09-18 2014-01-01 航天科工深圳(集团)有限公司 无人机飞行模拟系统及模拟方法
CN203551961U (zh) * 2013-09-24 2014-04-16 中国兵器工业计算机应用技术研究所 一种无人机航电半实物仿真系统
US20150199086A1 (en) 2014-01-13 2015-07-16 Microsoft Corporation Identifying and Launching Items Associated with a Particular Presentation Mode
CN103822635B (zh) 2014-03-05 2016-12-07 北京航空航天大学 基于视觉信息的无人机飞行中空间位置实时计算方法
JP5767731B1 (ja) 2014-03-26 2015-08-19 株式会社衛星ネットワーク 空撮映像配信システムおよび空撮映像配信方法
US20150298017A1 (en) 2014-04-18 2015-10-22 Toy Labs, Inc. Hand-launched, solar-powered aircraft
CN104029825B (zh) * 2014-06-13 2016-01-20 中国人民解放军装甲兵工程学院 现场虚实耦合无人机系统
WO2016049924A1 (en) 2014-09-30 2016-04-07 SZ DJI Technology Co., Ltd. Systems and methods for flight simulation

Also Published As

Publication number Publication date
US10134298B2 (en) 2018-11-20
CN106796761A (zh) 2017-05-31
US20170061813A1 (en) 2017-03-02
US20190073918A1 (en) 2019-03-07
WO2016050099A1 (en) 2016-04-07
US11217112B2 (en) 2022-01-04
CN113628500A (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
US11217112B2 (en) System and method for supporting simulated movement
US10086954B2 (en) UAV flight display
US11276325B2 (en) Systems and methods for flight simulation
US10761798B2 (en) Systems and methods for gimbal simulation
US11632497B2 (en) Systems and methods for controlling an image captured by an imaging device
US20180246529A1 (en) Systems and methods for uav path planning and control
US8521339B2 (en) Method and system for directing unmanned vehicles
JP2021073796A (ja) 制御装置、及び画像を取得する方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210820