CN113795803A - 无人飞行器的飞行辅助方法、设备、芯片、系统及介质 - Google Patents

无人飞行器的飞行辅助方法、设备、芯片、系统及介质 Download PDF

Info

Publication number
CN113795803A
CN113795803A CN202080033636.XA CN202080033636A CN113795803A CN 113795803 A CN113795803 A CN 113795803A CN 202080033636 A CN202080033636 A CN 202080033636A CN 113795803 A CN113795803 A CN 113795803A
Authority
CN
China
Prior art keywords
flight
obstacle
unmanned aerial
aerial vehicle
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080033636.XA
Other languages
English (en)
Other versions
CN113795803B (zh
Inventor
吕熙敏
李翔
段武阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN113795803A publication Critical patent/CN113795803A/zh
Application granted granted Critical
Publication of CN113795803B publication Critical patent/CN113795803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08Control of attitude, i.e. control of roll, pitch, or yaw
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种无人飞行器(110,600,901)的飞行辅助方法、设备、芯片(800)、系统(100,900)及介质,飞行辅助方法包括:获取无人飞行器(110,600,901)的飞行状态信息,无人飞行器(110,600,901)的飞行状态信息包括无人飞行器(110,600,901)的飞行速度矢量(S201);获取无人飞行器(110,600,901)所在飞行场景的障碍物信息(S202);将飞行状态信息和障碍物信息发送给显示设备(130,700,902)进行显示,飞行状态信息和障碍物信息的显示用于辅助用户进行无人飞行器(110,600,901)的飞行(S203)。

Description

无人飞行器的飞行辅助方法、设备、芯片、系统及介质
技术领域
本申请涉及无人飞行器技术领域,尤其涉及一种无人飞行器的飞行辅助方法、设备、芯片、系统及介质。
背景技术
无人飞行器上搭载有拍摄装置,该拍摄装置比如可以是广角镜头。通过在无人飞行器的显示设备上观察广角镜头拍摄的视野图像,用户能够以第一人称视角进行无人飞行器的飞行。
用户在以第一人称视角进行无人飞行器的飞行时,通常需要依靠自身的感觉和熟练度,控制无人飞行器避开障碍物。然而,对于无飞行经验的用户来说,依靠自身的感觉和熟练度控制无人飞行器避开障碍物的操作难度较大。
发明内容
本申请实施例提供一种无人飞行器的飞行辅助方法、设备、芯片、系统及介质,用于辅助用户进行无人飞行器的飞行,降低无人飞行器的用户操作难度。
第一方面,本申请实施例提供一种无人飞行器的飞行辅助方法,应用于无人飞行器,所述方法包括:
获取无人飞行器的飞行状态信息,所述飞行状态信息包括飞行速度矢量,所述飞行速度矢量用于指示所述无人飞行器的飞行速度的大小和方向;
获取所述无人飞行器所在飞行场景的障碍物信息;
将所述飞行状态信息和所述障碍物信息发送给显示设备,所述显示设备能够对所述飞行状态信息和所述障碍物信息进行显示,所述飞行状态信息和所述障碍物信息的显示用于辅助用户进行无人飞行器的飞行。
第二方面,本申请实施例提供一种无人飞行器的飞行辅助方法,应用于无人飞行器的显示设备,所述方法包括:
获取无人飞行器的飞行状态信息,所述飞行状态信息包括飞行速度矢量,所述飞行速度矢量用于指示所述无人飞行器的飞行速度的大小和方向;
获取所述无人飞行器所在飞行场景的障碍物信息;
对所述飞行状态信息和所述障碍物信息进行显示,所述飞行状态信息和所述障碍物信息的显示用于辅助用户进行所述无人飞行器的飞行。
第三方面,本申请实施例提供一种无人飞行器,包括:处理器和存储器,所述存储器用于存储指令,所述处理器调用所述存储器存储的指令用于执行以下操作:
获取无人飞行器的飞行状态信息,所述飞行状态信息包括飞行速度矢量,所述飞行速度矢量用于指示所述无人飞行器的飞行速度的大小和方向;
获取所述无人飞行器所在飞行场景的障碍物信息;
将所述飞行状态信息和所述障碍物信息发送给显示设备,所述显示设备能够对所述飞行状态信息和所述障碍物信息进行显示,所述飞行状态信息和所述障碍物信息的显示用于辅助用户进行所述无人飞行器的飞行。
第四方面,本申请实施例提供一种显示设备,包括:处理器和显示装置;
所述处理器,用于获取无人飞行器的飞行状态信息,获取所述无人飞行器所在飞行场景的障碍物信息,所述飞行状态信息包括飞行速度矢量,所述飞行速度矢量用于指示所述无人飞行器的飞行速度的大小和方向;
所述显示装置,用于对所述飞行状态信息和所述障碍物信息进行显示,所述飞行状态信息和所述障碍物信息的显示用于辅助用户进行所述无人飞行器的飞行。
第五方面,本申请实施例提供一种芯片,包括:收发器、存储器和处理器;
所述收发器,用于数据收发;
所述存储器,用于存储程序指令;
所述处理器,用于调用所述存储器中的程序指令并根据所述收发器的接收数据,执行如上述第一方面本申请实施例所述的无人飞行器的飞行辅助方法或者上述第二方面本申请实施例所述的无人飞行器的飞行辅助方法。
第六方面,本申请实施例提供一种无人飞行系统,包括如上述第三方面本申请实施例所述的无人飞行器、如上述第四方面本申请实施例所述的显示设备以及控制终端,所述控制终端用于控制所述无人飞行器的飞行。
第七方面,本申请实施例提供一种计算机可读存储介质,包括指令,当所述指令在计算机上运行时,使得所述计算机执行如上述第一方面所述的无人飞行器的飞行辅助方法或者如上述第二方面所述的无人飞行器的飞行辅助方法。
第八方面,本申请实施例提供一种包含指令的计算机程序产品,当所述指令在计算机上运行时,使得所述计算机执行如上述第一方面所述的无人飞行器的飞行辅助方法或者如上述第二方面所述的无人飞行器的飞行辅助方法。
本申请实施例提供的无人飞行器的飞行辅助方法、设备、芯片、系统及介质,在无人飞行器上,获取无人飞行器的飞行状态信息和无人飞行器所在飞行场景的障碍物信息,将飞行状态信息和障碍物信息发送给显示设备,显示设备能够对飞行状态信息和障碍物信息进行显示,其中,飞行状态信息包括飞行速度矢量,飞行速度矢量用于指示无人飞行器的飞行速度的大小和方向,飞行状态信息和障碍物信息的显示用于辅助用户进行无人飞行器的飞行。因此,在显示设备所显示的无人飞行器的飞行状态信息和障碍物信息的辅助下,用户能够更准确地掌握无人飞行器的飞行状态,尤其是准确掌握无人飞行器的飞行速度,同时获知无人飞行器所在飞行场景的障碍物的情况,操作无人飞行器进行避障飞行,降低无人飞行器的用户操作难度。
附图说明
图1为本申请实施例提供的应用场景示意图;
图2为本申请一实施例提供的无人飞行器的飞行辅助方法的流程图;
图3a为本申请一实施例提供的无人飞行器的飞行辅助方法中场景图像、飞行状态信息、障碍物信息和障碍物的虚拟模型分区域显示的示意图;
图3b为本申请另一实施例提供的无人飞行器的飞行辅助方法中场景图像、飞行状态信息、障碍物信息和障碍物的虚拟模型分区域显示的示意图;
图4为本申请另一实施例提供的无人飞行器的飞行辅助方法的流程图;
图5a为本申请另一实施例提供的无人飞行器的飞行辅助方法中通过矢量球和投影来显示飞行速度矢量的示意图;
图5b为本申请另一实施例提供的无人飞行器的飞行辅助方法中通过矢量球和投影来显示飞行速度矢量的示意图;
图5c为本申请另一实施例提供的无人飞行器的飞行辅助方法中通过矢量球和投影来显示飞行速度矢量的示意图;
图6为本申请一实施例提供的无人飞行器的结构示意图;
图7为本申请一实施例提供的显示设备的结构示意图;
图8为本申请一实施例提供的芯片的结构示意图;
图9为本申请一实施例提供的无人飞行系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
需要说明的是,当组件被称为“固定于”另一个组件,它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件,它可以是直接连接到另一个组件或者可能同时存在居中的组件。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本申请实施例提供的无人飞行器的飞行辅助方法、设备、芯片、系统及介质,可以应用于无人飞行器的飞行过程,该无人飞行器可以外力配置来进行飞行或者通过自身动力来进行飞行,例如可以是穿越机。图1为本申请实施例提供的应用场景示意图,如图1所示,图1示出了无人飞行系统100,无人飞行系统100包括无人飞行器110、显示设备130和控制终端140。其中,无人飞行器110可以与显示设备130和控制终端140进行无线通信。
其中,无人飞行器110包括动力系统150、飞行控制系统160、机架和承载在机架上的云台120。
动力系统150可以包括一个或多个电子调速器(简称为电调)151、一个或多个螺旋桨153以及与一个或多个螺旋桨153相对应的一个或多个电机152,其中电机152连接在电子调速器151与螺旋桨153之间,电机152和螺旋桨153设置在无人飞行器110的机臂上;电子调速器151用于接收飞行控制系统160产生的驱动信号,并根据驱动信号提供驱动电流给电机152,以控制电机152的转速。电机152用于驱动螺旋桨旋转,从而为无人飞行器110的飞行提供动力,该动力使得无人飞行器110能够实现一个或多个自由度的运动。在某些实施例中,无人飞行器110可以围绕一个或多个旋转轴旋转。例如,上述旋转轴可以包括横滚轴(Roll)、偏航轴(Yaw)和俯仰轴(pitch)。应理解,电机152可以是直流电机,也可以交流电机。另外,电机152可以是无刷电机,也可以是有刷电机。
飞行控制系统160可以包括飞行控制器161和传感系统162,传感系统162用于测量无人飞行器110的姿态信息,即无人飞行器110在空间的位置信息和状态信息,例如,三维位置、三维角度、三维速度、三维加速器和三维角速度等。传感系统162例如可以包括陀螺仪、超声传感器、电子罗盘、惯性测量单元(Inertial Measurement Unit,IMU)、视觉传感器、全球导航卫星系统和气压计等传感器中的至少一种。例如,全球导航卫星系统可以是全球定位系统(Global Positioning System,GPS)。飞行控制器161用于控制无人飞行器110的飞行,例如,可以根据传感系统162测量的姿态信息控制无人飞行器110的飞行。应理解,飞行控制器161可以按照预先编号的程序指令对无人飞行器110进行控制,也可以通过响应来自控制终端140的一个或多个遥感信号对无人飞行器110进行控制。
云台120可以包括电机122。云台120用于携带负载,负载例如可以是拍摄装置123。飞行控制器161可以通过电机122控制云台120的运动。可选的,作为另一实施例,云台120还可以包括控制器,用于通过控制电机122来控制云台120的运动。应理解,云台120可以独立于无人飞行器110,也可以为无人飞行器110的一部分。应理解,电机122可以是直流电机,也可以是交流电机。另外,电机122可以是无刷电机,也可以是有刷电机。还应理解,云台120可以位于无人飞行器110的顶部,也可以位于无人飞行器110的底部。
拍摄装置123例如可以是照相机或摄像机等用于捕获图像的设备,拍摄装置123可以与飞行控制器161通信,并在飞行控制器161的控制下进行拍摄。本实施例的拍摄装置123至少包括感光元件,该感光元件例如为互补金属氧化物半导体(Complementary MetalOxide Semiconductor,CMOS)传感器或电荷耦合元件(Charge-coupled Device,CCD)传感器。可以理解,拍摄装置123也可直接固定于无人飞行器110上,从而云台120可以省略。
显示设备130位于无人飞行系统100的地面端,可以通过无线方式与无人飞行器110进行通信,并且可以用于显示无人飞行器110的姿态信息。另外,还可以在显示设备130上显示拍摄装置123拍摄的图像。应理解,显示设备130可以是独立的设备(例如头戴式显示设备),也可以集成在控制终端140中。
控制终端140位于无人飞行系统100的地面端,可以通过无线方式与无人飞行器110进行通信,用于对无人飞行器110进行远程操纵。
应理解,上述对于无人飞行系统各组成部分的命名仅是出于标识的目的,并不应理解为对本申请的实施例的限制。
在无人飞行器的飞行过程中,无人飞行器按照接收到的控制终端的控制指令飞行,同时将拍摄装置拍摄的图像发送至显示设备。显示设备输出以无人飞行器为观察者的第一人称视角的场景图像,用户依据第一人称视角的场景图像和自身经验,控制无人飞行器避开障碍物飞行,其中,场景图像通常为无人飞行器所在飞行场景的三维实景图像。无人飞行器的用户,尤其是穿越机的无飞行经验的用户,仅依靠以无人飞行器为观察者的第一人称视角的场景图像,进行无人飞行器的飞行,上手难度和操作难度较大。
本申请实施例提供的无人飞行器的飞行辅助方法、设备、芯片、系统和介质,获取无人飞行器的飞行状态信息和无人飞行器所在飞行场景的障碍物信息,由显示设备对飞行状态信息和障碍物信息进行显示,其中,飞行状态信息和障碍物信息的显示用于辅助用户进行无人飞行器的飞行,飞行状态信息包括飞行速度矢量。因此,通过对飞行状态信息和障碍物信息的显示,帮助用户掌握无人飞行器的飞行状态和飞行场景中的障碍物的情况,用户可以基于显示的飞行状态信息和障碍物信息,更准确地控制无人飞行器避开障碍物飞行(包括进行障碍物穿越飞行),有效地降低了无人飞行器的上手难度和操作难度,同时又不会致使无人飞行器飞行丧失挑战性。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互结合。
图2为本申请一实施例提供的无人飞行器的飞行辅助方法的流程图,如图2所示,本实施例的方法可以应用于无人飞行器中,本实施例的方法可以包括:
S201、获取无人飞行器的飞行状态信息,无人飞行器的飞行状态信息包括无人飞行器的飞行速度矢量。
本实施例中,在检测到无人飞行器处于飞行状态时,或者在接收到用户的飞行辅助请求时,或者在检测到无人飞行器的预设的飞行辅助模式开启时,例如可通过无人飞行器上的传感系统(例如图1中的传感系统162),获取无人飞行器的飞行状态信息。需要指出的是,该飞行状态信息是无人飞行器的实时飞行状态信息。
其中,无人飞行器的飞行状态信息包括无人飞行器的飞行速度矢量,飞行速度矢量用于指示无人飞行器的飞行速度的大小和方向。
可选的,无人飞行器的飞行速度可包括无人飞行器飞行的线速度。
可选的,除无人飞行器飞行的线速度外,无人飞行器的飞行速度还可包括无人飞行器飞行的角速度和/或加速度。
可选的,除无人飞行器的飞行速度矢量外,无人飞行器的飞行状态信息还可包括无人飞行器的飞行高度、实时位置等。
其中,飞行辅助模式可以由用户手动开启或者关闭,例如,用户可以根据无人飞行器在当前的飞行场景下飞行的难度,选择开启或关闭飞行辅助模式。飞行辅助模式也可以由无人飞行器的飞行控制系统(例如图1中的飞行控制系统160)控制开启或者关闭,例如,飞行控制系统根据用户的飞行记录信息(例如飞行时长、飞行评分)控制飞行辅助模式的开启或关闭,在飞行时长小于预设的飞行时长阈值或者飞行评分小于预设的飞行评分阈值时,飞行控制系统控制飞行辅助模式开启,反之,控制飞行辅助模式关闭。
S202、获取无人飞行器所在飞行场景的障碍物信息。
本实施例中,在检测到无人飞行器处于飞行状态时,或者在接收到用户的飞行辅助请求时,或者在检测到无人飞行器的飞行辅助模式开启时,可通过无人飞行器上的传感系统,获取无人飞行器所在飞行场景的障碍物信息。例如,通过传感系统中的雷达装置,测量无人飞行器附近是否存在障碍物,若存在,还可进一步测量障碍物相对于无人飞行器的方位。又如,还可通过拍摄装置(例如图1中的拍摄装置123)拍摄飞行场景的场景图像,通过对场景图像进行障碍物识别,确定无人飞行器附近是否存在障碍物。示例性的,无人飞行器所在的飞行场景可指以无人飞行器为中心的预设大小的三维空间范围,例如以无人飞行器为中心且以预设距离为球半径的三维空间范围。示例性的,无人飞行器所在的飞行场景可以是指无人飞行器当前速度方向上的空间范围。换句话说,无人飞行器所在飞行场景的障碍物信息可以是无人飞行器当前速度方向上的障碍物信息。障碍物可以是动态的物体或者静态的物体,例如山体、桥体、飞行的鸟。
需要指出的是,上述操作S201和S202的执行顺序可以互换。
S203、将飞行状态信息和障碍物信息发送给显示设备,显示设备能够对飞行状态信息和障碍物信息进行显示,飞行状态信息和障碍物信息的显示用于辅助用户进行无人飞行器的飞行。
本实施例中,可向显示设备(例如图1中的显示设备130)发送获取的飞行状态信息和障碍物信息,显示设备接收到飞行状态信息和障碍物信息后对飞行状态信息和障碍物信息进行显示。相应地,用户可以通过显示设备观看到飞行状态信息和障碍物信息,并在显示的飞行状态信息和障碍物信息的辅助下,调整无人飞行器的飞行姿态(如飞行方向、飞行速度、飞行高度等),更有把握地进行无人飞行器的避障飞行。为确保飞行辅助效果,可同步获取飞行状态信息和障碍物信息、并将同步获取的飞行状态信息和障碍物信息一起发送至显示设备进行显示。
本实施例中,显示设备对飞行状态信息进行显示,包括显示设备对无人飞行器的飞行速度矢量进行显示。因此,用户依据显示的飞行速度矢量可以直观、准确地掌握无人飞行器飞行速度的大小和方向,而非仅根据自身视觉感觉进行对无人飞行器的飞行速度进行判断,进而能够依据显示的飞行速度矢量和障碍物信息,调整无人飞行器的飞行速度的大小和方向,实现无人飞行器的避障飞行。
本实施例提供的无人飞行器的飞行辅助方法,通过获取无人飞行器的飞行状态信息和无人飞行器所在飞行场景的障碍物信息,将飞行状态信息和障碍物信息发送给显示设备,显示设备能够对飞行状态信息和障碍物信息进行显示,以通过显示的飞行状态信息(尤其是飞行速度矢量)和障碍物信息,有效地辅助用户进行无人飞行器的飞行。无飞行经验的用户在显示的飞行状态信息和障碍物信息的辅助下,能够更快地熟悉无人飞行器的飞行,有飞行经验的用户在显示的飞行状态信息和障碍物信息的辅助下,也能够更快地提升自身进行无人飞行器飞行的能力。
在一些实施例中,无人飞行器所在飞行场景中的障碍物信息包括该飞行场景中的障碍物与无人飞行器之间的相对位置。
可选的,障碍物与无人飞行器之间的相对位置可以为障碍物与无人飞行器的机体坐标系的原点之间的距离。
可选的,障碍物与无人飞行器之间的相对位置可以为障碍物与无人飞行器上一个或多个预设的关键位置的距离,例如,无人飞行器上的一个或多个关键位置可包括无人飞行器的机头、螺旋桨、机尾中的一个或多个。
可选的,可预先构建无人飞行器对应的长方体模型,障碍物与无人飞行器之间的相对位置可以包括障碍物与该长方体模型各个边或各个面的距离。
可选的,障碍物与无人飞行器之间的相对位置可以包括无人飞行器的三轴方向(即横滚轴、偏航轴和俯仰轴)与障碍物之间的距离。
在障碍物信息包括障碍物与无人飞行器之间的相对位置时,上述S203的一种可能的实现方式为:将无人飞行器的飞行速度矢量和障碍物与无人飞行器之间的相对位置发送给显示设备,显示设备能够对无人飞行器的飞行速度矢量和无人飞行器所在飞行场景中的障碍物与无人飞行器的相对位置进行显示。因此,本实施例通过对无人飞行器的飞行速度矢量和障碍物与无人飞行器之间的相对位置进行显示,为用户提供更直观的飞行状态信息和障碍物信息,提高无人飞行器的飞行辅助效果。
在一些实施例中,还可获取飞行场景的场景图像。其中,可通过无人飞行器上的拍摄装置获取飞行场景的场景图像。场景图像包括以无人飞行器为观察者的第一人称视角的场景图像,场景图像的范围与拍摄装置的视野角度有关,在此不做限制。
在获取飞行场景的场景图像后,上述S203的一种可能的实现方式为:将无人飞行器的飞行状态信息、无人飞行器所在飞行场景的障碍物信息和飞行场景的场景图像发送给显示设备,显示设备能够对场景图像进行显示、并在显示的场景图像上对飞行状态信息和障碍物信息进行显示,飞行状态信息和障碍物信息在场景图像上的显示用于向用户展示无人飞行器的飞行状态(尤其是飞行速度)以及飞行场景中的障碍物与无人飞行器之间的相对位置,以辅助用户进行无人飞行器的避障飞行。
本实施例中,显示设备接收到无人飞行器的飞行状态信息、无人飞行器所在飞行场景的障碍物信息和飞行场景的场景图像之后,在显示的场景图像上,显示飞行状态信息和障碍物与无人飞行器之间的相对位置。显示设备可以将飞行状态信息显示在场景图像上的指定位置(例如场景图像的画面中心,以便用户注意到该飞行状态信息),可以将障碍物与无人飞行器之间的相对位置显示在场景图像上相应的障碍物附近。例如,障碍物A与无人飞行器的车头的距离为10米时,可以在场景图像上的障碍物A上显示该距离。又如,当无人飞行器在穿越障碍物B中的可穿越通道(如障碍物B为桥体,障碍物B的可穿越通道为桥洞)时,可在场景图像上障碍物B的可穿越通道的各个面上,显示各个面与无人飞行器之间的距离(例如,显示桥洞的两个侧面和顶面分别于无人飞行器之间的距离)。因此,更生动、更直观地向用户展示无人飞行器的飞行状态信息和障碍物信息,提高无人飞行器的飞行辅助效果。
本实施例中,在飞行状态信息包括飞行速度矢量时,用户可以通过调整无人飞行器的飞行速度,来调整显示设备上所显示的飞行速度矢量,直至显示设备上所显示的飞行速度矢量满足自身要求。例如,在穿越飞行时,用户可以调整无人飞行器的飞行速度,使得显示设备上所显示的飞行速度矢量的方向对准场景图像中障碍物的可穿越通道,飞行速度矢量的方向对准障碍物的可穿越通道表明无人飞行器朝着障碍物的可穿越通道飞行,随着无人飞行器与可穿越通道之间的距离越近,该对准操作越准确,从而实现无人飞行器穿过障碍物的可穿越通道,有效地降低了穿越飞行的操作难度。
在一些实施例中,除障碍物与无人飞行器之间的相对位置以外,无人飞行器所在飞行场景的障碍物信息还包括飞行场景中障碍物的类型、形状、尺寸中的至少一项。
在无人飞行器所在飞行场景的障碍物信息还包括飞行场景中障碍物的类型、形状、尺寸中的至少一项时,可根据障碍物的类型、形状、尺寸中的至少一项,建立障碍物的虚拟模型,上述S203的一种可能的实现方式为:将飞行状态信息、障碍物信息和障碍物的虚拟模型发送给显示设备,显示设备能够对飞行状态信息、障碍物信息和障碍物的虚拟模型进行显示,其中,飞行状态信息、障碍物信息和障碍物的虚拟模型的显示用于向用户展示无人飞行器的飞行状态(尤其是飞行速度)、障碍物、以及障碍物与无人飞行器之间的相对位置,以辅助用户进行无人飞行器的避障飞行。
本实施例中,可根据障碍物信息中障碍物的类型、形状、尺寸中的至少一项,建立障碍物的虚拟模型。具体的,若障碍物信息除障碍物与无人飞行器之间的相对位置之外只包括障碍物的类型,则可构建符合障碍物的类型的虚拟模型,例如,在障碍物的类型为鸟时,可根据鸟的通常形状和大小构建该障碍物的虚拟模型。若障碍物信息除障碍物与无人飞行器之间的相对位置之外只包括障碍物的形状或尺寸时,则可构建符合障碍物的形状或尺寸的虚拟模型,虚拟模型的具体构建方式在此不做限制。
本实施例中,在构建障碍物的虚拟模型之后,可将飞行状态信息、障碍物与无人飞行器之间的相对位置和障碍物的虚拟模型发送给显示设备,显示设备接收到飞行状态信息、障碍物与无人飞行器之间的相对位置和障碍物的虚拟模型后,对飞行状态信息、障碍物与无人飞行器之间的相对位置和障碍物的虚拟模型进行显示,在向用户展示飞行状态信息和障碍物与无人飞行器之间的相对位置的基础上,向用户展示障碍物的虚拟模型,用户依据障碍物的虚拟模型,掌握有关障碍物的更多信息,能够更准确地控制无人飞行器避开障碍物飞行或者穿越障碍物。
在获得飞行场景的场景图像、障碍物的虚拟模型的基础上,上述S203的一种可能的实现方式为:将飞行状态信息、障碍物信息、障碍物的虚拟模型和场景图像发送给显示设备,显示设备能够在第一预设显示区域中对场景图像进行显示、并在显示的场景图像上对飞行状态信息和障碍物信息进行显示,第一预设显示区域中场景图像、飞行状态信息和障碍物信息的显示,用于向用户展示飞行场景、以及飞行场景中无人飞行器的飞行状态、障碍物和障碍物与无人飞行器之间的相对位置,显示设备能够在第二预设显示区域中对障碍物的虚拟模型进行显示,第二预设区域中虚拟模型的显示用于向用户展示飞行场景中的障碍物。
本实施例中,显示设备的显示区域可以分为两部分,一部分为第一预设显示区域,另一部分为第二预设显示区域,第一预设显示区域用于显示场景图像、飞行状态信息和障碍物信息中障碍物与无人飞行器之间的相对位置,第二预设显示区域用于显示飞行场景中障碍物的虚拟模型。例如,如图3a所示,第一预设显示区域与第二预设显示区域分别占用显示设备的不同显示区域,用户可以通过观看不同的显示区域,实现观看场景图像、飞行状态信息和障碍物信息中障碍物与无人飞行器之间的相对位置的同时,观看到飞行场景中障碍物的虚拟模型,避免了显示设备上显示的内容太过堆叠和复杂,同时使得显示内容更为炫酷。
可选的,第一预设显示区域的面积大于第二预设显示区域的面积。因此,用户可以在面积更大的第一预设显示区域观看到场景图像、飞行状态信息和障碍物与无人飞行器之间的相对位置,可以在显示面积较小的第二预设显示区域观看到障碍物的虚拟模型,以确保场景图像的显示效果,进而确保用户的第一人称视角的无人飞行器飞行感受。
在另一种可能的实现方式中,第二预设显示区域为第一预设显示区域中的部分显示区域。例如图3b所示,第一预设显示区域可以为显示设备的整个显示区域,第二预设显示区域例如为右下角的部分显示区域,相当于障碍物的虚拟模型叠加在场景图像的右下角的部分区域,障碍物的虚拟模型可能会遮挡场景图像中的部分图像。
可选的,除了在第二预设显示区域显示障碍物的虚拟模型外,也可在第二预设显示区域显示障碍物真实的三维图像,以便用户观看到障碍物的各个角度的真实情况。例如,可以获取无人飞行器的当前地理位置,从互联网上获取该当前地理位置相关的图像,在这些图像中识别障碍物,得到障碍物的三维图像;又如,还可以预先在飞行场景中的多个固定位置(如建筑物上的预设位置)布置拍摄装置,由这些拍摄装置采集到障碍物的三维图像,或者由其它一同飞行的无人飞行器获取障碍物的三维图像。
在一些实施例中,在无人飞行器的飞行状态信息包括无人飞行器的飞行速度矢量的基础上,还可根据无人飞行器的飞行速度矢量,生成飞行预测轨迹,将飞行预测轨迹发送给显示设备,显示设备能够对飞行预测轨迹进行显示,其中,飞行预测轨迹的显示用于辅助用户进行无人飞行器的飞行。
本实施例中,可假设无人飞行器在预设时长内匀速飞行,根据无人飞行器的飞行速度矢量,可计算得到无人飞行器在该预设时长内的飞行预测轨迹。将飞行预测轨迹发送给显示设备,显示设备在接收到飞行预测轨迹后,对飞行预测轨迹进行显示,以便用户掌握无人飞行器的飞行预测轨迹,并基于该飞行预测轨迹调整无人飞行器的飞行方向。用户观看到显示设备上的飞行预测轨迹,可以提前预知无人飞行器将飞向的方向、区域等,如果用户不希望无人飞行器按照该飞行预测轨迹飞行,则可对无人飞行器的飞行进行调整。
进一步的,可根据生成的飞行预测轨迹,确定无人飞行器是否存在于飞行场景中的障碍物发生碰撞的风险,若存在,则向显示设备和/或无人飞行器的控制终端(即图1中的控制终端140)发送碰撞提醒消息,以提醒用户调整无人飞行器的飞行速度,避免无人飞行器与障碍物发生碰撞。其中,可根据飞行预测轨迹是否与障碍物相交或者飞行预测轨迹与障碍物之间的最短距离是否小于预设的距离阈值,来确定无人飞行器是否存在与障碍物发生碰撞的风险。
进一步的,如果无人飞行器存在与障碍物发生碰撞的风险,则根据无人飞行器与障碍物之间的相对位置,生成飞行避障轨迹,将飞行避障轨迹发送给显示设备,显示设备能够对飞行避障轨迹进行显示。其中,飞行避障轨迹的显示用于辅助用户进行无人飞行器的避障飞行。因此,在无人飞行器存在与障碍物发生碰撞的风险的情况下,向用户提供飞行避障轨迹,以便用户控制无人飞行器按照飞行避障轨迹的提示进行飞行,避免无人飞行器与障碍物发生碰撞。其中,飞行避障轨迹可以根据无人飞行器的飞行速度矢量和无人飞行器与障碍物之间的相对位置生成,具体过程不做限制。
进一步的,在生成飞行避障轨迹后,无人飞行器中的飞行控制器(例如图1中的飞行控制器161)可控制无人飞行器按照飞行避障轨迹飞行,从而实现无人飞行器的自动避障飞行。
进一步的,在生成飞行避障轨迹后,可根据飞行避障轨迹确定目标杆量,获取控制终端的当前杆量,根据当前杆量和目标杆量,确定杆量增量,将杆量增量发送给显示设备,显示设备能够对杆量增量进行显示,其中,杆量增量的显示用于辅助用户控制无人飞行器按照飞行避障轨迹飞行。
本实施例中,可确定该飞行避障轨迹对应的无人飞行器的飞行速度矢量,再根据飞行速度矢量和杆量之间的预设换算关系,确定目标杆量,飞行速度矢量与杆量之间的换算关系在此不做限制。可从接收到的控制终端的控制指令中获得当前杆量。根据当前杆量和目标杆量之间的差值,得到杆量增量。显示设备在接收到杆量增量后对杆量增量进行显示。因此,用户可以根据显示的杆量增量在控制终端进行相应的控制操作,以使无人飞行器按照飞行避障轨迹飞行。
进一步的,如果无人飞行器存在与障碍物发生碰撞的风险,则获取无人飞行器到达与障碍物发生碰撞的位置的预计飞行时间,如果该预计飞行时间小于或等于预设的时间阈值,则控制无人飞行器刹停,从而可在来不及控制无人飞行器按照飞行避障轨迹飞行时,可及时对无人飞行器进行刹停操作,以避免无人飞行器与障碍物发生碰撞。其中,无人飞行器的预测飞行轨迹与障碍物相交的位置即无人飞行器与障碍物发生碰撞的位置,可根据无人飞行器的飞行速度矢量和无人飞行器与该位置之间的距离,确定无人飞行器达到该位置的预计飞行时间。
在一些实施例中,在无人飞行器的飞行过程中,如果检测到无人飞行器穿越飞行场景中的障碍物,则通过无人飞行器的云台(即图1中的云台120)上的拍摄装置,拍摄无人飞行器的障碍物穿越图像和/或障碍物穿越视频,将障碍物穿越图像和/或障碍物穿越视频存储在无人飞行器本地或者发送至服务器存储或者发送至无人飞行器的控制终端存储,以便用户查看。其中,可通过无人飞行器上的传感系统,检测无人飞行器是否正在穿越飞行场景中的障碍物。例如,无人飞行器在穿越桥洞时,可通过无人飞行器上的雷达装置、光线感应装置等,检测无人飞行器是否即将进入桥洞,在确定无人飞行器即将进入桥洞时,通过拍摄装置开始拍摄障碍物穿越图像和/或障碍物穿越视频。
在一些实施例中,在无人飞行器的飞行状态信息包括无人飞行器的飞行速度矢量的基础上,如果检测到无人飞行器的飞行速度矢量的方向发生变化,则控制无人飞行器的云台上的拍摄装置的拍摄方向转向飞行速度矢量的方向,控制显示设备对拍摄装置拍摄的场景图像进行显示。其中,显示设备所显示的场景图像的图像中心为无人飞行器的飞行速度矢量的方向,因此,图像中心可用于辅助用户确定无人飞行器的飞行速度矢量的方向。
本实施例中,可通过无人飞行器的云台转动,使得云台上的拍摄装置的拍摄方向与无人飞行器的飞行速度矢量的方向保持一致,由于拍摄装置备拍摄的场景图像为三维图像,在拍摄装置的拍摄方向与无人飞行速度的飞行速度矢量的方向一致的情况下,拍摄设备所拍摄得到的场景图像的图像中心指向无人飞行器的飞行速度矢量的方向。例如,受到风速影响,无人飞行器的飞行速度矢量向右偏移,云台随之向右转动,使得云台上的拍摄设备的拍摄方向与飞行速度矢量的方向一致,用户会明显感受到显示设备所显示的场景图像(或者场景图像所在的显示画面)发生移动,因此,用户在感受到显示设备所显示的场景图像发生移动时,可通过场景图像的图像中心,确定无人飞行器的飞行速度矢量的方向。例如,在穿越障碍物时,用户可以通过在遥控终端调整无人飞行器的飞行速度矢量,使得将显示图像所显示的场景图像的图像中心对准障碍物的可穿越通道,随着无人飞行器与可穿越通道的距离越近,用户的调整过程越准确,最终实现无人飞行器穿越该可穿越通道飞行。
图4为本申请另一实施例提供的无人飞行器的飞行辅助方法的流程图。如图4所示,该方法应用于无人飞行器的显示设备,该方法可以包括:
S401、获取无人飞行器的飞行状态信息,无人飞行器的飞行状态信息包括无人飞行器的飞行速度矢量。
其中,飞行速度矢量用于指示无人飞行器的飞行速度的大小和方向。
本实施例中,可接收来自无人飞行器的飞行状态信息。例如,无人飞行器可将自身的飞行状态信息直接发送至显示设备,也可以将自身的飞行状态信息经由信号转发设备(例如,中继器)发送至显示设备。其中,飞行状态信息的详细内容可参见S201的相关描述,不再赘述。
S402、获取无人飞行器所在飞行场景的障碍物信息。
本实施例中,可接收来自无人飞行器的无人飞行器所在飞行场景的障碍物信息。例如,无人飞行器可将自身所在飞行场景的障碍物信息直接发送至显示设备,也可以将自身所在飞行场景的障碍物信息经由信号转发设备(例如,中继器)发送至显示设备。其中,障碍物信息的详细内容可参见S202的相关描述,不再赘述。
需要指出的是,上述操作S401和S402的执行顺序可以互换。
S403、对飞行状态信息和障碍物信息进行显示,飞行状态信息和障碍物信息的显示用于辅助用户进行无人飞行器的飞行。
本实施例中,显示设备在接收到无人飞行器的飞行状态信息和障碍物信息之后,对飞行状态信息和障碍物信息进行显示,相应地,用户可以通过显示设备观看到飞行状态信息和障碍物信息,能够在显示的飞行状态信息和障碍物信息的辅助下,调整无人飞行器的飞行姿态,更有把握地进行无人飞行器的避障飞行。为确保飞行辅助效果,可将同一时刻获得的飞行状态信息和障碍物信息进行同步显示。
本实施例中,显示设备对飞行状态信息进行显示,包括显示设备对无人飞行器的飞行速度矢量进行显示。因此,用户依据显示的飞行速度矢量可以直观、准确地掌握无人飞行器飞行速度的大小和方向,而非仅根据自身视觉感觉进行对无人飞行器的飞行速度进行判断,进而能够依据显示的飞行速度矢量和障碍物信息,调整无人飞行器的飞行速度的大小和方向,实现无人飞行器的避障飞行。
本实施例提供的无人飞行器的飞行辅助方法,通过显示的飞行状态信息和障碍物信息,有效地辅助用户进行无人飞行器的飞行。无飞行经验的用户在显示的飞行状态信息(尤其是飞行速度矢量)和障碍物信息的辅助下,能够更快地熟悉无人飞行器的飞行,有飞行经验的用户在显示的飞行状态信息和障碍物信息的辅助下,也能够更快地提升自身进行无人飞行器飞行的能力。
在一些实施例中,无人飞行器所在飞行场景中的障碍物信息包括该飞行场景中的障碍物与无人飞行器之间的相对位置。可选的,障碍物与无人飞行器之间的相对位置可以为障碍物与无人飞行器的机体坐标系的原点之间的距离;或者,障碍物与无人飞行器之间的相对位置可以为障碍物与无人飞行器上一个或多个预设的关键位置的距离,例如,无人飞行器上的一个或多个关键位置可包括无人飞行器的机头、螺旋桨、机尾中的一个或多个;或者,可预先构建无人飞行器对应的长方体模型,障碍物与无人飞行器之间的相对位置可包括障碍物与该长方体模型各个边或各个面的距离;或者,障碍物与无人飞行器之间的相对位置可包括无人飞行器的三轴方向(即横滚轴、偏航轴和俯仰轴)与障碍物之间的距离。
在一些实施例中,获取无人飞行器所在飞行场景的场景图像。其中,可接收来自无人飞行器的飞行场景的场景图像。
在获得场景图像、飞行状态信息和障碍物信息的基础上,上述S403的一种可能的实现方式为:对场景图像进行显示、并在显示的场景图像上对飞行状态信息和障碍物信息进行显示,飞行状态信息和障碍物信息在场景图像上的显示用于向用户展示无人飞行器的飞行状态以及飞行场景中的障碍物与无人飞行器之间的相对位置,以辅助用户进行无人飞行器的避障飞行。
在一些实施例中,获取无人飞行器所在飞行场景中的障碍物的虚拟模型。其中,可接收无人飞行器发送的障碍物的虚拟模型。
在获得障碍物的虚拟模型、飞行状态信息和障碍物信息的基础上,上述S403的一种可能的实现方式为:对飞行状态信息、障碍物信息和障碍物的虚拟模型进行显示,其中,飞行状态信息、障碍物信息和障碍物的虚拟模型的显示用于向用户展示无人飞行器的飞行状态、障碍物、以及障碍物于无人飞行器之间的相对位置,以辅助用户进行无人飞行器的避障飞行。
可选的,获取的障碍物信息还可包括无人飞行器所在飞行场景中障碍物的类型、形状、尺寸中的至少一项。因此,显示设备还可根据障碍物的类型、形状、尺寸中的至少一项,构建障碍物的虚拟模型。
在获得飞行场景的场景图像、障碍物的虚拟模型、飞行状态信息和障碍物信息的基础上,上述S303的一种可能的实现方式为:在第一预设显示区域中对场景图像进行显示、并在显示的场景图像上对飞行状态信息和障碍物信息进行显示,第一预设显示区域中场景图像、飞行状态信息和障碍物信息的显示,用于向用户展示飞行场景、以及飞行场景中无人飞行器的飞行状态、障碍物和障碍物与无人飞行器之间的相对位置;在第二预设显示区域中对障碍物的虚拟模型进行显示,第二预设区域中虚拟模型的显示用于向用户展示飞行场景中的障碍物。其中,第一预设显示区域和第二预设显示区域还可参照上述相应实施例中涉及第一预设显示区域和第二预设区域的内容,不再赘述。
在一些实施例中,飞行速度矢量为无人飞行器在三维空间的飞行速度的大小和方向,为提高飞行速度矢量在显示设备上的显示效果,可将飞行速度矢量投影至二维的坐标平面,得到飞行速度矢量在该坐标平面上的投影,对该投影进行显示。其中,投影的显示用于辅助用户确定飞行速度矢量的方向,例如,投影指向坐标平面的右上方时,表示无人飞行器向前且向右飞行。投影的长度变化反映飞行速度矢量的大小变化,投影的方向变化反映飞行速度矢量的方向变化。
可选的,坐标平面包括无人飞行器的机体坐标系的YOZ平面、或者大地坐标系的YOZ平面,以贴合用户的方向判断习惯。
在一种可能的实现方式中,在对投影进行显示的过程中,可通过预设的矢量标记,对飞行速度矢量在坐标平面上的投影进行显示,其中,投影为矢量标记的中心与坐标平面上坐标原点之间的连接,矢量标记的中心用于辅助用户确定飞行速度矢量的方向。
本实施例中,矢量标记为预设图形,投影随着无人飞行器的飞行速度矢量发生变化时,包括投影的长度变化、投影的方向变化,矢量标记在坐标平面的位置也会发生变化。用户可根据矢量标记的位置变化或者矢量标记的中心的位置变化,掌握飞行速度矢量的变化。因此,通过矢量标记使得飞行速度矢量的变化更为明显,使得飞行速度矢量的显示更为直观。
可选的,由于飞行速度矢量较小时飞行速度矢量的相对速度变化较大(例如,加速度较大),飞行速度矢量较为不稳定,矢量标记在坐标平面频繁变化,影响用户的观感体验,反而不利用辅助用户进行无人飞行器的飞行。因此,在飞行速度矢量小于等于预设的第一速度阈值的情况下,矢量标记可保持在坐标原点不变。
可选的,矢量标记的尺寸随着飞行速度矢量的增大而变小,从而用户能够根据显示的矢量标记的尺寸变化,明显体会无人飞行器的飞行速度的变化。进一步的,在飞行速度矢量小于等于预设的第二速度阈值的情况下,矢量标记的尺寸为预设的最大尺寸,在飞行速度矢量大于等于预设的第三速度阈值时,矢量标记的尺寸为预设的最小尺寸,从而避免矢量标记的尺寸过大而占据较大的显示区域,同时避免矢量标记的尺寸过小而不易被用户观察到。
可选的,矢量标记为矢量球或者矢量三角形,其中,矢量球是指形状为球形的矢量标记,矢量三角形是指形状为三角形的矢量标记。
此外,矢量球也可为其它形状,例如图5a、图5b和图5c所示的圆形,可将该矢量标记称为矢量圆。在图5a、图5b和图5c中,两条虚线分别表示坐标平面的X坐标轴和Y坐标轴,矢量圆的圆心与该坐标轴的原点的连线为无人飞行器的飞行速度矢量的投影。当飞行速度矢量小于等于第一速度阈值时,如图5a所示,矢量圆位于坐标原点,当飞行速度矢量大于第一速度阈值时,如图5b和图5c所示,矢量圆随着飞行速度矢量的变化而变化,且投影越长矢量圆越小,投影越短矢量圆越大,也即飞行速度矢量越大矢量圆越小,飞行速度矢量越小矢量圆越大。
本实施例中,用户在进行无人飞行器的飞行时,可通过在控制终端调整无人飞行器的飞行速度,使得矢量标记的中心对准障碍物的可穿越通道,例如使得将图5a、图5b和图5c中的矢量圆的圆心对准桥洞,随着无人飞行器与可穿越通道之间的距离越近,该对准操作越准确。在对准时,表明无人飞行器的飞行速度矢量的方向指向可穿越通道,进而表明无人飞行器朝着可穿越通道飞行。因此,基于显示的飞行速度矢量和障碍物信息,降低了无人飞行器穿越飞行的操作难度,有效地辅助用户进行无人飞行器的飞行。
在一些实施例中,还可获取无人飞行器的飞行预测轨迹并显示,其中,无人飞行器的飞行预测轨迹的显示用于辅助用户进行无人飞行器的飞行。
例如,显示设备可通过一条或多条曲线或直线的方式显示飞行预测轨迹;或者,通过加深画面颜色或者添加虚线等方式框选出屏幕上相应区域(如长方形区域、弧形区域等),通过框选的区域来表示飞行预测轨迹;又或者,通过多个节点(多个节点连接起来构成飞行预测轨迹)来显示飞行预测轨迹。因此,用户可观察到显示设备所显示的飞行预测轨迹,如果用户不希望无人飞行器按照该飞行预测轨迹飞行,则可对无人飞行器的飞行进行调整。
在一些实施例中,还可获取无人飞行器的飞行避障轨迹并显示,其中,无人飞行器的飞行避障轨迹用于辅助用户进行无人飞行器的避障飞行。飞行避障轨迹的显示方式可参照飞行预测轨迹的显示方式,在此不再赘述。
在一些实施例中,还可获取飞行避障轨迹对应的杆量增量,对获取的杆量增量进行显示。其中,杆量增量的显示用于辅助用户控制无人飞行器按照飞行避障轨迹飞行。例如,显示设备可以采用文字或者图像方式对杆量增量进行显示。在具体实现过程中,示例性的,还可以在图像上显示杆量增量和打杆的方向,以辅助用户控制无人飞行器进行飞行。
图4所提供的本申请实施例的详细内容可以参见图2中涉及显示设备的内容,在此不进行赘述。
需要说明的是,上述任一实施例可以单独实施,也可以是上述各实施例中至少两个任意结合来实施,对此不做限定。
本申请实施例中还提供了一种计算机可读存储介质,该可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如上述任一对应实施例中的无人飞行器的飞行辅助方法的部分或全部步骤。
本申请实施例还提供了一种包含指令的计算机程序产品,当所述指令在计算机上运行时,使得所述计算机执行如上述任一对应实施例中的无线图像传输装置的控制方法的部分或全部步骤。
图6为本申请一实施例提供的无人飞行器的结构示意图,如图6所示,本实施例的无人飞行器600可以包括:处理器601和存储器602。可选的,无人飞行器600还包括拍摄装置603。其中,处理器601、存储器602、拍摄装置603例如通过通信总线连接。
存储器602用于存储指令,处理器601调用存储器602存储的指令用于执行以下操作:获取无人飞行器的飞行状态信息,飞行状态信息包括飞行速度矢量,飞行速度矢量用于指示无人飞行器的飞行速度的大小和方向;获取无人飞行器所在飞行场景的障碍物信息;将飞行状态信息和障碍物信息发送给显示设备,显示设备能够对飞行状态信息和障碍物信息进行显示,飞行状态信息和障碍物信息的显示用于辅助用户进行无人飞行器的飞行。
在一些实施例中,障碍物信息包括飞行场景中的障碍物与无人飞行器之间的相对位置。
在一些实施例中,飞行场景中的障碍物与无人飞行器之间的相对位置包括无人飞行器的三轴方向与障碍物之间的距离。
在一些实施例中,障碍物信息还包括飞行场景中障碍物的类型、形状、尺寸中的至少一项。
在一些实施例中,拍摄装置603,用于:
获取飞行场景的场景图像;
处理器601,具体用于:
将飞行状态信息、障碍物信息和场景图像发送给显示设备,显示设备能够对场景图像进行显示、并在显示的场景图像上对飞行状态信息和障碍物信息进行显示,飞行状态信息和障碍物信息在场景图像上的显示用于向用户展示无人飞行器的飞行状态、以及飞行场景中的障碍物与无人飞行器之间的相对位置,以辅助用户进行无人飞行器的避障飞行。
在一些实施例中,处理器601在将所述飞行状态信息和所述障碍物信息发送给显示设备之前,还用于:
根据障碍物信息,建立飞行场景中障碍物的虚拟模型;
处理器601将所述飞行状态信息和所述障碍物信息发送给显示设备时,具体用于:
将飞行状态信息、障碍物信息和障碍物的虚拟模型发送给显示设备,显示设备能够对飞行状态信息、障碍物信息和障碍物的虚拟模型进行显示,飞行状态信息、障碍物信息和障碍物的虚拟模型的显示用于向用户展示无人飞行器的飞行状态、障碍物、以及障碍物与无人飞行器之间的相对位置,以辅助用户进行无人飞行器的避障飞行。
在一些实施例中,拍摄装置603,用于:
获取飞行场景的场景图像;
处理器601,具体用于:
将飞行状态信息、障碍物信息、障碍物的虚拟模型和场景图像发送给显示设备,显示设备能够在第一预设显示区域中对场景图像进行显示、并在显示的场景图像上对飞行状态信息和障碍物信息进行显示,第一预设显示区域中场景图像、飞行状态信息和障碍物信息的显示,用于向用户展示飞行场景、以及飞行场景中无人飞行器的飞行状态、障碍物和障碍物与无人飞行器之间的相对位置,显示设备能够在第二预设显示区域中对障碍物的虚拟模型进行显示,第二预设显示区域中虚拟模型的显示用于向用户展示飞行场景中的障碍物。
在一些实施例中,处理器601,还用于:
根据无人飞行器的飞行速度矢量,生成飞行预测轨迹;将飞行预测轨迹发送给显示设备,显示设备能够对飞行预测轨迹进行显示,飞行预测轨迹的显示用于辅助用户进行无人飞行器的飞行。
在一些实施例中,处理器601,还用于:
根据飞行预测轨迹,确定无人飞行器是否存在于飞行场景中的障碍物发生碰撞的风险,若存在,则向显示设备和/或无人飞行器的控制终端发送碰撞提醒消息。
在一些实施例中,处理器601,还用于:
如果无人飞行器存在与障碍物发生碰撞的风险,则根据无人飞行器与障碍物之间的相对位置,生成飞行避障轨迹;将飞行避障轨迹发送给显示设备,显示设备能够对飞行避障轨迹进行显示,飞行避障轨迹的显示用于辅助用户进行无人飞行器的避障飞行。
在一些实施例中,处理器601,还用于:
控制无人飞行器按照飞行避障轨迹进行飞行。
在一些实施例中,处理器601,还用于:
根据飞行避障轨迹,确定目标杆量;获取控制终端的当前杆量;根据当前杆量和目标杆量,确定杆量增量;将杆量增量发送给显示设备,显示设备能够对杆量增量进行显示,杆量增量的显示用于辅助用户进行无人飞行器的避障飞行。
在一些实施例中,处理器601,还用于:
如果无人飞行器存在于障碍物发生碰撞的风险,则获取无人飞行器到达与障碍物发生碰撞的位置的预计飞行时间;如果预计飞行时间小于或等于预设的时间阈值,则控制无人飞行器刹停。
在一些实施例中,处理器601,还用于:
如果检测到无人飞行器穿越飞行场景中的障碍物,则向拍摄装置603发送拍摄指令;
拍摄装置603,还用于:
响应于处理器601的拍摄指令,拍摄无人飞行器的障碍物穿越图像和/或障碍物穿越视频。
其中,障碍物穿越图像和/或障碍物穿越视频可存储在本地或者存储在服务器或者存储在无人飞行器的控制终端。
在一些实施例中,处理器601,还用于:
如果检测到无人飞行器的飞行速度矢量的方向发生变化,则控制无人飞行器的云台上的拍摄装置603的拍摄方向转向飞行速度矢量的方向;将拍摄装置603拍摄的场景图像发送给显示设备,显示设备能够对拍摄装置603拍摄的场景图像进行显示,显示设备所显示的场景图像的图像中心为无人飞行器的飞行速度矢量的方向,图像中心用于辅助用户确定无人飞行器的飞行速度矢量的方向。
可选的,无人飞行器600还包括通信装置,通信装置用于与显示设备、控制终端进行通信,例如:向显示设备发送飞行状态信息、障碍物信息、障碍物模型、杆量增量等,接收控制终端的控制指令。
可选的,无人飞行器600还包括传感装置,传感装置用于获取无人飞行器的飞行状态信息,传感装置比如为图1中的传感系统162。
本实施例的装置,可以用于执行图2所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图7为本申请一实施例提供的显示设备700的结构示意图,如图7所示,本实施例的显示设备700包括:处理器701和显示装置702。其中,处理器701和显示装置702例如通过通信总线连接。
处理器701,用于获取无人飞行器的飞行状态信息,获取无人飞行器所在飞行场景的障碍物信息,飞行状态信息包括飞行速度矢量,飞行速度矢量用于指示无人飞行器的飞行速度的大小和方向;
显示装置702,用于对飞行状态信息和障碍物信息进行显示,飞行状态信息和障碍物信息的显示用于辅助用户进行无人飞行器的飞行。
在一些实施例中,障碍物信息包括飞行场景中的障碍物与无人飞行器之间的相对位置。
在一些实施例中,飞行场景中的障碍物与无人飞行器之间的相对位置包括无人飞行器的三轴方向与障碍物之间的距离。
在一些实施例中,障碍物信息还包括飞行场景中障碍物的类型、形状、尺寸中的至少一项。
在一些实施例中,处理器701,还用于:
获取飞行场景的场景图像;
显示装置702,具体用于:
对场景图像进行显示、并在显示的场景图像上对飞行状态信息和障碍物信息进行显示,飞行状态信息和障碍物信息在场景图像上的显示用于向用户展示无人飞行器的飞行状态、以及飞行场景中的障碍物与无人飞行器之间的相对位置,以辅助用户进行无人飞行器的避障飞行。
在一些实施例中,处理器701,还用于:
获取飞行场景中障碍物的虚拟模型;
显示装置702,具体用于:
对飞行状态信息、障碍物信息和障碍物的虚拟模型进行显示,飞行状态信息、障碍物信息和障碍物的虚拟模型的显示用于向用户展示无人飞行器的飞行状态、障碍物、以及障碍物与无人飞行器之间的相对位置,以辅助用户进行无人飞行器的避障飞行。
在一些实施例中,处理器701,还用于:
根据障碍物信息,建立飞行场景中障碍物的虚拟模型;
显示装置702,具体用于:
对飞行状态信息、障碍物信息和障碍物的虚拟模型进行显示,飞行状态信息、障碍物信息和障碍物的虚拟模型的显示用于向用户展示无人飞行器的飞行状态、障碍物、以及障碍物与无人飞行器之间的相对位置,以辅助用户进行无人飞行器的避障飞行。
在一些实施例中,处理器701,还用于:
获取飞行场景的场景图像;
显示装置702,具体用于:
在第一预设显示区域中对场景图像进行显示、并在显示的场景图像上对飞行状态信息和障碍物信息进行显示,第一预设显示区域中场景图像、飞行状态信息和障碍物信息的显示,用于向用户展示飞行场景、以及飞行场景中无人飞行器的飞行状态、障碍物和障碍物与无人飞行器之间的相对位置;
在第二预设显示区域中对障碍物的虚拟模型进行显示,第二预设显示区域中虚拟模型的显示用于向用户展示飞行场景中的障碍物。
在一些实施例中,处理器701,还用于:
获取飞行速度矢量在预设的坐标平面上的投影;
显示装置702,具体用于:
对投影进行显示,投影的显示用于辅助用户确定飞行速度矢量的方向。
在一些实施例中,坐标平面包括无人飞行器的机体坐标系的YOZ平面、或者大地坐标系的YOZ平面。
在一些实施例中,显示装置702,具体用于:
通过预设的矢量标记,对飞行速度矢量在坐标平面上的投影进行显示,投影为矢量标记的中心与所坐标平面上坐标原点之间的连线,矢量标记的中心用于辅助用户确定飞行速度矢量的方向。
在一些实施例中,在飞行速度矢量小于等于预设的第一速度阈值的情况下,矢量标记位于坐标原点。
在一些实施例中,矢量标记的尺寸随着飞行速度矢量的增大而减小。
在一些实施例中,在飞行速度矢量小于等于预设的第二速度阈值的情况下,矢量标记的尺寸为预设的最大尺寸;在飞行速度矢量大于等于预设的第三速度阈值的情况下,矢量标记的尺寸为预设的最小尺寸。
在一些实施例中,矢量标记为矢量球或者矢量三角形。
在一些实施例中,处理器701,还用于:
获取无人飞行器的飞行预测轨迹;
显示装置702,还用于:
对飞行预测轨迹进行显示,飞行预测轨迹的显示用于辅助用户进行无人飞行器的飞行。
在一些实施例中,处理器701,还用于:
获取无人飞行器的飞行避障轨迹;
显示装置702,还用于:
对飞行避障轨迹进行显示,飞行避障轨迹用于辅助用户进行无人飞行器的避障飞行。
在一些实施例中,处理器701,还用于:
获取飞行避障轨迹对应的杆量增量;
显示装置702,还用于:
对杆量增量进行显示,杆量增量的显示用于辅助用户控制无人飞行器按照飞行避障轨迹飞行。
可选的,显示设备700还包括通信装置,通信装置用于与无人飞行器进行通信,例如用于接收无人飞行器发送的飞行状态信息、障碍物信息、障碍物模型、杆量增量等。
可选的,显示设备700还包括存储器,存储器用于存储计算机程序,处理器701从存储器中调用计算机程序时实现上述各实施例涉及显示设备的部分或全部步骤。
本实施例的装置,可以用于执行图4所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图8为本申请一实施例提供的芯片800的结构示意图,如图8所示,,芯片800可以包括:收发器801、存储器802和处理器803,其中,收发器801、存储器802和处理器803例如通过总线连接。
其中,收发器801,用于数据收发。存储器802,用于存储程序指令。处理器803,用于调用存储器802中的程序指令并根据收发器802的接收数据,执行上述任一对应实施例中的无人飞行器的飞行辅助方法的部分或全部步骤,其实现原理和技术效果类似,此处不再赘述。
图9为本申请一实施例提供的无人飞行系统900的结构示意图,如图9所示,无人飞行系统900包括:无人飞行器901、显示设备902以及控制终端903。其中,无人飞行器901分别与显示设备902、控制终端903连接,显示设备902可以为独立的设备,也可以集成在控制终端903上。其中,无人飞行器901可以执行图6所示装置实施例中无人飞行器的相关操作,显示设备902可以执行图7所示装置实施例中显示设备的相关操作,其实现原理和技术效果类似,此处不再赘述。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者通过计算机可读存储介质进行传输。计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如,固态硬盘(solid state disk,SSD))等。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (69)

1.一种无人飞行器的飞行辅助方法,应用于无人飞行器,其特征在于,所述方法包括:
获取无人飞行器的飞行状态信息,所述飞行状态信息包括飞行速度矢量,所述飞行速度矢量用于指示所述无人飞行器的飞行速度的大小和方向;
获取所述无人飞行器所在飞行场景的障碍物信息;
将所述飞行状态信息和所述障碍物信息发送给显示设备,所述显示设备能够对所述飞行状态信息和所述障碍物信息进行显示,所述飞行状态信息和所述障碍物信息的显示用于辅助用户进行所述无人飞行器的飞行。
2.根据权利要求1所述的方法,其特征在于,所述障碍物信息包括所述飞行场景中的障碍物与所述无人飞行器之间的相对位置。
3.根据权利要求2所述的方法,其特征在于,所述飞行场景中的障碍物与所述无人飞行器之间的相对位置包括所述无人飞行器的三轴方向与所述障碍物之间的距离。
4.根据权利要求2或3所述的方法,其特征在于,所述障碍物信息还包括所述飞行场景中障碍物的类型、形状、尺寸中的至少一项。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:
获取所述飞行场景的场景图像;
所述将所述飞行状态信息和所述障碍物信息发送给显示设备,包括:
将所述飞行状态信息、所述障碍物信息和所述场景图像发送给所述显示设备,所述显示设备能够对所述场景图像进行显示、并在显示的所述场景图像上对所述飞行状态信息和所述障碍物信息进行显示,所述飞行状态信息和所述障碍物信息在所述场景图像上的显示用于向所述用户展示所述无人飞行器的飞行状态、以及所述飞行场景中的障碍物与所述无人飞行器之间的相对位置,以辅助所述用户进行所述无人飞行器的避障飞行。
6.根据权利要求1-4任一项所述的方法,其特征在于,所述获取所述无人飞行器所在飞行场景的障碍物信息之后,所述方法还包括:
根据所述障碍物信息,建立所述飞行场景中障碍物的虚拟模型;
所述将所述飞行状态信息和所述障碍物信息发送给显示设备,包括:
将所述飞行状态信息、所述障碍物信息和所述障碍物的虚拟模型发送给所述显示设备,所述显示设备能够对所述飞行状态信息、所述障碍物信息和所述障碍物的虚拟模型进行显示,所述飞行状态信息、所述障碍物信息和所述障碍物的虚拟模型的显示用于向所述用户展示所述无人飞行器的飞行状态、所述障碍物、以及所述障碍物与所述无人飞行器之间的相对位置,以辅助所述用户进行所述无人飞行器的避障飞行。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
获取所述飞行场景的场景图像;
所述将所述飞行状态信息、所述障碍物信息和所述障碍物的虚拟模型发送给所述显示设备,包括:
将所述飞行状态信息、所述障碍物信息、所述障碍物的虚拟模型和所述场景图像发送给所述显示设备,所述显示设备能够在第一预设显示区域中对所述场景图像进行显示、并在显示的所述场景图像上对所述飞行状态信息和所述障碍物信息进行显示,所述第一预设显示区域中所述场景图像、所述飞行状态信息和所述障碍物信息的显示,用于向所述用户展示所述飞行场景、以及所述飞行场景中所述无人飞行器的飞行状态、所述障碍物和所述障碍物与所述无人飞行器之间的相对位置,所述显示设备能够在第二预设显示区域中对所述障碍物的虚拟模型进行显示,所述第二预设显示区域中所述虚拟模型的显示用于向所述用户展示所述飞行场景中的障碍物。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述方法还包括:
根据所述无人飞行器的飞行速度矢量,生成飞行预测轨迹;
将所述飞行预测轨迹发送给所述显示设备,所述显示设备能够对所述飞行预测轨迹进行显示,所述飞行预测轨迹的显示用于辅助所述用户进行所述无人飞行器的飞行。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
根据所述飞行预测轨迹,确定所述无人飞行器是否存在与所述飞行场景中的障碍物发生碰撞的风险,若存在,则向所述显示设备和/或所述无人飞行器的控制终端发送碰撞提醒消息。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
如果所述无人飞行器存在与所述障碍物发生碰撞的风险,则根据所述无人飞行器与所述障碍物之间的相对位置,生成飞行避障轨迹;
将所述飞行避障轨迹发送给所述显示设备,所述显示设备能够对所述飞行避障轨迹进行显示,所述飞行避障轨迹的显示用于辅助所述用户进行所述无人飞行器的避障飞行。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
控制所述无人飞行器按照所述飞行避障轨迹进行飞行。
12.根据权利要求10所述的方法,其特征在于,所述方法还包括:
根据所述飞行避障轨迹,确定目标杆量;
获取所述控制终端的当前杆量;
根据所述当前杆量和所述目标杆量,确定杆量增量;
将所述杆量增量发送给所述显示设备,所述显示设备能够对所述杆量增量进行显示,所述杆量增量的显示用于辅助所述用户控制所述无人飞行按照所述飞行避障轨迹飞行。
13.根据权利要求9-12任一项所述的方法,其特征在于,所述方法还包括:
如果所述无人飞行器存在与所述障碍物发生碰撞的风险,则获取所述无人飞行器到达与所述障碍物发生碰撞的位置的预计飞行时间;
如果所述预计飞行时间小于或等于预设的时间阈值,则控制所述无人飞行器刹停。
14.根据权利要求1-13任一项所述的方法,其特征在于,所述方法还包括:
如果检测到所述无人飞行器穿越所述飞行场景中的障碍物,则通过所述无人飞行器的云台上的拍摄装置,拍摄所述无人飞行器的障碍物穿越图像和/或障碍物穿越视频;
将所述障碍物穿越图像和/或所述障碍物穿越视频存储在本地或者发送给服务器或者发送给所述无人飞行器的控制终端,所述服务器和所述控制终端能够对所述障碍物穿越图像和/或所述障碍物穿越视频进行存储。
15.根据权利要求1-14任一项所述的方法,其特征在于,所述方法还包括:
如果检测到所述无人飞行器的飞行速度矢量的方向发生变化,则控制所述无人飞行器的云台上的拍摄装置的拍摄方向转向所述飞行速度矢量的方向;
将所述拍摄装置拍摄的场景图像发送给所述显示设备,所述显示设备能够对所述拍摄装置拍摄的场景图像进行显示,所述显示设备所显示的场景图像的图像中心为所述无人飞行器的飞行速度矢量的方向,所述图像中心用于辅助所述用户确定所述无人飞行器的飞行速度矢量的方向。
16.一种无人飞行器的飞行辅助方法,应用于无人飞行器的显示设备,其特征在于,所述方法包括:
获取无人飞行器的飞行状态信息,所述飞行状态信息包括飞行速度矢量,所述飞行速度矢量用于指示所述无人飞行器的飞行速度的大小和方向;
获取所述无人飞行器所在飞行场景的障碍物信息;
对所述飞行状态信息和所述障碍物信息进行显示,所述飞行状态信息和所述障碍物信息的显示用于辅助用户进行所述无人飞行器的飞行。
17.根据权利要求16所述的方法,其特征在于,所述障碍物信息包括所述飞行场景中的障碍物与所述无人飞行器之间的相对位置。
18.根据权利要求17所述的方法,其特征在于,所述飞行场景中的障碍物与所述无人飞行器之间的相对位置包括所述无人飞行器的三轴方向与所述障碍物之间的距离。
19.根据权利要求17或18所述的方法,其特征在于,所述障碍物信息还包括所述飞行场景中障碍物的类型、形状、尺寸中的至少一项。
20.根据权利要求16-19任一项所述的方法,其特征在于,所述方法还包括:
获取所述飞行场景的场景图像;
所述对所述飞行状态信息和所述障碍物信息进行显示,包括:
对所述场景图像进行显示、并在显示的所述场景图像上对所述飞行状态信息和所述障碍物信息进行显示,所述飞行状态信息和所述障碍物信息在场景图像上的显示用于向所述用户展示所述无人飞行器的飞行状态、以及所述飞行场景中的障碍物与所述无人飞行器之间的相对位置,以辅助所述用户进行所述无人飞行器的避障飞行。
21.根据权利要求16-19任一项所述的方法,其特征在于,所述获取所述无人飞行器所在飞行场景的障碍物信息之后,所述方法还包括:
获取所述飞行场景中障碍物的虚拟模型;
所述对所述飞行状态信息和所述障碍物信息进行显示,包括:
对所述飞行状态信息、所述障碍物信息和所述障碍物的虚拟模型进行显示,所述飞行状态信息、所述障碍物信息和所述障碍物的虚拟模型的显示用于向所述用户展示所述无人飞行器的飞行状态、所述障碍物、以及所述障碍物与所述无人飞行器之间的相对位置,以辅助所述用户进行所述无人飞行器的避障飞行。
22.根据权利要求16-19任一项所述的方法,其特征在于,所述获取所述无人飞行器所在飞行场景的障碍物信息之后,所述方法还包括:
根据所述障碍物信息,建立所述飞行场景中障碍物的虚拟模型;
所述对所述飞行状态信息和所述障碍物信息进行显示,包括:
对所述飞行状态信息、所述障碍物信息和所述障碍物的虚拟模型进行显示,所述飞行状态信息、所述障碍物信息和所述障碍物的虚拟模型的显示用于向所述用户展示所述无人飞行器的飞行状态、所述障碍物、以及所述障碍物与所述无人飞行器之间的相对位置,以辅助所述用户进行所述无人飞行器的避障飞行。
23.根据权利要求21或22所述的方法,其特征在于,所述方法还包括:
获取所述飞行场景的场景图像;
所述对所述飞行状态信息、所述障碍物信息和所述虚拟模型进行显示,包括:
在第一预设显示区域中对所述场景图像进行显示、并在显示的所述场景图像上对所述飞行状态信息和所述障碍物信息进行显示,所述第一预设显示区域中所述场景图像、所述飞行状态信息和所述障碍物信息的显示,用于向所述用户展示所述飞行场景、以及所述飞行场景中所述无人飞行器的飞行状态、所述障碍物和所述障碍物与所述无人飞行器之间的相对位置;
在第二预设显示区域中对所述障碍物的虚拟模型进行显示,所述第二预设显示区域中所述虚拟模型的显示用于向所述用户展示所述飞行场景中的障碍物。
24.根据权利要求16-23任一项所述的方法,其特征在于,对所述飞行状态信息进行显示,包括:
获取所述飞行速度矢量在预设的坐标平面上的投影;
对所述投影进行显示,所述投影的显示用于辅助所述用户确定所述飞行速度矢量的方向。
25.根据权利要求24所述的方法,其特征在于,所述坐标平面包括所述无人飞行器的机体坐标系的YOZ平面、或者大地坐标系的YOZ平面。
26.根据权利要求24或25所述的方法,其特征在于,所述对所述投影进行显示,包括:
通过预设的矢量标记,对所述飞行速度矢量在所述坐标平面上的投影进行显示,所述投影为所述矢量标记的中心与所述坐标平面上坐标原点之间的连线,所述矢量标记的中心用于辅助所述用户确定所述飞行速度矢量的方向。
27.根据权利要求26所述的方法,其特征在于,在所述飞行速度矢量小于等于预设的第一速度阈值的情况下,所述矢量标记位于所述坐标原点。
28.根据权利要求26或27所述的方法,其特征在于,所述矢量标记的尺寸随着所述飞行速度矢量的增大而减小。
29.根据权利要求26-28任一项所述的方法,其特征在于,在所述飞行速度矢量小于等于预设的第二速度阈值的情况下,所述矢量标记的尺寸为预设的最大尺寸;在所述飞行速度矢量大于等于预设的第三速度阈值的情况下,所述矢量标记的尺寸为预设的最小尺寸。
30.根据权利要求26-29任一项所述的方法,其特征在于,所述矢量标记为矢量球或者矢量三角形。
31.根据权利要求16-30任一项所述的方法,其特征在于,所述方法还包括:
获取所述无人飞行器的飞行预测轨迹并显示,所述飞行预测轨迹的显示用于辅助所述用户进行所述无人飞行器的飞行。
32.根据权利要求16-31任一项所述的方法,其特征在于,所述方法还包括:
获取所述无人飞行器的飞行避障轨迹并显示,所述飞行避障轨迹用于辅助所述用户进行所述无人飞行器的避障飞行。
33.根据权利要求32所述的方法,其特征在于,所述方法还包括:
获取所述飞行避障轨迹对应的杆量增量;
对所述杆量增量进行显示,所述杆量增量的显示用于辅助所述用户控制所述无人飞行器按照所述飞行避障轨迹飞行。
34.一种无人飞行器,其特征在于,包括:处理器和存储器,所述存储器用于存储指令,所述处理器调用所述存储器存储的指令用于执行以下操作:
获取无人飞行器的飞行状态信息,所述飞行状态信息包括飞行速度矢量,所述飞行速度矢量用于指示所述无人飞行器的飞行速度的大小和方向;
获取所述无人飞行器所在飞行场景的障碍物信息;
将所述飞行状态信息和所述障碍物信息发送给显示设备,所述显示设备能够对所述飞行状态信息和所述障碍物信息进行显示,所述飞行状态信息和所述障碍物信息的显示用于辅助用户进行所述无人飞行器的飞行。
35.根据权利要求34所述的无人飞行器,其特征在于,所述障碍物信息包括所述飞行场景中的障碍物与所述无人飞行器之间的相对位置。
36.根据权利要求35所述的无人飞行器,其特征在于,所述飞行场景中的障碍物与所述无人飞行器之间的相对位置包括所述无人飞行器的三轴方向与所述障碍物之间的距离。
37.根据权利要求35或36所述的无人飞行器,其特征在于,所述障碍物信息还包括所述飞行场景中障碍物的类型、形状、尺寸中的至少一项。
38.根据权利要求34-37任一项所述的无人飞行器,其特征在于,所述飞行器还包括拍摄装置;所述拍摄装置,用于:
获取所述飞行场景的场景图像;
所述处理器,具体用于:
将所述飞行状态信息、所述障碍物信息和所述场景图像发送给所述显示设备,所述显示设备能够对所述场景图像进行显示、并在显示的所述场景图像上对所述飞行状态信息和所述障碍物信息进行显示,所述飞行状态信息和所述障碍物信息在所述场景图像上的显示用于向所述用户展示所述无人飞行器的飞行状态、以及所述飞行场景中的障碍物与所述无人飞行器之间的相对位置,以辅助所述用户进行所述无人飞行器的避障飞行。
39.根据权利要求34-37任一项所述的无人飞行器,其特征在于,所述处理器将所述飞行状态信息和所述障碍物信息发送给显示设备之前,还用于:
根据所述障碍物信息,建立所述飞行场景中障碍物的虚拟模型;
所述处理器在将所述飞行状态信息和所述障碍物信息发送给显示设备时,具体用于:
将所述飞行状态信息、所述障碍物信息和所述障碍物的虚拟模型发送给所述显示设备,所述显示设备能够对所述飞行状态信息、所述障碍物信息和所述障碍物的虚拟模型进行显示,所述飞行状态信息、所述障碍物信息和所述障碍物的虚拟模型的显示用于向所述用户展示所述无人飞行器的飞行状态、所述障碍物、以及所述障碍物与所述无人飞行器之间的相对位置,以辅助所述用户进行所述无人飞行器的避障飞行。
40.根据权利要求39所述的无人飞行器,其特征在于,所述无人飞行器还包括拍摄装置;所述拍摄装置,用于:
获取所述飞行场景的场景图像;
所述处理器,具体用于:
将所述飞行状态信息、所述障碍物信息、所述障碍物的虚拟模型和所述场景图像发送给所述显示设备,所述显示设备能够在第一预设显示区域中对所述场景图像进行显示、并在显示的所述场景图像上对所述飞行状态信息和所述障碍物信息进行显示,所述第一预设显示区域中所述场景图像、所述飞行状态信息和所述障碍物信息的显示,用于向所述用户展示所述飞行场景、以及所述飞行场景中所述无人飞行器的飞行状态、所述障碍物和所述障碍物与所述无人飞行器之间的相对位置,所述显示设备能够在第二预设显示区域中对所述障碍物的虚拟模型进行显示,所述第二预设显示区域中所述虚拟模型的显示用于向所述用户展示所述飞行场景中的障碍物。
41.根据权利要求34-40任一项所述的无人飞行器,其特征在于,所述处理器,还用于:
根据所述无人飞行器的飞行速度矢量,生成飞行预测轨迹;
将所述飞行预测轨迹发送给所述显示设备,所述显示设备能够对所述飞行预测轨迹进行显示,所述飞行预测轨迹的显示用于辅助所述用户进行所述无人飞行器的飞行。
42.根据权利要求41所述的无人飞行器,其特征在于,所述处理器,还用于:
根据所述飞行预测轨迹,确定所述无人飞行器是否存在于所述飞行场景中的障碍物发生碰撞的风险,若存在,则向所述显示设备和/或所述无人飞行器的控制终端发送碰撞提醒消息。
43.根据权利要求42所述的无人飞行器,其特征在于,所述处理器,还用于:
如果所述无人飞行器存在与所述障碍物发生碰撞的风险,则根据所述无人飞行器与所述障碍物之间的相对位置,生成飞行避障轨迹;
将所述飞行避障轨迹发送给所述显示设备,所述显示设备能够对所述飞行避障轨迹进行显示,所述飞行避障轨迹的显示用于辅助所述用户进行所述无人飞行器的避障飞行。
44.根据权利要求43所述的无人飞行器,其特征在于,所述处理器,还用于:
控制所述无人飞行器按照所述飞行避障轨迹进行飞行。
45.根据权利要求43所述的无人飞行器,其特征在于,所述处理器,还用于:
根据所述飞行避障轨迹,确定目标杆量;
获取所述控制终端的当前杆量;
根据所述当前杆量和所述目标杆量,确定杆量增量;
将所述杆量增量发送给所述显示设备,所述显示设备能够对所述杆量增量进行显示,所述杆量增量的显示用于辅助所述用户进行所述无人飞行器的避障飞行。
46.根据权利要求42-45任一项所述的无人飞行器,其特征在于,所述处理器,还用于:
如果所述无人飞行器存在于所述障碍物发生碰撞的风险,则获取所述无人飞行器到达与所述障碍物发生碰撞的位置的预计飞行时间;
如果所述预计飞行时间小于或等于预设的时间阈值,则控制所述无人飞行器刹停。
47.根据权利要求34-46任一项所述的无人飞行器,其特征在于,所述无人飞行器还包括拍摄装置;所述处理器,还用于:
如果检测到所述无人飞行器穿越所述飞行场景中的障碍物,则向所述拍摄装置发送拍摄指令;
所述拍摄装置,用于:
响应于所述处理器的拍摄指令,拍摄所述无人飞行器的障碍物穿越图像和/或障碍物穿越视频;其中,所述障碍物穿越图像和/或所述障碍物穿越视频存储在本地或者存储在服务器或者存储在所述无人飞行器的控制终端。
48.根据权利要求34-47任一项所述的无人飞行器,其特征在于,所述处理器,还用于:
如果检测到所述无人飞行器的飞行速度矢量的方向发生变化,则控制所述无人飞行器的云台上的拍摄装置的拍摄方向转向所述飞行速度矢量的方向;
将所述拍摄装置拍摄的场景图像发送给所述显示设备,所述显示设备能够对所述拍摄装置拍摄的场景图像进行显示,所述显示设备所显示的场景图像的图像中心为所述无人飞行器的飞行速度矢量的方向,所述图像中心用于辅助所述用户确定所述无人飞行器的飞行速度矢量的方向。
49.一种显示设备,其特征在于,包括:处理器和显示装置;
所述处理器,用于获取无人飞行器的飞行状态信息,获取所述无人飞行器所在飞行场景的障碍物信息,所述飞行状态信息包括飞行速度矢量,所述飞行速度矢量用于指示所述无人飞行器的飞行速度的大小和方向;
所述显示装置,用于对所述飞行状态信息和所述障碍物信息进行显示,所述飞行状态信息和所述障碍物信息的显示用于辅助用户进行所述无人飞行器的飞行。
50.根据权利要求49所述的设备,其特征在于,所述障碍物信息包括所述飞行场景中的障碍物与所述无人飞行器之间的相对位置。
51.根据权利要求50所述的设备,其特征在于,所述飞行场景中的障碍物与所述无人飞行器之间的相对位置包括所述无人飞行器的三轴方向与所述障碍物之间的距离。
52.根据权利要求50或51所述的设备,其特征在于,所述障碍物信息还包括所述飞行场景中障碍物的类型、形状、尺寸中的至少一项。
53.根据权利要求49-52任一项所述的设备,其特征在于,所述处理器,还用于:
获取所述飞行场景的场景图像;
所述显示装置,具体用于:
对所述场景图像进行显示,并在显示的所述场景图像上对所述飞行状态信息和所述障碍物信息进行显示,所述飞行状态信息和所述障碍物信息在场景图像上的显示用于向所述用户展示所述无人飞行器的飞行状态、以及所述飞行场景中的障碍物与所述无人飞行器之间的相对位置,以辅助所述用户进行所述无人飞行器的避障飞行。
54.根据权利要求49-52任一项所述的设备,其特征在于,所述处理器,还用于:
获取所述飞行场景中障碍物的虚拟模型;
所述显示装置,具体用于:
对所述飞行状态信息、所述障碍物信息和所述障碍物的虚拟模型进行显示,所述飞行状态信息、所述障碍物信息和所述障碍物的虚拟模型的显示用于向所述用户展示所述无人飞行器的飞行状态、所述障碍物、以及所述障碍物与所述无人飞行器之间的相对位置,以辅助所述用户进行所述无人飞行器的避障飞行。
55.根据权利要求49-52任一项所述的设备,其特征在于,所述处理器,还用于:
根据所述障碍物信息,建立所述飞行场景中障碍物的虚拟模型;
所述显示装置,具体用于:
对所述飞行状态信息、所述障碍物信息和所述障碍物的虚拟模型进行显示,所述飞行状态信息、所述障碍物信息和所述障碍物的虚拟模型的显示用于向所述用户展示所述无人飞行器的飞行状态、所述障碍物、以及所述障碍物与所述无人飞行器之间的相对位置,以辅助所述用户进行所述无人飞行器的避障飞行。
56.根据权利要求54或55所述的设备,其特征在于,所述处理器,还用于:
获取所述飞行场景的场景图像;
所述显示装置,具体用于:
在第一预设显示区域中对所述场景图像进行显示、并在显示的所述场景图像上对所述飞行状态信息和所述障碍物信息进行显示,所述第一预设显示区域中所述场景图像、所述飞行状态信息和所述障碍物信息的显示,用于向所述用户展示所述飞行场景、以及所述飞行场景中所述无人飞行器的飞行状态、所述障碍物和所述障碍物与所述无人飞行器之间的相对位置;
在第二预设显示区域中对所述障碍物的虚拟模型进行显示,所述第二预设显示区域中所述虚拟模型的显示用于向所述用户展示所述飞行场景中的障碍物。
57.根据权利要求49-56任一项所述的设备,其特征在于,所述处理器,还用于:
获取所述飞行速度矢量在预设的坐标平面上的投影;
所述显示装置,具体用于:
对所述投影进行显示,所述投影的显示用于辅助所述用户确定所述飞行速度矢量的方向。
58.根据权利要求57所述的设备,其特征在于,所述坐标平面包括所述无人飞行器的机体坐标系的YOZ平面、或者大地坐标系的YOZ平面。
59.根据权利要求57或58所述的设备,其特征在于,所述显示装置,具体用于:
通过预设的矢量标记,对所述飞行速度矢量在所述坐标平面上的投影进行显示,所述投影为所述矢量标记的中心与所述坐标平面上坐标原点之间的连线,所述矢量标记的中心用于辅助所述用户确定所述飞行速度矢量的方向。
60.根据权利要求59所述的设备,其特征在于,在所述飞行速度矢量小于等于预设的第一速度阈值的情况下,所述矢量标记位于所述坐标原点。
61.根据权利要求59或60所述的设备,其特征在于,所述矢量标记的尺寸随着所述飞行速度矢量的增大而减小。
62.根据权利要求59-61任一项所述的设备,其特征在于,在所述飞行速度矢量小于等于预设的第二速度阈值的情况下,所述矢量标记的尺寸为预设的最大尺寸;在所述飞行速度矢量大于等于预设的第三速度阈值的情况下,所述矢量标记的尺寸为预设的最小尺寸。
63.根据权利要求59-62任一项所述的设备,其特征在于,所述矢量标记为矢量球或者矢量三角形。
64.根据权利要求49-63任一项所述的设备,其特征在于,所述处理器,还用于:
获取所述无人飞行器的飞行预测轨迹;
所述显示装置,还用于:
对所述飞行预测轨迹进行显示,所述飞行预测轨迹的显示用于辅助所述用户进行所述无人飞行器的飞行。
65.根据权利要求49-64任一项所述的设备,其特征在于,所述处理器,还用于:
获取所述无人飞行器的飞行避障轨迹;
所述显示装置,还用于:
对所述飞行避障轨迹进行显示,所述飞行避障轨迹用于辅助所述用户进行所述无人飞行器的避障飞行。
66.根据权利要求65所述的设备,其特征在于,所述处理器,还用于:
获取所述飞行避障轨迹对应的杆量增量;
所述显示装置,还用于
对所述杆量增量进行显示,所述杆量增量的显示用于辅助所述用户控制所述无人飞行器按照所述飞行避障轨迹飞行。
67.一种芯片,其特征在于,包括:收发器、存储器和处理器;
所述收发器,用于数据收发;
所述存储器,用于存储程序指令;
所述处理器,用于调用所述存储器中的程序指令并根据所述收发器的接收数据,执行如权利要求1-15任一项或者权利要求16-33任一项所述的方法。
68.一种无人飞行系统,其特征在于,包括:如权利要求34-48任一项所述的无人飞行器、权利要求49-66任一项所述的显示设备以及控制终端,所述控制终端用于控制所述无人飞行器的飞行。
69.一种计算机可读存储介质,其特征在于,包括指令,当其在计算机上运行时,使得所述计算机执行如权利要求1-15任一项或者权利要求16-33任一项所述的方法。
CN202080033636.XA 2020-08-17 2020-08-17 无人飞行器的飞行辅助方法、设备、芯片、系统及介质 Active CN113795803B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/109515 WO2022036500A1 (zh) 2020-08-17 2020-08-17 无人飞行器的飞行辅助方法、设备、芯片、系统及介质

Publications (2)

Publication Number Publication Date
CN113795803A true CN113795803A (zh) 2021-12-14
CN113795803B CN113795803B (zh) 2024-05-14

Family

ID=79181477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080033636.XA Active CN113795803B (zh) 2020-08-17 2020-08-17 无人飞行器的飞行辅助方法、设备、芯片、系统及介质

Country Status (2)

Country Link
CN (1) CN113795803B (zh)
WO (1) WO2022036500A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023184487A1 (zh) * 2022-04-01 2023-10-05 深圳市大疆创新科技有限公司 无人机避障方法、装置、无人机、遥控设备和存储介质
WO2024082369A1 (zh) * 2022-10-17 2024-04-25 广东汇天航空航天科技有限公司 飞行器避障方法、系统及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102445947A (zh) * 2010-10-06 2012-05-09 鸿富锦精密工业(深圳)有限公司 无人飞行载具控制系统及方法
CN105588579A (zh) * 2015-12-23 2016-05-18 谭圆圆 无人飞行器的飞行状态信息显示方法及显示装置
CN106292704A (zh) * 2016-09-07 2017-01-04 四川天辰智创科技有限公司 规避障碍物的方法及装置
WO2019085621A1 (zh) * 2017-11-06 2019-05-09 深圳市道通智能航空技术有限公司 目标追踪方法、装置及追踪器
CN110244760A (zh) * 2019-06-06 2019-09-17 深圳市道通智能航空技术有限公司 一种避障方法、装置和电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2946780B1 (fr) * 2009-06-12 2011-07-15 Thales Sa Procede et dispositif d'affichage des limites de marges de vol pour un aeronef
CN105947200A (zh) * 2016-05-19 2016-09-21 梁海俊 折叠隐藏四旋翼人形飞行机器人
CN106802666A (zh) * 2016-12-26 2017-06-06 德阳科蚁科技有限责任公司 一种无人机控制方法、系统及无人机
CN114815863A (zh) * 2017-04-27 2022-07-29 深圳市大疆创新科技有限公司 无人机的控制方法、设备及障碍物的提示方法、设备
CN110709792A (zh) * 2018-07-23 2020-01-17 深圳市大疆创新科技有限公司 移动平台的辅助移动方法、移动装置及移动平台

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102445947A (zh) * 2010-10-06 2012-05-09 鸿富锦精密工业(深圳)有限公司 无人飞行载具控制系统及方法
CN105588579A (zh) * 2015-12-23 2016-05-18 谭圆圆 无人飞行器的飞行状态信息显示方法及显示装置
CN106292704A (zh) * 2016-09-07 2017-01-04 四川天辰智创科技有限公司 规避障碍物的方法及装置
WO2019085621A1 (zh) * 2017-11-06 2019-05-09 深圳市道通智能航空技术有限公司 目标追踪方法、装置及追踪器
CN110244760A (zh) * 2019-06-06 2019-09-17 深圳市道通智能航空技术有限公司 一种避障方法、装置和电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023184487A1 (zh) * 2022-04-01 2023-10-05 深圳市大疆创新科技有限公司 无人机避障方法、装置、无人机、遥控设备和存储介质
WO2024082369A1 (zh) * 2022-10-17 2024-04-25 广东汇天航空航天科技有限公司 飞行器避障方法、系统及计算机可读存储介质

Also Published As

Publication number Publication date
CN113795803B (zh) 2024-05-14
WO2022036500A1 (zh) 2022-02-24

Similar Documents

Publication Publication Date Title
US11644832B2 (en) User interaction paradigms for a flying digital assistant
US20200346753A1 (en) Uav control method, device and uav
JP6081092B2 (ja) 航空機内の合成ビジョンシステムを動作させる方法
US11272105B2 (en) Image stabilization control method, photographing device and mobile platform
WO2019227289A1 (zh) 延时拍摄控制方法和设备
CN108450032B (zh) 飞行控制方法和装置
CN113795803B (zh) 无人飞行器的飞行辅助方法、设备、芯片、系统及介质
WO2021168819A1 (zh) 无人机的返航控制方法和设备
WO2020048365A1 (zh) 飞行器的飞行控制方法、装置、终端设备及飞行控制系统
US20210034052A1 (en) Information processing device, instruction method for prompting information, program, and recording medium
KR102190743B1 (ko) 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법
WO2020154942A1 (zh) 无人机的控制方法和无人机
WO2019183789A1 (zh) 无人机的控制方法、装置和无人机
WO2021251441A1 (ja) 方法、システムおよびプログラム
WO2022193081A1 (zh) 无人机的控制方法、装置及无人机
WO2020014930A1 (zh) 无人机的控制方法、装置和无人机
JP7435599B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2021168821A1 (zh) 可移动平台的控制方法和设备
WO2020062255A1 (zh) 拍摄控制方法和无人机
WO2021130980A1 (ja) 飛行体の飛行経路表示方法及び情報処理装置
CN112313942A (zh) 一种进行图像处理和框架体控制的控制装置
WO2021064982A1 (ja) 情報処理装置および情報処理方法
WO2022094808A1 (zh) 拍摄控制方法、装置、无人机、设备及可读存储介质
WO2022205294A1 (zh) 无人机的控制方法、装置、无人机及存储介质
CN110892353A (zh) 控制方法、控制装置、无人飞行器的控制终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant