无人飞行器飞行显示
背景技术
诸如无人飞行器(UAV)等飞行器可以用于执行监视、侦查和勘探任务以供军事和民用应用。这样的飞行器可以携带负载,该负载被配置用于执行特定功能,诸如捕捉周围环境的图像。
当UAV位于空中,尤其是处于高空或复杂环境中时,远程用户往往难以视觉地确定UAV的位置、高度或其他飞行状态信息。传统的航空器飞行显示面板允许飞行员监视载人航空器的各种飞行信息。然而,这样的飞行显示面板通常位于航空器的驾驶舱中,并且飞行信息通常是从航空器的视角显示的,而不能被控制UAV的远程用户所辨别。
发明内容
在一些情况下,期望远程用户在远程显示器上获得无人飞行器(UAV)的飞行信息,从而使得监视和控制无人飞行器变得更容易。本文提供了用于向远程显示器提供无人飞行器的飞行信息的系统和方法。
根据本发明的一方面,提供了一种用于提供与无人飞行器(UAV)相关的飞行信息的系统。所述无人飞行器经由载体耦合至负载,所述载体允许所述负载相对于所述无人飞行器运动。所述系统包括:接收器,其被配置用于接收无人飞行器状态信息和负载状态信息,所述无人飞行器状态信息至少包括所述无人飞行器的姿态信息,所述负载状态信息至少包括当所述无人飞行器位于空中时所述负载相对于所述无人飞行器的姿态信息;以及一个或多个处理器,其共同地或单独地被配置用于在远离所述无人飞行器的显示器上同时显示所述无人飞行器状态信息和所述负载状态信息。
根据本发明的另一方面,提供了一种用于提供与无人飞行器(UAV)相关的飞行信息的方法。所述无人飞行器经由载体耦合至负载,所述载体允许所述负载相对于所述无人飞行器运动。所述方法包括:由远程终端接收无人飞行器状态信息,所述无人飞行器状态信息至少包括当所述无人飞行器位于空中时所述无人飞行器的姿态信息;由所述远程终端接收负载状态信息,所述负载状态信息至少包括当所述无人飞行器位于空中时所述负载相对于所述无人飞行器的姿态信息;以及在所述远程终端的显示器上同时显示所述无人飞行器状态信息和所述负载状态信息。
在一些实施方式中,所述负载是图像捕捉设备。
在一些实施方式中,所述图像捕捉设备包括相机或摄像机。
在一些实施方式中,所述载体被配置用于允许所述负载相对于所述无人飞行器围绕至少一个轴旋转运动。在一些实施方式中,所述载体被配置用于允许所述负载相对于所述无人飞行器围绕至少两个轴旋转运动。所述两个轴可以包括航向轴和俯仰轴。在一些实施方式中,所述载体被配置用于允许所述负载相对于所述无人飞行器围绕第三个轴旋转运动。
在一些实施方式中,所述载体被配置用于允许所述负载相对于所述无人飞行器平移运动。
在一些实施方式中,所述远程终端可操作地连接至第二远程终端。所述远程终端可以从所述第二远程终端接收所述无人飞行器状态信息和所述负载状态信息。在一些实施方式中,所述第二远程终端可由用户操作以控制所述无人飞行器或所述载体的操作。
在一些实施方式中,所述远程终端可由用户操作以控制所述无人飞行器或所述载体的操作。所述远程终端可被配置用于直接从所述无人飞行器接收所述无人飞行器状态信息和所述负载状态信息。
在一些实施方式中,所述远程终端包括移动终端。所述移动终端可以包括智能电话或平板设备。
在一些实施方式中,所述远程终端包括一个或多个输入机构。所述一个或多个输入机构可以包括触摸屏或操纵杆。
在一些实施方式中,所述无人飞行器姿态信息至少包括所述无人飞行器的航向朝向、俯仰朝向或横滚朝向。所述无人飞行器状态信息还可以包括所述无人飞行器的位置信息。所述无人飞行器状态信息还可以包括所述无人飞行器的高度。所述无人飞行器状态信息还可以包括所述无人飞行器的速度信息。所述速度信息可以包括空速、地速或垂直速度。
在一些实施方式中,所述无人飞行器状态信息还包括所述无人飞行器相对于参照点的距离。所述参照点可以包括所述远程终端的位置。所述参照点可以包括供所述无人飞行器返航到的归航点。所述参照点可以包括处于距所述无人飞行器的预定范围内的物体。
在一些实施方式中,所述距离至少部分地基于来自所述无人飞行器的距离传感器或视觉传感器的感测数据。所述预定范围可以是所述距离传感器的最大范围。
在一些实施方式中,当所述距离在预定范围之外时提供提示。所述提示可以包括视觉信号或音频信号。所述提示可以包括触觉反馈信号。所述提示可以包括触觉反馈,该触觉反馈包括施力、振动或运动。
在一些实施方式中,所述距离至少部分地基于所述参照点的位置数据计算而得。
在一些实施方式中,所述无人飞行器状态信息基于来自所述无人飞行器的一个或多个传感器的感测数据。所述无人飞行器的所述一个或多个传感器可以包括惯性传感器、运动传感器、位置传感器、距离传感器或图像传感器。
在一些实施方式中,所述负载姿态信息至少包括所述负载相对于所述无人飞行器的航向朝向、俯仰朝向或横滚朝向。所述负载状态信息还可以包括焦距、缩放比例、成像模式、图像分辨率、焦点、景深、曝光、镜头速度、胶片速度或视野(FOV)。
在一些实施方式中,显示所述无人飞行器状态信息和所述负载状态信息包括在一个或多个显示区域中显示所述信息。用于显示所述无人飞行器状态信息的显示区域和用于显示所述负载状态信息的显示区域可以至少部分地重叠。所述一个或多个显示区域可以包括图标显示区域和飞行参数显示区域。
在一些实施方式中,所述图标显示区域至少部分地用于显示所述无人飞行器状态信息。所述图标显示区域可以包括无人飞行器俯仰/横滚指示器,所述无人飞行器俯仰/横滚指示器用于指示所述无人飞行器的俯仰朝向或横滚朝向。所述无人飞行器俯仰/横滚指示器可以用于同时指示所述无人飞行器的俯仰朝向和横滚朝向。所述无人飞行器俯仰/横滚指示器可以包括图形化地平线指示器。所述图标显示区域可以包括负载航向指示器,所述负载航向指示器用于指示所述负载的航向朝向。
在一些实施方式中,所述一个或多个显示区域用于显示负载俯仰指示器,所述负载俯仰指示器用于指示所述负载的俯仰朝向。所述负载俯仰指示器可以包括滚动条。
在一些实施方式中,所述图标显示区域至少部分地用于显示所述无人飞行器状态信息和所述远程终端的状态信息。所述无人飞行器状态信息可以包括所述无人飞行器的位置和指向。所述远程终端状态信息可以包括所述远程终端的位置和指向。
在一些实施方式中,所述图标显示区域用于图示所述远程终端与所述无人飞行器之间的空间关系。所述空间关系可以包括所述远程终端与所述无人飞行器之间的距离。
在一些实施方式中,所述图标显示区域包括基本上为圆形的区域。
在一些实施方式中,所述飞行参数显示区域至少部分地用于显示所述无人飞行器状态信息。所述飞行参数显示区域可以用于显示所述无人飞行器的水平距离、垂直距离、水平速度和/或垂直速度。所述飞行参数显示区域可以用于显示距离指示器,所述距离指示器指示出从所述无人飞行器到参考物的距离。所述飞行参数显示区域可以包括基本上为矩形的区域。
在一些实施方式中,显示所述无人飞行器状态信息和所述负载状态信息可以包括显示一个或多个图形化指示器。所述一个或多个图形化指示器可以包括姿态指示器,所述姿态指示器用于指示所述无人飞行器和/或所述负载相对于俯仰轴、横滚轴或航向轴的朝向。
在一些实施方式中,用于显示所述姿态指示器的区域被用于显示所述无人飞行器的位置和/或方位。用于显示所述姿态指示器的区域可被用于显示所述远程终端的位置和/或方位。用于显示所述姿态指示器的区域可被用于显示所述负载的视野(FOV)。用于显示所述姿态指示器的区域可被用于显示一个或多个范围指示器。所述范围指示器可以包括一个或多个同心距离圈,每个圈具有以预定比率对应于地理距离的半径。
在一些实施方式中,可以接收所述远程终端的状态信息,并且可以随所述无人飞行器状态信息和所述负载状态信息同时显示所述远程终端状态信息。
在一些实施方式中,所述远程终端信息可以包括所述远程终端的位置和/或朝向。
在一些实施方式中,随所述无人飞行器状态信息和所述负载状态信息显示所述远程终端状态信息可以包括显示所述远程终端与所述无人飞行器之间的空间关系。
在一些实施方式中,可以接收由所述负载获得的负载数据,并且可以随所述无人飞行器状态信息和所述负载状态信息同时显示所述负载数据。
在一些实施方式中,所述负载数据包括图像数据。所述图像数据可以包括静态图像或视频。
在一些实施方式中,可以显示地图,所述地图示出所述无人飞行器的位置。所述地图可以示出所述远程终端的位置。所述地图可以示出供所述无人飞行器返航到的归航点的位置。所述地图可以示出所述无人飞行器的视野(FOV)。所述地图可以示出所述无人飞行器的飞行路径。
在一些实施方式中,可以显示与所述无人飞行器和/或所述负载的电源、通信信道和/或图像模式相关的信息。
在一些实施方式中,可以显示用于控制所述无人飞行器和/或所述负载的操作的一个或多个控件。所述一个或多个控件中的至少一个控件可以用于启动所述无人飞行器的自主任务。
在一些实施方式中,可以实时地或近实时地更新所述显示。
在一些实施方式中,可以接收一个或多个用户定义的参数,并且所述显示可以至少部分地基于所述用户定义的参数。
在一些实施方式中,可以响应于对用户界面控件的用户选择而显示附加信息。所述用户界面控件可以包括表示所述无人飞行器的图标,并且所述附加信息包括对所述无人飞行器相对于所述远程终端的空间朝向的三维(3D)描绘。
根据本发明的另一方面,提供了一种用于提供无人飞行器(UAV)的飞行信息的方法。所述方法包括:由远程终端接收包含姿态信息的无人飞行器状态信息,所述无人飞行器姿态信息包括所述无人飞行器相对于至少两个垂直的轴的朝向信息;以及由所述远程终端接收由耦合至所述无人飞行器的图像捕捉设备捕捉的图像数据;以及在所述远程终端的显示器上同时显示所述无人飞行器状态信息和所述图像数据。
根据本发明的另一方面,提供了一种用于提供无人飞行器(UAV)的飞行信息的系统。所述系统包括:接收器,其被配置用于接收包含姿态信息的无人飞行器状态信息和由耦合至所述无人飞行器的图像捕捉设备捕捉的图像数据,所述无人飞行器姿态信息包括所述无人飞行器相对于至少两个垂直的轴的朝向信息;以及一个或多个处理器,其共同地或单独地被配置用于在远程终端上同时显示所述无人飞行器状态信息和所述图像数据。
在一些实施方式中,所述图像捕捉设备经由载体耦合至所述无人飞行器,该载体允许所述图像捕捉设备相对于所述无人飞行器围绕至少一个轴旋转运动。在一些实施方式中,所述图像捕捉设备经由载体耦合至所述无人飞行器,该载体允许所述图像捕捉设备相对于所述无人飞行器围绕至少两个轴旋转运动。
在一些实施方式中,所述载体被配置用于允许所述图像捕捉设备相对于所述无人飞行器围绕三个轴旋转运动。所述两个轴可以包括航向轴和俯仰轴。
在一些实施方式中,所述接收器还被配置用于接收所述图像捕捉设备的状态信息,并且所述一个或多个处理器还被配置用于随所述无人飞行器状态信息和所述图像数据显示所述图像捕捉设备的状态信息。
在一些实施方式中,所述图像捕捉设备的状态信息包括所述图像捕捉设备的姿态信息。所述图像捕捉设备的姿态信息包括所述图像捕捉设备的俯仰朝向、横滚朝向和/或航向朝向。
在一些实施方式中,所述图像捕捉设备的状态信息还包括焦距、缩放比例、成像模式、图像分辨率、焦点、景深、曝光、镜头速度、胶片速度或视野(FOV)。
在一些实施方式中,所述无人飞行器姿态信息包括所述无人飞行器的俯仰朝向、横滚朝向或航向朝向。所述无人飞行器状态信息还可以包括所述无人飞行器的位置信息。所述无人飞行器状态信息还可以包括所述无人飞行器的速度信息。
在一些实施方式中,所述无人飞行器状态信息还包括所述无人飞行器相对于参照点的距离。所述参照点可以包括所述远程终端的位置。所述参照点可以包括供所述无人飞行器返航到的归航点。所述参照点可以包括所述无人飞行器的飞行路径附近的障碍物。
在一些实施方式中,所述一个或多个处理器还被配置用于当所述距离在预定范围之外时提供提示。所述提示可以包括视觉信号或音频信号。所述提示可以包括触觉反馈信号。
在一些实施方式中,所述无人飞行器状态信息还包括与所述无人飞行器的电源、通信信道和/或飞行控制系统相关的信息。
在一些实施方式中,所述无人飞行器状态信息基于来自所述无人飞行器的一个或多个传感器的感测数据。
在一些实施方式中,用于显示所述无人飞行器状态信息的显示区域至少部分地与用于显示所述图像数据的显示区域重叠。用于显示所述无人飞行器状态信息的显示区域可以至少部分地与用于显示所述图像捕捉设备的状态信息的显示区域重叠。
在一些实施方式中,使用姿态显示区域来显示所述图像捕捉设备和/或所述无人飞行器的姿态信息,所述姿态信息至少包括俯仰朝向、航向朝向和/或横滚朝向。所述姿态显示区域可以用于图示所述无人飞行器与所述远程终端之间的空间关系。所述姿态显示区域可以用于显示所述无人飞行器的航向和/或所述远程终端的航向。所述姿态显示区域可以用于显示所述图像捕捉设备的视野(FOV)。
在一些实施方式中,所述姿态显示区域基本上为圆形。
在一些实施方式中,所述一个或多个处理器还被配置用于显示地图,该地图示出所述无人飞行器和所述图像捕捉设备的视野(FOV)。所述地图可以与所述图像数据重叠。所述地图可以示出所述无人飞行器的飞行路径。
在一些实施方式中,所述远程终端被配置用于控制所述无人飞行器、所述图像捕捉设备和/或将所述图像捕捉设备耦合至所述无人飞行器的载体的操作。
在一些实施方式中,一个或多个显示区域中的至少一个显示区域是可展开的和/或可收起的。
根据本发明的另一方面,提供了一种用于提供携带负载的无人飞行器(UAV)的飞行信息的系统,所述负载经由载体耦合至所述无人飞行器,该载体允许所述负载相对于所述无人飞行器运动。所述系统包括:接收器,其被配置用于接收无人飞行器状态信息和负载状态信息,所述无人飞行器状态信息至少包括所述无人飞行器的位置信息,所述负载状态信息至少包括所述负载相对于所述无人飞行器的姿态信息;以及一个或多个处理器,其共同地或单独地被配置用于在远程终端上同时显示所述负载状态信息和示出所述无人飞行器的状态信息的地图。
根据本发明的另一方面,提供了一种用于提供与无人飞行器(UAV)相关的飞行信息的方法,所述无人飞行器经由载体耦合至负载,该载体允许所述负载相对于所述无人飞行器运动。所述方法包括:由远程终端接收无人飞行器状态信息,所述无人飞行器状态信息至少包括所述无人飞行器的位置信息;由所述远程终端接收负载状态信息,所述负载状态信息至少包括所述负载相对于所述无人飞行器的姿态信息;以及在所述远程终端的显示器上同时显示所述负载状态信息和示出所述无人飞行器的状态信息的地图。
在一些实施方式中,所述载体允许所述负载相对于所述无人飞行器围绕至少一个轴旋转运动。在一些实施方式中,所述载体允许所述负载相对于所述无人飞行器围绕至少两个轴旋转运动。
在一些实施方式中,所述无人飞行器状态信息包括所述无人飞行器的姿态信息。所述无人飞行器姿态信息可以包括所述无人飞行器的俯仰朝向、横滚朝向或航向朝向。所述无人飞行器状态信息还可以包括所述无人飞行器的速度信息。所述无人飞行器状态信息还可以包括所述无人飞行器相对于参照点的距离。
在一些实施方式中,所述参照点包括所述远程终端的位置。所述参照点可以包括供所述无人飞行器返航到的归航点。所述参照点可以包括所述无人飞行器的环境中的障碍物。
在一些实施方式中,当所述距离在预定范围之外时可以提供提示。所述提示可以包括视觉信号、音频信号或触觉反馈信号。
在一些实施方式中,所述无人飞行器状态信息还包括与所述无人飞行器和/或所述负载的电源、通信信道和/或图像模式相关的信息。所述负载姿态信息可以包括所述负载的俯仰朝向、横滚朝向和/或航向朝向。所述负载状态信息还可以包括焦距、缩放比例、成像模式、图像分辨率、焦点、景深、曝光、镜头速度、胶片速度或视野(FOV)。
在一些实施方式中,可以接收由所述负载捕捉的图像数据,并且可以随所述负载状态信息显示所述图像数据。可以随所述地图显示所述图像数据。所述地图可以与所述图像数据重叠。所述地图可以示出所述无人飞行器与一个或多个参照点之间的空间关系。
在一些实施方式中,所述一个或多个参照点包括所述远程终端和/或归航点。
在一些实施方式中,所述地图示出所述负载的视野(FOV)。所述地图可以示出所述无人飞行器的飞行路径。
在一些实施方式中,用于显示所述负载和/或所述无人飞行器的姿态信息的显示区域还用于显示所述无人飞行器与所述远程终端之间的空间关系。所述无人飞行器与所述远程终端之间的空间关系可以包括相对距离和/或相对航向。
在一些实施方式中,用于显示所述负载和/或所述无人飞行器的姿态信息的显示区域还用于显示所述负载的视野(FOV)。
根据本发明的另一方面,提供了一种用于提供携带图像捕捉设备的无人飞行器(UAV)的飞行信息的系统。所述系统包括:接收器,其被配置用于接收无人飞行器状态信息和所述图像捕捉设备的状态信息,所述无人飞行器状态信息至少包括所述无人飞行器的位置信息,所述图像捕捉设备的状态信息至少包括视野(FOV);以及一个或多个处理器,其共同地或单独地被配置用于基于接收到的无人飞行器状态信息和所述图像捕捉设备的状态信息而在远程显示器上显示示出所述无人飞行器状态信息的地图和所述图像捕捉设备的FOV的指示器。
根据本发明的另一方面,提供了一种用于提供与携带图像捕捉设备的无人飞行器(UAV)相关的飞行信息的方法。所述方法包括:由远程终端接收无人飞行器状态信息,所述无人飞行器状态信息至少包括所述无人飞行器的位置信息;由远程终端接收所述图像捕捉设备的状态信息,所述图像捕捉设备的状态信息至少包括视野(FOV);以及基于接收到的无人飞行器状态信息和所述图像捕捉设备的状态信息而在所述远程终端的显示器上显示示出所述无人飞行器状态信息的地图和所述图像捕捉设备的FOV的指示器。
在一些实施方式中,所述图像捕捉设备经由载体耦合至所述无人飞行器,该载体允许所述图像捕捉设备相对于所述无人飞行器围绕至少一个轴旋转运动。在一些实施方式中,所述图像捕捉设备经由载体耦合至所述无人飞行器,该载体允许所述图像捕捉设备相对于所述无人飞行器围绕至少两个轴旋转运动。在一些实施方式中,所述载体被配置用于允许所述图像捕捉设备相对于所述无人飞行器围绕三个轴旋转运动。
在一些实施方式中,所述图像捕捉设备的状态信息还包括所述图像捕捉设备的姿态信息。所述图像捕捉设备的姿态信息可以包括所述图像捕捉设备的俯仰朝向、横滚朝向和/或航向朝向。所述图像捕捉设备的状态信息还可以包括焦距、缩放比例、成像模式、图像分辨率、焦点、景深、曝光、镜头速度、胶片速度或视野(FOV)。
在一些实施方式中,所述无人飞行器状态信息包括所述无人飞行器的姿态信息。所述无人飞行器姿态信息可以包括所述无人飞行器的俯仰朝向、横滚朝向和/或航向朝向。所述无人飞行器状态信息还可以包括所述无人飞行器的速度信息。所述无人飞行器状态信息还包括所述无人飞行器相对于参照点的距离。
在一些实施方式中,所述参照点包括所述远程终端的位置。所述参照点可以包括供所述无人飞行器返航到的归航点。所述参照点可以包括位于所述无人飞行器的飞行路径上或其附近的障碍物。
在一些实施方式中,当所述距离在预定范围之外时可以提供提示。所述提示可以包括视觉信号、音频信号或触觉反馈信号。
在一些实施方式中,所述无人飞行器状态信息还包括与所述无人飞行器和/或所述图像捕捉设备的电源、通信信道和/或图像模式相关的信息。
在一些实施方式中,可以接收由所述图像捕捉设备捕捉的图像数据,并且可以随所述地图显示所述图像数据。
在一些实施方式中,所述地图作为所述图像数据的画中画显示。
在一些实施方式中,所述FOV指示器至少部分地基于所述负载状态信息而示出所述图像捕捉设备的FOV的角度。所述FOV指示器可以至少部分地基于所述负载状态信息而示出所述图像捕捉设备的FOV的方向。所述FOV的方向可以不同于所述无人飞行器的航向。所述FOV指示器可以具有基本上为圆锥形的形状。
在一些实施方式中,可以接收所述远程终端的状态信息,并且可以在所述地图上显示所述无人飞行器与所述远程终端之间的空间关系。
在一些实施方式中,所述地图至少部分地基于所述无人飞行器状态信息而示出所述无人飞行器与一个或多个参照点之间的空间关系。所述一个或多个参照点可以包括所述远程终端和/或归航点。所述地图可以示出所述无人飞行器的飞行路径。
在一些实施方式中,所述地图被配置用于响应于用户输入而在第一模式与第二模式之间切换。所述地图在所述第一模式下的比例尺可以不同于所述地图在所述第二模式下的比例尺。所述地图在所述第一模式下的比例尺可被自动选择,使得所述地图在该地图上示出所述无人飞行器、所述远程终端和所述无人飞行器的归航点。所述地图在所述第二模式下的比例尺可被自动选择,使得所述地图主要示出所述无人飞行器。
在一些实施方式中,在所述第一模式下所述地图在第一参考系下显示,而在所述第二模式下所述地图在第二参考系下显示。
应当明白,本发明的不同方面可以被单独地、共同地或彼此结合地理解。本文所描述的本发明的各个方面可以适用于下文阐述的任何特定应用或者适用于任何其他类型的可移动物体。本文对无人飞行器的任何描述均可适用于和用于任何可移动物体,诸如任何载具。另外,本文在空中运动(例如,飞行)的情景下公开的系统、设备和方法还可以适用于其他类型运动的情景下,诸如在地面上或在水上的运动、水下运动或者在太空中的运动。
对于本领域技术人员,本公开内容的附加方面和有益效果将会从以下详细描述中变得显而易见,在详细描述中仅通过对设想用于实施本公开内容的最佳模式的示例说明方式示出和描述了本公开内容的示例性实施方式。应当意识到,本公开内容能够具有其他的和不同的实施方式,并且其若干细节能够在各个明显方面作出修正,所有这些都不偏离本公开内容。因此,附图和描述应被认为是示例说明性质的,而并非是限制性的。
援引并入
本说明书中所提及的所有出版物、专利和专利申请均通过引用而并入于此,其程度如同具体地和个别地指出要通过引用而并入每一单个出版物、专利或专利申请。
附图说明
本发明的新特征特别地体现在后述权利要求项中。为更好地理解本发明的所述特征和有益效果,可结合参考下述具体实施方式中的实施方式及相对应的附图:
图1图示了根据实施方式的、用于实现UAV飞行显示的示例性系统。
图2图示了根据实施方式的、用于实现UAV飞行显示的另一示例性系统。
图3图示了根据实施方式的、用于实现UAV飞行显示的又一示例性系统。
图4图示了根据实施方式的、用于实现信息显示的示例性过程。
图5图示了根据实施方式的、在远程显示终端上显示的示例性用户界面(UI)。
图6图示了根据实施方式的示例性飞行显示部分。
图7图示了根据实施方式的示例性地图部分。
图8图示了根据本发明实施方式的UAV。
图9图示了根据实施方式的、包括载体和负载的可移动物体。
图10图示了根据实施方式的、用于控制UAV的示例性系统。
图11图示了根据实施方式的、由远程终端实现的示例性系统。
图12图示了根据实施方式的示例性载体的等距视图。
具体实施方式
系统、方法和设备提供与无人飞行器(UAV)相关的飞行信息,从而允许远程用户有效地监视和控制UAV。在各个实施方式中,与UAV相关的飞行信息可以包括任何与UAV相关的信息。飞行信息可以指示出UAV是位于空中还是已经降落。飞行信息可以包括UAV的状态信息,诸如其位置、姿态、速度、距离等。飞行信息还可以包括耦合至UAV的负载的状态信息,诸如图像捕捉设备(例如,相机或摄像机)的状态信息。负载状态信息可以包括负载的位置和/或姿态。在一些实施方式中,可以允许负载相对于UAV运动,例如,经由载体而运动。因此,负载状态信息(例如,负载姿态)可以不同于UAV状态信息(例如,UAV姿态)。本文所讨论的飞行信息还可以包括与电源、动力单元、通信系统、数据存储系统、一个或多个传感器、飞行控制系统等相关的信息。例如,飞行信息可以用于指示是否存在故障、错误或其他影响UAV的问题。
与UAV相关的飞行信息中的至少一些信息可以在远程显示器上显示。该远程显示器可以是遥控终端的组成部分,该遥控终端用于远程控制UAV的操作。或者,远程显示器可以是与所述遥控终端分开但与之可操作地相连的终端的一部分。远程显示器可以是移动计算设备诸如智能电话或平板计算机的一部分。移动计算设备可经由有线连接或无线连接而连接至遥控终端。
有利地,本文所公开的飞行显示为远程用户提供了对UAV、负载的状态信息以及/或者其他对于用户有用的数据的全面而直观的观察,而无需占用过多的显示空间。
本文所述的信息可以按全面而简洁的方式显示,从而允许远程用户快速找到相关信息。例如,在同一屏幕上可以同时显示不同的飞行信息,使得用户不必查看多个屏幕或显示器来找出信息,这多个屏幕或显示器可能跨一个或多个显示设备。相反,信息全都提供在单一屏幕上。举例而言,UAV状态信息可以与负载状态信息一同显示。此外,飞行信息可以与接收自UAV和/或负载的其他数据同时显示,所述其他数据诸如为由负载或UAV上的其他传感器所捕捉的图像或其他感测数据。用于飞行信息和/或感测数据的显示区可以重叠或者可以不重叠。在一些实施方式中,信息的不同部分可以显示在不同的重叠区域中,以便高效利用屏幕空间。
信息可以按直观的方式显示,以便促进远程用户对信息的快速掌握。相比于仅从航空器内的飞行员的视角显示信息的传统航空器飞行显示,本文所讨论的飞行可以从自上而下的全局视图、从远程终端的视角等来显示,从而提供诸如UAV、远程终端、参照点等不同兴趣点之间关系的整体视图。在一些实施方式中,UAV和/或负载状态信息可以与传输自负载的图像同时显示。传输自负载的图像可以从由UAV所携带的物体的视角提供直观的信息。
为了进一步促进显示的用户友好性,至少一些信息可以替代于或附加于数字形式而作为图形化形式显示。例如,在一个实施方式中,可以使用随着负载/UAV围绕某一轴(例如,俯仰轴、横滚轴、航向轴)旋转而动态移位的图形化地平线指示器来示出负载/UAV的朝向。
在一些实施方式中,可以与飞行数据和/或图像同时地显示地图,以提供进一步的信息。例如,地图可以在画中画的布置中显示为图像显示的小插图。地图可以示出UAV在卫星地图、街景地图或任何其他合适类型的地图上的位置和/或方位。地图还可以包括关于其他物体的信息,诸如关于远程终端和/或参照点(例如,供UAV降落到的归航点)的信息。这样的地图可以为远程用户提供UAV操作于其中的整体或全局情景。在一些实施方式中,地图还可以示出由UAV所携带的负载的视野(FOV)的投影,以便允许用户快速识别FOV所覆盖的地貌。
图1图示了根据实施方式的、用于实现UAV飞行显示的示例性系统100。系统100包括可移动物体101和遥控终端112以及远程显示终端116。可移动物体101可以包括动力机构106、感测系统108和/或通信系统110。尽管可移动物体101被描绘为无人飞行器(UAV),但这样的描绘并不旨在成为限制性的,而是如本文所述可以使用任何合适类型的可移动物体。本领域技术人员将会理解,本文在航空器系统的情景下描述的任何实施方式均可适用于任何合适的可移动物体,诸如无人载具或其他类型的可移动物体。
在一些实施方式中,可移动物体101可以包括载体102和负载104。载体102可以允许负载104相对于可移动物体101运动。例如,载体102可以允许负载104相对于可移动物体101围绕一个、两个、三个或更多个轴旋转运动。备选地或附加地,载体102可以允许负载104沿着一个、两个、三个或更多个轴平移运动。旋转或平移运动的轴可以彼此正交或者可以彼此不正交。
在一些实施方式中,负载104可以刚性耦合至或连接至可移动物体101,使得负载104相对于可移动物体101保持基本静止。例如,连接可移动物体101和负载104的载体102可以不允许负载104相对于可移动物体101运动。或者,负载104可以直接耦合至可移动物体101,而不需要载体。
在一些实施方式中,负载104可以包括一个或多个传感器,用于勘测或跟踪UAV周围的物体。这样的负载的示例可以包括图像捕捉设备或成像设备(例如,相机或摄像机、红外成像设备、紫外成像设备等)、音频捕捉设备(例如,抛物面麦克风)、红外成像设备等。任何合适的一个或多个传感器可以合并到负载104中以捕捉任何视觉、音频、电磁信号或任何其他期望的信号。传感器可以提供静态感测数据(例如,照片)或动态感测数据(例如,视频)。传感器可以实时地连续捕捉或以高频率捕捉感测数据。
在一些实施方式中,负载上的传感器可以包括一个或多个被配置用于将光信号转换成电子信号的图像传感器。所述图像传感器可以包括半导体电荷耦合器件(CCD)、使用互补金属氧化物半导体(CMOS)或N型金属氧化物半导体(NMOS、Live MOS)技术的有源像素传感器,或者任何其他类型的传感器。图像传感器和/或成像设备可被配置用于捕捉具有诸如宽度、高度、宽高比、像素数、分辨率或质量等任何合适参数的图片、视频或任何其他图像数据。例如,成像设备可被配置用于捕捉高清或超高清视频(例如,720p、1080i、1080p、1440p、2000p、2160p、2540p、4000p、4320p等)。
由图像传感器捕捉的图像数据可以储存在数据存储设备中和/或由一个或多个处理器来处理。所述数据存储设备和/或处理器可以在UAV机上或机外。数据存储设备可以基于半导体、磁、光或任何合适的技术,并且可以包括快闪存储器、USB驱动器、存储器卡、固态硬盘驱动器(SSD)、硬盘驱动器(HDD)、软盘、光盘、磁带等。例如,数据存储设备可以包括可拆卸地耦合至图像捕捉设备的可移动存储设备,诸如任何合适格式的存储器卡,例如PC卡、CompactFlash、SmartMedia、Memory Stick、Memory Stick Duo、Memory Stick PRO Duo、微型卡、多媒体卡(MMC)、小尺寸多媒体卡(RS-MMC)、MMCmicro卡(MMCmicro)、PS2卡、安全数字(SD)卡、SxS、通用闪存(UFS)、miniSD、microSD、xD-Picture卡、Intelligent Stick(iStick)、串行闪存模块(SFM)、NT卡、XQD卡等。数据存储设备还可以包括外置硬盘驱动器、光盘驱动器、磁带驱动器、软盘驱动器,以及可以可操作地连接至图像捕捉设备的其他合适的存储设备。
在一些实施方式中,可移动物体与远程终端之间的通信链路可以是双向通信链路,使得可移动物体和远程终端全都可以经由该通信链路接收和传输数据。或者,通信链路中的一个或多个可以是单向通信链路,其适合于在单一方向上传输数据(例如,从可移动物体向终端,或者反之亦然)。例如,数据传输链路可以用于仅向终端传输由可移动物体收集的感测数据(例如,由GPS传感器或惯性传感器收集的位置和/或朝向数据、由相机收集的图像数据),而控制数据传输链路可以用于仅向可移动物体传输来自终端的控制数据(例如,基于用户输入)。
可移动物体101可被配置用于接收上行链路或控制数据。上行链路或控制数据可由控制终端112提供。控制数据可由通信系统110、飞行控制系统、负载或可移动物体101的其他组件接收。控制数据可以用于直接或间接地控制可移动物体101的各方面。在一些实施方式中,控制数据可以包括导航指令,其用于控制可移动物体的导航参数,诸如可移动物体101的位置、速度、朝向或姿态。控制数据可以用于控制UAV的飞行。控制数据可以影响一个或多个动力单元106的操作,所述动力单元可以影响UAV的飞行。在其他情况下,控制数据可以包括用于控制可移动物体101的单个组件的命令。例如,控制数据可以包括用于控制载体102的操作的信息。例如,控制数据可以用于控制载体102的致动机构,以导致负载104相对于可移动物体101的角运动和/或直线运动。又例如,控制数据可以用于控制无负载的载体102的运动。又例如,控制数据可以用于调节负载104的一个或多个操作参数,诸如拍摄静态或运动图片、放大或缩小、开启或关闭、切换成像模式、改变图像分辨率、改变焦距、改变景深、改变曝光时间、改变镜头速度、改变视角或视野等。在其他实施方式中,控制数据可以用于控制可移动物体101的感测系统(未示出)、通信系统(未示出)等。
在一些实施方式中,可移动物体101可被配置用于提供下行链路数据,诸如UAV和/或负载的状态信息、由可移动物体101的感测系统108和/或负载104获取的感测数据等。下行链路数据可由控制终端112接收。控制数据可由可移动物体101的通信系统110、飞行控制系统、负载或其他组件提供。例如,下行链路数据可以包括UAV的姿态、位置、速度、高度或其他状态信息。下行链路数据还可以包括负载的姿态、FOV、景深、曝光速度和其他状态信息。又例如,实时或近实时视频可以从可移动物体101和/或负载104(例如,成像设备)流传输至控制终端112。下行链路数据还可以包括由感测系统108获取的感测数据,所述感测系统108可以包括一个或多个传感器,诸如全球定位系统(GPS)传感器、运动传感器、惯性传感器、距离传感器或其他传感器。在各个实施方式中,由控制终端112接收的下行链路数据可以包括原始数据(例如,由传感器获取的原始感测数据)和/或经处理的数据(例如,由可移动物体上的一个或多个处理器处理的跟踪信息)。
在一些实施方式中,控制终端112可以位于远程或远离可移动物体101、载体102和/或负载104的位置。控制终端112可以安设于或固定至支撑平台。或者,控制终端112可以是手持式或可穿戴式设备。例如,控制终端112可以包括智能电话、平板计算机、膝上型计算机、计算机、眼镜、手套、头盔、麦克风或其合适的组合。
控制终端112可以具有一个或多个输入机构,该输入机构可由用户操纵以便控制UAV的至少一个方面或组件。例如,用户输入机构可以包括按钮、操纵杆、滚动球、触摸屏、开关、转盘、旋钮等。用户输入机构可被配置成使得用户可以控制UAV围绕横滚轴、航向轴和/或俯仰轴的运动。用户输入机构可由用户操纵以导致UAV在沿着三维空间中一平面的方向上平移。物理用户接口还可被配置用于提供对UAV的飞行的用户控制。控制UAV的飞行可以包括控制UAV的速度、功率、油门和/或高度。在一个示例中,控制终端112可以包括两个或更多个操纵杆。每个操纵杆可以提供一个、两个、三个、四个或更多个自由度。例如,可以垂直和水平运动操纵杆。每种运动可对应于针对UAV的特定控制命令。例如,两个操纵杆可各自被向上、下、左、右运动。八种操纵杆运动可分别对应于UAV的六个自由度(即,围绕航向轴、俯仰轴和横滚轴的旋转)外加UAV的两个油门水平(即,增大或减小油门)。增大UAV的油门可使UAV增加高度,而减小UAV的油门可使UAV下降。
在一些情况下,用户输入机构可以用于控制UAV的非飞行动作。非飞行动作可以是UAV机载的传感器或负载的运动。非飞行动作可以包括UAV的载体的致动,该载体可被配置用于携带负载。非飞行动作的另一示例可以是收集和/或报告由UAV机载的传感器收集的数据。此外,输入机构可以用于启动、终止或以其他方式控制由UAV或其组件进行的自主或预定例程或动作。自主或预定例程通常包括在无人为干预的情况下发生的一系列步骤或事件。这样的自主例程或动作的示例可以包括自动返航、悬停、GPS飞行、自主起飞和/或降落、自主目标跟踪、自动图像捕捉等。
在一些实施方式中,控制终端112可配备有一个或多个用于测量终端的状态诸如位置、姿态或空间朝向等的传感器。这样的传感器的示例可以包括GPS传感器、惯性传感器、加速度计、陀螺仪、磁力计等。在一些实施方式中,所述传感器可以用于检测预定用户输入。检测到的用户输入可以继而用于随同或不随同其他用户输入来控制UAV。例如,控制终端围绕某一轴的倾斜可以由惯性传感器检测到,并被用于实现UAV或负载围绕对应的轴的运动。
控制终端112可以通过有线连接或无线连接而可操作地连接至显示终端116。显示终端116可以是包含计算组件(未示出)和视觉显示器118的设备。所述计算组件可以包括一个或多个处理器和/或一个或多个存储器存储设备。处理器可被配置用于根据非暂时性计算机可读介质来执行指令。存储器可以包括非暂时性计算机可读介质,该介质包含用于执行本文所述一个或多个步骤的代码、逻辑或指令。显示终端可以包括非暂时性计算机可读介质,该介质包含用于提供如本文所讨论的飞行显示的程序指令。显示终端116可以是移动设备,诸如智能电话。在一些情况下,显示终端116可以是台式计算机、膝上型计算机、平板计算机或虚拟现实头戴装置。视觉显示器118可以包括触摸屏、投影仪、LCD屏、等离子屏、LED或OLED屏、电视机或监视器。显示终端116可以提供飞行信息的视觉和/或文本表示,例如当UAV位于空中时。在一些情况下,显示终端116可以附加地提供其他视觉、音频或其他反馈信息。显示终端116可被配置用于通过用户交互组件,诸如触摸屏、开关、按钮、按键、旋钮、鼠标、指针、轨迹球、操纵杆、触摸板等,来接收用户输入。在一些实施方式中,用户交互组件可以与视觉显示器118相同。显示终端116可配备有一个或多个传感器,诸如GPS传感器、惯性传感器、加速度计、陀螺仪、磁力计、麦克风、视觉传感器、红外传感器等。用户交互组件可以接收触摸输入、位置输入、音频输入或视觉输入。
显示终端116还可以包括一个或多个接收器,所述接收器被配置用于接收所要显示的数据或用于生成显示数据的数据。接收器可被配置用于从一个、两个、三个或更多个数据传输源接收数据。所述源可以包括UAV 101(或者被包括在UAV内或关联于UAV的组件)、控制终端112、服务器、网络设备、中继站、卫星或任何其他合适的数据源。
在一些实施方式中,显示终端116可以位于远程或远离UAV和/或控制终端112的位置。显示终端116可以安设于或固定至支撑平台。或者,显示终端116可以是手持式或可穿戴式设备。例如,显示终端116可以包括智能电话、平板计算机、膝上型计算机、计算机、眼镜、手套、头盔、麦克风或其合适的组合。
控制终端112可以与显示终端116通信。控制终端112与显示终端116之间的通信可以通过有线连接或无线连接来提供。可以通过RF连接、IR连接、Wi-Fi网络、无线局域网(WLAN)、蜂窝网络或任何其他可用的无线网络,在控制终端112与显示终端116之间提供无线连接。或者,可以通过永久导线连接、同轴线缆连接、火线连接、MIDI连接、eSTATA连接、以太网连接或任何其他允许数据传输的可用的有线连接,在控制终端112与显示终端116之间提供有线连接。在一些情况下,有线连接可以是通过USB线缆的连接。
在一些实施方式中,控制终端112可被配置用于向显示终端116提供从UAV接收的数据,诸如UAV状态信息、负载状态信息、UAV感测数据等。控制终端112还可被配置成基于对控制终端112的用户输入(诸如控制命令)而提供数据。控制终端112还可被配置用于提供由其自身的耦合至控制终端112的传感器提供的感测数据。这样的感测数据可以包括GPS数据、方向/朝向数据、运动信息、距离信息、音频/视觉数据等。控制终端112还可被配置用于提供从任何其他合适的源(诸如本地或远程数据存储、服务器、卫星等)接收的信息。
在一些实施方式中,显示终端116可被配置用于接收来自耦合至显示终端116的传感器的感测数据,所述传感器诸如为GPS传感器、惯性传感器、距离传感器、音频/视觉传感器、触摸传感器等。这样的感测数据可以包括GPS数据、方向/朝向数据、运动信息、距离信息、音频/视觉数据等。在一些实施方式中,显示终端116还可被配置用于从除了控制终端112之外的源接收数据。例如,显示终端116可被配置用于直接从UAV或其组件、本地或远程数据存储、服务器、卫星等接收信息。在一些情况下,UAV直接与显示终端116通信,而无需与控制终端112通信。
在一些实施方式中,显示终端116可被配置用于处理接收到的数据,以便在视觉显示器118上显示数据。这样的数据处理和/或显示功能可由运行于显示终端116上的一个或多个过程诸如应用程序(例如,移动app)来执行。所述过程可由显示终端116的一个或多个处理器来实现。显示终端116可被配置用于提供与图5-图7中所述类似的、对与UAV相关的信息的显示。在一些实施方式中,所显示的信息可实时或近实时更新以反映接收到的经更新的信息。
在各个实施方式中,本文所讨论的通信系统或模块可以使用相同或不同的通信方法来通信。在一些情况下,通信方法可能需要视线可见地操作。或者,不同的通信方法可能不需要视线可见地操作。一些通信方法可能是距离相关的,而其他通信方法可能是距离无关的。通信方法可涉及有线通信方法、无线通信方法或其合适的组合。有线通信可以利用导线、线缆、光纤、波导和其他合适的物理连接来传输数据。无线通信方法可以利用无线电波、红外波、声波或光波来传输数据。在一些情况下,有线和/或无线通信方法可涉及通过电信网络、蜂窝网络或数据网络来传输数据,所述数据网络可以是局域网(LAN)或广域网(WAN)。网络可以包括因特网或基于因特网的网络,诸如云通信网络。一些网络可以是公用网络,而其他网络可以是专用网络。数据可以在可移动物体与远程终端之间直接传输(例如,直接通信,亦称为点对点通信)。或者,数据可以经由一个或多个中间网络节点而在可移动物体与远程终端之间传输(例如,间接通信)。所述网络节点可以是中继站、塔、卫星、移动台、计算机、服务器等。网络节点可以是固定节点。相反地,网络节点可以是可移动节点,诸如位于可移动物体(例如,卫星)上的节点。合适的通信方法的一些示例包括:WiFi、WiMAX、编码正交频分复用(COFDM)以及移动或蜂窝电话网络(例如,3G或4G网络)。
如图1中所示,用于显示UAV和/或负载的飞行和状态信息的显示器可以是与遥控终端112分开的显示终端116的显示器118。在各个实施方式中,显示终端116和遥控终端112可以位于或者可以不位于大致相同的位置。显示终端可被配置用于显示在显示终端和/或遥控终端之间的相对地理关系。
在一些实施方式中,显示器可以集成到UAV的遥控终端。图2图示了根据实施方式的、用于实现UAV飞行显示的另一示例性系统200。如图所示,UAV202被配置成与远程终端204通信。远程终端204可以包括计算组件(未示出)和视觉显示器206。所述计算组件可以包括一个或多个处理器和/或一个或多个存储器存储设备。所述处理器可被配置用于根据非暂时性计算机可读介质而执行指令。存储器可以包括非暂时性计算机可读介质,该介质包含用于执行本文所述一个或多个步骤的代码、逻辑或指令。显示器206可被配置用于显示UAV202、由UAV 202携带的负载203或UAV机载的任何模块的飞行和状态信息。远程终端204可以将图1中所讨论的遥控终端112和显示终端116的功能结合起来。即,远程终端204可被配置用于同时充当UAV的控制终端和与UAV相关的信息的显示终端。例如,可以将被配置用于实现控制终端和/或显示终端的功能的模块集成到一个设备中和/或安设于一个外壳内。
如本文所讨论,与UAV的通信可以包括与UAV机载的任何设备或系统——诸如通信系统(例如,接收器和/或发射器)、由UAV携带的负载、传感器或传感器系统、飞行控制系统等——的任何直接或间接通信。同样地,与UAV相关的飞行信息可以包括UAV自身的飞行或状态信息(例如,高度、姿态、位置和速度),或者UAV机载的设备或系统,诸如负载(例如,图像捕捉设备)、传感器、动力系统、通信系统、飞行控制系统、电源系统等的信息。
远程终端204还可以包括一个或多个接收器,所述接收器被配置用于接收所要显示的数据或用于生成显示数据的数据。接收器可被配置用于从一个、两个、三个或更多个源接收数据。所述源可以包括UAV 202本身(或者被包括在UAV内或关联于UAV的组件)、服务器、网络设备、中继站、卫星或任何其他合适的数据源。
在各个实施方式中,如图1-图2中所示,与UAV相关的飞行信息的显示所必需的数据可以直接或间接地传输至远程显示终端。在一些实施方式中,UAV与显示终端之间的数据通路的一些或所有部分可以是点对点式和/或经由一个或多个中间设备。图3图示了根据实施方式的、用于实现UAV飞行显示的又一示例性系统300。如图所示,UAV 302可被配置用于直接或间接地向具有相应的显示器308的远程显示终端306、310提供数据。UAV 302可被配置用于直接地(例如,经由点对点通信信道)向远程显示终端310提供数据。换言之,远程显示终端310可被配置用于与UAV 302直接通信。备选地或附加地,UAV 302可被配置用于间接地向远程显示终端306提供数据(例如,经由一个或多个中间设备314和/或经由一个或多个网络304)。所述中间设备可以包括被配置用于与UAV直接通信(例如,经由点对点通信信道)的设备314,或者被配置用于与UAV间接通信的设备316。在各个实施方式中,中间设备314、316可以包括遥控器、网络设备(例如,路由器、网络接入点、服务器)、卫星、中继站等。至少一些远程显示终端和中间设备可以包括移动设备或便携式设备(例如,移动电话、膝上型计算机、平板计算机、手持式控制器)。或者,至少一些远程显示终端或中间设备可以是固定式(例如,地面站、基站、工作站、蜂窝塔)。在各个实施方式中,网络304可以包括任何合适的通信网络,诸如因特网、局域网(LAN)、广域网(WAN)、无线网络、蜂窝网络、卫星网络、公共交换电话网(PSTN)、公用或专用网络、虚拟专用网(VPN)、自组网等,或者其任何组合。
除了由UAV(或其组件)直接或间接提供的数据之外,显示终端还可被配置用于接收来自其他源的数据,所述其他源诸如为控制终端、服务器或在线服务器、数据存储、卫星或任何其他合适的设备或系统。例如,这样的数据可以包括控制终端的位置信息。这样的数据连同UAV数据可以在经进一步处理或不经进一步处理的情况下显示在显示终端上。例如,显示终端可被配置成基于来自UAV和遥控终端两者的位置信息,来显示UAV和遥控终端的相对位置。又例如,显示器可被配置成基于对地图数据和UAV的位置数据的处理而在地图上显示UAV的实时位置。所述地图可以基于从远程数据服务器、数据存储等接收的地图数据而生成。UAV的实时位置可以接收自UAV、远程服务器、远程传感器系统等。
在各个实施方式中,如本文所讨论的飞行信息的显示所需的任何数据处理可以由显示终端本身、一个或多个与显示终端分开的设备或者其任何组合来实现。在一个示例中,显示终端可以是“虚设”或“精简”终端,其仅能够显示信息而不能够进行复杂的数据处理。在这样的情况下,大部分(如非全部)显示数据可以由其他设备或系统而不是显示终端来生成。在另一示例中,显示终端可以能够执行比虚设终端更多的数据处理。在这样的情况下,大部分(如非全部)显示数据可以由显示终端本身来生成。例如,显示终端可以能够运行应用程序(例如,移动app)。又例如,可以在显示终端与一些可操作地连接至该显示终端的其他系统或设备之间拆分数据处理。例如,显示终端可被配置用于运行前端应用程序,该前端应用程序与运行于远程服务器上的后端应用程序通信。在各个实施方式中,数据处理的实际分配可取决于显示终端和/或其他设备或系统的软件/硬件特性、处理量、各个设备的负荷以及其他因素。
图4图示了根据实施方式的、用于实现信息显示的示例性过程400。过程400的各方面可由UAV机上的一个或多个处理器、UAV机外的一个或多个处理器或者其任何组合来执行。例如,过程400可由远程显示终端中的一个或多个处理器、服务器或其组合来实现。过程400(或者本文所述的任何其他过程,或者其变体和/或组合)的一些或所有方面可以在配置有可执行指令的一个或多个计算机/控制系统的控制下执行,并且可以实现为共同执行于一个或多个处理器上的代码(例如,可执行指令、一个或多个计算机程序或者一个或多个应用程序)、由硬件实现,或者是其组合。所述代码例如可以按包含可由一个或多个处理器执行的多个指令的计算机程序的形式,储存在计算机可读存储介质上。所述计算机可读存储介质可以是非暂时性的。所描述的操作的顺序并不旨在被解释为限制性的,并且任何数目的所描述的操作可以按任何顺序和/或并行地组合以实现所述过程。
在一个实施方式中,过程400包括接收表示UAV状态信息的数据402。UAV状态信息可以与UAV的空间排列诸如UAV的姿态信息相关。例如,UAV姿态信息可以包括UAV围绕诸如俯仰轴、航向轴和横滚轴等一个或多个轴的空间朝向。所述状态信息还可以包括可与UAV的航向朝向相关的UAV的方位。
UAV状态信息还可以包括UAV位置信息,诸如GPS坐标、纬度和/或经度、高度、与一个或多个参照点的距离或其他关系等。所述参照点可以包括具有预定位置信息或被配置成主动发射位置信息的物体,诸如供UAV返航到的预设归航点(home point)、基站或地面站、移动终端(例如,手持式远程终端和/或移动显示终端)、自识别目标(例如,支持GPS的载具、建筑物)等。参照点还可以包括位于UAV周围环境中的未被配置成主动发射位置信息的物体或障碍物,诸如人造或天然地标(例如,建筑物、树木)。
本文所讨论的任何状态信息可以是相对于参考系的。所述参考系可以是固定参考系(例如,地球、周围环境)。或者,参考系可以是移动参考系(例如,可移动物体、负载目标)。在各个实施方式中,可以使用任何合适的坐标系,诸如笛卡尔坐标系、齐次坐标系、极坐标系、基本方向(例如,东、南、西、北)等,来确定状态信息。
UAV状态信息还可以包括关于UAV的运动的信息,诸如速度和/或加速度信息。运动信息可以是相对于诸如地面或风等任何合适的参考系。例如,运动信息可以包括UAV的地速、空速、水平速度和/或垂直速度。在一些实施方式中,状态信息可以同时包括速度信息和加速度信息、仅包括两者之一或者两者都不包括。备选地或附加地,UAV状态信息可以包括关于UAV的电源、通信系统、动力单元和任何其他组件的信息。
UAV状态信息可以基于来自UAV的一个或多个传感器的感测数据而生成,所述传感器包括惯性传感器和运动传感器(例如,加速度计、陀螺仪、视觉传感器、速度计)、位置传感器(例如,GPS传感器、罗盘、磁力计)、距离传感器(例如,激光雷达传感器、超声传感器、红外传感器和/或视觉传感器)、图像传感器或视觉传感器等。例如,UAV姿态信息可以基于来自惯性传感器的感测数据而生成。UAV的方位可以由罗盘或磁力计测量。UAV的位置可以由GPS传感器测量。在一些实施方式中,可以提供距一个或多个参照点的距离。该距离可以基于UAV和参照点的已知位置信息计算得出。该距离还可以基于来自一个或多个距离传感器的感测数据计算得出。在一些实施方式中,物体检测的最大范围和/或最小范围是基于距离传感器的特性,诸如传感器的最大范围和/或最小范围或者传感器的准确度。
在一些实施方式中,过程400可以可选地包括接收由UAV携带的负载的状态信息404。负载可以包括图像捕捉设备,诸如相机、摄像机、红外设备等。负载状态信息可以包括关于载体、其组件和/或负载的空间排列(例如,位置、朝向或姿态)、速度(例如,线速度或角速度)、加速度(例如,线加速度或角加速度)和/或其他信息。负载状态信息可以包括描述负载相对于航向轴、俯仰轴和/或横滚轴的朝向的姿态信息。如本文所讨论,载体可以允许负载相对于UAV旋转和/或平移运动(例如,经由本文所述的载体)。因此,负载的空间排列和/或姿态可能与UAV的空间排列和/或姿态不相同。在一些实施方式中,负载状态信息还可以包括关于负载的其他方面的信息,诸如其操作参数。这样的操作参数可以与负载的电源、数据存储、光学组件等相关。例如,操作参数可以指示出可用电池电量、数据存储的可用量、焦距、缩放比例、图像分辨率、景深、曝光、镜头速度或视野(FOV)、负载的开启/关闭状态、快照/视频模式等。在一些实施方式中,可以基于来自一个或多个传感器的感测数据来提供负载状态信息。
在一些实施方式中,负载状态信息是从由关联于负载和/或载体的一个或多个传感器提供的感测数据获取或计算得出。这样的传感器的示例可以包括运动传感器(例如,加速度计)、旋转传感器(例如,陀螺仪)、惯性传感器等。负载/载体传感器可以耦合至载体的任何合适的一个或多个部分(例如,机架构件和/或致动器构件),并且可以是或者可以不是相对于UAV可运动的。附加地或备选地,至少一些载体传感器可以直接耦合至由载体所携带的负载。
来自负载的信息可以包括来自UAV的信息,或者作为其一部分。在一些实施方式中,负载状态信息可以与UAV状态信息分开接收。例如,负载状态信息和UAV状态信息可以由两个、三个或更多个单独的通信模块来提供。在一些其他实施方式中,负载状态信息和UAV状态信息中的至少一些信息可被一起接收。例如,负载状态信息和UAV状态信息可以由同一通信模块来传输。
在一些实施方式中,UAV状态信息和负载状态信息可以由UAV机载的设备或系统来提供。或者,至少一些与UAV和/或负载相关的信息可以由位于UAV外部的和/或远离UAV的设备或系统来提供。例如,UAV的状态(例如,位置)可以由一个或多个远程传感器来监视,并且可以将来自这样的远程传感器的感测数据提供至显示终端。又例如,来自UAV的图像数据和/或感测数据可以在被提供至显示终端之前由远程设备所接收和/或处理。
在一些实施方式中,可以将负载或其他传感器所捕捉的图像数据或其他感测数据提供至远程终端,诸如遥控终端、远程显示终端或远程服务器。图像数据可以包括由负载捕捉的原始图像数据和/或经处理的数据——诸如由关联于图像传感器的预处理单元(例如,现场可编程门阵列(FPGA))进行预处理,以及/或者由UAV机载的一个或多个处理单元进一步处理。预处理单元可被配置用于预处理原始图像数据,以执行重采样、降噪、对比度增强、尺度空间表示等。处理单元可被配置用于对经预处理的数据进行进一步处理,以执行任何合适的图像处理任务,诸如特征提取、图像匹配、图像拼接等。
可选地,过程400可以包括接收远程终端的状态信息406。远程终端可以包括用于控制UAV的遥控终端和/或用于显示关于UAV的信息的远程显示终端。远程终端的状态信息可以包括位置信息(例如,GPS坐标)、朝向信息(例如,相对于一个、两个或三个轴)、通信信息(例如,信号强度)等。接收到的远程终端的状态信息可以用于确定和/或显示UAV与远程终端之间的关系,诸如相对方位、距离等。在远程终端包含显示终端或由显示终端所包含的情况下,所述状态信息可能与显示终端的状态信息相同或近似。在其他情况下,诸如当远程终端位于与显示终端分开之处时,远程终端的状态信息可能与显示终端的状态信息不相同。在一些实施方式中,远程终端状态信息可以由遥控终端、远程显示终端、将遥控终端与远程显示终端的功能相结合的集成式远程终端、中间终端等所接收。在一些实施方式中,远程终端状态信息由软件组件(例如,应用程序过程)、硬件组件或其组合所接收。
在各个实施方式中,远程终端状态信息可以由一个或多个传感器来提供,所述传感器诸如为惯性传感器、位置传感器、距离传感器等。传感器可以附接至或可操作地连接至被配置用于接收所述状态信息的远程终端。或者,传感器可以与远程终端分开。例如,传感器可以耦合至远程终端周围的物体。备选地或附加地,远程终端状态信息可以由远程服务器、数据存储、卫星或者任何其他设备或系统来提供。
所述过程可以可选地包括处理接收到的信息以最终显示信息408。在一些实施方式中,可以结合、对比或交叉检查、筛选或以其他方式处理来自多个信息源的信息。例如,状态信息(例如,位置)可以由位于不同地点的多个传感器或设备来提供。可以结合这样的信息以获得对物体的状态的更加全面的观察。或者,可以基于预定准则而从接收到的信息选择性地提取附加信息。例如,相比于来自低精度传感器的感测数据,可以优选地选择来自高精度传感器的感测数据。
在一个实施方式中,可以使用接收到的信息来计算所要显示的信息。例如,可以基于位置信息,诸如UAV的GPS坐标和参照点的GPS坐标,来计算UAV与参照点(例如,归航点、远程终端)之间的相对距离。又例如,可以使用UAV的飞行路径上的一系列航路点的GPS坐标来显示连续的飞行路径。
在各个实施方式中,过程408可以单独地或共同地由安设于一个、两个、三个或更多个设备和/或系统中的一个或多个处理器来执行。所述设备和/或系统例如可以包括:可移动物体(例如,UAV)、遥控终端、远程显示终端、基站、中间终端、云计算系统等。
过程400可以包括显示至少一些接收到的信息410,所述信息可以是或者可以不是经过处理的。在各个实施方式中,所显示的信息一般可以包括UAV、由UAV携带的负载、由负载和/或UAV捕捉的图像或其他感测数据、远程终端(例如,UAV和/或负载的控制终端)、UAV周围的环境和/或其任何组合,或者与之相关。信息可以在用户界面中以直观而高效的方式显示,如图5-图7中更详细讨论。
例如,本文所讨论的各种类型的信息可以同时在同一屏幕或同一用户界面上显示,以便给予用户对所有相关信息的全面观察。在一个示例中,UAV状态信息和负载状态信息可以同时在显示终端的同一屏幕上显示。在另一示例中,UAV状态信息和/或负载状态信息可以与关于远程终端(例如,控制终端)的信息(例如,位置和/或姿态)一起显示,以便提供对物体之间相对关系的直观图示。又例如,UAV状态信息、负载状态信息和/或远程终端信息可以与由负载捕捉的实时图像和/或其他关于UAV的感测数据同时显示,以便允许用户直观地控制UAV的导航和/或负载的朝向(例如,经由载体的控制)。又例如,可以提供同时示出UAV的位置和负载的FOV的地图,从而使得用户能够很容易地确定可由负载的图像所捕捉的地貌的范围。
在一些实施方式中,用于显示本文所讨论的各种类型的信息的区域可以重叠以提高屏幕效率,或者可以不重叠。可以将重叠区域提供为透明的、半透明的或不透明的层。例如,用于显示UAV状态信息和负载状态信息的区域可以重叠,使得一区域可以用于同时显示这两种信息。又例如,UAV和/或负载状态信息可以在叠加于由负载所捕捉的图像之上的层中显示。
在一些实施方式中,可以基于用户偏好和/或用户输入来定制显示。例如,用户可以提供一个或多个参数,该参数定义所要显示的信息的内容和/或布局。例如,用户可以指定关于所要显示的信息的量、类型、单位或度量制以及其他相关参数。又例如,用户可以指定用于显示信息的用户界面(UI)组件的字体、颜色、大小、形状、位置、格式、布局。在一些实施方式中,用于显示信息的用户界面还可以用于让用户提供信息。这样的信息可以用于控制UAV、负载等的各个方面。
上文所述的至少一些步骤可以实时地或近实时地实现。例如,可以在生成关于UAV和/或负载的状态信息、由负载所捕捉的图像、感测数据和/或其他信息时实时地或近实时地接收这样的信息。同样地,可以在接收信息时实时地或近实时地处理接收到的信息。对接收到的信息的显示可以实时地或近实时地发生。最后,可以实时地或近实时地更新显示,以便反映接收到了更新的信息。或者,在上述一些或所有步骤中可能存在一定的延迟。在各个实施方式中,上述一些或所有步骤可以在UAV位于空中时或者在UAV不位于空中时实现。
总而言之,本文所讨论的用于实现UAV飞行显示的任何过程的任何步骤可以单独地或共同地由一个、两个、三个、四个或更多个设备或系统来实现。这样的设备或系统可以包括显示终端、遥控终端、服务器、基于云的系统或任何其他合适的设备或系统。在一个示例中,上述所有步骤可以由同一设备或系统来实现。用于UAV飞行显示的数据可以由一个、两个、三个或更多个设备和/或系统来接收。UAV飞行显示所需的数据处理可以由一个、两个、三个或更多个设备和/或系统来执行,该设备和/或系统可以与用于接收数据的设备和/或系统重叠或者可以不与之重叠。最后,UAV飞行数据的显示可以由一个、两个、三个或更多个设备和/或系统来执行,该设备和/或系统可以与用于接收和/或处理数据的设备和/或系统重叠或者可以不与之重叠。例如,UAV和/或负载的状态信息可由第一设备接收,该信息可由第二设备处理,并且经处理的信息可由第三设备显示。
图5图示了根据实施方式的、可在远程显示终端上显示的示例性用户界面(UI)500。远程显示终端可类似于图1-图3中讨论的远程显示终端。例如,远程显示终端可以包括与遥控终端分开的或者与之成为一体的显示器。远程显示终端可以与遥控终端相同或者是其一部分。
在一些实施方式中,UI可以包括一个或多个主要显示区或部分501,以及一个或多个辅助显示区或部分502、504、506、508、510、512。主要显示区501可被配置成具有比任一辅助显示部分更大的显示面积(例如,更多像素数)。在一些实施方式中,在主要和/或辅助显示区中显示的信息的类型是固定的。例如,如图5中所示,主要显示区501可以用于显示由耦合至UAV的负载所捕捉的图像数据,诸如静态图片或视频,而辅助显示区可被配置用于显示与UAV相关的信息和/或用于接收用户输入。在一些其他实施方式中,在主要和/或辅助显示区中显示的信息的类型可以动态调换或切换。例如,在主要显示区501中显示的信息可以与在辅助显示区中显示的信息动态调换。例如,用户可以点击辅助显示区,诸如图5中所示的地图显示504,而作为响应,在地图显示504中显示的信息被显示于主要显示区501中,同时先前在主要显示区501中显示的图像数据现在被显示于辅助显示区504中。类似地,如果用户再次点击辅助显示区504,则可以再次调换主要显示区501与辅助显示区504之间的显示。在各个实施方式中,用户可以经由任何合适的输入机构,诸如触摸屏、鼠标、键盘、语音命令等,来切换或调换显示。在一些实施方式中,在一个主要显示区中显示的信息可以与在另一主要显示区中显示的信息动态调换。在一个辅助显示区中显示的信息可以与在另一辅助显示区中显示的信息动态调换。
仅用于说明目的,以下讨论有时将主要显示区501称为用于显示由耦合至UAV的负载所捕捉的图像(诸如静态图片或视频)的图像部分。在该图像部分上显示的图像可以是实时地或近实时地提供的。进一步地,所述一个或多个辅助显示区502、504、506、508、510、512有时被称为用于提供和/或接收与UAV相关的信息的信息部分或区域。然而,应当理解,可以如上文所述动态调换、切换或以其他方式修改图像部分和信息部分的相对位置和/或大小。
主要显示区501可以至少部分地与一些辅助显示区重叠。例如,辅助显示区可被显示为不透明的或透明的层,该层叠加于主要显示区上或者嵌入其中。在备选实施方式中,主要显示区可不与任何辅助显示区重叠。重叠的显示区域可以促进对屏幕空间的更高效利用,特别是对于诸如在移动显示终端上的屏幕等小屏幕尤为如此。
在一些实施方式中,可以将主要显示区和辅助显示区的布局设计用于突出在主要显示区中显示的内容和/或减少对该内容的干扰。例如,主要显示区可以占用整个屏幕或大部分屏幕,而信息部分的大小可以相对较小并沿着屏幕的周边和/或边界布置,以具有更少的侵扰。还可以选择辅助显示区或信息部分中所显示的信息,使得只有最关键的、最有用的或最相关的信息才被显示出来。在一些实施方式中,可以收起和/或隐藏至少一些辅助显示区或信息部分,以便允许用户更好地查看UI的其余区域。还可以展开和/或示出辅助显示区或信息部分,以便允许用户查看这些部分中所显示的信息。在一些实施方式中,辅助显示区或信息部分可以包括控件,诸如切换控件503,其用于在隐藏模式与展开模式之间切换。切换控件503可以显示于关联的内容显示区504之外,如图5中所示。或者,切换控件可以显示于关联的内容显示区之内,使得切换控件的显示不占用额外的空间。
在一些实施方式中,可以允许用户经由一个或多个输入机构,诸如触摸屏、鼠标、键盘、操纵杆、触控笔、可穿戴式设备、视觉或音频命令等,来与UI的一些或全部区域交互。经由UI提供的用户输入可以用于控制显示器和/或显示终端、UAV、负载、远程终端、传感器等的各个方面。
在各个实施方式中,负载的FOV和/或视线可以与UAV朝着的方向对准,或者可以不与之对准。例如,负载的FOV和/或视线可与UAV沿航向轴、俯仰轴和/或横滚轴的航向成角度。该角度可大于0度、30度、60度、90度、120度、150度、180度、210度、240度、300度等。
信息部分可以包括飞行显示部分502、地图部分504、一个或多个控制部分506、512以及一个或多个附加显示部分508、510。飞行显示部分502可以用于显示位置、姿态、速度和其他与UAV相关的飞行信息。特别是,飞行显示部分502可被配置用于同时显示UAV状态信息和负载状态信息。图6中更详细地讨论飞行显示部分。
地图部分504可以用于在地图(例如,卫星地图)上显示UAV的当前位置和/或朝向。所述地图还可被配置用于指示遥控终端的当前位置和/或朝向、归航点、UAV的飞行路径等。此外,地图可被配置用于指示UAV上的图像传感器的FOV的朝向和/或角度。在一些实施方式中,可以将地图部分504以画中画的方式显示为图像部分501的插图。在其他实施方式中,地图部分504可以不与图像部分501重叠。图7中更详细地讨论地图部分。
UI还可以包括一个或多个控制部分506、512,所述控制部分各自包括用于选择、启用、停用、修改或以其他方式控制UAV和/或其组件的一个或多个模式、操作或路线的控件。在一些实施方式中,基于对控件的选择而生成的控制数据可以直接或间接传输至UAV,以便控制UAV和/或负载的一个或多个方面。至少一些控件可以由图形化图标来表示,该图形化图标图示出与控件相关联的模式或操作。图形化图标可被设计用于促进在无需借助任何文字描述的情况下直观地理解控件的功能。此外,这样的“单触式”或“单击式”控制界面可以简化用户提供诸如用于选择、启用、停用或以其他方式控制UAV和/或负载的各个方面的控制的过程。举例而言,如本文所讨论,用户可以使用这样的“单触式”或“单击式”控件来启用预定和/或自主路线,诸如自动返航、自主起飞、自主降落、悬停等。
在一些实施方式中,UI可以用于允许用户远程控制UAV机载的负载,诸如当UAV位于空中时。例如,控制部分506可以包括一个或多个用于选择负载(诸如图像捕捉设备)的模式的控件。例如,模式选择控件514、516和518可分别对应于相机模式、视频模式和回顾模式。对模式选择控件的选择使负载进入与该模式选择控件相对应的模式中。例如,对相机模式控件514的选择使负载进入用于捕捉静态照片的相机模式。对视频模式控件516的选择使负载进入视频模式,在其中可以记录视频。对回顾模式控件518的选择使负载进入回顾模式,在其中可以使先前由负载捕捉的图像或视频可供回顾。在一些实施方式中,对相机模式控件514的选择使多个附加相机控件被显示出来,用于控制与拍摄静态照片相关联的各个方面。这样的附加相机控件可以用于控制相机的拍摄模式。例如,可以提供控件用于启用单拍模式、连拍模式(其中连续拍摄多个照片)、包围式曝光模式(其中使用不同的相机设置(诸如曝光)来拍摄多个照片)、定时拍摄模式(其中以预定延迟来拍摄一个或多个照片)等。在包围式曝光模式下,可以提供一个或多个控件用于设置要在包围式曝光模式下拍摄的多个照片(例如,三个、五个或七个)。在一些实施方式中,UI可以允许用户远程控制将负载耦合至UAV的载体,以便导致负载的姿态改变。例如,UI可以允许用户控制载体,以便导致负载围绕航向轴、俯仰轴和/或横滚轴旋转。
在一些实施方式中,本文所述的UI可以由用户用于控制可由UAV、负载或其组件执行的一个或多个自主任务的各个方面。用户可以启动自主任务。在由用户启动自主任务之后,UAV在执行自主任务时可不需要来自用户的附加控制或输入。自主任务可使UAV进入预定序列。该预定序列可以包括不需要用户输入的一系列动作。
控制部分512还可以包括用于控制UAV和/或负载的其他方面的一个或多个控件520、522、524、526、528。例如,起飞/降落控件520可以用于启用或停用UAV的自主起飞和/或降落例程的执行。当启动时,自主起飞和/或降落例程可使UAV进行一系列的预定动作(例如,涉及其动力系统、传感器、飞行控制系统等),以便在无任何人为干预或最少的人为干预的情况下起飞和/或降落。载体模式控制522可以用于指定用以控制载体的模式。载体将负载耦合至UAV,并且可以允许负载相对于UAV运动。载体模式可以从多个模式中选择,所述多个模式包括头部跟随模式、第一人称视角(FPV)模式、自由控制模式、一键返航模式、手势控制模式、微调横滚控制模式等。
控制部分512还可以包括多个负载配置控件524、530、532、534,用于设置负载(例如,图像捕捉设备,诸如相机)的多个配置或操作参数。例如,胶片速度控件530可以用于显示图像捕捉设备的当前胶片速度以及/或者选择或指定新的胶片速度(例如,ISO 200、ISO400、ISO 600、ISO 800、ISO 1000)。快门速度控件532可以用于显示图像捕捉设备的当前快门速度以及/或者选择或指定新的快门速度(例如,1/16000s、1/8000s、1/4000s、1/2000s、1/1000s、1/500s、1/250s、1/125s、1/60s、1/30s、1/15s、1/8s、1/4s、1/2s)。曝光补偿控件534可以用于显示和/或调节与图像捕捉设备相关联的曝光。显示切换控件524可以用于显示更多或更少的负载配置控件。例如,在展开模式下,当选择显示切换控件524时,可以显示除图5中所示之外的附加负载配置控件。在展开模式下,对显示切换控件524的选择可以导致在收起模式下的较少的控件(诸如图5中所示)的显示。在一些实施方式中,所述多个负载配置控件530、532和534可以按基本上为半圆形的方式布置,以提高可用性、用户友好性和/或屏幕效率。在其他实施方式中,负载配置控件可按任何其他合适的方式布置。
控制部分512还可以包括自动返航控件526,该控件允许用户例如利用对自动返航控件的单击或选择来启用和/或停用自动返航例程。当启动时,自动返航例程可使UAV进行一系列预定动作(例如,涉及其动力系统、传感器、飞行控制系统等),以便自主地返航至预定的归航点,而无需任何人为干预或者需要最少的人为干预。归航点可以是UAV的起飞点或任何具有已知位置的任意点。归航点可由用户指定或者默认提供。在一些实施方式中,自动返航例程的归航点可以经由归航设置控件528来设置。归航设置控件528可以向用户提供设置归航点的选项。例如,对归航设置控件528的选择可导致提供三个附加归航设置控件(未示出)。附加归航设置控件中的一个可以允许用户选择UAV、遥控终端或任何其他合适物体的当前位置作为归航点。附加归航设置控件中的另一个可以允许用户设置UAV的起飞点作为归航点。附加归航设置控件中的另一个可以允许用户指定归航点应当跟随可动态运动的物体,诸如遥控终端和/或远程显示终端。当选择这个控件时,归航点可以定期(例如,每2、4、6、8、10或20秒)自动更新成指定的可移动物体的当前位置。或者,归航点可以仅响应于某些用户事件诸如对自动返航控件526的选择而更新。
UI 500还可以包括一个或多个附加信息显示部分508、510。所述显示部分可被配置用于显示与电源、通信、数据存储容量、导航状态、传感器状态等相关的各种状态信息。显示部分508还可以包括与UAV的各通信信道的一个或多个状态指示器。例如,上行链路或控制信道(用于从遥控器传输遥控信号的通信信道或链路)的状态可以由控制器图标538连同柱状图539、数字(例如,从0到100)或者控制信道的状态或条件的任何其他合适的指示器来表示。下行链路或数据信道(用于从UAV传输诸如图像数据等数据的通信信道或链路)的状态可以由数据传输图标540(例如,“HD”图标)连同柱状图541、数字(例如,从0到100)或者数据信道的状态和/或条件的任何其他合适的指示器来表示。控制信道和数据信道的状态或条件可指示通信信道的信号强度、噪声、干扰、信噪比(SNR)、比特误码率、衰落率和其他特性。
显示部分508还可以包括UAV或其组件的电源的一个或多个指示器。这样的指示器可以包括电池图标542连同剩余电池电量的数字指示器544。附加地或备选地,电源指示器还可以包括滚动条指示器546。该滚动条可以包括多个节段,每个节段指示与电池电量相关的对应状态。在一个实施方式中,滚动条的每个节段对应于电池电量百分比的特定范围。例如,第一节段可以指示0-25%(非常低)的电池电量。第二节段可以指示20%-50%(例如,低)的电池电量。第三节段可以指示50%-100%(例如,中高)的电池电量。在其他实施方式中,滚动条可以包括多于或少于三个节段,并且节段的百分比范围可不同于本文所示的百分比范围。
在一些实施方式中,所述多个节段可以是可通过颜色、图案、位置或其任何组合而彼此视觉区分的。例如,第一节段、第二节段和第三节段(从左到右或从右到左)可分别以红色、黄色和绿色显示。滚动条上的滚动指针的位置可以对应于可用电池电量的当前水平。有利地,多节段滚动条允许用户容易且直观地识别电池电量的近似水平(例如,其为非常低、低、中等或高),而不必知晓确切的百分比。
在另一实施方式中,滚动条的每个节段可以基于当前电池电量来指示与特定路程和/或特定距离相关联的飞行安全水平。例如,每个节段可以指示UAV是否能够以当前电池电量从当前位置安全抵达特定目的地。该目的地可以是预定的,或者是动态指派的(例如,由远程用户指派)。该目的地可以包括归航点、关联于远程终端(例如,遥控终端)的位置、UAV的起飞点,或者任何在UAV起飞之前或当UAV位于空中时设置(例如,由远程用户或者UAV机上或机外的自动化过程所设置)的任意点。备选地或附加地,所述节段可以指示剩余电池电量是否足够使得UAV能够飞行特定的距离。所述距离的值可以是预定的(例如,100m、500m、1000m)。距离的值可以由用户动态指定,诸如经由遥控终端来指定。距离的值可以基于UAV的当前位置和目的点而动态地计算得出。如上文所讨论,可以在视觉上区分节段(例如,通过其相对位置、颜色、图案等)以支持用户进行快速识别。例如,在一个实施方式中,第一节段(例如,红色的并且/或者位于滚动条的一端)可以指示电池电量不足以抵达特定目的地或距离。所述第一节段可以指示需要UAV立即降落。在一些实施方式中,在没有明确的用户控制的情况下,在预定时间段(例如,2秒、5秒、10秒、20秒)内自动地执行自动降落例程。在其他实施方式中,不执行自动例程。第二节段(例如,黄色的并且/或者位于第一节段的旁边)可以指示电池电量足够抵达特定目的地或距离,但没有很多富余。该节段可以指示应当控制UAV以尽快抵达特定目的地(例如,归航点)或距离。在一些实施方式中,在没有明确的用户控制的情况下,在预定时间段(例如,2秒、5秒、10秒、20秒、1分钟)内自动地执行自动返航例程。在其他实施方式中,不执行自动例程。第三节段(例如,绿色的并且/或者位于第二节段的旁边)可以指示电池有充足的电量来抵达特定目的地或距离并且超出该特定目的地或距离。在各个实施方式中,关联于一些节段的自动干预程度(例如,自动降落例程或自动返航例程)可以是硬编码的,或者是可配置的(例如,由用户配置)。在一些实施方式中,当电池状态落入上文所讨论的一个或多个节段内时,可以提供音频、视觉、触觉或其他种类的反馈信号。所述反馈信号可以从远程终端(例如,遥控终端和/或远程显示终端)或UAV来提供。例如,当滚动条指示器在第二节段内时,可以提供音频警告诸如哔哔声或语音命令(例如,“请尽快使UAV返航到归航点”),以关于UAV的电池和/或导航状态警告或通知用户。
滚动条上的滚动指针的位置和/或每个节段的长度/大小可以基于当前电池电量和/或UAV的当前位置与特定目的地之间的距离而动态地改变。当目的地改变时,滚动条指针和/或节段的长度/大小也可以相应地改变。举例而言,如上文所讨论,用户可以例如通过使用归航设置控件528,在UAV位于空中时动态地设置或修改UAV的归航点。当用户设置不同的归航点时,可以计算出UAV与新的归航点之间的当前距离并将其用于相应地更新电池滚动条显示。这样的更新可以包括调节滚动条上的滚动指针的位置。附加地或备选地,这样的更新可以包括改变滚动条的一些或所有节段的长度。例如,如果新的归航点比先前的归航点更加远离UAV,则滚动条指针可以向滚动条的第一节段端移近,以指示UAV在其能够安全地返航到新归航点之前具有更少的飞行时间。备选地或附加地,可以调节一个或多个节段的长度,使得滚动条指针现在落入到指示UAV在其能够安全地返航到新归航点之前具有更少的飞行时间的节段内。例如,如果指针先前位于第三节段中,则可以缩短第三节段或延长第二节段,使得指针现在落入到第二节段中,或者指针仍落入到第三节段中但是更靠近第二节段。如果指针先前位于第二节段中,则可以缩短第二节段或延长第一节段,使得指针现在落入到第一节段中,或者指针仍落入到第二节段中但是更靠近第一节段。在一些实施方式中,可以通过同时更新滚动条指针的位置和滚动条节段的长度来调节滚动条显示。
与滚动条仅表示电池电量百分比的实施方式相比,该实施方式以精确而实时的方式提供了对电池电量——UAV抵达特定目的地或距离的能力——的“更智能”或更有用的表示,使得用户不必亲自进行可能是缓慢和/或不准确的计算或估计。这样的电池指示器允许用户作出更快的决定,而更快的决定转而确保了UAV的更好的飞行安全性。
电源指示器还可以包括时间指示器548,该指示器示出大致飞行时间。飞行时间可以表示使用剩余电源的飞行时间。飞行时间可以表示在UAV为了确保可以安全抵达特定目的地(例如,归航点)而需要开始向该目的地返航之前的时间量。飞行时间还可以表示在UAV为了确保安全而需要降落之前的时间量。飞行时间还可以表示在启动自动化例程(例如,自动降落或自动返航)之前的时间量。有利地,时间指示器548提供了基于电池状态而得出的重要飞行状态信息(例如,剩余飞行时间),以使得用户能够迅速采取行动。
在一些实施方式中,可以提供飞行状态指示器509来指示UAV的飞行状态。飞行状态可以基于UAV的组件诸如电源、动力单元、存储器、软件和/或硬件组件等的当前状态来确定。飞行状态指示器509可被配置用于显示不同的颜色、图案、纹理、文本或其任何组合来表示不同的飞行状态。例如,绿色可以用于指示安全的飞行状态。其他颜色诸如黄色和红色可以用于指示更危险的飞行状态。备选地或附加地,可以由飞行状态指示器509显示对应于不同飞行状态的不同文本内容。例如,可以显示“安全的飞行”或类似的文本以指示安全的飞行。可以显示“危险的飞行”或其他警告消息以指示更危险的飞行。在各个实施方式中,飞行状态指示器509可以安设在显示部分508与显示部分510之间,或者安设在UI上的任何其他位置。飞行状态指示器509可以始终显示,或者仅响应于某些预定条件、事件、用户动作等而显示。例如,在一些实施方式中,可以仅当UAV接近或处于危险的飞行状态下时,才显示飞行状态指示器509。又例如,可以仅当用户选择或以其他方式启用UI控件时,才显示飞行状态指示器509。
显示部分508还可以包括设置控件570,该设置控件可由用户用于提供配置常规设置。对设置控件570的选择可以导致显示附加控件,该附加控件用于控制附加的方面或用于显示附加的信息。例如,所述附加控件可以用于重新格式化存储介质(例如,SD卡)、恢复默认设置、显示与UAV、负载、远程终端等相关联的版本信息等。
显示部分510可以包括GPS指示器552,该GPS指示器包含卫星图标和指示GPS信号强度的柱状图。GPS指示器552可以备选地或附加地包括视野范围内的卫星数目(例如,12个)。
显示部分510还可以包括导航模式指示器554。例如,导航模式指示器554可以用于指示导航是基于GPS的(如图5中所示)、基于视觉的,或者同时基于这两者。在各个实施方式中,可以基于感测系统而非GPS和视觉来进行导航,诸如基于惯性测量单元(IMU)、距离传感器(例如,激光雷达、红外线、超声波)等。导航模式可以基于任何合适的感测系统或其任何组合而选择。导航模式可由运行于UAV上的过程(例如,由飞行控制模块)来自动确定、由远程用户经由遥控终端来远程选择,或者是其组合。用户与UAV之间的控制的分配可以基于UAV的环境而动态地改变。例如,当UAV处于相对简单的环境(例如,在户外和/或开放空间)内时,可能需要较多的UAV自主性和较少的用户干预。相反地,当UAV处于相对复杂的环境(例如,在室内和/或封闭空间)内时,可能需要较少的UAV自主性和较多的用户干预。
在一些实施方式中,对导航模式指示器554的选择可以导致显示附加控件,用于配置与导航模式相关联的各种参数。这样的附加控件可以用于设置最大高度、最小高度、最大距离等。
显示部分510还可以包括用于控制UAV的航向的智能朝向控制(IOC)指示器556。例如,IOC指示器556可以用于在UAV的跟随模式与锁定模式之间切换。当选择跟随模式时,UAV被配置成改变其航向,以跟随或跟踪远程用户和/或远程终端。当选择锁定模式时,UAV可被配置成根据预设方向和/或预定飞行路径飞行(例如,围绕兴趣点或归航点盘旋)。
显示部分510还可以包括一个或多个存储指示器558、560,该存储指示器指示负载和/或UAV的当前数据存储容量。负载和/或UAV的数据存储容量可由照片容量指示器558和视频容量指示器560来表示。图像容量指示器558可以包括照片图标连同可使用当前可用存储来储存的照片数目。视频容量指示器560可以包括视频图标连同可使用当前可用存储来储存的视频长度(例如,数小时、数分钟和/或数秒)。
显示部分510还可以包括后退控件562,该后退控件可以用于退出当前用户界面并返回到用于先前菜单控件/项目的界面,类似于浏览器后退按钮的功能。
在各个实施方式中,可以显示可不同于所示UI的更多、更少或不同的控件。例如,UI可被配置用于仅示出图像显示部分,而不示出任何信息显示部分;或者反之亦然。在图1的各个部分中显示的信息可以在其他实施方式中混合并匹配于不同的部分中。UI中显示的信息可以由图形化图标或指示器来表示,或者以文本或数字格式来表示。此外,所显示的信息可以自动地或响应于用户输入而动态地改变。如上文所讨论,信息部分502、504、506、508、510、512中的至少一些可被动态地隐藏/收起、或者被示出/展开。例如,地图部分504的显示可通过对切换控件503(例如,作为箭头图标)的选择来切换。切换控件503可以显示在关联的内容显示区之内或之外。在一些实施方式中,在一个部分中显示的数据可被动态切换成在另一部分中显示。例如,在一个实施方式中,可以调换地图部分504和图像部分501,使得图像部分以画中画的方式被显示成地图部分的插图。在一些实施方式中,UI的各部分的布局可以动态地改变成不同于图5中所示。例如,各部分能够以平铺方式或者以一个或多个平行面板示出。
图6图示了根据实施方式的示例性飞行显示部分600。飞行显示部分600可以类似于图5中所讨论的飞行显示部分502,但在此得到更详细的描述。飞行显示部分600可以用于显示与UAV和/或负载相关的位置、姿态、速度和其他飞行信息。所述飞行信息可以显示于飞行显示部分600内的一个或多个区域或部分中。
飞行显示部分600可以包括图标显示部分602和飞行参数显示部分604。图标显示部分602可至少部分地用于显示UAV的状态信息、负载的状态信息、远程终端的状态信息或其任何组合。例如,图标显示部分602可被配置用于同时显示UAV状态信息和负载状态信息。图标显示部分602可被配置用于同时显示UAV状态信息和远程终端状态信息。图标显示部分602可被配置用于同时显示UAV状态信息、负载状态信息和远程终端状态信息。
图标显示部分602可以包括类似于自上而下雷达图的、基本上为圆形的区域603。图标显示部分602可以用于图示UAV和远程终端(例如,遥控终端和/或远程显示终端)的相对位置和方位。UAV可由UAV图标610表示,而远程终端可由远程终端图标628表示。
在一些实施方式中,远程终端图标628在基本上为圆形的区域603的中心处显示。基本上为圆形的区域603的比例尺可由从中心辐射的一个或多个同心距离圈表示。所述距离圈的半径可对应于根据预定比率或比例尺的距中心的实际距离,诸如10英里、20英里、30英里等。在一些实施方式中,基本上为圆形的区域603的比例尺可以动态调节以同时将远程终端和UAV两者放入基本上为圆形的区域603中。例如,当UAV与远程终端之间的距离增大时,距离圈的数目可以增加;备选地和/或附加地,可以按比例放大半径以表示更长的距离。当UAV与远程终端之间的距离减小时可以是相反的情况。
远程终端628的朝向可由远程终端朝向指示器606来指示。远程终端朝向指示器606可以位于基本上为圆形的区域的周边,并且当远程终端转动(例如,围绕航向轴转动)时对应地运动。在一个示例中,所述朝向指示器的方向可对应于操作远程终端的用户所面对的方向。在一些实施方式中,远程终端的朝向可以由关联于该远程终端的磁力计和/或GPS传感器来测量。
在一些实施方式中,UAV的朝向可以由UAV图标610的朝向来指示,诸如由UAV图标610所示的UAV的机头指向的方向来指示。UAV的朝向可以包括UAV围绕航向轴的朝向。UAV指示器610可关联于视野(FOV)指示器608。UAV的FOV可对应于由UAV携带的负载的FOV或者UAV机载的任何视觉或图像传感器的FOV。FOV指示器608可被示出为从UAV投射的基本上为圆锥的形状。FOV的相对航向角(例如,圆锥的中线与UAV的航向之间的角度)可对应于负载或视觉传感器的相对于UAV的航向角的航向角。默认情况下,FOV的相对航向角可以与UAV的航向相同并且因此为零。在一些情况下,负载的载体可以导致负载的指向方向与UAV的航向之间的相对航向角。
在一些实施方式中,圆锥形状的角度(例如,限定该圆锥的两条直线之间的角度)可对应于负载的实际FOV。或者,圆锥形的角度可以是任意角度,其不必对应于负载的实际FOV。在一些实施方式中,载体和/或负载的航向/横滚旋转的角度可以按数值格式由图标显示部分602中的航向/横滚角度指示器624来显示。
基本上为圆形的区域603还可以发挥UAV姿态显示的功能,其图示UAV的朝向,例如,围绕俯仰轴和/或横滚轴的朝向。例如,负载横滚/俯仰指示器626可以包括在基本上为圆形的区域603的周边上的两个点之间延伸的线。线626的倾斜可以用于指示UAV的横滚朝向。例如,平行于地平线627的水平线或横线626可以指示UAV的零横滚旋转。线626相对于地平线627的逆时针倾斜(即,线的最左点低于线的最右端)可以指示UAV的对应的逆时针横滚(从UAV的视角)。同样地,线626相对于地平线627的顺时针倾斜(即,线的最左端高于线的最右端)可以指示UAV的对应的顺时针横滚(从UAV的视角)。
附加地或备选地,线626相对于地平线627的上升和下降可以用于指示UAV的俯仰朝向。例如,穿过基本上为圆形的区域的中心的横线可以指示UAV相对于地平线627的零俯仰旋转。线626朝基本上为圆形的区域603的顶部的上升可以指示围绕俯仰轴的向上倾斜。线626朝基本上为圆形的区域603的底部的下降可以指示围绕俯仰轴的向下倾斜。
如本文所讨论,在一些实施方式中,可以允许负载相对于UAV围绕一个、两个或三个轴旋转运动。所述轴可以包括俯仰轴、横滚轴、航向轴或其任何组合。因此,在一些备选实施方式中,基本上为圆形的区域603还可以发挥负载姿态显示的功能,其图示载体和/或负载的朝向,例如,围绕俯仰轴和/或横滚轴的朝向。例如,负载横滚/俯仰指示器626可以包括在基本上为圆形的区域603的周边上的两个点之间延伸的线。线626的倾斜可以用于指示负载和/或载体的横滚朝向。例如,水平线或横线626可以指示负载相对于UAV的零横滚朝向。线626的逆时针倾斜(即,线的最左点低于线的最右端)可以指示负载相对于UAV的对应的顺时针横滚。同样地,线626的顺时针倾斜(即,线的最左端高于线的最右端)可以指示负载相对于UAV的对应的逆时针横滚。
附加地或备选地,线626的上升和下降可以用于指示负载和/或载体的俯仰朝向。例如,穿过基本上为圆形的区域的中心的横线可以指示负载相对于UAV的零俯仰旋转。线626朝基本上为圆形的区域603的顶部的上升可以指示围绕俯仰轴的向上倾斜。线626朝基本上为圆形的区域603的底部的下降可以指示围绕俯仰轴的向下倾斜。
如上文所讨论,在一些实施方式中,UAV的航向朝向可由UAV图标610的朝向所图示。UAV的俯仰和横滚朝向可由基本上为圆形的区域603中的水平指示器626所图示。负载的航向和横滚朝向可分别由FOV指示器608和横滚角度指示器624所图示。
在一些实施方式中,负载的俯仰朝向(或其视线)可由包括垂直滚动条的负载俯仰指示器622所图示。所述俯仰指示器可以安设在图标显示部分602中。所述滚动条的上下运动可对应于负载围绕俯仰轴的上下运动。在一些实施方式中,俯仰指示器622可以可选地包括方向指示器,其示出负载的俯仰运动的方向。在一些实施方式中,始终显示俯仰指示器622。在一些其他实施方式中,默认情况下不显示俯仰指示器622,而是仅当负载的俯仰朝向和UAV的俯仰朝向之间存在非零角度时才显示俯仰指示器622。方向指示器可以包括上控件和/或下控件,所述上控件和/或下控件可在俯仰角达到或超过某一预定范围时被启用(例如,经由颜色、形状或其他特性的改变)。
在一些实施方式中,上文所述的朝向指示器被配置用于仅显示信息。需要附加的控件来控制或以其他方式改变朝向(例如,俯仰/航向/横滚)。在一些其他实施方式中,上文所述的朝向指示器被配置用于既显示信息又接收用以控制UAV和/或负载的相应朝向的用户输入。
飞行参数显示部分604可以用于显示UAV的飞行参数,诸如距离和速度。飞行参数显示部分604可以邻近图标显示部分602显示,或者与之分开显示。如图所示,飞行参数显示部分604可以包括垂直距离指示器612和水平距离指示器614,其用于分别示出UAV与预定参照点之间的垂直距离和水平距离,所述参照点诸如为归航点、遥控终端和/或远程显示终端或者任何其他参照点或位置。垂直距离指示器612和水平距离指示器614可以各自包括图示所表示的参数的符号或图标(例如,“H”代表高度或垂直距离,而“D”代表水平距离),连同参数的数字值(例如,“739m”代表垂直距离为739米,而“1739m”代表水平距离为1739米)。
飞行参数显示部分604可以包括垂直速度指示器618和水平速度指示器620,其用于分别示出UAV相对于预定参考系(例如,相对于地面、风、遥控器或其他物体)的垂直速度和水平速度。例如,所显示的速度可以包括垂直速度、地速或空速。在一些实施方式中,垂直速度指示器618和水平速度指示器620可以各自包括代表所表示的速度大小的拱形标度,连同速度值的数字值(例如,“8.3m/s”代表垂直速度,而“24.2m/s”代表水平速度)。此外,垂直速度指示器618还可以包括图示UAV的垂直运动的方向的方向指示器619。例如,方向指示器619可以包括向上箭头和向下箭头。当UAV向上运动时,可以高亮显示向上箭头或以其他方式将其显示为活动的。同样地,当UAV向下运动时可以高亮显示向下箭头或以其他方式将其显示为活动的。
飞行参数显示部分604还可以包括距离指示器616,用于指示UAV距参考物的距离。所述参考物可以包括UAV周围的物体,诸如处于UAV的飞行路径上或其附近的物体。例如,距离指示器616可以用于指示距UAV周围的障碍物的距离。可以从UAV到物体的表面诸如建筑物、地面、树木等的任何表面测量所述距离。障碍物可以位于或者可以不位于距UAV的预定范围内。该预定范围可由用于检测障碍物的距离传感器的最大和/或最小检测范围所确定。距离传感器的示例可以包括激光雷达传感器、超声传感器、红外传感器、视觉传感器等。在一些实施方式中,参照点还可以包括遥控终端和/或显示终端的位置、供UAV返航的归航点或任何其他航路点。在一些实施方式中,距离指示器616可以包括距离图标,连同从UAV到参照点的距离的数值表示(例如,“5.2m”)。在一些实施方式中,可以提供不止一个距离指示器来指示距不止一个参照点的距离。
在一些实施方式中,如果UAV与参照点之间的距离是在预定范围之外,则可以提供警告。例如,如果UAV处于距物体的预定最小距离内,则可以给出警告,从而指示出与该物体的即将发生的碰撞。因此,警告和距离指示器616可以允许操作UAV的用户及时避让这样的障碍物。又例如,如果UAV距物体比预定距离更远,则可以给出警告。所述物体可以包括用户想要跟踪的目标物体。所述物体可以包括具有有限的控制范围的遥控器。因此,警告和距离指示器616可以允许用户操作UAV以返回到更靠近所述物体之处,以例如防止UAV失控。
在各个实施方式中,警告可以包括视觉信号、音频信号、触觉反馈或其任何组合。警告信号可以经由远程显示终端、遥控终端、UAV或一些其他设备来提供。例如,可以由红色或闪烁的距离指示器616或显示终端上的一些其他视觉指示器来视觉地表示视觉警告。附加地或备选地,可以提供音频警告,其可以包括哔哔声、警报声、一段音乐、人声或其任何组合。附加地或备选地,可以提供触觉反馈,其可以包括振动、施力或者可由操作远程显示终端和/或遥控终端的用户感觉到的运动。例如,触觉反馈可以由远程显示终端和/或遥控终端的振动来表示。
在一些实施方式中,在飞行显示部分500中显示的至少一些图标或控件可以是可由用户选择的。对这样的可选择控件的选择可以导致附加于或替代于当前所显示信息而显示进一步信息。例如,对控件630的选择可以导致显示附加控件,用于控制与负载相关的设置,诸如用于控制胶片速度、快门速度、曝光补偿等。又例如,对UAV图标610的选择可以导致显示对UAV相对于远程终端(例如,遥控终端和/或远程显示终端)的空间排列的三维描绘。所述描绘可以包括由远程终端所感知的或者根据一些其他参照点的,UAV围绕俯仰轴、航向轴和横滚轴的朝向。
在一些实施方式中,飞行显示部分600的至少一些方面可以由用户定制。例如,用户可以经由用户界面来改变与显示部分602相关联的参考系的视角。图标显示部分可被配置成仅示出由远程终端所感知的UAV的相对空间排列,而不是同时示出远程终端和UAV的自上而下视图。又例如,用户可以改变飞行参数显示部分604中所示的值诸如速度和距离的单位和/或精度。
图7图示了根据实施方式的示例性地图部分700。地图部分700可以类似于图5中所讨论的地图部分504,但在此得到更详细描述。地图部分700可以用于显示UAV、远程终端(例如,遥控终端和/或远程显示终端)和/或参照点诸如归航点的当前位置。地图部分700还可以用于显示UAV的FOV和/或UAV的飞行路径。
地图部分700可以包括UAV图标702、远程终端指示器704和参照点指示器706,它们全都位于地图701上。由参照点指示器706所指示的参照点可以包括归航点或一些其他合适的点。地图701可以包括一区域的地理特征,诸如陆地、水体、森林、道路、建筑物等。地图701可基于卫星图像、GPS数据、地质勘测等而生成。在一些实施方式中,用于生成地图701的数据可从本地或远程数据存储、服务器、基于云的服务、卫星等获得。地图可以根据一定的预定比率或比例尺而对应于实际地理区域。地图701上的UAV图标702、远程终端指示器704和参照点指示器706的位置可以根据地图的比例尺而成比例地对应于其在地理区域中的相应位置。在一些实施方式中,可以缩放地图,以便显示所有的UAV、远程终端、参照点或任何其他感兴趣的物体。在其他实施方式中,地图仅显示上述感兴趣物体的子集。
UAV图标702可以用于指示UAV在地图上的位置和/或UAV的朝向。UAV的朝向可由UAV图标702所示的UAV机头的指向方向所指示。所显示的UAV的朝向可对应于UAV的航向或航向朝向。可以提供视野(FOV)指示器708来指示UAV的视野(FOV)。UAV的FOV可对应于由UAV所携带的负载的FOV或者UAV机载的任何视觉或图像传感器的FOV。FOV指示器708可被示出为从UAV投射的基本上为圆锥的形状,其类似于图6中描述的FOV指示器608。圆锥的指向方向可对应于负载或任何其他合适的视觉传感器的航向角或朝向。负载或任何其他视觉传感器的航向角可以与UAV相同。在一些实施方式中,将负载耦合至UAV的载体可以允许负载相对于UAV围绕航向轴旋转运动。在这样的情况下,负载的航向朝向可以不同于UAV的航向朝向。在一些实施方式中,圆锥形状的角度可对应于负载的实际FOV。或者,圆锥形状的角度可以是任意角度,其不必对应于负载的实际FOV。有利地,FOV指示器708允许用户查看投影到地图上的UAV的FOV的方向和/或角度范围,从而很容易理解可由负载或视觉传感器捕捉的地貌的大致范围。
远程终端指示器704的朝向可以用朝向指示器705示出。朝向指示器705可以基本为圆锥形。圆锥形状的投影方向可以对应于操作远程终端的用户所面对的方向。由朝向指示器705所指示的方向可以对应于远程终端的朝向的改变而改变。
地图部分700还可以包括飞行路径指示器710。飞行路径指示器710可以表示UAV的飞行路径。在一些实施方式中,生成飞行路径所需的数据可以从UAV接收。所述数据可以包括沿着飞行路径的一系列航路点的位置信息(例如,GPS坐标)。在一些实施方式中,用户可以通过指定起始位置/时间、结束位置/时间、飞行路径的持续时间以及其他参数来定制所显示的飞行路径。
地图部分700还可以包括擦除器控件716。擦除器控件716可以用于移除由飞行路径指示器710显示的飞行路径的一些或所有部分。在一个实施方式中,对擦除器控件716的选择导致从地图显示擦除到目前为止的所有飞行路径。在另一实施方式中,用户可以选择擦除器控件716并且使用其来擦除所显示的飞行路径的一部分。在一些实施方式中,在擦除之后的附加飞行路径仍然可被记录和/或被显示。在其他实施方式中,擦除器控件716可以用于关闭/开启飞行路径的记录和/或显示。
地图部分700还可以包括参考控件712,用于从多个具有不同参考系的显示模式中作出选择。例如,在第一显示模式下的参考系可以是UAV。因此,UAV的航向被显示为固定的(例如,UAV的机头指向上方)。地图中的非UAV物体(例如,远程终端、参照点、地理物体)可相对于固定的UAV航向显示,并且当UAV的航向改变时改变其朝向。第二显示模式下的参考系可以是远程终端。因此,远程终端的航向是固定的,而地图中的非远程终端物体(例如,UAV、建筑物、地理物体)相对于远程终端的固定航向显示,并且当远程终端的航向改变时改变其朝向。在第三显示模式下的参考系可以是地球。因此,地图中的地理物体诸如建筑物具有固定的朝向(例如,东、南、西、北)。当UAV或远程终端的航向改变时,在地图中表示对应的改变。在一些实施方式中,参考控件712可以由不同的图标来表示,以视觉地指示出当前选定的显示模式和/或下一可用的显示模式。例如,当选择第一模式时可以显示航空器的图标。当选择第二模式时可以显示远程终端的图标。当选择第三模式时可以显示罗盘的图标。
地图部分700还可以包括比例尺控件714。比例尺控件714可以用于从多个具有不同比例尺的显示模式中选择显示模式。例如,比例尺控件714可以允许用户在第一显示模式与第二显示模式之间进行选择或切换。在第一显示模式下,地图的比例尺可以自动增大(例如,从1:1,000,000到1:5,000,000),以便显示所有的兴趣点,诸如UAV、远程终端和参照点。第一模式下的地图允许用户容易地查看所有兴趣点之间的全局关系。在第二显示模式下,地图可以自动按比例缩小以仅显示兴趣点的子集。例如,第二显示模式下的地图可以仅显示第一显示模式下的地图的一部分。例如,第二模式下的地图允许用户仅专注于UAV周围的区域。在一些其他实施方式中,比例尺控件714可被配置用于允许用户在三个、四个或更多个不同显示模式之间切换。例如,第三模式下的地图可以具有在第一模式下的地图比例尺与第二模式下的地图比例尺之间的比例尺。在一个示例中,第三模式下的地图可以用于显示比第一模式更多但比第二模式更少的兴趣点。在一些实施方式中,比例尺控件714可由不同的图标所表示,以视觉地指示出当前选定的显示模式和/或下一可用的显示模式。例如,在当前显示模式具有较大的地图比例尺时可以显示放大图标,而在当前显示模式具有较小的地图比例尺时可以显示缩小图标。有利地,比例尺控件714使得用户能够容易地在不同查看模式之间切换(例如,经由一键点击),而无需占用进一步的显示区域。
在一些实施方式中,地图部分700的至少一些方面可由用户定制。例如,用户可以指定要在地图上显示的兴趣点。所述兴趣点可以包括仅UAV和远程终端、仅UAV和参照点等。在一些实施方式中,用户可以添加除了所示之外的更多兴趣点。例如,用户可以通过在地图上点击来添加要在地图上示出的一个、两个、三个或更多个参照点。在一些实施方式中,用户可以添加或移除在地图上显示的信息。例如,可以允许用户启用或停用FOV指示器708和/或远程终端朝向指示器705。在其他实施方式中,可以允许用户在地图的特定部分上放大、缩小、在卫星视图与街景视图之间切换,或者执行其他功能。
本文所描述的系统和方法可以由多种可移动物体来实现和/或适用于多种可移动物体。本文所描述的系统、设备和方法可以适用于多种可移动物体。如前文所述,本文对飞行器的任何描述均可适用于和用于任何可移动物体。本发明的可移动物体可被配置用于在任何合适的环境内运动,诸如在空中(例如,固定翼航空器、旋翼航空器或者既不具有固定翼也不具有旋翼的航空器)、在水中(例如,船舶或潜艇)、在地面上(例如,机动车,诸如轿车、卡车、公交车、厢式货车、摩托车;可运动构造物或框架,诸如棒状物、钓鱼竿;或者火车)、在地下(例如,地铁)、在太空(例如,航天飞机、卫星或探测器),或者这些环境的任何组合。可移动物体可以是载具,诸如本文其他各处所描述的载具。在一些实施方式中,可移动物体可以安装在诸如人类或动物等活体身上。合适的动物可以包括灵长类、禽类、犬类、猫类、马类、牛类、羊类、猪类、海豚、啮齿类或昆虫。
可移动物体可以能够在所述环境内关于六个自由度(例如,三个平移自由度和三个旋转自由度)而自由运动。或者,可移动物体的运动可能关于一个或多个自由度受到约束,诸如由预定路径、轨迹或朝向所约束。所述运动可以由诸如引擎或马达等任何合适的致动机构所致动。可移动物体的致动机构可以由任何合适的能源提供动力,所述能源诸如为电能、磁能、太阳能、风能、引力能、化学能、核能或者其任何合适的组合。可移动物体可以如本文其他各处所述,经由动力系统而自推进。所述动力系统可以可选地依靠能源运行,所述能源诸如为电能、磁能、太阳能、风能、引力能、化学能、核能或者其任何合适的组合。或者,可移动物体可以由生物所携带。
在一些情况下,所述可移动物体可以是载具。合适的载具可以包括水上载具、飞行器、空间载具或地面载具。例如,飞行器可以是固定翼航空器(例如,飞机、滑翔机)、旋翼航空器(例如,直升机、旋翼飞机)、同时具有固定翼和旋翼的航空器或者既无固定翼又无旋翼的航空器(例如,飞艇、热气球)。载具可以是自推进式,诸如在空中、在水上或水中、在空间中或者在地面或地下自推进。自推进式载具可以利用动力系统,诸如包括一个或多个引擎、马达、轮子、轮轴、磁体、旋翼、螺旋桨、桨叶、喷嘴或者其任何合适组合的动力系统。在一些情况下,动力系统可以用于使可移动物体能够从表面起飞、降落到表面上、保持其当前位置和/或朝向(例如,悬停)、改变朝向和/或改变位置。
可移动物体可以由用户遥控或者由可移动物体之内或之上的乘员在本地控制。在一些实施方式中,可移动物体是无人的可移动物体,诸如UAV。无人的可移动物体,诸如UAV,可以不具有搭乘该可移动物体的乘员。可移动物体可以由人类或自主控制系统(例如,计算机控制系统)或者其任何合适的组合来控制。可移动物体可以是自主式或半自主式机器人,诸如配置有人工智能的机器人。
可移动物体可以具有任何合适的大小和/或尺寸。在一些实施方式中,可移动物体可以具有能容纳人类乘员身处载具之内或之上的大小和/或尺寸。或者,可移动物体可以具有比能够容纳人类乘员身处载具之内或之上的大小和/或尺寸更小的大小/或尺寸。可移动物体可以具有适合于由人类搬运或携带的大小和/或尺寸。或者,可移动物体可以大于适合由人类搬运或携带的大小和/或尺寸。在一些情况下,可移动物体可以具有的最大尺寸(例如,长度、宽度、高度、直径、对角线)小于或等于约:2cm、5cm、10cm、50cm、1m、2m、5m或10m。该最大尺寸可以大于或等于约:2cm、5cm、10cm、50cm、1m、2m、5m或10m。例如,可移动物体的相对的旋翼的轴之间的距离可以小于或等于约:2cm、5cm、10cm、50cm、1m、2m、5m或10m。或者,相对的旋翼的轴之间的距离可以大于或等于约:2cm、5cm、10cm、50cm、1m、2m、5m或10m。
在一些实施方式中,可移动物体可以具有小于100cm x 100cm x 100cm、小于50cmx 50cm x 30cm或小于5cm x 5cm x 3cm的体积。可移动物体的总体积可以小于或等于约:1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。相反地,可移动物体的总体积可以大于或等于约:1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。
在一些实施方式中,可移动物体可以具有的占地面积(这可以指由所述可移动物体所包围的横截面面积)小于或等于约:32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。相反地,所述占地面积可以大于或等于约:32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。
在一些情况下,可移动物体可以不超过1000kg重。可移动物体的重量可以小于或等于约:1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。相反地,所述重量可以大于或等于约:1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。
在一些实施方式中,可移动物体相对于该可移动物体所携带的负荷可以较小。如下文进一步详述,所述负荷可以包括负载和/或载体。在一些示例中,可移动物体的重量与负荷重量之比可以大于、小于或等于约1:1。在一些情况下,可移动物体的重量与负荷重量之比可以大于、小于或等于约1:1。可选地,载体重量与负荷重量之比可以大于、小于或等于约1:1。当需要时,可移动物体的重量与负荷重量之比可以小于或等于:1:2、1:3、1:4、1:5、1:10或者甚至更小。相反地,可移动物体的重量与负荷重量之比还可以大于或等于:2:1、3:1、4:1、5:1、10:1或者甚至更大。
在一些实施方式中,可移动物体可以具有低能耗。例如,可移动物体可以使用小于约:5W/h、4W/h、3W/h、2W/h、1W/h或更小。在一些情况下,可移动物体的载体可以具有低能耗。例如,所述载体可以使用小于约:5W/h、4W/h、3W/h、2W/h、1W/h或更小。可选地,可移动物体的负载可以具有低能耗,诸如小于约:5W/h、4W/h、3W/h、2W/h、1W/h或更小。
图8图示了根据本发明的实施方式的UAV 1000。该UAV可以是如本文所述的可移动物体的示例。UAV 1000可以包括具有四个旋翼1002、1004、1006和1008的动力系统。可以提供任何数目的旋翼(例如,一个、两个、三个、四个、五个、六个或更多个)。无人飞行器的旋翼、旋翼组件或其他动力系统可使该无人飞行器能够悬停/保持位置、改变朝向和/或改变位置。相对的旋翼的轴之间的距离可以是任何合适的长度1010。例如,长度1010可以小于或等于2m,或者小于或等于5m。在一些实施方式中,长度1010可以在从40cm到1m、从10cm到2m或者从5cm到5m的范围内。本文对UAV的任何描述均可适用于可移动物体,诸如不同类型的可移动物体,并且反之亦然。
在一些实施方式中,可移动物体可以被配置用于携带负荷。该负荷可以包括乘客、货物、设备、仪器等之中的一种或多种。该负荷可以提供在外壳内。该外壳可以与可移动物体的外壳相分离,或者是与可移动物体的外壳相同。或者,负荷可以具备外壳,而可移动物体不具有外壳。或者,负荷的一些部分或者整个负荷可以在不具有外壳的情况下提供。负荷可以相对于所述可移动物体刚性固定。可选地,负荷可以是相对于可移动物体可以运动的(例如,可以相对于可移动物体平移或旋转)。
在一些实施方式中,负荷包括负载1012。所述负载可被配置成不执行任何操作或功能。或者,负载可以是被配置用于执行操作或功能的负载,亦称为功能性负载。例如,负载可以包括一个或多个传感器,用于勘测一个或多个目标。任何合适的传感器均可合并到负载中,诸如图像捕捉设备(例如,相机)、音频捕捉设备(例如,抛物面麦克风)、红外成像设备或紫外成像设备。所述传感器可以提供静态感测数据(例如,照片)或动态探测数据(例如,视频)。在一些实施方式中,传感器提供针对负载的目标的感测数据。备选地或组合地,负载可以包括一个或多个发射体,用于向一个或多个目标提供信号。可以使用任何合适的发射体,诸如照明源或声源。在一些实施方式中,负载包括一个或多个收发器,诸如用于与远离可移动物体的模块通信的收发器。可选地,负载可被配置用于与环境或目标交互。例如,负载可以包括能够操纵物体的工具、仪器或机构,诸如机械臂。
可选地,负荷可以包括载体1014。该载体可被提供用于负载,并且所述负载可经由该载体直接地(例如,直接接触可移动物体)或间接地(例如,不接触可移动物体)耦合至可移动物体。相反地,负载可在无需载体的情况下安装在可移动物体上。负载可与载体一体形成。或者,负载可以可拆卸地耦合至载体。在一些实施方式中,负载可以包括一个或多个负载元件,并且所述负载元件中的一个或多个可以如上文所述可以相对于可移动物体和/或载体运动。
载体可以与可移动物体一体形成。或者,载体可以可拆卸地耦合至可移动物体。载体可以直接地或间接地耦合至可移动物体。载体可以向负载提供支撑(例如,承载所述负载的重量的至少一部分)。载体可以包括能够稳定和/或引导负载的运动的合适的安装结构(例如,云台平台)。在一些实施方式中,载体可以适于控制负载相对于可移动物体的状态(例如,位置和/或朝向)。例如,载体可被配置用于相对于可移动物体而运动(例如,关于一个、两个或三个平移自由度和/或一个、两个或三个旋转自由度),以使得负载与可移动物体的运动无关地保持其相对于合适的参考系的位置和/或朝向。所述参考系可以是固定参考系(例如,周围环境)。或者,所述参考系可以是运动参考系(例如,可移动物体、负载目标)。
在一些实施方式中,载体可被配置用于允许负载相对于载体和/或可移动物体的运动。所述运动可以是关于多达三个自由度的平移(例如,沿着一个、两个或三个轴),或者是关于多达三个自由度的旋转(例如,围绕一个、两个或三个轴),或者是其任何合适组合。
在一些情况下,载体可以包括载体机架组件以及载体致动组件。所述载体机架组件可以向负载提供构造物支撑。载体机架组件可以包括单独的载体机架组件,其中一些组件是可相对于彼此运动的。所述载体致动组件可以包括一个或多个致动器(例如,马达),所述致动器致动单个载体机架组件运动。致动器可以允许多个载体机架组件同时运动,或者可被配置用于每次允许单一载体机架组件运动。载体机架组件的运动可以产生负载的对应运动。例如,载体致动组件可以致动一个或多个载体机架组件围绕一个或多个旋转轴(例如,横滚轴、俯仰轴或航向轴)旋转。所述一个或多个载体机架组件的旋转可以使负载相对于可移动物体围绕一个或多个旋转轴旋转。备选地或组合地,载体致动组件可以致动一个或多个载体机架组件沿着一个或多个平移轴平移,并从而产生负载相对于可移动物体沿着一个或多个对应的轴平移。
在一些实施方式中,可移动物体、载体和负载相对于固定参考系(例如,周围环境)和/或相对于彼此的运动可以由终端来控制。所述终端可以是处于远离所述可移动物体、载体和/或负载的位置处的遥控设备。终端可以安置于支撑平台上或者固定至支撑平台。或者,终端可以是手持式或可穿戴式设备。例如,终端可以包括智能电话、平板计算机、膝上型计算机、计算机、眼镜、手套、头盔、麦克风或者其合适的组合。终端可以包括用户界面,诸如键盘、鼠标、操纵杆、触摸屏或显示器。任何合适的用户输入均可用于与终端交互,诸如手动输入命令、语音控制、手势控制或位置控制(例如,经由终端的运动、位置或倾斜)。
终端可以用于控制可移动物体、载体和/或负载的任何合适的状态。例如,终端可以用于控制可移动物体、载体和/或负载相对于固定参考系和/或相对于彼此的位置和/或朝向。在一些实施方式中,终端可以用于控制可移动物体、载体和/或负载的单独元件,诸如载体的致动组件、负载的传感器或者负载的发射体。终端可以包括适于与可移动物体、载体或负载中的一个或多个相通信的无线通信设备。
终端可以包括用于查看可移动物体、载体和/或负载的信息的合适的显示单元。例如,终端可被配置用于显示可移动物体、载体和/或负载的信息,所述信息关于位置、平移速度、平移加速度、朝向、角速度、角加速度或其任何合适的组合。在一些实施方式中,终端可以显示由负载提供的信息,诸如由功能性负载提供的数据(例如,由相机或其他图像捕捉设备记录的图像)。
可选地,同一终端可以同时控制可移动物体、载体和/或负载或者所述可移动物体、载体和/或负载的状态,以及接收和/或显示来自所述可移动物体、载体和/或负载的信息。例如,终端可以控制负载相对于环境的位置,同时显示由负载捕捉的图像数据,或者关于负载的位置的信息。或者,不同的终端可以用于不同的功能。例如,第一终端可以控制可移动物体、载体和/或负载的运动或状态,而第二终端可以接收和/或显示来自可移动物体、载体和/或负载的信息。例如,第一终端可以用于控制负载相对于环境的定位,而第二终端显示由该负载捕捉的图像数据。可以在可移动物体与同时控制该可移动物体并接收数据的集成式终端之间,或者在可移动物体与同时控制该可移动物体并接收数据的多个终端之间利用各种通信模式。例如,可以在可移动物体与同时控制该可移动物体并接收来自该可移动物体的数据的终端之间形成至少两种不同的通信模式。
图9图示了根据实施方式的、包括载体1102和负载1104的可移动物体1100。虽然可移动物体1100被描绘为航空器,但这样的描绘并不旨在成为限制性的,并且如前文所述可以使用任何合适类型的可移动物体。本领域技术人员将会理解,本文在航空器系统的情景下描述的任何实施方式均可适用于任何合适的可移动物体(例如,UAV)。在一些情况下,可以在可移动物体1100上提供负载1104而无需载体1102。可移动物体1100可以包括动力机构1106、感测系统1108和通信系统1110。
如前文所述,动力机构1106可以包括旋翼、螺旋桨、桨叶、引擎、马达、轮子、轮轴、磁体或喷嘴中的一种或多种。可移动物体可以具有一个或多个、两个或更多个、三个或更多个或者四个或更多个动力机构。动力机构可以全都是同一类型。或者,一个或多个动力机构可以是不同类型的动力机构。动力机构1106可以使用任何合适的装置而安装在可移动物体1100上,所述装置诸如为本文其他各处所述的支撑元件(例如,驱动轴)。动力机构1106可以安装在可移动物体1100的任何合适的部分上,诸如顶部、底部、前面、后面、侧面或其合适的组合。
在一些实施方式中,动力机构1106可以使得可移动物体1100能够从表面垂直地起飞或者垂直地降落在表面上,而无需可移动物体1100的任何水平运动(例如,无需沿着跑道行进)。可选地,动力机构1106可以可操作地允许可移动物体1100以指定位置和/或朝向悬停于空中。一个或多个动力机构1106可以独立于其他动力机构得到控制。或者,动力机构1106可被配置成同时受到控制。例如,可移动物体1100可以具有多个水平朝向的旋翼,所述旋翼可以向该可移动物体提供升力和/或推力。可以致动所述多个水平朝向的旋翼以向可移动物体1100提供垂直起飞、垂直降落以及悬停能力。在一些实施方式中,所述水平朝向的旋翼中的一个或多个可以在顺时针方向上旋转,同时所述水平旋翼中的一个或多个可以在逆时针方向上旋转。例如,顺时针旋翼的数目可以等于逆时针旋翼的数目。每个水平朝向的旋翼的旋转速率可独立地改变,以便控制由每个旋翼产生的升力和/或推力,并从而调节可移动物体1100的空间排列、速度和/或加速度(例如,关于多达三个平移自由度和多达三个旋转自由度)。
感测系统1108可以包括一个或多个传感器,所述传感器可以感测可移动物体1100的空间排列、速度和/或加速度(例如,关于多达三个平移自由度和多达三个旋转自由度)。所述一个或多个传感器可以包括本文先前所述的任何传感器,包括GPS传感器、运动传感器、惯性传感器、距离传感器或图像传感器。由感测系统1108提供的感测数据可以用于控制可移动物体1100的空间排列、速度和/或朝向(例如,使用合适的处理单元和/或控制模块,如下文所述)。或者,感测系统1108可以用于提供关于可移动物体周围环境的数据,诸如气象条件、距潜在障碍物的距离、地理特征的位置、人造构造物的位置等。
通信系统1110支持经由无线信号1116与具有通信系统1114的终端1112的通信。通信系统1110、1114可以包括任何数目的适合于无线通信的发射器、接收器和/或收发器。所述通信可以是单向通信,使得数据只能在一个方向上传输。例如,单向通信可以仅涉及可移动物体1100向终端1112传输数据,或者反之亦然。数据可以从通信系统1110的一个或多个发射器传输至通信系统1110、1114的一个或多个接收器,或者反之亦然。或者,所述通信可以是双向通信,使得数据在可移动物体1100与终端1112之间的两个方向上均可传输。双向通信可以涉及从通信系统1110的一个或多个发射器向通信系统1114的一个或多个接收器传输数据,并且反之亦然。
在一些实施方式中,终端1112可以向可移动物体1100、载体1102和负载1104中的一个或多个提供控制数据,以及从可移动物体1100、载体1102和负载1104中的一个或多个接收信息(例如,可移动物体、载体或负载的位置和/或运动信息;由负载感测到的数据,诸如由负载相机捕捉的图像数据;以及从负载相机所捕捉的图像数据生成的数据)。在一些情况下,来自终端的控制数据可以包括针对可移动物体、载体和/或负载的相对位置、运动、致动或控制的指令。例如,控制数据可以导致可移动物体的位置和/或朝向的修改(例如,经由动力机构1106的控制),或者负载相对于可移动物体的运动(例如,经由载体1102的控制)。来自终端的控制数据可以导致对负载的控制,诸如对相机或其他图像捕捉设备的操作的控制(例如,拍摄静态或运动图片、放大或缩小、开启或关闭、切换成像模式、改变图像分辨率、改变聚焦、改变景深、改变曝光时间、改变视角或视野)。
在一些情况下,来自可移动物体、载体和/或负载的通信可以包括来自一个或多个传感器(例如,感测系统1108的或负载1104的传感器)的信息,以及/或者基于感测信息而生成的数据。所述通信可以包括来自一种或多种不同类型的传感器(例如,GPS传感器、运动传感器、惯性传感器、距离传感器或图像传感器)的感测到的信息。这样的信息可以关于可移动物体、载体和/或负载的位置(例如,位置、朝向)、运动或加速度。来自负载的这样的信息可以包括由该负载捕捉的数据或该负载的感测到的状态。由终端1112传输的控制数据可被配置用于控制可移动物体1100、载体1102或负载1104中的一个或多个的状态。备选地或组合地,载体1102和负载1104还可以各自包括通信模块,该通信模块被配置用于与终端1112通信,以使得该终端可独立地与可移动物体1100、载体1102和负载1104中的每一个通信和对其加以控制。
在一些实施方式中,可移动物体1100可以被配置用于与另一远程设备相通信——附加于终端1112或代替终端1112。终端1112也可被配置用于与另一远程设备以及可移动物体1100相通信。例如,可移动物体1100和/或终端1112可以与另一可移动物体或者另一可移动物体的载体或负载相通信。当需要时,所述远程设备可以是第二终端或其他计算设备(例如,计算机、膝上型计算机、平板计算机、智能电话或其他运动设备)。远程设备可被配置用于向可移动物体1100传输数据、从可移动物体1100接收数据、向终端1112传输数据以及/或者从终端1112接收数据。可选地,远程设备可以连接至因特网或其他电信网络,以使得从可移动物体1100和/或终端1112接收的数据可被上传至网站或服务器。
图10图示了根据实施方式的、用于控制UAV的示例性系统1200。系统1200可以与本文所公开的系统、设备和方法的任何合适的实施方式结合使用。例如,系统1200可以由可移动物体来实现或携带。系统1200可以包括感测模块1202、处理单元1204、非暂时性计算机可读介质1206、控制模块1208和通信模块1210。
感测模块1202可以利用以不同方式收集与可移动物体相关的信息的不同类型的传感器。不同类型的传感器可以感测不同类型的信号或者来自不同来源的信号。例如,所述传感器可以包括惯性传感器、GPS传感器、距离传感器(例如,激光雷达)或视觉/图像传感器(例如,相机)。感测模块1202可以可操作地耦合至具有多个处理器的处理单元1204。在一些实施方式中,感测模块可以可操作地耦合至传输模块1212(例如,Wi-Fi图像传输模块),该传输模块被配置用于向合适的外部设备或系统直接传输感测数据。例如,传输模块1212可以用于向远程终端传输由感测模块1202的相机捕捉的图像。
处理单元1204可以具有一个或多个处理器,诸如可编程处理器(例如,中央处理器(CPU))。例如,处理单元1204可以包括现场可编程门阵列(FPGA)以及/或者一个或多个ARM处理器。处理单元1204可以可操作地耦合至非暂时性计算机可读介质1206。非暂时性计算机可读介质1206可以储存可由处理单元1204执行的逻辑、代码和/或程序指令,用以执行一个或多个步骤。非暂时性计算机可读介质可以包括一个或多个存储器单元(例如,可运动介质或外部存储,诸如SD卡或随机存取存储器(RAM))。在一些实施方式中,来自感测模块1202的数据可直接传送至并储存于非暂时性计算机可读介质1206的存储器单元内。非暂时性计算机可读介质1206的存储器单元可以储存可由处理单元1204执行的逻辑、代码和/或程序指令,用以执行本文所描述的方法的任何合适的实施方式。例如,处理单元1204可被配置用于执行指令,从而使处理单元1204的一个或多个处理器执行本文所讨论的一个或多个过程。存储器单元可以储存要由处理单元1204处理的、来自感测模块的感测数据。在一些实施方式中,非暂时性计算机可读介质1206的存储器单元可以用于储存由处理单元1204产生的处理结果。
在一些实施方式中,处理单元1204可以可操作地耦合至控制模块1208,该控制模块1208被配置用于控制可移动物体的状态。例如,控制模块1208可被配置用于控制可移动物体的动力机构以调节可移动物体关于六个自由度的空间排列、速度和/或加速度。例如,控制模块1208可被配置用于使UAV保持悬停位置。备选地或组合地,控制模块1208可以控制载体、负载或感测模块的状态中的一个或多个。例如,控制模块1208可以用于控制载体,以便在保持预定排列(例如,水平位置)的同时围绕第一轴(例如,Y轴或航向轴)旋转负载(例如,图像捕捉设备)。控制模块1208还可以用于控制负载,以在负载被旋转的同时以预定间隔捕捉多个图像。
处理单元1204可以可操作地耦合至通信模块1210,该通信模块1210被配置用于传输数据和/或接收来自一个或多个外部设备(例如,终端、显示设备或其他遥控器)的数据。可以使用任何合适的通信手段,诸如有线通信或无线通信。例如,通信模块1210可以利用局域网(LAN)、广域网(WAN)、红外线、无线电、WiFi、点对点(P2P)网络、电信网络、云通信等之中的一种或多种。可选地,可以使用中继站,诸如塔、卫星或运动台。无线通信可以依赖于距离或独立于距离。在一些实施方式中,通信可能需要或者可能不需要视线可见。通信模块1210可以传输和/或接收来自感测模块1202的感测数据以及/或者由处理单元1204产生的处理结果、预定控制数据或者来自终端或遥控器的用户命令等之中的一个或多个。
系统1200的组件可以按任何合适的配置来布置。例如,系统1200的一个或多个组件可以位于可移动物体、载体、负载、终端、感测系统或与上述的一个或多个相通信的附加的外部设备上。此外,虽然图10描绘了单一处理单元1204、单一非暂时性计算机可读介质1206以及单一控制模块1208,但本领域技术人员将会理解,这并不旨在成为限制性的,并且系统1200可以包括多个处理单元、控制模块和/或非暂时性计算机可读介质。在一些实施方式中,所述多个处理单元、控制模块和/或非暂时性计算机可读介质中的一个或多个可以位于不同的位置,诸如在可移动物体、载体、负载、终端、感测模块、与上述的一个或多个相通信的附加的外部设备上或其合适的组合,以使得由系统1200执行的处理和/或存储器功能的任何合适的方面可以发生于一个或多个上述位置处。
图11图示了根据实施方式的、由远程终端实现的示例性系统1300。系统1300可以用于控制诸如UAV等可移动物体和/或用于显示与UAV相关的信息。远程终端可以是遥控终端、远程显示终端,或者结合了两者功能的终端。系统1300可以与本文所公开的系统、设备和方法的任何合适的实施方式相结合使用。系统1300可以包括输入模块1302、处理单元1304、非暂时性计算机可读介质1306、显示模块1308和通信模块1310,它们全都经由总线或类似的网络而互连起来。
输入模块1302可以包括用于从操作该输入模块的用户接收输入的一个或多个输入机构。这样的输入机构可以包括一个或多个操纵杆、开关、旋钮、滑动开关、按钮、转盘、触摸屏、小键盘、键盘、鼠标、语音控件、手势控件、惯性传感器等。这样的输入模块1302可以用于接收用户输入,该用户输入用于控制可移动物体、载体、负载或其组件的各个方面。这样的方面可以包括姿态、位置、朝向、导航、跟踪等。例如,输入机构可由用户手动设置成一个或多个位置,每个位置对应于用于控制UAV的预定输入。
在一些实施方式中,输入机构可由用户操纵以输入用于控制可移动物体的导航的控制命令。例如,用户可以利用旋钮、开关或类似的输入机构来输入可移动物体的飞行模式,诸如根据预定导航路径的自动驾驶或导航。又例如,用户可以通过以某种方式使控制终端倾斜来控制可移动物体的位置、姿态、朝向和其他方面,所述倾斜可由一个或多个惯性传感器检测并被用于生成对应的导航命令。又例如,用户可以使用输入机构来调节负载的操作参数(例如,缩放)、姿态和/或负载(例如,经由载体)或者可移动物体机载的任何物体的其他方面。
处理单元1304可以具有一个或多个处理器,诸如可编程处理器(例如,中央处理器(CPU)或微控制器)。处理单元1304可以可操作地耦合至存储器1306。存储器1306可以包括暂时性和/或非暂时性存储介质,其被配置用于储存数据以及/或者可由处理单元1304执行的逻辑、代码和/或程序指令,用以执行一个或多个例程或功能。存储器可以包括一个或多个存储器单元(例如,可运动介质或外部存储,诸如SD卡或随机存取存储器(RAM))。在一些实施方式中,来自输入模块1302的数据可以直接传送至并储存于存储器1306的存储器单元内。存储器1306的存储器单元可以储存可由处理单元1304执行的逻辑、代码和/或程序指令,用以执行本文所描述的方法的任何合适的实施方式。例如,处理单元1304可被配置用于执行指令,从而使处理单元1304的一个或多个处理器执行本文所述的一个或多个过程。存储器单元可以储存从外部设备(例如,可移动物体)接收的感测数据或其他数据。在一些实施方式中,存储器1306的存储器单元可以用于储存由处理单元1304产生的处理结果。尽管图11描绘了单一处理单元1304和单一存储器1306,但本领域技术人员将会理解,这并不旨在成为限制性的,并且系统1300可以包括多个处理单元和/或存储器的存储器单元。
在一些实施方式中,显示模块1308可被配置用于显示可移动物体、载体和/或负载的信息,所述信息关于位置、平移速度、平移加速度、朝向、角速度、角加速度或其任何合适的组合。显示模块1308可被配置用于显示从可移动物体和/或负载接收的信息诸如感测数据(例如,由相机或其他图像捕捉设备记录的图像)、经处理的数据诸如由可移动物体机载的处理器生成的拼接图像、在图像拼接过程期间生成的中间数据、控制反馈数据等。在一些实施方式中,显示模块1308可由实现输入模块1302的同一设备所实现。在其他实施方式中,显示模块1308可由与实现输入模块1302的设备分开(但是可以可操作地耦合至该设备)的设备所实现。
通信模块1310可被配置用于传输数据和/或接收来自一个或多个外部设备(例如,可移动物体、负载、基站、遥控器等)的数据。例如,通信模块1310可被配置用于向诸如可移动物体、载体和/或负载等外部系统或设备传输控制数据(例如,导航命令、控制命令)。通信模块1310还可被配置用于接收来自外部系统或设备的数据(例如,感测数据和图像拼接数据)。在一些实施方式中,通信模块1310可以包括发射器1312和接收器1314,其分别被配置用于向和从远程设备传输和接收数据。在一些实施方式中,通信模块可以包括结合了发射器和接收器功能的收发器。在一些实施方式中,发射器和接收器可以彼此通信,以及与处理单元1304通信。可以使用任何合适的通信手段,诸如本文所述的有线通信或无线通信。
图12图示了根据实施方式的示例性载体1400的等距视图。载体1400可以用于将诸如图像捕捉设备等负载耦合至诸如UAV等可移动物体。
载体1400可被配置用于允许负载相对于可移动物体围绕多达三个轴——X或俯仰轴1402、Z或横滚轴1404以及Y或航向轴1406旋转。例如,载体1400可被配置用于允许负载仅围绕一个、两个或所有三个轴旋转。所述三个轴可以彼此正交或者可以彼此不正交。围绕任何轴的旋转的范围可以是或者可以不是有限的,并且可以针对每个轴而变化。例如,围绕轴所允许的最大旋转可以是任何合适的度数,诸如30度、60度、90度、120度、150度、180度、210度、240度、270度、300度、330度、360度、450度、540度、630度、720度等。旋转轴可以彼此相交或者可以彼此不相交。例如,三个正交轴可以彼此相交。它们可以相交于或者可以不相交于负载处。或者,它们可以不相交。
载体1400可以包括机架组件,所述机架组件包括第一机架构件1408、第二机架构件1416、第三机架构件1422以及第四机架构件1428。第一机架构件1408可被配置用于与负载(例如,图像捕捉设备)耦合并支撑负载。第一构件1408可以围绕旋转轴1402旋转地耦合至第二机架构件1416。旋转轴1402可以基本上平行于可移动物体(例如,UAV)和/或图像捕捉设备的俯仰轴。第一致动器构件1410可以耦合至第一机架构件1408和/或第二机架构件1416,使得第一致动器构件1410的旋转轴与旋转轴1402基本重合。第一致动器构件1410可被配置用于直接驱动第一机架构件1408和/或第二机架构件1416,以便导致其间围绕旋转轴1402的相对旋转。例如,第一致动器构件1410可以包括直接驱动式电马达。在一些实施方式中,马达的转子可以耦合至第一机架构件1408,而马达的定子可以耦合至第二机架构件1416。或者,马达的定子可以耦合至第一机架构件1408,而马达的转子可以耦合至第二机架构件1416。
类似地,第二机架构件1416可以围绕旋转轴1404旋转地耦合至第三机架构件1422。旋转轴1404可以基本上平行于可移动物体(例如,UAV)和/或图像捕捉设备的横滚轴。轴1404可以正交于轴1402。或者,轴1404可以不正交于轴1402。第二致动器构件1418可以耦合至第二机架构件1416和/或第三机架构件1422,使得第二致动器构件1418的旋转轴与旋转轴1404基本重合。第二致动器构件1418可被配置用于直接驱动第二机架构件1416和/或第三机架构件1422,以便导致其间围绕旋转轴1404的相对旋转。例如,第二致动器构件1418可以包括直接驱动式电马达。在一些实施方式中,马达的转子可以耦合至第二机架构件1416,而马达的定子可以耦合至第三机架构件1422。或者,马达的定子可以耦合至第二机架构件1416,而马达的转子可以耦合至第三机架构件1422。
类似地,第三机架构件1422可以围绕旋转轴1406旋转地耦合至第四机架构件1428。旋转轴1406可以基本上平行于可移动物体(例如,UAV)和/或图像捕捉设备的航向轴。轴1406可以正交于轴1404。或者,轴1406可以不正交于轴1404。第三致动器构件1424可以耦合至第三机架构件1422和/或第四机架构件1428,使得第三致动器构件1424的旋转轴与旋转轴1406基本重合。第三致动器构件1424可被配置用于直接驱动第三机架构件1422,以便导致第三机架构件1422相对于第四机架构件1428围绕轴1406旋转。例如,第三致动器构件1424可以包括直接驱动式电马达。在一些实施方式中,马达的转子可以耦合至第三机架构件1422,而马达的定子可以耦合至第四机架构件1428。或者,马达的定子可以耦合至第三机架构件1422,而马达的转子可以耦合至第四机架构件1428。
第四机架构件1428可被配置成与可移动物体诸如UAV相耦合。第四机架构件1428可以包括一个、两个、三个或更多个耦合构件1430,所述耦合构件1430被配置用于与可移动物体直接接合,以便促进第四机架构件1428与可移动物体的耦合。在备选实施方式中,第四机架构件1428可以是可移动物体的一部分,而不是载体的一部分。或者,举例而言,第四机架构件1428可由人类握持以促进动态摄像或照相。
在各个实施方式中,载体的致动器构件1410、1418和1424可以包括无功率降低(诸如经由机械变速箱)的任何合适的直接驱动式马达。有利地,这样的直接驱动式马达与传统的非直接驱动式机构相比,可以提供提高的效率(例如,通过减小机械齿轮摩擦的功率损失)、更长的寿命、更快的响应时间以及更精确的控制。
在一些实施方式中,载体包括一个或多个载体传感器,该载体传感器可以用于确定载体或由载体携带的负载的状态。状态信息可以包括关于载体、其组件和/或负载的空间排列(例如,位置、朝向或姿态)、速度(例如,线速度或角速度)、加速度(例如,线加速度或角加速度)和/或其他信息。在一些实施方式中,从传感器数据获取或计算而得的状态信息可以用作反馈数据以控制载体的组件(例如,机架构件)的旋转。这样的载体传感器的示例可以包括运动传感器(例如,加速度计)、旋转传感器(例如,陀螺仪)、惯性传感器等。
载体传感器可以耦合至载体的任何一个或多个合适的部分(例如,机架构件和/或致动器构件),并且可以是或者可以不是相对于UAV可运动的。附加地或备选地,至少一些载体传感器可以直接耦合至由载体所携带的负载。例如,第一机架构件1408可以与传感器1412耦合。在第一机架构件1408刚性地耦合至负载的情况下,传感器1412所经受的运动或运动可以与负载所经受的运动或运动基本上相同。因此,传感器1412可以用于测量负载的姿态信息。在一些实施方式中,传感器1412可以直接耦合至负载而不是耦合至第一机架构件1408。可以将零个、一个或更多个传感器固定至第一机架构件、第二机架构件、第三机架构件和/或第四机架构件。
载体传感器可以与载体的一些或所有致动器构件相耦合。例如,三个载体传感器可分别耦合至载体的致动器构件1410、1418和1424,并且被配置用于测量相应的致动器构件1410、1418和1424的驱动。这样的传感器可以包括电位计或其他类似的传感器。在一个实施方式中,传感器(例如,电位计)可以插入于马达的马达轴杆上,以便测量马达转子与马达定子的相对位置,从而测量转子与定子的相对位置并生成表示该相对位置的位置信号。在一个实施方式中,每个致动器耦合的传感器被配置用于提供其所测量的对应的致动器构件的位置信号。例如,第一电位计可以用于生成用于第一致动器构件1410的第一位置信号,第二电位计可以用于生成用于第二致动器构件1418的第二位置信号,而第三电位计可以用于生成用于第三致动器构件1424的第三位置信号。在一些实施方式中,载体传感器还可以耦合至载体的一些或所有机架构件。传感器可以能够传送关于载体的一个、两个、三个、四个或更多个机架构件和/或图像捕捉设备的位置和/或朝向的信息。传感器数据可以用于确定图像捕捉设备相对于可移动物体和/或参考系的位置和/或朝向。
载体传感器可以提供位置和/或朝向数据,该数据可被传输至载体或可移动物体上的一个或多个控制器(未示出)。传感器数据可以用于基于反馈的控制方案。所述控制方案可以用于控制多个致动器构件(诸如两个、三个、四个、五个或更多个马达)的驱动。可位于载体上或携带该载体的可移动物体上的一个或多个控制器可以生成用于驱动致动器构件的控制信号。在一些情况下,所述控制信号可以基于从载体传感器接收的、指示出载体或由该载体所携带的负载的空间排列的数据而生成。如本文先前所述,载体传感器可以位于载体或负载上。控制器所产生的控制信号可以由第一致动器驱动器、第二致动器驱动器和/或第三致动器驱动器接收。基于控制信号,第一、第二和/或第三致动器驱动器可以控制第一、第二和/或第三致动器构件的驱动,例如,实现载体的一个或多个组件的旋转。致动器驱动器可以包括适合于控制对应的致动器构件的驱动和接收来自对应的传感器(例如,电位计)的位置信号的硬件和/或软件组件。控制信号可以同时传输至所述致动器驱动器,以产生致动器构件的同时驱动。或者,控制信号可以依次传输,或者传输至仅一个致动器驱动器。有利地,控制方案可以用于提供用于驱动载体的致动器构件的反馈控制,从而支持载体组件的更精确和准确的旋转。
在一些情况下,载体可以经由一个或多个阻尼元件而间接地耦合至UAV。所述阻尼元件可被配置用于减小或消除由可移动物体(例如,UAV)的运动所导致的负荷(例如,负载、载体或全部两者)的运动。阻尼元件可以包括适合于衰减耦合的负荷的运动的任何元件,诸如主动阻尼元件、被动阻尼元件或者同时具有主动和被动阻尼特性的混合阻尼元件。由本文所提供的阻尼元件衰减的运动可以包括振动、振荡、晃动或冲击中的一种或多种。这样的运动可能源于例如经由第四机架构件1428而传递到负荷的可移动物体的运动。例如,所述运动可包括由UAV的动力系统和/或其他组件的操作所导致的振动。
阻尼元件可以通过将负荷与不期望的运动的来源相隔离进而消散或减小传递到负荷的运动量(例如,振动隔离)来提供运动阻尼。阻尼元件可以将原本会由负荷经受的运动的大小(例如,振幅)减小诸如大于或等于约10%、20%、30%、40%、50%、60%、70%、80%、90%或100%。在一些情况下,阻尼元件可被配置用于减小具有某些频率的运动。例如,一些阻尼元件可以减小高频运动,而其他阻尼元件可以减小低频运动。阻尼元件可以衰减具有大于或等于约0.5Hz、1Hz、5Hz、10Hz、20Hz、30Hz、40Hz、50Hz、100Hz、200Hz、300Hz、400Hz、500Hz、600Hz、700Hz、800Hz、900Hz或1000Hz的频率的运动。或者,阻尼元件可以衰减具有小于或等于约0.5Hz、1Hz、5Hz、10Hz、20Hz、30Hz、40Hz、50Hz、100Hz、200Hz、300Hz、400Hz、500Hz、600Hz、700Hz、800Hz、900Hz或1000Hz的频率的运动。由阻尼元件施加的运动阻尼可以用于稳定负荷,从而提高由负荷(图像捕捉设备)所捕捉的图像的质量,以及减小基于捕捉到的图像而生成全景图像所需的图像拼接步骤的计算复杂度。
本文所述的阻尼元件可以由包括固态、液态或气态材料在内的任何合适的材料或材料组合所形成。用于阻尼元件的材料可以是可压缩的和/或可变形的。例如,阻尼元件可以由海绵、泡沫、橡胶、凝胶等制成。例如,阻尼元件可以包括基本上为球形的橡胶球,诸如图12中所示。阻尼元件可以是任何合适的形状,诸如基本上为球形、矩形、圆柱形等。备选地或附加地,阻尼元件可以包含压电材料或形状记忆材料。阻尼元件可以包括一个或多个机械元件,诸如弹簧、活塞、液压装置、气动装置、缓冲器、减震器、隔振器等。可以选择阻尼元件的性质以便提供预定量的运动阻尼。例如,阻尼元件可能具有特征刚度,该特征刚度可对应于阻尼元件的杨氏模量。杨氏模量可以大于或等于约0.01Gpa、0.05Gpa、0.1Gpa、0.2Gpa、0.3Gpa、0.4Gpa、0.5Gpa、0.6GPa、0.7GPa、0.8GPa、0.9GPa、1GPa或5GPa。或者,杨氏模量可以小于或等于约0.01GPa、0.05GPa、0.1GPa、0.2GPa、0.3GPa、0.4GPa、0.5GPa、0.6GPa、0.7GPa、0.8GPa、0.9GPa、1GPa或5GPa。在一些情况下,阻尼元件可以具有粘弹性性质。阻尼元件的性质可以是各向同性的或各向异性的。例如,阻尼元件可以沿着所有运动方向平等地提供运动阻尼。相反地,阻尼元件可以仅沿着运动方向的子集(例如,沿着单一运动方向)提供运动阻尼。例如,图12中所示的阻尼元件可以主要沿着Y(航向)轴1406提供阻尼。因此,所示的阻尼元件可被配置用于减小垂直运动。
尽管本文的实施方式可以描绘为利用单一类型的阻尼元件(例如,橡胶球),但应当理解,可以使用各类阻尼元件的任何合适的组合。例如,可以使用任何一种或多种合适类型的一个、两个、三个、四个或更多个阻尼元件将载体耦合至可移动物体。阻尼元件可以具有相同或不同的特性或性质,诸如刚度、粘弹性等。每个阻尼元件可以耦合至负荷的不同部分,或者仅耦合至负荷的某一部分。例如,阻尼元件可以位于靠近负荷与可移动物体之间的接触或耦合点或者表面处(例如,靠近第四机架构件1428的耦合构件1430)。在一些情况下,负荷可以嵌入于一个或多个阻尼元件内,或者由一个或多个阻尼元件所封闭。虽然本文已经示出和描述了本发明的优选实施方式,但对于本领域技术人员显而易见的是,这样的实施方式只是以示例的方式提供的。本领域技术人员现将会在不偏离本发明的情况下想到许多更改、改变和替代。应当理解,在实践本发明的过程中可以采用对本文所描述的本发明实施方式的各种替代方案。旨在由以下权利要求来限定本发明的范围,并因此覆盖这些权利要求范围内的方法和结构及其等效项。