CN109154499A - 用于增强立体显示的系统和方法 - Google Patents

Abstract

本文提供了用于处理并显示由可移动物体获得的立体视频数据的系统、方法和装置。可以提供一种用于感测可移动物体被配置为在其中操作的环境的方法。还可以提供一种生成环境的第一人称视角(FPV)的方法。所述方法可以包括：借助于一个或多个处理器，单独地或共同地分析环境的立体视频数据以确定环境信息，并通过将立体视频数据和环境信息融合来生成环境的增强立体视频数据。

Description

用于增强立体显示的系统和方法

背景技术

包含第一人称视角(FPV)图像或视频的用户界面可以提供交互式和沉浸式用户体验。在一些情况下，可以在双目视觉显示装置上呈现FPV图像或视频。通过显示装置上的FPV操作无人机(UAV)的用户可以获得类似于在空中驾驶载运工具的体验。在一些情况下，当使用广角镜头捕获FPV图像或视频时，可能会发生透视失真，这可能会影响用户对物理环境中的物体之间距离的感知，并可能会在UAV的操作期间危及飞行安全。

发明内容

需要一种直观且易于使用、并允许用户通过与人机界面的交互来安全地管理和操作飞行器的FPV飞行控制和引导系统。本发明解决了这个需要，还提供了相关优点。

在本发明的一方面，提供了一种用于生成环境的第一人称视角(FPV)的方法。所述方法可以包括：借助于一个或多个处理器，单独地或共同地：分析环境的立体视频数据以确定环境信息；通过将所述立体视频数据和所述环境信息融合来生成环境的增强立体视频数据。

根据本发明的一方面，提供了一种用于生成环境的第一人称视角(FPV)的设备。所述设备可以包括一个或多个处理器，单独或共同地被配置为：分析环境的立体视频数据以确定环境信息；将所述立体视频数据和所述环境信息融合，由此生成环境的增强立体视频流。

在本发明的另一方面，提供了一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使计算机执行用于生成环境的第一人称视角(FPV)的方法。由计算机执行的方法可以包括：分析环境的立体视频数据以确定环境信息；以及将所述立体视频数据和所述环境信息融合，由此生成环境的增强立体视频数据。

在本发明的又一方面，提供了一种用于显示环境的信息的方法。所述方法可以包括：在远离可移动物体的终端上，基于增强立体视频数据显示环境的第一人称视角(FPV)，其中，增强立体视频数据是通过合并以下内容而生成的：(a)在所述环境中操作可移动物体时由可移动物体生成的立体视频数据，以及(b)环境信息。

本发明的另一方面提供了一种用于显示环境的信息的设备。所述设备可以包括：在远离可移动物体的终端上，基于增强立体视频数据显示环境的第一人称视角(FPV)，其中，增强立体视频数据通过将以下内容融合而生成：(a)在所述环境中操作可移动物体时由可移动物体生成的立体视频数据，以及(b)环境信息。

在本发明的又一方面，提供了一种用户显示环境的信息的设备。所述设备可以包括一个或多个处理器，单独或共同地被配置为：在远离可移动物体的终端上，基于增强立体视频数据显示环境的第一人称视角(FPV)，其中，增强立体视频数据是通过将以下内容融合而生成的：(a)在所述环境中操作可移动物体时由可移动物体生成的立体视频数据，以及(b)环境信息。

在本发明的一方面，提供了一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使得计算机执行用于显示环境的信息的方法。所述方法可以包括：在远离可移动物体的终端上，基于增强立体视频数据显示环境的第一人称视角(FPV)，其中，增强立体视频数据是通过将以下内容融合而生成的：(a)在所述环境中操作可移动物体时由可移动物体生成的立体视频数据，以及(b)环境信息。

在一些实施例中，分析立体视频数据可以包括对图像帧进行立体匹配和/或深度图计算。立体匹配可以包括：基于从图像帧中提取的特征点的运动特性来匹配所述特征点。深度图计算包括：过滤深度图，并将阈值应用于深度图。所述阈值可以被应用于对深度图内具有预定大小和/或预定数量的像素的环境中的物体进行分类。

在一些实施例中，环境信息可以包括环境地图，其中，所述环境地图包括拓扑图或度量图。度量图可以包括以下至少一个：点云、3D栅格地图、2D栅格地图、2.5D栅格地图或占据栅格地图。环境信息可以包括：(1)可移动物体与环境中的一个或多个物体之间的相对位置，和/或(2)环境中两个或更多个物体之间的相对位置。环境信息可以包括可移动物体距环境中的物体的距离，和/或所述可移动物体相对于所述物体的朝向。在一些实施例中，可移动物体可以被配置为跟随或跟踪物体。备选地，物体可以是位于所述可移动物体运动路径中的障碍物，并且可移动物体可以被配置为避开该物体。

在一些实施例中，将立体视频数据和环境信息融合可以包括：将所述环境信息合并在所述立体视频数据中。环境的增强立体视频数据可以包括与环境信息相关联的图形元素。图形元素叠加在显示在远离所述可移动物体的终端上的环境的FPV上。图形元素可以被配置为：随着所述可移动物体相对于环境中的所述物体的位置和/或朝向改变而动态改变。

在一些实施例中，可移动物体可以是无人机。在一些实施例中，终端可以包括头戴式显示器(HMD)。备选地，终端可以包括一副支持虚拟现实(VR)或增强现实(AR)的眼镜。可选地，终端可以包括安装到可折叠头盔上的移动装置。移动装置可以具有被配置为显示FPV的图形显示器。终端可以允许用户从第一人称视角(FPV)控制并导航可移动物体。在一些实施例中，可移动物体可以是无人机(UAV)。

应当理解，可以单独地、共同地或彼此组合地理解本发明的不同方面。本文描述的本发明的各个方面可以应用于下面提及的任何特定应用或任何其它类型的可移动物体。本文中对飞行器的任何说明均可以适于和用于任何可移动物体(如任何载运工具)。此外，本文公开的在空中运动(例如，飞行)情景中的系统、装置和方法也可以在其他类型的运动的情景中应用，例如在地面或水上运动、水下运动或太空中的运动。

通过阅读说明书、权利要求书和附图，本发明的其它目的和特征将变得显而易见。

通过引用并入

本说明书中提到的所有出版物、专利和专利申请通过引用并入本文，其程度如同每个单独的出版物、专利或专利申请被明确且单独地指示通过引用并入。

附图说明

本发明的新颖特征在所附权利要求中具体阐述。通过参考下面的详细描述及其附图，将更好地理解本发明的特征和优点，所述详细描述中阐述了利用本发明的原理的说明性实施例，所述附图中：

图1示出了根据一些实施例的用于显示环境的第一人称视角(FPV)的系统；

图2是示出了根据一些实施例的成像装置的不同视角；

图3A示出了根据一些实施例的可能影响用户对物理环境中物体之间的距离的感知的扩展失真的示例；

图3B示出了根据一些实施例的将增强现实(AR)层中的环境信息与失真的3-D FPV匹配并基于环境信息校正失真3-D FPV。

图4示出了根据一些实施例的用于显示利用环境信息增强的第一人称视角(FPV)的系统；

图5示出了根据一些实施例的可移动物体的环境感测范围；

图6示出了根据一些实施例的示出用于将立体视频数据与环境信息融合的部件的示例的框图；

图7示出了根据一些实施例的在增强立体视频数据中提供的信息的类型；

图8示出了根据一些实施例的可移动物体的视野和环境感测范围；

图9示出了根据一些实施例的图8中环境的增强FPV；

图10示出了根据一些实施例的可移动物体的视野和环境感测范围；

图11示出了根据一些实施例的图10中环境的增强FPV；

图12示出了根据一些其他实施例的增强FPV；

图13示出了根据一些实施例的用于显示增强FPV的头戴式显示器(HMD)的示例；

图14示出了增强FPV中用户界面(UI)的示例，其中用户可以通过该用户界面选择目标并使可移动物体朝目标移动或者跟踪目标；

图15示出了增强FPV中用户界面(UI)的示例，其中用户可以通过该用户界面选择不同的点来选择目标并使可移动物体朝目标移动或者跟踪目标；

图16示出了包含2D俯瞰图的增强FPV中用户界面(UI)的示例；

图17示出了显示飞行限制区域的增强FPV中用户界面(UI)的示例；以及

图18是根据一些实施例的用于控制可移动物体的系统的示意性框图。

具体实施方式

本文公开的系统、方法和装置可以改善可移动物体(例如，无人机(UAV))操作期间的用户体验。本文所述的显示装置可以被配置为基于增强立体视频数据来显示环境的增强第一人称视角(FPV)。可以通过将立体视频数据和环境信息融合来生成增强立体视频数据。可以使用可移动物体上的一个或多个成像装置来获得立体视频数据。可以使用可移动物体上的环境感测单元来获得环境信息。

显示装置可以包括可穿戴式装置。例如，显示装置可以被配置为由用户穿戴。在一些情况下，显示装置可以是一副眼镜、护目镜或头戴式显示器。显示装置可以包括结合了增强现实(AR)或虚拟现实(VR)技术的任何类型的可穿戴计算机或装置。AR和VR涉及为用户提供体验内容的新方式的计算机生成的图形界面。在增强现实(AR)中，计算机生成的图形界面可以叠加在显示装置上的真实世界视频或图像上。在虚拟现实(VR)中，用户可以沉浸在显示装置上呈现的计算机生成的环境中。本文提供的显示装置可以被配置为在AR设置或VR设置中显示来自可移动物体的真实世界环境的增强FPV。

应当理解，可以单独地，共同地或彼此组合地理解本发明的不同方面。本文描述的本发明的各个方面可以应用于下面列出的任何特定应用或任何其它类型的遥控载运工具或可移动物体。

图1示出了根据一些实施例的用于显示环境的第一人称视角(FPV)的系统。FPV可视导航系统100可以包括可移动物体102和能够与可移动物体通信的用户终端130。用户终端可以包括显示装置。在一些实施例中，显示装置可以包括头戴式显示器(HMD)或一副支持虚拟现实(VR)或增强现实(AR)的眼镜。在一些情况下，显示装置可以包括安装到可折叠头盔上的移动装置。移动装置可以包括被配置为显示环境的FPV的图形显示器。

显示装置可以被配置为接收从可移动物体发送的立体视频数据，并且基于立体视频数据显示环境的FPV 132。用户终端可以用于控制可移动物体的一个或多个运动特性和/或由可移动物体支撑的负载的一个或多个运动特性。例如，用户可以基于环境的FPV，使用用户终端可视地导航并控制可移动物体和/或可移动物体上一个或多个成像装置的操作(例如，移动)。在一些情况下，显示装置可以是一副眼镜或佩戴在用户头上的头戴式显示器。在某些实施例中，显示装置的用户头部移动和/或眼睛移动可能影响成像装置和/或可移动物体的相应移动。

可移动物体可以是能够在环境中来回移动的任何物体。可移动物体能够在空中、水、陆地和/或太空中来回移动。环境可以包括不能运动的物体(静止物体)和能够运动的物体。静止物体的示例可以包括地理特征、植物、地标、建筑物、整体结构或任何固定结构。能够运动的物体的示例包括人、载运工具、动物、抛射物等。

在一些情况下，环境可以是惯性参考系。惯性参考系可以用于均匀、各向同性地以时间无关的方式描述时间和空间。惯性参考系可以相对于可移动物体建立，并根据可移动物体移动。可以通过变换(例如，牛顿物理学中的伽利略变换)将惯性参考系中的测量结果转换为另一参考系(例如，全局参考系)中的测量结果。

可移动物体可以是载运工具。载运工具可以是自推进式载运工具。载运工具可以借助于一个或多个推进单元在环境中来回移动。载运工具可以是飞行器、陆地载运工具、水基载运工具或空基载运工具。载运工具可以是无人载运工具。载运工具可以在没有人类乘客的情况下在环境中来回移动。或者，载运工具可以携带人类乘客。在一些实施例中，可移动物体可以是无人机(UAV)。本文对UAV或任何其他类型的可移动物体的任何描述一般可适用于任何其他类型的可移动物体或各种类别的可移动物体，反之亦然。例如，本文对UAV的任何描述都可以应用于任何无人陆地载运工具、无人水基载运工具或无人空基载运工具。本文其他地方更详细地提供可移动物体的其他示例。

如上所述，可移动物体能够在环境中来回移动。可移动物体能够在三维空间内飞行。可移动物体能够沿着一个轴、两个轴或三个轴进行空间平移。所述一个轴、两个轴或三个轴可以彼此正交。所述轴可以沿俯仰轴、偏转轴和/或滚动轴。可移动物体能够围绕一个轴、两个轴或三个轴旋转。所述一个轴、两个轴或三个轴可以彼此正交。所述轴可以是俯仰轴、偏转轴和/或滚动轴。可移动物体可以沿6个自由度移动。可移动物体可以包括一个或多个推进单元，所述一个或多个推进单元可以帮助可移动物体移动。例如，可移动物体可以是具有一个、两个或更多个推进单元的UAV。推进单元可以被配置为针对UAV产生升力。推进单元可以包括旋翼。可移动物体可以是多旋翼UAV。

可移动物体可以具有任何物理配置。例如，可移动物体可以具有中心体，该中心体具有从中心体延伸的一个或多个臂或分支。臂可以从中心体侧向延伸或径向延伸。臂可以相对于中心体移动或者可以相对于中心体固定不动。这些臂可以支撑一个或多个推进单元。例如，每个臂可以支撑一个、两个或更多个推进单元。

可移动物体可以具有外壳。外壳可以由单个整体件、两个整体件或多个件形成。外壳可以包括在其中设置一个或多个部件的腔体。这些部件可以是电子部件，如飞行控制器、一个或多个处理器、一个或多个存储器存储单元、一个或多个传感器(例如，一个或多个惯性传感器或本文其他地方描述的任何其他类型的传感器)、一个或多个导航单元(例如，全球定位系统(GPS)单元)、一个或多个通信单元、或任何其他类型的部件。外壳可以具有单个腔体或多个腔体。在一些情况下，飞行控制器可以与一个或多个推进单元通信和/或可以控制一个或多个推进单元的操作。飞行控制器可以借助于一个或多个电子速度控制(ESC)模块来与一个或多个推进单元通信和/或控制一个或多个推进单元的操作。飞行控制器可以与ESC模块通信以控制推进单元的操作。

可移动物体可以被配置为支撑其上的负载106。负载可以具有相对于可移动物体的固定位置，或者可以相对于可移动物体移动。负载可以相对于可移动物体在空间上平移。例如，负载可以相对于可移动物体沿着一个轴、两个轴或三个轴移动。负载可以相对于可移动物体旋转。例如，负载可以相对于可移动物体绕一个轴、两个轴或三个轴旋转。所述轴可以彼此正交。所述轴可以是俯仰轴、偏转轴和/或滚动轴。备选地，负载可以固定到可移动物体或集成到可移动物体中。

负载可以借助于载体104相对于可移动物体移动。载体可以包括可以允许载体相对于可移动物体移动的一个或多个云台级。例如，载体可以包括允许载体相对于可移动物体围绕第一轴旋转的第一云台级，允许载体相对于可移动物体围绕第二轴旋转的第二云台级，和/或允许载体相对于可移动物体围绕第三轴旋转的第三云台级。可以应用本文别处所述的载体的任何描述和/或特征。

负载可以包括能够感测关于可移动物体的环境的装置、能够向环境发射信号的装置、和/或能够与环境交互的装置。一个或多个传感器可以被提供为负载，并且能够感测环境。所述一个或多个传感器可以包括成像装置。成像装置可以是物理成像装置。成像装置可以被配置为检测电磁辐射(例如，可见光、红外光和/或紫外光)，并且基于检测到的电磁辐射生成图像数据。成像装置可以包括响应于光的波长而产生电信号的电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。所产生的电信号可以被处理以产生图像数据。由成像装置产生的图像数据可以包括一个或多个图像，其中所述图像可以是静态图像(例如，照片)、动态图像(例如，视频)或其适合的组合。图像数据可以是多色的(例如，RGB、CMYK、HSV)或单色的(例如，灰度、黑白、棕褐色)。成像装置可以包括配置成将光引导到成像传感器上的镜头。

成像装置可以是相机。相机可以是捕获动态图像数据(例如，视频)的电影或视频相机。相机可以是捕获静态图像(例如照片)的静态相机。相机可以捕获动态图像数据和静态图像二者。相机可以在捕获动态图像数据和静态图像之间切换。尽管本文提供的某些实施例是在相机的情境中描述的，但是应当理解，本公开可以应用于任何合适的成像装置，并且本文中与相机有关的任何描述也可以应用于任何合适的成像装置，并且这里涉及相机的任何描述也可以应用于其他类型的成像装置。可以使用相机来生成3D场景(例如，环境、一个或多个物体等)的2D图像。相机生成的图像可以呈现3D场景在2D图像平面上的投影。因此，2D图像中的每个点对应于场景中的3D空间坐标。相机可以包括光学元件(例如，镜头、反射镜、滤镜等)。相机可以捕获彩色图像、灰度图像、红外图像等。当相机被配置为捕获红外图像时，相机可以是热成像装置。

在图1中，负载106可以是成像装置。在一些实施例中，成像装置可以是多目摄像机。多目摄像机可以安装在可移动物体的前视方向107上。或者，多目摄像机可以安装在可移动物体的任何方向上(例如，后视、侧视、顶视或底视)。多目摄像机可以经由载体104可操作地耦接到可移动物体。载体可以包括多轴云台。多目摄像机可以经由多轴云台可旋转地耦接到可移动物体。在一些情况下，多目摄像机可以是双目摄像机或立体相机。

在图1的示例中，负载可以是包括两个或更多个镜头的双目摄像机，每个镜头具有单独的图像传感器。相机的镜头之间的距离(轴内距离)可以大约是人眼之间的平均距离(眼内距离)。镜头可以相对于彼此设置在不同的位置，由此导致不同的光轴。例如，第一光轴108-1可以与第一镜头和第一图像传感器相关联。类似地，第二光轴108-2可以与第二镜头和第二图像传感器相关联。第一图像传感器可以被配置为捕获第一图像120-1，并且第二图像传感器可以被配置为捕获第二图像120-2。在一些情况下，第一图像和第二图像可以分别与左眼图像和右眼图像相对应。左眼图像和右眼图像可以被立体匹配以形成双目图像(例如，3-D图像)。左眼图像和右眼图像可以包括环境中的物体150的图像。由于不同光轴产生的双目视觉，捕获图像120-1和120-2中物体的位置可能会稍有不同。

在一些实施例中，惯性测量单元(IMU)(未示出)可以设置在负载上，例如设置在成像装置上。备选地，IMU可以设置在将负载与可移动物体耦接的载体上。IMU可以被配置为获得成像装置的实时位置信息。由于IMU安装在负载上，所以来自IMU的实时位置信息可以指示成像装置的实际位置。

本文公开的成像装置可以以特定的图像分辨率来捕获图像或图像序列。在一些实施例中，图像分辨率可以由图像中的像素的数量来定义。在一些实施例中，图像分辨率可以大于或等于约352×420像素、480×320像素、720×480像素、1280×720像素、1440×1080像素、1920×1080像素、2048×1080像素、3840×2160像素、4096×2160像素、7680×4320像素或15360×8640像素。在一些实施例中，成像装置可以是4K相机或具有更高分辨率的相机。

成像装置可以以特定的捕获速率捕获图像序列。在一些实施例中，可以采集例如约24p、25p、30p、48p、50p、60p、72p、90p、100p、120p、300p、50i或60i的标准视频帧速率的图像序列。在一些实施例中，可以以小于或等于约每0.0001秒、0.0002秒、0.0005秒、0.001秒、0.002秒、0.005秒、0.01秒、0.02秒、0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒或10秒一个图像的速率来捕获图像序列。在一些实施例中，捕获速率可以根据用户输入和/或外部条件(例如，雨、雪、风、环境的不明显的表面纹理)而改变。

成像装置可以具有可调参数。在不同的参数下，在受到相同的外部条件(例如，位置、照明)时成像装置会捕获不同的图像。可调参数可包括曝光(例如，曝光时间、快门速度、光圈、胶片速度)、增益、伽玛、兴趣区、合并/子采样、像素时钟、偏移、触发、ISO等。与曝光相关的参数可以控制到达成像装置中的图像传感器的光量。例如，快门速度可以控制光到达图像传感器的时间量，并且光圈可以控制在给定时间内到达图像传感器的光量。与增益相关的参数可以控制来自光学传感器的信号的放大。ISO可以控制相机对可用光的敏感度。对曝光和增益的参数控制可以被统一考虑并且在本文中被称为EXPO。

在一些备选实施例中，成像装置可以超出物理成像装置的范围而扩展。例如，成像装置可以包括能够捕获和/或生成图像或视频帧的任何技术。在一些实施例中，成像装置可以指能够处理从另一物理装置获得的图像的算法。

负载可以包括一种或多种类型的传感器。传感器类型的一些示例可以包括位置传感器(例如全球定位系统(GPS)传感器、实现位置三角测量的移动装置发射机)、视觉传感器(例如能够检测可见光、红外光或紫外光的成像装置，例如相机)、接近或距离传感器(例如，超声传感器、激光雷达、飞行时间或深度相机)、惯性传感器(例如加速度计、陀螺仪、和/或重力检测传感器，其可以形成惯性测量单元(IMU))、高度传感器、姿态传感器(例如，罗盘)、压力传感器(例如气压计)、温度传感器、湿度传感器、振动传感器、音频传感器(例如，麦克风)和/或场传感器(例如，磁力计、电磁传感器、无线电传感器)。

负载可以包括能够将信号发射到环境中的一个或多个装置。例如，负载可以包括沿电磁波谱的发射器(例如，可见光发射器、紫外发射器、红外发射器)。负载可以包括激光器或任何其他类型的电磁发射器。负载可以发射一个或多个振动，例如超声波信号。负载可以发射可听见的声音(例如，来自扬声器)。负载可以发射无线信号，例如无线电信号或其他类型的信号。

负载能够与环境进行交互。例如，负载可以包括机械臂。负载可以包括用于递送的物品，如液体、气体和/或固体部件。例如，负载可以包括杀虫剂、水、肥料、防火材料、食品、包装或任何其他物品。

本文中负载的任何示例都可以应用于可由可移动物体携带的装置或者应用于可以是可移动物体的一部分的装置。例如，一个或多个传感器可以是可移动物体的一部分。除了负载之外，还可以提供一个或多个传感器。这可以适用于任何类型的负载，例如本文描述的那些负载。

可移动物体能够与用户终端进行通信。用户终端可以与可移动物体本身进行通信、与可移动物体的负载进行通信、和/或与可移动物体的载体进行通信，其中载体用于支撑负载。本文关于与可移动物体进行通信的任何描述也可以应用于与可移动物体的负载进行通信、与可移动物体的载体进行通信和/或与可移动物体的一个或多个单独部件(例如，通信单元、导航单元、推进单元、电源、处理器、存储器存储单元和/或致动器)进行通信。

可移动物体和用户终端之间的通信可以是无线通信。可以在可移动物体和用户终端之间提供直接通信。直接通信可以不需要任何中间装置或网络而发生。可以在可移动物体和用户终端之间提供间接通信。间接通信可以借助于一个或多个中间装置或网络而发生。例如，间接通信可以利用电信网络。间接通信可以借助于一个或多个路由器、通信塔、卫星或任何其他中间装置或网络来执行。通信类型的示例可以包括但不限于：经由通过互联网、局域网(LAN)、广域网(WAN)、蓝牙、近场通信(NFC)技术进行的通信、基于诸如通用分组无线电服务(GPRS)、GSM、增强型数据GSM环境(EDGE)、3G、4G或长期演进(LTE)协议的移动数据协议的网络、红外(IR)通信技术和/或Wi-Fi，并且可以是无线的、有线的或其组合方式的。

用户终端可以是任何类型的外部装置。用户终端的示例可以包括但不限于：智能电话/手机、平板电脑、个人数字助理(PDAs)、膝上型计算机、台式计算机、媒体内容播放器、视频游戏站/系统、虚拟现实系统、增强现实系统、可穿戴装置(例如手表、眼镜、手套、头饰(例如帽子、头盔、虚拟现实耳机、增强现实耳机、头戴式装置(HMD)、头带)、吊坠、臂章、腿带、鞋子、背心)、手势识别装置、麦克风、能够提供或呈现图像数据的任何电子装置，或任何其他类型的装置。用户终端可以是手持式物体。用户终端可以是便携式的。用户终端可以是由人类用户携带的。用户终端可以是由人类用户佩戴的。在一些情况下，用户终端可以远离人类用户，且用户可以使用无线和/或有线通信来控制用户终端。本文其他地方更详细地提供用户终端的各种示例和/或特性。

用户终端可以包括一个或多个处理器，所述处理器能够执行可以为一个或多个动作提供指令的非暂时性计算机可读介质。用户终端可以包括一个或多个存储器存储装置，其包括包含用于执行一个或多个动作的代码、逻辑或指令的非暂时性计算机可读介质。用户终端可以包括使用户终端能与可移动物体通信并从可移动物体接收成像数据的软件应用。用户终端可以包括通信单元，所述通信单元可以允许与可移动物体的通信。在一些情况下，通信单元可以包括单个通信模块或多个通信模块。在一些情况下，用户终端能够使用单个通信链路或多个不同类型的通信链路与可移动物体进行交互。

用户终端可以包括显示器(或显示装置)。显示器可以是屏幕。显示器可以是发光二极管(LED)屏幕、OLED屏幕、液晶显示器(LCD)屏幕、等离子体屏幕或任何其他类型的屏幕。显示器可以是触摸屏，或者可以不是触摸屏。显示器可以被配置为显示图形用户界面(GUI)。GUI可以显示允许用户控制UAV的动作的图像或FPV。在一些情况下，用户可以从图像中选择目标。目标可以是静止目标或移动目标。在其他实例中，用户可以从图像中选择行进方向。用户可以选择图像的一部分(例如，点、区域和/或物体)以定义目标和/或方向。用户可以通过改变屏幕上用户注视点的焦点和/或方向(例如，基于用户感兴趣区域的眼睛跟踪)来选择目标和/或方向。在一些情况下，用户可以通过以不同方向和方式移动他或她的头部来选择目标和/或方向。

用户可以触摸屏幕的一部分。用户可以通过触摸屏幕上的一个点来触摸屏幕的一部分。备选地，用户可以从预先存在的一组区域中选择屏幕上的区域，或者可以绘制区域的边界、区域的直径，或以任何其他方式指定屏幕的一部分。用户可以借助于用户交互装置(例如，手持式控制器、鼠标、操纵杆、键盘、轨迹球、触摸板、按钮、言语命令、姿势识别、姿态传感器、热传感器、触摸电容传感器或任何其他装置)通过选择图像的一部分来选择目标和/或方向。触摸屏可以被配置为检测用户触摸的位置、触摸的长度、触摸的压力和/或触摸运动，由此每种前述的触摸方式可以指示来自用户的特定输入命令。

显示器上的图像可以显示借助于可移动物体的负载而获得的视图。例如，可以在显示器上显示由成像装置捕获的图像。这可以被认为是第一人称视角(FPV)。在一些情况下，可以提供单个成像装置并且可以提供单个FPV。备选地，可以提供具有不同视野的多个成像装置。可以在多个FPV之间切换视图，或者可以同时显示多个FPV。多个FPV可以与可以具有不同视野的不同成像装置相对应(或可由所述不同成像装置生成)。用户可以使用用户终端来选择由成像装置收集的图像的一部分以指定可移动物体的目标和/或运动方向。

在另一示例中，显示器上的图像可以显示借助于来自可移动物体的负载的信息而生成的地图。可以可选地借助于可以利用立体映射技术的多个成像装置(例如，右眼相机、左眼相机或者处于各种朝向的相机)来生成该地图。在一些情况下，可以基于关于可移动物体相对于环境、成像装置相对于环境、和/或可移动物体相对于成像装置的位置信息来生成地图。位置信息可以包括姿势信息、空间位置信息、角速度、线速度、角加速度和/或线加速度。如本文其他地方更详细所描述的，可以可选地借助于一个或多个附加传感器来生成地图。地图可以是二维地图，或者可以是三维地图。可以在二维地图视图和三维地图视图之间切换视图，或者可以同时显示二维地图视图和三维地图视图。用户可以使用用户终端来选择地图的一部分以指定可移动物体的目标和/或运动方向。可以在一个或多个FPV和一个或多个地图视图之间切换视图，或者可以同时显示一个或多个FPV和一个或多个地图视图。用户可以使用任何视图来做出目标或方向的选择。用户选择的部分可以包括目标和/或方向。用户可以使用所描述的任何选择技术来选择该部分。

在一些实施例中，可以在用户终端(例如，虚拟现实系统或增强现实系统)上显示的3D虚拟环境中提供图像数据。3D虚拟环境可以可选地对应于3D地图。虚拟环境可以包括可以由用户操纵的多个点或物体。用户可以通过虚拟环境中的各种不同动作来操纵所述点或物体。这些动作的示例可以包括选择一个或多个点或物体、拖放、平移、旋转、转动、推、拉、放大、缩小等。可以设想三维虚拟空间中的点或物体的任何类型的移动动作。用户可以使用用户终端来操纵虚拟环境中的点或物体以控制UAV的飞行路径和/或UAV的运动特性。用户还可以使用用户终端来操纵虚拟环境中的点或物体以控制成像装置的运动特性和/或不同功能。

例如，在一些实施例中，用户可以使用用户终端来实现目标指向飞行。用户可以选择在用户终端上显示的图像上的一个或多个点。该图像可以被提供在呈现在用户终端的输出装置的GUI中。当用户选择一个或多个点时，选择可以延伸到与该点相关联的目标。在一些情况下，选择可能会延伸到目标的一部分。该点可以位于图像中的目标上或者可以靠近图像中的目标。然后，UAV可以飞向目标和/或跟踪目标。例如，UAV可以飞行到相对于目标的预定距离、位置和/或朝向。在一些情况下，UAV可以通过以预定距离、位置和/或朝向跟随目标来跟踪目标。UAV可以继续向目标移动、跟踪目标、或者在目标的预定距离、位置和/或朝向处悬停，直到在用户终端处接收到新的目标指令。当用户在图像上选择另一个不同的点或另一些不同的点时，可以接收新的目标指令。当用户选择不同的一个或多个点时，目标选择可以从原始目标切换到与所选择的新的一个或多个点相关联的新目标。然后，UAV可以改变其飞行路径并飞向新目标和/或跟踪新目标。

在一些其他实施例中，用户可以使用用户终端来实现方向指向飞行。用户可以在显示在用户终端的图像上选择一个点。该图像可以被提供在呈现在用户终端的输出装置的GUI中。当用户选择该点时，选择可以延伸到与该点相关联的目标方向。然后，无人机可以沿该方向飞行。无人机可继续沿该方向移动，直到检测到取消条件。例如，UAV可以沿目标方向飞行，直到在用户终端处接收到新的目标方向指令。当用户选择图像上的另一个不同点时，可以接收到新的目标方向指令。当用户选择不同点时，目标方向选择可以从原始方向切换到与新点相关联的新目标方向。然后，UAV可以改变其飞行路径并沿新的目标方向飞行。

用户终端可以用来控制可移动物体的移动，例如UAV的飞行。用户终端可以允许用户直接手动控制可移动物体的飞行。备选地，可以提供单独的装置，其可以允许用户直接手动控制可移动物体的飞行。单独的装置可以与用户终端通信或可以不与用户终端通信。可移动物体的飞行可选地可以是全自主的或半自主的。用户终端可以可选地用于控制可移动物体的任何部件(例如，负载的操作、载体的操作、一个或多个传感器、通信、导航、着陆架、一个或多个部件的致动，电源控制或任何其他功能)。备选地，可以使用单独的装置来控制可移动物体的一个或多个部件。单独的装置可以与用户终端通信或可以不与用户终端通信。可以借助于一个或多个处理器自动地控制一个或多个部件。

在一些情况下，可以由用户选择可移动物体的行进方向。可移动物体可以沿用户选择的方向行进。可以通过用户选择图像的一部分(例如，在FPV或地图视图中)来选择该方向。可移动物体可以沿所选方向行进，直到接收到取消指令或者实现了取消条件。例如，可移动物体可以自动地沿所选方向行进，直到输入新的方向或输入新的目标。可移动物体可以沿所选方向行进，直到选择不同的飞行模式。例如，用户可以对可移动物体的飞行进行手动控制。

图2是示出了根据一些实施例的成像装置的不同视角。成像装置可以用于收集原始图像数据。在一些情况下，原始图像数据可以用于生成从可移动物体向显示装置发送的立体视频数据。显示装置可以被配置为基于立体视频数据来显示环境的FPV。

图像帧220(或图像平面)可以被投影在成像装置206上。例如如图1所示，成像装置可以耦接到可移动物体。图像帧的大小可以由成像装置上的图像传感器的大小来确定。图像帧可以位于与对应于成像装置的镜头中心的点O相距焦距距离的位置处。视角(也称为视野)可以定义可由成像装置捕获的场景222的角度范围。换句话说，场景222的图像可以被配置为大致适合于图像帧220的尺寸。视角可以水平地测量(例如，从左边缘到右边缘)、垂直地测量(例如从上边缘到底边缘)或者对角地测量(例如从一角到相对角)。如图2所示，成像装置可以具有通过XY平面中的角度α(h)表征的水平视角，通过XZ平面中的角度α(v)表征的垂直视角，和通过倾斜平面中的角度α(d)表征的对角视角。

对于投影远处物体的直线(非空间失真)图像的镜头，可以由有效焦距和图像格式尺寸来定义视角。在一些情况下，例如使用具有失真的镜头(例如，广角镜头或鱼眼镜头)，可能产生非直线图像。例如，当可移动物体上的成像装置使用具有比普通镜头更宽的视角的广角镜头时，可能在FPV图像或视频中发生透视失真。透视失真是物体及其周围区域的扭曲或变形。由于附近和远处特征的相对比例，透视失真可能导致成像物体与正常焦距的物体看起来有很大不同。广角镜头中的透视失真被称为扩展失真或广角失真，并且这种现象可以在使用广角镜头从近距离拍摄的图像中观察到。特别地，靠近镜头的物体相对于更远的物体可能显得异常地大，而远处的物体可能显得异常地小并因此显得更远(即，在所产生的图像中物体之间的距离被延长)。

如图3A所示，扩展失真会影响用户对物理环境中物体之间的距离的感知。参考图3A的部分A，用户终端可以包括显示装置。显示装置可以包括被配置为显示图像数据的显示区域320。在一些实施例中，显示区域可以被配置为显示由可移动物体上的成像装置捕获的多个FPV立体图像或视频。为了通过立体匹配显示环境的三维FPV，显示区域320可以被划分成用于显示左眼图像的左眼显示区320-1和用于显示右眼图像的右眼显示区320-2。当用户正佩戴显示装置(例如，头戴式显示器或AR/VR眼镜)时，用户的左眼可以看到在320-1中显示的左眼图像，并且用户的右眼可以看到在320-2中显示的右眼图像。左眼图像和右眼图像可以可视地组合(立体匹配)以生成环境的三维FPV。

参考图3A的部分B，可以使用普通(或标准)镜头来捕获环境的三维FPV 332-1。普通镜头是能够再现对人类观察者来说显得“自然”的视野的镜头。普通镜头可以具有覆盖62°和40°之间的视角。物理环境可以包括位于环境内的第一物体352和第二物体354。FPV332-1可以描绘第一物体的图像352’和第二物体的图像354’。第一物体可以比第二物体更接近普通镜头(或成像装置)。由于图像使用普通镜头捕获，因此FPV 332-1内的第一物体和第二物体之间的距离可以与物理环境中第一物体和第二物体之间的实际距离成比例。因此，在FPV 332-1中没有透视失真。

图3A的部分C示出透视失真(特别是扩展失真)的示例。参考部分C，可以使用广角镜头来捕获与部分B中的环境相同环境的三维FPV 332-2。对于给定图像平面，广角镜头具有实质上小于普通镜头的焦距的焦距。广角镜头允许将更大比例的场景包括在照片或视频中。在一些情况下，广角镜头可用于可移动物体(如UAV)上的成像装置中以扩大相对大小，从而使前景物体更加突出和醒目，同时捕获更宽阔的背景。如部分C所示，FPV 332-2可以描绘位于物理环境中的第一物体的图像352”和第二物体的图像354”。第一物体可以比第二物体更接近广角镜头。由于使用广角镜头捕获FPV图像332-2，附近的第一物体显得更大，而第二物体看起来比它实际在环境中更小和更远。换句话说，广角镜头似乎延长了第一物体和第二物体之间的距离。

在一些情况下，当使用广角镜头时，当成像装置没有垂直于对象(可以是人物或物体)对齐时，可能表现出更明显的透视失真。平行线以与普通镜头相同的速率汇聚，但由于更宽的总视野，汇聚地更多。例如，与使用距离对象相同距离的普通镜头进行拍摄相比，当具有广角镜头的成像装置从地平面向上指向时，建筑物可能看上去倒退得更加严重，这是因为在广角镜头中可以看到更多的建筑物。该透视失真的增加会影响用户对距离的感知以及用户通过FPV对可移动物体(例如，UAV)的控制。

如部分C所示，扩展失真会影响用户对真实环境中物体之间距离的感知。在一些情况下，由于图像(通过镜头透镜捕获的)的视角和观看图像的视角的差异，扩展失真会被进一步加剧。例如，被配置为显示立体FPV图像的头戴式显示器可以具有比成像装置的广角镜头更窄的视角。这是因为与普通观看距离(例如，手臂长度的距离)相反，头戴式显示器的显示区域320通常位于用户眼睛附近。结果，当使用广角镜头捕获图像并且在头戴式显示器上呈现图像时，用户可以观察到FPV332-2中相对距离的明显失真。

由于相对距离的失真，距在通过头戴式显示器上的FPV 332-2操作可移动物体(例如，UAV)的用户可能不能准确地评测出物体之间的距离以及环境中物体的实际大小。在充满障碍物的环境中，用户可能会发现在避开这些障碍物的同时操纵UAV通过环境是困难并有挑战的。在一些情况下，UAV能够以高速飞行(例如，高达30m/s)，这可能不允许用户有足够的反应时间来响应迎面而来的障碍物。例如，当UAV高速飞向物体时，看起来很远的一个物体可能很快看起来很近。没有经验的用户可能对物体大小/距离的明显变化反应不足或过度反应。FPV图像/视频中的扩展失真可能会危及UAV操作期间的飞行安全，并可能导致用户无意中撞击UAV或导致UAV与障碍物碰撞。

因此，需要FPV飞行控制和引导系统，其能够向用户提供准确的距离和其他环境信息，并允许用户从在显示装置(例如，头戴式显示器)上呈现的三维FPV安全地操作飞行器。本发明的以下实施例可以通过在显示装置上向用户提供环境的增强立体视频数据来解决上述需要。可以通过将立体视频数据和环境信息融合来生成增强立体视频数据。可以在叠加在从立体视频数据获得的三维FPV图像或视频上的增强现实(AR)层中提供环境信息。环境信息可以包含与物理环境中的物体的可移动物体(例如，UAV)相距的实际距离、以及环境中各种物体之间的距离。环境中的物体可以是静止的、运动的或能够运动的。环境信息还可以包含关于可移动物体的运动路径中的障碍物或潜在障碍物的信息。通过在叠加在三维FPV上方的AR层中提供环境信息，可以使由于扩展失真效应引起的操作风险最小化。例如，用户可以依靠(实时动态更新的)增强环境信息来安全地操纵飞行器通过各种环境。

图3B示出了根据一些实施例的将AR层中的环境信息与3-D FPV匹配并基于环境信息校正失真3-D FPV。参考图3B的部分A，第一物体352和第二物体354可以位于物理环境内，并间隔距离D。图3B的部分B示出使用广角镜头捕获的环境的3-D FPV 332-3，其受到扩展失真的影响。如前所述，扩展失真会影响用户对环境中物体之间距离的判断。

根据本发明的各种实施例，增强现实(AR)层可以叠加在3-D FPV上以向用户提供实时环境信息，并且允许用户知道环境中物体之间的真实距离。例如，如图3B的部分B所示，环境的3-D FPV 332-3可以包括AR层，该AR层包括与物体352/354的(扩展失真)图像相匹配的一个或多个图形元素。例如，图形元素可以包括在第一物体和第二物体的失真图像之间延伸的虚线352。图形元素还可以包括示出第一物体和第二物体之间实际距离的图形元素D。通过AR层向用户提供准确和实时的环境信息，可以减小扩展失真对用户对于物体距离的感知的影响。这是因为环境信息包括环境中物体之间的准确距离，用户可以依靠环境中物体之间的准确距离来安全地导航可移动物体通过环境。

如图3B的部分B所示，3-D FPV中的物体的图像会受到扩展失真的影响。因此，AR层中的图形元素必须与失真图像匹配，使得图形元素可以准确地叠加在3-D FPV中的相应图像(“正确”的图像集)上。图形元素可以指示包含在环境的地图(例如，3-D地图)中的各种信息。在一些实施例中，可以使用物体识别技术(例如，特征点识别)来将环境的3-D地图与(失真的)3-D FPV匹配。特征点可以是与图像的其余部分和/或图像中的其他特征点唯一可区分的图像的一部分(例如，边缘、拐角、兴趣点、斑点、脊线等)。可选地，特征点可以对成像物体的变换(例如，平移、旋转、缩放)和/或图像特性(例如，亮度、曝光)的变化相对不变。可以在富含信息内容(例如，显著的2D纹理)的图像部分中检测特征点。可以在扰动(例如，当改变图像的照明和亮度时)下稳定的图像部分中检测特征点。

可以使用各种算法(例如，纹理检测算法)检测特征点，该算法可以从3-D FPV和3-D环境地图中提取一个或多个特征点。算法可以附加地进行关于特征点的各种计算。例如，算法可以计算特征点的总数，或“特征点数”。算法也可以计算特征点的分布。例如，特征点可以广泛地分布在图像(例如，图像数据)或图像的子部分内。例如，特征点可以狭窄地分布在图像(例如，图像数据)或图像的子部分内。算法也可以计算特征点的质量。在一些情况下，可以基于由本文提及的算法(例如，FAST、拐角检测器、Harris角点检测算法等)所计算的值来确定或评估特征点的质量。

在一些实施例中，可以将图像变换应用于3-D FPV以校正扩展失真，并修改3-DFPV使得其匹配环境信息。例如，图3B的部分C示出了经修改的3-D FPV，其中扩展失真效应已经基于从环境的3-D地图获得的实际距离信息被减小(或被校正)。图像变换可以包括使用变换矩阵来将3-D FPV中的图像映射到3-D环境地图。变换矩阵可以包括一个或多个缩放因子，该一个或多个缩放因子考虑(1)3-D FPV中物体的图像之间的延伸距离和/或(2)3-DFPV中物体的图像的大小失真。因此，可以减小3-D FPV中扩展失真的影响。

接下来，将参考以下附图来描述环境信息的收集和包含环境信息的增强现实(AR)层的生成。

图4示出了根据一些实施例的用于显示利用环境信息增强的第一人称视角(FPV)的系统400。除了以下差别，图4可以类似于图1。在图4中，可移动物体102还可以包括环境感测单元116，环境感测单元116被配置为获得关于可移动物体在其中操作的环境的各种信息。

环境感测单元可以包括能够用于收集环境信息的任何传感器，包括位置传感器(例如，全球定位系统(GPS)传感器、启用位置三角测量的移动装置发射器)、视觉传感器(例如，能够检测可见光、红外线或紫外线的成像装置，例如相机)、近距离传感器(例如，超声传感器、激光雷达、飞行时间相机)、惯性传感器(例如，加速度计、陀螺仪、惯性测量单元(IMU))、高度传感器、压力传感器(例如，气压计)、音频传感器(例如，麦克风)或现场传感器(例如，磁力计、电磁传感器)。在一些实施例中，环境感测单元还可以包括成像装置106(负载)。可选地，环境感测单元可以接收由成像装置106收集的成像数据，并处理成像数据以获得环境信息。例如，环境感测单元可以被配置为使用成像数据构建环境的3-D深度图，如本文其他地方所述。在一些实施例中，环境感测单元可以包括GPS传感器，并且可以基于与GPS传感器通信的GPS卫星的数量来确定环境类型。类似地，环境感测单元可以包括一个或多个激光雷达传感器，并且可以基于由激光雷达传感器获得的飞行时间数据来确定环境类型。类似地，环境感测单元可以包括一个或多个视觉传感器，并且可以基于由视觉传感器获得的图像数据来确定环境类型，诸如，与由视觉传感器获得的图像数据相关联的曝光时间。可以使用任何数量的传感器和传感器组合来获得环境信息，诸如，1个、2个、3个、4个、5个或更多个传感器。可选地，可以从不同类型的传感器(例如，2种、3种、4种、5种或更多种类型)接收数据。不同类型的传感器可以测量不同类型的信号或信息(例如，位置、朝向、速度、加速度、接近度、压力等)和/或利用不同类型的测量技术来获得数据。例如，传感器可以包括有源传感器(例如，产生并测量来自其自身源的能量的传感器)和无源传感器(例如，检测可用能量的传感器)的任意组合。

传感器数据可以提供各种类型的环境信息。例如，传感器数据可以表示环境类型，例如，室内环境、室外环境、低空环境、高空环境等。传感器数据还可以提供关于当前环境条件的信息，包括天气(例如，晴朗、下雨、下雪)、可见度条件、风速、时间等。此外，传感器收集的环境信息可以包括关于环境中的物体(例如，结构或障碍物)的信息。备选地，传感器可以用于提供关于UAV周围的环境的数据，诸如，天气条件、接近潜在障碍物、地理特征的位置、人造结构的位置、风速、风向、雨速、温度等。

在一些实施例中，环境感测单元中的一个或多个传感器可以被配置为提供关于可移动物体的状态的数据。由传感器提供的状态信息可以包括关于可移动物体的空间布置的信息(例如，诸如经度、纬度和/或高度的位置信息；诸如滚动、俯仰和/或偏航的朝向信息)。状态信息还可以包括关于可移动物体的运动的信息(例如，平移速度、平移加速度、角速度、角加速度等)。例如，传感器可以被配置为关于多达六个自由度确定可移动物体的空间布置和/或运动(例如，位置和/或平移的三个自由度、朝向和/或旋转的三个自由度)。可以相对于全局参考系或相对于另一实体的参考系，提供状态信息。例如，可以将传感器被配置为确定可移动物体与用户之间的距离和/或可移动物体的起飞点。

在一些实施例中，由环境感测单元中的一个或多个传感器获得的感测数据可以被提供给飞行控制器。飞行控制器可以被配置为经由一个或多个电子速度控制(ESC)单元来控制可移动物体的一个或多个推进单元以实现可移动物体的运动。

在一些实施例中，环境感测单元可以包括多个成像装置，或具有多个镜头和/或图像传感器的成像装置。成像装置能够基本同时地、顺序地或在不同时间点拍摄多个图像。多个图像可以有助于创建3D场景、3D虚拟环境、3D地图或3D模型。例如，可以拍摄右眼图像和左眼图像并将其用于立体映射。可以根据经校准的双目图像计算深度图，如下面详细描述的。可以同时拍摄任意数量的图像(例如2个或更多个、3个或更多个、4个或更多个、5个或更多个、6个或更多个、7个或更多个、8个或更多个、9个或更多个)以帮助创建3D场景/虚拟环境/模型，和/或用于深度映射。图像可以朝向基本相同的方向，或者可以朝向稍微不同的方向。在一些情况下，来自其他传感器的数据(例如，超声波数据、LIDAR数据、来自如本文其他地方所述的任何其它传感器的数据，或来自外部装置的数据)可以帮助创建2D或3D图像或地图。

在一些实施例中，可以分析从一个或多个成像装置获得的立体视频数据，以确定环境信息。环境信息可以包括环境地图。环境地图可以包括拓扑图或度量图。度量图可以包括以下至少一个：点云、3D栅格地图、2D栅格地图、2.5D栅格地图或占据栅格地图。占据栅格可以用于定义可移动物体周围的空间环境的3D地图。

在一些实施例中，立体视频数据的分析可以包括以下至少一个：(1)成像装置校准，(2)图像帧的立体匹配，以及(3)深度图计算。成像装置校准可以包括校准成像装置(诸如双目相机)的固有参数和外在参数。双目相机可以被配置为捕获一个或多个双目图像。可以根据多个双目图像获得立体视频数据。立体匹配可以包括：(1)在每个双目图像中基本上实时提取或接近实时提取每个单目图像的特征点，(2)计算特征点的运动特性，(3)基于特征点的运动特性，匹配从图像帧中提取的相应特征点，以及(4)消除不匹配特征点。深度图计算可以包括：(1)基于匹配的特征点计算基于像素的视差图；以及(2)基于双目相机的外在参数来计算深度图。深度图计算可以包括过滤深度图并向其应用阈值以确定一个或多个障碍物。例如，可以将阈值应用于对深度图内具有预定大小和/或预定数量像素的环境中的物体进行分类。

在图4的示例中，一个或多个成像装置100可以位于可移动物体的主体上或位于可移动物体的主体内。成像装置110可以是双目视觉传感器。成像装置110可以是环境感测单元116的一部分。由成像装置110捕获的双目图像可以用于生成该环境的深度图信息。可以用由另一成像装置(例如，成像装置106)获得的图像来相关/校准该双目图像。如图4所示，第一视觉传感器110-1和第二视觉传感器110-2可以相对于彼此设置在不同的位置处，使得第一视觉传感器和第二视觉传感器具有不同的光轴。例如，第一视觉传感器具有第一光轴112-1，并且第二视觉传感器具有第二光轴112-2。光轴112-1和112-2可以沿不同的方向延伸。例如，第一光轴可以从可移动物体的前部延伸，并且第二光轴可以从可移动物体的后部延伸。

通过左眼图像和右眼图像的立体匹配，可以使用双目图像生成深度图。可以将左眼图像和右眼图像匹配以获得可以检测环境中的障碍物/物体的位置的深度图像。在一些实施例中，可以使用布置在可移动物体上的多个位置处的多个成像装置110来生成深度图。可以利用使用一个或多个处理器执行的实时块匹配(BM)或半全局块匹配(SGBM)算法来执行立体匹配。在一些实施例中，可以附加地使用来自超声传感器的超声数据来检测缺乏明显纹理的物体的位置/距离(例如，双目视觉传感器无法检测白色墙壁或者玻璃墙的位置)。

可以通过将双目图像或任何图像与深度图相关来生成外部环境的3D地图。例如，左眼图像和/或右眼图像可以被映射到深度图。在一些情况下，由另一成像装置106(负载)捕获的图像可以被映射到深度图。深度图可以包括多个像素点。有效的像素点可以与外部环境中的障碍物相对应。像素点和障碍物之间的关系可以是一对多或多对一的。例如，一个有效像素点可以与多个障碍物相对应。备选地，多个有效像素点可以与一个障碍物相对应。在一些情况下，一组有效像素点可以与一组障碍物相对应。有效像素点的值大于0。相反，无效像素点是不可从映射图像中识别的点。无效像素点的值等于或小于0。没有明显纹理的或透明的物体可以在图像中显示出无效像素点。在一些实施例中，可以使用来自超声成像的超声数据来补充视觉相关性以识别那些无效像素点。可以例如使用位于可移动物体上的激光雷达传感器来执行超声成像。来自超声传感器的超声数据可以用于检测没有明显纹理的或透明的物体的位置/距离。

接下来，可以生成与深度图中的像素点相对应的3D空间点。与深度图中的像素点相对应的3D空间点可以由下式给出：

若d＞0。

其中d是深度图中的深度，f是成像装置的焦距，(c_x，c_y)是与可移动物体的中心点(质心)的偏移，且(x，y)是深度图上的像素点。多个3D空间点可以分布到占据栅格的多个单元格中。可移动物体的位置可以位于占据栅格的中心。在一些情况下，可移动物体的位置可以位于占据栅格的另一部分(例如，边缘)。占据栅格可以用于定义可移动物体周围的空间环境的3D地图。

占据栅格可以具有多个单元格。占据栅格的大小可以是n_x x n_y x n_z，其中n_x是沿x轴的单元格数，n_v是沿着y轴的单元格数，并且n_z是沿z轴的单元格数。n_x、n_y和n_z可以是任意整数，并且可以相同或不同。在一些实施例中，n_x＝n_y＝80并且n_z＝40。在一些实施例中，n_x和n_y可以小于80或大于80。在一些实施例中，n_z可以小于40或大于40。占据栅格中的每个单元格的大小可以是m x m x m，其中m可以是任意尺寸。在一些实施例中，m可以小于或等于0.1米、0.2米、0.3米、0.4米、0.5米或1米。在一些实施例中，m可以大于1米、1.1米、1.2米、1.3米、1.4米、1.5米或2米。

占据栅格可以具有i个单元格，其中i＝n_x x n_y x n_z。每个单元格可以被表示为第i个单元格。例如，i＝1可以表示第一个单元格，并且i＝10可以表示第十个单元格。对于每个第i个单元格，可以确定落入该单元格的3D空间点的数量。可以通过针对每个第i个单元格确定落入第i个单元格的3D空间点的数量是否大于预定阈值τ，来生成环境的3D地图。每个第i个单元格可以具有二进制状态C_i。当落在第i个单元格内的3D空间点的数量大于预定阈值τ时，C_i＝1。当落在第i个单元格内的3D空间点的数量等于或小于预定阈值τ时，C_i＝0。可以基于捕获图像的采样频率以及根据从深度图中获得的3D空间点的精度，来确定预定阈值τ。当采样频率增加时和当落入单元格内的3D空间点的数量增加时，可以增加预定阈值τ。当3D空间点的精度增加时，预定阈值τ可以减小。预定阈值τ可以具有一系列值。例如，预定阈值可以在约5至约30的范围内。在一些情况下，预定阈值可以在小于5到大于30的范围内。

如上所述，超声数据可以用于补充视觉相关性以识别无效像素点。当检测到有效超声读数d_s时，声呐范围内距离为“d_s”的所有单元格的状态Ci可以设置为1。

图5示出了根据一些实施例的可移动物体的环境感测范围。图5的部分A示出了来自如从可移动物体上方观察的鸟瞰图的可移动物体502的环境感测范围。图5的部分B示出了可移动物体在三维空间中的环境感测范围。图5中的可移动物体可以例如是被配置为在环境中操作的UAV。

在图5中，环境感测单元可以包括耦接到可移动物体的不同侧面的多个成像装置。例如，多个成像装置可以至少耦接到可移动物体的前侧(F)、后侧(B)、左侧(L)、右侧(R)、顶侧或底侧。每个成像装置的视角可以为d。可以基于视角α(水平、垂直和对角线)和每个成像装置内的图像传感器大小来确定最大环境感测范围。在图5中，环境感测范围的形状被示为圆形512(部分A中的平面图)或球形514(部分B中的三维视图)。应当注意，环境感测范围可以由任何形状和/或大小限定。例如，在一些实施例中，环境感测范围可以由围绕可移动物体的规则形状(例如，立方体、圆柱体，锥体等)或不规则形状来定义环境感测范围。

在一些情况下，相邻成像装置的视野可以彼此交叠，例如如图5的部分A所示。视野中的交叠确保了可以收集足够的环境图像数据点，其中能够根据所述环境图像数据点来以一定准确度构建环境地图。在一些备选情况下，相邻成像装置的视野不需要彼此交叠。

多个成像装置可以被配置为捕获可移动物体周围的环境的双目或多目图像。一个或多个成像装置可以在同一时刻或不同时刻捕获图像。可以从双目或多目图像中获得环境的3-D深度图。多个成像装置可以提供n度的视野。在一些实施例中，n可以约为90°、100°、110°、120°、130°、140°、150°、160°、170°、180°、190°、200°、210°、220°、230°、240°、250°、260°、270°、280°、290°、300°、310°、320°、330°、340°、350°或360°。可以考虑n的任意值。当n是360°时，可以获得完全环绕的环境感测。在一些情况下，环境感测范围可以由具有自可移动物体的中心的预定半径的球体来定义。预定半径可以在几米至几百米的范围内。例如，预定半径可以约为1m、5m、10m、20m、30m、40m、50m、60m、70m、80m、90m、100m、200m、300m、400m、500m或其间的任意值。在一些情况下，预定半径可以小于1m或大于500m。可以预想预定半径的任意值。在一些实施例中，环境感测范围可以取决于可移动物体操作的环境的环境复杂性。随着可移动物体移动经过不同环境，环境感测范围可以动态调整。例如，当可移动物体在包括大量物体或障碍物的环境中移动时，可以扩大环境感测范围，和/或可以增加环境感测的灵敏度等级(例如，分辨率)。相反，当可移动物体在包括较少数量物体或障碍物的环境中移动时，可以缩小环境感测范围，和/或可以减小环境感测的灵敏度等级(例如，分辨率)。

在图5中，安装在可移动物体的不同侧上的多个成像装置可以共同构成机载双目立体视觉感测系统。在一些实施例中，环境感测单元可以包括能够执行相同的环境感测功能并可以代替双目立体视觉感测系统的其他传感器(例如，超声传感器、雷达、激光和红外传感器)。在一些实施例中，这些其它传感器(例如，超声波传感器、雷达、激光和红外传感器)可以与双目立体视觉感测系统结合使用，以进一步提高环境感测的灵敏度和/或范围。

因此，本文公开的环境感测单元可以精确和实时地提供可移动物体周围数十米到几百米范围内的环境信息。环境信息可以包括可移动物体UAV与环境中的各种物体的距离以及环境内物体之间的距离。

图6示出了根据一些实施例的示出用于将立体视频数据与环境信息融合的系统600的部件的示例的框图。增强立体视频数据可以作为FPV显示在用户终端上，例如如图1、图3和图4所示。部件可以包括位于可移动物体上的第一组部件以及位于远离可移动物体的位置的第二组部件。在一些实施例中，第二组部件中的一个或多个部件可以位于用户终端上。

第一组部件可以包括成像装置606、环境感测单元616、运动控制器617、编码器618和通信单元619-1。第一组部件可以安装在可移动物体上或共同位于可移动物体(诸如能够在空中、陆地、水上或水体中行进的载运工具)上。载运工具的示例可以包括飞行器(例如，UAV、飞机、旋翼飞机、轻于空气的载运工具)、陆地载运工具(例如轿车、卡车、公共汽车、火车、漫游车、地铁)、水域载运工具(例如，船只、轮船、潜艇)或空基载运工具(例如，卫星、航天飞机、火箭)。可移动物体能够在陆地上或地下、在水上或水中、在空中、在空间内或其任意组合中穿越。在一些实施例中，可移动物体可以是移动装置、手机或智能电话、个人数字助理(PDA)、计算机、膝上型计算机、平板电脑、媒体内容播放器、视频游戏站/系统、诸如虚拟现实耳机或头戴式装置(HMD)等可穿戴装置，或者能够捕获、提供或呈现图像数据和/或基于图像数据识别或跟踪目标物体的任何电子装置。可移动物体可以是自推进的，可以是静止的或移动的，并且可以随时间改变朝向(例如姿态)。

在一些实施例中，成像装置606可以经由载体(例如，图4中的载体104)可操作地耦接到可移动物体。可选地，成像装置可以设置在可移动物体的外壳内。在一些备选实施例(未示出)中，成像装置可以被实现为独立装置并且不需要被设置在可移动物体上。在一些实施例中，惯性测量单元(IMU)(未示出)可以安装在成像装置上，或者可以安装在成像装置耦接到的载体上。

成像装置606可以用作本文其他地方所描述的图像捕获装置。成像装置606可以被配置为获得可移动物体在其中操作的环境的原始图像数据640。原始图像数据可以与例如环境中多个物体的静止图像或视频帧相对应。本文使用的原始图像数据还可以包括原始视频数据。本文使用的编码器可以包括视频编码器。可以以2D或3D格式在静止图像和/或视频帧中描绘物体，所述物体可以是现实的和/或动画的，可以是彩色的、黑/白的、或灰度的，并且可以在任何色彩空间中。所述物体可以是静止的。备选地，物体可以是可移动的，并且可以在任何给定的时间点移动或静止。

如图6所示，成像装置可以向编码器618发送原始图像数据，以被处理为经编码的视频数据642。编码器可以是由可移动物体承载的独立装置或可以是成像装置的部件。可选地，编码器可以在UAV之外。可以使用可移动物体上的一个或多个处理器来实现编码器。UAV上的处理器可以包括用于编码原始图像数据的视频编解码器处理器。在一些实施例中，原始图像数据和经编码的视频数据可以包括多个彩色图像，并且多个像素可以包括彩色像素。在其他实施例中，原始图像数据和经编码的视频数据可以包括多个灰度图像，并且多个像素可以包括灰度像素。在一些实施例中，多个灰度图像中的每个像素可以具有归一化的灰度值。

在一些实施例中，编码器可以被配置为通过对环境的原始视频数据进行编码来处理原始视频数据，以在可移动物体上生成立体视频数据。可以通过将原始视频数据中的多个图像视图融合在一起来生成立体视频数据。在一些实施例中，可以使用多目联合编码对原始视频数据进行编码。多目联合编码可以包括基于成像装置的位置信息的帧间预测。可以从IMU获得成像装置的位置信息。多目联合编码可以包括在由成像装置在相同时刻或在不同时刻捕获的多个图像视图之间应用帧间预测。多目联合编码可以包括基于在捕获图像的每个时间点的成像装置的位置信息来对多个图像进行帧间预测。

原始图像数据可以包括在不同时刻捕获的多个图像视图的原始视频数据。在一些实施例中，多目联合编码可以包括将多视图视频编码(MVC)格式应用于原始视频数据。例如，编码器618可以被配置为将MVC格式应用于原始视频数据。应用MVC格式可以包括(1)将由成像装置获得的原始视频数据相关，以及(2)减少原始视频数据中的信息冗余。在一些其他实施例中，多目联合编码可以包括将高效视频编码(HEVC)格式应用于原始视频数据。在一些实施例中，原始视频数据可由编码器618中的一个或多个处理器在原始视频数据被成像装置捕获时基本上实时或接近实时地进行编码。

如前述参考图4和图5的描述，环境感测单元616可以被配置为使用一个或多个传感器来获得环境信息644。环境信息可以包括环境地图。环境地图可以包括拓扑图或度量图。度量图可以包括以下至少一个：点云、3D栅格地图、2D栅格地图、2.5D栅格地图或占据栅格地图。占据栅格可以用于定义可移动物体周围的空间环境的3D地图。

在一些实施例中，环境感测单元616可以被配置为从成像装置606接收原始图像数据640。备选地，成像装置606可以是环境感测单元616的一部分。在一些情况下，环境感测单元616可以被配置为从编码器618接收经编码的视频数据642。环境感测单元可以被配置为从原始图像数据和/或经编码的视频数据中获得环境信息。在一些实施例中，环境感测单元可以被配置为通过将双目图像或者原始图像数据或经编码的视频数据中的任何图像与深度图相关，以生成外部环境的3D地图，如本文其他地方所述。例如，环境感测单元可以将由成像装置606捕获的左眼图像和/或右眼图像映射到深度图。

环境信息还可以包括风速、风向、气压、空气密度、湿度、环境温度、可移动物体在环境中的位置、可移动物体与环境中其他物体的接近度、障碍物位置等。在一些情况下，环境信息可以包括可移动物体距环境中物体的距离、或者可以包括可移动物体相对于物体的朝向。可移动物体可以被配置为跟随物体或跟踪物体。备选地，物体可以是位于可移动物体的运动路径中的障碍物，并且可移动物体可以被配置为避开障碍物。

在一些实施例中，运动控制器617可以被配置为从环境感测单元接收环境信息644，并且基于环境信息自主地或半自主地控制可移动物体。在一些情况下，运动控制器可以包括障碍物规避单元。障碍物规避单元和/或运动控制器可以被配置为生成跨越环境地图(例如，3D地图)内可通过(开放)空间的运动路径。

障碍物规避单元可以被配置为基于可移动物体沿运动路径的预测移动来确定可移动物体是否将与一个或多个障碍物碰撞。在一些情况下，障碍物规避单元可以被配置为当可移动物体被确定与一个或多个障碍物碰撞时，在至少一个方向上递增地调整运动路径。障碍物规避单元还可以被配置为针对至少一个方向上的每个增量角，确定可移动物体是否将与一个或多个障碍物碰撞。

障碍物规避单元还可以基于环境地图来确定可移动物体是否将与一个或多个障碍物碰撞。环境地图可以是可移动物体周围的环境的3D地图。3D地图可以基于由环境感测单元中的一个或多个成像装置捕获的周围物体的图像中的深度信息来生成。在一些实施例中，障碍物规避单元可以被配置为将指示运动路径的轨迹叠加到环境地图上，并且确定该轨迹是否接近环境地图内描绘的一个或多个障碍物或与环境地图内描绘的一个或多个障碍物相交。

当轨迹不接近环境地图内描绘的一个或多个障碍物或不与环境地图内描绘的一个或多个障碍物相交时，障碍物规避单元可以确定没有碰撞风险或低碰撞风险，并且可以将现有运动路径提供给运动控制器。相反，当轨迹接近环境地图内描绘的一个或多个障碍物或与环境地图内描绘的一个或多个障碍物相交时，障碍物规避单元可以确定可移动物体将与一个或多个障碍物碰撞。

在一些实施例中，障碍物规避单元可以基于运动路径中是否存在障碍物，以动态方式递增地调整运动路径的角度。例如，当障碍物规避单元在运动路径中检测到障碍物时，可以以小增量调整运动路径的角度，以确定可移动物体的运动路径中的最小调整以绕过障碍物。在可移动物体成功绕过障碍物之后，可以以较大增量重新调整运动路径的角度。

在一些实施例中，障碍物规避单元可以基于运动路径中障碍物的密度，以动态方式递增地调整运动路径的角度。例如，当障碍物规避单元在运动路径中检测到高密度障碍物时，可以以小增量调整运动路径的角度，以确定可移动物体的运动路径中的微调以绕过高密度障碍物。相反，当障碍物规避单元在运动路径中检测到低密度障碍物时，由于障碍物之间可能存在更多的开放(可通过)空间，可以以较大增量调整运动路径的角度。

运动控制器可以被配置为生成运动信息645。如上所述，运动信息可以包括运动路径和对运动路径的调整。运动信息还可以包括以下一项或多项：全局坐标或本地坐标中的位置、姿态、高度、空间布置、速度、加速度，定向航向、行进距离、电池功率状态、和/或可移动物体上一个或多个部件的健康状况。

可移动物体上的通信单元619-1可以被配置为从编码器接收经编码的视频数据642、从运动控制器接收运动信息645、和/或从环境感测单元接收环境信息644。在一些实施例中，可以将来自运动控制器的运动信息和环境信息一起提供给通信单元619-1。

通信单元619-1可以被配置为将经编码的视频数据、运动信息和环境信息发送到远离可移动物体的通信单元619-2。通信单元619-2可以位于用户终端或者可以不位于用户终端上。用户终端可以位于地面上或者可以不位于地面上。用户终端可以位于远离可移动物体的位置。在一些情况下，通信单元619-2可以位于与可移动物体和用户终端通信的地面站。用户终端和可移动物体可以经由通信单元619-1和619-2相互通信。可以经由下行链路将数据/信息642、644、645从可移动物体发送到用户终端。用户终端可以经由上行链路向可移动物体发送各种控制信号(未示出)。上行链路和下行链路均可以是无线链路。无线链路可以包括RF(射频)链路、Wi-Fi链路、蓝牙链路、3G链路或LTE链路。无线链路可以用于长距离传输图像数据或控制数据。例如，可以在等于或大于约5m、10m、15m、20m、25m、50m、100m、150m、200m、250m、300m、400m、500m、750m、1000m、1250m、1500m、1750m、2000m、2500m、3000m、3500m、4000m、4500m、5000m、6000m、7000m、8000m、9000m或10000m的距离上使用无线链路。

可移动物体和用户终端之间(第一通信单元619-1和第二通信单元619-2之间)通信的带宽可以在从大约10Kbp_s到大约1Mbp_s的范围内。根据当前的或可用的通信带宽，可以使用不同的图像数据压缩策略。例如，当通信带宽足够快以支持实时图像传输时，整个图像可以被均匀地压缩。然而，当通信带宽下降到一定水平时，可以切换到不同的图像压缩策略，所述策略中可以使用不同的速率来选择性地压缩不同的图像。在一些实施例中，经编码的视频数据可以包括高清立体视频数据。在其他实施例中，经处理的视频数据可以包括超高清立体视频数据。

如图6所示，通信单元619-1可以被配置为将经编码的视频数据、运动信息和环境信息发送到远离可移动物体的第二组部件。第二组部件可以包括通信单元619-2、解码器621、叠加引擎623和显示装置630。在一些实施例中，第二组部件的一个或多个部件可以位于用户终端上。

通信单元619-2可以将经编码的视频数据642发送到解码器621。解码器可以是视频解码器，或者可以包括视频解码器。解码器可以使用用户终端处和/或地面站处的一个或多个处理器来实现。在一些情况下，解码器可以在显示装置630上实现。解码器可以被配置为对图像数据进行解压缩。解码器可以被配置为对经编码的视频数据进行解码以恢复立体视频数据，并将立体视频数据646发送到显示装置630。立体视频数据可以包括多个左眼图像和多个右眼图像。可以在被配置为在显示装置上显示的立体视频流中提供多个左眼图像和右眼图像。

叠加引擎623可以被配置为生成包括环境信息644和/或运动信息645的增强现实(AR)层648。AR层可以是包括一个或多个图形元素的基本上透明的图像层。AR层可以叠加到FPV图像或视频流上，并显示在显示装置上。AR层的透明性允许用户观看立体视频数据，使得FPV显示环境的三维视频流，并在其上叠加图形元素。在一些实施例中，AR层可以包括增强FPV中的输入区域，其允许用户与FPV中的一个或多个图形元素进行交互。增强FPV中的用户交互可以转化为由可移动物体和/或机载成像装置执行的相应真实世界的动作。

如上所述，立体视频数据和环境信息的融合可以包括将环境信息合并到立体视频数据中。环境的增强立体视频数据可以包括与环境信息相关联的一个或多个图形元素。图形元素可以叠加到显示装置上显示的环境的FPV上。图形元素可以直接叠加到FPV中任何物体的图像上。图形元素还可以包括FPV中任何物体的图像周围的任何形状、边界或轮廓。物体可以是可移动物体运动路径中的障碍物，也可以不是可移动物体运动路径中的障碍物。

在一些实施例中，图形元素可以被配置为：随着可移动物体相对于环境中的物体的位置或方向改变而动态改变。例如，图形元素可以指示可移动物体距被跟踪物体或障碍物的距离。图形元素可以被配置为：随着可移动物体和被跟踪物体和/或障碍物之间的相对距离改变，基本实时或接近实时地在FPV上动态地显示可移动物体距被跟踪物体和/或障碍物的距离。

在一些实施例中，环境信息可以包括可移动物体相对于被跟踪物体和/或障碍物的朝向。图形元素可以指示可移动物体相对于被跟踪物体和/或障碍物的朝向。随着可移动物体与被跟踪物体和/或障碍物之间的朝向改变，图形元素可以被配置为基本实时或接近实时地在FPV上动态地显示可移动物体相对于被跟踪物体和/或障碍物的朝向。在一些情况下，图形元素可以指示可移动物体的朝向或航向。为了指示朝向(例如，方向或航向)，可以以箭头或指南针的形式提供图形元素。箭头或指南针可以指向FPV上的任何方向，或指向FPV中一个或多个物体的图像。箭头或指南针可以被配置为基于可移动物体的移动/航向、和/或可移动物体与环境中一个或多个其它物体之间的相对朝向而动态地改变。

在图6的示例中，可以使用一个或多个处理器将立体视频数据和环境信息融合在一起。一个或多个处理器可以位于显示装置630。备选地，处理器可以位于遥控器或地面站。

显示装置630可以位于用户终端。备选地，显示装置可以可操作地耦接到用户终端，并可以从用户终端拆卸。在一些情况下，显示装置可以远离用户终端。显示装置可以被配置为基于增强立体视频数据来显示环境的FPV。用户可以在显示装置上观看增强FPV。在一些情况下，当可移动物体上的成像装置正在收集原始图像数据，并且环境感测单元正在收集环境信息时，可以在显示装置上实时地显示环境的增强FPV图像和/或视频。

环境的增强FPV可以显示在显示装置上。在一些实施例中，显示装置可以是能够显示环境的增强三维FPV立体数据的可穿戴显示装置。在一些实施例中，显示装置可以被配置为由用户穿戴。例如，显示装置可以是一副眼镜、护目镜或头戴式显示器。显示装置可以包括结合了增强现实(AR)或虚拟现实(VR)技术的任何类型的可穿戴计算机或装置。显示装置可以被设置为用户终端的一部分。备选地，显示装置可以与用户终端分开。在一些情况下，显示装置可以可操作地耦接到用户终端。可选地，显示装置本身可以是用户终端。

在一些实施例中，显示装置可以是便携式视觉系统。显示装置可以是无绳的。备选地，显示装置可以连线到用户终端，或连线到另一外部装置。在一些实施例中，显示装置可以是一副VR眼镜或AR眼镜。VR眼镜或AR眼镜可以被制造得相对紧凑。例如，VR眼镜或AR眼镜可以是可折叠的和/或展平成二维形状以便于存储和携带。在一些情况下，显示装置可以是VR或AR头戴式显示器(HMD)。

在一些实施例中，显示装置可以是适于显示图像或视频的装置，例如LCD(液晶显示器)、CRT(阴极射线管)、OLED(有机发光二极管)或等离子体。在一些情况下，显示器可以设置在移动装置(诸如手机、PDA或平板电脑)上。

图7示出了根据一些实施例的在增强立体视频数据中提供的信息的类型。在图7中，环境的增强FPV可以显示在远离可移动物体的显示装置上。可以通过融合立体视频数据和环境信息来生成增强立体视频数据，如本文其他地方所述。

参考图7，显示装置730可以被配置为显示环境的增强FPV 732。增强FPV可以包括提供各种信息的多个图形元素748，这些信息可以帮助用户安全地导航可移动物体以通过环境。图形元素可以设置在叠加在立体视频流上方的AR层中。

图形元素可以包括各种信息，这些信息可以帮助用户进行可移动物体的FPV控制。在一些实施例中，图形元素可以指示环境感知状态748-1、可能碰撞区域748-2、警报或警告748-3、飞行信息748-4、和/或网络信息748-5。

环境感知状态748-1可以指示可移动物体上的环境感测单元中一个或多个传感器的健康状态或操作状态。例如，当一个或多个传感器发生失灵或停止工作时，增强FPV上可以出现文本消息或视觉指示符，以通知用户有关传感器的状态。

可能碰撞区域748-2可以指示可移动物体与其存在碰撞的高风险或确定性的物体。那些物体可能是环境中的障碍物。可能碰撞区域748-2可以使用一种或多种类型的标记方案(例如，阴影、着色、突出显示等)来标记障碍物。在一些情况下，可以在AR层内生成一个或多个边界框以包围那些障碍物。所述框可以是任何形状，例如，n边多边形，其中n可以是大于2的任何整数。或者，所述框可以是圆形或椭圆形。在一些情况下，所述框可以具有与物体(障碍物)轮廓相匹配的形状。所述框可以作为用户的视觉指示符，以将障碍物与其他不会造成碰撞风险的物体进行区分。

警报或警告748-3可以通知用户采取适当措施以避开碰撞区域。在一些实施例中，警报或警告可以包括与障碍物相关联的风险等级。风险等级可以指示可移动物体与那些障碍物碰撞的可能性，或者指示针对预定运动路径那些障碍物对可移动物体造成的危险等级。在一些实施例中，警报或警告可以包括建议的减轻风险等级的运动路径调整。可以使用可移动物体上的一个或多个处理器自主地实现运动路径调整。备选地，用户可以使用用于控制可移动物体的遥控器和/或通过显示装置上的FPV用户界面来手动地进行运动路径调整。

飞行信息748-4可以包含可移动物体的各种运行参数，例如运动路径、航路点、速度、加速度、航向、高度等。因此，当用户在环境中导航可移动物体时，用户可以通过增强FPV接收更新的飞行信息。

网络信息748-5可以指示可移动物体和用户终端之间的网络连接强度。网络信息可以示出网络连接状态和传输滞后。该信息可以帮助用户正确操纵可移动物体。在一些情况下，可移动物体和用户终端之间的无线通信可能由于带宽限制而变慢，或者由于接收不良(例如，来自建筑物的障碍)而变弱。在这些情况下，上行链路(用户输入到可移动物体)和下行链路(数据传输到用户终端)之间可能存在延迟。因此，用户可以在操作可移动物体时额外小心，例如通过降低其速度、将其移动到安全位置、或避开环境中的障碍物，直到信号接收改善。

图8示出了根据一些实施例的可移动物体的视野和环境感测范围。在图8中描述了从可移动物体802的上方观看的环境的鸟瞰图。可移动物体可以是静止的或运动的。在图8的示例中，可移动物体可沿着参考帧的X轴在方向851上行进。一个或多个物体850可以位于环境中。物体可以是静止的、移动的或能够运动的。物体可以位于距可移动物体不同的距离处，并且可以位于彼此不同的距离处。

可移动物体可以包括被配置为收集环境的图像数据(例如，立体视频数据)的成像装置。成像装置可以具有由所使用的镜头的类型所确定的视角d。在一些情况下，成像装置可以使用广角镜头。广角镜头可具有范围在84°和64°之间的视角α。在一些备选实施例中，成像装置可位于远离可移动物体的不同位置处。可选地，成像装置可以位于另一可移动物体上。

环境中的一个或多个物体可位于成像装置的视野内。相反，环境中的一个或多个物体可位于成像装置的视野外。例如，第一物体850-1、第二物体850-2和第三物体850-3可以位于成像装置的视野内，而第四物体850-4和第五物体850-5可以位于成像装置的视野外。应该理解，当可移动物体移动或改变其朝向时，和/或当成像装置的姿态改变时，物体可以移入/移出成像装置的视野。

可以在可移动物体周围定义不同的边界。边界可以用于确定环境中一个或多个物体与可移动物体的相对接近度，如稍后参考图9详细描述的。所述边界可以以规则形状或不规则形状来定义。如图8所示，可以由具有不同半径的圆(在二维空间中)或球体(在三维空间中)来定义边界(同样参见5)。例如，第一边界的边缘可以与可移动物体的中心相距距离d1。第二边界的边缘可以与可移动物体的中心相距距离d2。第三边界的边缘可以与可移动物体的中心相距距离d3。距离d1、d2和d3可以与第一、第二和第三边界的相应半径相对应。在图8的示例中，d1可以大于d2，并且d2可以大于d3。由边界定义的圆/球体可能彼此同心，也可能不同心。在一些备选实施例中，由每个边界限定的形状的中心不需要位于可移动物体的中心处。可以围绕可移动物体以任何方式沿着一个或多个平面和/或在三维空间中限定边界。

可移动物体802可以被配置为将各种类型的信息发送到显示装置。如前所述，信息可以包括经编码的视频数据(包括立体视频数据)、环境信息和/或运动信息。显示装置可以远离可移动物体。在一些情况下，显示装置可以被结合到用户终端中，或者可以与用户终端可操作地耦接。

图9示出了根据一些实施例的图8中环境的增强FPV。可以在显示装置930上显示环境的增强FPV 932。可以在FPV中显示位于图8的成像装置视野内的物体。例如，FPV可以分别包括第一物体850-1的图像950-1’、第二物体850-2的图像950-2’和第三物体850-3的图像950-3’。如前所述，当成像装置使用广角镜头时，可能发生透视失真，其扩大了FPV中物体之间的相对距离(并且使FPV中物体的相对大小失真)。结果，在FPV中图像950-1’、950-2’和950-3’可能比它们在物理环境中看起来间隔更远。

FPV 932可以包括增强立体视频数据。可以通过融合立体视频数据和环境/运动信息来生成增强立体视频数据，如本文其他地方所述。可以使用可移动物体上的环境感测单元来收集环境信息。类似地，可以由可移动物体上的运动控制器提供运动信息。

在一些实施例中，FPV备选地可以是来自成像装置的图像的图形描绘或虚拟表示。示出FPV的同时，其他类型的视图可以作为FPV的备选呈现或结合FPV呈现。例如，在一些实施例中，可以提供地图视图。地图视图可以包括2D地图，例如俯瞰图。地图视图可以包括3D地图。3D地图可以是可变的以从各个角度观看3D环境。如前所述，可以显示实体渲染、线框或其他类型的成像。

可以通过包括一个或多个图形元素的增强现实(AR)层将环境信息和/或运动信息合并到FPV中。在图9中，图形元件可以包括显示可移动物体的飞行信息(例如，速度、高度、航向、姿态等)的仪表板954。仪表板可以位于FPV中的任意位置。例如，仪表板可以位于FPV的底部附近并远离FPV的中心部分，以避免视觉上干扰显示在FPV中心部分的物体的图像。

在一些实施例中，图形元件可以包括一个或多个接近度指示符956，用于指示可移动物体与位于成像装置视野外的一个或多个物体的相对接近度。接近度指示符可以用作“盲点”指示符。本文所使用的盲点可以表示位于用于获得FPV的立体图像数据的成像装置视场外的区域。在一些实施例中，接近度指示符可以位于FPV外围。例如，左接近度指示符956-1可以位于FPV的最左侧部分，并且右接近度指示符956-2可以位于FPV的最右侧部分。左接近度指示符可以用于指示可移动物体相对于位于成像装置视野外的一个或多个物体在可移动物体左侧的相对接近度。类似地，右接近度指示符可以用于指示可移动物体相对于位于成像装置视野外的一个或多个物体在可移动物体右侧的相对接近度。

在一些实施例中，可以通过接近度指示符中显示的多个条来指示相对接近度。例如，每个接近度指示符可以显示在任何给定时刻激活(例如，发光)的0个、1个、2个、3个或任意数量的条。作为示例，接近度指示符中的零(0)数目条可以指示盲区区域中没有物体或障碍物。当接近度指示符显示一(1)个条时，可以在距可移动物体距离d1之内且d2之外设置一个或多个物体。可选地，当一个或多个物体位于由第一边界限定的圆的圆周上时，接近度指示符可以显示一(1)个条。当接近度指示符显示两(2)个条时，可以在距可移动物体距离d2之内且d3之外设置一个或多个物体。可选地，当一个或多个物体位于由第二边界限定的圆的圆周上时，接近度指示符可以显示两(2)个条。类似地，当接近度指示符显示三(3)个条时，可以在距可移动物体距离d3之内设置一个或多个物体。可选地，当一个或多个物体位于由第三边界限定的圆的圆周上时，接近度指示符可以显示三(3)个条。因此，当盲点区域中可移动物体和物体之间的相对接近度减小时，接近度指示符中条的数量可以相应地增加以指示增加的碰撞风险。相反地，当盲点区域中可移动物体和物体之间的相对接近度增加时，接近度指示符中条的数量可以相应地减少以指示减小的碰撞风险。

如图8所示，第四物体850-4可以位于可移动物体的左侧并且位于成像装置视野外。第四物体可以位于距可移动物体距离d2之内且d3之外。因此，左接近度指示符可以显示两(2)个条。类似地，第五对象850-5可以位于可移动物体的右前方并且位于成像装置视野外。第五物体可以位于距可移动物体距离d1之内且d2之外。因此，右接近度指示符可以显示一(1)个条。正在通过增强FPV控制可移动物体的用户可以基于接近度指示符中条的数量来确定可移动物体与其他物体(位于盲点区域中)的相对接近度，并操纵可移动物体以避免与那些物体碰撞。

在一些实施例中，可以使用不同的颜色和阴影来区分接近度指示符中的条。例如，当接近度指示符正在显示一(1)个条时，可以以第一颜色(例如，绿色)显示单个条。当接近度条显示两(2)个条时，可以以第二种颜色(例如，橙色)显示两个条。当接近度条显示三(3)个条时，可以以第三种颜色(例如，红色)显示三个条。颜色可以指示碰撞风险等级，绿色对应于最低风险等级，红色对应于最高风险等级。条可以具有任何颜色或颜色的组合。在一些实施例中，随着可移动物体与那些其他物体的相对接近度增大/减小，可以在连续范围或颜色谱上提供颜色。可以设想任何颜色方案或任何其他视觉区分方案(例如，形状、阴影等)。

图10示出了根据一些实施例的可移动物体的视野和环境感测范围。除了以下差别，图10可以类似于图9。在图10中，环境中的一个或多个物体1050能够运动或在运动中。可移动物体1002可能存在与这些移动物体碰撞的风险。

参考图10，描绘了从可移动物体1002上方观察的环境的鸟瞰图。可以在可移动物体周围定义不同的边界。参考之前详细描述的图8和图9，可以使用边界来确定环境中一个或多个物体与可移动物体的相对接近度。第一物体1050-1、第二物体1050-2和第三物体1050-3可以位于成像装置的视野内，而第四物体1050-4和第五物体1050-5可以位于成像装置的视野外。应该理解，当可移动物体移动或改变其朝向时，和/或当成像装置的姿态改变时，物体可以移入/移出成像装置的视野。在图10的示例中，可移动物体1002可沿着参考帧的X轴在方向1051上行进。第三物体1050-3可以沿着朝向可移动物体1002的方向以速度V移动。

可移动物体1002可以被配置为将各种类型的信息发送到显示装置。如前所述，信息可以包括经编码的视频数据(包括立体视频数据)、环境信息和/或运动信息。显示装置可以远离可移动物体。在一些情况下，显示装置可以被结合到用户终端中，或者可以与用户终端可操作地耦接。

图11示出了根据一些实施例的图10中环境的增强FPV。除了以下差别，图11可以类似于图9。在图11中，可以在显示装置1130上的环境的增强FPV 1132中显示可能碰撞区域和警报/警告。

如图11所述，可以在FPV 1132中显示位于成像装置的视野内的物体。例如，FPV可以包括第一物体1050-1的图像1150-1’第二物体1050-2的图像1150-2’和第三物体1050-3的图像1150-3’。FPV 1132可以包括增强立体视频数据。可以通过融合立体视频数据和环境/运动信息来生成增强立体视频数据，如本文其他地方所述。可以使用可移动物体上的环境感测单元来收集环境信息。类似地，可以由可移动物体上的运动控制器提供运动信息。

可以通过包括一个或多个图形元素的增强现实(AR)层将环境信息和/或运动信息合并到FPV中。类似于图9，图11中的图形元素可以包括显示可移动物体的飞行信息(例如，速度、高度、航向、姿态等)的仪表板。图形元素还可以包括一个或多个接近度指示符1156，用于指示可移动物体与位于成像装置视野外的一个或多个物体的相对接近度。左接近度指示符1156-1可以位于FPV的最左侧部分，并且右接近度指示符1156-2可以位于FPV的最右侧部分。

返回参考图10，第三物体1150-4可以位于可移动物体的左前方并且位于成像装置视野外。第四物体可以位于距可移动物体距离d3之内且d2之外。因此，左接近度指示符可以显示一(1)个条。类似地，第五物体1150-5可以位于可移动物体的右侧并且位于成像装置视野外。第五物体可以位于由第三边界限定的圆的圆周上，由此第三边界的边缘与可移动物体1002的中心之间的距离为d3。因此，右接近度指示符可以显示三(3)个条。正在通过增强FPV控制可移动物体的用户可以基于接近度指示符中条的数量来确定可移动物体相对于(位于盲点区域中)那些物体的相对接近度，并操纵可移动物体以避免与那些物体碰撞。例如，用户可以操纵可移动物体远离第五物体1150-5移动。

如前所述，增强FPV 1132可以被配置为显示具有警报/警告的可能碰撞区域。例如，图形元素可以包括一个或多个警报窗口1158。在一些情况下，每个警报窗口可以显示在FPV中相应物体上或与FPV中的相应物体相邻显示。如图11所示，第一警报窗口1158-1可以与第一物体的图像1150-1’相邻显示，第二警报窗口1158-2可以与第二物体的图像1150-2’相邻显示，并且第三警报窗口1158-3可以与第三物体的图像1150-3’相邻显示。

每个警报窗口可以包含各种类型的信息，例如相应物体到可移动物体的距离D、与相应物体相关联的警报等级等。例如，第一警报窗口1158-1可以显示距离D1和警报等级0，由此距离D1与第一物体到可移动物体的距离相对应，并且警报等级0表示可移动物体具有与第一物体相撞的低风险(因为第一物体位于距可移动物体最远的位置)。类似地，第二警报窗口1158-2可以显示距离D2和警报等级2，由此距离D2与第二物体到可移动物体的距离相对应，并且警报等级2表示可移动物体具有与第二物体相撞的中等风险(因为第二物体比第一物体更靠近可移动物体)。类似地，第三警报窗口1158-3可以显示距离D3和警报等级3，由此距离D3与第三物体到可移动物体的距离相对应，并且警报等级3表示可移动物体具有与第二物体相撞的高风险(因为第三物体位于距可移动物体最近的位置并且朝可移动物体移动)。

可以动态地调整D1、D2和D3的值以反映可移动物体与物体之间相对距离的变化。类似地，可以动态地改变警报等级以反映不同的碰撞风险等级，不同的碰撞风险等级是由可移动物体与物体之间相对距离的变化而导致的。可移动物体与物体之间相对距离的变化可能发生在以下一种或多种情况下：(1)当可移动物体朝向物体移动或远离物体移动时；(2)当物体朝向可移动物体移动或远离可移动物体移动时；或(3)当可移动物体和物体相对于彼此移动时。在一些实施例中，警报窗口还可以包括估计的碰撞时间。例如，假设可移动物体和第三物体都沿着它们当前的运动路径或轨迹继续移动，第三警报窗口1158-3可以显示可移动物体1002与第三物体1050-3碰撞之前剩余的估计时间。

在一些实施例中，图形元素可以包括从用户的视点(POV)向FPV内的物体的图像延伸的一条或多条虚线1152。用户的POV可以位于例如FPV的底部附近。如图11所示，第一虚线1152-1可以从POV向第一物体的图像1150-1’延伸，第二虚线1152-2可以从POV向第二物体的图像1150-2’延伸，并且第三虚线1152-3可以从POV向第三物体的图像1150-3’延伸。可以动态地调整虚线以反映可移动物体与环境中的物体之间相对距离的变化。例如，随着可移动物体与第三物体之间的距离减小，第三虚线的长度可以减小。相反，随着可移动物体与其他物体之间的距离增加，到另一物体(未示出)的虚线的长度可以增加。在一些实施例中，可以使用虚线来帮助用户操纵可移动物体朝向环境中的物体或接近环境中的物体。

在一些实施例中，图形元素还可以包括FPV中物体的图像周围的边界框。例如，如图11所示，可以在第三物体的图像1150-3’周围显示边界框1160。边界框可用于突出显示第三物体的图像1150-3’，并警告用户即将发生的碰撞。边界框的大小和/或形状可以被配置为随着第三物体的图像1150-3’的大小和/或形状而改变。例如，随着第三物体接近可移动物体，第三物体的图像1150-3’的大小增加。在一些情况下，图像1150-3’的形状可能由于透视失真而改变。因此，可以动态地调整边界框1160的大小和/或形状，以匹配第三物体的图像1150-3’的变化轮廓。在一些实施例中，边界框可以具有不同的颜色或阴影方案以区分FPV内的一个物体和另一个物体。例如，边界框1160可以发红光突出显示或着色，以警告用户即将发生碰撞的风险。在一些情况下，边界框1160可以包括相同颜色或不同颜色的光的闪烁图案以引起用户的注意。可以设想任何颜色方案或任何其他视觉区分方案(例如，形状、阴影等)。

在一些实施例中，图形元素还可以包括指示环境中物体的速度和/或方向的一个或多个运动指示符。例如，如图11所示，可以在第三物体的图像1150-3’上显示运动指示符1162或在第三物体的图像1150-3’附近显示运动指示符1162。运动指示符可以包括第三物体正在移动的方向上的箭头。在一些实施例中，运动指示符还可以包括第三物体的速度V。可以动态地调整运动指示符以反映物体运动的变化。例如，在图11中，如果第三物体开始沿不同方向远离可移动物体，则运动指示符中的箭头可以改变为指向新方向。类似地，如果第三物体开始减速并减缓，可以动态地调整其速度V的值以反映第三物体的速度变化。

因此，图11中的增强FPV可以向用户提供关于环境的实时信息，以及当可移动物体在环境内移动时可移动物体与其他物体的空间关系。增强现实(AR)层中的图形元素可以动态变化以反映环境和空间关系的变化。结果，使用本文公开的增强FPV可以改善用户对在任何类型的环境中操纵可移动物体的控制。

图12示出了根据一些其他实施例的增强FPV。如图12所示，显示装置1230可以被配置为显示环境的增强FPV 1232。FPV可以描绘环境中多个物体的图像1250’。在一些实施例中，环境可以包括目标物体。FPV可以显示目标物体的图像1251’。在一些情况下，目标物体可以与将由成像装置在可移动物体上进行视觉跟踪的物体相对应。在其他情况下，可移动物体可以被配置为朝向目标物体飞行。

FPV 1232可以包括在增强现实(AR)层中提供的一个或多个图形元素。如前所述，AR层可以叠加在显示装置上显示的立体视频流上。在图12中，图形元素可以包括标记1270。标记可以与FPV中显示的任何物体对齐。例如，标记可以与目标物体的图像1251’对齐。在一些实施例中，标记可以位于FPV内的固定位置(例如，在FPV的中心)。在其他实施例中，标记可以移动到FPV内的不同位置。在一些情况下，用户可以通过移动和/或对齐目标物体上的标记来控制可移动物体飞向目标物体。

在一些实施例中，可以使用一个或多个图形元素来帮助用户操纵去往目标物体。例如，可以显示与标记1270相交的参考线1272。参考线可以穿过FPV延伸，并且可以相对于FPV中的地平线。可移动物体(或成像装置)的俯仰和/或横滚变化可能导致参考线的朝向相对于地平线发生变化。例如，当可移动物体(或成像装置)俯仰和/或横滚时，参考线可以看起来朝地平线移动，或者看起来远离地平线移动，或者相对于地平线旋转。在一些实施例中，可以提供朝向参考线1272延伸的一个或多个箭头1278。可以在FPV的外围显示箭头1278。例如，第一箭头1278-1可以显示在朝向参考线延伸的FPV的最左侧部分，并且第二箭头1278-2可以显示在朝向参考线延伸的FPV的最右侧部分。

在一些实施例中，图形元素还可以包括跟踪窗口1276。跟踪窗口可以包括与目标物体有关的各种信息。例如，在一些情况下，跟踪窗口可以包括目标物体距可移动物体的距离、和/或可移动物体到达目标物体的估计到达时间。可以在跟踪窗口中提供任何类型的环境信息和/或运动信息，与先前描述的一个或多个实施例一致。在一些实施例中，当选择新的目标物体时，可以更新跟踪窗口以包括新的信息(例如，距离信息)。

在一些实施例中，用户可以通过点击点或绘制围绕区域的形状来选择任何点或区域，以确定相对位置信息，所述相对位置信息可以包括距离、朝向、物体类型和/或物体是否是位于可移动物体的运动路径中的障碍物。在一些实施例中，用户可以通过改变他或她的眼睛注视来选择任何点或区域。例如，显示装置能够跟踪用户眼睛的移动以确定兴趣区域。

在一些实施例中，用户可以通过选择FPV中的不同点或物体来与显示装置进行交互。用户可以选择FPV的一部分来选择目标。可选地，所选部分可以是一个点。该点可以位于在显示器上显示的目标上。在一些实施例中，该点可以位于在显示器上显示的目标附近。当用户选择该点时，可以自动选择目标。在一些情况下，可以使用一种或多种标记方案(例如，阴影、着色、突出显示等)来标记目标，以指示已选择了该目标。在一些情况下，弹出窗口可以出现在显示器上的目标上，请求用户确认用户是否希望选择目标。在一些实施例中，可以在所选点附近生成多个边界框。每个边界框可以与不同的目标相关联。可以向用户呈现通过选择相应的边界框来选择目标的选项。在一些情况下，用户可以选择多于一个目标。在这些情况下，可移动物体可以被配置为首先飞行到较近的目标，然后飞行到较远的目标。

从FPV识别目标可以基于从例如3D地图、深度和/或占据栅格获得的对象/特征的空间信息。例如，可以使用类别无关的分割算法来执行通过选择FPV中图像上的点来识别目标。例如，当用户选择FPV中图像上的目标上或其附近的点时，可以从相邻或周围对象中分割出目标。可以进行分割而无需知道目标可能落入什么物体类别。在一些情况下，分割算法可以在图像中生成多个种子区域并对每个区域进行排序，使得排在上方的区域有可能是不同物体(即，与不同物体相对应)的良好分割。

在一些情况下，可以基于移动目标检测来选择目标。在这些情况下，假设可移动物体和周围环境是静止/静态的，且要跟踪的目标可以是图像中唯一的移动物体。可以通过背景减法来识别和选择目标。

在一些情况下，目标的识别可以基于特征点识别。特征点可以是与图像的其余部分和/或图像中的其他特征点唯一可区分的图像的一部分(例如，边缘、拐角、兴趣点、斑点、脊线等)。可选地，特征点可以对成像物体的变换(例如，平移、旋转、缩放)和/或图像特性(例如，亮度、曝光)的变化相对不变。可以在富含信息内容(例如，显著的2D纹理)的图像部分中检测特征点。可以在扰动(例如，当改变图像的照明和亮度时)下稳定的图像部分中检测特征点。

可以使用可以从图像数据中提取一个或多个特征点的各种算法(例如，纹理检测算法)来检测特征点。算法可以附加地做出关于特征点的各种计算。例如，算法可以计算特征点的总数，或“特征点数”。算法也可以计算特征点的分布。例如，特征点可以广泛地分布在图像(例如，图像数据)或图像的子部分内。例如，特征点可以狭窄地分布在图像(例如，图像数据)或图像的子部分内。算法也可以计算特征点的质量。在一些情况下，可以基于由本文提及的算法(例如，FAST、拐角检测器、Harris角点检测算法等)所计算的值来确定或评估特征点的质量。

算法可以是边缘检测算法、拐角检测算法、斑点检测算法或脊线检测算法。在一些实施例中，拐角检测算法可以是“基于加速分割检测特征”(FAST)。在一些实施例中，特征检测器可以使用FAST提取特征点并且进行关于特征点的计算。在一些实施例中，特征检测器可以是Canny边缘检测器、Sobel算子、Harris&Stephens/Plessy/Shi-Tomasi拐角检测算法、SUSAN拐角检测器、Level曲线曲率方法、高斯拉普拉斯算子、高斯差分，Hessian行列式、MSER、PCBR或灰度级斑点、ORB、FREAK或其合适的组合。

在一些实施例中，特征点可以包括一个或多个非显著特征。如本文所使用的，非显著特征可以指图像内的非显著区域或非显著(例如，不可识别的)物体。非显著特征可以指图像内不可能突出或吸引人类观察者的注意的元素。非显著特征的示例可以包括：当从其周围像素的情境之外观看时，对观看者来说不明显的或不可识别的单个像素或像素组。

在一些备选实施例中，特征点可以包括一个或多个显著特征。显著特征可以指图像内的显著区域或有区别的(例如，可识别的)物体。如本文所使用的，显著特征可以指图像内的显著区域或有区别的(例如，可识别的)物体。显著特征可以指图像内可能突出的或吸引人类观察者注意的元素。显著特征可能具有语义含义。显著特征可以指可以在计算机视觉处理中一致地识别的元素。显著特征可以指图像内的有生命的物体、无生命的物体、地标、标记、标志、障碍物等。可能会在不同的条件下持续地观察到显著特征。例如，可以在从不同视点获取的图像、在一天的不同时间获取的图像、在不同的照明条件下获取的图像、在不同的天气条件下获取的图像、在不同的图像采集设置下(例如，不同的增益、曝光等)获取的图像等中持续地识别显著特征。例如，显著特征可以包括人类、动物、脸部、身体、结构、建筑物、载运工具、飞机、标志等。

可以使用任何现有的显著性计算方法来识别或确定显著特征。例如，可以通过基于对比度的滤波(例如，颜色、强度、朝向、大小、运动、基于深度等)、使用谱残差方法、经由频率调谐的显著区域检测、经由用于物体估计的二值归一化梯度、使用情境感知自顶向下方法、通过现场熵率测量视觉显著性等来识别显著特征。例如，可以在通过对一个或多个图像进行基于对比度滤波(例如，颜色、强度、朝向等)而生成的显著性图中识别显著特征。显著性图可以表示具有特征对比度的区域。显著性图可以是人们会看的预测器。显著性图可以包括特征或注视的空间热图表示。例如，在显著性图中，显著区域可以具有比非显著区域更高的亮度对比度、颜色对比度、边缘内容、强度等。在一些实施例中，可以使用物体识别算法(例如，基于特征的方法、基于外观的方法等)来识别显著特征。可选地，可以将一个或多个物体或图案、物体、图形、颜色、标志、轮廓的类型等预先存储为可能的显著特征。可以分析图像以识别预先存储的显著特征(例如，物体或物体的类型)。预先存储的显著特征可以被更新。备选地，显著特征可能不需要预先存储。显著特征可以独立于预先存储的信息而被实时识别。

用户可以指定FPV中点的精度可以大约为0.01度或更小、0.05度或更小、0.1度或更小、0.5度或更小、1度或更小、2度或更小、3度或更小、5度或更小、7度或更小、10度或更小、15度或更小、20度或更小、或30度或更小。

可移动物体可以向着FPV中的所选点指示的目标行进。可以定义可移动物体的运动路径为从可移动物体的当前位置到目标位置。运动路径可以由可移动物体的当前位置与目标位置之间的矢量来表示。

当用户选择FPV中图像的一部分来指定目标时，到所选目标的运动路径可以被视觉指示或不被视觉指示在屏幕上。例如，可以在图像内提供指示到目标物体的运动路径的视觉标记。视觉标记可以是点、区域、图标、线或矢量。例如，线或矢量可以指示朝向目标的运动路径的方向。在另一示例中，线或矢量可以指示可移动物体前进的方向。

在一些实施例中，用户可以指定可移动物体处于目标模式下。当可移动物体处于目标模式下时，用户选择的图像部分可以确定可移动物体将朝其行进直到其遇到障碍物为止的目标，或者确定何时选择另一不同目标，或可移动物体何时遇到飞行限制。可移动物体可以朝着该目标物体行进，直到它遇到停止或改变标准，诸如，目标改变、飞行限制、飞行模式改变、低电力供给或障碍物等。用户可以通过从一个或多个可用模式中选择目标模式来指定可移动物体处于目标模式。

可以提供可允许用户指定FPV中的目标物体或目标方向的任何其他用户界面工具或技术。用户可以借助于用户交互外部装置(例如，手持式控制器、鼠标、操纵杆、键盘、轨迹球、触摸板、按钮、口头命令、姿势识别、姿态传感器、热传感器、触摸电容传感器或任何其他装置)来选择FPV中图像的一部分，以选择目标物体或目标方向，如本文其他地方所述。

图13示出了根据一些实施例的用于显示增强FPV的头戴式显示器(HMD)的示例。用户终端可以包括被配置为显示可移动物体1302在其中操作环境的增强FPV的头戴式显示器(HMD)1330。可移动物体可以包括多个成像装置1310-2、1310-2和1306，如本文其他地方所述。例如，成像装置1310-2和1310-2可以用于环境感测，并且成像装置1306可以用于生成环境的立体视频数据。在一些实施例中，成像装置1310-2和1310-2还可用于生成环境的立体视频数据。

可移动物体可以被配置为将立体视频数据、环境信息和/或运动信息发送到远离可移动物体的用户终端。HMD可以被配置为基于增强立体视频数据来显示环境的增强FPV。可以通过将立体视频数据与环境/运动信息融合来生成增强立体视频数据。用户可以使用用户终端或HMD来控制可移动物体和/或成像装置，如本文其他地方所述。

在一些实施例中，HMD可以包括用于将HMD安装到用户头部的头带。HMD还可以包括镜头组件1333和显示屏幕1335。显示屏幕可被划分成第一显示区域1335-1和第二显示区域，第一显示区域1335-1被配置为显示左眼图像1320-1，第二显示区域被配置为显示右眼图像1320-2。镜头组件可以包括左眼镜头1333-1和右眼镜头1333-2，左眼镜头1333-1用于为用户的左眼聚焦左眼图像，右眼镜头1333-2用于为用户的右眼聚焦右眼图像。左眼镜头和右眼镜头可以包括任何类型的光学聚焦镜头，例如凸透镜或凹透镜。当用户通过HMD中的左眼片和右眼片观看时，用户的左眼将仅看到(由左眼镜头聚焦的)左眼图像，并且用户的右眼将只看到(由右眼镜头聚焦的)右眼图像。左眼图像和右眼图像可以被立体匹配，以生成显示在HMD上的环境的三维FPV。可以以环境/运动信息增强三维FPV，如本文其他地方所述。

在一些实施例中，HMD上的传感器1337可以捕获用户的头部运动，例如绕轴旋转(例如，俯仰、横滚或偏航旋转)以及向前和向后的运动。头部运动信息可以被转换成控制信号并被发送到可移动物体，以控制可移动物体1302和/或成像装置1306的移动。成像装置1306的控制可以包括使用将成像装置耦接到可移动物体的载体1304来控制成像装置的朝向。

在一些实施例中，载体的控制可以与可移动物体的控制耦接。例如，在一些情况下，耦接可以是充分耦接，这意味着HMD的状态可以是成像装置的取景器的最终状态。可以使用可移动物体上的一个或多个处理器或者远离可移动物体的一个或多个处理器，基于可移动物体的状态、可移动物体的位置以及载体的自动补偿，来自主地确定具体实施。在其他实施例中，该耦接可以是部分耦接。例如，偏航轴可以完全由可移动物体的状态来控制。对于部分耦接，一些运动可能导致对可移动物体和/或载体中的一个的控制，而其他运动可能导致对可移动物体和/或载体中的另一个的控制。在一些实施例中，可移动物体上的成像装置可以根据用户的头部(或HMD)移动而移动。例如，当用户向上或向下倾斜他的头部(或HMD)时，成像装置可以以相应方式向上或向下俯仰。相反，当用户向左或向右旋转他的头部(或HMD)时，成像装置可以以相应方式向左或向右偏航。备选地，当用户向左或向右倾斜他的头部(或HMD)时，成像装置可以以相应方式向左或向右横滚。在上述实施例中，HMD中描绘的FPV可以动态地改变以基于用户的头部移动来反映成像装置的新视野。

HMD可以支持各种无线连接(例如，射频RF、红外、蓝牙和快速识别码等)以识别可移动物体和/或成像装置，并且在开始控制操作之前确定可移动物体和/或成像装置是否可被操纵。一旦HMD识别出可移动物体和/或成像装置，屏幕上的控制面板就可以出现在具有FPV环境的HMD上。可以以一个或多个图形元素增强FPV。图形元素可以包含环境和/或运动信息，所述环境和/或运动信息可以帮助用户从FPV导航可移动物体通过环境。

在一些实施例中，图13中的HMD可被一副支持VR或AR的眼镜代替。眼镜可以被配置为显示可移动物体在其中操作的环境的增强FPV。类似地，眼镜可以包括左眼显示器和右眼显示器，左眼显示器用于显示左眼图像，右眼显示器用于显示右眼图像。当用户正穿戴眼镜时，用户的左眼可以看到显示的左眼图像，并且用户的右眼可以看到显示的右眼图像。左眼图像和右眼图像可以用于生成环境的三维立体FPV。

在一些实施例中，支持VR或AR的眼镜可以包括用于确定用户头部的姿势信息的内置传感器(例如，惯性测量单元)。可以使用头部或颈部旋转的姿势变化或移动来控制可移动物体和/或耦接到可移动物体的一个或多个成像装置的状态。该状态可以包括例如成像装置的视野的朝向。成像装置可以经由多轴载体可操作地耦接到可移动物体。在三轴云台的情况下，用户头部在每个轴上的旋转可以与载体在相应轴上的移动相对应。在一些示例中，用户头部绕每个轴的旋转可以与每个相应轴中负载的移动相对应。这种移动可以通过载体、可移动物体或其组合的致动来实现。

在一些实施例中，支持VR或AR的眼镜上的传感器可以捕获头部移动或姿势变化，将所捕获的信息转换为控制信号，并经由无线连接将控制信号发送到可移动物体。在一些实施例中，眼镜可以包括相机。相机拍摄的图像可以实时地发送回眼镜上的显示器。在一些实施例中，眼镜上的相机可以基于物体在周围环境中的移动来确定头部移动或姿势变化。来自两个源(例如，眼镜上的传感器和相机)的信息的融合可以更准确地捕获头部移动或姿势变化。在一些实施例中，可以使用眼镜上的另一相机来捕获用户的眼睛移动，以控制可移动物体和/或成像装置的状态。

支持VR或AR的眼镜可以支持各种无线连接(例如，射频RF、红外、蓝牙和快速识别码等)以识别可移动物体和/或成像装置，并且在开始控制操作之前确定可移动物体和/或成像装置是否可被操纵。一旦眼镜已经识别出可移动物体和/或成像装置，屏幕上的控制面板就可以出现在具有环境的增强FPV的眼镜的显示器上。用户可以通过面板或增强FPV来控制可移动物体和/或成像装置。

图14示出了增强FPV中用户界面(UI)的示例，其中用户可以通过该用户界面选择目标并使可移动物体朝目标移动。图14的部分A示出了包括被配置为显示可移动物体在其中操作的环境的增强3-D FPV的头戴式显示器(HMD)1330的用户终端，与图13所示类似。

部分B示出了包括目标的环境的初始3-D FPV。3-D FPV可以包括使用可移动物体上的成像装置获得的直播流立体视频。目标位于成像装置的视野内。在一些情况下，目标可以是独立的物体。在其他情况下，目标可以被一个或多个其他物体包围或接近一个或多个其他物体。目标可以是静止的和/或能够移动的。当正在HMD上显示环境的初始3-D FPV时，可移动物体可以是静止的或移动的。

用户可以通过选择显示器中的不同点或物体来与3-D FPV进行交互。部分C示出了用户选择初始3-D FPV内的目标。用户可以选择图像的一部分来选择目标。由用户选择的图像的一部分可以是点。该点可以位于如3-D FPV所示的目标上。在一些实施例中，该点可以位于如3-D FPV所示的目标附近。当用户选择该点时，可以自动选择目标。在一些情况下，可以使用一种或多种标记方案(例如，阴影、着色、突出显示等)来标记目标，以指示已选择了该目标。在一些情况下，弹出窗口可以出现在显示器上的目标上，请求用户确认用户是否希望选择目标。在一些实施例中，可以在所选点附近生成多个边界框。每个边界框可以与不同的目标相关联。可以向用户呈现通过选择相应的边界框来选择目标的选项。在一些情况下，用户可以选择多于一个目标。在这些情况下，可移动物体可以被配置为首先飞行到较近的目标，然后飞行到较远的目标。

可以从2D图像、一个或多个立体图像或3D地图中识别目标。从3D地图识别目标可以基于从例如本文其他地方描述的3D地图和/或占据栅格获得的物体/特征的空间信息。

可以使用类别无关的分割算法来执行通过选择图像上的点来识别目标。例如，当用户选择在图像上的目标上或其附近的点时，可以从相邻或周围对象中分割出目标。可以进行分割而无需知道目标可能落入什么物体类别。在一些情况下，分割算法可以在图像中生成多个种子区域并对每个区域进行排序，使得排在上方的区域有可能是不同物体(即，与不同物体相对应)的良好分割。

在一些情况下，可以基于移动目标检测来选择目标。在这些情况下，假设可移动物体和周围环境是静止/静态的，且要跟踪的目标可以是图像中唯一的移动物体。可以通过背景减法来识别和选择目标。另外，对目标的识别也可以基于特征点识别，如本文其他地方所述。

用户可以指定点的精度可以大约为0.01度或更小、0.05度或更小、0.1度或更小、0.5度或更小、1度或更小、2度或更小、3度或更小、5度或更小、7度或更小、10度或更小、15度或更小、20度或更小、或30度或更小。

可移动物体可以向着3-D FPV中的所选点指示的目标行进。可以定义从可移动物体的当前位置到目标位置的可移动物体的运动路径。运动路径可以由可移动物体的当前位置与目标位置之间的矢量来表示。在一些实施例中，可移动物体可以被配置为当目标在环境内移动时跟踪该目标。

当用户选择3-D FPV的一部分来指定目标时，到所选目标的运动路径可以被视觉指示或不被视觉指示在显示器上。在一些情况下，可以在图像内提供指示到目标对象的运动路径的视觉标记。视觉标记可以是点、区域、图标、线或矢量。例如，线或矢量可以指示朝向目标的运动路径的方向。在另一示例中，线或矢量可以指示可移动物体前进的方向。

在一些实施例中，用户可以指定可移动物体处于目标模式下。当可移动物体处于目标模式下时，用户选择的图像部分可以确定可移动物体将朝其行进直到其遇到障碍物为止的目标，或者确定何时选择另一不同目标，或可移动物体何时遇到飞行限制。可移动物体可以朝着该目标物体行进，直到它遇到停止或改变标准，诸如，目标改变、飞行限制、飞行模式改变、低电力供给或障碍物等。用户可以通过从一个或多个可用模式中选择目标模式(诸如，定向模式)来指定可移动物体处于目标模式。可以提供可以允许用户使用用户界面来指定目标物体的任何其他用户界面工具或技术。

在一些实例中，在选择目标之后，可以在显示器中使用标记或识别方案以便指示已选择了目标。例如，图14的部分D示出了围绕3-D FPV中的所选目标的框1402。所述框可以是任何形状，例如，n边多边形，其中n可以是大于2的任何整数。在图14中，所述框是4边的多边形(四边形)。所述框可以用作对用户的视觉指示符，以区分所选择目标与相邻物体。在一些实施例中，提示窗口(未示出)可以出现在所述框中或其附近，请求用户确认所选目标是否与用户的预期目标相对应。用户可以通过在所述框上进行点击来确认所选择的目标。

图14的部分E示出了在可移动物体向所述目标移动之后所述目标的图像。例如，如3-D FPV所看到，当可移动物体向目标前进时，曾经远离的物体可以变得越来越近。在一些情况下，可移动物体可以朝向目标移动，直到其从所述目标偏移预定距离位置。预定距离可以包括水平距离分量和/或垂直距离分量。可移动物体可以保持位于距目标的预定距离处。在一些情况下，可移动物体可以保持在距所述目标的预定距离之外。可以基于目标的大小和从可移动物体到所述目标的初始距离来确定预定距离。预定距离可以是自动生成的，或可选地可由用户调节的。例如，如果用户希望将可移动物体移动到更靠近目标，则用户可以多次选择(例如，“点击”)图像中的目标以调整预定距离。可选地，对距离的调整可以取决于用户在图像中选择(例如，触摸)目标的时间长度。在一些实施例中，可以基于诸如目标大小和可移动物体距离目标的初始距离的因素来动态地计算预定距离。

用户可以通过以多个不同配置与3-D FPV中的用户界面进行交互来控制可移动物体的运动。例如，当用户选择在3-D FPV中的目标上的点时，可移动物体可以向该目标移动。可选地，当用户选择位于图像中的目标下方的点时，可移动物体可以沿其原始运动路径向后移动并远离目标。备选地，选择图像中的目标上方的点可以使可移动物体向前移动。在一些情况下，多次双击(或触摸)图像中的目标可以使可移动物体靠近目标移动。应注意，可以预期用户与用户终端/输出装置的任何形式用于控制可移动物体的运动的各种功能的交互。

在一些情况下，当用户指定目标时，可移动物体可以以固定速度或以可变速度向目标行进。可以提供标准的目标行进速度。还可以提供可变的目标行进速度。备选地，用户可以指定可移动物体可以朝向目标行进的速度和/或加速度。本文对影响可移动物体速度的任何描述也可以适用于当可移动物体向着目标移动时影响可移动物体的加速度。在一些情况下，用户可以在用户指定目标时影响速度。例如，当用户选择目标时，用户触摸目标的点击次数或触摸次数可以影响可移动物体的速度。例如，如果用户单次触摸指示目标的点，则可移动物体可以以第一速度行进，且如果用户多次触摸该点，则可移动物体可以以第二速度行进。第二速度可以大于第一速度。可移动物体行进的速度可以与对指示目标的点的触摸或选择的次数相对应。可以在可移动物体的选择次数和速度之间提供正比例关系。在一些情况下，可以在可移动物体的选择次数和速度之间提供线性关系。例如，如果用户点击该点/目标N次，则可移动物体的速度可以是X+N*Y，其中X是速度值，Y是速度倍数，且N是目标被选择/点击的次数。可以提供任何其他数学关系。用户可以进行第一次选择以获得第一速度，然后再次进行选择以使可移动物体加速。用户可以继续进行选择以保持使可移动物体加速。

在另一示例中，当用户选择目标时，与目标的选择相关联的时间长度可以影响可移动物体的速度。例如，如果用户将指示目标的点触摸第一时间段，则可移动物体可以以第一速度行进，且如果用户触摸大于第一时间段的第二时间段，则可移动物体可以以第二速度行进。第二速度可以大于第一速度。可移动物体运动的速度可以与指示目标的点的触摸或选择的长度相对应。可以在选择的长度和可移动物体的速度之间提供正比例关系。在一些情况下，可以在选择的长度和可移动物体的速度之间提供线性关系。

各种其他类型的用户交互可以影响向目标行进的可移动物体的速度。在一些示例中，滑动运动(例如，滑动速度、滑动长度、滑动次数)可以影响可移动物体的速度。在其他示例中，可以触摸不同的区域以影响可移动物体的速度。在另一示例中，可以提供用于速度控制的单独控制。例如，在可移动物体朝目标行进时，用户可以通过使用手动控制来调节速度。可以根据手动控制来实时调整速度。在另一示例中，用户可以输入期望速度的数值，或从多个预选择的选项中选择速度。

图15示出了增强FPV中用户界面(UI)的示例，其中用户可以通过该用户界面选择不同的点来选择目标并使可移动物体朝目标移动。除了以下差别，图15类似于图14。在图15中，用户可以通过触摸图像上的多个点生成包含目标的框来选择目标。部分B示出了包含目标的环境的初始3-D FPV。部分C1示出用户在初始3-D FPV内选择接近目标的第一点。部分C2示出了用户在初始3-D FPV内选择接近目标的第二点。参考部分C1和C2，当用户触摸图像上的第一点和第二点时，可以生成框1502以将目标包含在其中。所述框可以是任何形状，例如，n边多边形，其中n可以是大于2的任何整数。框1502可以是4边多边形(四边形)。当目标基本位于图像中的框内时可以选择目标。图15的部分D示出了用户可以选择目标的另一种方式。在部分D中，用户可以通过在目标周围以圆形方式触摸显示器，来在图像的目标周围绘制框。该框可以将目标包含在其中。所述框可以是任何形状，例如，n边多边形、椭圆形、不规定形状等。在部分D中，所述框可以是椭圆1504。当目标基本位于图像中的椭圆内时可以选择目标。部分E示出了可移动物体向目标移动并距目标一定距离后目标的图像。

图16示出了增强FPV中用户界面(UI)的示例，其中用户可以通过该用户界面选择目标并使可移动物体朝目标移动。3D FPV可以包括增强现实(AR)层，增强现实(AR)层包含位于3-D FPV一部分(例如，左下角)上的2D地图1684(例如，俯瞰图)。3D FPV可以包括由可移动物体上的成像装置捕获的立体图像或视频。用户可以通过触摸图像上的点1680来选择目标。在一些实施例中，可生成气球框1682以显示目标的放大视图。如气球框所示，目标可以与建筑物的一部分相对应。在一些实施例中，用户可以通过选择气球框内的一个或多个点或区域来进一步精细化目标选择。例如，用户可以点击气球框内的特定特征。备选地，用户可以绘制形状以包围气球框内的区域。另外，用户可以放大或缩小气球框内显示的视图。用户也可以在气球框内显示的视图内的任何方向上进行导航。在一些实施例中，用户可以在图像内移动气球框以显示图像的不同部分的放大视图。当用户在图像内四处移动气球框时，用户可能注意到特征或兴趣点，并选择那些特征或兴趣点作为目标。在一些实施例中，提示窗口(未示出)可以出现在所选点旁边，请求用户确认所选点是否与用户的预期目标相对应。一旦用户确认了目标，目标和可移动物体的位置可以显示在3-D FPV左下角上的2D地图1684中。2D地图可以指示环境中的可移动物体的位置1686以及环境中的一个或多个目标的位置1688。

在用户选择了目标之后，可移动物体可以朝向目标移动。例如，可移动物体可以朝气球框1682中所示的目标移动。随着可移动物体朝向目标移动，目标在3-D FPV中的图像大小可以增加。目标和可移动物体的位置也可以在2D地图1684上实时更新。例如，当可移动物体朝向目标移动时，2D地图上的可移动物体和目标之间的距离开始减小。在一些实施例中，用户可以从飞行前的气球框中(即，在操作可移动物体之前，或者当可移动物体悬停在固定点处)选择目标。备选地，在其他实施例中，用户可以在飞行期间精细化对目标的选择。在一些情况下，用户可以通过在显示的图像中(例如，从气球框中)选择不同的点来选择新的目标。当可移动物体朝向目标飞行和/或跟踪目标时，所显示的图像可以包括关于(以及围绕)原始目标的更多细节。当可移动物体朝向目标飞行和/或跟踪目标时，用户可以基于关于(以及围绕)原始目标的附加细节来精细化他的目标选择。例如，用户可以选择不同的点或选择不同的区域来精细化他的目标选择。当目标选择被精细化时，可移动物体可以稍微修改其航线并朝向精细化后的目标飞行和/或跟踪精细化后的目标。另外，当可移动物体运动时，用户可以通过将气球框移动到图像上的另一位置来选择全新的目标。当选择新的目标时，可移动物体可以改变航线并朝向新目标飞行和/或跟踪新目标。

在一些实施例中，可以使用如本文其他地方所述的任何警告方案来标记可移动物体的运动路径中的潜在障碍物。在图16中，一系列点(或线框)1690可以沿着可移动物体的运动路径，沿着建筑物的图像的边缘被叠加在3-D FPV中。一系列点(或线框)1690可以用于指示当可移动物体正在那些物体附近移动或在那些物体之上移动时潜在的碰撞风险。任何颜色或阴影方案均可用于指示碰撞风险并警告用户即将发生碰撞，如本文其他地方所述。

虽然已经参考3-D FPV描述了本发明的各种实施例，但应该理解，可以替代地或结合3-D FPV呈现其他类型的视图。例如，在一些实施例中，图16中的地图视图1684可以是3D地图而不是2D地图。3D地图可以是可变的以从各个角度观看3D环境。在一些实施例中，3D环境可以包括多个虚拟物体。虚拟物体可以是图形实心物体或图形线框。虚拟物体可以包括用户可能感兴趣的点或物体。可从3D虚拟环境中省略用户可能不太感兴趣的点或物体，以减少物体混乱并更清楚地描绘兴趣点/物体。减少的混乱使用户更容易从3D虚拟环境中选择或识别所需的兴趣点或物体。

图17示出了根据一些实施例的显示飞行限制区域的增强FPV中用户界面(UI)的示例。除了图17中的增强FPV还被配置为显示一个或多个飞行限制区域之外，图17类似于图9。环境的增强FPV1732可以显示在显示装置1730上。FPV可以包括分别位于环境中的第一物体的图像1750-1’第二图物体的图像1750-2’和第三物体的图像1750-3’。可以在增强FPV中显示多个飞行限制区域1760和1762。飞行限制区域1760可以围绕第一物体的图像1750-1’显示。飞行限制区域1762可以围绕第三物体的图像1750-3’显示。飞行限制区域可以被显示为具有任何视觉标记方案。例如，飞行限制区域可以被显示为具有任何形状(例如，规则形状或不规则形状)、大小、尺寸、颜色、以2-D或3-D形式等。

在图17的示例中，可以由UAV上的相机捕获FPV。当UAV在环境内移动时，UAV可以被配置为从环境地图检测或识别飞行限制区域。环境地图可以在UAV上生成，如本文其他地方所述。一个或多个飞行限制区域的位置可以存储在UAV上。备选地，可以从UAV外部的数据源访问关于一个或多个飞行限制区域的位置的信息。

飞行限制区域可以由机场的边界或任何其他类型的飞行限制区域来定义。飞行限制区域可以包括不允许UAV飞行的一个或多个禁飞区域(例如，在机场或机场附近)。备选地，飞行限制区域可以是UAV的一个或多个功能的操作正在被监督或者受到一个或多个飞行管制约束的区域。飞行限制区域可以有任何位置。在一些情况下，飞行限制区域位置可以是点，或者飞行限制区域的中心或位置可以由点(例如，纬度和经度坐标、可选的高度坐标)来指定。例如，飞行限制区域位置可以是机场中心的点，或者是代表机场或其他类型的飞行限制区域的点。在其他示例中，飞行限制区域位置可以包括地区或区域。该地区或区域可以具有任何形状(例如，圆形、矩形、三角形，与该位置处的一个或多个自然或人造特征相对应的形状、与一个或多个分区规则相对应的形状)或任何其他边界。飞行限制地区或飞行限制区域可以在FPV中显示为二维形状。例如，如图17所示，飞行限制区域1760可以是围绕第一物体的图像1750-3’的椭圆形状。

在一些情况下，飞行限制区域可以包括空间。飞行限制区域可以在FPV中显示为三维形状。例如，如图17所示，飞行限制区域1762可以是围绕第三物体的图像1750-1’的长方体形状。长方体可以占据空间。在一些备选实施例(未示出)中，飞行限制区域1762可以具有无定形或不规则的三维形状。该空间可以是包括纬度、经度和/或高度坐标的三维空间。三维空间可以包括长度、宽度和/或高度。飞行限制区域可以包括从地面到地面以上任何高度的空间。这可以包括从地面上的一个或多个飞行限制区域直线上升的空间。例如，对于一些纬度和经度，所有的高度都可能受到飞行限制。在一些情况下，特定区域的一些海拔高度可能受到飞行限制，而另一些则不受飞行限制。例如，对于一些纬度和经度，一些高度可能受到飞行限制，而另一些则不受飞行限制。因此，飞行限制区域可以具有任意数量的尺寸以及尺寸的测量，和/或可由这些尺寸位置、或代表该区域的空间、地区，线或点来指定。

飞行限制区域可以包括未经授权的飞行器不能飞行的一个或多个位置。这可能包括未经授权的无人机(UAV)或所有UAV。飞行限制区域可以包括禁止飞行的空域，这可以指通常由于安全问题而不允许飞机飞行的空域的地区(或体积)。禁止区域可以包含由禁止飞机飞行的地球表面区域标识的规定尺寸的空域。这些区域可以为了安全或与国家安宁相关联的其他原因而建立。这些区域可以在联邦纪事上公布，并在美国的航图上或其他不同司法管辖区的出版物上描述。飞行限制区域可以包括以下一个或多个：特殊用途空域(例如，其中可能在不参与指定操作的飞机上施加限制)，如限制空域(即，始终禁止所有飞机进入并不受到空域控制主体的清除的区域)、军事行动区域、警告区域、警戒区域、临时飞行限制(TFR)区域、国家安全区域和受控射击区域。

飞行限制区域的示例可以包括但不限于：机场、飞行走廊、军事或其他政府设施、靠近敏感人员的位置(例如在总统或其他领导人正在访问某位置时)、核地点、研究设施、私人空域、非军事区、某些司法管辖区(例如，乡镇、城市、县、州/省、国家、水域或其他自然地标)或其他类型的禁飞区。飞行限制区域可以是永久性禁飞区，也可以是禁止飞行的临时区域。在一些情况下，飞行限制区域的列表可能会更新。飞行限制区域可能因司法辖区而异。例如，一些国家可能将学校列为飞行限制区域，而另一些国家则可能不这样。

如图17所示，可以在FPV中对飞行限制区域的边界进行视觉增强。在一些实施例中，当用户正在控制UAV时，可以通过增强FPV向用户显示关于飞行限制区域的信息。这些信息用于向用户通知环境内飞行限制区域的存在，该飞行限制区域可能在UAV的飞行路径中。这些信息还可以包括关于施加于UAV上的飞行限制类型的信息。例如，如图17所示，可以在FPV中的飞行限制区域1760处或附近显示警报窗口1760-1。警报窗口可以包括向用户警告在UAV在飞行限制区域1760中时不允许UAV捕获图像的消息。例如，限制飞行区域1760可能位于禁止民用飞机捕获敏感图像数据的军事或其他政府机构。基于警报窗口1760-1提供的信息，当UAV在飞行限制区域1760中时，用户可以克制从UAV捕获图像。在一些情况下，当UAV在飞行限制区域1760中时，用户可以关闭(或可能需要关闭)UAV的图像功能捕获。

类似地，可以在FPV中的飞行限制区域1762处或附近显示警报窗口1762-1。警报窗口可以包括向用户警告不允许UAV进入飞行限制区域1762的消息。作为示例，飞行限制区域1762可能位于机场。基于警报窗口1762-1提供的信息，用户可以控制UAV避免进入飞行限制区域1762。例如，用户可以操纵UAV以避免越过区域1762的边界。

如上所述，用户可以基于经由增强FPV显示的信息来控制UAV根据由一个或多个飞行限制区域施加的规则/限制进行操作。在一些实施例中，可以半自主地或自主地操作UAV以符合由一个或多个限制飞行区域施加的规则/限制。例如，UAV(或远程终端)上的一个或多个处理器可以被配置为：当UAV正在飞行限制区域(例如，军事或其他政府机构)内飞行时，生成用于自主地断电或限制一个或多个UAV操作功能(例如，图像捕获、数据传输/接收、声音或噪声发射等)的指令。在一些情况下，一个或多个处理器可以被配置为：当用户试图以在飞行限制区域内不被允许的方式(例如，图像捕获)操作UAV时超控用户命令。

在一些实施例中，当用户试图将UAV飞入不允许未授权的飞行器进入的限制飞行区域时，UAV上(或远程终端上)的一个或多个处理器可以被配置为超控用户的命令。例如，处理器可以被配置为生成飞行控制指令，该飞行控制指令使得UAV在进入飞行限制区域之前、进入飞行限制区域时或进入飞行限制区域之后自主着陆。备选地，处理器可以被配置为修改用户输入的飞行路径，使得UAV自动地围绕(并且不进入)飞行限制区域操纵。

图18示出了根据实施例的包括载体1802和负载1804的可移动物体1800。虽然可移动物体1800被描绘为飞机，但是该描述并不旨在限制，并且可以使用任何合适类型的可移动物体，如本文前面所述。本领域技术人员将理解，本文在飞机系统的情境中描述的任何实施例可以应用于任何合适的可移动物体(例如，UAV)。在某些实例中，负载1804可以设置在可移动物体1800上，而不需要载体1802。可移动物体1800可以包括推进机构1806、感测系统1808和通信系统1810。

如前所述，推进机构1806可以包括旋翼、螺旋桨、叶片、发动机、电机、轮子、轴、磁体或喷嘴中的一个或多个。例如，如本文别处所述，推进机构1806可以是自紧式旋翼、旋翼组件或其它旋转推进单元。可移动物体可以具有一个或多个、两个或多个、三个或多个、或四个或多个推进机构。推进机构可以都是相同类型的。备选地，一个或多个推进结构可以是不同类型的推进结构。推进机构1806可以使用诸如本文别处所述的诸如支撑元件(例如，驱动轴)的任何合适的方法安装在可移动物体1800上。推进机构1806可以安装在可移动物体1800的任何合适的部分上，诸如顶部、底部、前部、后部、侧面或其合适的组合。

在一些实施例中，推进机构1806可以使可移动物体1800能够垂直地从表面起飞或垂直地降落在表面上，而不需要可移动物体1800的任何水平移动(例如，无需沿着跑道行进)。可选地，推进机构1806可以可操作地允许可移动物体1800以特定位置和/或朝向悬停在空气中。推进机构1806中的一个或多个可以独立于其它推进机构受到控制。备选地，推进机构1806可以被配置为同时受到控制。例如，可移动物体1800可以具有多个水平朝向的旋翼，其可以向可移动物体提供升力和/或推力。可以驱动多个水平朝向的旋翼以向可移动物体1800提供垂直起飞、垂直着陆和悬停能力。在一些实施例中，水平朝向旋翼中的一个或多个可沿顺时针方向旋转，而水平旋翼中的一个或多个可沿逆时针方向旋转。例如，顺时针旋翼的数量可以等于逆时针旋翼的数量。为了控制由每个旋翼产生的升力和/或推力，从而调整可移动物体1800(例如，相对于最多三个平移度和三个旋转度)的空间布置、速度和/或加速度，可以独立地改变每个水平朝向的旋翼的转速。

感测系统1008可以包括可感测可移动物体1800(例如，相对于高达三个平移度和高达三个旋转度)的空间布置、速度和/或加速度的一个或多个传感器。一个或多个传感器可以包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、近距离传感器或图像传感器。感测系统1808提供的感测数据可用于(例如，使用合适的处理单元和/或控制模块，如下所述)控制可移动物体1800的空间布置、速度和/或朝向。备选地，感测系统1808可用于提供关于可移动物体周围的环境的数据，例如天气条件、接近潜在障碍物、地理特征的位置、人造结构的位置等。

通信系统1810能够经由无线信号1816与具有通信系统1814的终端1812进行通信。通信系统1810、1814可以包括适合于无线通信的任意数量的发射机、接收机和/或收发机。所述通信可以是单向通信，使得数据只能在一个方向上传输。例如，单向通信可以仅涉及可移动物体1800向终端1812发送数据，反之亦然。可以从通信系统1810的一个或多个发射机向通信系统1814的一个或多个接收机发送数据，或者反之亦然。备选地，所述通信可以是双向通信，使得可以在可移动物体1800和终端1812之间的两个方向上发送数据。双向通信可以涉及从通信系统1810的一个或多个发射机向通信系统1814的一个或多个接收机发送数据，并且反之亦然。

在一些实施例中，终端1812可以向可移动物体1800、载体1802和负载1804中的一个或更多个提供控制数据，并且从可移动物体1800、载体1802和负载1804中的一个或更多个接收信息(例如，可移动物体、载体或负载的位置和/或运动信息；由负载感测的数据，例如由负载相机捕获的图像数据)。在某些实例中，来自终端的控制数据可以包括用于可移动物体、载体和/或负载的相对位置、移动、驱动或控制的指令。例如，控制数据(例如，通过推进机构1806的控制)可以导致可移动物体的位置和/或朝向的修改，或(例如，通过载体1802的控制)导致负载相对于可移动物体的移动。来自终端的控制数据可以导致对负载的控制，诸如对相机或其他图像捕获装置的操作的控制(例如，拍摄静止或移动的图片、放大或缩小、打开或关闭、切换成像模式、改变图像分辨率、改变焦点、改变景深、改变曝光时间、改变视角或视野)。在某些实例中，来自可移动物体、载体和/或负载的通信可以包括来自(例如，感测系统1808或负载1804的)一个或多个传感器的信息。通信可以包括来自一个或多个不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、近距离传感器或图像传感器)的感测信息。这样的信息可以涉及可移动物体、载体和/或负载的定位(例如位置，朝向)、移动或加速度。来自负载的这种信息可以包括由负载捕获的数据或负载的感测状态。由终端1812发送提供的控制数据可以被配置为控制可移动物体1800、载体1802或负载1804中的一个或多个的状态。备选地或组合地，载体1802和负载1804也可以各自包括被配置为与终端1812进行通信的通信模块，使得该终端可以独立地与可移动物体1800、载体1802和有效负载1804中的每一个进行通信并对其进行控制。

在一些实施例中，可移动物体1800可被配置为与除了终端1812之外的或者代替终端1812的另一远程通信装置。终端1812还可以被配置为与另一远程装置以及可移动物体1800进行通信。例如，可移动物体1800和/或终端1812可以与另一可移动物体或另一可移动物体的载体或负载通信。当需要时，远程装置可以是第二终端或其他计算装置(例如，计算机、膝上型电脑、平板电脑、智能电话或其他移动装置)。远程装置可以被配置为向可移动物体1800发送数据、从可移动物体1800接收数据、向终端1812发送数据，和/或从终端1812接收数据。可选地，远程装置可以与因特网或其他电信网络连接，使得从可移动物体1800和/或终端1812接收的数据可以上传到网站或服务器。

在一些实施例中，可以根据实施例提供用于控制可移动物体的系统。该系统可以与本文公开的系统、装置和方法的任何合适的实施例结合使用。该系统可以包括感测模块、处理单元、非暂时性计算机可读介质、控制模块和通信模块。

感测模块可以利用不同类型的传感器，所述传感器以不同方式收集与可移动物体有关的信息。不同类型的传感器可以感测不同类型的信号或来自不同源的信号。例如，传感器可以包括惯性传感器、GPS传感器、近距离传感器(例如，激光雷达)或视觉/图像传感器(例如，相机)。感测模块可以可操作地耦接到具有多个处理器的处理单元。在一些实施例中，感测模块可操作地耦接到被配置为将感测数据直接传输到合适的外部装置或系统的传输模块(例如，Wi-Fi图像传输模块)。例如，传输模块可以用于将由感测模块的相机捕获的图像发送到远程终端。

处理单元可以具有一个或多个处理器，诸如，可编程处理器(例如，中央处理单元(CPU))。处理单元可以可操作地耦接到非暂时性计算机可读介质。非暂时性计算机可读介质可以存储可由处理单元执行用以执行一个或多个步骤的逻辑、代码和/或程序指令。非暂时性计算机可读介质可以包括一个或多个存储器单元(例如，可移动介质或诸如SD卡或随机存取存储器(RAM)的外部存储器)。在一些实施例中，来自感测模块的数据可以被直接传送到非暂时性计算机可读介质的存储器单元中并存储在其中。非暂时性计算机可读介质的存储器单元可以存储可由处理单元执行的逻辑、代码和/或程序指令，以执行本文描述的方法的任何合适的实施例。例如，处理单元可以被配置为执行使处理单元的一个或多个处理器分析由感测模块产生的感测数据的指令。存储单元可以存储来自感测模块的感测数据，以由处理单元进行处理。在一些实施例中，非暂时性计算机可读介质的存储器单元可以用于存储由处理单元产生的处理结果。

在一些实施例中，处理单元可以可操作地耦接到被配置为控制可移动物体的状态的控制模块。例如，控制模块可以被配置为关于六个自由度控制可移动物体的推进机构，以调节可移动物体的空间部署、速度和/或加速度。备选地或组合地，控制模块可以控制载体、负载或感测模块的状态中的一个或多个。

处理单元可以可操作地耦接到被配置为向一个或多个外部装置(例如，终端、显示装置或其他遥控器)发送和/或从其接收数据的通信模块。可以使用任何合适的通信方式，例如有线通信或无线通信。例如，通信模块可以利用局域网(LAN)、广域网(WAN)、红外、无线电、WiFi、点对点(P2P)网络、电信网络、云通信等中的一个或多个。可选地，可以使用中继站，例如塔、卫星或移动站。无线通信可以是接近度相关的或接近度不相关的。在一些实施例中，通信可能需要或可能不需要视距。通信模块可以发送和/或接收以下项中的一个或多个：来自感测模块的感测数据、由处理单元产生的处理结果、预定控制数据、来自终端或遥控器的用户命令等。

可以以任何合适的配置布置系统的部件。例如，系统的一个或多个部件可以位于可移动物体、载体、负载、终端、感测系统或与上述器件中的一个或多个通信的其他外部装置上。在一些实施例中，多个处理单元和/或非暂时性计算机可读介质中的一个或多个可以位于不同的位置，例如，在可移动物体、载体、负载、终端、感测模块、与上述器件中的一个或多个通信的其他外部装置或其合适组合上，使得由该系统执行的处理和/或存储功能的任何合适方面可以发生在上述位置的一个或多个位置处。

本文所用的A和/或B包括A或B中的一个或多个以及它们的组合(例如，A和B)。将理解，虽然本文中可以使用术语“第一”、“第二”、“第三”等来描述各元件、部件、区域和/或部，但是这些元件、部件、区域和/或部不应被这些术语限制。这些术语仅用于将一个元件、部件、区域或部与另一元件、部件、区域或部加以区分。因此，下面谈论的第一元件、组分、区域或部分可以称为第二元件、组分、区域或部分，而不违反本发明的教导。

本文中所使用的术语仅仅是为了描述具体实施例的目的，而不是意在限制本发明。如本文中使用的，单数形式“一”、“一个”和“所述”意图还包括复数形式，除非上下文明确地给出相反的指示。还将理解的是，术语“包括”和/或“包含”在本说明书中使用时表示存在所陈述的特征、区域、整数、步骤、操作、元素和/或组件，但并不排除存在或添加一个或多个其他特征、区域、整数、步骤、操作、元素、组件和/或其组合。

此外，在本文中可以使用诸如“下”或“底”和“上”或“顶”的相对术语来描述一个元件与图示其它元件的关系。应当理解，除了附图中所示的朝向之外，相对术语旨在包括元件的不同朝向。例如，如果一幅图中的元件翻转，则被描述为位于其它元件的“下”侧的元件将定向在其它元件的“上”侧。因此，示例性术语“下”可以包含“下”和“上”的朝向，这取决于图的特定朝向。类似地，如果一幅图中的元件翻转，则被描述为位于其它元件的“下方”或“下侧”的元件将定向在其它元件的“上方”。因此，“下方”或“下方”的示例性术语可以包括上下朝向。

虽然本文已经示出和描述了本发明的优选实施例，但是对于本领域技术人员显而易见的是，这些实施例仅以示例的方式提供。在不脱离本发明的情况下，本领域技术人员将会想到许多变化、改变和备选方式。应当理解，在实施本发明时可以采用本文所述的本发明的实施例的各种备选方案。本文描述的实施例的许多不同组合是可能的，并且这样的组合被认为是本公开的一部分。此外，结合本文任何一个实施例讨论的所有特征可以容易地适用于本文的其它实施例。以下权利要求旨在限定本发明的范围，并且这些权利要求及其等同物的范围内的方法和结构由此被涵盖。

Claims (47)

1.一种用于生成环境的第一人称视角FPV的方法，所述方法包括：

借助于一个或多个处理器，单独地或共同地：

分析环境的立体视频数据以确定环境信息；以及

通过将所述立体视频数据和所述环境信息融合来生成环境的增强立体视频数据。

2.根据权利要求1所述的方法，其中，分析立体视频数据包括：对图像帧的立体匹配和/或深度图计算。

3.根据权利要求2所述的方法，其中，所述立体匹配包括：基于从图像帧中提取的特征点的运动特性来匹配所述特征点。

4.根据权利要求2所述的方法，其中，所述深度图计算包括：过滤深度图并将阈值应用于深度图。

5.根据权利要求4所述的方法，其中，所述阈值被应用于对深度图内具有预定大小和/或预定数量的像素的环境中的物体进行分类。

6.根据权利要求1所述的方法，其中，所述环境信息包括环境地图，其中所述环境地图包括拓扑图或度量图。

7.根据权利要求6所述的方法，其中所述度量图包括以下至少一项：点云、3D栅格地图、2D栅格地图、2.5D栅格地图或占据栅格地图。

8.根据权利要求1所述的方法，其中，所述环境信息包括：

(1)可移动物体与环境中的一个或多个物体之间的相对位置，和/或

(2)环境中两个或更多个物体之间的相对位置。

9.根据权利要求1所述的方法，其中，所述环境信息包括可移动物体距环境中的物体的距离，和/或所述可移动物体相对于所述物体的朝向。

10.根据权利要求9所述的方法，其中，所述可移动物体被配置为跟随或跟踪所述物体。

11.根据权利要求9所述的方法，其中，所述物体是位于所述可移动物体的运动路径中的障碍物，并且所述可移动物体被配置为避开所述物体。

12.根据权利要求1所述的方法，其中，将立体视频数据和环境信息融合包括：将所述环境信息合并在所述立体视频数据中。

13.根据权利要求9所述的方法，其中，所述环境的增强立体视频数据包括与所述环境信息相关联的图形元素。

14.根据权利要求13所述的方法，其中，所述图形元素叠加在显示在远离所述可移动物体的终端上的环境的FPV上。

15.根据权利要求13所述的方法，其中，所述图形元素被配置为：随着所述可移动物体相对于环境中的所述物体的位置或朝向改变而动态改变。

16.根据权利要求9所述的方法，其中，所述可移动物体是无人机。

17.根据权利要求14所述的方法，其中，所述终端包括头戴式显示器HMD。

18.根据权利要求14所述的方法，其中，所述终端包括一副支持虚拟现实VR或增强现实AR的眼镜。

19.根据权利要求14所述的方法，其中，所述终端包括安装到可折叠头盔上的移动装置，所述移动装置具有被配置为显示FPV的图形显示器。

20.根据权利要求14所述的方法，其中，所述终端允许用户从所述第一人称视角FPV控制并导航所述可移动物体。

21.根据权利要求20所述的方法，其中，所述可移动物体是无人机UAV。

22.一种用于生成环境的第一人称视角FPV的设备，所述设备包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置为：

分析环境的立体视频数据以确定环境信息；以及

将所述立体视频数据和所述环境信息融合，由此生成环境的增强立体视频流。

23.一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使计算机执行用于生成环境的第一人称视角FPV的方法，所述方法包括：

分析环境的立体视频数据以确定环境信息；以及

将所述立体视频数据和所述环境信息融合，由此生成环境的增强立体视频数据。

24.一种用于显示环境的信息的方法，所述方法包括：

在远离可移动物体的终端上，基于增强立体视频数据显示环境的第一人称视角FPV，

其中，所述增强立体视频数据是通过合并以下内容而生成的：(a)在所述环境中操作可移动物体时由可移动物体生成的立体视频数据，以及(b)环境信息。

25.根据权利要求24所述的方法，其中，所述环境信息是通过分析所述立体视频数据获得的，并且所述分析包括对图像帧的立体匹配和深度图计算。

26.根据权利要求25所述的方法，其中，所述立体匹配包括：基于从图像帧中提取的特征点的运动特性来匹配所述特征点。

27.根据权利要求25所述的方法，其中，所述深度图计算包括：过滤深度图并将阈值应用于深度图。

28.根据权利要求27所述的方法，其中，所述阈值被应用于对深度图内具有预定大小和/或预定数量的像素的环境中的物体进行分类。

29.根据权利要求24所述的方法，其中，所述环境信息包括环境地图，其中所述环境地图包括拓扑图或度量图。

30.根据权利要求29所述的方法，其中所述度量图包括以下至少一项：点云、3D栅格地图、2D栅格地图、2.5D栅格地图或占据栅格地图。

31.根据权利要求24所述的方法，其中，所述环境信息包括：(1)可移动物体与环境中的一个或多个物体之间的相对位置，和/或(2)环境中两个或更多个物体之间的相对位置。

32.根据权利要求24所述的方法，其中，所述环境信息包括所述可移动物体距环境中的物体的距离，或所述可移动物体相对于所述物体的朝向。

33.根据权利要求32所述的方法，其中，所述可移动物体被配置为跟随或跟踪所述物体。

34.根据权利要求32所述的方法，其中，所述物体是位于所述可移动物体的运动路径中的障碍物，并且所述可移动物体被配置为避开所述物体。

35.根据权利要求24所述的方法，其中，将立体视频数据和环境信息融合包括：将所述环境信息合并在所述立体视频数据中。

36.根据权利要求32所述的方法，其中，所述环境的增强立体视频数据包括与所述环境信息相关联的图形元素。

37.根据权利要求36所述的方法，其中，所述图形元素叠加在显示在终端上的环境的FPV上。

38.根据权利要求36所述的方法，其中，所述图形元素被配置为：随着所述可移动物体相对于环境中的所述物体的位置或朝向改变而动态改变。

39.根据权利要求24所述的方法，其中，所述可移动物体是无人机。

40.根据权利要求24所述的方法，其中，所述终端包括头戴式显示器HMD。

41.根据权利要求24所述的方法，其中，所述终端包括一副支持虚拟现实VR或增强现实AR的眼镜。

42.根据权利要求24所述的方法，其中，所述终端包括安装到可折叠头盔上的移动装置，所述移动装置具有被配置为显示FPV的图形显示器。

43.根据权利要求24所述的方法，其中，所述终端允许用户从所述第一人称视角FPV控制并导航所述可移动物体。

44.根据权利要求43所述的方法，其中，由用户控制并导航所述可移动物体包括：用户改变所述终端的姿势以实现所述可移动物体的相应移动。

45.一种用于显示环境的信息的设备，所述设备包括：

远离可移动物体的终端，所述终端被配置为基于增强立体视频数据显示环境的第一人称视角FPV，

其中增强立体视频流通过将以下内容融合而生成：(a)在所述环境中操作可移动物体时由可移动物体生成的立体视频数据，以及(b)环境信息。

46.一种用于显示环境的信息的设备，所述设备包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置为：

在远离可移动物体的终端上，基于增强立体视频数据显示环境的第一人称视角FPV，

其中所述增强立体视频数据通过将以下内容融合而生成：(a)在所述环境中操作可移动物体时由可移动物体生成的立体视频数据，以及(b)环境信息。

47.一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使计算机执行用于显示环境的信息的方法，所述方法包括：

在远离可移动物体的终端上，基于增强立体视频数据显示环境的第一人称视角FPV，

其中所述增强立体视频数据通过将以下内容融合而生成：(a)在所述环境中操作可移动物体时由可移动物体生成的立体视频数据，以及(b)环境信息。