CN111316066A - 用于无人飞行器的备用导航系统 - Google Patents

Abstract

描述了一种涉及操作无人飞行器(UAV)以开始飞行的方法，其中，UAV依赖于导航系统来导航到目的地。在飞行期间，该方法涉及操作相机以捕获UAV的环境的图像，并分析图像以检测环境中的特征。该方法还涉及建立在不同的图像中检测到的特征之间的相关性，以及使用来自导航系统的位置信息定位在不同的图像中检测到的特征。此外，该方法涉及生成包括被定位的特征的飞行日志。该方法还涉及检测涉及导航系统的故障，并响应性地操作相机以捕获故障后图像。该方法还涉及识别故障后图像中的一个或多个特征，并基于被识别的特征与被定位的特征之间的关系来确定UAV的位置。

Description

用于无人飞行器的备用导航系统

相关申请的交叉引用

本申请要求于2017年9月13日提交且题为“用于无人飞行器的备用导航系统(ABackup Navigation System for Unmanned Aerial Vehicles)”的美国专利申请第15/703,948号的优先权，其全部内容通过引用合并于此。

背景技术

无人飞行器(“UAV”)，也可以称为自主载具，是能够在没有物理上存在的人类操作员的情况下行进的载具。UAV可以在远程控制模式、自主模式或部分自主模式下操作。

当UAV在远程控制模式下操作时，位于远程位置的领航员或驾驶员可以通过经由无线链路发送到UAV的命令来控制UAV。当UAV在自主模式下操作时，UAV通常基于预编程的导航航路点、动态自动化系统或这些的组合进行移动。此外，一些UAV可以在远程控制模式和自主模式两者下操作，并且在某些情况下可以同时这样做。例如，作为示例，远程领航员或驾驶员可能希望在手动执行另一任务(诸如操作用于拾取对象的机械系统)时将导航交由自主系统。

存在用于各种不同环境的各种类型的UAV。例如，存在用于在空中进行操作的UAV。示例包括四旋翼和立式起落(tail-sitter)UAV等。还存在用于混合操作的UAV，在混合操作中，可以进行多环境操作。

发明内容

实际上，无人飞行器(UAV)包括可以帮助将UAV导航到期望目的地的主导航系统。然而，由于各种原因，主导航系统可能会遇到故障事件，该故障事件会使主导航系统无法操作。如果在飞行期间发生故障事件，则会发生不期望的后果，诸如UAV坠毁。因此，期望为UAV配备备用导航系统，该备用导航系统可以在发生故障事件的情况下代替主导航系统的至少一些导航功能，或者可以用于交叉检查主导航系统的完整性，以保护其免受恶意攻击或危险和误导性信息(HMI)的侵害。本文公开了一种备用导航系统，该备用导航系统可以基于在飞行前进时由UAV捕获的环境影像来生成和/或更新到目的地的UAV的飞行路径的备用地图，从而可以利用该地图为UAV提供持续的导航，以便在主导航系统发生故障的情况下可以安全地完成其任务或执行在安全着陆区(例如，基地)的着陆。

在一个方面，提供了一种方法。该方法可以涉及操作无人飞行器(UAV)以开始沿着到目的地的第一飞行路径的飞行，其中，所述UAV使用主导航系统来导航到所述目的地。该方法还可以涉及操作联接至所述UAV且具有所述UAV的环境的视场(FOV)的图像捕获设备，以在所述UAV沿着所述第一飞行路径行进时捕获第一组图像。该方法还可以涉及分析图像以定位所述环境内的视觉特征，以及生成所述第一飞行路径的本地飞行日志，所述本地飞行日志包括检测到的特征的位置信息和图像数据。此外，该方法可以涉及检测涉及所述主导航系统的故障事件，以及响应于检测到所述故障事件，使用所述图像捕获设备捕获至少一个故障后图像。再进一步，该方法可以涉及在所述至少一个故障后图像中识别所述环境内的一个或多个视觉特征；以及通过确定第一被识别的视觉特征和第一被定位的视觉特征之间的关系来确定所述UAV的当前位置。

在另一方面，提供了一种无人飞行器。该无人飞行器(UAV)可以包括主导航系统，所述主导航系统为所述UAV提供导航功能；以及备用导航系统，所述备用导航系统被配置为在检测到涉及所述主导航系统的故障事件时代替所述主导航系统的所述导航功能。具体地，该备用导航系统可以包括图像捕获设备，所述图像捕获设备被配置为捕获所述UAV的环境的图像。此外，该UAV可以包括控制器，该控制器可以被配置为：操作所述UAV以开始沿着到目的地的第一飞行路径的飞行；以及在特征定位模式下操作所述备用导航系统，在所述特征定位模式下，所述控制器：(i)使所述图像捕获设备沿着所述第一飞行路径捕获第一组图像，以及(ii)分析图像以定位所述环境内的一组视觉特征，其中，每个被定位的视觉特征与相应的地理位置关联，并且其中，被定位的所述一组特征被存储在存储器位置中。此外，该控制器可以被配置为检测涉及所述主导航系统的故障事件，以及响应于检测到所述故障事件，在UAV定位模式下操作所述备用导航系统，在所述UAV定位模式下，所述控制器：(i)使所述图像捕获设备捕获所述环境的至少一个图像，(ii)在所述至少一个图像中识别所述环境内的视觉特征，以及(iii)将被识别的视觉特征与存储在所述存储器位置中的被定位的所述一组视觉特征进行比较。

在另一方面，提供了一种方法。该方法可以包括操作无人飞行器(UAV)以开始到目的地的飞行，其中，所述UAV使用主导航系统导航到目的地。该方法还可以包括操作联接至所述UAV并具有所述UAV的环境的视场(FOV)的图像捕获设备，以在所述UAV的飞行期间捕获第一组图像；以及分析图像以识别所述环境内的视觉特征。另外，该方法可以包括通过确定被识别的视觉特征中的一个与存储在所述UAV的存储器中的地图中的被定位的视觉特征之间的关系，来确定所述UAV的当前位置。此外，该方法可以包括将所述当前位置与来自所述主导航系统的位置数据进行比较；以及响应于检测到所述当前位置与来自所述主导航系统的所述位置数据之间的差异，输出指示所述主导航系统的故障的警报。

通过适当地参考附图阅读以下详细描述，这些以及其他方面、优点和替代方案对于本领域普通技术人员将变得显而易见。此外，应当理解，在本发明内容部分和本文档其他地方提供的描述旨在通过示例而非限制的方式说明所要求保护的主题。

附图说明

图1A是根据示例实施方式的无人飞行器的简化图示。

图1B是根据示例实施方式的无人飞行器的简化图示。

图1C是根据示例实施方式的无人飞行器的简化图示。

图1D是根据示例实施方式的无人飞行器的简化图示。

图1E是根据示例实施方式的无人飞行器的简化图示。

图2是示出根据示例实施方式的UAS部署系统的简化框图。

图3是根据示例实施方式的配备有备用导航系统的无人飞行器的简化图示。

图4A是根据示例实施方式的飞行到目的地的无人飞行器的侧视图。

图4B是根据示例实施方式的由无人飞行器捕获的图像。

图4C是根据示例实施方式的飞行到目的地的无人飞行器的另一侧视图。

图4D是根据示例实施方式的由无人飞行器捕获的另一图像。

图4E是根据示例实施方式的飞行到目的地的无人飞行器的另一侧视图。

图4F是根据示例实施方式的由无人飞行器捕获的另一图像。

图5是根据示例实施方式的由无人飞行器捕获的地形的图像。

图6是示出根据示例实施方式的无人飞行器的组件的简化框图。

图7示出了根据示例实施方式的服务器的示意图。

图8示出了根据示例实施方式的示例流程图。

图9示出了根据示例实施方式的另一示例流程图。

图10示出了根据示例实施方式的另一示例流程图。

具体实施方式

本文描述了示例性方法和系统。应当理解，词语“示例性”在本文中用来表示“用作示例、实例或示意”。本文中被描述为“示例性”或“示意性”的任何实施方式或特征不必被解释为比其他实施方式或特征优选或有利。在附图中，除非上下文另外指出，否则相似的符号通常标识相似的组件。本文描述的示例实施方式并不意味着是限制性的。将容易理解的是，可以以各种不同的配置来布置、替换、组合、分离和设计本文一般地描述并在附图中示出的本公开的各方面，所有这些都在本文中被构想。

I、概述

无人飞行器(UAV)可以执行涉及飞行到一个或多个目的地的任务，例如，拾取和/或递送物品。在实践中，UAV可以包括导航系统，UAV依赖于该导航系统导航到一个或多个特定位置。该导航系统在本文中可以称为UAV的“主导航系统”。在示例实施例中，UAV的主导航系统可以依赖于来自全球定位系统(GPS)上的信号来提供导航坐标。

然而，主导航系统可能会以影响UAV保持在其飞行路径上和/或安全导航至目标位置的能力的方式发生故障或暂时无法操作。在某些情况下，故障事件可能会使系统无法操作，这可能导致灾难性事件，诸如UAV坠毁。在其他情况下，GPS可能会被欺骗攻击(spoof)，这可能会导致问题，诸如未经授权的一方对其进行控制。因此，期望为UAV配备备用导航系统，该备用导航系统可以在主导航系统变得无法操作或被欺骗攻击(例如，未经授权的一方控制GPS)的情况下代替主导航系统的至少一些导航功能。

当前的备用导航系统通常采用两类计算机视觉算法之一。第一类包括视觉里程计(VO)或视觉惯性里程计(VIO)算法，该算法能够提供相对位置估计(即，两个时间点之间的UAV位置差异的估计)。第二类包括同时定位和映射(SLAM)算法，该算法能够提供全局位置估计(即，UAV在所有时间相对于某个固定参考点(诸如UAV的出发位置)的位置的估计。但是，这两类都有缺点。具体而言，依赖于VIO的系统仅提供相对位置估计，由于增加的位置误差，其本身通常不足以进行长距离上的自主导航。此外，SLAM算法的复杂性意味着依赖于SLAM的系统通常无法提供实时位置数据，而实时位置数据是可靠的自主导航系统所必需(或至少非常需要的)。因此，示例实施例可以帮助提供更可靠的备用导航系统，其利用实时图像数据进行导航。

更具体地，示例备用导航系统可以向UAV提供实时更新，以便在主导航系统发生故障的情况下UAV可以导航到安全着陆区。在发生故障的情况下，这样的备用导航系统可以使用在发生故障之前在飞行期间生成的地图、使用由UAV捕获的实际影像(imagery)来导航UAV。具体地，在UAV飞行到目的地期间，在故障事件发生之前，备用导航系统可以在第一模式下操作，在第一模式下，系统可以获取和使用环境图像数据来生成和更新沿着UAV的飞行路径的环境的地图。然后，当发生故障事件时，备用导航系统可以转变到在第二模式下操作，在第二模式下，系统可以使用生成的地图将UAV导航回到安全着陆区。

更具体地，当UAV开始其到目的地的飞行时，备用导航系统可以开始在第一模式(也称为“特征定位模式”)下操作。请注意，当备用导航系统在特征定位模式下操作时，UAV依赖于主导航系统进行导航。此外，在特征定位模式下，备用导航系统可以在UAV到目的地的飞行期间生成和/或更新UAV的环境的地图。在实施方式中，系统可以通过检测UAV到目的地的飞行路径附近的环境的特征来生成和/或更新地图。在示例中，系统可以通过捕获环境的图像并处理该图像以检测在图像中捕获的环境的特征来检测环境的特征。为了便于捕获图像，系统可以包括图像捕获设备，该图像捕获设备被配置为在UAV的飞行期间捕获环境的图像。

然后，备用导航系统可以确定一个或多个检测到的特征的相应位置(即，定位检测到的特征)。在示例中，系统可以通过使用(由主导航系统提供的)UAV的已知位置和取向以及特征的多个观察以对特征的位置进行三角测量来定位特征。被定位的特征可用于生成UAV到目的地的飞行路径的飞行日志或地图。即，沿着飞行路径的每个检测到的特征与环境中的至少一个位置关联。在一些示例中，在特定图像中检测到的特征可以与指示特定图像被捕获的条件的一个或多个特性(诸如，一天中捕获图像的时间，捕获图像的日期，捕获图像的位置的天气以及其他特性)关联。

在实施例中，备用导航系统可以在特征定位模式下操作，直到系统检测到主导航系统无法操作为止，这时备用导航系统可以响应地转变到在第二模式下操作，该第二模式也称为“UAV定位模式。”在UAV定位模式下，备用导航系统可以负责将UAV导航到安全着陆区，诸如UAV的基地(home base)。在实施方式中，响应于主导航系统发生故障，备用导航系统可以通过使UAV沿着与UAV飞行到达其当前位置(即，主导航系统发生故障的位置)基本相同的飞行路径飞行，将UAV导航到其基地。为了沿着返回飞行路径导航，备用导航系统可以使用系统在特征定位模式下操作时生成的地图或飞行日志。

更具体地，备用导航系统可以通过捕获UAV的当前环境的图像并处理该图像以提取环境的特征来使用地图。然后，系统可以将提取的特征与作为生成的飞行路径的地图的一部分的被定位的特征进行比较。如果备用导航系统检测到提取的特征和被定位的特征之间的关系，则备用导航系统可以使用该关系和地图(即被定位的特征的已知位置)来确定UAV的当前位置。基于UAV的当前位置，备用导航系统可以确定到安全区的飞行路径的至少一部分。例如，备用导航系统可以确定到基地的飞行路径的一部分，其中，到基地的飞行路径与UAV飞行到UAV的当前位置的初始飞行路径为基本相同的飞行路径。通过确定基本上沿着初始飞行路径的返回飞行路径，备用导航系统可以使用生成的地图进行导航，因为该地图包括初始飞行路径的被定位的特征。因此，当UAV沿着返回飞行路径行进时，备用导航系统可以使用地图来识别被定位的特征，并且基于该被定位的特征，可以确定UAV的当前位置。

在某些情况下，备用导航系统可以确定继续行进到原始目的地(即继续任务)。在其他情况下，由于各种原因(例如，燃料方面的考虑)，备用导航系统可以确定使UAV飞行到不在该UVA历经的区域中的安全区。在任一种情况下，由于UAV没有历经该区域，所以UAV可能未生成该区域的地图，因此备用导航系统可能无法导航至期望的安全区。为了克服该障碍，本文还公开了汇编来自在给定的时间量内由在给定区域中操作的多个UAV捕获的图像的被定位的特征的数据库的方法。具体地，数据库的控制器可以处理图像(以及从中提取的特征)以生成给定区域的一个或多个地图。然后，任何飞行路径与给定区域重叠的UAV都将接收该一个或多个地图的副本，使得UAV的备用导航系统可以使用该地图导航到给定区域中的安全区。

在示例中，数据库的控制器可以生成给定区域的空间和时间地图。即，控制器可以生成给定区域的多于一个地图，其中，每个地图与一个或多个时间特性(诸如一天中的时间和日期)关联。时间和日期可以是用于生成地图的图像被捕获的时间和日期。然后，UAV可以使用与UAV飞行的时间和日期关联的空间和时间地图。通过使用与UAV飞行的时间和日期关联的空间和时间地图，备用导航系统更有可能检测到环境中的已知特征。

这样的备用导航系统还提供了对基于图像的导航系统的改进，因为备用导航系统可以考虑到环境的时间改变。通常，环境的视觉特征可能会根据一天中的时间、日期、天气条件、季节等而变化。通过在飞往目的地时生成定位的地图，备用导航系统可以捕获环境中处于其最近状态的视觉特征。因此，当在UAV定位模式下操作时，备用系统具有识别视觉特征的较高概率。如还在本文中解释的那样，备用导航系统可以将地图与时间特性(诸如日期或季节)关联。

除了提供备用导航之外，本文公开的备用导航系统还可以执行其他功能，诸如检查由主导航系统提供的导航的完整性或准确性。具体地，由于未检测到的故障或恶意的第三方企图破解系统(例如GPS欺骗攻击)，主导航系统的完整性可能会被破解。无论哪种情况，受破解的主导航系统都可能向飞行控制系统给出危险和误导性信息(HMI)，从而导致潜在的安全问题。在该功能的实施方式中，备用导航系统可以周期性地确定UAV的位置(例如，使用本文所述的方法)，然后可以将UAV位置与由主导航系统确定的位置进行比较。在一个示例中，如果两个位置之间的差异大于阈值，则备用导航系统可以确定主导航系统的完整性受到破解。在这样的情况下，备用导航系统也可以超驰控制(override)主导航系统，从而为UAV提供准确的导航解决方案。

II、示意性UAV

在此，术语“无人飞行器”和“UAV”是指能够在没有物理上存在的人类领航员的情况下执行某些功能的任何自主或半自主载具。

UAV可以采用各种形式。例如，UAV可以采用固定翼飞机、滑翔机、立式起落飞机、喷气飞机、管道风扇式飞机、比空气轻的飞船(诸如飞艇或可操纵气球)的形式、旋翼飞行器(诸如直升飞机或多旋翼飞机)和/或扑翼飞机以及其他可能性。此外，术语“无人机(drone)”“、无人飞行器系统”(UAVs)或“无人飞行系统”(UAS)也可以用于指代UAV。

图1A是根据示例实施方式的提供UAV的各种视图的简化图示。具体地，图1A示出了固定翼UAV 1100a的示例，除其他可能性之外，其还可以被称为飞机(airplane)、飞机(aeroplane)、双翼飞机(biplane)、滑翔机(glider)或飞机(plane)。顾名思义，固定翼UAV1100a具有固定机翼1102，其基于机翼形状和载具的向前空速产生升力。例如，两个机翼1102可具有风板(airfoil)形横截面以在UAV 1100a上产生空气动力。

如图所描绘，固定翼UAV 1100a可以包括机翼主体或机身1104。机翼主体1104可以包含例如控制电子设备(诸如惯性测量单元(IMU)和/或电子速度控制器)、电池、其他传感器和/或有效载荷以及其他可能性。示意性UAV1100a还可包括着落架(未示出)以辅助受控的起飞和着陆。在其他实施方式中，没有起落架的其他类型的UAV也是可能的。

UAV 1100a还包括定位在机翼1106(或机身)上的推进单元1106，推进单元1106可以各自包括用于推进UAV 1100a的电机、轴和螺旋桨。稳定器1108(或鳍片)还可以附接到UAV 1110a，以在飞行期间稳定UAV的偏航(左转或右转机头)。在一些实施方式中，UAV1100a还可以被配置为用作滑翔机。为此，UAV 1100a可以关闭其电机、推进单元等，并滑行一段时间。在UAV1100a中，一对旋翼支架1110在机翼1106下方延伸，并且多个旋翼1112附接到旋翼支架1110。旋翼1110可在悬停模式下使用，在悬停模式下，UAV1110a下降到递送位置，或者在递送后上升。在示例UAV 1100a中，稳定器1108显示为附接到旋翼支架1110。

在飞行期间，可以通过控制UAV 1100a的俯仰、横滚、偏航和/或高度来控制UAV1100a的运动方向和/或速度。例如，稳定器1108可以包括用于控制UAV的偏航的一个或多个方向舵(rudder)1108a，并且机翼1102可以包括用于控制UAV的俯仰的一个或多个升降舵(elevator)和/或用于控制UAV的横滚的一个或多个副翼1102a。作为另一示例，同时增加或减小所有螺旋桨的速度可分别导致UAV 1100a增加或减小其高度。

类似地，图1B显示了固定翼UAV 120的另一示例。固定翼UAV 120包括机身122、具有风板形横截面以为UAV 120提供升力126的两个机翼124、稳定飞机的偏航(左转或右转)的竖直稳定器126(或鳍片)、稳定俯仰(向上或向下倾斜)的水平稳定器128(也称为升降舵或水平尾翼)、着落架130和推进单元132，推进单元132可以包括电机、轴和螺旋桨。

图1C示出了具有处于推动器(pusher)配置的螺旋桨的UAV 140的示例。术语“推动器”是指这样的事实，与将推进单元安装在UAV的前部相比，推进单元142被安装在UAV的后部，并且向前“推动”载具。类似于针对图1A和1B提供的描述，图1C描绘了在推动器飞机中使用的常见结构，包括机身144、两个机翼146、竖直稳定器148和推进单元142，推进单元142可以包括电机、轴和螺旋桨。

图1D显示了立式起落UAV 160的示例。在所示示例中，立式起落UAV160具有固定机翼162，以提供升力并允许UAV 160水平滑动(例如，沿x轴，其位置近似垂直于图1D中所示的位置)。然而，固定机翼162还允许立式起落UAV 160自行竖直起飞和降落。

例如，在发射场，可以将立式起落UAV 160竖直定位(如图所示)，其中，其鳍片164和/或机翼162搁置在地面上并将UAV 160稳定在竖直位置。然后，可以通过操作立式起落UAV 160的螺旋桨166以产生向上的推力(例如，通常沿y轴的推力)来起飞。一旦处于合适的高度，立式起落UAV 160就可以使用其襟翼(flap)168将其自身重新定向在水平位置，使得其机身170比与y轴相比更靠近与x轴对准。水平定位时，螺旋桨166可提供向前推力，以使立式起落UAV 160能够以与一般飞机类似的方式飞行。

对所示的固定翼UAV可以有许多变化。例如，固定翼UAV可以包括更多或更少的螺旋桨，和/或可以利用一个管道风扇或多个管道风扇进行推进。此外，具有更多机翼(例如，具有四个机翼的“x-机翼”配置)、具有更少机翼、甚至没有机翼的UAV也是可能的。

如上所述，除了固定翼UAV之外或作为固定翼UAV的替代，一些实施方式可以涉及其他类型的UAV。例如，图1E示出了旋翼飞行器的示例，旋翼飞行器通常被称为多旋翼飞机180。多旋翼飞机180因为包括四个旋翼182也可以被称为四旋翼飞机。应当理解，示例实施方式可以涉及具有比多旋翼飞机180更多或更少的旋翼的旋翼飞行器。例如，直升飞机通常具有两个旋翼。具有三个或更多个旋翼的其他示例也是可能的。在本文中，术语“多旋翼飞机”是指具有多于两个旋翼的任何旋翼飞行器，并且术语“直升飞机”是指具有两个旋翼的旋翼飞行器。

更详细地参考多旋翼飞机180，四个旋翼182为多旋翼飞机180提供推进和机动性。更具体地，每个旋翼182包括附接到电机184的叶片。如此配置，旋翼182可以允许多旋翼飞机180竖直地起飞和降落、在任何方向上调遣和/或悬停。此外，叶片的俯仰可以成组和/或不同地调节，并且可以允许多旋翼飞机180控制其俯仰、横滚、偏航和/或高度。

应当理解，本文中提及“无人”飞行器或UAV可以等同地适用于自主和半自主飞行器。在自主的实施方式中，飞行器的所有功能都是自动化的；例如，响应来自各种传感器的输入和/或预定信息的预编程或经由实时计算机控制的功能。在半自主的实施方式中，飞行器的某些功能可以由人类操作员来控制，而其他功能则自主执行。此外，在一些实施方式中，UAV可以被配置为允许远程操作员接管原本可以由UAV自主控制的功能。另外，给定类型的功能可以在一个抽象级别上被远程控制，而在另一抽象级别上被自主执行。例如，远程操作员可以控制UAV的高级导航决策，诸如通过指定UAV应当从一个位置行进到另一位置(例如，从郊区的仓库到附近城市的递送地址)，而UAV的导航系统则自主地控制更细粒度的导航决策，诸如在两个位置之间采用的具体路线、用于实现路线并在导航路线时避开障碍物的具体飞行控制等。

更一般地，应当理解，本文描述的示例UAV并非旨在进行限制。示例实施方式可以涉及任何类型的无人飞行器、在任何类型的无人飞行器中实现或采用任何类型的无人飞行器的形式。

III、示意性UAV部署系统

本文公开的备用导航系统(和对应的方法)可以涉及任何种类的UAV或UAV系统、在任何种类的UAV或UAV系统内实现或用于任何种类的UAV或UAV系统，诸如被配置用于环境监视、摄影、勘测的UAV以及其他示例系统。下面描述的是示意性UAV部署系统。然而，应当理解，该系统并非旨在进行限制，并且其他系统也是可能的。

可以实现UAV部署系统以提供各种与UAV有关的服务。具体地，可以在可以与区域和/或中央控制系统通信的多个不同的发射场处提供UAV。这样的分布式UAV部署系统可以允许UAV被快速部署以在(例如，比任何单个UAV的飞行范围大得多的)大的地理区域上提供服务。例如，能够运载有效载荷的UAV可以分布在大的地理区域上的多个发射场(可能甚至遍布整个国家，甚至全世界)，以便提供各种物品到遍布地理区域的位置的按需运送。图2是示出根据示例实施方式的分布式UAV部署系统200的简化框图。

在示意性UAV部署系统200中，访问系统202可以允许与UAV 204的网络交互、控制和/或利用该网络。在一些实施方式中，访问系统202可以是允许对UAV 204进行人控的调度的计算设备。如此，控制系统可以包括或以其他方式提供用户接口，用户可以通过该用户接口访问和/或控制UAV 204。

在一些实施方式中，UAV 204的调度可以附加地或替代地经由一个或多个自动化过程来完成。例如，访问系统202可以调度UAV 204中的一个以将有效载荷运送到目标位置，并且UAV可以通过利用各种机载传感器(诸如GPS接收器和/或其他各种导航传感器)自主地导航到目标位置。

此外，访问系统202可以提供UAV的远程操作。例如，访问系统202可以允许操作员通过其用户接口来控制UAV的飞行。作为具体示例，操作员可以使用访问系统202将UAV 204调度到目标位置。然后，UAV 204可以自主地导航到目标位置的一般区域。此时，操作员可以使用访问系统202来控制UAV 204，并将UAV导航到目标位置(例如，到正在向其运送有效载荷的特定人员)。UAV的远程操作的其他示例也是可能的。

在示意性实施方式中，UAV 204可以采用各种形式。例如，每个UAV 204可以是诸如图1A-1E所示的UAV。然而，在不脱离本发明的范围的情况下，UAV部署系统200还可以利用其他类型的UAV。在一些实施方式中，所有UAV 204可以具有相同或相似的配置。然而，在其他实施方式中，UAV 204可以包括许多不同类型的UAV。例如，UAV 204可以包括多种类型的UAV，其中，每种类型的UAV针对一种或多种不同类型的有效载荷递送能力而被配置。

UAV部署系统200还可以包括可以采用各种形式的远程设备206。通常，远程设备206可以是可以通过其进行调度UAV的直接或间接请求的任何设备。(请注意，间接请求可以涉及可以通过调度UAV来进行响应的任何通信，诸如请求包裹递送)。在示例实施方式中，远程设备206可以是移动电话、平板计算机、膝上型计算机、个人计算机或任何连接网络的计算设备。此外，在某些情况下，远程设备206可以不是计算设备。作为示例，允许经由普通老式电话服务(POTS)进行通信的标准电话可以用作远程设备206。其他类型的远程设备也是可能的。

此外，远程设备206可被配置为经由一种或多种类型的通信网络208与访问系统202通信。例如，远程设备206可以通过在POTS网络、蜂窝网络和/或数据网络(诸如互联网)上进行通信而与访问系统202(或访问系统202的人类操作员)通信。也可以使用其他类型的网络。

在一些实施方式中，远程设备206可以被配置为允许用户请求将一个或多个物品递送到期望位置。例如，用户可以经由其移动电话、平板计算机或膝上型计算机请求UAV将包裹递送到家中。作为另一示例，用户可以请求到在递送时他们所处的任何位置的动态递送。为了提供这样的动态递送，UAV部署系统200可以从用户的移动电话或用户身上的任何其他设备接收位置信息(例如GPS坐标等)，以使UAV可以导航到用户的位置(如由其移动电话指示)。

在示意性布置中，中央调度系统210可以是服务器或服务器群，其被配置为从访问系统202接收调度消息请求和/或调度指令。这样的调度消息可以请求或指令中央调度系统210协调UAV到各个目标位置的部署。中央调度系统210还可以被配置为将这样的请求或指令路由到一个或多个本地调度系统212。为了提供这样的功能，中央调度系统210可以经由诸如互联网或为访问系统和自动化调度系统之间的通信而建立的专用网络的数据网络与访问系统202通信。

在所示的配置中，中央调度系统210可以被配置为协调UAV 204从多个不同的本地调度系统212的调度。如此，中央调度系统210可以跟踪哪些UAV204位于哪些本地调度系统212、哪些UAV 204当前可用于部署和/或UAV 204中的每一个被配置用于哪些服务或操作(在UAV机队包括被配置用于不同服务和/或操作的多种类型的UAV的情况下)。另外地或替代地，每个本地调度系统212可以被配置为跟踪其关联的UAV 204中的哪些当前可用于部署和/或当前处于物品运送中。

在某些情况下，当中央调度系统210从访问系统202接收与UAV相关的服务(例如，物品的运送)的请求时，中央调度系统210可以选择具体的UAV204进行调度。中央调度系统210可以相应地指令与所选择的UAV关联的本地调度系统212来调度所选择的UAV。然后，本地调度系统212可以操作其关联的部署系统214以发射所选择的UAV。在其他情况下，中央调度系统210可以将对与UAV相关的服务的请求转发到在请求支持的位置附近的本地调度系统212，并且将对特定UAV 204的选择留给本地调度系统212。

在示例配置中，本地调度系统212可以被实现为在与其控制的(一个或多个)部署系统214相同的位置的计算设备。例如，本地调度系统212可以由安装在诸如仓库的建筑物处的计算设备来实现，其中，与特定本地调度系统212关联的(一个或多个)部署系统214和(一个或多个)UAV 204也位于该建筑物处。在其他实施方式中，本地调度系统212可以在远离其关联的(一个或多个)部署系统214和(一个或多个)UAV 204的位置处实现。

UAV部署系统200的所示配置的多种变型和替代也是可能的。例如，在一些实施方式中，远程设备206的用户可以请求直接从中央调度系统210递送包裹。为此，可以在远程设备206上实现应用，该应用允许用户提供关于所请求的递送的信息，并生成和发送数据消息以请求UAV部署系统200提供递送。在这样的实施方式中，中央调度系统210可以包括自动化功能以处理由这样的应用生成的请求、评估这样的请求并且如果合适则与适当的本地调度系统212协调以部署UAV。

此外，在此归属于中央调度系统210、(一个或多个)本地调度系统212、访问系统202和/或(一个或多个)部署系统214的一些或全部功能可以组合在单个系统中、实现在更复杂的系统中和/或以各种方式在中央调度系统210、(一个或多个)本地调度系统212、访问系统202和/或(一个或多个)部署系统214之中重新分配。

此外，尽管每个本地调度系统212被示为具有两个关联的部署系统214，但是给定的本地调度系统212可以替代地具有更多或更少的关联部署系统214。类似地，尽管中央调度系统210被示为与两个本地调度系统212通信，但是中央调度系统210可以替代地与更多或更少的本地调度系统212通信。

在另一方面，部署系统214可以采用各种形式。通常，部署系统214可以采用用于物理地发射一个或多个UAV 204的系统的形式或包括用于物理地发射一个或多个UAV 204的系统。这样的发射系统可以包括提供自动化UAV发射的特征和/或允许人工辅助UAV发射的特征。此外，部署系统214可各自被配置成发射一个特定的UAV 204，或发射多个UAV 204。

部署系统214还可以被配置为提供附加功能，包括例如与诊断相关的功能，诸如验证UAV的系统功能、验证容纳在UAV内的设备(例如，有效载荷递送装置)的功能和/或维护容纳在UAV中的设备或其他物品(例如，通过监测有效载荷的状态，诸如其温度、重量等)。

在一些实施方式中，部署系统214及其对应的UAV 204(以及可能地关联的本地调度系统212)可以遍布诸如城市的区域策略性地分布。例如，部署系统214可以策略性地分布成使得每个部署系统214都接近一个或多个有效载荷拾取位置(例如，在餐馆、商店或仓库附近)。然而，取决于特定实施方式，可以以其他方式来分布部署系统214(以及可能地本地调度系统212)。作为附加示例，可以在各个位置安装允许用户经由UAV运送包裹的自助服务终端(kiosk)。这样的自助服务终端可以包括UAV发射系统，并且可以允许用户提供他们的用于装载到UAV上的包裹，并为UAV运输服务支付以及其他可能性。其他示例也是可能的。

在另一方面，UAV部署系统200可以包括或可以访问用户账户数据库216。用户账户数据库216可以包括大量用户账户的数据，并且每个用户账户与一个或多个人关联。对于给定的用户帐户，用户帐户数据库216可以包括与提供UAV相关的服务有关或在提供UAV相关的服务时有用的数据。通常，与每个用户帐户关联的用户数据可选地由关联用户提供和/或在关联用户的许可下收集。

此外，在一些实施方式中，如果有人希望从UAV部署系统200由UAV 204向其提供与UAV相关的服务，则可能需要他们向UAV部署系统200注册用户帐户。如此，用户帐户数据库216可以包括给定用户帐户的授权信息(例如，用户名和密码)和/或可以用于授权访问用户帐户的其他信息。

在一些实施方式中，某人可以将其设备中的一个或多个与其用户帐户关联，使得他们可以访问UAV部署系统200的服务。例如，当某人使用关联的移动电话(例如向访问系统202的操作员拨打电话或向调度系统发送请求与UAV相关的服务的消息)时，可以经由唯一设备标识号来识别电话，然后可以将该电话或消息归属于关联的用户帐号。其他示例也是可能的。

IV、导航系统

与以上讨论一致，UAV可以包括可以将UAV导航到目的地的主导航系统，该目的地可以以各种格式(诸如坐标)来指定。主导航系统可以使用目的地信息(例如GPS坐标)来确定如何导航到目的地。例如，主导航系统可以生成从出发位置到目的地的飞行路径，然后可以沿着该飞行路径导航UAV。

然而，如上所述，主导航系统在UAV飞行期间会遇到故障事件。故障事件可能导致重大故障或损失，诸如UAV未到达其目的地，甚至更严重的是坠毁。为了帮助避免这样的损失或故障，期望为UAV配备备用导航系统，该备用导航系统可以在主导航系统遇到故障事件的情况下代替主导航系统的至少一些导航功能。

因此，本文公开了一种备用导航系统，其可以在主导航系统发生故障的情况下为UAV提供导航功能。在示例中，备用导航系统可以使用UAV的资源来操作，并且可以在不依赖远程服务器的情况下进行操作。因此，即使故障事件影响UAV的所有通信系统，备用导航系统也可以为UAV提供导航功能。例如，响应于检测到UAV和/或主导航系统遇到故障事件，备用导航系统可以将UAV导航到安全着陆区域。在备用导航系统的实施方式中，该系统可以通过在UAV到目的地的飞行期间生成和/或更新UAV的飞行路径的地图来提供导航功能。然后，如果发生故障事件，则备用导航系统可以使用生成的地图将UAV导航到安全着陆区域。

在实施例中，备用导航系统可以通过在UAV沿着飞行路径的飞行期间捕获UAV的环境的图像来生成和/或更新UAV的飞行路径的地图。如下所述，备用导航系统可以通过使用捕获的图像和与该图像关联的位置信息(其可以从主导航系统接收)来生成和/或更新UAV的飞行路径的地图。

图3示出了根据示例性实施例的配备有备用导航系统的UAV 300。如图3所示，备用导航系统可以包括图像捕获设备304，该图像捕获设备304被配置为捕获UAV的环境的图像。在一些示例中，图像捕获设备304可以直接联接到UAV 300的主体。例如，图像捕获设备304可以可旋转地联接到UAV 300的主体，使得备用导航系统可以控制图像捕获设备304的取向。此外，图像捕获设备可以直接联接在UAV 300的主体内或直接联接到UAV 300的主体，或者可以经由安装件或其他联接机构联接到UAV 300。例如，如图3所示，图像捕获设备304可旋转地联接到安装件306，该安装件306联接到UAV 300的底表面308。

在示例中，备用导航系统可以使备用导航系统以各种取向定向。如图3所示，图像捕获设备304可以垂直于UAV 300定向。在这种布置中，图像捕获设备304可以捕获UAV 300下方的UAV 300的环境的图像。备用导航系统还可以使图像捕获设备304以其他取向定向，诸如面向前的取向。在面向前的取向中，图像捕获设备304可以捕获UAV 300前面的环境的至少一部分。

图像捕获设备304可以是被配置为捕获静态图像、视频和/或其他传感器数据的设备。例如，图像捕获设备304可以是相机(例如，CCD图像传感器)、LIDAR设备、飞行时间相机、结构化光扫描仪和/或立体相机以及其他可能性。图像捕获设备304可以被配置为以各种分辨率或不同帧频捕获图像。在一些示例中，图像捕获设备304的规格(例如，分辨率)可以取决于UAV 300的规格(例如，UAV的最大高度)。例如，被配置为在高高度飞行的UAV可以包括具有比被配置为在低高度飞行的UAV的图像捕获设备更高分辨率的图像捕获设备。

此外，在图3所示的UAV配置中，图像捕获设备304定位在UAV 300的表面308上；然而，图像捕获设备304可以定位在UAV 300的其他部分上。此外，尽管图3示出了一个图像捕获设备304，但是可以使用更多的图像捕获设备，并且每个图像捕获设备可以被配置为捕获相同的视图，或者捕获不同的视图。例如，另一图像捕获设备可以定位在UAV 300的前表面上，以捕获UAV 300前面的视图的至少一部分。

在实施例中，UAV 300可以被指派为飞行到特定目的地。为了使UAV 300飞行到该目的地，UAV 300的主导航系统可以确定从出发点(例如，UAV 300的基地)到目的地的飞行路径，其中，该飞行路径是UAV可以沿着其飞行的位置和高度的限定的路径。在示例中，主导航系统可以基于一个或多个因素，诸如时间、距离、环境考虑(例如天气)等来确定飞行路径。附加地和/或替代地，主导航系统可以确定针对一个或多个因素进行优化的飞行路径，在某些示例中，系统可以基于用户偏好来优化。例如，主导航系统可以生成到达目的地的一个或多个飞行路径，然后可以选择可以最快历经的飞行路径。

在实施例中，主导航系统可以沿着到目的地的飞行路径导航UAV 300。在一些示例中，主导航系统可以依赖于卫星或其他远程计算设备来获取UAV300的位置信息，然后系统可以使用该位置信息来确定UAV 300的飞行路径。作为示例，主导航系统可以依赖于GPS，该GPS可以为系统提供UAV的GPS坐标。然后，系统可以使用UAV的GPS坐标来确定UAV相对于飞行路径的位置，并可以在需要时调整飞行路径和/或UAV的操作(例如速度、飞行高度等)。

在UAV 300沿着飞行路径的飞行期间，只要UAV 300没有遇到故障事件，主导航系统就可以导航UAV 300。这样，当主导航系统工作时，备用导航系统不需要向UAV 300提供导航更新。尽管如此，当主导航系统正在工作和导航UAV 300时，备用导航系统仍可以进行操作。具体地，备用导航系统可以在系统可以生成和/或更新UAV 300的飞行路径的地图的模式下进行操作。在这种模式(本文中也称为“特征定位模式”)下，备用导航系统可以沿着UAV300的飞行路径检测UAV 300的环境的独特视觉特征，并可以确定该独特视觉特征的相应位置。

环境中的独特视觉特征是具有允许特征被检测的一个或多个独特特性的任何特征，该独特特性诸如结构的设计特性、特征的形状和尺寸(dimension)、美学特性(例如颜色)以及其他示例特性。请注意，检测特征不需要识别该特征的类型。而是，检测特征可以涉及将特征特性与唯一标识符关联，使得如果再次检测到特征特性，则UAV可以确定特性与之关联的特征。示例视觉特征包括结构(例如，建筑物、石油钻塔等)、空旷区域(例如，公园、停车场等)、载具、标牌(例如，广告牌、路标等)、基础设施结构(例如，交通信号灯、水塔等)、环境特征(例如，山丘、平坦地形、水体等)以及其他示例。

在实施例中，备用导航系统可以通过处理环境的捕获的图像并检测该图像中的视觉特征来检测环境中的独特视觉特征。例如，当UAV 300沿着飞行路径飞行时，备用导航系统可使图像捕获设备304周期性地捕获UAV 300的环境的图像。然后，备用导航系统可以处理捕获的图像以检测图像中的视觉特征。在示例中，在图像中捕获的环境的部分取决于UAV300的位置、图像捕获设备304的规格以及图像捕获设备304的取向。

一旦捕获到图像，备用导航系统就可以处理该图像以检测在图像中捕获的环境的部分中的独特视觉特征。如上所述，识别独特视觉特征不需要识别视觉特征的类型(例如，特定特征是建筑物)。而是，识别独特视觉特征可以涉及检测特征的可识别特性，其中，该可识别特性可以稍后用于识别该特征。这样的特性包括结构的设计特征(例如轮廓、边缘等)、特征的形状和尺寸、美学特性(例如颜色)以及其他示例特性。在示例中，备用导航系统可以使用诸如边缘检测算法(例如Canny、Harris&Stephens等)、角点检测算法(例如Shi&Tomasi、FAST等)、斑点检测算法(例如，高斯的拉普拉斯算子、高斯的差分等)的特征检测算法以及其他特征检测算法来检测特征。一旦检测到这些特征，备用导航系统就可以使用特征提取算法(诸如，尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、BRIEF(二元鲁棒独立基本特征)、定向FAST旋转BRIEF(ORB)、(快速视网膜关键点)FREAK、学习的不变特征变换(LIFT))来提取这些特征的独特可识别特性。

一旦识别出独特视觉特征，备用导航系统然后可确定视觉特征的位置。确定视觉特征的位置在本文中也称为“特征定位”。当图像被捕获时，备用导航系统可以将捕获的每个图像与该图像被捕获时UAV 300的位置关联。尽管图像捕获设备304可以从单个图像(例如，图像420)检测视觉特征，但是从二维图像准确地定位特征通常涉及使用示出相同特征的两个或更多个有利点(vantage point)的两个或更多个图像。因此，为了确定一个或多个检测到的特征的相应位置，图像捕获设备304可以捕获至少一些检测到的特征的另一图像。

如上所解释，图像捕获设备304可以在UAV 300的飞行期间周期性地捕获UAV 300的环境的图像。因此，可以在捕获图像420之后捕获检测到的特征的另一图像。在实施例中，图像捕获设备304可以通过从后续捕获的图像提取视觉特征并将提取的视觉特征与检测到的视觉特征进行比较来找到特征的另一有利点。在实施例中，将提取的视觉特征与检测到的视觉特征进行比较可以涉及灰度匹配、梯度匹配、直方图匹配以及其他特征匹配算法，诸如，蛮力匹配和基于近似最近邻的快速库(FLANN)匹配。附加地或替代地，在一些实施例中，比较可以包括各种图像配准或变形算法。

如果检测到提取的视觉特征与检测到的视觉特征之间的匹配(即，在两个或更多个不同的图像中检测到同一特征的两个有利点)，则备用导航系统可以确定特征的位置。具体地，备用导航系统可以使用与在其中检测到视觉特征的每个图像关联的位置和取向，以计算视觉特征的位置。例如，备用导航系统可以使用三角测量从与在其中检测到特征的两个或更多个图像关联的位置来确定视觉特征的位置。从在其中捕获到特征的图像计算特征的位置的其他方法也是可能的。例如，可以使用采用优化算法的方法来计算特征的位置。

然后，备用导航系统可以将被定位的特征存储在UAV 300的存储器中。具体地，备用导航系统可以存储指示被定位的特征的可识别特性的数据，诸如每个图像的包括被定位的特征的相应部分或可用于识别该特征的任何其他数据。另外，备用导航系统可以存储指示被定位的特征的位置的数据。附加地和/或替代地，备用导航系统可以存储指示捕获包括该特征的图像的条件的数据。这样的条件包括当捕获图像时UAV 300和/或图像捕获设备304的操作条件，诸如UAV 300的高度、UAV 300的位置、图像捕获设备304的取向、图像捕获设备304的分辨率以及其他操作条件。

在实施例中，备用导航系统可以使用存储的数据来生成飞行路径的视觉日志或地图。也就是说，备用导航系统可以生成地图，该地图包括在UAV 300的飞行期间被定位的特征。在生成的地图中，每个特征都可以放置在其相应的位置，因此，该地图可以表示沿着到目的地的飞行路径的环境。此外，每次备用导航系统沿着飞行路径定位了特征时，都可以更新地图。

在实施例中，备用导航系统可以在特征定位模式下操作，直到主导航系统遇到故障事件为止。也就是说，备用导航系统可以生成和/或更新飞行路径周围的环境的一个或多个地图，直到主导航系统遇到故障事件为止。在示例中，故障事件可以是影响主导航系统的功能的任何事件，诸如与向主导航系统提供位置信息的远程服务器和/或卫星的连接性丢失、主导航系统的设备(例如，接收器)发生故障以及其他故障事件。例如，当UAV 300进入卫星信号被衰减或阻挡的区域(例如，在城市中)时，主导航系统可能会丢失来自其所依赖的卫星的信号。

如上所解释，遇到这样的故障事件会使主导航系统无法操作，并且主导航系统可能无法将UAV 300导航到目的地。因此，为了避免不希望的后果，响应于UAV 300和/或主导航系统遇到故障事件，UAV 300可以确定返回安全着陆区。在示例中，安全着陆区可以是从其发射UAV 300的位置，诸如UAV300的基地。在另一示例中，安全着陆区可以位于UAV 300到目的地的飞行路径附近的区域。

在实施例中，备用导航系统可以将UAV 300导航到UAV 300从其开始其当前飞行的位置(即，出发点或发射点)。具体地，响应于检测到故障事件，备用导航系统可以从在特征定位模式下操作转变为在UAV定位模式下操作，在UAV定位模式下，系统可以确定UAV的位置并且可以将UAV导航到安全区。为了将UAV 300导航到安全区，备用导航系统可以确定UAV300的当前位置。并且基于UAV 300的当前位置，系统可以确定或更新从当发生故障事件时UAV 300所在的位置到安全区的返航飞行路径。

在实施例中，备用导航系统可以使用到目的地的飞行路径(即，初始飞行路径)的生成的地图来确定UAV 300的位置。为了使用地图，备用导航系统可以捕获UAV 300的当前环境的图像，并可以处理捕获的图像以检测环境的视觉特征。然后，备用导航系统可以将检测到的视觉特征与地图中的特征(即，当备用导航系统在特征定位模式下操作时被定位的特征)进行比较。如果备用导航系统检测到检测到的视觉特征和被定位的特征之间的关系，则系统可以确定检测到的特征的位置。

在示例中，检测到的特征和被定位的特征之间的关系可以是检测到的特征和被定位的特征是环境中的相同特征。也就是说，备用导航系统捕获到其以前定位过的特征的图像。在这样的示例中，检测到的特征具有与被定位的特征相同的位置。在另一示例中，特征之间的关系可以是特征之间的已知空间关系。例如，检测到的特征可以位于与被定位的特征(例如地标)相距已知距离处，并且通过确定被定位的特征的位置，系统可以确定检测到的特征的位置。

一旦备用导航系统确定检测到的特征的位置，则系统便可以使用该特征的位置来确定UAV 300的位置。如上所解释，在实践中，从二维图像确定位置可能需要图像中的两个已知位置，以便使用已知位置来计算未知位置。因此，在实施例中，备用导航系统可以确定捕获的图像中两个或更多个检测到的特征的相应位置，以便确定UAV 300的位置。举例来说，备用导航系统可以确定两个被识别的特征与地图中的两个相应的被定位的特征匹配，并且可以基于地图中相应的被定位的特征的位置来确定两个被识别的特征的位置。然后，系统可以使用两个被识别的特征的位置来计算UAV 300的位置。例如，系统可以使用两个已知位置来对UAV 300的位置进行三角测量。

在另一实施例中，备用导航系统可以从单个检测到的特征的位置确定UAV的位置。具体地，系统可以使用检测到的特征的位置和指示UAV的取向的信息来计算UAV的近似位置。在示例中，为了执行此计算，系统可以假定，图像捕获设备的地面以上高度(AGL)(在当前位置)等于在捕获被用于定位特征所有图像时图像捕获设备的平均AGL。给定平均AGL、UAV的当前取向以及图像捕获设备的视场，可以确定检测到的特征上方UAV应该位于其中的3D体积。

一旦备用导航系统确定了UAV 300的当前位置，该系统就可以确定到安全区的飞行路径。该飞行路径在本文中也称为返回飞行路径。在实施例中，备用导航系统可以确定与初始飞行路径相同或基本相似的返回飞行路径。与初始飞行路径基本相似的返回飞行路径是其中在整个飞行过程中至少给定的最小数量的被定位的特征在图像捕获304的FOV内的飞行路径。

在示例中，备用导航系统可以使用生成的地图来确定系统将需要检测以便导航到安全区的最小数量的被定位的特征。然后，系统可以确定返回飞行路径，以使得当UAV 300沿着返回飞行路径飞行时，该最小数量的被定位的特征在图像捕获设备304的FOV内。

在另一示例中，系统可以使用生成的地图来识别系统将需要检测以便到达安全区的被定位的特征。然后，系统可以确定返回飞行路径，以使得当UAV300沿着返回飞行路径飞行时，被定位的特征在图像捕获设备304的FOV内。通过确定与初始飞行路径相同或基本相似的这样的返回飞行路径，备用导航系统可以使用初始飞行路径的生成的地图沿着返回飞行路径导航。

图4A-4F描绘了根据示例性实施例的场景400，示出了备用导航系统的操作。在场景400中，UAV 300从出发点(例如，基地)飞行到目的地。在UAV 300开始飞行之前，UAV 300的主导航系统可以确定从出发点到目的地的飞行路径。一旦主导航系统确定了飞行路径，UAV 300就可以沿着确定的飞行路径飞行到目的地。

图4A示出了根据示例性实施例的UAV 300到目的地的飞行。具体地，UAV 300沿着由主导航系统(在UAV 300开始飞行之前)确定的飞行路径480飞行。在飞行期间，主导航系统被指派为沿着所确定的飞行路径导航UAV300。例如，如图4A所示，主导航系统已经导航UAV 300以沿着飞行路径480到达位置“A”。此外，UAV 300还没有遇到故障事件，因此主导航系统仍在工作。如此，备用导航系统不需要向UAV 300提供导航更新。

然而，如上所述，当主导航系统正在导航UAV 300时，备用导航系统可以在特征定位模式下操作。具体地，备用导航系统可以生成和/或更新UAV 300的环境的地图。例如，如图4A所示，在场景400中，飞行路径480越过城市402，其中，城市402包括结构404、406和412以及其他结构和特征。因此，在场景400中，UAV 300的环境可以是城市402。

在实施例中，备用导航系统可以通过捕获城市402的图像来检测城市402的特征。例如，当UAV 300位于位置A时，图像捕获设备304可以捕获城市402的图像。在图像中捕获的城市402的部分取决于UAV 300的位置、图像捕获设备304的规格以及图像捕获设备304的取向。如图4A所示，由于UAV300处于位置A，因此图像捕获设备304具有90度的FOV(即线408a和408b之间的区域)，并且图像捕获设备304垂直于UAV 300定向，环境的由图像捕获的部分是城市402的区域410。如图4A所示，建筑物404和412位于城市402的区域410中。

图4B示出了根据示例性实施例的区域410的图像420的表示。在这种情况下，图像捕获设备304的配置使得图像捕获设备304捕获环境(例如，城市402)的俯视图图像。因此，图像420的有利点是区域410的俯视图(即，鸟瞰视图)。由图像捕获设备304捕获的区域410的特征可以取决于图像捕获设备304的规格(例如分辨率、镜头规格等)以及在捕获图像420时UAV 300的高度。例如，图像捕获设备304可以捕获区域410的结构(例如，建筑物)、地形、水体和其他特征。如图4B所示，图像420包括空旷区域422(例如，公园或停车场)、结构422、426和428以及其他捕获的特征。为了简单起见，图像420包括诸如结构或空旷区域的大特征，但是在实践中，其他较不显著的特征(例如，树木或标牌)也可以被捕获在图像中。

一旦捕获到图像420，备用导航系统就可以处理该图像420，以检测区域410中的独特视觉特征，例如结构或空旷区域。如上所解释，识别独特视觉特征不需要识别视觉特征的类型(例如，特定特征是建筑物)。而是，识别独特视觉特征可以涉及检测特征的可识别特性，其中，该可识别特性可以稍后用于识别该特征。这样的特性包括结构的设计特征(例如轮廓、边缘等)、特征的形状和尺寸、美学特性(例如颜色)以及其他示例特性。在示例中，备用导航系统可以使用诸如边缘检测算法(例如Canny、Harris&Stephens等)、角点检测算法(例如Shi&Tomasi、高斯的拉普拉斯算子等)的特征检测算法以及其他特征检测算法来检测特征。

例如，备用导航系统可以处理图像420以检测区域410中的特征。举例来说，通过处理图像420，备用导航系统可以检测到结构424、426和428及空旷区域422，以及其他特征。然后，备用导航系统可以提取表示特征的独特可识别特性的数据(例如，特征附近的图像的图块、以特征为中心的图像的图块的直方图等)。然后，备用导航系统可以将检测到的特征存储在UAV300的存储器中。

如上所解释，特征的多于一个的有利点可用于计算特征的位置。因此，图像捕获设备304可以捕获城市402的另一图像以定位城市402中的一个或多个视觉特征。如上所解释，图像捕获设备304可以被配置为周期性地捕获UAV 300的环境的图像。因此，备用导航系统可以将在第一图像中捕获的特征与在后续图像中捕获的特征进行比较，以找到在第一图像中捕获的特征的其他有利点。如果备用导航系统在后续图像中检测到特征的另一有利点，则系统可以使用来自第一图像的有利点和来自后续图像的有利点来确定特征的位置。

图4C描绘了沿着UAV 300的飞行路径480在位置“B”的UAV 300。在位置B，图像捕获设备304可以捕获城市402的图像。如图4C所示，图像捕获设备304可以捕获当UAV 300在位置B时在图像捕获设备304的FOV内的区域430的图像。备用导航系统可以处理图像432以提取位于区域430中的特征。然后，系统可以将提取的特征与在图像420中检测到的特征进行比较，以确定图像432是否包括在图像420中检测到的特征的另一有利点。

图4D描绘了根据示例性实施例的区域430的图像432。类似于图4B的图像420，图像432捕获位于区域430中的结构和空旷区域。如图4D所示，图像432包括建筑物(诸如建筑物438和436)、停车场(诸如停车场440)，以及其他特征，诸如喷泉434。此外，备用导航系统可以处理图像432以识别区域430的独特视觉特征。例如，对图像进行处理可以识别特征436、438和442。如图4D所示，检测到的特征由虚线标记。然后，备用导航系统可以将图像420中检测到的一个或多个视觉特征与图像432中检测到的一个或多个视觉特征进行比较。作为示例，通过执行比较，备用导航系统可以检测到图像420中的特征426和图像432中的特征438彼此对应。也就是说，特征426和特征438都指示相同的建筑物，建筑物412。如图4A和4C所示，当UAV 300在位置A和当UAV 300在位置B时，建筑物412都在图像捕获设备304的FOV中。因此，可以在位置A和位置B两者处摄取的图像中捕获建筑物412。

然后，备用导航系统可以使用建筑物412的两个有利点来确定建筑物412的位置。在实施例中，备用导航系统可以使用与图像420和432关联的相应位置信息来确定建筑物412的位置。在示例中，可以使用三角测量确定建筑物412的位置。此外，可以使用多于两个的图像来确定图像中检测到的特征的位置。

然后，备用导航系统可以将被定位的特征存储在UAV 300的存储器中。另外，备用导航系统可以定位位于两个图像420、432中的其他特征。备用导航系统还可以捕获城市402的其他图像，并定位城市402的其他特征。然后，备用导航系统可以使用被定位的特征来生成和/或更新飞行路径480的地图。例如，地图可以包括已被定位的建筑物412。地图可以指示城市402中建筑物412的位置，并且还可以指示建筑物412的可用于识别建筑物412的独特特性。

如上所解释，备用导航系统可以在特征定位模式下操作，直到UAV 300检测到可能影响主导航系统的可操作性的故障事件为止。响应于检测到故障事件，备用导航系统可以从在特征定位模式下操作转变为在UAV定位模式下操作。

图4E示出了根据示例实施例的已经遇到故障事件的UAV 300。具体地，在沿着飞行路径的位置C，主导航系统遇到故障事件。并且响应于检测到故障事件，备用导航系统可以从在特征定位模式下操作转变为在UAV定位模式下操作。如上所解释，在UAV定位模式下，备用导航系统可以将UAV 300导航到安全着陆区。在场景400中，备用导航系统可以确定将UAV300从位置C导航并回到出发点。

在实施例中，备用导航系统可以使用飞行路径480的地图来确定UAV300的当前位置。具体地，备用导航系统可以使图像捕获设备304捕获UAV300在位置C的环境的图像。如图4E所示，当UAV 300在位置C时，城市402的区域450在图像捕获设备304的FOV内。

图4F示出了根据示例实施例的区域450的图像452。在示例中，备用导航系统可以处理图像452以便识别位于区域450中的视觉特征。如图4F所示，对图像452进行处理可以检测到特征454、456和458以及其他特征。然后，备用导航系统可以将检测到的特征与被定位的特征进行比较，以便检测检测到的特征与被定位的特征之间的关系。例如，备用导航系统可以将特征454、456和458与图4B中的被定位的特征424、426和428以及与图4D中的被定位的特征434、436、438、440和442进行比较。

在示例中，备用导航系统可以确定图4F中的特征454和456分别是图4D的特征438和436。因此，备用导航系统可以确定特征454和456的位置，因为备用导航系统当在特征定位模式下操作时先前已经计算了它们的位置。然后，备用导航系统可以基于特征454和456的位置来计算UAV 300的当前位置。例如，备用导航系统可以使用三角测量来计算UAV 300的位置。

一旦备用导航系统确定UAV 300的当前位置，备用导航系统就可以确定回到安全区的飞行路径的至少一部分。例如，如图4E所示，备用导航系统可以确定返回飞行路径482的一部分。然后，一旦备用导航系统检测到检测到的视觉特征与被定位的特征之间的另一关系，系统就可以确定返回飞行路径的另一部分。

图4A-4F中描绘的示例场景400以及本文所附的描述仅是出于示意性目的，并且不应被认为是限制性的。在实施方式中，图像捕获设备304可以具有不同的取向。例如，如果UAV 300在较低的高度飞行(例如，在城市402的建筑物附近)，则图像捕获设备304的取向可以是面向前，以捕获城市402中的结构的图像。然后，备用导航系统可以通过检测特征的特性来检测城市402中的特征。举例来说，备用导航系统可以将建筑物404的尖顶414检测为建筑物404的特性。图像捕获设备304的其他示例取向也是可能的。如此，UAV 300的环境的其他示例有利点也是可能的。

在另一实施方式中，UAV 300可以在开始至目的地的飞行之前预加载地图。例如，地图可以是飞行路径的环境，其中，该地图包括位于飞行路径的环境中的地标的位置和/或图像数据。在飞行期间在特征定位模式下操作的备用导航系统可以使用飞行期间检测到的环境的附加特征更新地图。此外，当备用导航系统在UAV定位模式下操作时，UAV可以使用该地图确定UAV的位置。在示例中，UAV 300可以从本地和/或远程服务器获取地图。在另一示例中，调度系统可以与飞行到目的地的指令一起向UAV 300提供地图。

在实施例中，预加载的地图可以是空间和时间地图。即，除了与区域关联之外，地图还可以与时间和/或日期关联。这样的地图也可以称为“时空”地图。例如，时间和/或日期可以是UAV 300至目的地的飞行的时间和/或日期。作为示例，UAV 300或调度系统可以确定UAV 300的目的地的时间特性，并且可以选择其时间关联包含UAV 300的飞行的时间特性的地图。在示例中，该地图可以与时间范围(例如，时间和/或日期范围)关联，并且如果飞行落在该时间范围内，则可以选择该地图。这很有用，因为识别环境的特性可能会取决于一天中的时间或日期而改变。例如，某些特征可能在晚上不可见，而其他特征可能在冬季期间不可见(例如，由于降雪或其他环境条件)。动态特征的其他示例包括阴影(其取决于时间和日期)和自然特征的颜色(其可能取决于季节)。

在另一实施方式中，备用导航系统可以检测城市以外的环境中的特征。这样的环境可以是室内(例如仓库)或室外环境。在一些示例中，UAV 300在其飞行期间可以遇到多于一个环境。例如，飞行的一部分可以在城市之上，而另一部分可以在农村区域之上。

图5示出了根据示例性实施例的具有丘陵或山区地形的区域502的图像500。在示例中，图像500被在去往目的地的路线上飞越区域502的UAV的图像捕获设备捕获。在示例中，UAV的备用导航系统可以处理图像500以检测区域502的特征。例如，备用导航系统可以检测区域502的特征504和506。如图5所示，特征504、506可以是具有独特特性的地形的特征。例如，丘陵地形特征的特性可以是斜坡、山脊、山谷、山丘、洼地、凹形山口、悬崖等其他特性。还如图5所示，备用导航系统可以用包含该特征的虚线标记检测到的特征504、506。然后，备用导航系统可以确定特征504、506的独特特性，并且可以使用独特特性来生成和/或更新区域502的地图。类似地，备用导航系统可以检测水体508，并且可以将水体508的位置存储在UAV的存储器中。检测到的特征的其他示例也是可能的。

V、地图数据库

本文还公开了一种可以生成和/或更新可以被UAV用于导航的地图和/或特征的数据库的系统。在实施例中，该系统可以包括多个UAV，该多个UAV可以被部署为执行涉及飞行到目的地的任务。该系统还可以包括服务器，该服务器可以负责基于来自多个UAV的数据来生成和/或更新地图。在一些示例中，服务器可以负责协调多个UAV的飞行。

在实施例中，多个UAV可以彼此和/或与服务器共享它们的本地“特征数据库”(即，本地飞行日志和地图的数据库)。当从另一UAV接收数据库时，UAV或服务器可以使用备用导航系统在UAV定位模式下操作时使用的相同特征匹配技术，将接收的数据库合并到它们相应的本地数据库中。在示例中，服务器可以使用从多个UAV接收的数据库来生成通常在其中部署UAV的区域的全局地图。随后，UAV在被部署以执行任务之前，可以将全局地图预加载到UAV的存储器中。如上所解释，备用导航系统可以使用预加载的全局地图在主导航系统发生故障时代替UAV的导航功能和/或检查主导航系统是否正常工作。

在实施例中，服务器可以生成和/或更新环境的时空地图。时空地图与时间和/或环境数据关联。具体地，时间和/或环境数据可以指示在捕获用于生成地图的图像时的时间数据和/或环境数据。时间数据可以包括图像被捕获的时间和/或日期。例如，地图可以与时间和/或日期范围关联。时间范围可以是几秒、几分钟或几小时。并且日期范围可以是几天、几周、几个月或几年。至于环境数据，这样的数据可以指示当捕获环境的图像时的气象条件，诸如环境的天气。

在实施例中，基于UAV的飞行路径，服务器可以预加载与飞行路径关联的地图。具体地，地图可以与飞行路径将要历经的区域以及(i)飞行路径的时间数据(例如，飞行在一天中的时间、飞行的日期)和(ii)飞行的环境数据(例如，飞行路径将历经的区域的天气条件)中的至少一个关联。

在一些示例中，UAV可以与其他UAV或服务器共享它们在其飞行期间捕获的图像。捕获的图像可以包括指示地理位置数据和指示在捕获图像时UAV和/或图像捕获设备的状态的数据的元数据。例如，元数据可以包括指示当捕获图像时图像捕获设备的取向的数据。

在另一实施例中，当多个UAV中的一个UAV的备用导航系统从在特征定位模式下操作转变为在UAV定位模式下操作时，服务器可以向该UAV发送UAV位于其中的区域的地图。在示例中，发送到UAV的地图还可以取决于与UAV的飞行关联的时间数据和/或环境数据。

这样的系统可以允许出于各种原因(例如，燃料方面的考虑)而需要降落在UAV尚未为其生成本地飞行日志或地图的区域(即，UAV未历经该区域)中的安全区的UAV导航到该安全区。该系统还可以允许UAV历经UAV先前未历经的新区域。

IV、示意性UAV组件

图6是示出根据示例实施方式的UAV 600的组件的简化框图。UAV 600可以采用参照图1A-1E描述的UAV 100、120、140、160和180之一的形式或形式与之类似。

UAV 600可以包括各种类型的传感器，并且可以包括被配置为提供本文描述的功能的计算设备。在所示实施方式中，除了其他可能的传感器和感测系统之外，UAV 600的传感器包括惯性测量单元(IMU)602、(一个或多个)超声传感器604和导航系统606。在所示实施方式中，UAV 600还包括一个或多个处理器608。处理器608可以是通用处理器或专用处理器(例如，数字信号处理器、专用集成电路等)。一个或多个处理器608可以被配置为执行计算机可读程序指令612，该计算机可读程序指令612被存储在数据存储装置610中并且可执行以提供本文描述的UAV的功能。

数据存储装置610可以包括至少一个处理器608可以读取或访问的一个或多个计算机可读存储介质或采用至少一个处理器608可以读取或访问的一个或多个计算机可读存储介质的形式。一个或多个计算机可读存储介质可以包括易失性和/或非易失性存储组件，诸如光学、磁性、有机或其他存储器或盘存储装置，其可以与一个或多个处理器608中的至少一个全部或部分集成。在一些实施方式中，可以使用单个物理设备(例如，一个光学、磁性、有机或其他存储器或盘存储单元)来实现数据存储装置610，而在其他实施方式中，可以使用两个或更多个物理设备来实现数据存储装置610。

如所指出的，数据存储装置610可以包括计算机可读程序指令612以及可能的附加数据，诸如UAV 600的诊断数据。如此，数据存储装置610可以包括程序指令612以执行或促进本文所述的一些或所有的UAV功能。例如，在所示实施方式中，程序指令612包括导航模块614。

A.传感器

在示意性实施方式中，IMU 602可包括加速度计和陀螺仪两者，其可一起用于确定UAV 600的取向。具体地，加速度计可测量载具相对于地球的取向，而陀螺仪测量绕轴旋转的速率。IMU以低成本、低功耗的封装在市场上有售。例如，IMU 602可以包括小型化微机电系统(MEMS)或纳米机电系统(NEMS)或采用其形式。也可以使用其他类型的IMU。

除了加速度计和陀螺仪之外，IMU 602还可以包括其他传感器，其可以帮助更好地确定位置和/或帮助增加UAV 600的自主性。这样的传感器的两个示例是磁力计和压力传感器。在一些实施方式中，UAV可包括低功率数字3轴磁力计，其可用于实现与取向无关的电子罗盘，以获取准确的航向信息。但是，也可以使用其他类型的磁力计。其他示例也是可能的。此外，请注意，UAV可以将上述惯性传感器中的一些或全部包括为与IMU分离的组件。

UAV 600还可包括压力传感器或气压计，其可用于确定UAV 600的高度。替代地，其他传感器(诸如声波高度计或雷达高度计)可用于提供高度的指示，这可能有助于提高IMU的准确性和/或防止IMU的漂移。

在另一方面，UAV 600可以包括允许UAV感测环境中的对象的一个或多个传感器。例如，在所示实施方式中，UAV 600包括(一个或多个)超声传感器604。(一个或多个)超声传感器604可以通过产生声波并确定波的发射与接收来自对象的对应回波之间的时间间隔来确定到对象的距离。用于UAV的超声传感器或IMU的典型应用是低水平高度控制和避障。超声传感器还可用于需要悬停在一定高度或需要能够检测障碍物的载具。其他系统可用于确定、感测附近对象的存在和/或确定到附近对象的距离，诸如光检测和测距(LIDAR)系统、激光检测和测距(LADAR)系统和/或红外或前视红外(FLIR)系统以及其他可能性。

在一些实施方式中，UAV 600还可以包括一个或多个成像系统。例如，UAV 600可以使用一个或多个静态和/或视频相机以从UAV的环境捕获图像数据。作为具体示例，电荷耦合器件(CCD)相机或互补金属氧化物半导体(CMOS)相机可与UAV一起使用。这样的(一个或多个)成像传感器具有多种可能的应用，诸如避障、定位技术、用于更准确的导航的地面跟踪(例如，通过对图像应用光流技术)、视频反馈和/或图像识别和处理以及其他可能性。

UAV 600还可以包括导航系统606。导航系统606可以被配置为向UAV600提供导航功能。例如，导航系统606可以是GPS接收器，其可以被配置为提供周知的GPS系统典型的数据，诸如UAV 600的GPS坐标。这样的GPS数据可以由UAV 600用于各种功能。如此，UAV可以使用其GPS接收器来帮助导航到目的地，该目的地至少部分地由该目的地的GPS坐标指示。其他示例也是可能的。

A.导航和位置确定

导航系统606可以包括主导航系统和备用导航系统的设备(例如，接收器、传感器等)。例如，在主导航系统是依赖于GPS的系统的情况下，导航系统606可以包括GPS接收器，该GPS接收器被配置为从GPS卫星接收坐标。附加地和/或替代地，导航系统606可以包括图像捕获设备，该图像捕获设备可以被配置为捕获UAV 600的飞行路径附近的UAV 600的环境的图像。

此外，导航模块614可以利用导航系统606的设备来向UAV 600提供导航功能(例如，允许UAV 600在其环境周围移动并到达期望位置)。为了导航UAV 600，导航模块614可以通过控制影响飞行的UAV 600的机械特征(例如，其(一个或多个)方向舵、(一个或多个)升降舵、(一个或多个)副翼和/或其(一个或多个)螺旋桨的速度)来控制飞行高度和/或方向。并且为了将UAV 600导航到目标位置，导航模块614可以实现各种导航技术，诸如，基于地图的导航。例如，结合从导航系统606的主导航系统接收的坐标数据，UAV 600可以使用其环境的地图，然后可以将其用于导航到地图上的特定位置。

在一些实施方式中，导航模块614可以使用依赖于航路点的技术来导航。具体地，航路点是标识物理空间中的点的一组坐标。例如，空中导航航路点可以由一定的纬度、经度和高度限定。因此，导航模块614可以使UAV 600从一个航路点移动到一个航路点，以便最终行进到最终目的地(例如，航路点序列中的最终航路点)。

在另一方面，可以将导航模块614和/或UAV 600的其他组件和系统配置为进行“定位”，以更精确地导航到目标位置的场景。更具体地，在某些情况下，可取的可能是使UAV600处于目标位置(在该目标位置处，UAV 600正在递送有效载荷628)的阈值距离之内(例如，在目标目的地的几英尺之内)。为此，UAV 600可以使用两层方法，在该方法中，其使用较大致的位置确定技术导航到与目标位置关联的大致区域，然后使用更精细的位置确定技术以识别和/或导航到大致区域内的目标位置。

例如，UAV 600可以使用航路点和/或基于地图的导航而导航到正在递送有效载荷628的目标目的地的大致区域，然后，UAV 600可以切换到在其中UAS 600使用定位过程来定位并行进到更具体的位置的模式。例如，如果UAV600要将有效载荷递送到用户的家中，则UAV 600可能需要基本靠近目标位置，以避免将有效载荷递送到不希望的区域(例如，到屋顶上、到池中或到邻居的地产上等)。但是，GPS信号可能仅使UAV 600到此(例如，在用户家的街区内)。然后可以使用更精确的位置确定技术来找到具体的目标位置。

一旦UAV 600已经导航到目标递送位置的大致区域，各种类型的位置确定技术就可以用于完成目标递送位置的定位。例如，UAV 600可以配备有一个或多个感测系统，诸如例如超声传感器604、红外传感器(未示出)和/或其他传感器，其可以提供导航模块614用来自主或半自主地导航到具体目标位置的输入。

作为另一示例，一旦UAV 600到达目标递送位置的(或，诸如人或他们的移动设备之类的移动对象的)大致区域，则UAV 600可以切换到在其中远程操作员至少部分地对其进行控制的“电传飞行(fly-by-wire)”模式，该远程操作员可以将UAV 600导航到具体目标位置。为此，可以将来自UAV 600的感测数据发送到远程操作员，以帮助他们将UAV 600导航到具体位置。

作为又一示例，UAV 600可以包括能够向过路人发信号以帮助到达具体目标递送位置的模块。例如，UAV 600可以在图形显示器中显示请求这样的帮助的视觉消息，其中，该视觉消息可能指示具体的目标递送位置，以及其他可能性。在另一示例中，UAV 600可以通过扬声器播放音频消息或音调以指示需要这样的帮助，其中，该音频消息或音调可能指示具体的目标递送位置，以及其他可能性。在实践中，这样的特征在UAV无法使用感测功能或另一位置确定技术到达具体目标位置的场景下可能是有用的。但是，此特征不限于这样的场景。

在一些实施方式中，一旦UAV 600到达目标递送位置的大致区域，则UAV 600可以利用来自用户的远程设备(例如，用户的移动电话)的信标来定位远程设备、人或位置。这样的信标可以采用各种形式。作为示例，考虑这样的场景，其中，远程设备(诸如请求UAV递送的人的移动电话)能够发出定向信号(例如，经由RF信号、光信号和/或音频信号)。在这种场景下，UAV 600可以被配置为通过“溯源”这样的定向信号进行导航——换句话说，通过确定哪里信号最强并相应地进行导航。作为另一示例，移动设备可以发射人类范围内或人类范围外的频率，并且UAV 600可以收听该频率并相应地导航。作为相关示例，如果UAV 600正在收听口头命令，则UAV 600可以利用口头陈述，诸如“我在这里！”以溯源请求递送有效载荷的人的具体位置。

在替代布置中，可以在远程计算设备处实现导航模块，该远程计算设备与UAV 600无线通信。远程计算设备可以从UAV 600接收允许远程计算设备评估UAV 600所经历的环境条件的指示UAV 600的操作状态的数据、传感器数据和/或UAV 600的位置信息。被提供这样的信息时，远程计算设备可以确定UAV 600应当进行的高度和/或方向调整和/或可以确定UAV 600应当如何调整其机械特征(例如，其(一个或多个)方向舵、(一个或多个)升降舵、(一个或多个)副翼和/或其(一个或多个)螺旋桨的速度)以实现这样的移动。然后，远程计算设备可以将这样的调整传送给UAV 600，以使其可以以确定的方式移动。

B.通信系统

在另一方面，UAV 600可以包括一个或多个通信系统618。在一些示例中，UAV 600不包括通信系统618。在其他示例中，如果由于某些原因通信系统618变得不可操作，则UAV600可以在没有通信系统618的情况下工作。在示例中，通信系统618可以包括一个或多个无线接口和/或一个或多个有线接口，其允许UAV 600经由一个或多个网络进行通信。这样的无线接口可提供一种或多种无线通信协议(诸如蓝牙、WiFi(例如，IEEE 902.11协议)、长期演进(LTE)、WiMAX(例如，IEEE 902.16标准)、射频ID(RFID)协议、近场通信(NFC))和/或其他无线通信协议下的通信。这样的有线接口可以包括以太网接口、通用串行总线(USB)接口或类似的接口，以经由电线、双绞线对、同轴电缆、光链路、光纤链路或到有线网络的其他物理连接。

在一些实施方式中，UAV 600可以包括允许短程通信和远程通信两者的通信系统618。例如，UAV 600可以被配置用于使用蓝牙进行短程通信以及在CDMA协议下进行远程通信。在这样的实施方式中，UAV 600可以被配置为用作“热点”；或换句话说，作为远程支持设备和一个或多个数据网络(诸如蜂窝网络和/或互联网)之间的网关或代理。如此被配置时，UAV 600可以促进原本远程支持设备将无法独自执行的数据通信。

例如，UAV 600可以提供到远程设备的WiFi连接，并且用作UAV可以到蜂窝服务提供商的数据网络的代理或网关，在例如LTE或3G协议下UAV可以连接到该数据网络。UAV 600还可以用作到远程设备原本可能无法访问的高空气球网络、卫星网络或这些网络的组合等的代理或网关。

C.电力系统

在另一方面，UAV 600可以包括(一个或多个)电力系统620。电力系统620可以包括用于向UAV 600提供电力的一个或多个电池。在一个示例中，一个或多个电池可以是可充电的并且每个电池可以经由电池和电源之间的有线连接和/或经由无线充电系统(诸如，将外部时变磁场施加到内部电池的感应充电系统)而被再充电。

VI、示例服务器

图7示出了根据示例实现方式的服务器700的示意图。服务器700包括一个或多个处理器702和数据存储装置704，诸如非暂时性计算机可读介质。另外，数据存储装置704被示为存储程序指令706，其可以由(一个或多个)处理器702执行。此外，服务器700还包括通信接口708。请注意，服务器700的各种组件可以以任何方式布置和连接。

此外，对(一个或多个)处理器702、数据存储装置704和通信接口708的以上描述可以适用于与在另一系统或布置中使用的相应组件有关的任何讨论。例如，如所指出的，图7示出了被结合在另一种布置中的处理器、数据存储装置和通信接口。因此，所讨论的这些组件可以具有以上与图7关联地讨论的相应组件相同或相似的特性(和/或形式)。但是，所讨论的组件也可以具有其他特性(和/或形式)而不脱离本公开的范围。

在实践中，服务器可以是为其他程序和/或设备(例如，上述任何设备)提供功能的任何程序和/或设备，该其他程序和/或设备可以称为“客户端”。通常，该布置可以被称为客户端-服务器模型。通过这种布置，服务器可以提供各种服务，诸如与客户端的数据和/或资源共享和/或为客户端执行计算等。此外，单个服务器可以为一个或多个客户端提供服务，并且单个客户端可以从一个或多个服务器接收服务。如此，服务器可以采用各种形式(当前已知或将来开发的各种形式)，诸如数据库服务器、文件服务器、web服务器和/或应用服务器以及其他可能性。

通常，客户端和服务器可以以各种方式彼此交互。具体地，客户端可以向服务器发送请求或指令等。基于该请求或指令，服务器可以执行一个或多个操作，然后可以以结果或以确认等对客户端进行响应。在某些情况下，服务器可以向客户端发送请求或指令等。基于该请求或指令，客户端可以执行一个或多个操作，然后可以以结果或以确认等对服务器进行响应。在任一种情况下，客户端和服务器之间的这样的通信可以经由有线连接或经由无线连接(诸如经由网络)发生。

VII、示意性方法

图8是根据示例实施例的方法800的流程图。方法800可以由UAV(诸如图6所示的UAV 600)执行。具体地，UAV 600或其控制器可以执行软件以执行方法800。附加地和/或替代地，方法800可以由调度系统(诸如图2的本地调度系统212或中央调度系统210)执行。

方法800可以在框802开始，其中，方法800涉及操作无人飞行器(UAV)以开始沿着到目的地的第一飞行路径的飞行，其中，UAV使用主导航系统来导航到目的地，诸如以上至少在图4A-4F和图6的上下文中所讨论。例如，UAV可以是图1A-1E、3和4A-4F中所示的任何UAV。如本文其他地方所讨论的，主导航系统可以是依赖于GPS的系统，因此，该系统可以包括GPS接收器。

如框804所示，方法800还涉及操作与UAV联接并且具有UAV的环境的视场(FOV)的图像捕获设备以在UAV沿着第一飞行路径行进时捕获第一组图像。如本文其他地方所解释的，在实施例中，图像捕获设备可以是具有90度FOV的相机。此外，图像捕获设备可以被配置为在UAV历经所确定的到目的地的飞行路径时周期性地捕获UAV的环境的图像。

如框806所示，方法800还涉及分析图像以定位环境内的视觉特征。分析图像可以涉及使用特征检测算法来识别或检测图像中的特征。然后，可以对检测到的特征进行定位，这涉及确定环境中的检测到的特征的位置。

如框808所示，方法800还涉及生成第一飞行路径的本地飞行日志，其包括检测到的特征的位置信息和图像数据。该飞行日志或地图可以包含与在UAV的飞行期间检测到的一个或多个特征关联的位置信息。附加地和/或替代地，飞行日志可包括可用于识别特征的图像数据。在示例中，图像数据可以是特征的被捕获的图像。附加地和/或替代地，图像数据可以包括可以用于识别特征的识别特性。例如，识别特性可以是特征的设计特性、特征的形状和尺寸和/或特征的美学特性。因此，地图可以用于识别特定特征，并且一旦识别了特征，就可以确定特征的位置。

如框810所示，方法800涉及检测涉及主导航系统的故障事件。如上所解释，故障事件可以是可能影响主导航系统的可操作性的任何事件，诸如接收器故障、卫星信号丢失以及其他示例。

如框812所示，方法800还涉及响应于检测到故障事件，使用图像捕获设备捕获至少一个故障后图像。也就是说，响应于检测到故障事件，图像捕获设备可以捕获UAV的环境的图像，例如，作为在UAV定位模式下操作的一部分。

如框814所示，方法800还涉及在至少一个故障后图像中识别环境内的一个或多个视觉特征。与上面的讨论一致，备用导航系统可以处理故障后图像，以检测图像中捕获的环境的特征。在示例中，备用导航系统可以将从故障后图像提取的特征与本地存储在UAV的存储器中的被定位的特征进行比较。被定位的特征可以是备用导航系统在特征定位模式下操作时定位的特征，或者可以是在地图中具有已知位置的特征(例如地标)。在一些示例中，系统可以识别特征(例如，地标)，但是可能不具有该特征的位置信息。

如框816所示，该方法还涉及通过确定第一被识别的视觉特征与第一被定位的视觉特征之间的关系来确定UAV的当前位置。在示例中，第一被识别的视觉特征与第一被定位的特征之间的关系可以是对应关系。例如，系统可以确定第一被识别的视觉特征先前已被定位，因此，系统可以检测到第一被识别的视觉特征与第一被定位的特征匹配或相同。被识别的特征与被定位的特征之间的其他关系也是可能的。在示例中，备用导航系统可以将被识别或提取的特征中的至少一个与被定位的特征中的至少一个进行匹配。然后，该系统可以使用至少一个被定位的特征的已知位置来计算UAV的位置，例如，通过使用三角测量算法。

图9是根据示例实施例的方法900的流程图。方法900可以由UAV(诸如图6所示的UAV 600)执行。具体地，UAV 600或其控制器可以执行软件以执行方法900。附加地和/或替代地，方法900可以由调度系统(诸如图2的本地调度系统212或中央调度系统210)执行。

方法900可以在框902开始，其中，方法900涉及UAV的控制器被配置为操作UAV以开始沿着到目的地的第一飞行路径的飞行。如本文所解释的，第一飞行路径可以在UAV开始飞行之前由主导航系统确定。另外，主导航系统可以负责为控制器提供允许控制器导航UAV的导航更新。

如框904所示，方法900还可以涉及控制器被配置为在特征定位模式下操作备用导航系统，在该特征定位模式下，该控制器：(i)使图像捕获设备沿着第一飞行路径捕获第一组图像，以及(ii)分析图像以定位环境内的一组视觉特征，其中，每个被定位的视觉特征与相应的地理位置关联，并且其中，被定位的所述一组特征被存储在存储器位置中。在示例中，地理位置可以是特征的真实世界地理位置的任何类型的标识或估计。

如框906所示，方法900还可以涉及控制器被配置为检测涉及UAV的主导航系统的故障事件。

如框908所示，方法900还可以涉及控制器被配置为响应于检测到故障事件，在UAV定位模式下操作备用导航系统，在UAV定位模式下，该控制器：(i)使图像捕获设备捕获环境的至少一个图像，(ii)在至少一个图像中识别环境内的视觉特征，以及(iii)将被识别的视觉特征与存储在存储器位置中的被定位的一组视觉特征进行比较。

图10是根据示例实施例的方法1000的流程图。方法1000可以由UAV(诸如图6所示的UAV 600)执行。具体地，UAV 600或其控制器可以执行软件以执行方法1000。附加地和/或替代地，方法1000可以由服务器(例如，调度系统)(诸如图2的本地调度系统212或中央调度系统210)执行。

方法1000可以在框1002开始，其中，方法1000涉及操作无人飞行器(UAV)以开始到目的地的飞行，其中，UAV使用主导航系统来导航到目的地。

如框1004所示，方法1000还可以包括操作联接至UAV并且具有UAV的环境的视场(FOV)的图像捕获设备以在UAV的飞行期间捕获第一组图像。如本文所述，图像捕获设备可以是UAV的备用导航系统的一部分。

如框1006所示，方法1000还可以包括分析图像以识别环境内的视觉特征。此步骤涉及在“特征定位模式”下操作备用导航系统，以定位环境中的特征。

如框1008所示，方法1000还可以包括通过确定被识别的视觉特征中的一个与存储在UAV的存储器中的地图中的被定位的视觉特征之间的关系，来确定UAV的当前位置。此步骤涉及在“UAV定位模式”下操作备用导航系统，以确定UAV的当前位置。例如，备用导航系统可以周期性地在UAV定位模式下操作以确定UAV的位置。如上所解释，系统可以使用地图(例如，本地生成或预加载的地图)来确定UAV的当前位置。

如框1010所示，方法1000还可以包括将当前位置与来自主导航系统的位置数据进行比较。在该步骤，系统可以将由备用导航系统确定的UAV的当前位置与由主导航系统确定的UAV的当前位置进行比较。

如框1012所示，方法1000还可以包括响应于检测到当前位置与来自主导航系统的位置数据之间的差异，输出指示主导航系统的故障的警报。例如，系统可以确定由备用导航系统确定的UAV的位置与由主导航系统确定的UAV的位置之间的差异大于阈值，例如预定阈值。如果是这样，则系统可以确定主导航系统可能已经遇到故障事件或已经被欺骗攻击，并因此正输出不正确的数据作为结果。因此，响应于检测到大于阈值的差异，系统可以输出指示主导航系统的故障的警报。附加地和/或替代地，备用导航系统可以超驰控制主导航系统以导航UAV。如此，备用导航系统也可以工作以连续或周期性地检查主导航系统的完整性。

VIII、结语

附图中所示的特定布置不应视为限制性的。应当理解，其他实施方式可以包括给定附图中所示的每个元件的更多或更少。此外，一些示出的元件可以被组合或省略。另外，示例性实施方式可以包括在附图中未示出的元件。

另外，尽管本文已经公开了各个方面和实施方式，但是其他方面和实施方式对于本领域技术人员而言将是显而易见的。本文所公开的各个方面和实施方式是出于说明的目的，而不是旨在进行限制，真实的范围和精神由所附权利要求书指示。在不脱离本文提出的主题的精神或范围的情况下，可以利用其他实施方式，并且可以进行其他改变。容易理解的是，可以以各种不同的配置来布置、替换、组合、分离和设计本文一般地描述的以及在附图中示出的本公开的各方面，所有这些都在本文中被构想。

此外，在本公开的上下文中，当数据可能包括(但不限于)与：个体身份、个体位置、个体订单历史、UAV标识、UAV位置、UAV飞行历史、商家标识、商家位置和/或商家的订单历史等有关的信息时，可以对数据进行处理以确保隐私性。

因此，在(一个或多个)系统收集和/或利用关于实体(例如，个体、UAV和/或商家)的信息的情况下，可以在存储或使用数据之前以一种或多种方式对数据进行处理，使个人可识别信息被去除或者以其他方式不能被未经授权的实体/系统发现。

在一个示例中，可以处理实体的标识和/或地理位置，使得不能确定实体的个人可识别信息。为此，系统可以以匿名化数据流的形式发送和/或接收数据。即，表示与一个或多个实体有关的信息的数据可以不提供与该一个或多个实体的相应标识和/或位置有关的任何信息，从而保护隐私性。

在另一示例中，当数据被设置为包括与实体的标识和/或位置有关的信息时，可以将数据布置成使得以仅授权实体/系统可以确定实体的特定标识和/或位置的方式指定该信息。为此，系统可以以编码数据流的形式发送和/或接收数据，其中，信息采用仅授权实体/系统可解释的代码的形式。

在又一个示例中，表示与实体的标识和/或位置有关的信息的数据可以被加密，使得仅授权实体/系统才能获得对该信息的访问。例如，授权实体/系统只能通过使用先前获得的使能访问该信息的安全密钥来获得对信息的访问。

在又一示例中，表示与实体的标识和/或位置有关的信息的数据可能仅是暂时可用的。例如，可以将系统配置为存储这样的数据特定时间段，然后在检测到该时间段到期后永久删除该数据。其他示例也是可能的。

Claims (20)

1.一种方法，包括：

操作无人飞行器(UAV)以开始沿着到目的地的第一飞行路径的飞行，其中，所述UAV使用主导航系统来导航到所述目的地；

操作联接至所述UAV且具有所述UAV的环境的视场(FOV)的图像捕获设备，以在所述UAV沿着所述第一飞行路径行进时捕获第一组图像；

分析图像以定位所述环境内的视觉特征；

生成所述第一飞行路径的本地飞行日志，其中，所述本地飞行日志包括检测到的特征的位置信息和图像数据；

检测涉及所述主导航系统的故障事件；

响应于检测到所述故障事件，使用所述图像捕获设备捕获至少一个故障后图像；

在所述至少一个故障后图像中识别所述环境内的一个或多个视觉特征；以及

通过确定第一被识别的视觉特征和第一被定位的视觉特征之间的关系来确定所述UAV的当前位置。

2.根据权利要求1所述的方法，其中，所述图像捕获设备是所述UAV的备用导航系统的一部分，并且其中，在检测到所述故障事件时所述备用导航系统代替所述主导航系统的导航功能。

3.根据权利要求1所述的方法，其中，所述主导航系统依赖于全球定位系统(GPS)。

4.根据权利要求1所述的方法，还包括：

响应于检测到所述故障事件，确定使所述UAV飞行到安全区；以及

基于所述UAV的所述当前位置，确定到所述安全区的第二飞行路径的至少一部分。

5.根据权利要求4所述的方法，其中，所述第一飞行路径和所述第二飞行路径是相同的飞行路径。

6.根据权利要求4所述的方法，其中，将所述UAV从基地部署到目的地，并且其中，所述安全区是所述UAV的所述基地。

7.根据权利要求4所述的方法，其中，所述第二飞行路径具有与所述第一飞行路径基本相似的高度，使得所述图像捕获设备在所述第二飞行路径期间具有与所述图像捕获设备在所述第一飞行路径期间具有的环境的FOV基本相似的环境的FOV。

8.根据权利要求1所述的方法，其中，操作所述图像捕获设备以沿着所述飞行路径捕获所述第一组图像包括：

使用来自所述主导航系统的位置数据将每个图像与相应的地理位置关联。

9.根据权利要求1所述的方法，其中，分析所述图像以定位所述环境内的视觉特征包括：

分析所述第一组图像以识别图像中的视觉特征；

将在第一图像中识别的第一视觉特征与在所述第一组图像的其他图像中识别的视觉特征进行比较；

检测所述第一视觉特征与第二图像的对应视觉特征之间的匹配；以及

确定所述第一视觉特征的位置。

10.根据权利要求9所述的方法，其中，确定所述第一视觉特征的所述位置包括：

使用所述第一图像的第一地理位置和所述第二图像的第二地理位置执行算法以确定所述第一视觉特征的所述位置。

11.根据权利要求10所述的方法，其中，所述算法是三角测量算法。

12.根据权利要求1所述的方法，其中，操作所述UAV以开始飞行还包括：

确定沿着所述第一飞行路径的所述飞行的时间和环境条件；

选择与所述飞行的时间和所述环境条件中的至少一个关联的地图，其中，所述地图表示沿着所述第一飞行路径的至少一个区域；以及

在所述UAV开始所述飞行之前将所述地图加载到所述UAV的存储器中。

13.根据权利要求1所述的方法，其中，通过确定第一被识别的视觉特征和第一被定位的视觉特征之间的关系来确定所述UAV的当前位置包括：

将所述第一被识别的视觉特征和第二被识别的视觉特征与所述第一被定位的视觉特征和第二被定位的视觉特征进行匹配；

基于所述第一被定位的视觉特征和第二被定位的视觉特征的坐标，确定第一视觉特征和第二视觉特征的坐标；以及

使用所述第一视觉特征和第二视觉特征的坐标执行算法以计算所述UAV的所述当前位置。

14.根据权利要求1所述的方法，其中，通过确定第一被识别的视觉特征和第一被定位的视觉特征之间的关系来确定所述UAV的所述当前位置包括：

检测所述第一被识别的视觉特征与所述第一被定位的视觉特征之间的匹配；以及

基于(i)所述第一被定位的视觉特征的相应的位置信息，以及(ii)所述UAV在捕获在其中捕获到所述第一被识别的视觉特征的故障后图像时的取向，确定所述UAV的当前位置。

15.一种无人飞行器(UAV)，包括：

主导航系统，为所述UAV提供导航功能；

备用导航系统，被配置为在检测到涉及所述主导航系统的故障事件时代替所述主导航系统的所述导航功能，所述备用导航系统包括：

图像捕获设备，被配置为捕获所述UAV的环境的图像；以及控制器，被配置为：

操作所述UAV以开始沿着到目的地的第一飞行路径的飞行；

在特征定位模式下操作所述备用导航系统，在所述特征定位模式下，所述控制器：(i)使所述图像捕获设备沿着所述第一飞行路径捕获第一组图像，以及(ii)分析图像以定位所述环境内的一组视觉特征，其中，每个被定位的视觉特征与相应的地理位置关联，并且其中，被定位的所述一组特征被存储在存储器位置中；

检测涉及所述主导航系统的故障事件；以及

响应于检测到所述故障事件，在UAV定位模式下操作所述备用导航系统，在所述UAV定位模式下，所述控制器：(i)使所述图像捕获设备捕获所述环境的至少一个故障后图像，(ii)在所述至少一个故障后图像中识别所述环境内的视觉特征，以及(iii)将被识别的视觉特征与存储在所述存储器位置中的被定位的所述一组视觉特征进行比较。

16.根据权利要求15所述的UAV，其中，所述控制器还被配置为：

检测第一被识别的视觉特征与第一被定位的视觉特征之间的匹配；以及

基于(i)所述第一被定位的视觉特征的相应的地理位置，以及(ii)所述UAV在捕获在其中捕获到所述第一被识别的视觉特征的故障后图像时的取向，确定所述UAV的当前位置。

17.根据权利要求15所述的UAV，其中，所述控制器还被配置为：

响应于检测到所述故障事件，确定使所述UAV飞行到安全区；以及

基于所述UAV的所述当前位置，确定到所述安全区的第二飞行路径的至少一部分。

18.根据权利要求15所述的UAV，其中，所述主导航系统包括被配置为接收卫星信号的全球定位系统(GPS)设备，并且其中，所述故障事件是(i)所述GPS设备的故障和(ii)卫星信号的丢失中的至少一个。

19.一种方法，包括：

操作无人飞行器(UAV)以开始到目的地的飞行，其中，所述UAV使用主导航系统导航到目的地；

操作联接至所述UAV并具有所述UAV的环境的视场(FOV)的图像捕获设备，以在所述UAV的飞行期间捕获第一组图像；

分析图像以识别所述环境内的视觉特征；

通过确定被识别的视觉特征中的一个与存储在所述UAV的存储器中的地图中的被定位的视觉特征之间的关系，来确定所述UAV的当前位置；

将所述当前位置与来自所述主导航系统的位置数据进行比较；以及

响应于检测到所述当前位置与来自所述主导航系统的所述位置数据之间的差异，输出指示所述主导航系统的故障的警报。

20.根据权利要求19所述的方法，其中，所述地图是时空地图。

Images