CN109643129A - 自主着陆的方法和系统 - Google Patents

自主着陆的方法和系统 Download PDF

Info

Publication number
CN109643129A
CN109643129A CN201680088695.0A CN201680088695A CN109643129A CN 109643129 A CN109643129 A CN 109643129A CN 201680088695 A CN201680088695 A CN 201680088695A CN 109643129 A CN109643129 A CN 109643129A
Authority
CN
China
Prior art keywords
uav
label
target label
imaging device
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680088695.0A
Other languages
English (en)
Inventor
栗培梁
封旭阳
赵丛
钱杰
周游
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN109643129A publication Critical patent/CN109643129A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/042—Control of altitude or depth specially adapted for aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00—Ground or aircraft-carrier-deck installations
    • B64F1/007—Helicopter portable landing pads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/06—Rate of change of altitude or depth
    • G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Studio Devices (AREA)

Abstract

提供了用于自主着陆无人飞行器(UAV)的技术。可以基于由UAV搭载的成像装置捕捉的多个图像来检测目标标记。可以基于所述多个图像确定UAV和目标标记之间的空间关系。可以基于所述空间关系控制UAV靠近目标标记，同时控制成像装置跟踪所述目标标记。

Description

自主着陆的方法和系统
背景技术
现代无人飞行器(UAV)用于执行诸如导航、监视和跟踪、遥感、搜索和救援、科学研究等各种任务。UAV的自主精确着陆往往是实现这些任务的重要部分。然而，现有技术未能提供精确可靠的着陆解决方案。
发明内容
根据实施例，提供了一种用于控制无人飞行器(UAV)的计算机实现的方法。该方法包括基于由所述UAV搭载的成像装置捕捉的多个图像来检测目标标记；至少部分地基于所述多个图像确定所述UAV和所述目标标记之间的空间关系；以及至少部分地基于所述空间关系控制所述UAV靠近目标标记，同时控制所述成像装置跟踪所述目标标记，使得所述目标标记保持在所述成像装置的视野内。
根据实施例，提供了一个或多个非暂时性计算机可读存储介质。所述存储介质存储计算机可执行指令，所述计算机可执行指令在由计算系统执行时，将所述计算系统配置为执行包括以下内容的操作：基于由无人飞行器(UAV)搭载的成像装置捕捉的多个图像来检测目标标记；至少部分地基于所述多个图像确定所述UAV和所述目标标记之间的空间关系；以及基于所述空间关系控制所述UAV靠近所述目标标记，同时控制所述成像装置跟踪所述目标标记，使得所述目标标记保持在所述成像装置的视野内。
根据实施例，提供了一种计算机系统。该计算机系统包括：存储器，存储一个或多个计算机可执行指令；以及一个或多个处理器，被配置为访问所述存储器并执行所述计算机可执行指令以执行包括以下内容的步骤：基于由无人飞行器(UAV)搭载的成像装置捕捉的多个图像来检测目标标记；至少部分地基于所述多个图像确定所述UAV和所述目标标记之间的空间关系；以及基于所述空间关系控制所述UAV靠近所述目标标记，同时控制所述成像装置跟踪所述目标标记，使得所述目标标记保持在所述成像装置的视野内。
根据实施例，提供了一种无人飞行器(UAV)。该UAV包括：存储器，存储一个或多个计算机可执行指令；以及一个或多个处理器，被配置为访问所述存储器并执行所述计算机可执行指令以执行包括以下内容的步骤：基于由所述UAV搭载的成像装置捕捉的多个图像来检测目标标记；至少部分地基于所述多个图像确定所述UAV和所述目标标记之间的空间关系；以及基于所述空间关系控制所述UAV靠近所述目标标记，同时控制所述成像装置跟踪所述目标标记，使得所述目标标记保持在所述成像装置的视野内。
在一些实施例中，目标标记可以是着陆标记、航向标记或安全标记。目标标记可以包括一个或多个同心特征。
在一些实施例中，检测所述目标标记可以包括：识别所述多个图像中的一个或多个特征；将所述一个或多个特征与一个或多个候选标记相关联；向所述一个或多个候选标记分配相应的权重，每个权重指示相关联的所述候选标记是所述目标标记的可能性；以及至少部分地基于所述候选标记的权重从所述一个或多个候选标记中选择所述目标标记。
在一些实施例中，将所述一个或多个特征与所述一个或多个候选标记相关联可以包括：基于一个或多个特征属性将第一图像中的第一特征与第二图像中的第二特征进行比较；以及基于所述比较来确定所述第一特征和所述第二特征是否对应于同一候选标记。
在一些实施例中，所述一个或多个特征属性可以包括尺寸、视角或中心距。向所述一个或多个候选标记分配相应的权重可以至少部分地基于所述一个或多个特征的相对尺寸。向所述一个或多个候选标记分配相应的权重可以至少部分地基于所述一个或多个特征是否同心。
在一些实施例中，控制所述成像装置跟踪所述目标标记可以包括：基于所述多个图像检测所述目标标记与所述成像装置的视野内的预定位置的偏差；以及实现所述成像装置的移动以校正所述偏差。实现所述成像装置的移动可以包括控制所述成像装置的载体以相对于所述UAV移动所述成像装置。实现所述成像装置的移动可以包括控制所述UAV关于所述UAV的俯仰轴、偏航轴或横滚轴移动。
在一些实施例中，确定所述UAV和所述目标标记之间的所述空间关系可以包括：至少部分地基于所述多个图像确定目标标记在相机坐标系中的第一位置；以及至少部分地基于所述成像装置和所述UAV之间的空间关系，将所述目标标记在所述相机坐标系中的所述第一位置变换为所述目标标记在UAV坐标系中的第二位置。
在一些实施例中，确定所述UAV和所述目标标记之间的空间关系包括水平距离和垂直距离，并且基于所述空间关系控制所述UAV靠近所述目标标记可以包括：至少部分地基于所述水平距离生成一个或多个水平控制命令，以便UAV减小所述UAV和所述目标标记之间的所述水平距离；以及至少部分地基于所述水平距离生成一个或多个垂直控制命令，以便减小所述水平距离。
在一些实施例中，所述UAV和所述目标标记之间的空间关系可以包括水平距离和垂直距离，并且基于所述空间关系控制所述UAV靠近所述目标标记可以包括：至少部分地基于所述水平距离生成一个或多个水平控制命令，以便UAV减小所述UAV和所述目标标记之间的所述水平距离；以及至少部分地基于所述水平距离生成一个或多个垂直控制命令，以便UAV减小所述水平距离。
在一些实施例中，所述水平控制命令可以用于控制所述UAV的水平速度。垂直控制命令可以用于控制所述UAV的垂直速度。
在一些实施例中，所述UAV的垂直速度可以与所述UAV和所述目标标记之间的水平距离负相关。所述水平控制命令和所述垂直控制命令可以基本同时生成。
在一些实施例中，可以控制所述UAV在着陆之前根据航向标记来对准其航向。在一些实施例中，可以在所述UAV着陆之前检测安全标记并验证所述安全标记。
应该理解的是，本发明的不同方面可以单独地、共同地或者彼此组合地理解。本文描述的本发明的各个方面可以应用于下面阐述的任何特定应用或任何其它类型的可移动和/或静止物体之间的数据通信。
通过阅读说明书、权利要求和附图，本发明的其它目的和特征将变得显而易见。
附图说明
本发明的新颖特征在所附权利要求中具体阐述。通过参考下面的详细描述及其附图，将更好地理解本发明的特征和优点，所述详细描述中阐述了利用本发明的原理的说明性实施例，所述附图中：
图1示出了根据实施例的用于UAV自主着陆的示例性过程。
图2示出了根据实施例的包括不同尺寸的多个同心环的示例性标记。
图3示出了根据实施例的其他示例性着陆标记。
图4示出了根据实施例的着陆标记的示例性布置。
图5示出了根据实施例的示例性航向标记。
图6示出了根据实施例的附加示例性着陆和航向标记。
图7示出了根据实施例的附加示例性着陆和航向标记。
图8示出了根据实施例的安全标记相对于着陆/航向标记的示例性放置。
图9示出了根据实施例的用于自主着陆的示例性过程。
图10示出了根据实施例的用于自主着陆的另一示例性过程。
图11示出了根据实施例的用于自主着陆的另一示例性过程。
图12示出了根据实施例的用于检测目标标记的示例性过程。
图13示出了根据实施例的用于检测目标标记的另一示例性过程。
图14示出了根据实施例的用于关联不同帧中的特征的示例性方法。
图15示出了根据实施例的用于确定特征的同心性的示例性方法。
图16示出了根据实施例的用于使用成像装置跟踪目标标记的示例性过程。
图17示出了根据实施例的用于将目标保持在预定位置的示例性方法。
图18示出了根据实施例的用于控制UAV靠近目标标记的示例性过程。
图19示出了根据实施例的用于UAV着陆的示例性方法。
图20示出了根据实施例的包括载体和搭载物的可移动物体。
图21是借助于根据实施例的用于控制可移动物体的系统的框图的示意说明。
具体实施方式
用于自主UAV着陆的现有技术在很多情况下是不够的。例如，基于GPS的技术依赖于GPS信号的可用性，在某些情况下(例如室内或城市中)，GPS信号可能不可用或很弱。此外，GPS信号可能无法提供某些着陆场景所需的精度等级。基于视觉的技术依赖于附接到UAV的相机对某些视觉标记的识别。然而，由于UAV四处移动，相机由于其视野受限而无法检测视觉目标，从而影响着陆操作的可靠性。
本系统、装置和方法被提供用于自主、精确和可靠地使UAV着陆，以解决包括本文讨论的问题在内的与现有的UAV着陆技术相关的一些或全部问题。具体而言，UAV上和/或UAV外的一个或多个处理器可以被配置为基于由UAV搭载的成像装置(例如，相机)捕获的多个图像来检测目标标记。所述一个或多个处理器可以被配置为基于多个图像来确定UAV和目标标记之间的空间关系。可以基于空间关系控制(例如通过一个或多个处理器)UAV靠近目标标记，同时控制(例如，由一个或多个处理器)成像装置跟踪目标标记。
目标标记的跟踪可以通过以下方法来实现：移动成像装置，以便将目标标记保持在成像装置的视野内，例如保持在视野的预定位置(例如，中心)处或附近。成像装置可由载体移动，该载体可被控制(例如，通过一个或多个处理器)为使成像装置相对于UAV移动(例如，以一个或多个自由度)。备选地，成像装置可以通过UAV的移动而移动。有利地，在着陆时跟踪目标标记将防止或减少丢失目标标记的可能性，并且允许基于目标标记的最新位置对UAV进行最新的控制，由此改善着陆准确性。
可以检测一种或多种类型的目标标记。目标标记可以包括指示UAV着陆的位置的着陆标记。可选地，目标标记可以包括指示UAV在着陆时的航向的航向标记和/或用于认证所述标记(例如，着陆标记、航向标记和/或安全标记)和/或标记的提供者的安全标记。在一些实施例中，目标标记可以包括便于在各种情况下(例如从不同距离)进行鲁棒的检测的图案、颜色、尺寸或其他特性或特征。例如，目标标记可以包括同心形状(例如，环)。目标标记的特性可用于传达标记的类型、与标记相关联的基站、着陆位置、UAV航向、认证信息或任何其他合适的信息。
UAV可以被水平和垂直控制以基于由UAV搭载的成像装置捕捉的图像靠近目标标记(例如，着陆标记)。例如，可以基于从图像确定的UAV和着陆标记之间的空间关系来控制UAV的水平速度和/或垂直速度。在一些情况下，UAV可以被控制为在使用成像装置跟踪着陆标记的同时，基本上同时地朝向着陆标记垂直下降并水平移动，由此缩短着陆时间并提高着陆准确度。在一些实施例中，UAV的垂直控制可以基于UAV和着陆标记之间的水平关系。例如，垂直速度可以与UAV和着陆标记之间的水平距离负相关，使得UAV离标记越远，UAV下降得越慢，从而提高着陆的安全性和准确性。
图1示出了根据实施例的用于UAV 100自主着陆的示例性过程。具体地，UAV 100可以被控制为在使用由UAV 100搭载的成像装置102跟踪目标标记112的同时，检测并靠近指示着陆位置的目标标记112。
成像装置102可以被配置为捕捉周围环境的图像。成像装置102的示例可以包括单目相机、立体视觉相机、雷达、声纳、红外相机等。图像可以由UAV 100上和/或UAV 100外的一个或多个处理器来处理，以检测目标标记112并确定UAV 100的着陆位置114。着陆位置114可以位于或靠近目标标记112的中心。图像可以用于由处理器确定UAV 100和着陆位置114之间的空间关系。空间关系可以包括例如UAV 100和着陆位置114之间的水平距离和/或垂直距离。基于空间关系，处理器可以控制UAV 100水平地和/或垂直地朝向着陆位置114移动。
成像装置102可以被配置为跟踪目标标记112，同时UAV 100至少部分地基于由成像装置拍摄的图像靠近目标标记112。如图所示，成像装置102可以被控制为进行移动以将目标标记112或其一部分保持在成像装置102的视野(FOV)108内。此外，可以控制成像装置102，使得目标标记112或其一部分被保持在视野(并且因此由成像装置拍摄的图像)内的预定位置。例如，可以控制成像装置102，以便将目标标记112的中心保持在视野中心处或靠近视野中心。换句话说，目标标记112的中心保持在成像装置102的光轴110上或附近。当对图像进行处理时，可以检测到与预定位置的任何偏差。该偏差可以通过改变成像装置102的视场108的方向来校正。
成像装置102及其视野108的方向可随着UAV 100的移动而移动。例如，当UAV横向和/或垂直移动时，成像装置102可以横向和/或垂直移动。另外，成像装置102及其视野108可以由载体106移动，载体106可以被配置为允许成像装置102关于一定的自由度(例如，最多六个自由度，三个平移和三个旋转)相对于UAV 100移动。例如，载体106可允许成像装置102相对于UAV关于一个、两个或三个自由轴旋转。在各种实施例中，UAV 100、载体106和/或成像装置102可由UAV 100上和/或UAV 100外的一个或多个处理器控制。
可以提供标记以便于UAV的自主着陆。可以针对不同目的提供不同类型的标记。例如，着陆标记可以用于指示UAV着陆的位置。航向标记可以用于指示UAV在着陆时的取向或航向。安全标记可以用于认证诸如安全标记、着陆标记和/或航向标记之类的一个或多个对象，或者诸如任何标记的提供者之类的实体。标记可以位于地面上或可以由UAV的成像装置检测的任何其他合适的表面(例如，载运工具的顶部)上。
图2-3示出了根据实施例的示例性着陆标记。图2示出了根据实施例的包括不同尺寸的多个同心环的示例性标记200。例如，标记具有相对于中心208同心的内环202、中间环204和外环206。通常，两个几何形状在其几何中心在同一点重合或彼此足够接近时是同心的。在其他实施例中，在内环202和外环206之间可以有零个或多于一个的中间环。每个环202、204和206的厚度可以相同或不同。任何给定的环的半径可以指环的内径、环的外径或环的内径和外径的平均值。环的尺寸可以由环的一个或多个半径或其组合来表示。在所示的一些实施例中，中心208存在于标记中。在一些其他实施例中，中心208在标记中可能不存在。
有利的是，环的使用可以提供对尺度、取向和/或视角的改变的鲁棒性。这可以降低计算复杂度并且提高检测标记的准确性和效率。同心环可以提供额外的优点，即环组中的至少一些环可以在距标记不同的距离处被检测到。例如，可以通过成像装置从一定范围(例如，当成像装置距标记等于或小于5m、7m、10m、15m、20m等时)检测到一些或全部环。在一个示例中，甚至在UAV着陆之后(例如，当成像装置和标记之间的距离等于或小于1cm、3cm、5cm、10cm等时)，才可以检测到同心环标记中的最内环。
虽然任何合适的单个或多个颜色可以用于着陆标记或本文讨论的任何其他类型的标记，但是使用黑白色或单一颜色可以提供对于照度变化的鲁棒性，由此改善标记的检测。
图3示出了根据实施例的其他示例性着陆标记。标记可以包括任何数量的同心或不同心的环。例如，如图所示，标记302包括两个同心环，而标记304包括单个环。在一些其他实施例中，标记可以包括四个或更多个环。标记302和304也表明环的中心可以是可选的，可以在标记上显示或不显示。
在一些实施例中，标记可以包括非环的同心形状，诸如多边形或任何其他几何形状。例如，标记306包括同心矩形。同心形状可以不是相同类型的形状。例如，标记308包括同心的圆形和三角形。
在一些实施例中，可以使用具有不同位置、形状、颜色、图案、尺寸和/或其他特性的标记来区分不同的基站、标记类型、着陆位置/航向、安全信息等。这些标记可以根据其指定目的被检测和使用。
图4示出了根据实施例的着陆标记的示例性布置。如图所示，两个基站400和410各自具有三个着陆标记。与基站400相关联的着陆标记404、406、408具有不同于与基站410相关联的着陆标记414、416、418的颜色和/或图案。例如，基站400的标记可以是红色的，而基站410的标记可以是绿色的。因此，希望着陆在特定基站的UAV可以被配置为使用成像装置来检测具有与该特定基站相关联的指定颜色和/或图案的着陆标记。例如，指定着陆在基站400的UAV可以被配置为检测和靠近红色标记，而指定着陆在基站410的UAV可以被配置为检测并靠近绿色标记。例如，UAV上和/或UAV外的一个或多个处理器可以被配置为通过滤出与基站相关联的颜色相对应的特定颜色通道来处理由成像传感器拍摄的图像。
在相同的基站内，着陆标记可以位于不同的着陆位置。此外，不同的着陆标记可以指示不同的着陆优先权或着陆持续时间。例如，基站400具有带有两个着陆标记404和406的着陆区域401以及带有一个着陆标记408的等待区域402。着陆区域401可以是UAV着陆持续时间相对较长的区域。等待区域402可以是例如在着陆区域401满的情况下临时着陆或者着陆持续时间较短的区域。着陆标记404、406和408可以在视觉上不同以避免混淆。例如，着陆标记404包括同心环，着陆标记406包括比着陆标记404的最外环更大的单个环，并且着陆标记408包括比着陆标记406的单个环更大的单个环。基站410可以具有与基站400相似或不同的布置。由于基站410的标记在视觉上与基站400的标记不同，因此在基站410处的着陆与基站400处的着陆不会产生干扰。
有利地，可以至少部分地通过在期望的位置设计和布置不同的着陆标记来实现UAV的自主和有效的着陆，降低了多个着陆UAV之间的干扰的可能性。因此，用于管理UAV着陆的时间和资源可以减少。
在一些实施例中，可以提供航向标记以指示UAV的着陆取向(例如航向)。例如，航向标记可以指示UAV的纵轴应该对齐的方向。航向标记可以是着陆标记的一部分或位于着陆标记附近，从而可以在相同的视野内或在相邻的图像帧内使用着陆标记检测航向标记。图5-7示出了根据实施例的示例性航向标记。图5示出了与各个着陆标记502和506分离但接近的示例性航向标记504和508。航向标记相对于着陆标记的中心的位置可以指示UAV着陆的航向的方向。例如，所示的航向标记504和508指示朝向着陆标记右方的航向。在一些实施例中，航向标记在视觉上与着陆标记区分开以便于两者的正确识别。标记之间的视觉差异可以通过形状、图案、尺寸、颜色等的差异来提供。例如，在图5中，着陆标记502和504被示出为同心环，而航向标记504是单个环，并且航向标记508是实心圆。
图6示出了根据实施例的其他示例性着陆和/或航向标记。航向标记可以包括着陆标记或被着陆标记所包括。航向标记可以包括作为着陆标记的组成部分的组件。在某些情况下，着陆标记可以与航向标记相同。航向标记可以是着陆标记的附加的组件。UAV的航向可以由航向标记的几何形状或取向来表示。例如，航向标记604包括突起，该突起指向相对于着陆标记602的中心的航向方向(例如右方)。类似地，航向标记608将类似的航向方向指示为着陆标记606的中心右方的水平条。
备选地或附加地，航向方向可以由着陆标记的一个或多个开口、空腔或缺失或消减部分指示。在这种情况下，缺失部分可以被认为是航向标记。备选地，带有缺失部分的着陆标记的一部分、或者作为整体的着陆标记可被认为是航向标记。例如，在图6中，着陆标记610包括在外环上指示航向方向(例如右方)的开口。着陆标记610包括具有开口的内环和外环。航向标记612可以指整个着陆标记610、具有开口的外环或开口本身。作为另一个例子，在图6中，着陆标记614包括内环和外环上的开口。这些开口共同指示朝向着陆标记的中心右方的航向方向。着陆标记614包括内环和外环。航向标记616可以指整个着陆标记614、具有开口的内环、具有开口的外环或这些开口本身。
在一些实施例中，标记可以指示UAV着陆的多于一个可能的着陆航向。图7示出了根据实施例的这样的示例性着陆和/或航向标记。所示的航向标记与图6中所讨论的类似，但每个着陆标记都与多于一个着陆航向相关联。例如，着陆标记702与左方、上方和右方这三个着陆航向相关联，如相应的条704的取向所示。着陆标记706与上方和右方这两个着陆航向相关联，如相应的航向标记708的点所指示。着陆标记710与左方和右方这两个着陆航向相关联，如由外环中的相应的航向标记712(开口)所指示。着陆标记714与左方和右方这两个着陆航向相关联，如由内环和外环中的相应的航向标记716(开口)所指示。在一些实施例中，与着陆标记相关联的多个航向标记可以看起来彼此相似。在一些其他实施例中，给定着陆标记的航向标记可以具有不同的形状、颜色、图案、尺寸等，以指示航向标记当中的不同优先级或偏好。例如，具有第一视觉外观的第一航向标记可指示更优选的着陆航向；而具有第二视觉外观的第二航向标记可指示较不优选的着陆航向。
可选地，可以提供安全标记用于安全或认证目的。安全标记可以具有传送诸如证书、安全标识符等认证信息的能力。安全标记可以通过任何合适的基准标记(例如一维或二维条形码或机器可读的标签)来实现，以提取相应的认证信息。由安全标记传达的认证信息可被验证以认证与安全标记相关联的一个或多个对象。与安全标记相关联的对象可以包括安全标记所在的着陆区域(例如，基站的着陆区域)或安全标记所附着的对象(例如，载运工具的顶部表面)。附加地或备选地，安全标记可以用于认证距安全标记一定距离内的一个或多个对象，例如位于安全标记附近的一个或多个着陆标记和/或航向标记。安全标记还可以用于认证与安全标记相关联的一个或多个实体，或诸如服务提供商、组织、政府机构等任何其他对象。
安全标记可以是着陆标记和/或航向标记的一部分或位于着陆标记和/或航向标记附近，从而可以在相同的视野内或在相邻的图像帧内使用着陆标记/航向标记来检测安全标记。图8示出了根据实施例的安全标记相对于着陆/航向标记的示例性放置。例如，如图所示，安全标记804可以位于着陆标记802上(例如，在中心处或同心环之间)。安全标记808也可以位于着陆标记806旁边。类似地，安全标记814可位于航向标记812内，或安全标记820可位于航向标记818外。在一些其他实施例中，安全标记可以是着陆和/或航向标记的组成部分。例如，着陆和/或航向标记或其一部分的总体设计可以编码认证信息。
安全标记可以增强UAV自主着陆的安全性。在某些情况下，未经授权的实体可以试图使用未经授权的着陆标记拦截UAV。如果没有安全标记，UAV可能会着陆或尝试着陆在使用假着陆标记的意外的、不安全的或未经授权的区域。因此，UAV可能被未经授权的实体拦截、损坏或丢失。通过检测和验证与着陆标记相关联的安全标记，当未检测到安全标记或者验证失败时，UAV可以不着陆在未授权的着陆标记处，从而避免这种未经授权的拦截。
图9示出了根据实施例的用于自主着陆的示例性过程900。过程900的各方面可以由UAV上和/或UAV外的一个或多个处理器执行。过程900(或本文描述的任何其他过程，或其变型和/或其组合)的一些或全部方面可以在配置有可执行指令的一个或多个计算机/控制系统的控制下执行，并且可以实现为通过硬件或其组合在一个或多个处理器上共同执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)。代码可以例如以包括可由一个或多个处理器执行的多个指令的计算机程序的形式存储在计算机可读存储介质上。计算机可读存储介质可以是非暂时性的。描述操作的顺序并非旨在被解释为限制，并且任何数量的所描述的操作可以以任何顺序和/或并行地组合以实现所述过程。
在框902处，至少部分地基于由UAV搭载的成像装置捕捉的多个图像来检测目标标记。目标标记可以包括本文讨论的着陆标记。图像可以是在UAV和/或成像装置横向或旋转移动时拍摄的。在一些实施例中，成像装置可被载体控制为关于最多三个自由度轴移动以搜索目标标记。在一些其他实施例中，成像装置被固定地附接到UAV并且不能相对于UAV移动。
目标标记可以至少部分地基于捕捉的图像来检测。图像可以被处理以识别与目标标记相关联的一个或多个特征(例如，环或其一部分)。跨多个图像识别的特征可以与一个或多个候选标记相关联。例如，在第一图像中识别的第一环和在第二图像中识别的第二环可以被确定为对应于包括该环的相同候选标记。可以给每个候选标记分配相应的权重，该权重指示候选标记是目标标记的可能性。可以基于候选标记的权重，选择候选标记作为目标标记。例如，可以选择具有最高权重的候选标记。
在一些实施例中，可以从多个图像中检测多于一个的目标标记。例如，如本文所讨论的，目标标记可以包括着陆标记、航向标记和/或安全标记。
在框904，至少部分地基于图像确定UAV和目标标记之间的空间关系。UAV和目标标记之间的空间关系可以包括UAV和目标标记之间的水平距离和/或垂直距离。在一些实施例中，目标标记在图像坐标系中的位置可以基于相机参数转换为目标标记在相机坐标系中的位置。相机参数可以包括内部参数(例如焦距)和外部参数(例如，相对位置)。目标标记在相机坐标系中的位置可以至少部分地基于相机和UAV之间的空间关系(诸如旋转角度和/或平移位移)转换为目标标记在UAV坐标系中的位置。空间关系还可以包括UAV的当前航向和由目标标记(例如航向标记)指示的航向之间的角度。
在框906处，至少部分地基于空间关系控制UAV靠近目标标记，同时使用成像装置跟踪目标标记。可以控制UAV的状态以使UAV水平地和/或垂直地靠近目标标记。可以调节的UAV的状态可以包括速度、高度、加速度、姿态等。例如，可以控制UAV的水平速度和/或垂直速度，从而减小UAV和目标标记之间的距离。作为另一个示例，在UAV靠近着陆标记之前或期间，UAV的航向可以被调整为UAV的纵轴沿着航向标记所指示的方向基本上对齐。在一些实施例中，UAV可以基于安全标记的验证结果来确定是否靠近着陆标记。
图10示出了根据实施例的用于自主着陆的另一个示例性过程1000。过程1000的各方面可以由UAV上和/或UAV外的一个或多个处理器执行。
在框1002处，检测标记。标记可以是指示UAV的着陆位置的着陆标记。可以从由UAV搭载的一个或多个成像装置拍摄的一个或多个图像中检测标记。可以使用任何合适的对象和/或模式识别技术(例如本文所述的检测技术)来识别标记。标记的检测可以例如以给定频率(例如，1Hz、5Hz、10Hz、15Hz、16Hz、20Hz、50Hz、100Hz)周期性地执行。
在框1004处，确定标记的中心。在某些情况下，标记的中心可以被明确地标记和检测到。在其他情况下，标记的中心没有标记出来，需要估计。所确定的标记的中心可以是标记的估计的几何中心。例如，如果标记包括一个环，则标记的中心位于或靠近该环的中心。如果标记包括多个同心环，则可以基于各个环的估计中心来计算标记的中心(例如，通过使用最小二乘法)。
确定标记中心可以包括确定标记中心在任何合适的坐标系内的位置。例如，可以确定标记中心在图像坐标系内的位置。另外，可以确定标记中心在成像装置的坐标系和/或UAV的坐标系中的位置。
在框1006，可以控制载体来跟踪标记。跟踪标记可以包括将标记中心保持在成像装置的视野的预定位置(例如，中心)处或附近。在一些实施例中，可以控制载体的俯仰、偏航和/或偏航，以改变由载体支撑的成像装置的姿态。成像装置的姿势改变可以用于校正标记中心与成像装置的视野中的预定位置的偏差。载体的控制可以使用诸如比例积分微分控制器(PID控制器)之类的控制回路反馈机构来实现。在一些其他实施例中，可以控制UAV的俯仰、偏航和/或偏航以跟踪标记。
在框1008处，预测UAV的速度。UAV的速度可以包括一个或多个水平和/或垂直速度分量。可以基于从诸如惯性测量单元(IMU)、图像传感器、位置传感器(例如，GPS)等UAV的各种传感器获得的传感器数据来预测UAV的速度。UAV速度的预测可以例如以给定频率(例如，1Hz、5Hz、10Hz、15Hz、16Hz、20Hz、50Hz、100Hz、200Hz、500Hz、1000Hz)周期性地执行。
在框1010处，确定UAV与标记中心的水平偏差。水平偏差可以表示为沿着水平面的两个轴(例如x轴和y轴)的UAV和标记中心之间的相对位移。基于如框1008中所确定的预测的UAV速度和/或如框1004中所确定的标记中心位置，可以确定水平偏差。
在框1012处，控制UAV的水平速度。UAV的水平速度的控制可以基于如框1010中所确定的UAV与标记中心的水平偏差。可以控制UAV的水平速度以使UAV与标记中心的水平偏差最小化。UAV的水平速度的控制可以使用诸如PID控制器之类的控制回路反馈机构来实现。
在框1014处，控制UAV的垂直速度。UAV的垂直速度的控制可以基于UAV与标记中心的垂直偏差。垂直偏差可以基于一个或多个传感器来确定，例如超声波传感器、激光雷达、图像传感器(例如，单视觉传感器、立体视觉传感器)等。在一些情况下，可以基于在框1002中检测到的标记的尺寸来确定垂直偏差。在一些实施例中，UAV的垂直速度的控制可以基于如框1010中所确定的与标记中心的水平偏差。例如，垂直速度可以与水平偏差负相关。有利地，这种方法可以确保当UAV与标记中心之间的水平偏差较大时(例如，当UAV远离标记中心时)的更平缓的下降和当该水平偏差较小时(例如，当UAV处于或靠近标记的正上方时)的更快速的下降。
在框1016处，确定UAV是否已经到达地面。该确定可以基于来自诸如触摸传感器、接近传感器、温度计、GPS传感器等任何合适的传感器的传感器数据。
如果在框1016处确定还没有到达地面，则过程1000循环回到框1002以检测标记。例如，UAV和/或成像装置可以被控制为以预定模式移动从而搜索标记。否则，如果确定还没有到达地面，则过程1000在框1018结束。
图11示出了根据实施例的用于自主着陆的另一个示例性过程1100。过程1100的各方面可以由UAV上和/或UAV外的一个或多个处理器执行。
在框1102处，搜索着陆标记。为了搜索着陆标记，UAV可以被控制为悬停于或移动到一个或多个预定位置。或者，UAV可以被控制为以预定模式(例如，绕圈)移动。附加地或备选地，成像装置可以被控制为保持预定姿态(例如，沿着与UAV的航向相同的方向向下或向前)和/或相对于UAV移动(例如，绕俯仰轴、偏航轴和/或横滚轴旋转)。成像装置相对于UAV的移动可以由载体引起。
在一些实施例中，可以响应于从远程装置(例如，远程控制器、基站、另一个UAV)接收到的指令(包括信号和控制数据)来发起对着陆标记的搜索。该指令可以指示UAV开始搜索着陆标记并朝向着陆标记下降。该指令可以基于用户动作(例如，远程控制器操作)或通过在远程装置上运行的自动化或半自动化过程(例如，UAV着陆管理程序)来生成。在一些其他实施例中，可以基于诸如UAV状态(例如，UAV位置、姿态、高度、电池寿命)、时间、地理位置、传感器数据等的内部或外部触发条件由UAV来自主发起着陆标记的搜索。例如，UAV可以被配置为当其电池寿命低于预定阈值(例如，小于完全充电的10％)时开始搜索着陆标记。作为另一个例子，UAV可以被配置为在已经飞行预定时间段(例如，20分钟)之后开始搜索着陆标记。
关于要搜索的标记的指令可以发送给UAV或以其他方式提供给UAV。这样的指令可以包括要搜索的标记的类型(例如，着陆标记、航向标记、安全标记)以及与每种类型的标记相关联的特性。标记的这种特性的示例可以包括颜色、形状、图案、纹理等。例如，指令可以指示着陆标记具有同心环，航向标记具有单个环，并且安全标记是二维条形码。指令可以指示是否、在何处和/或如何搜索和/或检测标记。在一些实施例中，指令可以根据与标记相关联的基站而变化。例如，不同的颜色信息可以与不同基站的标记相关联。在一些实施例中，指令可以根据特定UAV的着陆策略而变化。例如，指令可以指示UAV向位于基站的第一区域的同心环标记中检测到的最小环着陆。备选地，指令可以指示UAV向位于基站的第二区域(例如，等待区域)的单环标记中检测到的最大环着陆。这样的指令可以基于当前交通状况(例如，等待着陆的UAV的数量以及可着陆的地点的数量)、UAV的优先级、UAV的当前状态(例如，电池寿命)等产生。
在一些实施例中，标记的实际尺寸可以被UAV上的一个或多个处理器利用，使得处理器可以基于图像中的标记的感知尺寸和标记的实际尺寸之间的关系来确定到标记的距离。在一些其他实施例中，标记的实际尺寸不能被处理器利用。
在各种实施例中，上面讨论的指令可以在UAV正在工作(例如，空中)时发送到UAV。例如，指令可以从远程控制器或基站动态地发送到UAV。在一些其他实施例中，这样的指令可以由UAV基于UAV的当前状态或当前环境自动生成。在又一些其他实施例中，指令可以被预加载到UAV的存储器单元中并且可用于UAV上的一个或多个处理器。有利的是，着陆指令可以用于对UAV的着陆提供动态、精细和灵活的控制。
在框1104处，确定是否检测到着陆标记。着陆标记可以从由UAV搭载的成像装置拍摄的一个或多个图像中检测到。在一些实施例中，UAV可以被配置为搭载多于一个成像装置或视觉传感器。来自这些成像装置或视觉传感器中的一些或全部的图像可以由UAV上和/或UAV外的一个或多个处理器处理以识别着陆标记。在图12-图15中提供了标记检测技术的详细讨论。
如果在框1104中确定没有检测到着陆标记，则过程1100循环回到框1102以如上所述搜索着陆标记。否则，如果在框1104中确定已经检测到着陆标记，则在框1106处，控制UAV靠近着陆标记，同时使用成像装置跟踪着陆标记。在图16-图19中提供了控制UAV在跟踪着陆标记的同时靠近着陆标记的详细讨论。
在框1108处，确定成像装置是否已经失去对着陆标记的跟踪，即，着陆标记不再位于成像装置的视野内。这可能由于UAV和/或成像装置的移动或障碍物对着陆标记的暂时阻挡而发生。如果在框1108中确定着陆标记丢失，则过程1100循环回到框1102以如上所述搜索着陆标记。在一些实施例中，当成像装置失去对目标标记的跟踪时，可以控制UAV上升到预定高度。可以控制UAV和/或成像装置旋转预定模式(例如，绕偏航轴和/或俯仰轴)以扫描目标标记，直到找到目标标记或直到预定时间已经过期。如果着陆标记没有丢失，则过程1100前进到框1110。
在框1110处，确定是否检测到航向标记。在一些实施例中，UAV、载体和/或成像装置可以被控制为以与在框1102中所讨论的着陆标记相似的方式搜索航向标记。可以在与着陆标记相同或不同的图像中检测航向标记。在一些情况下，可以在UAV开始靠近着陆标记之前或当UAV正在靠近着陆标记时检测航向标记。
根据UAV可访问的指令或配置参数，可能需要或不需要搜索航向标记。在需要的情况下，对航向标记的搜索可以被限制在预定时间段(例如，一分钟)。如果在该时间段内未找到航向标记，则可以允许UAV以任何航向方向着陆。或者，UAV可以被配置为在没有着陆标记的情况下在预定的默认航向方向着陆。
如果在框1110中确定已经检测到航向标记，则在框1112处，可以根据检测到的航向标记控制UAV对准其航向。例如，如果检测到的航向标记指向北方，则UAV可以被控制为绕其垂直轴旋转，以对准其航向以指向北方或大致北方。在一些实施例中，可以处理包含航向标记的一个或多个图像以确定由航向标记指示的取向或方向。例如，可以在图像处理期间检测特征。可以使用诸如边缘方向或取向之类的特征的属性来确定航向方向。
UAV的航向在UAV着陆之前对准。在一些实施例中，UAV的航向在UAV即将着陆之前对准。例如，UAV可以被控制为移动到着陆标记正上方的位置，根据航向标记对准其航向方向，然后下降以在着陆标记处着陆。备选地，可以在着陆之前的任何合适的时间调整UAV的航向。例如，可以在UAV开始朝向着陆标记下降之前或在UAV朝向着陆标记下降时调整航向。
如果在框1110中确定没有检测到或不需要航向标记，则过程1100前进到框1114，在框1114中确定是否检测到安全标记。如上所述，安全标记可以用于认证一个或多个标记或标记的提供者。例如，安全标记可以位于靠近着陆标记和/或航向标记处，使得安全标记的验证也将验证其他标记。
可以在与着陆和/或航向标记相同或不同的图像中检测安全标记。可以使用任何合适的标记读取器来检测安全标记，该标记读取器可以用硬件(例如，条形码扫描仪)和/或软件实现。这样的标记读取器可以与用于检测着陆标记的成像装置分离。备选地，标记读取器可以是成像装置的组成部分。在一些实施例中，可以以与着陆标记和/或航向标记相似的方式来检测安全标记。
可以从安全标记中提取安全信息(例如，由标记读取器)并且验证。安全信息可以根据预加载在UAV上的信息进行验证。备选地，安全信息可以被提供给远程装置并被远程验证。验证结果然后可以被发送回UAV。在一些实施例中，来自安全标记的安全信息可以与诸如时间信息(例如，GPS时间)和/或位置信息之类的其他信息组合以导出组合的安全信息以增强安全性。然后可以验证该组合的安全信息。在一些情况下，可以在UAV开始靠近着陆标记之前或在UAV正在靠近着陆标记时检测安全标记。可以在检测航向标记之前或之后检测安全标记。
在框1118处，确定是否已经成功验证安全标记。如果成功验证，则在框1120处，UAV被控制为在先前描述的着陆标记处或其附近着陆。如果没有成功验证，或者如果没有检测到或不需要安全标记，则UAV被控制为不在着陆标记处或其附近着陆。例如，UAV可以被控制为保持其当前位置，或者甚至飞离着陆标记。在一些实施例中，UAV可以被配置为提供警告信号。警告信号可以由UAV本身(例如，通过声音和/或光)提供或者发送到远程装置(例如，远程控制器或基站)。警告信号可以包括关于未授权的安全标记和/或未授权的着陆标记的信息，例如其位置或图像。
图12示出了根据实施例的用于检测目标标记的示例性过程1200。可以基于由UAV搭载的成像装置捕捉的多个图像来检测目标标记。目标标记可以是指示UAV的着陆位置的着陆标记。备选地，目标标记可以是指示着陆航向的航向标记、或为着陆提供安全性的安全标记。过程1200的各方面可以由UAV上和/或UAV外的一个或多个处理器执行。处理器可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、现场可编程门阵列(FPGA)等。在一些实施例中，至少一个处理器可操作地耦接到成像装置。在一些实施例中，至少一个处理器是成像装置的一部分。
在框1202处，在多个图像帧中识别与目标标记(例如，着陆标记)相关联的特征。这些图像可以由UAV搭载的成像装置捕捉。对图像进行处理以检测和分离与一个或多个候选标记相关联的特征，这些候选标记是目标标记的潜在候选者。特征可以包括包含在标记中的几何形状(例如环)或者几何形状的部分(例如角、边、弧)。可以使用诸如霍夫变换、阈值处理、尺度不变特征变换(SIFT)等任何合适的特征检测/提取技术来检测和/或提取特征。例如，如果已知目标标记是特定颜色的(例如，红色)，则可以使用一个或多个阈值来减去来自特定颜色通道的特征。
在各种实施例中，可以使用任何合适的特征检测技术来检测标记特征。描述要检测的特征的指令可以事先已知。例如，提供给UAV和/或预加载在UAV的存储器单元中的指令可以包括对特征的描述。标记的实际尺寸可以提供或不提供给UAV。
在框1204处，将在多个帧中识别的特征与候选标记相关联。在一些实施例中，特征可以直接与候选标记相关联。例如，候选标记可以包括环。可以在不同帧中检测环或其部分并且识别为特征。这些特征可以与相同的标识符相关联，以指示这些特征对应于同一候选标记。在一些其他实施例中，所述特征可以首先与相应的候选标记组件相关联，然后候选标记组件可以与候选标记相关联。作为例子，候选标记可以包括多个同心环，每个环是候选标记组件。对于每个环，一组特征可以被识别为对应于该环，并因此被分配唯一的标识符。接下来，这些环可以被识别为同心的并且因此与同一候选标记相关联。因此，与各种候选标记组件相关联的特征组可以被分配相同的标识符，以指示它们全部与相同的候选标记相关联。可以使用任何合适的目标检测和/或跟踪技术，包括使用例如卡尔曼滤波器或粒子滤波器的检测跟踪方法。
在框1206处，更新与候选标记相关联的权重。与候选标记相关联的权重值指示给定候选标记是目标标记的可能性。当检测到候选标记时，可以将初始权重值分配给候选标记。当获取新图像时，可以基于候选标记的属性(诸如相对尺寸和候选标记是否包括同心组件等)，周期性地或连续地更新权重值。在一些实施例中，权重与特征相关联并且基于诸如相对尺寸和同心性之类的特征属性进行更新。
在框1208处，基于候选标记的权重从候选标记中确定目标标记。在一些实施例中，可以根据候选标记的权重值对候选标记进行排序，并且可以选择具有最高权重值的候选标记作为目标标记。如果目标标记是着陆标记，则目标标记的中心被用作UAV的着陆位置。如果目标标记是航向标记，则可以确定目标标记的取向并将其用作UAV着陆时的航向的方向。如果目标标记是安全标记，则可以读取目标标记以提取可以验证的安全信息。在一些实施例中，可以在新图像变得可用时重复过程1200。在权重与特征相关联的实施例中，可以选择具有最高权重的特征(例如，环)，并且该特征的中心可以被确定为着陆位置。
图13示出了根据实施例的用于检测目标标记的另一示例性过程1300。过程1300的各方面可以由UAV上和/或UAV外的一个或多个处理器执行。
在框1302处，接收新的图像帧作为当前帧。新图像可以包括由UAV搭载的成像装置生成的数据。成像装置可以被配置为连续地或周期性地生成新图像的帧。
在框1304处，可以处理新图像以识别与目标标记相关联的特征(例如，环)。特征识别可以包括检测和提取特征。例如，可以通过为每个颜色分量或通道(例如红色、绿色或蓝色)指定单独的阈值来阈值化彩色图像。可以从阈值化图像中提取特征。可以例如使用霍夫变换来分析所提取的特征以确定它们是否属于某类形状(诸如环)。可以向每个特征分配置信度分数以指示该特征属于该类形状的可能性。置信度分数低于特定阈值的特征可以被忽略或丢弃。
在框1306处，确定在当前帧中检测到的任何特征是否在一个或多个先前的帧(例如上一帧，或者N大于1的最后N个帧)中被识别。如果确定在先前的帧中识别出了该特征，则在框1308处，如果可能的话，将那些先前识别的特征与当前识别的特征相匹配，以便关联与相同的基础对象对应的特征。基础对象可以是标记或标记组件。匹配的功能共享相同的对象标识符(ID)。当前帧中新识别的特征被分配与来自先前帧的匹配特征相同的对象ID。因此，匹配的ID将当前帧中新识别的特征与先前帧中的匹配特征相关联。跨多个帧的特征的匹配或关联可以基于各种因素，如在图14中进一步详细讨论的。在框1308之后，如果没有先前识别的特征(例如，当前帧是第一个帧或者在先前帧中未识别出特征)，或者如果在当前帧中存在不匹配或未关联的新识别特征，则在块1310处，该未关联的新识别特征被分配以前未被分配的新的对象ID。
在框1312处，至少部分地基于特征是否彼此同心来更新特征的属性。特征属性可以包括对象ID和指示该特征是否与另一特征同心的同心性指示符。特征属性的附加示例可以包括特征的帧的标识符、特征的位置或尺寸等。将具有不同对象ID的特征相互比较以确定它们是否彼此同心。同心特征可以被分配相同的对象ID。同心性指示符指示特征是否与至少一个其他特征同心。对于被确定为与其他特征同心的特征，同心性指示符可以被设置为真；否则，同心性指示符可以被设置为假。同心性的确定在图15中进一步讨论。
在框1314处，至少部分基于特征属性来更新与权重关联的特征。权重指示特征是目标标记或者是目标标记的一部分的可能性。在一些实施例中，权重与对象ID相关联，因此具有相同对象ID的特征具有相同的权重。较高的权重可以指示关联的特征或关联的对象更有可能包括或被包括在目标标记中；并且反之亦然。在备选实施例中，权重可以指示特征不是目标标记或不是目标标记的一部分的可能性。在这样的实施例中，较高的权重可以指示关联的特征不太可能是目标标记；并且反之亦然。权重可以用数字或字母数字串表示。
给定帧中的特征之间的权重分配可以基于预定的权重分配策略。权重分配策略可以被预加载到UAV或被发送到UAV(例如，作为着陆指令的一部分)。权重分配策略可以基于诸如相对的特征尺寸和同心性指示符之类的特征属性。权重分配策略可以反映给予不同标记的不同优先级和/或由UAV实施的不同的着陆策略。例如，示例性着陆策略可以指定将较高的权重分配给同心和/或尺寸较小的特征。给定这种权重分配策略，UAV更有可能靠近并着陆在同心标记的最小环(其将被赋予最高的权重)处，而不是附近的其他更大和/或非同心环(如果有的话)(其将被赋予更低的权重)处。另一个示例性着陆策略可以指定将较高权重分配给尺寸最大和非同心的特征。给定这种权重分配策略，UAV更有可能靠近并着陆在包括单个大环的标记(其将被赋予最高的权重)处，而不是附近的其他更小和/或同心环(如果有的话)(其将被赋予更低的权重)处。
在一些实施例中，可以针对每个新获取的帧重复上述过程1300，直到过程1300停止。例如，过程1300可以在UAV已经着陆时或成像装置停止拍摄新图像时停止。
图14示出根据实施例的用于关联不同帧中的特征的示例性方法。该方法可以由UAV上和/或UAV外的一个或多个处理器来实现。示出了两个帧，即帧1 1402和帧2 1404。帧11402可以在帧2 1404之前生成。在帧1 1402中已经识别出两个特征，即环A 1406和环B1408。环A 1406被分配了对象ID 3，并且环B 1408被分配了不同的对象ID 5。在帧2 1404中已经识别出三个特征，即环C 1410、环D 1412和环E 1414。将帧2 1404中的特征与帧1 1402中的特征相互比较以确定帧2 1404中的任何特征是否对应于帧1 1402中的任何特征。如图所示，帧2 1404中的环C 1410和环D 1412被确定为分别对应于帧11402中的环A 1406和环B1408。作为结果，环C 1410被分配与环A 1406相关联的相同对象ID 3，并且环D 1412被分配与环B 1408相关联的相同对象ID 5。另一方面，环E 1414不与帧1 1402中的任何特征对应，因此被分配了与任何现有对象ID不同的新对象ID 7。
当满足一个或多个标准时，两个不同帧中的两个特征可以被认为是匹配的。可以基于特征的特性来指定标准。在一些实施例中，当满足标准中任意一个时，所述两个特征被认为是匹配的。在一些其他实施例中，当满足全部标准或标准的某一组合时，所述两个特征被认为是匹配的。在一些实施例中，所述标准可以基于相应特征中心之间的距离、相应特征视角的比较和/或相应特征尺寸的比较。下面使用环A 1406和环C 1410作为示例来说明这样的示例性标准。
关于中心距标准，确定环A 1406的中心oa与环C 1410的中心oc之间的距离。如果中心距小于或等于预定阈值，则满足中心距标准。否则，不满足中心距标准。
关于视角标准，可以比较环A 1406和环C 1410的相应视角。在一个实施例中，环的视角可以表示为环(例如，椭圆)的两个轴(或两个半轴)(例如长轴和短轴)之间的比率。在一些其他实施例中，环的视角可以以任何其它合适的公式表示。请注意，术语“环”被广泛地用于涵盖圆形形状的任何感知或变形，例如图像中的椭圆形状，其描绘了从一个视角观察的基础的环。例如，环A 1406和环C 1410的视角可分别由比率和表示。仅当两个环的视角相似时(例如，其差异低于或等于给定的阈值)，才满足视角标准。例如，对于环A 1406和环C 1410，当时，满足视角标准。
关于尺寸标准，可以比较环A 1406和环C 1410的相应尺寸。在一个实施例中，环的尺寸可以根据环的两个轴(或者两个半轴)(例如长轴和短轴)来表示。例如，环A 1406和环C1410的尺寸可以分别由两个半轴的平均值和来表示。在一些其他实施例中，环的尺寸可以用任何其他合适的公式来表示，例如环所包围的面积。仅当两个环的尺寸相似时(例如，其差异低于或等于给定的阈值)，才满足尺寸标准。例如，对于环A 1406和环C1410，当时，满足尺寸标准。应用以上讨论的标准，环B 1408和环D 1412也被认为是匹配的。
图15示出了根据实施例的用于确定特征的同心性的示例性方法。该方法可以用于确定包含在图像帧1500中的两个环即环A 1502和环B 1504是否彼此同心。该方法可以由UAV上和/或UAV外的一个或多个处理器来实现。
当满足一个或多个标准时，两个特征可以被认为是彼此同心的。标准可以基于特征的特性来指定。在一些实施例中，当满足标准中任意一个时，两个特征被认为是同心的。在一些其他实施例中，当满足全部标准或标准的某一组合时，两个特征被认为是同心的。在一些实施例中，标准可以基于相应特征中心之间的距离、相应特征视角的比较和/或相应特征尺寸的比较。下面使用环A 1502和环B 1504作为示例来说明这样的示例性标准。
关于中心距标准，确定环A 1502的中心oa与环B 1504的中心ob之间的距离。如果中心距小于或等于阈值，则满足中心距标准。否则，不满足中心距标准。在一些实施例中，可以基于环的属性来计算阈值。例如，阈值可以是较小环A 1502的长轴和短轴(或半轴)的平均值这样，仅当oa和ob之间的距离小于或等于时，才满足中心距标准。
关于视角标准，可以比较环A 1502和环B 1504的相应视角。如上所讨论，在一个实施例中，环的视角可以表示为环(例如，椭圆)的两个轴(或两个半轴)(例如长轴和短轴)之间的比率。在一些其他实施例中，环的视角可以以任何其它合适的公式表示。例如，环A1502和环B 1504的视角可分别由比率和表示。仅当两个环的视角相似时(例如，其差异低于或等于给定的阈值)，才满足视角标准。例如，对于环A 1502和环B 1504，当时，满足视角标准。
关于尺寸标准，可以比较环A 1502和环C 1504的相应尺寸。如上所讨论，在一个实施例中，环的尺寸可以根据环的两个轴(或者两个半轴)(例如长轴和短轴)来表示。例如，环A 1502和环B 1504的尺寸可以分别由两个半轴的平均值和来表示。在一些其他实施例中，环的尺寸可以用任何其他合适的公式来表示，例如环所包围的面积。仅当一个环的尺寸小于另一个环的尺寸时，例如，当时，才满足尺寸标准。
一旦满足以上标准，则确定环A 1502和环B 1504彼此同心。环A 1502和环B 1504的同心性指示符可以设置为真。有利地，与环相关联的同心性指示符可以确保：即使在随后的图像中仅检测到两个环中的一个环，也可以基于其同心性指示符来确定该一个环是同心的而不检测另一个环。也就是说，一旦环被确定为同心的，则同心性属性在将来的图像中随环一起传播。在同一图像帧中不再需要检测两个环来确定它们是同心的。在一些实施例中，用于一组同心环的对象ID被设置为相同，指示相同的基础标记。在其他实施例中，同心环的对象ID可以不同。
图16示出了根据实施例的用于使用成像装置跟踪目标标记的示例性过程1600。具体地，过程1600可以用于使用由UAV搭载的成像装置来跟踪目标标记。过程1600的各方面可以由UAV上和/或UAV外的一个或多个处理器实现。
在框1602处，可以处理一个或多个图像以识别目标标记。该一个或多个图像由成像装置生成。目标标记可以包括着陆标记、航向标记和/或安全标记。目标标记可以使用任何合适的目标识别技术来识别，例如在图12至图15中讨论的那些技术。可以生成目标标记的当前信息，包括所识别的目标标记的当前位置、尺寸和其他特性。当前位置可以是目标标记的中心在成像装置的视野内的位置或者目标标记在由成像装置拍摄的图像内的像素位置。当前尺寸可以是目标标记在成像装置的视野内的尺寸或者目标标记在由成像装置拍摄的图像内的像素尺寸。
在框1604处，可以检测目标标记与预定位置的偏差。预定位置(也被称为期望位置)可以是视野内或成像装置的图像内的位置。预定位置可以是要维持目标的位置或靠近该位置。例如，预定位置可以是视野的中心。通过比较当前位置和预定位置之间的差异可以确定与这种预定位置的偏差。在一些实施例中，仅当差异超过预定阈值时才确定偏差存在。
在框1606处，可以生成控制命令以校正偏差。校正偏差包括减小目标标记的实际位置与预定位置之间的差异。校正偏差还可以包括减小目标标记的实际尺寸和预定尺寸之间的尺寸差异。控制命令可以响应于在框1604中检测到的偏差而生成。控制命令可以用于控制载体的状态和/或UAV的状态，例如一个或多个角速度。
图17示出根据实施例的用于保持目标在图像1700内的的预定位置的示例性方法。图像可以由诸如成像装置之类的搭载物捕捉。如本文所述，搭载物可以耦接到载体，该载体允许搭载物关于多达三个自由度轴相对于该载体移动。假设图像具有W像素的宽度和H像素的高度(其中W和H是正整数)。图像内的位置可以由沿着水平轴801(沿着图像的宽度)和垂直轴1703(沿着图像的高度)的一对坐标定义，其中图像的左上角具有坐标(0，0)，图像的右下角具有坐标(W，H)。
假定如图像1700中所捕捉的目标位于位置P(u，v)1702处，并且目标的预期位置是不同于P 1702的P0(u0，v0)1704。在一些实施例中，目标的预期位置P0(u0，v0)可以靠近图像的中心，使得u0＝W/2和/或v0＝H/2。在其他实施例中，目标的预期位置可以位于图像内的任何其他地方(例如偏离中心)。在各种实施例中，目标的预期位置可以与或不与目标的初始位置相同。假定当前位置P偏离预期位置P0，使得该偏差超过预定阈值(例如由距u0的Δx和距v0的Δy表示)，则需要进行调整以将目标位置从P调整至靠近预期位置P0。
在一些实施例中，可以使用与预期目标位置的偏差来导出成像装置(例如，图像传感器)的视野围绕一个或多个轴旋转的一个或多个角速度。例如，可以使用沿着图像的水平轴1701(例如，u和u0之间)的偏差来导出成像装置的视野围绕Y(偏航)轴1706旋转的角速度ωY1712，如下所示：
成像装置的视野围绕Y轴的旋转可以通过搭载物(经由载体)的旋转来实现。在等式(1)中，α是可以基于载体的配置预定义和/或校准的常数。在一些实施例中，α大于零(α＞0)。在其他实施例中，α可以不大于零(α≤0)。在一些实施例中，α可用于将所计算的像素值映射到用于控制围绕特定轴(例如，偏航轴)的角速度的对应的控制杆量或灵敏度。通常，控制杆可以用于控制可控物体(例如载体)的角移动或线性移动。更大的控制杆量对应于更高的灵敏度和更高的速度(用于角移动或线性移动)。在一些实施例中，控制杆量或其范围可以由载体的控制系统的配置参数来确定。控制杆量的范围的上限和下限可以包括任意数量。例如，对于一个控制系统，控制杆量的范围可以是(1000，-1000)，对于另一个控制系统，控制杆量的范围可以是(-1000，1000)。
例如，假定图像的宽度为W＝1024像素，高度为H＝768像素。因此，图像的大小是1024*768。进一步假设目标的预期位置具有u0＝512。因此，(u-u0)∈(-512，512)。假定围绕偏航轴的控制杆量的范围是(-1000，1000)，则最大控制杆量或最大灵敏度是1000并且α＝1000/512。因此，α的值可受成像装置提供的图像分辨率或尺寸、控制杆量的范围(例如，围绕特定旋转轴)、最大控制杆量或最大灵敏度和/或其他因素的影响。
如这里所示，围绕Y(偏航)轴的旋转的方向可以取决于u-u0的符号。例如，如果期望位置位于实际位置的右侧(如图17所示)，则u-u0＜0，视野需要围绕偏航轴1706以逆时针方式旋转(例如，左转)，以便把目标带到预期位置。另一方面，如果期望位置位于实际位置的左侧，则u-u0＞0，视野需要围绕偏航轴1706以顺时针方式旋转(例如，右转)，以便把目标带到预期位置。
如本文所示，围绕给定轴线(例如Y(偏航)轴)的转速(例如，角速度的绝对值)可以取决于目标的预期位置与实际位置之间的沿轴的距离(即，|u-u0|)。距离越远，转速越快。同样，距离越近，转速越慢。当预期位置与目标沿轴的位置一致(例如，u＝u0)时，绕轴的转速为零，旋转停止。
如上所述的用于调整预期目标位置和实际目标位置沿着水平轴1701的偏差的方法可以以类似的方式应用，以校正目标沿不同轴1703的偏差。例如，可以使用沿着图像的垂直轴1703(例如，v和v0之间)的偏差来导出成像装置的视野围绕X(俯仰)轴1708的角速度ωX1714，如下所示：
成像装置的视野围绕X轴的旋转可以通过搭载物(经由载体)的旋转来实现。在此，在等式(2)中，β是可以基于载体的配置预定义和/或校准的常数。在一些实施例中，β大于零(β＞0)。在其他实施例中，β可以不大于零(β≤0)。在一些实施例中，β可用于将所计算的像素值映射到用于控制围绕特定轴(例如，俯仰轴)的角速度的对应的控制杆量。通常，控制杆可以用于控制可控物体(例如载体)的角移动或线性移动。更大的控制杆量对应于更高的灵敏度和更高的速度(用于角移动或线性移动)。在一些实施例中，控制杆量或其范围可以由载体的载体控制系统的配置参数来确定。控制杆量的范围的上限和下限可以包括任意数量。例如，对于一个控制系统，控制杆量的范围可以是(1000，-1000)，对于另一个控制系统，控制杆量的范围可以是(-1000，1000)。
继续上面的示例，其中图像的宽度为W＝1024像素，高度为H＝768像素，假设目标的预期位置具有v0＝384。因此，(v-v0)∈(-384，384)。同样假定围绕俯仰轴的控制杆量的范围是(-1000，1000)，则最大控制杆量或最大灵敏度是1000并且β＝1000/384。因此，β的值可受成像装置提供的图像分辨率或尺寸、控制杆量的范围(例如，围绕特定旋转轴)、最大控制杆量或最大灵敏度和/或其他因素的影响。
如这里所示，围绕X(偏航)轴的旋转的方向可以取决于v-v0的符号。例如，如果期望位置位于实际位置的上方(如图17所示)，则v-v0＞0，视野需要围绕俯仰轴1708以顺时针方式旋转(例如，下转)，以便把目标带到预期位置。另一方面，如果期望位置位于实际位置的下方，则v-v0＜0，视野需要围绕俯仰轴1708以逆时针方式旋转(例如，上转)，以便把目标带到预期位置。
如本文所示，转速(例如，角速度的绝对值)取决于目标的预期位置与实际位置之间的沿给定轴(例如，X(俯仰)轴)的距离(例如，|v-v0|)。距离越远，转速越快。距离越近，转速越慢。当预期位置与目标的位置一致(例如，v＝v0)时，转速为零，旋转停止。
在一些实施例中，如上所计算的角速度的值可以由系统的各种限制进行约束或修改。这样的限制可以包括载体可以实现的最大和/或最小速度、载体的控制系统的控制杆量的范围或者最大控制杆量或最大灵敏度等。例如，转速可以是所计算的转速和允许的最大速度中的最小值。
在一些实施例中，载体和/或UAV的控制可以使用诸如PID控制器的控制回路反馈来实现。PID控制器可以被配置为作为当前目标状态(例如，当前目标位置)和期望目标状态(例如，预期目标位置)之间的差值而计算误差值，并且通过调整控制变量(例如，角速度)来随时间最小化该误差。例如，可以使用以下公式来控制载体的俯仰角速度或速度，以将标记中心保持在图像中心附近：
carrier_pitch_angular_rate
＝carrier_P*(marker_center_y-image_center_y)
+carrier_D*(error-error_last)
在上式中，carrier_P是比例项，carrier_D是微分项。对于carrier_P，error＝marker_center_y-image_center_y，即，误差是标记中心的v坐标(marker_cetner_y)和图像中心的y坐标(image_center_y)之间的距离。距离越远，载体俯仰角速率越大，直到标记处于图像中心为止。对于carrier_D，项error-error_last是当前比例项和上一帧的比例项之间的差值。该项可以用来防止载体的过调节。
在一些实施例中，可使用本文所述的跟踪控制来跟踪目标标记，同时UAV被水平和/或垂直控制以靠近目标标记。跟踪目标标记可以减少看不见目标的可能性，并可以提高UAV着陆的准确性和效率。
图18示出根据实施例的用于控制UAV靠近目标标记的示例性过程1800。过程1800的各方面可以由UAV上和/或UAV外的一个或多个处理器实现。
在框1802处，基于由成像装置生成的图像来确定UAV和目标标记之间的水平距离。图像可以被处理以识别目标标记。标记中心的位置可以被确定为UAV的着陆位置。在一些实施例中，标记中心在成像装置的坐标系(也称为相机坐标系)中的位置可以至少部分地基于相机的参数(例如，焦距)根据标记中心在图像中的位置来确定，如下所述。
在相机坐标系(也称为相机参考系)中，三个正交轴X、Y和Z在成像装置的光学中心相交。Z轴是成像装置的光轴。图像平面位于沿光轴距光学中心f个单位处，其中f是成像装置的焦距。在相机坐标系中具有三维坐标(xc，yc，zc)的对象被投影到图像平面上，并由像素坐标(u，v)表示。在针孔相机模型下，以下等式是正确的：
标记中心在相机坐标系中的坐标可以至少部分地基于成像装置和UAV(因此其坐标系)之间的空间关系(例如，旋转和/或平移变换)而变换为UAV坐标系中的坐标。在UAV坐标系中，三个正交轴X、Y和Z在UAV的中心(例如重心或几何中心)相交，其中Z轴是垂直(偏航)轴，X轴是横向(俯仰)轴，Y轴是纵向(横滚)轴。假设标记中心在UAV坐标系中的坐标为(xb，yb，zb)，其中zb表示UAV与标记中心之间的垂直距离，xb和yb分别表示UAV与标记中心之间沿X轴和Y轴的水平分量。给定相机坐标系和UAV坐标系之间的俯仰角θ，可以将以下等式与上面的等式组合起来，得出标记中心在UAV坐标系下的坐标(xb，yb，zb)：
yc＝yb*cosθ-zb*sinθ
zc＝zb*cosθ+yb*sinθ
类似地，给定相机坐标系和UAV坐标系之间的偏航角可以将以下等式与上面的等式组合起来，得出标记中心在UAV坐标系下的坐标(xb，yb，zb)：
xc＝xb*cosθ-zb*sinθ
zc＝zb*cosθ+xb*sinθ
在一些实施例中，标记中心在相机坐标系中的坐标可以被转换到第三坐标系(例如，世界坐标系)，然后可以基于UAV坐标系和第三坐标系之间的关系(例如，旋转和/或平移)将其转换到UAV坐标系。然后可基于标记中心在UAV坐标系中的坐标来确定标记与UAV之间的空间关系(例如，水平距离和/或垂直距离)。
在框1804处，确定UAV与目标标记之间的垂直距离。在一些实施例中，UAV与标记中心之间的垂直距离(或高度)zb可以使用UAV上的一个或多个传感器来确定，例如超声波传感器、激光雷达传感器、气压计、视觉传感器(例如，立体视觉相机)、GPS传感器或其任何组合。在一些其它实施例中，可以例如通过比较检测到的标记的尺寸和标记的实际尺寸(如果已知的话)，基于由成像装置获得的标记的图像来确定zb。
在框1806处，生成一个或多个控制命令以用于减小UAV和目标标记之间的水平距离。例如，在一个实施例中，可以使用水平控制命令来控制水平速度vx(沿着UAV的X轴的水平速度)和vy(沿着UAV的Y轴的水平速度)。控制命令可以由PID控制器产生，PID控制器可以使用UAV和标记之间的水平偏差(xb，yb)作为反馈值：
vx＝vx_P*xb+vx_D*(xb-xb_last)
vy＝vy_P*yb+vy_D*(yb-yb_last)
在框1808处，基于水平距离生成一个或多个控制命令，用于减小UAV与目标标记之间的垂直距离。在一个实施例中，沿着UAV的Z(垂直)轴的垂直速度vz可以与水平距离负相关，水平距离可以由xb，yb或其组合表示。负相关可以是线性的(如下所示)或非线性的。例如，UAV的垂直速度可以如下计算：
vz＝vmax-|xb|-|yb|
在上面的等式中，UAV越偏离标记(|xb|和|yb|越大)，UAV下降得越慢。当水平偏差接近零时(即，当UAV接近标记正上方时)，UAV开始下降得更快。垂直速度可以用最大速度vmax(例如，0.1m/s、0.2m/s、0.4m/s、1m/s、2m/s)来限制。最大速度可以基于UAV的特性和/或环境来预先确定。另一方面，当水平偏差等于或超过最大速度(即|xb|+|yb|≥vmax)时，垂直速度可以保持为零(即，不下降)。有利地，UAV的水平偏差与垂直速度之间的负相关确保当UAV离标记较远时UAV较平缓地下降，并且当UAV在UAV的正上方或接近正上方时更快速地下降。这样的方法可以允许UAV基本上同时水平和垂直地靠近目标标记，同时确保UAV的安全性并提高着陆准确性。
图19示出了根据实施例的用于UAV 1900着陆的示例性方法。在一些实施例中，如在过程1900A中所图示的，UAV 1900被控制为水平地靠近目标标记1902，直到UAV 1900在目标中心正上方或几乎在目标中心正上方(例如，当UAV与标记中心之间的水平偏差等于或小于阈值时)。然后可以控制UAV 1900垂直下降以着陆在目标标记1902处。在一些其他实施例中，例如在过程1900B中所图示的，UAV 1900被控制为基本上同时水平地和垂直地靠近目标标记1902。当UAV 1900在目标中心正上方或几乎在目标中心正上方(例如，当UAV与标记中心之间的水平偏差等于或小于阈值)时，则可以控制UAV垂直下降以着陆在目标标记1900处。后一种方法的着陆时间可以缩短。在两种方法中，可以控制成像装置1904跟踪目标标记1902，同时控制UAV 1900靠近标记1902。在一些实施例中，在着陆之前的某个时刻(例如，当UAV 1900在目标中心正上方或几乎在目标中心正上方时)，可以控制UAV 1900根据航向标记(未示出)旋转其航向。
上述实施例的变型也在本公开的范围内。例如，UAV可以使用多于一个的成像装置来跟踪目标标记。多个成像装置可以被定位在特定的配置中，以使其共同视野最大化。
本文描述的系统、设备和方法可以应用于各种可移动物体。如前所述，本文对飞行器(例如UAV)的任何描述可以适用于任何可移动物体以及用于任何可移动物体。本文对飞行器的任何描述都可以专门适用于UAV。本发明的可移动物体可以被配置为在任何合适的环境中移动，例如空中(例如，固定翼飞行器、旋转翼飞行器、或既不具有固定翼也不具有旋转翼的飞行器)、水中(例如，船舶或潜艇)、地上(例如，机动车辆，如轿车、卡车、公共汽车、厢式货车、摩托车、自行车；可移动的结构或框架，如棒、钓鱼竿；或火车)、地下(例如地铁)、太空(例如，太空飞机、卫星或探测器)或这些环境的任意组合。可移动物体可以是载运工具，诸如本文其他地方描述的载运工具。在一些实施例中，可移动物体可以由诸如人或动物的活体携带或从活体上取下。合适的动物可以包括禽类、犬类、猫类、马类、牛类、羊类、猪类、海豚类、啮齿类或昆虫类。
可移动物体可以相对于六个自由度(例如三个平移自由度和三个旋转自由度)在环境内自由移动。备选地，可移动物体的移动可以相对于一个或多个自由度(例如通过预定的路径、轨道或取向)进行限制。该移动可由任何合适的致动机构(例如发动机或电机)来致动。可移动物体的致动机构可以由任何合适的能源(例如电能、磁能、太阳能、风能、重力能、化学能、核能或其任何合适的组合)供电。可移动物体可以经由推进系统自推进，如本文别处所述。推进系统可以可选地在能源(例如电能、磁能、太阳能、风能、重力、化学能、核能或其任何合适的组合)上操作。备选地，可移动物体可以由生物携带。
在某些实例中，可移动物体可以是飞行器。例如，飞行器可以是固定翼飞机(例如飞机、滑翔机)、旋转翼飞机(例如直升机、旋翼飞机)、具有固定翼和旋转翼的飞机，或没有固定翼和旋转翼的飞机(例如，飞艇、热气球)。飞行器可以是自推进的，例如通过空气自推进。自推进飞行器可以利用推进系统，例如包括一个或多个发动机、电机、轮子、轴、磁体、旋翼、螺旋桨、叶片、喷嘴或其任何合适的组合的推进系统。在某些实例中，推进系统可以用于使可移动物体从表面起飞、在表面上降落、保持其当前位置和/或取向(例如，悬停)、改变取向和/或改变位置。
可移动物体可以由使用者远程控制，也可由可移动物体内或可移动物体上的乘员对可移动物体进行本地控制。可移动物体可以通过单独的载运工具内的乘客远程控制。在一些实施例中，可移动物体是诸如UAV的无人可移动物体。诸如UAV的无人可移动物体可以在该可移动物体上没有乘员。可移动物体可以由人或自主控制系统(例如，计算机控制系统)或其任何合适的组合来控制。可移动物体可以是自主的或半自主的机器人，例如配置有人工智能的机器人。
可移动物体可以具有任何合适的大小和/或尺寸。在一些实施例中，可移动物体可以具有在载运工具内或载运工具上有人类乘员的大小和/或尺寸。备选地，可移动物体的大小和/或尺寸可以小于能够在载运工具内或载运工具上有人类乘员的大小和/或尺寸。可移动物体的大小和/或尺寸可以适于被人抬起或携带。备选地，可移动物体可以大于适于被人抬起或携带的大小和/或尺寸。在某些实例中，可移动物体可以具有小于或等于约如下值的最大尺寸(例如，长度、宽度、高度、直径、对角线)：2cm、5cm、10cm、50cm、1m、2m、5m或者10m。最大尺寸可以大于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或者10m。例如，可移动物体的相对转子的轴之间的距离可以小于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或者10m。或者，相对转子的轴之间的距离可以大于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或者10m。
在一些实施例中，可移动物体的体积可以小于100cm×100cm×100cm，小于50cm×50cm×30cm，或小于5cm×5cm×3cm。可移动物体的总体积可以小于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。相反，可移动物体的总体积可以大于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。
在一些实施例中，可移动物体可以具有小于或等于约如下值的占地面积(其可以指由可移动物体包围的横向横截面积)：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2、或5cm2。相反，占地面积可以大于或等于约：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50em2、10cm2、或5cm2。
在某些实例中，可移动物体的重量可以不超过1000kg。可移动物体的重量可以小于或等于约：1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg、或0.01kg。相反，重量可以大于或等于约：1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg、或0.01kg。
在一些实施例中，可移动物体相对于由可移动物体搭载的负载可以较小。负载可以包括搭载物和/或载体，如本文其他地方进一步详细描述的。在某些示例中，可移动物体重量与负载重量之比可以大于、小于或等于约1∶1。在某些实例中，可移动物体重量与负载重量之比可以大于、小于或等于约1∶1。可选地，载体重量与负载重量之比可以大于、小于或等于约1∶1。当需要时，可移动物体重量与负载重量之比可以小于或等于：1∶2、1∶3、1∶4、1∶5、1∶10或甚至更小。反之，可移动物体重量与负载重量之比也可以大于或等于：2∶1、3∶1、4∶1、5∶1、10∶1或甚至更大。
在一些实施例中，可移动物体可以具有低能耗。例如，可移动物体可以使用小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。在某些实例中，可移动物体的载体可具有低的能耗。例如，载体可以使用小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。可选地，可移动物体的搭载物可以具有低的能量消耗，例如小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。
UAV可以包括具有四个旋翼的推进系统。可以提供任何数量的旋翼(例如，一个、两个、三个、四个、五个、六个或更多个)。UAV的旋翼、旋翼组件或其他推进系统可以使得UAV能够悬停/保持位置、改变取向和/或改变位置。相对旋翼的轴之间的距离可以是任何合适的长度。例如，长度可以小于或等于2m、或小于等于5m。在一些实施例中，长度可以在40cm至1m、10cm至2m，或5cm至5m的范围内。本文UAV的任何描述可以应用于可移动物体，例如不同类型的可移动物体，并且反之亦然。
在一些实施例中，可移动物体可以被配置为携带负载。负载可以包括乘客、货物、装备、仪器等中的一个或多个。负载可以设置在外壳内。该外壳可以与可移动物体的外壳分离，或者作为可移动物体的外壳的一部分。备选地，负载可以设置有外壳，而可移动物体不具有外壳。备选地，可以在没有壳体的情况下设置负载的一部分或整个负载。负载可以相对于可移动物体刚性固定。可选地，负载可以相对于可移动物体可移动(例如，相对于可移动物体可平移或可旋转)。负载可以包括搭载物和/或载体，如本文其他地方进一步详细描述的。
在一些实施例中，可移动物体、载体和搭载物相对于固定参考系(例如，周围环境)和/或相对于彼此的移动可由终端控制。终端可以是远离可移动物体、载体和/或搭载物的远程控制设备。终端可以放置在或固定在支撑平台上。备选地，终端可以是手持式或可穿戴式装置。例如，终端可以包括智能电话、平板电脑、膝上型电脑、计算机、眼镜、手套、头盔、麦克风或其合适的组合。终端可以包括诸如键盘、鼠标、操纵杆、触摸屏或显示器之类的用户界面。可以使用任何合适的用户输入来与终端进行交互，诸如手动输入的命令、语音控制、手势控制或位置控制(例如，通过终端的移动、位置或倾斜)。
终端可以用于控制可移动物体、载体和/或搭载物的任何合适的状态。例如，终端可以用于控制可移动物体、载体和/或搭载物相对于固定参考系和/或相对于彼此的位置和/或取向。在一些实施例中，终端可用于控制可移动物体、载体和/或搭载物的各个元件，例如载体的致动组件、搭载物的传感器或搭载物的发射器。终端可以包括适于与可移动物体、载体或搭载物中的一个或多个通信的无线通信装置。
终端可以包括用于观看可移动物体、载体和/或搭载物的信息的合适的显示单元。例如，终端可以被配置为显示可移动物体、载体和/或搭载物的关于位置、平移速度、平移加速度、取向、角速度、角加速度或其任何合适的组合方面的信息。在一些实施例中，终端可以显示由搭载物提供的信息，例如由功能型搭载物提供的数据(例如，由相机或其他图像捕获装置记录的图像)。
可选地，相同的终端可以控制可移动物体、载体和/或搭载物，或可移动物体、载体和/或搭载物的状态，以及接收和/或显示来自可移动物体、载体和/或搭载物的信息。例如，终端可以在显示由搭载物捕获的图像数据或关于搭载物的位置信息的同时，控制搭载物相对于环境的定位。备选地，不同的终端可以用于不同的功能。例如，第一终端可以控制可移动物体、载体和/或搭载物的运动或状态，而第二终端可以接收和/或显示来自可移动物体、载体和/或搭载物的信息。例如，第一终端可以用于控制搭载物相对于环境的定位，而第二终端显示由搭载物捕获的图像数据。在可移动物体和用于控制可移动物体并接收数据的集成终端之间，或者在可移动物体与用于控制可移动物体并接收数据的多个终端之间，可以使用各种通信模式。例如，在可移动物体和用于控制可移动物体并从可移动物体接收数据的终端之间，可以形成至少两种不同的通信模式。
图20示出了根据实施例的包括载体2002和搭载物2004的可移动物体2000。虽然可移动物体2000被描绘为飞机，但是该描述并不旨在限制，并且可以使用任何合适类型的可移动物体，如本文前面所述。本领域技术人员将理解，本文在飞机系统的上下文中描述的任何实施例可以应用于任何合适的可移动物体(例如，UAV)。在某些实例中，搭载物2004可以设置在可移动物体2000上，而不需要载体2002。可移动物体2000可以包括推进机构2006、感测系统2008和通信系统2010。
如前所述，推进机构2006可以包括旋翼、螺旋桨、叶片、发动机、电机、轮子、轴、磁体或喷嘴中的一个或多个。可移动物体可以具有一个或多个、两个或更多个、三个或更多个，或四个或更多个推进机构。全部推进机构可以是相同类型的。备选地，一个或多个推进机构可以是不同类型的推进机构。推进机构2006可以使用诸如本文别处所述的诸如支撑元件(例如，驱动轴)的任何合适的方法安装在可移动物体2000上。推进机构2006可以安装在可移动物体2000的任何合适的部分上，诸如顶部、底部、前部、后部、侧面或其合适的组合。
在一些实施例中，推进机构2006可以使可移动物体2000能够垂直地从表面起飞或垂直地降落在表面上，而不需要可移动物体2000的任何水平移动(例如，无需沿着跑道行进)。可选地，推进机构2006可以可操作地允许可移动物体2000以特定位置和/或取向悬停在空气中。推进机构2000中的一个或多个可以独立于其它推进机构受到控制。备选地，推进机构2000可以被配置为同时受到控制。例如，可移动物体2000可以具有多个水平朝向的旋翼，其可以向可移动物体提供升力和/或推力。可以致动多个水平朝向的旋翼以向可移动物体2000提供垂直起飞、垂直着陆和悬停能力。在一些实施例中，水平朝向旋翼中的一个或多个可沿顺时针方向旋转，而水平旋翼中的一个或多个可沿逆时针方向旋转。例如，顺时针旋翼的数量可以等于逆时针旋翼的数量。为了控制由每个旋翼产生的升力和/或推力，从而调整可移动物体2000(例如，相对于最多三个平移度和三个旋转度)的空间布置、速度和/或加速度，可以独立地改变每个水平朝向的旋翼的转速。
感测系统2008可以包括可感测可移动物体2000(例如，相对于高达三个平移度和高达三个旋转度)的空间布置、速度和/或加速度的一个或多个传感器。一个或多个传感器可以包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、近距离传感器或图像传感器。感测系统2008提供的感测数据可用于(例如，使用合适的处理单元和/或控制模块，如下所述)控制可移动物体2000的空间布置、速度和/或取向。备选地，感测系统2008可用于提供关于可移动物体周围的环境的数据，例如天气条件、接近潜在障碍物、地理特征的位置、人造结构的位置等。
通信系统2010能够经由无线信号2016与具有通信系统2014的终端2012进行通信。通信系统2010、2014可以包括适合于无线通信的任何数量的发射器、接收器和/或收发器。通信可以是单向通信；使得数据可以仅在一个方向上发送。例如，单向通信可以仅涉及可移动物体2000向终端2012发送数据，反之亦然。可以从通信系统2010的一个或多个发射机向通信系统2012的一个或多个接收机发送数据，或者反之亦然。备选地，所述通信可以是双向通信，使得可以在可移动物体2000和终端2012之间的两个方向上发送数据。双向通信可以涉及从通信系统2010的一个或多个发射机向通信系统2014的一个或多个接收机发送数据，并且反之亦然。
在一些实施例中，终端2012可以向可移动物体2000、载体2002和搭载物2004中的一个或多个提供控制数据，并且从可移动物体2000、载体2002和搭载物2004中的一个或多个接收信息(例如，可移动物体、载体或搭载物的位置和/或运动信息；由搭载物感测的数据，例如由搭载物相机捕获的图像数据)。在某些实例中，来自终端的控制数据可以包括用于可移动物体、载体和/或搭载物的相对位置、移动、致动或控制的指令。例如，控制数据(例如，通过推进机构2006的控制)可以导致可移动物体的位置和/或取向的修改，或(例如，通过载体2002的控制)导致搭载物相对于可移动物体的移动。来自终端的控制数据可以导致对搭载物的控制，诸如对相机或其他图像捕获设备的操作的控制(例如，拍摄静止或运动的图片、放大或缩小、打开或关闭、切换成像模式、改变图像分辨率、改变焦点、改变景深、改变曝光时间、改变视角或视野)。在某些实例中，来自可移动物体、载体和/或搭载物的通信可以包括来自(例如，感测系统2008或搭载物2004的)一个或多个传感器的信息。通信可以包括来自一个或多个不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、近距离传感器或图像传感器)的感测信息。这样的信息可以涉及可移动物体、载体和/或搭载物的定位(例如位置，取向)、移动或加速度。来自搭载物的这种信息可以包括由搭载物捕获的数据或搭载物的感测状态。由终端2012发送提供的控制数据可以被配置为控制可移动物体2000、载体2002或搭载物2004中的一个或多个的状态。备选地或组合地，载体2002和搭载物2004也可以各自包括被配置为与终端2012进行通信的通信模块，使得该终端可以独立地与可移动物体2000、载体2002和搭载物2004中的每一个进行通信并对其进行控制。
在一些实施例中，可移动物体2000可被配置为与除了终端2012之外的或者代替终端2012的另一远程通信设备。终端2012还可以被配置为与另一远程设备以及可移动物体2000进行通信。例如，可移动物体2000和/或终端2012可以与另一可移动物体或另一可移动物体的载体或搭载物通信。当需要时，远程设备可以是第二终端或其他计算设备(例如，计算机、膝上型电脑、平板电脑、智能电话或其他移动设备)。远程设备可以被配置为向可移动物体2000发送数据、从可移动物体2000接收数据、向终端2012发送数据，和/或从终端2012接收数据。可选地，远程设备可以与因特网或其他电信网络连接，使得从可移动物体2000和/或终端2012接收的数据可以上传到网站或服务器。
图21是根据实施例的用于控制可移动物体的系统2100的框图的示意图。系统2100可以与本文公开的系统、设备和方法的任何合适的实施例结合使用。系统2100可以包括感测模块2102、处理单元2104、非暂时性计算机可读介质2106、控制模块2108和通信模块2110。
感测模块2102可以利用以不同方式收集与可移动物体有关的信息的不同类型的传感器。不同类型的传感器可以感测不同类型的信号或来自不同源的信号。例如，传感器可以包括惯性传感器、GPS传感器、近距离传感器(例如，激光雷达)或视觉/图像传感器(例如，相机)。感测模块2102可以可操作地与具有多个处理器的处理单元2104连接。在一些实施例中，感测模块可以可操作地与被配置为直接将感测数据传输到合适的外部设备或系统的传输模块2112(例如，Wi-Fi图像传输模块)耦接。例如，传输模块2112可以用于将由感测模块2102的相机捕获的图像发送到远程终端。
处理单元2104可以具有一个或多个处理器，诸如可编程处理器(例如，中央处理单元(CPU))。处理单元2104可以可操作地与非暂时性计算机可读介质2106耦接。非暂时性计算机可读介质2106可以存储可由处理单元2104执行的用于执行一个或多个步骤的逻辑、代码和/或程序指令。非暂时性计算机可读介质可以包括一个或多个存储器单元(例如，可移动介质或诸如SD卡或随机存取存储器(RAM)的外部储存器)。在一些实施例中，来自感测模块2102的数据可以被直接传送到非暂时性计算机可读介质2106的存储单元并存储于其中。非暂时性计算机可读介质2106的存储单元可以存储可由处理单元2104执行的逻辑、代码和/或程序指令，以执行本文描述的方法的任何合适的实施例。存储单元可储存来自感测模块的感测数据以供处理单元2104处理。在一些实施例中，非暂时性计算机可读介质2106的存储单元可以用于存储由处理单元2104产生的处理结果。
在一些实施例中，处理单元2104可以可操作地与被配置为控制可移动物体的状态的控制模块2108耦接。例如，控制模块2108可以被配置为控制可移动物体的推进机构，以相对于六个自由度调节可移动物体的空间布置、速度和/或加速度。备选地或组合地，控制模块2108可以控制载体、搭载物或感测模块的状态中的一个或多个。
处理单元2104可以可操作地与被配置为从一个或多个外部设备(例如，终端、显示设备或其他远程控制器)发送和/或接收数据的通信模块2110耦接。可以使用任何合适的通信方式，例如有线通信或无线通信。例如，通信模块2110可以利用局域网(LAN)、广域网(WAN)、红外、无线电、WiFi、点对点(P2P)网络、电信网络、云通信等中的一个或多个。可选地，可以使用中继站，例如塔、卫星或移动站。无线通信可以是接近度相关的或接近度不相关的。在一些实施例中，通信可能需要或可能不需要视距。通信模块2110可以发送和/或接收以下一个或多个：来自感测模块2102的感测数据，由处理单元2104产生的处理结果、预定控制数据、来自终端或远程控制器的用户命令等。
系统2100的组件可以以任何合适的配置来布置。例如，系统2100的一个或多个组件可以位于可移动物体、载体、搭载物、终端、感测系统上或与上述一个或多个进行通信的附加的外部设备上。另外，尽管图21描绘了单个处理单元2104和单个非暂时性计算机可读介质2106，本领域技术人员将理解，这并非意在限制，并且系统2100可以包括多个处理单元和/或非暂时性计算机可读介质。在一些实施例中，多个处理单元和/或非暂时性计算机可读介质中的一个或多个可以位于不同的位置，例如位于可移动物体、载体、搭载物、终端、感测模块、与上述一个或多个进行通信的附加的外部设备、或其合适组合上，使得由系统2100执行的处理和/或存储功能的任何合适方面可以发生在前述位置中的一个或多个位置。
虽然本文已经示出和描述了本发明的优选实施例，但是对于本领域技术人员显而易见的是，这些实施例仅以示例的方式提供。在不脱离本发明的情况下，本领域技术人员将会想到许多变化、改变和备选方式。应当理解，在实施本发明时可以采用本文所述的本发明的实施例的各种备选方案。以下权利要求旨在限定本发明的范围，并且这些权利要求及其等同物的范围内的方法和结构由此被涵盖。

Claims (36)

1.一种用于控制无人飞行器(UAV)的计算机实现的方法，包括：
基于由所述UAV搭载的成像装置捕捉的多个图像来检测目标标记；
至少部分地基于所述多个图像确定所述UAV和所述目标标记之间的空间关系；以及
至少部分地基于所述空间关系控制所述UAV靠近所述目标标记，同时控制所述成像装置跟踪所述目标标记，使得所述目标标记保持在所述成像装置的视野内。
2.根据权利要求1所述的方法，其中所述目标标记是着陆标记、航向标记或安全标记。
3.根据权利要求1所述的方法，其中所述目标标记包括一个或多个同心特征。
4.根据权利要求1所述的方法，其中检测所述目标标记包括：
识别所述多个图像中的一个或多个特征；
将所述一个或多个特征与一个或多个候选标记相关联；
向所述一个或多个候选标记分配相应的权重，每个权重指示相关联的所述候选标记是所述目标标记的可能性；以及
至少部分地基于所述候选标记的权重从所述一个或多个候选标记中选择所述目标标记。
5.根据权利要求4所述的方法，其中将所述一个或多个特征与所述一个或多个候选标记相关联包括：
基于一个或多个特征属性将第一图像中的第一特征与第二图像中的第二特征进行比较；以及
基于所述比较来确定所述第一特征和所述第二特征是否对应于同一候选标记。
6.根据权利要求5所述的方法，其中所述一个或多个特征属性包括尺寸、视角或中心距。
7.根据权利要求4所述的方法，其中向所述一个或多个候选标记分配相应的权重至少部分地基于所述一个或多个特征的相对尺寸。
8.根据权利要求4所述的方法，其中向所述一个或多个候选标记分配相应的权重至少部分地基于所述一个或多个特征是否同心。
9.根据权利要求1所述的方法，其中控制所述成像装置跟踪所述目标标记包括：
基于所述多个图像检测所述目标标记与所述成像装置的视野内的预定位置的偏差；以及
实现所述成像装置的移动以校正所述偏差。
10.根据权利要求9所述的方法，其中实现所述成像装置的移动包括控制所述成像装置的载体以相对于所述UAV移动所述成像装置。
11.根据权利要求9所述的方法，其中实现所述成像装置的移动包括控制所述UAV关于所述UAV的俯仰轴、偏航轴或横滚轴移动。
12.根据权利要求1所述的方法，其中确定所述UAV和所述目标标记之间的所述空间关系包括：
至少部分地基于所述多个图像确定目标标记在相机坐标系中的第一位置；以及
至少部分地基于所述成像装置和所述UAV之间的空间关系，将所述目标标记在所述相机坐标系中的所述第一位置变换为所述目标标记在UAV坐标系中的第二位置。
13.根据权利要求1所述的方法，其中所述UAV和所述目标标记之间的空间关系包括水平距离和垂直距离，并且基于所述空间关系控制所述UAV靠近所述目标标记包括：
至少部分地基于所述水平距离生成一个或多个水平控制命令，以便UVA减小所述UAV和所述目标标记之间的所述水平距离；以及
至少部分地基于所述水平距离生成一个或多个垂直控制命令，以便UAV减小所述水平距离。
14.根据权利要求13所述的方法，其中所述水平控制命令用于控制所述UAV的水平速度。
15.根据权利要求13所述的方法，其中所述垂直控制命令用于控制所述UAV的垂直速度。
16.根据权利要求15所述的方法，其中所述UAV的垂直速度与所述UAV和所述目标标记之间的水平距离负相关。
17.根据权利要求13所述的方法，其中所述水平控制命令和所述垂直控制命令基本同时生成。
18.根据权利要求1所述的方法，还包括：控制所述UAV在着陆之前根据航向标记来对准其航向。
19.根据权利要求1所述的方法，还包括：在所述UAV着陆之前检测安全标记并验证所述安全标记。
20.一个或多个存储有计算机可执行指令的非暂时性计算机可读存储介质，所述计算机可执行指令在由计算系统执行时将所述计算系统配置为执行包括以下内容的操作：
基于由无人飞行器(UAV)搭载的成像装置捕捉的多个图像来检测目标标记；
至少部分地基于所述多个图像确定所述UAV和所述目标标记之间的空间关系；以及
基于所述空间关系控制所述UAV靠近所述目标标记，同时控制所述成像装置跟踪所述目标标记，使得所述目标标记保持在所述成像装置的视野内。
21.根据权利要求20所述的一个或多个非暂时性计算机可读存储介质，其中检测所述目标标记包括：
识别所述多个图像中的一个或多个特征；
将所述一个或多个特征与一个或多个候选标记相关联；
向所述一个或多个候选标记分配相应的权重，每个权重指示相关联的所述候选标记是所述目标标记的可能性；以及
至少部分地基于所述候选标记的权重从所述一个或多个候选标记中选择所述目标标记。
22.根据权利要求21所述的一个或多个非暂时性计算机可读存储介质，其中将所述一个或多个特征与所述一个或多个候选标记相关联包括：
基于一个或多个特征属性将第一图像中的第一特征与第二图像中的第二特征进行比较；以及
基于所述比较来确定所述第一特征和所述第二特征是否对应于同一候选标记。
23.根据权利要求22所述的一个或多个非暂时性计算机可读存储介质，其中所述一个或多个特征属性包括尺寸、视角或中心距。
24.根据权利要求21所述的一个或多个非暂时性计算机可读存储介质，其中向所述一个或多个候选标记分配相应的权重至少部分地基于所述一个或多个特征的相对尺寸或者所述一个或多个特征是否同心。
25.根据权利要求20所述的一个或多个非暂时性计算机可读存储介质，其中控制所述成像装置跟踪所述目标标记包括：
基于所述多个图像检测所述目标标记与所述成像装置的视野内的预定位置的偏差；以及
实现所述成像装置的移动以校正所述偏差。
26.根据权利要求25所述的一个或多个非暂时性计算机可读存储介质，其中实现所述成像装置的移动包括：控制所述成像装置的载体以相对于所述UAV移动所述成像装置，或者控制所述UAV关于所述UAV的俯仰轴、偏航轴或横滚轴移动。
27.根据权利要求20所述的一个或多个非暂时性计算机可读存储介质，其中确定所述UAV和所述目标标记之间的所述空间关系包括：
至少部分地基于所述多个图像确定目标标记在相机坐标系中的第一位置；以及
至少部分地基于所述成像装置和所述UAV之间的空间关系，将所述目标标记在所述相机坐标系中的所述第一位置变换为所述目标标记在UAV坐标系中的第二位置。
28.根据权利要求20所述的一个或多个非暂时性计算机可读存储介质，其中所述UAV和所述目标标记之间的空间关系包括水平距离和垂直距离，并且基于所述空间关系控制所述UAV靠近所述目标标记包括：
至少部分地基于所述水平距离生成一个或多个水平控制命令，以便UAV减小所述UAV和所述目标标记之间的所述水平距离；以及
至少部分地基于所述水平距离生成一个或多个垂直控制命令，以便UAV减小所述水平距离。
29.根据权利要求28所述的一个或多个非暂时性计算机可读存储介质，其中所述水平控制命令用于控制所述UAV的水平速度。
30.根据权利要求28所述的一个或多个非暂时性计算机可读存储介质，其中所述垂直控制命令用于控制所述UAV的垂直速度。
31.根据权利要求30所述的一个或多个非暂时性计算机可读存储介质，其中所述UAV的垂直速度与所述UAV和所述目标标记之间的水平距离负相关。
32.根据权利要求28所述的一个或多个非暂时性计算机可读存储介质，其中所述水平控制命令和所述垂直控制命令基本同时生成。
33.根据权利要求20所述的一个或多个非暂时性计算机可读存储介质，其中所述操作还包括：控制所述UAV在着陆之前根据航向标记来对准其航向。
34.根据权利要求20所述的一个或多个非暂时性计算机可读存储介质，其中所述操作还包括：在所述UAV着陆之前检测安全标记并验证所述安全标记。
35.一种计算机系统，包括：
存储器，存储一个或多个计算机可执行指令；以及
一个或多个处理器，被配置为访问所述存储器并执行所述计算机可执行指令以执行包括以下内容的步骤：
基于由无人飞行器(UAV)搭载的成像装置捕捉的多个图像来检测目标标记；
至少部分地基于所述多个图像来确定所述UAV和所述目标标记之间的空间关系；以及
基于所述空间关系控制所述UAV靠近所述目标标记，同时控制所述成像装置跟踪所述目标标记，使得所述目标标记保持在所述成像装置的视野内。
36.一种无人飞行器(UAV)，包括：
存储器，存储一个或多个计算机可执行指令；以及
一个或多个处理器，被配置为访问所述存储器并执行所述计算机可执行指令以执行包括以下内容的步骤：
基于由所述UAV搭载的成像装置捕捉的多个图像来检测目标标记；
至少部分地基于所述多个图像确定所述UAV和所述目标标记之间的空间关系；以及
基于所述空间关系控制所述UAV靠近所述目标标记，同时控制所述成像装置跟踪所述目标标记，使得所述目标标记保持在所述成像装置的视野内。
CN201680088695.0A 2016-08-26 2016-08-26 自主着陆的方法和系统 Pending CN109643129A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/096833 WO2018035835A1 (en) 2016-08-26 2016-08-26 Methods and system for autonomous landing

Publications (1)

Publication Number Publication Date
CN109643129A true CN109643129A (zh) 2019-04-16

Family

ID=61245933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680088695.0A Pending CN109643129A (zh) 2016-08-26 2016-08-26 自主着陆的方法和系统

Country Status (6)

Country Link
US (3) US11194344B2 (zh)
EP (2) EP3497530B1 (zh)
CN (1) CN109643129A (zh)
DK (1) DK3497530T3 (zh)
ES (1) ES2893959T3 (zh)
WO (1) WO2018035835A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110221625A (zh) * 2019-05-27 2019-09-10 北京交通大学 无人机精确位置的自主降落导引方法
CN111324145A (zh) * 2020-02-28 2020-06-23 厦门理工学院 一种无人机自主着陆方法、装置、设备及存储介质
CN112650304A (zh) * 2021-01-20 2021-04-13 中国商用飞机有限责任公司北京民用飞机技术研究中心 无人机自主着陆系统、方法和无人机
CN113534833A (zh) * 2021-09-17 2021-10-22 广东汇天航空航天科技有限公司 用于飞行器自主降落的视觉标签、自主降落方法及飞行器
CN114072319A (zh) * 2019-07-17 2022-02-18 村田机械株式会社 行驶车、行驶车系统以及行驶车检测方法
CN114384925A (zh) * 2022-01-12 2022-04-22 上海赫千电子科技有限公司 一种车载无人机升降方法及配对方法
CN114489129A (zh) * 2022-01-24 2022-05-13 北京远度互联科技有限公司 无人机着陆方法及相关装置

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3155369B1 (en) * 2015-06-26 2020-03-18 SZ DJI Technology Co., Ltd. System and method for measuring a displacement of a mobile platform
US10551852B2 (en) * 2016-07-21 2020-02-04 Percepto Robotics Ltd Systems and methods for automated landing of a drone
US11170216B2 (en) * 2017-01-20 2021-11-09 Sony Network Communications Inc. Information processing apparatus, information processing method, program, and ground marker system
EP3594112B1 (en) * 2017-03-06 2024-04-03 Spiral Inc. Control system for a flying object, control device therefor, and marker thereof
US11370559B1 (en) * 2017-03-13 2022-06-28 Amazon Technologies, Inc. Unmanned aerial vehicle expandable landing marker system
US10557936B2 (en) * 2017-06-30 2020-02-11 Gopro, Inc. Target value detection for unmanned aerial vehicles
CN109814588A (zh) * 2017-11-20 2019-05-28 深圳富泰宏精密工业有限公司 飞行器以及应用于飞行器的目标物追踪系统和方法
CN109839945B (zh) * 2017-11-27 2022-04-26 北京京东乾石科技有限公司 无人机降落方法、无人机降落装置及计算机可读存储介质
WO2019175994A1 (ja) * 2018-03-13 2019-09-19 日本電気株式会社 移動体誘導装置、移動体誘導方法、及びコンピュータ読み取り可能な記録媒体
CN108263633A (zh) * 2018-03-20 2018-07-10 广州亿航智能技术有限公司 一种自稳降落平台及其保持降落平面姿态的方法
US10710719B1 (en) * 2018-04-23 2020-07-14 Amazon Technologies, Inc. Deployable navigation beacons
FR3082013A1 (fr) * 2018-05-29 2019-12-06 Parrot Drones Dispositif electronique de pilotage d'un drone, drone, procede de pilotage et programme d'ordinateur associes
CN112789571A (zh) * 2018-07-05 2021-05-11 深圳市道通智能航空技术股份有限公司 无人机降落方法、装置及无人机
US11467582B2 (en) 2018-11-05 2022-10-11 Usic, Llc Systems and methods for an autonomous marking apparatus
WO2020097075A1 (en) * 2018-11-05 2020-05-14 Usic, Llc Systems and methods for autonomous marking maintenance
JP7274856B2 (ja) * 2018-12-11 2023-05-17 スリーエム イノベイティブ プロパティズ カンパニー 位置検出システム、位置検出方法、角度検出方法、マーカー
FR3092387B1 (fr) * 2019-01-31 2021-01-15 Airbus Helicopters Système d’éclairage directionnel équipant un aéronef et procédé d’éclairage associé
US11321873B1 (en) * 2019-02-04 2022-05-03 Amazon Technologies, Inc. Calibrating and detecting vibration of stereo ranging systems
US11094077B2 (en) * 2019-03-18 2021-08-17 John Lindsay System and process for mobile object tracking
CN109725645B (zh) * 2019-03-29 2019-07-12 中国人民解放军国防科技大学 一种嵌套式无人机着陆合作标志设计及相对位姿获取方法
US11378986B2 (en) * 2019-04-01 2022-07-05 Honeywell International Inc. Systems and methods for landing and takeoff guidance
FR3095267B1 (fr) * 2019-04-16 2021-12-24 Mbda France Dispositif de marquage de cible et systemes de localisation et de de traitement de cible comprenant un tel dispositif
CN110569838B (zh) * 2019-04-25 2022-05-24 内蒙古工业大学 一种基于视觉定位的四旋翼无人机自主降落方法
CN111796605A (zh) * 2019-05-23 2020-10-20 北京京东尚科信息技术有限公司 无人机降落控制方法、控制器和无人机
US11873116B2 (en) * 2019-10-15 2024-01-16 Skydio, Inc. Automated docking of unmanned aerial vehicle
DE102019219751A1 (de) * 2019-12-16 2021-06-17 Zf Friedrichshafen Ag Objekterfassung
US11521378B2 (en) 2020-01-06 2022-12-06 International Business Machines Corporation Refined searching based on detected object configurations
CN111176296B (zh) * 2020-01-20 2022-06-03 重庆邮电大学 一种基于条形码码盘的移动机器人编队的控制方法
US11670181B2 (en) * 2020-01-22 2023-06-06 Honeywell International Inc. Systems and methods for aiding landing of vertical takeoff and landing vehicle
KR102280753B1 (ko) * 2020-02-28 2021-07-21 세종대학교산학협력단 무인 비행체의 마커 기반 착륙 기법
JP7476660B2 (ja) 2020-05-19 2024-05-01 マツダ株式会社 車載用飛行体の制御システム
JP7351265B2 (ja) * 2020-06-26 2023-09-27 株式会社豊田自動織機 認識装置及び認識方法
CN112215860B (zh) * 2020-09-23 2024-05-10 国网福建省电力有限公司漳州供电公司 一种基于图像处理的无人机定位方法
KR102270715B1 (ko) * 2021-01-12 2021-06-28 김성필 무인 비행체 및 그 자동 착륙 방법
US20220260721A1 (en) * 2021-02-17 2022-08-18 Honeywell International Inc. Structured light navigation aid
WO2022180276A1 (es) * 2021-02-23 2022-09-01 Fundación Instituto Tecnológico De Galicia Sistema, método y producto de programa de aterrizaje de precisión autónomo para drones
US20230082712A1 (en) * 2021-05-25 2023-03-16 Dragonfly Pictures, Inc. System and method for tethered unmanned aerial vehicle takeoff, landing, and storage
RU2766443C1 (ru) * 2021-06-07 2022-03-15 Задорожный Артем Анатольевич Способ блокирования связи в непосредственной близости от движущегося материального объекта
CN113655806B (zh) * 2021-07-01 2023-08-08 中国人民解放军战略支援部队信息工程大学 一种无人机群辅助降落方法
KR102578901B1 (ko) * 2021-07-29 2023-09-14 주식회사 아이팝 Gps 신호 수신 불가 시 드론의 회귀 방법
CN113608542B (zh) * 2021-08-12 2024-04-12 山东信通电子股份有限公司 一种无人机自动降落的控制方法以及设备
US11443569B1 (en) * 2021-10-30 2022-09-13 Beta Air, Llc Systems and methods for battery management for a vehicle
CN114030631A (zh) * 2021-12-13 2022-02-11 江苏海洋大学 一种多旋翼无人机海上接驳数据回收与自动充电工作站
IL289357A (en) * 2021-12-23 2023-07-01 Ariel Scient Innovations Ltd An unmanned aerial vehicle and a method for landing it
CN116299400B (zh) * 2023-05-23 2023-08-15 中国兵器科学研究院 一种浮空平台位置调整方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100057278A1 (en) * 2008-09-03 2010-03-04 Korea Aerospace Research Institute System for automatically landing aircraft using image signals and method of controlling the same
CN102756808A (zh) * 2011-04-28 2012-10-31 株式会社拓普康 起飞和着陆目标仪器以及自动起飞和着陆系统
CN102967305A (zh) * 2012-10-26 2013-03-13 南京信息工程大学 基于大小回字标志物的多旋翼无人机位姿获取方法
CN104881041A (zh) * 2015-05-27 2015-09-02 深圳市高巨创新科技开发有限公司 一种无人飞行器的电量预警方法及装置
WO2016070318A1 (en) * 2014-11-04 2016-05-12 SZ DJI Technology Co., Ltd. Camera calibration

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5923422B2 (ja) * 2012-09-24 2016-05-24 クラリオン株式会社 カメラのキャリブレーション方法及び装置
US9429425B2 (en) * 2013-03-05 2016-08-30 Here Global B.V. Aerial image collection
US20160122038A1 (en) 2014-02-25 2016-05-05 Singularity University Optically assisted landing of autonomous unmanned aircraft
CN103809598B (zh) * 2014-03-12 2016-08-10 北京航空航天大学 一种基于三层品字形多色降落坪的旋翼无人机自主起降系统
CN104049641B (zh) * 2014-05-29 2017-08-25 深圳市大疆创新科技有限公司 一种自动降落方法、装置及飞行器
DE102014014446A1 (de) * 2014-09-26 2016-03-31 Airbus Defence and Space GmbH Redundantes Bestimmen von Positionsdaten für ein automatisches Landesystem
WO2016065519A1 (en) * 2014-10-27 2016-05-06 SZ DJI Technology Co., Ltd. Uav flight display
US9889932B2 (en) * 2015-07-18 2018-02-13 Tata Consultancy Services Limited Methods and systems for landing of unmanned aerial vehicle
US10088736B2 (en) * 2015-09-24 2018-10-02 Amazon Technologies, Inc. Unmanned aerial vehicle descent
WO2017066927A1 (en) * 2015-10-20 2017-04-27 SZ DJI Technology Co., Ltd. Systems, methods, and devices for setting camera parameters
CN105550692B (zh) * 2015-12-30 2018-08-31 南京邮电大学 基于标志物颜色及轮廓检测的无人机自动寻的着陆方法
US10636150B2 (en) * 2016-07-21 2020-04-28 Gopro, Inc. Subject tracking systems for a movable imaging system
JP7095600B2 (ja) * 2016-12-27 2022-07-05 ソニーグループ株式会社 対空標識、画像処理装置、画像処理方法、及び、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100057278A1 (en) * 2008-09-03 2010-03-04 Korea Aerospace Research Institute System for automatically landing aircraft using image signals and method of controlling the same
CN102756808A (zh) * 2011-04-28 2012-10-31 株式会社拓普康 起飞和着陆目标仪器以及自动起飞和着陆系统
CN102967305A (zh) * 2012-10-26 2013-03-13 南京信息工程大学 基于大小回字标志物的多旋翼无人机位姿获取方法
WO2016070318A1 (en) * 2014-11-04 2016-05-12 SZ DJI Technology Co., Ltd. Camera calibration
CN104881041A (zh) * 2015-05-27 2015-09-02 深圳市高巨创新科技开发有限公司 一种无人飞行器的电量预警方法及装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110221625A (zh) * 2019-05-27 2019-09-10 北京交通大学 无人机精确位置的自主降落导引方法
CN110221625B (zh) * 2019-05-27 2021-08-03 北京交通大学 无人机精确位置的自主降落导引方法
CN114072319A (zh) * 2019-07-17 2022-02-18 村田机械株式会社 行驶车、行驶车系统以及行驶车检测方法
CN114072319B (zh) * 2019-07-17 2024-05-17 村田机械株式会社 行驶车、行驶车系统
CN111324145A (zh) * 2020-02-28 2020-06-23 厦门理工学院 一种无人机自主着陆方法、装置、设备及存储介质
CN111324145B (zh) * 2020-02-28 2022-08-16 厦门理工学院 一种无人机自主着陆方法、装置、设备及存储介质
CN112650304A (zh) * 2021-01-20 2021-04-13 中国商用飞机有限责任公司北京民用飞机技术研究中心 无人机自主着陆系统、方法和无人机
CN112650304B (zh) * 2021-01-20 2024-03-05 中国商用飞机有限责任公司北京民用飞机技术研究中心 无人机自主着陆系统、方法和无人机
CN113534833A (zh) * 2021-09-17 2021-10-22 广东汇天航空航天科技有限公司 用于飞行器自主降落的视觉标签、自主降落方法及飞行器
CN114384925A (zh) * 2022-01-12 2022-04-22 上海赫千电子科技有限公司 一种车载无人机升降方法及配对方法
CN114384925B (zh) * 2022-01-12 2024-04-12 上海赫千电子科技有限公司 一种车载无人机升降方法及配对方法
CN114489129A (zh) * 2022-01-24 2022-05-13 北京远度互联科技有限公司 无人机着陆方法及相关装置

Also Published As

Publication number Publication date
EP3901728A1 (en) 2021-10-27
EP3901728B1 (en) 2023-10-04
WO2018035835A1 (en) 2018-03-01
US11693428B2 (en) 2023-07-04
ES2893959T3 (es) 2022-02-10
US11194344B2 (en) 2021-12-07
US20190187724A1 (en) 2019-06-20
EP3497530A4 (en) 2019-07-31
DK3497530T3 (da) 2021-09-06
EP3497530A1 (en) 2019-06-19
US20220091618A1 (en) 2022-03-24
US20230350428A1 (en) 2023-11-02
EP3497530B1 (en) 2021-07-21

Similar Documents

Publication Publication Date Title
CN109643129A (zh) 自主着陆的方法和系统
CN111527463B (zh) 用于多目标跟踪的方法和系统
US11604479B2 (en) Methods and system for vision-based landing
CN110062919B (zh) 递送车辆的放下地点规划
CN105981074B (zh) 用于标定成像装置的系统、方法和装置
CN104854428B (zh) 传感器融合
CN105492985B (zh) 一种用于在环境内控制可移动物体的系统及方法
CN108351653B (zh) 用于uav飞行控制的系统和方法
CN105518555B (zh) 目标追踪系统及方法
EP3039381B1 (en) Unmanned vehicle searches
CN108292140A (zh) 用于自动返航的系统和方法
CN110049921A (zh) 用于红外跟踪的方法和系统
CN108292141A (zh) 用于目标跟踪的方法和系统
CN107850902A (zh) 可移动物体上的相机配置
CN107209514A (zh) 传感器数据的选择性处理
CN108139758A (zh) 基于显著性特征的载运工具定位
CN106687878A (zh) 用于利用视觉标记进行监视的系统和方法
CN109521781A (zh) 无人机定位系统、无人机以及无人机定位方法
JPWO2020136703A1 (ja) 無人航空機制御システム、無人航空機制御方法、及びプログラム
Piponidis et al. Towards a Fully Autonomous UAV Controller for Moving Platform Detection and Landing
WO2023181036A2 (en) System and method for autonomously landing a vertical take-off and landing (vtol) aircraft

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190416