CN114476105A - 自动着陆表面地形评估以及相关的系统和方法 - Google Patents

自动着陆表面地形评估以及相关的系统和方法 Download PDF

Info

Publication number
CN114476105A
CN114476105A CN202210118433.1A CN202210118433A CN114476105A CN 114476105 A CN114476105 A CN 114476105A CN 202210118433 A CN202210118433 A CN 202210118433A CN 114476105 A CN114476105 A CN 114476105A
Authority
CN
China
Prior art keywords
movable object
landing
landing surface
target
drone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210118433.1A
Other languages
English (en)
Inventor
朱振宇
张宏辉
周游
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to CN202210118433.1A priority Critical patent/CN114476105A/zh
Publication of CN114476105A publication Critical patent/CN114476105A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
    • B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U60/00—Undercarriages
    • B64U60/50—Undercarriages with landing legs
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/042—Control of altitude or depth specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/32—UAVs specially adapted for particular uses or applications for imaging, photography or videography for cartography or topography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements
    • B64U70/90—Launching from or landing on platforms
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

本文公开了自动着陆表面地形评估以及相关的系统和方法。代表性的方法包括接收使可移动物体着陆的请求，以及响应于请求，基于由可移动物体获得的着陆表面的至少一个图像，来识别着陆表面上的目标着陆区域。该方法还可以包括引导可移动物体在目标着陆区域着陆。

Description

自动着陆表面地形评估以及相关的系统和方法
技术领域
本技术大体上涉及自动测量或以其他方式评估着陆表面或其他目标表面的地形的设备，以及相关的系统和方法。
背景技术
无人机(UAV)是机上没有人类飞行员操作的飞行器。无人机可以通过机外的控制人员在远程控制下操作，或者通过机载计算机自主操作。无人机的用途在军事、商业、科学、娱乐和其他应用领域迅速扩大。
发明内容
提供下面的概述是为了读者的方便，并且标识了所公开的技术的几个代表性实施例。
根据代表性实施例的用于自动识别着陆表面特征的计算机实现的方法包括：接收使可移动物体着陆的请求；响应于所述请求，基于由所述可移动物体获得的着陆表面的至少一个图像来识别所述着陆表面上的目标着陆区域；以及引导所述可移动物体着陆在目标着陆区域。在特定实施例中，所述方法可以包括：获取与所述着陆表面的所述至少一个图像的各个像素对应的深度信息，其中所述各个像素对应于所述着陆表面的各部分。在前述任一个实施例中，所述方法可以包括：生成包括各个像素的深度信息的深度图，所述深度图可以表示所述着陆表面的相应部分的高度。在前述任一个实施例中，所述至少一个图像可以包括至少两个图像，并且所述方法可以包括对所述着陆表面的所述至少两个图像执行立体匹配，以生成所述至少两个图像的匹配像素的深度信息。
在前述任一个实施例中，所述方法可以包括：识别所述着陆表面的所述至少一个图像的像素帧内的多个候选区域。所述方法还可以包括：针对单个候选区域，识别所述候选区域内的像素的最佳拟合平面，并且基于成本函数来确定与所述最佳拟合平面相关联的成本值。所述方法还可以包括：基于所述成本值，将所述候选区域中的至少一个选择为对应于所述目标着陆区域。在前述任一个实施例中，与最佳拟合平面相关联的成本值可以表示像素与所述最佳拟合平面的偏离度。在前述任一个实施例中，所述成本函数可以基于像素与所述最佳拟合平面的偏离值的平方和。在前述任一个实施例中，所述方法可以包括：通过将最佳拟合平面的法向量与重力向量进行比较来确定所述最佳拟合平面是否倾斜，并且丢弃最佳拟合平面倾斜的候选区域。在前述任一个实施例中，所述方法可以包括丢弃成本函数大于阈值的候选区域。在前述任一个实施例中，所述方法可以包括(如果因为成本函数大于阈值而丢弃所有候选区域)：引导可移动物体前往另一位置，并且捕获所述另一位置处的另一着陆表面的图像。
在前述任一个实施例中，所述方法可以包括调整所述成本函数以包括附近候选区域的成本函数信息。在前述任一个实施例中，所述调整成本函数的处理可以包括应用平滑函数来调整各个候选区域的成本函数。在前述任一个实施例中，平滑函数可以是高斯模糊函数。在前述任一个实施例中，所述选择处理可以包括选择各个候选区域中成本函数最低的候选区域。在前述任一个实施例中，所述确定多个候选区域的处理可以包括：用滑动窗口扫描像素帧以产生多个候选区域，其中所述滑动窗口的大小大于或等于所述可移动物体的大小。在前述任一个实施例中，单个候选区域的形状可以符合可移动物体的形状。
在其他实施例中，一种代表性装置包括至少一个电机和以指令编程的控制器。所述指令在被执行时：接收使所述装置着陆的请求，并且响应于所述请求，基于由所述装置获得的着陆表面的至少一个图像来识别所述着陆表面上的目标着陆区域。所述指令还可以使用所述至少一个电机来引导所述装置着陆在所述目标着陆区域。在特定实施例中，所述装置可以是无人机(UAV)、有人驾驶飞机、自动驾驶汽车、自平衡载运工具或机器人。在前述任一个实施例中，所述指令在被执行时可以在所述装置向目标着陆区域下降时捕获着陆表面的新图像，并且可以更新深度图以包括着陆表面的新图像的各个像素的深度信息，其中各个像素对应于着陆表面的各部分。所述指令可以基于所述深度图确定当所述装置下降时所述目标着陆区域是否继续满足着陆条件。
在其他实施例中，无人机(UAV)装置包括多个电机、多个螺旋桨(其中各个螺旋桨由相应的各个电机承载)、至少一个相机，以及控制器。控制器可以被以指令编程，所述指令在被执行时：基于由至少一个相机捕获的着陆表面的至少一个图像来识别着陆表面上的目标着陆区域，并且使用电机引导无人机装置在目标着陆区域着陆。在具体实施例中，所述至少一个相机可以包括两个底视相机，并且所述指令在被执行时可以使用所述两个底视相机同时捕获着陆表面的两个图像。在前述任一个实施例中，所述指令在被执行时可以在两个不同的时间点使用至少一个相机捕获着陆表面的两个图像，其中着陆表面的两个图像是从不同的视角捕获的。在前述任一个实施例中，所述指令在被执行时可以将无人机装置引导至适合进行自动地形测量的预定高度。在前述任一个实施例中，所述指令在被执行时可以确定着陆表面的至少一个图像是否是在无人机装置位于着陆表面的中心的正上方时拍摄的，以及如果着陆表面的至少一个图像不是在无人机装置位于着陆表面的中心的正上方时拍摄的，则对着陆表面的至少一个图像应用透视投影。在前述任一个实施例中，所述指令在被执行时可以引导可移动物体移动到目标着陆区域正上方的位置。
在其他实施例中，一种存储有指令的非暂时性机器可读介质，所述指令在被执行时：接收使可移动物体着陆的请求，并且响应于所述请求，基于由可移动物体获得的着陆表面的至少一个图像来识别着陆表面上的目标着陆区域。所述指令可以引导可移动物体在目标着陆区域着陆。在具体实施例中，所述指令在被执行时可以：当可移动物体向目标着陆区域下降时监视可移动物体的海拔高度；以及如果可移动物体的海拔高度发生扰乱性变化，则在继续下降之前稳定可移动物体的飞行姿态。在前述任一个实施例中，所述指令在被执行时可以：检测可移动物体的惯性导航系统或前视相机的状态的扰乱性变化；以及暂停可移动物体的下降，直到可移动物体的海拔高度不再发生扰乱性变化。在前述任一个实施例中，所述指令在被执行时可以：当可移动物体向目标着陆区域下降时监视可移动物体的海拔高度；以及如果可移动物体的海拔高度发生扰乱性变化，确定目标着陆区域当前不适合着陆。然后，可以引导可移动物体悬停在当前高度。在前述任一个实施例中，所述指令在被执行时可以：如果可移动物体的海拔高度在一段时间内持续发生扰乱性变化，则引导所述可移动物体上升到更高的高度。
附图说明
图1是根据本技术的代表性实施例的具有被配置为自动评估着陆表面的控制系统的无人机的部分示意等轴图。
图2是根据本技术的实施例配置的无人机的底部的一部分的部分示意图。
图3是根据本技术的代表性实施例的控制系统的部分示意图，该控制系统包括无人机上机载的、并被配置为控制无人机的第一控制器。
图4A是示出根据本技术的代表性实施例的用于使可移动物体着陆的过程的规划阶段的流程图。
图4B是示出根据本技术的代表性实施例的用于使可移动物体着陆的过程的下降阶段的流程图。
图5是根据本技术的代表性实施例的滑动窗口和相应的候选着陆点的部分示意图。
图6是示出根据本技术的代表性实施例的用于识别像素帧中对应于目标着陆点的平坦区域的过程的流程图。
图7是根据本技术的代表性实施例的用于候选区域的样本高斯模糊滤波器的部分示意图。
图8是根据本技术的代表性实施例的样本透视投影的部分示意图。
图9是根据本技术的代表性实施例的执行上述过程的计算设备的硬件体系结构的部分示意图。
具体实施方式
1.概览
无人机的着陆具有挑战性。例如，操作人员可以远程控制无人机的着陆过程。操作人员控制无人机以调动到目标位置，例如操作人员附近的位置。无人机捕获地面的实况图视频流，并实时地将实况图视频流发送到操作人员观看的设备。根据地面的实况图，操作人员识别出合适的着陆点(也称为目标着陆区域)，并手动控制无人机降落在该着陆点。
但是，这种着陆过程要求操作人员能够非常熟练地控制无人机。基于从无人机馈送的实况图视频来控制无人机着陆过程是具有挑战性的，特别是当操作人员不能直接目视感知无人机的飞行轨迹和姿态时。因此，在着陆过程中因人为失误导致的笨拙着陆期间，无人机可能会受到损坏。
本技术大体上涉及自动测量或以其他方式评估着陆表面或其他目标表面的地形的设备，以及相关的系统和方法。这种设备可以包括例如无人机、有人驾驶飞机、自动驾驶汽车、自平衡载运工具、机器人等。在具体实施例中，无人机可以基于计算机可视化技术自动评估着陆表面。在着陆过程期间，无人机捕获着陆表面的视觉信号(例如，图像或视频)。根据视觉信号，无人机检测着陆表面的地形特征，并识别具有适合着陆的平坦或光滑表面的地点或区域。然后，无人机降落在着陆点上，以改善着陆过程。
该技术的实现可以包括机载视觉传感器(如相机)例如基于立体匹配技术来评估着陆表面。在具体实施例中，从图像提取深度信息并将其用于重建3D地形和选择目标着陆点。与传统的无人机着陆过程相比，这种自动着陆表面测量技术的优点是，无人机(或其他类型的可移动物体)可以自动且有效地识别目标着陆点，而无需操作人员干预。相应地，这可以使无人机降落到着陆点，而不会因不平坦或倾斜的着陆表面损坏自身。
为了清楚起见，在以下描述中没有阐述如下结构或过程的细节：这些结构或过程描述公知且普遍与无人机(或其他类型的可移动物体)以及相应的系统和子系统相关联，但可能不必要地使本公开的技术的一些重要方面变得模糊。此外，尽管以下公开内容阐述了本技术的不同方面的若干实施例，但是若干其他实施例可以具有与此部分中描述的配置或部件不同的配置或部件。相应地，本技术可以具有其他实施例，这些实施例具有附加元件和/或不具有以下参考图1-9描述的若干元件。
提供了图1至图9以说明本公开的技术的代表性实施例。除非另有规定，否则附图不旨在限制本申请中的权利要求的范围。
以下描述的技术的多个实施例可以采取计算机可执行指令或控制器可执行指令的形式，包括由可编程计算机或控制器执行的例程。相关领域的技术人员将会理解，该技术可以在与以下所示和所述的那些计算机或控制器系统不同的系统上实施。该技术可以体现在被专门编程、配置或构造为执行以下所述的一个或多个计算机可执行指令的专用计算机或数据处理器中。因此，本文中通常使用的术语“计算机”和“控制器”指代任何数据处理器，并且可以包括互联网装置和手持设备(包括掌上型计算机、可穿戴计算机、蜂窝或移动电话、多处理器系统、基于处理器的或可编程的消费电子产品、网络计算机、迷你型计算机等)。由这些计算机和控制器处理的信息可以呈现在任何合适的显示介质(包括阴极射线管(CRT)显示器或液晶显示器(LCD))上。用于执行计算机或控制器可执行任务的指令可以存储在任何合适的计算机可读介质中或其上，包括硬件、固件或硬件和固件的组合。指令可以被包含在任何合适的存储设备中，包括例如闪存驱动器、通用串行总线(USB)设备和/或其他合适的介质。
2.代表性实施例
图1是根据本技术的实施例配置的代表性无人机100的部分示意等轴图。无人机100可以包括机身110，机身110又可以包括中央部分111和一个或多个外部部分112。在图1所示的代表性实施例中，机身110包括四个外部部分112(例如，臂113)，当这四个外部部分远离中心部分111延伸时，它们彼此间隔开。在其他实施例中，机身110可以包括其他数量的外部部分112。在这些实施例的任一个中，各个外部部分112可以支撑驱动无人机100的推进系统120的部件。例如，各个臂113可以支撑驱动相应的螺旋桨122的相应的各个电机121。独立于其余的电机121和螺旋桨122，无人机可以控制包括电机121和相应的螺旋桨122的每一个组。
机身110可以承载搭载物130，例如成像设备131。在具体实施例中，成像设备131可以包括相机，例如被配置为捕获视频数据、静止数据或两者的相机。相机可以对各种合适波段(包括可见波段、紫外波段、红外波段或其组合波段)中的任一波段的波长敏感。在其他实施例中，搭载物130可以包括其他类型的传感器、其他类型的货物(例如包裹或其他可交付物)或两者。在这些实施例中的多个实施例中，利用万向节150相对于机身110来支撑搭载物130，所述万向节使搭载物130相对于机身110被独立地定位。因此，例如当搭载物130包括成像设备131时，成像设备131可以相对于机身110移动以追踪目标。如图1所示，当无人机100不飞行时，起落架114可以将无人机100支撑在保护搭载物130的位置。
在代表性实施例中，无人机100包括控制系统140，该控制系统140具有在无人机100上搭载的一些部件以及不在无人机100上的一些部件。例如，控制系统140可以包括在无人机100上搭载的第一控制器141，以及位置远离无人机100并经由通信链路(例如，无线链路)连接到第一控制器141的第二控制器142(例如，人操作的基于地面的控制器)。第一控制器141可以包括机载计算机可读介质143a，其执行指导无人机100的动作(包括但不限于推进系统120和成像设备131的操作)的指令。第二控制器142可以包括机外计算机可读介质143b和一个或多个输入/输出设备148，例如显示器144和控制设备145。操作员操纵控制设备145以远程地控制无人机100，并且经由显示器144和/或其他设备接收来自无人机100的反馈。在其他代表性实施例中，无人机100可以自主操作，在这种情况下，第二控制器142可以被排除，或者可以仅用于操作员超控(override)功能。机载计算机可读介质143a可以从无人机100移除。机外计算机可读介质143b可以从第二控制器142移除，例如可与一个或多个输入/输出设备148分离。
在图1所示的代表性实施例中，无人机100包括两个前视相机171和172。相机171和172捕获人可见光谱范围、红外范围、紫外范围或其组合中的图像或视频。无人机100可以包括更多的传感器(例如在底部)。图2是根据本技术的实施例配置的代表性无人机100的底部的一部分的部分示意图。在机身110的底部，无人机还可以包括两个底视相机173和174。另外，无人机可以包括两个超声波传感器177和178。超声波传感器177和178可以检测无人机100下方的物体或着陆表面，并通过发送和接收超声波来测量到物体或地面的距离。尽管图1和图2中示出的无人机包括四个相机171-174和两个超声波传感器177-178，但是其他实施例中的无人机可以包括任何合适数量的相机或超声波传感器。在又一些其他实施例中，无人机100可以包括其他类型的传感器。
图3是第一控制器141的示意图，其可以包括处理器146、存储器147和输入/输出设备148。控制单元149(也称为控制器)指导无人机100上包括上述推进系统120在内的各种部件的操作。计算机可读介质143(其可以被容纳在任何上述部件中或者包括任何上述部件的元件)包含当被执行时指导推进系统120和其他无人机系统的行为的指令。第一通信设备161a被配置为经由通信链路160提供与第二控制器142所承载的对应第二通信设备161b的无线通信。
使用底视相机173-174或超声波传感器177-178，无人机100能够确定其相对于地面水平(例如，局部圆形水平)的飞行高度，以及评估一个或多个候选着陆表面的地形。基于评估，无人机识别候选着陆表面内适合着陆(例如，大致平坦)的着陆点。
图4A和4B是示出根据本技术的代表性实施例的用于使可移动物体着陆的过程400的流程图。图4A示出了过程400的规划阶段，而图4B示出了过程400的下降阶段。过程400可以由诸如无人机、有人驾驶飞机、自动驾驶汽车/自平衡载运工具或机器人等的各种类型的可移动物体执行。
转到图4A，在过程400的框405，可移动物体(例如无人机)接收到在目标位置着陆的指令。在框410，可移动物体导航靠近目标位置。指令的接收可以通过各种机制来触发。在一些实施例中，例如，操作人员按下第二控制器142的“返航”按钮或第二控制器142的显示器144上的“返航”按钮(如图3所示)。第二控制器142产生并发送指令给飞行中的无人机。所传输的指令可以包括目标位置的坐标。例如，第二控制器142可以包括第二控制器142自身的位置坐标作为目标位置。备选地，第二控制器142可以在指令中包括记录在第二控制器142的存储器中的预定返航位置。
在一些实施例中，该指令不一定包括目标位置的坐标。例如，当无人机开始操作和起飞时，无人机可以检测并记录起飞位置的坐标。一旦无人机接收到指令，无人机就可以使用起飞位置的坐标作为记录的目标位置进行导航。
在一些实施例中，当无人机的电池水平低于阈值水平时，无人机自身可以产生指令。无人机产生着陆指令，这样无人机可以在电池耗尽前返回着陆点，以避免失去动力而坠落。
在框415，可移动物体下降到适合进行自动地形评估或测量的预定高度。计算相对于物体(例如建筑物、船或平台)或无人机下方的地面的高度(也称为海拔高度(elevation))。在一些实施例中，基于底视相机173和174(如图2所示)的像素分辨率来判定预定高度。地形的三维(3D)重建可以基于由底视相机173和174捕获的图像。图像中的各个像素表示着陆区域。无人机悬停得越高，各个像素所表示的着陆区域越大，因此3D地形重建的分辨率越低。预定高度通常足够小，使得三维地形重建的分辨率足够高以识别无人机的适当着陆点。
另一方面，预定高度足够大，使得底视相机173和174的视野覆盖适当大的着陆区域。如果预定高度太小，则相机173-174只能覆盖较小的着陆区域，而可能不包括任何合适的着陆点。在一些实施例中，预定高度是约3米。
无人机可以使用各种类型的深度传感器来确定当前的飞行高度。例如，用于确定飞行高度的深度传感器可以包括单个相机、一对相机、超声波传感器、IMU或激光测距仪。在一些实施例中，无人机可以使用底视相机173和174(如图2所示)来确定飞行高度。如图2所示，底视相机173和174设置在无人机100的底部并且隔开一已知的距离。换句话说，底视相机173和174从不同的视角捕获物体或地面的图像或视频。无人机100可以使用立体匹配技术(例如，半全局块匹配)来找到相机172和174捕获的图像或视频帧中的相应像素，并且通过三角测量来执行3D重建过程。在其他实施例中，相机172和174可以被一个或多个外部相机(例如，图1中所示的成像设备131)取代。
在又一个实施例中，无人机可以使用单个底视相机从不同视角捕获物体或地面的图像或视频。例如，无人机的相机从第一视角捕获地面的第一图像。然后无人机移动到不同的位置，并且相机从第二视角捕获地面的第二图像。然后，无人机可以使用立体匹配技术找出这两个图像中的对应像素，并通过三角测量进行三维重建。
在又一个实施例中，无人机可以使用一个或多个超声波传感器(例如，如图2所示的超声波传感器177和178)来确定飞行高度。无人机的超声波传感器向下方的物体或地面发射超声波。发射的超声波被物体或地面反射。超声波传感器接收反射的超声波并且基于超声波的行进时间来确定高度。
此外，无人机100可以使用机载惯性测量单元(IMU)来确定飞行高度。IMU可以包括例如一个或多个加速度计、陀螺仪、磁力计或其组合。IMU提供加速度信息，加速度信息可以用于通过积分运算来计算速度和位置信息。
在一些实施例中，无人机100可以使用多个部件(诸如超声波传感器177和178、底视相机173和174以及IMU)的组合来确定飞行高度。在一些其他实施例中，无人机100在诸如超声波传感器177和178、底视相机173和174以及IMU之类的部件之间动态地切换以确定飞行高度。
在框416，可移动物体使用一个或多个相机(例如，如图1所示的无人机100的相机172和174)来捕获图像。在判定框417，可移动物体确定图像是否是在无人机处于水平状态时捕获的。换句话说，可移动物体确定图像是否是针对无人机正下方的着陆表面捕获的。如果否，则在框418，可移动物体应用透视投影，稍后参考图8进行描述。如果是，则过程直接前进至步骤420。
在框420，可移动物体确定相机172和174的像素帧中的滑动窗口的大小，其对应于地面帧中的目标着陆点的大小。图5是根据本技术的代表性实施例的滑动窗口和相应的合适目标着陆点的部分示意图。目标着陆点515位于地面帧510中。目标着陆点515具有半径R。代表性的圆形滑动窗口525位于像素帧520中。滑动窗口525具有半径r。尽管图5示出了具有圆形形状的目标着陆点515和滑动窗口525，但是目标着陆点515和滑动窗口525可以具有其他合适的形状，例如正方形、长方形等。
像素帧520表示捕获地面上的地面帧510的图像或视频的底视相机173和174中的像素区域。换句话说，像素帧520的各个像素包含地面上的地面帧510内的对应区域的视觉信息。地面帧510中的目标着陆点515具有足够大的大小以供无人机着陆。因此，目标着陆点515的大小可以取决于无人机的大小(例如，“占地面积(footprint)”或平面图大小)。平面图是从上向下看的无人机(或其他类型的可移动物体)或全体的轮廓。在一些实施例中，目标着陆点515的大小等于无人机的大小。类似地，目标着陆点515的形状也可以与无人机的形状相关。在一些实施例中，例如，目标着陆点515的形状通常可以符合无人机的形状(例如平面图形状)。
滑动窗口525表示像素帧520中捕获目标着陆点515的图像的的区域。如图5所示，滑动窗口525的半径r取决于无人机的大小、当前高度以及相机172和174的焦距：r＝f*R/H，其中R是目标着陆点的半径，f是焦距，H是焦距加上所测量的相机和着陆表面之间的当前飞行高度。
回到图4A，在框425，可移动物体使用滑动窗口扫描像素帧以识别对应于目标着陆点的平坦区域。稍后参考图6描述在框425中执行的过程的细节。
然后在判定框430，可移动物体确定是否识别出平坦区域。如果在判定框430无人机识别像素帧内没有平坦区域，则框485包括围绕目标位置导航。过程400进一步返回框416，捕获另一区域的图像以识别可能的着陆点。
如果无人机识别出与目标着陆点对应的平坦区域，则过程400前进到如图4B所示的下降阶段。转到图4B，在框435，可移动物体进行导航并下降到被识别为目标着陆点的平坦区域。此外，在框440，可移动物体在下降过程期间实时监测海拔高度。在判定框445，可移动物体确定是否存在飞行海拔高度的扰乱性变化。飞行海拔高度的扰乱性变化可以由底视相机173和174、IMU或其组合检测。由于无人机是逐渐下降的，这种扰乱性变化可表明环境的变化，特别是着陆表面的变化。例如，可能已经有障碍物移动到着陆表面上。
在一些实施例中，如果基于可移动物体的当前下降速度、飞行海拔高度的变化大于预测飞行海拔高度的变化，则可移动物体确定该变化是扰乱性的(例如，提示存在向下气流)。在一些其他实施例中，如果飞行海拔高度的变化快于可移动物体设计运行的最大下降速度，则可移动物体确定变化是扰乱性的。
如果没有飞行海拔高度的扰乱性变化，则在框450，可移动物体继续下降，直到无人机着陆为止。如果存在飞行海拔高度的扰乱性变化，则在框455，可移动物体检查无人机的另一传感器(例如，惯性导航系统或前视相机(如图1所示的前视相机171和172))的状态。判定框460包括确定是否存在惯性导航系统或前视相机的状态的进一步扰乱性变化。如果存在惯性导航系统或前视相机的状态的进一步扰乱性变化，则这通常表明无人机的飞行高度不稳定。因此，在框465，可移动物体在继续下降之前先稳定无人机飞行高度。
如果不存在惯性导航系统或前视相机的状态的扰乱性变化，则这通常表明无人机自身正在平稳下降。相反，飞行海拔高度的扰乱性变化是由环境变化引起的(例如，人或物体出现在着陆点上)。在框470，可移动物体暂停下降过程并悬停。在判定框475，机器确定飞行海拔高度读数是否在特定(例如，预先选择的)时间段内返回到正常水平。如果是，则在框480，可移动物体继续下降直到无人机着陆为止。否则，过程400回到计划阶段的框416(图4A所示)，重复识别另一目标着陆点的过程。
在一些实施例中，控制器(例如，如图1和3所示的第一控制器141)可以以指令编程，所述指令当被执行时，执行如图4A和4B所示的一个或多个步骤。例如，装置可以包括结构和该结构承载的一个或多个电机。结构可以包括例如无人机、有人驾驶飞机、自动驾驶汽车、自平衡载运工具或机器人中的至少一部分。该装置还可以进一步包括被编程为执行过程400中的一个或多个步骤的控制器。
图6是示出根据本技术的代表性实施例的用于识别像素帧中对应于目标着陆点的平坦区域的过程600的流程图。在框605，可移动物体(例如，无人机)通过将滑动窗口移动到像素帧内的一个位置来识别图像的像素帧内的候选区域。例如，基于上面参考图5描述的技术来确定滑动窗口的大小。各个候选区域占据像素帧的独特部分。候选区域可以但不一定相互重叠。在一些实施例中，该技术可以确定用于移动滑动窗口的步长(例如通过像素来测量)。例如，在识别出候选区域后，可以通过将滑动窗口从当前候选区域移动所确定的步长来确定下一个候选区域。
在框610，可移动物体获取候选区域内的单个像素的位置坐标和深度坐标。例如，单个像素可以具有三个坐标。x和y坐标表示像素在像素帧内的位置。z坐标表示由像素表示的着陆表面的一部分的深度信息。因此，像素的x、y、z坐标再现由候选区域表示的着陆区域的地形。在一些实施例中，可以基于由两个相机(例如，图1中所示的相机172和174)同时捕获的图像或单个相机捕获的两个顺序图像，使用立体匹配技术(例如，半全局块匹配)来获取深度信息。在其他实施例中，可以使用另一个距离传感器(如超声波传感器)来获取深度信息。
在框615，可移动物体识别与候选区域的像素的坐标拟合的“最佳拟合”平面，以及与最佳拟合平面相关联的成本函数，成本函数表示像素与该平面的偏离度。最佳拟合平面是可能的拟合平面中具有最小成本值的平面。换句话说，偏离度表明候选区域的像素是否可以被视为平坦平面。如果偏离度较小，则候选区域表示的实际着陆表面被认为是平坦的，并且适合用于正确着陆。
在一些实施例中，可移动物体可以使用算法(例如Leverberg-Marquardt算法)来找到最佳拟合平面及其相关联的成本值。
该算法使像素Yi与拟合平面函数f的偏离值的平方和最小化。
Figure BDA0003497488250000141
拟合平面函数可以表示为：
Figure BDA0003497488250000142
残差向量r为：
Figure BDA0003497488250000151
用于计算成本值的成本函数为：
Figure BDA0003497488250000152
还可以根据例如以下算法使残差进一步衰减：
(JTJ+λI)δ＝JTr,
其中J是残差相对于各参数的导数的雅可比矩阵，λ是衰减参数(两步之间的自适应平衡)，以及r是残差向量。
衰减过程首先初始化衰减参数的值，并在初始参数猜测时求出残差r和雅克比矩阵J。然后，衰减过程计算出度量g＝JTJ+λI，以及成本梯度
Figure BDA0003497488250000153
然后，衰减过程求出由
Figure BDA0003497488250000154
给出的点处的新残差rnew，并计算新的点处的成本Cnew＝1/2rnew 2。如果Cnew<C，则该过程接受步长x＝xnew，并且设置r＝rnew和λ＝λ/λdown。否则，该过程拒绝该步长，并保持旧的参数猜测x和旧的残差r，以及调整λ＝λ/λup。衰减过程对收敛进行检查。如果存在收敛，则该过程返回x作为最佳拟合参数。如果尚不存在收敛但步长被接受，则该过程求出新参数值处的雅可比矩阵J，并返回计算度量g和成本梯度。
在判定框620，可移动物体确定像素帧内的所有候选区域是否都已被处理。如果否，则过程600返回到框605，识别像素帧内的另一候选区域。如果像素帧内的所有候选区域都已被处理，则在框625，可移动物体丢弃成本值大于阈值的候选区域。被丢弃的区域被认为是不平坦的，因为相关联的成本值较大，这意味着它们的像素不接近最佳拟合平面。换句话说，相应的着陆表面部分不平坦或不够平坦。
在框630，可移动物体进一步丢弃倾斜的候选区域。倾斜的候选区域表示倾斜的着陆表面，其不适合正确着陆。在一些实施例中，对于各个候选区域，可移动物体可以将重力向量的方向(其可以由例如IMU确定)与候选区域的最佳拟合平面的法向量的方向进行比较。如果重力向量和法向量的方向之间的角度超过阈值，则相应的着陆表面过于倾斜而不能用于着陆。
在框640，可移动物体可以应用平滑函数来调整各个其余候选区域的成本函数，使得调整后的成本函数包括附近候选区域的成本函数的信息。应用平滑函数的原因在于，在至少一些实施例中，目标不仅仅是选择具有最低成本函数(这意味着平坦表面)的候选区域，而是选择附近区域也相对平坦的候选区域。这是有益的，因为无人机或其他设备可能在着陆过程中偏离规划的路径，并且可能降落在附近的区域而不是所选择的候选区域。因此，选择附近区域也相对平坦的候选区域降低了无人机在着陆过程中受损的概率。
在一些实施例中，平滑函数可以是例如高斯模糊函数。例如，图7是根据本技术的代表性实施例的高速模糊滤波器的部分示意图。图7中所示的3×3高斯模糊滤波器可以应用于例如过程600的框640。如图7所示，高斯模糊滤波器取候选区域的原始成本函数的1/4，以及上下左右相邻区域的成本函数的1/8以及四角区域的成本函数的1/16。
返回图6，在框650，可移动物体选择根据调整后的成本函数计算出的成本值最小的候选区域作为与目标着陆点对应的平坦区域。通过平滑函数(例如，高斯模糊滤波器)调整的调整后的成本函数的成本值不仅指示候选区域是否平坦，而且还指示附近区域的平坦度。然后，根据图4A和4B所示的过程，无人机可以下降到所识别的目标着陆点。
如图4A和图4B所示的过程400，如果图像不是在无人机处于水平状态时捕获的，则可移动物体可以对图像应用透视投影。图8是根据本技术的代表性实施例的透视投影的部分示意图。如图8所示，所捕获图像的像素帧820不对应于无人机正下方的着陆表面。像素帧820内的区域825在地面帧810上具有对应的透视投影区域815。在各种实施例中，区域825可以具有不同的形状，诸如圆形、椭圆形、正方形、矩阵等。因此，投影区域815可以具有诸如圆形、椭圆形、正方形、矩形等的形状。例如，区域825可以是圆形的并且投影区域815可以是椭圆形的。
假设[u，v]是像素帧820内的区域825内的像素的坐标，则透视投影区域815上的对应点的坐标表示为[xw，yw，zw]。透视投影运算是：
Figure BDA0003497488250000171
K是本征矩阵，其包括与相机相关的参数，例如焦距、图像传感器格式、相机镜头的主点和镜头失真。R和T包括外部参数，其表示从世界坐标[xw，yw，zw]到相机坐标[u，v]的坐标系变换。R是旋转矩阵。T表示用相机中心坐标系的坐标来表示的世界坐标系原点的位置。如果选择坐标系使得原点位于投影区域的中心，则zw＝0，xw 2+yw 2＝1。
换句话说，
Figure BDA0003497488250000172
因此，
Figure BDA0003497488250000173
图9是根据本技术的代表性实施例的可以执行上述过程的计算设备的硬件体系结构的部分示意图。计算设备900可以执行下面详细描述的处理器可执行处理步骤中的一些或全部。在各种实施例中，计算设备900包括包含一个或多个处理器902的处理器子系统。处理器902可以是或可以包括一个或多个可编程通用或专用微处理器、数字信号处理器(DSP)、可编程控制器、专用集成电路(ASIC)、可编程逻辑器件(PLD)等，或这些基于硬件的设备的组合。
计算设备900还可以包括存储器904、网络适配器910、集群访问适配器912和存储设备适配器914，它们全部通过互连设备908进行互连。互连设备908可以包括例如系统总线、外围组件互连(PCI)总线、超传输(HyperTransport)或工业标准体系结构(ISA)总线、小型计算机系统接口(SCSI)总线、通用串行总线(USB)、电气电子工程师协会(I9E)标准1394总线(有时称为“火线”)或任何其他数据通信系统。
集群访问适配器912包括适于将计算设备900耦合到其他设备的一个或多个端口。在所示的实施例中，以太网可以用作集群协议和互连介质，但是在此描述的集群体系结构内可以利用其他类型的协议和互连。
计算设备900可以被实现为执行操作系统906的单处理器或多处理器系统，其中操作系统906可以实现高层模块(例如管理器)，以将信息在存储设备上逻辑地组织为命名目录、文件和称为虚拟磁盘的特殊类型文件的层级结构。计算设备900还可以包括用于图形处理任务或并行处理非图形任务的图形处理单元。
存储器904可以包括可由处理器902和适配器910、912以及914寻址的存储位置，以存储处理器可执行的代码和数据结构。处理器902和适配器910、912和914又可以包括被配置为执行软件代码和操纵数据结构的处理元件和/或逻辑电路。操作系统906(其一部分通常驻留在存储器中并由处理器902执行)通过特别是配置处理器902进行调用来功能性地组织计算设备900。对于本领域技术人员来说显而易见的是，可以使用包括各种计算机可读存储介质的其他处理和存储器实现来存储和执行与本技术有关的程序指令。
网络适配器910可以包括多个端口以将计算设备900通过点对点链路、广域网、在公共网络(如因特网)上实现的虚拟专用网络或共享局域网耦合到一个或多个客户端。因此，网络适配器910可以包括将计算设备900连接到网络所需的机械、电子和信令电路。说明性地，网络可以体现为以太网网络或光纤通道(FC)网络。客户端可以通过根据预定义协议(例如TCP/IP)交换离散帧或数据分组而在网络上与计算设备通信。
存储设备适配器914可以与操作系统906协作以访问客户端请求的信息。信息可以存储在任何类型的可写存储介质的附接阵列中，例如磁盘或磁带、光盘(例如CD-ROM或DVD)、闪存、固态盘(SSD)、电子随机存取存储器(RAM)、微机电和/或适于存储信息(包括数据和奇偶信息)的任何其他类似介质。存储设备适配器914可以包括具有输入/输出(I/O)接口电路的多个端口，该输入/输出(I/O)接口电路通过I/O互连装置(例如常规的高性能光纤通道(FC)链路拓扑)耦合到磁盘。在各种实施例中，集群适配器912和存储设备适配器914可以被实现为一个适配器，该一个适配器被配置为连接到交换结构(例如存储网络交换机)以便与其他设备和大容量存储设备进行通信。
上述几个实施例的一个特征是无人机可以使用计算机可视化技术自动评估或测量着陆表面。无人机可以使用其视觉传感器(如相机)例如利用立体匹配技术来测量着陆表面。可以从图像中提取深度信息，并用于重建三维地形和选择目标着陆点。这种布置的优点是无人机可以自动且有效地识别目标着陆点而无需操作人员的干预。因此，无人机可以正确地下降到着陆点，而不会由于不平坦或倾斜的着陆表面使自身损坏。
从上文中可以理解，本文为了说明的目的已经描述了本技术的具体实施例，但是可以在不偏离本技术的情况下进行各种修改。例如，地形测量技术可以应用于除无人机以外的其他设备，例如有人驾驶飞机、自动驾驶汽车、自平衡载运工具、机器人、可穿戴设备(诸如智能眼镜、虚拟现实(VR)或增强现实(AR)的头戴式显示器)。例如，自动驾驶汽车或机器人可以包括用于捕获自动驾驶汽车或机器人前方的地表面的图像的一个或多个相机。自动驾驶汽车或机器人通过从图像中提取深度信息来测量地形条件。基于地形条件，自动驾驶汽车或机器人自动选择具有平滑驾驶表面的路线。
以上在几个实施例的内容中将着陆场所描述为包括地面。在其他实施例中，着陆场所可以包括物体(例如船、载运工具或平台)、水或其他合适的场所。
本技术通常也可以针对诸如智能眼镜、虚拟现实(VR)或增强现实(AR)头戴式显示器等的可穿戴设备。本技术可以自动测量或以其他方式评估这种可穿戴设备或穿戴该可穿戴设备的用户前方的表面的地形，并识别适合用户前往的目标表面。本技术还可以使用能够向用户输出目标表面信息的可穿戴设备或其他设备来向用户指示目标表面。
在具体实施例的上下文中描述的技术的某些方面可以在其他实施例中被组合或排除。例如，在一些实施例中，如果无人机能够在倾斜的表面上着陆，则无人机不需要丢弃倾斜的候选区域。在一些实施例中，如果无人机配备有无论无人机的飞行姿态如何都将相机自动定向为向下捕获图像的机构，则无人机不需要对捕获的图像应用透视投影。在其他实施例中，例如，如果无人机能够以准确的方式下降到着陆点，则无人机不对候选区域的成本函数应用平滑函数。
此外，尽管已经在这些实施例的上下文中描述了与本技术的某些实施例相关联的优点，但是其它实施例也可以表现出这样的优点，并且并非全部实施例都需要显示出这样的优点才落入本技术范围内。因此，本公开和相关联的技术可以包含未在本文中明确示出或描述的其它实施例。
就本文并入的任何材料与本公开相冲突的方面而言，以本公开为准。
本专利文件的公开内容的至少一部分包含受到版权保护的材料。版权所有人不反对任何人对专利文档或专利公开进行复制再现，因为其在专利和商标局中的专利文件或记录中出现，但是在其他情况下版权所有人保留所有版权。

Claims (15)

1.一种控制可移动物体自动降落的方法，其特征在于，包括：
接收使所述可移动物体在目标位置着陆的请求；
引导所述可移动物体靠近所述目标位置；
基于由所述可移动物体识别的着陆表面的平坦区域作为目标着陆区域；
引导所述可移动物体在所述目标着陆区域着陆。
2.如权利要求1所述的方法，其特征在于，还包括：
如果可移动物体未识别出所述着陆表面上的目标着陆区域，则可移动物体围绕所述目标位置导航。
3.如权利要求1所述的方法，其特征在于，还包括：
在引导所述可移动物体靠近所述目标位置后，进一步引导所述可移动物体下降到适合自动地形评估或测量的预定高度。
4.根据权利要求1所述的方法，其特征在于，基于由所述可移动物体识别的着陆表面的平坦区域作为目标着陆区域，包括：
基于由所述可移动物体获得的着陆表面的至少一个图像来识别所述着陆表面上的目标着陆区域。
5.如权利要求4所述的方法，其特征在于，还包括：
如果可移动物体未识别出所述着陆表面上的目标着陆区域，则引导所述可移动物体前往另一位置；以及
捕获所述另一位置处的另一着陆表面的图像。
6.根据权利要求4所述的方法，其特征在于，如果所述着陆表面的所述至少一个图像不是在所述可移动物体位于所述着陆表面的中心的正上方时拍摄的，则对所述着陆表面的所述至少一个图像应用透视投影。
7.根据权利要求4-6任一项所述的方法，其特征在于，基于由所述可移动物体获得的着陆表面的至少一个图像来识别所述着陆表面上的目标着陆区域，包括：
生成所述至少一个图像中各个像素的深度信息的深度图，以表示所述着陆表面的相应部分的高度，其中，所述各个像素对应于所述着陆表面的各部分。
8.根据权利要求7所述的方法，其特征在于，所述至少一个图像包括至少两个图像，并且所述方法还包括：
对所述着陆表面的所述至少两个图像执行立体匹配，以生成所述至少两个图像的匹配像素的深度信息。
9.根据权利要求7所述的方法，其特征在于，还包括：
基于深度图中的像素的位置坐标和深度坐标识别最佳拟合平面，并且基于成本函数确定与所述最佳拟合平面相关联的成本值，基于所述成本值确定所述目标着陆区域。
10.根据权利要求9所述的方法，其特征在于，与所述最佳拟合平面相关联的所述成本值表示像素与所述最佳拟合平面的偏离度。
11.根据权利要求9所述的方法，其特征在于，如果因为成本函数大于阈值而丢弃了所有像素，则：
引导所述可移动物体前往另一位置；以及
捕获所述另一位置处的另一着陆表面的图像。
12.根据权利要求9所述的方法，其特征在于，还包括：
通过将最佳拟合平面的法向量与重力向量进行比较来确定所述最佳拟合平面是否倾斜。
13.根据权利要求7所述的方法，其特征在于，还包括：
在所述可移动物体向所述目标着陆区域降落时，捕获所述着陆表面的新图像；
更新深度图以包括所述着陆表面的所述新图像的各个像素的深度信息，其中所述各个像素对应于所述着陆表面的各部分；以及
基于所述深度图确定当所述可移动物体降落时所述目标着陆区域是否继续满足着陆条件。
14.根据权利要求4所述的方法，其特征在于，所述着陆表面的至少一个图像通过可移动物体的低视相机获取。
15.一种可移动物体，包括：
多个电机；
多个螺旋桨，其中各个螺旋桨由相应的各个马达承载；
至少一个相机；以及
以指令编程的控制器，所述指令在被执行时：
接收使所述可移动物体在目标位置着陆的请求；
引导所述可移动物体靠近所述目标位置；
基于由所述可移动物体识别的着陆表面的平坦区域作为目标着陆区域；
引导所述可移动物体在所述目标着陆区域着陆。
CN202210118433.1A 2016-08-06 2016-08-06 自动着陆表面地形评估以及相关的系统和方法 Pending CN114476105A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210118433.1A CN114476105A (zh) 2016-08-06 2016-08-06 自动着陆表面地形评估以及相关的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201680088114.3A CN109562844B (zh) 2016-08-06 2016-08-06 自动着陆表面地形评估以及相关的系统和方法
PCT/CN2016/093767 WO2018027338A1 (en) 2016-08-06 2016-08-06 Automatic terrain evaluation of landing surfaces, and associated systems and methods
CN202210118433.1A CN114476105A (zh) 2016-08-06 2016-08-06 自动着陆表面地形评估以及相关的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680088114.3A Division CN109562844B (zh) 2016-08-06 2016-08-06 自动着陆表面地形评估以及相关的系统和方法

Publications (1)

Publication Number Publication Date
CN114476105A true CN114476105A (zh) 2022-05-13

Family

ID=61160979

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210118433.1A Pending CN114476105A (zh) 2016-08-06 2016-08-06 自动着陆表面地形评估以及相关的系统和方法
CN201680088114.3A Active CN109562844B (zh) 2016-08-06 2016-08-06 自动着陆表面地形评估以及相关的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201680088114.3A Active CN109562844B (zh) 2016-08-06 2016-08-06 自动着陆表面地形评估以及相关的系统和方法

Country Status (3)

Country Link
US (3) US11022984B2 (zh)
CN (2) CN114476105A (zh)
WO (1) WO2018027338A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114476105A (zh) 2016-08-06 2022-05-13 深圳市大疆创新科技有限公司 自动着陆表面地形评估以及相关的系统和方法
US10402646B2 (en) * 2017-09-21 2019-09-03 Amazon Technologies, Inc. Object detection and avoidance for aerial vehicles
US11623764B2 (en) * 2018-01-10 2023-04-11 Ford Global Technologies, Llc Moveable mounting structure for UAV
WO2019157455A1 (en) * 2018-02-09 2019-08-15 Skydio, Inc. Aerial vehicle smart landing
WO2020215271A1 (en) * 2019-04-25 2020-10-29 Powervision Tech (Suzhou ) Ltd. Unmanned vehicle capable of displaying images on a remote plane
JPWO2020262060A1 (zh) * 2019-06-27 2020-12-30
US11964775B2 (en) * 2019-08-27 2024-04-23 Sony Group Corporation Mobile object, information processing apparatus, information processing method, and program
US11958183B2 (en) 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
JP7263630B2 (ja) 2020-02-13 2023-04-24 スカイディオ，インコーポレイテッド 無人航空機による３次元再構成の実行
WO2022104746A1 (zh) * 2020-11-20 2022-05-27 深圳市大疆创新科技有限公司 返航控制方法、装置、无人机及计算机可读存储介质
CN112650304B (zh) * 2021-01-20 2024-03-05 中国商用飞机有限责任公司北京民用飞机技术研究中心 无人机自主着陆系统、方法和无人机
KR102312012B1 (ko) * 2021-04-13 2021-10-12 세종대학교산학협력단 무인 비행체의 거리 센서를 이용한 지표면의 공중 분석
CN113353246B (zh) * 2021-07-03 2024-01-30 中国飞机强度研究所 一种直升机仿生腿起落架自适应着陆控制方法
CN113359810B (zh) * 2021-07-29 2024-03-15 东北大学 一种基于多传感器的无人机着陆区域识别方法
IL289357A (en) * 2021-12-23 2023-07-01 Ariel Scient Innovations Ltd An unmanned aerial vehicle and a method for landing it
CN114924585B (zh) * 2022-05-19 2023-03-24 广东工业大学 基于视觉的旋翼无人机在崎岖地表的安全降落方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102417037A (zh) * 2010-09-28 2012-04-18 株式会社拓普康 自动起飞和着陆系统
CN103587708A (zh) * 2013-11-14 2014-02-19 上海大学 超小型无人旋翼飞行器野外定点零盲区自主软着陆方法
CN104049641A (zh) * 2014-05-29 2014-09-17 深圳市大疆创新科技有限公司 一种自动降落方法、装置及飞行器
CN104656669A (zh) * 2015-03-10 2015-05-27 无锡桑尼安科技有限公司 基于图像处理的无人机着陆位置搜索系统
CN105182995A (zh) * 2015-03-10 2015-12-23 无锡桑尼安科技有限公司 无人机自动着陆系统
WO2016109000A2 (en) * 2014-10-20 2016-07-07 Sikorsky Aircraft Corporation Optimal safe landing area determination

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6065406A (en) * 1998-06-24 2000-05-23 Katzer; Matthew A. Model train control system
US20060167599A1 (en) * 2005-01-24 2006-07-27 Bodin William K Identifying a UAV landing location
JP4624287B2 (ja) * 2006-03-17 2011-02-02 株式会社パスコ 建物形状変化検出方法及び建物形状変化検出システム
US8019490B2 (en) * 2006-09-29 2011-09-13 Applied Minds, Llc Imaging and display system to aid helicopter landings in brownout conditions
CN100567898C (zh) * 2007-01-16 2009-12-09 北京航空航天大学 无人直升机着陆引导方法及其装置
US20090306840A1 (en) * 2008-04-08 2009-12-10 Blenkhorn Kevin P Vision-based automated landing system for unmanned aerial vehicles
US9041915B2 (en) * 2008-05-09 2015-05-26 Ball Aerospace & Technologies Corp. Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR
AU2009344853A1 (en) * 2008-12-19 2011-08-04 Xollai, Llc System and method for autonomous vehicle control
KR100995362B1 (ko) * 2010-06-18 2010-11-19 주식회사 네스앤텍 무인 비행체의 비행고도 제어장치
GB201118694D0 (en) * 2011-10-28 2011-12-14 Bae Systems Plc Identification and analysis of aircraft landing sites
KR101350242B1 (ko) * 2012-05-29 2014-01-14 서울대학교산학협력단 깊이 지도를 이용한 멀티로터의 착륙 위치 결정 방법 및 그 장치
CN104006790A (zh) * 2013-02-21 2014-08-27 成都海存艾匹科技有限公司 基于视觉的飞机降落辅助装置
US9075415B2 (en) * 2013-03-11 2015-07-07 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
US20160093225A1 (en) * 2013-04-16 2016-03-31 Bae Systems Australia Limited Landing system for an aircraft
WO2014169353A1 (en) * 2013-04-16 2014-10-23 Bae Systems Australia Limited Landing site tracker
US9565377B2 (en) * 2013-04-30 2017-02-07 International Business Machines Corporation Multifunctional sky camera system for total sky imaging and spectral radiance measurement
US9266611B2 (en) * 2013-06-20 2016-02-23 University Of Florida Research Foundation, Inc. Flight path development for remote sensing vehicles in a moving reference frame
FR3009117B1 (fr) * 2013-07-24 2016-11-25 Airbus Operations Sas Procede et systeme d'atterrissage automatique autonome
ITRM20130473A1 (it) * 2013-08-12 2013-11-11 Unit 1 Srl Convertiplano con nuove soluzionitecniche ed aerodinamiche atte a rendere sicuro e fruibile il mezzo anche in soluzioni di velivolo ultraleggero
US9557742B2 (en) * 2013-11-27 2017-01-31 Aurora Flight Sciences Corporation Autonomous cargo delivery system
US9177481B2 (en) * 2013-12-13 2015-11-03 Sikorsky Aircraft Corporation Semantics based safe landing area detection for an unmanned vehicle
US20160122038A1 (en) * 2014-02-25 2016-05-05 Singularity University Optically assisted landing of autonomous unmanned aircraft
US9262929B1 (en) * 2014-05-10 2016-02-16 Google Inc. Ground-sensitive trajectory generation for UAVs
EP3786742A1 (en) * 2014-05-30 2021-03-03 SZ DJI Technology Co., Ltd. Systems and methods for uav docking
US9617011B2 (en) * 2014-06-24 2017-04-11 Sikorsky Aircraft Corporation Probabilistic safe landing area determination
US9499265B2 (en) * 2014-07-02 2016-11-22 Skycatch, Inc. Unmanned aerial vehicle landing interface
US9087451B1 (en) * 2014-07-14 2015-07-21 John A. Jarrell Unmanned aerial vehicle communication, monitoring, and traffic management
FR3024127B1 (fr) * 2014-07-25 2016-08-26 Airbus Operations Sas Procede et systeme d'atterrissage automatique autonome
US20160034607A1 (en) * 2014-07-31 2016-02-04 Aaron Maestas Video-assisted landing guidance system and method
US9639088B2 (en) * 2014-08-14 2017-05-02 Sikorsky Aircraft Corporation Autonomous long-range landing using sensor data
CN105556408B (zh) * 2014-09-15 2018-02-13 深圳市大疆创新科技有限公司 一种飞行器的飞行控制方法及相关装置
CN104309803B (zh) * 2014-10-27 2017-07-21 广州极飞科技有限公司 旋翼飞行器自动降落系统及方法
WO2016130721A2 (en) * 2015-02-11 2016-08-18 Aerovironment, Inc. Survey migration system for vertical take-off and landing (vtol) unmanned aerial vehicles (uavs)
FR3033924B1 (fr) * 2015-03-16 2017-03-03 Sagem Defense Securite Procede d'assistance automatique a l'atterrissage d'un aeronef
FR3038991B1 (fr) * 2015-07-16 2018-08-17 Safran Electronics & Defense Procede d'assistance automatique a l'atterrissage d'un aeronef
CN105043395B (zh) * 2015-07-17 2017-12-05 浙江工业大学 一种飞行器月表软着陆的实时动态选址方法
JP6100868B1 (ja) * 2015-11-09 2017-03-22 株式会社プロドローン 無人移動体の操縦方法および無人移動体監視装置
CN105387860B (zh) * 2015-12-16 2017-12-22 西北工业大学 结合单目视觉与激光测距的无人机自主着陆导引方法
US9963246B2 (en) * 2016-03-28 2018-05-08 Amazon Technologies, Inc. Combining depth and thermal information for object detection and avoidance
US20170354887A1 (en) * 2016-06-08 2017-12-14 Bruce Bollermann Systems & methods for parachute flight simulation
US11017681B2 (en) * 2016-06-24 2021-05-25 Intel IP Corporation Unmanned aerial vehicle avoiding obstacles
CN114476105A (zh) * 2016-08-06 2022-05-13 深圳市大疆创新科技有限公司 自动着陆表面地形评估以及相关的系统和方法
US20180350086A1 (en) * 2017-05-31 2018-12-06 Qualcomm Incorporated System And Method Of Dynamically Filtering Depth Estimates To Generate A Volumetric Map Of A Three-Dimensional Environment Having An Adjustable Maximum Depth
WO2019157455A1 (en) * 2018-02-09 2019-08-15 Skydio, Inc. Aerial vehicle smart landing
CN108710383A (zh) * 2018-05-25 2018-10-26 哈尔滨工业大学 一种基于航点规划与跟踪的四旋翼飞行器自主降落控制方法
US10706587B1 (en) * 2018-09-25 2020-07-07 Amazon Technologies, Inc. Calibration of multiple cameras
US11352131B2 (en) * 2018-10-18 2022-06-07 Aurora Flight Sciences Corporation Multi-point contact, flexed landing gear
WO2020198119A1 (en) * 2019-03-23 2020-10-01 Uatc, Llc Depth estimation for autonomous devices
US20200012296A1 (en) * 2019-08-27 2020-01-09 Intel Corporation Unmanned aerial vehicle landing area detection
US11810463B2 (en) * 2020-04-14 2023-11-07 The Boeing Company Unmanned aerial vehicle contingency landing system
EP4136516A4 (en) * 2020-04-17 2024-03-20 Insurance Services Office Inc SYSTEMS AND METHODS FOR MOBILE AIR FLIGHT PLANNING AND IMAGE CAPTURE BASED ON STRUCTURE FOOTPRINTS

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102417037A (zh) * 2010-09-28 2012-04-18 株式会社拓普康 自动起飞和着陆系统
CN103587708A (zh) * 2013-11-14 2014-02-19 上海大学 超小型无人旋翼飞行器野外定点零盲区自主软着陆方法
CN104049641A (zh) * 2014-05-29 2014-09-17 深圳市大疆创新科技有限公司 一种自动降落方法、装置及飞行器
WO2016109000A2 (en) * 2014-10-20 2016-07-07 Sikorsky Aircraft Corporation Optimal safe landing area determination
CN104656669A (zh) * 2015-03-10 2015-05-27 无锡桑尼安科技有限公司 基于图像处理的无人机着陆位置搜索系统
CN105182995A (zh) * 2015-03-10 2015-12-23 无锡桑尼安科技有限公司 无人机自动着陆系统

Also Published As

Publication number Publication date
US11727679B2 (en) 2023-08-15
CN109562844A (zh) 2019-04-02
US20210286377A1 (en) 2021-09-16
US20230343087A1 (en) 2023-10-26
US20190163206A1 (en) 2019-05-30
US11022984B2 (en) 2021-06-01
CN109562844B (zh) 2022-03-01
WO2018027338A1 (en) 2018-02-15

Similar Documents

Publication Publication Date Title
CN109562844B (zh) 自动着陆表面地形评估以及相关的系统和方法
US11323680B2 (en) Detecting optical discrepancies in captured images
JP7465615B2 (ja) 航空機のスマート着陸
CN109556577B (zh) 用于空中非破坏性检查的定位系统
US11604479B2 (en) Methods and system for vision-based landing
US10860039B2 (en) Obstacle avoidance method and apparatus and unmanned aerial vehicle
JP7263630B2 (ja) 無人航空機による３次元再構成の実行
EP3123260B1 (en) Selective processing of sensor data
JP5775632B2 (ja) 飛行体の飛行制御システム
CN110525650B (zh) 无人机及其控制方法
EP3859669A1 (en) Camera calibration
US10228691B1 (en) Augmented radar camera view for remotely operated aerial vehicles
EP3519906B1 (en) Systems and methods for height control of a movable object
CN109997091B (zh) 用于管理3d飞行路径的方法和相关系统
Smyczyński et al. Autonomous drone control system for object tracking: Flexible system design with implementation example
JP7031997B2 (ja) 飛行体システム、飛行体、位置測定方法、プログラム
JP2019179529A (ja) 管制装置
JP7317684B2 (ja) 移動体、情報処理装置、及び撮像システム
Huang et al. Visual servoing of micro aerial vehicle landing on ground platform
WO2023086078A1 (en) Contour scanning with an unmanned aerial vehicle
CN117651920A (zh) 可移动平台的控制方法、装置、可移动平台及存储介质
Renzaglia et al. Vision-Controlled Micro Flying Robots: From System Design to Autonomous Navigation and Mapping in GPS-Denied Environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination