CN108139758A - 基于显著性特征的载运工具定位 - Google Patents

基于显著性特征的载运工具定位 Download PDF

Info

Publication number
CN108139758A
CN108139758A CN201580083647.8A CN201580083647A CN108139758A CN 108139758 A CN108139758 A CN 108139758A CN 201580083647 A CN201580083647 A CN 201580083647A CN 108139758 A CN108139758 A CN 108139758A
Authority
CN
China
Prior art keywords
significant characteristics
transport
computer
equipment
readable medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580083647.8A
Other languages
English (en)
Inventor
赵丛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN108139758A publication Critical patent/CN108139758A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0202—Control of position or course in two dimensions specially adapted to aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了用于确定载运工具的位置的设备、方法及计算机可读介质。成像装置可以耦合到可移动物体(如无人飞行器(UAV))上。可以由成像装置(如相机)捕捉一张或多张图像。可以确定在所述一张或多张图像中的多个显著性特征。可以计算从所述载运工具到所述显著性特征的距离，并且可以确定所述载运工具的位置。

Description

基于显著性特征的载运工具定位
背景技术
可移动物体如无人飞行器(UAV)可以用于针对军事和民事应用在各种各样的环境中执行监测、侦察、以及勘察任务。这类可移动物体可以包括多个传感器，这些传感器被配置成用于评估可移动物体在环境中的位置。准确且精确地确定可移动物体的位置可能在可移动物体以半自主或完全自主的方式操作的多个情形中很重要。
现有的用于评估可移动物体的位置的方法在一些情形中可能并不是最佳的。例如，采用GPS传感器的方法可能受到可移动物体(例如，UAV)在其中操作的环境的限制，并且可能需要辅助的机载支持传感器。例如，采用同步定位与地图构建(SLAM)的方法可能缺乏精度和准确度并且可能随时间流逝累积误差。
发明内容
在此所公开的实施方式提供了用于评估可移动物体在环境中的位置的设备和方法。在许多实施方式中，可以使用成像装置来收集关于可移动物体周围环境的信息。例如，可以处理从成像装置获得的图像数据以确定所述图像中的多个显著性特征。可以进一步利用所标识的显著性特征以确定可移动物体的位置。有利地，在此所描述的方法可以基于图像数据提供对物体位置的改进且有效的评估并且可以用于改进自主导航或者控制载运工具。
因此，在一个方面，提供了一种确定载运工具的位置的方法。所述方法包括：接收由一个或多个视觉传感器捕捉的多张图像；借助于一个或多个处理器从所述多张图像中标识多个静止的显著性特征，其中所述多个静止的显著性特征在环境中实质上是静止的；借助于所述一个或多个处理器计算从所述载运工具到所述多个静止的显著性特征中的每一个静止的显著性特征的距离；并且借助于所述一个或多个处理器基于从所述载运工具到所述多个静止的显著性特征中的每一个静止的显著性特征的所述距离确定所述载运工具的位置。
在另一个方面，提供了一种用于确定载运工具的位置的设备。所述设备包括：一个或多个视觉传感器，所述一个或多个视觉传感器被配置成用于捕捉多张图像；以及一个或多个处理器，所述一个或多个处理器被单独地或共同地配置成用于：从所述多张图像中标识多个静止的显著性特征，其中所述多个静止的显著性特征在环境中实质上是静止的；计算从所述载运工具到所述多个静止的显著性特征中的每一个静止的显著性特征的距离；并且基于从所述载运工具到所述多个静止的显著性特征中的每一个静止的显著性特征的所述距离确定所述载运工具的位置。
在另一个方面，提供了一种包括用于确定载运工具的位置的程序指令的非瞬态计算机可读介质。所述计算机可读介质包括：用于接收由一个或多个视觉传感器捕捉的多张图像的程序指令；用于从所述多张图像中标识多个静止的显著性特征的程序指令，其中所述多个静止的显著性特征在环境中实质上是静止的；用于计算从所述载运工具到所述多个静止的显著性特征中的每一个静止的显著性特征的距离的程序指令；以及用于基于从所述载运工具到所述多个静止的显著性特征中的每一个静止的显著性特征的所述距离确定所述载运工具的位置的程序指令。
在另一个方面，提供了一种确定载运工具的位置的方法。所述方法包括：接收由一个或多个视觉传感器捕捉的多张图像；借助于一个或多个处理器从所述多张图像中标识多个显著性特征；借助于所述一个或多个处理器计算从所述载运工具到所述多个显著性特征中的每一个显著性特征的距离；并且借助于所述一个或多个处理器基于从所述载运工具到所述多个显著性特征中的每一个显著性特征的所述距离确定所述载运工具的位置，并且其中所述位置是在至少两组同心圆的相交区内，每组同心圆以所述多个显著性特征中的至少一个显著性特征为中心。
在另一个方面，提供了一种用于确定载运工具的位置的设备。所述设备包括：一个或多个视觉传感器，所述一个或多个视觉传感器被配置成用于捕捉多张图像；以及一个或多个处理器，所述一个或多个处理器被单独地或共同地配置成用于：从所述多张图像中标识多个显著性特征；计算从所述载运工具到所述多个显著性特征中的每一个显著性特征的距离；并且基于从所述载运工具到所述多个显著性特征中的每一个显著性特征的所述距离确定所述载运工具的位置，并且其中所述位置是在至少两组同心圆的相交区内，每组同心圆以所述多个显著性特征中的至少一个显著性特征为中心。
在另一个方面，提供了一种包括用于确定载运工具的位置的程序指令的非瞬态计算机可读介质。所述计算机可读介质包括：用于接收由一个或多个视觉传感器捕捉的多张图像的程序指令；用于从所述多张图像中标识多个显著性特征的程序指令；用于计算从所述载运工具到所述多个显著性特征中的每一个显著性特征的距离的程序指令；以及用于基于从所述载运工具到所述多个显著性特征中的每一个显著性特征的所述距离确定所述载运工具的位置的程序指令，并且其中所述位置是在至少两组同心圆的相交区内，每组同心圆以所述多个显著性特征中的至少一个显著性特征为中心。
在另一个方面，提供了一种确定载运工具的位置的方法。所述方法包括：接收由一个或多个视觉传感器捕捉的多张图像；借助于一个或多个处理器从所述多张图像中标识多个显著性特征候选物；借助于所述一个或多个处理器选择两个或更多个显著性特征，其中所述所选择的显著性特征为所述多个显著性特征候选物的子集；借助于所述一个或多个处理器计算从所述载运工具到所述所选择的显著性特征中的每一个显著性特征的距离；并且借助于所述一个或多个处理器基于从所述载运工具到所述所选择的显著性特征中的每一个显著性特征的所述距离确定所述载运工具的位置。
在另一个方面，提供了一种用于确定载运工具的位置的设备。所述设备包括：一个或多个视觉传感器，所述一个或多个视觉传感器被配置成用于捕捉多张图像；以及一个或多个处理器，所述一个或多个处理器被单独地或共同地配置成用于：从所述多张图像中标识多个显著性特征候选物；选择两个或更多个显著性特征，其中所述所选择的显著性特征为所述多个显著性特征候选物的子集；计算从所述载运工具到所述所选择的显著性特征中的每一个显著性特征的距离；并且基于从所述载运工具到所述所选择的显著性特征中的每一个显著性特征的所述距离确定所述载运工具的位置。
在另一个方面，提供了一种包括用于确定载运工具的位置的程序指令的非瞬态计算机可读介质。所述计算机可读介质包括：用于接收由一个或多个视觉传感器捕捉的多张图像的程序指令；用于从所述多张图像中标识多个显著性特征候选物的程序指令；用于选择两个或更多个显著性特征的程序指令，其中所述所选择的显著性特征为所述多个显著性特征候选物的子集；用于计算从所述载运工具到所述所选择的显著性特征中的每一个显著性特征的距离的程序指令；以及用于基于从所述载运工具到所述所选择的显著性特征中的每一个显著性特征的所述距离确定所述载运工具的位置的程序指令。
在另一个方面，提供了一种确定载运工具的位置的方法。所述方法包括：接收由一个或多个视觉传感器捕捉的多张图像；借助于一个或多个处理器从所述多张图像中标识多个显著性区域，其中所述多个显著性区域对应于一个或多个可识别的物体；借助于所述一个或多个处理器计算从所述载运工具到所述多个显著性区域中的每一个显著性区域的距离；并且借助于所述一个或多个处理器基于从所述载运工具到所述多个显著性区域中的每一个显著性区域的所述距离确定所述载运工具的位置。
在另一个方面，提供了一种用于确定载运工具的位置的设备。所述设备包括：一个或多个视觉传感器，所述一个或多个视觉传感器被配置成用于捕捉多张图像；以及一个或多个处理器，所述一个或多个处理器被单独地或共同地配置成用于：从所述多张图像中标识多个显著性区域，其中所述多个显著性区域对应于一个或多个可识别的物体；计算从所述载运工具到所述多个显著性区域中的每一个显著性区域的距离；并且基于从所述载运工具到所述多个显著性区域中的每一个显著性区域的所述距离确定所述载运工具的位置。
在另一个方面，提供了一种包括用于确定载运工具的位置的程序指令的非瞬态计算机可读介质。所述计算机可读介质包括：用于接收由一个或多个视觉传感器捕捉的多张图像的程序指令；用于从所述多张图像中标识多个显著性区域的程序指令，其中所述多个显著性区域对应于一个或多个可识别的物体；用于计算从所述载运工具到所述多个显著性区域中的每一个显著性区域的距离的程序指令；以及用于基于从所述载运工具到所述多个显著性区域中的每一个显著性区域的所述距离确定所述载运工具的位置的程序指令。
应理解的是，可以单独地、共同地或相互组合地认识本发明的不同方面。本文所描述的本发明的各个方面可以应用到以下陈述的任何特定应用。通过审查说明书、权利要求书以及附图，本发明的其他目的和特征将变得显而易见。
援引并入
本说明书中提及的所有出版物、专利和专利申请均通过引用结合在此，如同每一个单独的出版物、专利或专利申请均被明确且分别地指明通过引用结合在此。
附图简要说明
在所附权利要求书中具体阐述了本发明的新颖特征。通过参考对在其中利用到本发明原理的说明性实施方式加以阐述的以下详细描述和附图，将会对本发明的特征和优点获得更好的理解；在附图中：
图1提供了根据实施方式的确定载运工具的位置的方法。
图2图示了根据实施方式由成像装置捕捉的图像以及所述图像的显著性图。
图3图示了根据实施方式根据从可移动物体到显著性特征的距离确定可移动物体的位置。
图4图示了根据实施方式UAV在室外环境中操作。
图5图示了根据实施方式在SLAM中完成点云计算。
图6图示了根据实施方式UAV在室内环境中操作。
图7图示了根据实施方式的无人飞行器(UAV)。
图8图示了根据实施方式包括载体和有效载荷的可移动物体。
图9图示了根据实施方式用于控制可移动物体的系统的框图示意图。
详细说明
本发明提供了用于评估可移动物体的位置的系统和方法。如本文所使用的，可移动物体可以指如其他地方所描述的可以移动的任何物体。例如，可移动物体可以是移动电话、手表、UAV、汽车、船只、计算机、PDA、平板计算机等。虽然本文许多实施方式是参照UAV描述的，但应理解的是，参考是非限制性的，并且这些实施方式同样适用于任何可移动物体。在一些情形中，可以借助于一个或多个传感器确定可移动物体的位置。例如，一个或多个视觉传感器可以捕捉环境的图像。如在其他地方进一步描述的，可以标识(例如，确定)图像内的多个显著性区域。可以例如根据视差来计算从可移动物体到这些显著性区域中的每个显著性区域的距离，并且可以例如使用一种多点定位方法来确定可移动物体的位置。关于可移动物体在环境中的位置(例如，放置)的信息可以进一步用于多种应用中，如(例如，UAV的)自主导航与控制中。
在一些实施方式中，UAV或其他可移动物体可以适配成搭载一个或多个传感器。所述一个或多个传感器可以被配置成用于收集相关数据，如与UAV的状态、周围环境或者环境中的物体和障碍物相关的信息。在进一步应用中可以分析、处理或使用所述相关数据。例如，基于所收集的相关数据，可以有可能的是生成用于控制UAV导航的控制信号。适于与本文所公开的这些实施方式一起使用的示例性传感器包括：位置传感器(例如，全球定位系统(GPS)传感器、能够实现位置三角测量的移动装置发射器)、视觉传感器(例如，能够检测可见光、红外光或紫外光的成像装置，如相机)、接近或范围传感器(例如，超声波传感器、激光雷达、飞行时间或深度相机)、惯性传感器(例如，加速度计、陀螺仪、惯性测量单元(IMU))、高度传感器、姿态传感器(例如，罗盘)、压力传感器(例如，气压计)、音频传感器(例如，麦克风)或场传感器(例如，磁力计、电磁传感器)。
可以使用任何合适数量以及组合的传感器，例如一个、两个、三个、四个、五个、六个、七个、八个或更多个传感器。可选地，可以从不同类型(例如，两种、三种、四种、五种、六种、七种、八种或更多种类型)的传感器接收数据。不同类型的传感器可以测量不同类型的信号或信息(例如，位置、朝向、速度、加速度、距离、压力等)和/或采用不同类型的测量技术来获得数据。例如，这些传感器可以包括主动式传感器(例如，生成并测量来自它们自己的能量源的能量的传感器)和被动式传感器(例如，检测可用能量的传感器)的任何合适组合。作为另一个示例，一些传感器可以生成就全局坐标系而言提供的绝对测量数据(例如，GPS传感器提供的位置数据、罗盘或磁力计提供的高度数据)，而其他传感器可以生成就局部坐标系而言提供的相对测量数据(例如，陀螺仪提供的相对角速度；加速度计提供的相对平移加速度；视觉传感器提供的相对姿态信息；超声波传感器、激光雷达或飞行时间相机提供的相对距离信息)。在一些情形中，局部坐标系可以是相对于UAV限定的本体坐标系。
这些传感器可以被配置成用于收集各种类型的数据，如与UAV、周围环境或环境中的物体相关的数据。例如，这些传感器中的至少一些传感器可以被配置成用于提供关于UAV的状态的数据。由传感器提供的状态信息可以包括关于UAV的空间布局的信息(例如，定位或位置信息，如经度、纬度和/或高度；朝向或姿态信息，如横滚、俯仰和/或偏航)。状态信息还可以包括关于UAV的运动的信息(例如，平移速度、平移加速度、角速度、角加速度等)。例如，传感器可以被配置成用于确定UAV关于高达六个自由度(例如，三个位置和/或平移自由度、三个朝向和/或旋转自由度)的空间布局和/或运动。可以相对于全局坐标系或相对于局部坐标系提供状态信息。全局坐标系可以指不依赖UAV或另一个实体的位置的坐标系。局部坐标系可以指相对于UAV或另一个实体的坐标系。例如，传感器可以被配置成用于确定UAV与控制所述UAV的用户之间的距离，或者UAV与所述UAV的飞行起点之间的距离。在一些情形中，传感器可以被配置成用于确定UAV与靠近所述UAV的物体之间的距离。
由这些传感器获得的数据可以提供各种类型的环境信息。例如，传感器数据可以指示环境类型，如室内环境、室外环境、低海拔环境或高海拔环境。传感器数据还可以提供关于当前环境条件的信息，包括气象(例如，晴、雨、雪)、可见度条件、风速、当日时间等。此外，由这些传感器收集的环境信息可以包括关于环境中的物体的信息，如本文所描述的障碍物或者处理器可识别的地标。障碍物信息可以包括关于环境中的障碍物的数量、密度、几何形状、空间布局、运动、轨迹和/或速度的信息。
在一些实施方式中，UAV可以包括一个或多个视觉传感器，本文中又称作“成像装置”。虽然本文中许多实施方式被描述为将一个成像装置耦合至UAV，但将理解的是，任何数量的成像装置可以耦合至UAV，如一个、两个、三个、四个、五个或更多个成像装置。成像装置可以被配置成用于检测电磁辐射(例如，可见光、红外光和/或紫外光)并基于检测到的电磁辐射生成图像数据。例如，成像装置可以包括响应于光波长而生成电信号的电荷耦合装置(CCD)传感器或互补型金属氧化物半导体(CMOS)传感器。所生成的电信号可以被处理以产生图像数据。由成像装置生成的图像数据可以包括一张或多张图像，所述一张或多张图像可以是静态图像(例如，照片)、动态图像(例如，视频)、或其合适的组合。图像数据可以是多色的(例如，RGB、CMYK、HSV)或单色的(例如，灰度、黑白、棕褐)。
在一些实施方式中，成像装置可以是相机。相机可以是捕捉动态图像数据(例如，视频)的电影摄影机或摄像机。相机可以是捕捉静态图像(例如，照片)的静物相机。相机可以是双目相机。如本文所使用的双目相机可以指立体或立体视觉相机。立体相机可以包括两个相机。相机可以是单目相机。尽管本文所提供的某些实施方式是在相机的背景下进行描述的，但应理解的是，本公开可以应用于任何合适的成像装置。本文中任何与相机相关的描述还可以应用于任何合适的成像装置或其他类型的成像装置。相机可以被用来生成3D场景(例如，环境、一个或多个物体等等)的2D图像。由相机生成的图像可以表示3D场景到2D图像平面上的投影。因此，2D图像中的每个点对应于场景中的一个3D空间坐标。相机可以包括光学元件(例如，透镜、反射镜、滤光器等)。相机可以捕捉彩色图像、灰度图像、红外图像等等。
成像装置可以以特定图像分辨率捕捉图像或图像序列。在一些实施方式中，图像分辨率可以由图像中的像素数量所限定。在一些实施方式中，图像分辨率可以大于或等于约352x420像素、480x320像素、720x480像素、1280x720像素、1440x1080像素、1920x1080像素、2048x1080像素、3840x2160像素、4096x2160像素、7680x4320像素、或15360x8640像素。相机可以是4K相机或者具有更高分辨率的相机。
成像装置可以具有多个可调参数。在参数不同的情况下，尽管经受完全相同的外部条件(例如，位置、光照)，成像装置捕捉的图像可以不同。可调参数可以包括曝光(例如，曝光时间、快门速度、光圈、胶片速度)、增益、反差系数、兴趣区、像素合并/子采样、像素时钟、偏移、触发、ISO等。与曝光相关的参数可以控制到达成像装置中的图像传感器的光量。例如，快门速度可以控制光到达图像传感器的时间量而光圈可以控制在给定时间内到达图像传感器的光量。与增益相关的参数可以控制对来自光学传感器的信号的放大。ISO可以控制相机对可用光的灵敏度水平。控制曝光和增益的参数在本文中可以统一被认为并且被称作EXPO。
成像装置可以各自具有一个视野。成像装置的视野可以是成像装置可检测到的(例如，可见的)环境的程度。视野可以与视角相关，所述视角可以是以由成像装置使之成像的给定场景的角度范围测量的。成像装置的视角可以在小于或者大约360°、300°、240°、180°、150°、120°、90°、60°、30°、20°或10°的角度处。视野可以用成像装置与可移动物体的相对方向来描述。例如，视野可以是相对于可移动物体(例如，UAV)竖直地、水平地、向上地、向下地、向侧地等等朝向。成像装置可以各自具有光轴。成像装置的光轴又可以称作“主轴”，所述主轴可以是成像装置中沿其具有一定程度的旋转对称性的线。在一些实施方式中，成像装置的光轴穿过成像装置的光学部件(如，透镜、光传感器)的中心。
本公开的成像装置可以位于可移动物体的任何合适部位上，如在可移动物体的上方、下面、侧面上或者本体内部。一些成像装置可以机械地联接至UAV，从而使得可移动物体的空间布局和/或运动对应于成像装置的空间布局和/或运动。成像装置可以通过刚性联接而联接至可移动物体，从而使得成像装置相对于其所附着的可移动物体的部分不移动。可替代地，成像装置与可移动物体之间的联接可以允许成像装置相对于可移动物体移动(例如，相对于UAV平移地或旋转地移动)。例如，成像装置与可移动物体之间通过如云台等载体的联接可以允许成像装置相对于可移动物体移动。成像装置相对于可移动物体的移动可以是平移的(例如，竖直的、水平的)和/或旋转的(例如，围绕俯仰轴线、偏航轴线和/或横滚轴线旋转)。成像装置相对于可移动物体的移动可以是预先确定的或已知的量。一个或多个传感器可以检测成像装置相对于载运工具的移动。成像装置相对于可移动物体的移动可以由用户输入远程地、自主地或半自主地控制。联接可以是永久性联接或者非永久性(例如，可释放的)联接。合适的联接方法可以包括粘合剂、粘接、焊接和/或紧固件(例如，螺钉、钉子、销等)。可选地，成像装置可以与可移动物体的一部分一体成型。此外，如本文中所讨论的这些实施方式，成像装置可以与可移动物体的一部分(例如，处理单元、控制系统、数据存储器)电耦合，从而使成像装置收集的数据能够用于UAV的各种功能(例如，导航、控制、推进、与用户或者其他装置通信等)。成像装置可以可操作地耦合于UAV的一部分(例如，处理单元、控制系统、数据存储器)。
可以由成像装置捕捉一张或多张图像。可以由成像装置捕捉两张或更多张图像的序列。例如，可以由成像装置捕捉约2、3、4、5、10、15、20、25、50、100、150、200或更多张图像的序列。成像装置可以以特定捕捉速率捕捉图像序列。在一些实施方式中，可以以如约24p、25p、30p、48p、50p、60p、72p、90p、100p、120p、300p、50i、或60i的标准视频帧速率捕捉图像序列。在一些实施方式中，可以以小于或等于约每0.0001秒、0.0002秒、0.0005秒、0.001秒、0.002秒、0.005秒、0.002秒、0.05秒、0.01秒、0.02秒、0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒或10秒一张图像的速率捕捉图像序列。在一些实施方式中，捕捉速率可以根据用户输入和/或外部条件(例如，被捕捉的雨、雪、风、环境纹理)而改变。
本文所描述的由成像装置获得的多张图像可以用于与UAV操作相关的各种应用。在一些实施方式中，这些图像用于帮助UAV在环境中的导航(例如，自主地、半自主地、或手动地)。在一些实施方式中，这些图像用于障碍物检测和避障。在一些实施方式中，这些图像可以被处理以评估或确定UAV的状态信息。状态信息可以包括位置信息、朝向信息、速度信息(例如，角速度或平移速度)、和/或加速度信息(例如，角加速度或者平移加速度)。可以使用(例如，用一个或多个处理器处理)由一个或多个成像装置获得的一张或多张图像来评估或确定状态信息。
例如，由成像装置捕捉的图像可以用于确定UAV在环境中的位置。图1提供了根据实施方式确定载运工具(例如，UAV)的位置的方法100。类似地，同样可以提供包含用于执行方法100的程序指令的非瞬态计算机可读介质。在步骤102中，由一个或多个处理器接收多张图像。处理器可以包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、数字信号处理器(DSP)、中央处理单元(CPU)、图形处理单元(GPU)、视觉处理单元(VPU)、复杂可编程逻辑装置(CPLD)等等。处理器可以是机载于可移动物体(例如，UAV)上的机载处理器或者由成像装置搭载的嵌入式处理器。处理器可以是与UAV和/或成像装置分开的板外处理器(例如，在地面站处与UAV和/或相机通信)。本文所指的一个或多个处理器可以单独地或共同地被配置成用于进一步协助如本文中列举的步骤104、106和108。
在一些实施方式中，所述多张图像是由单个成像装置捕捉的。例如，多张图像可以包括由单个成像装置经过一个时间间隔捕捉的两张或更多张图像。所述时间间隔可以约等于或者小于1s、2s、3s、4s、5s、6s、7s、8s、9s、10s、15s、20s、30s、45s或60s。在一些实施方式中，所述多张图像是由两个或更多个成像装置捕捉的。所述两个或更多个成像装置可以是相同类型或不同类型的成像装置。例如，所述两个或更多个成像装置可以包括单目相机、双目相机、静物相机和摄像机。在一些实施方式中，所述多张图像可以包括各自由在单个时间点处或者经过一个时间间隔具有不同视野的两个或更多个成像装置捕捉的一张或多张图像。例如，所述多张图像可以包括由两个或更多个成像装置经过一个时间间隔捕捉的两张或更多张图像。所述时间间隔可以约等于或者小于1s、2s、3s、4s、5s、6s、7s、8s、9s、10s、15s、20s、30s、45s或60s。所述多张图像可以包括约2、3、4、5、10、15、20、25、50、100、150、200、250、300、500、1000或更多张图像。可以在载运工具运动时(例如，当UAV飞行时)捕捉所述多张图像。可以在载运工具静止时捕捉所述多张图像。可以在室内或室外环境中捕捉所述多张图像。
在步骤104中，使用一个或多个处理器从所述多张图像中标识多个显著性特征。在一些实施方式中，使用一个或多个处理器从所述多张图像中标识一个或多个显著性特征。如本文所使用的，显著性特征可以指图像中的显著性区域或者明显的(例如，可识别的)物体。显著性特征可以指图像中可能突显出来或者引起人类观察者注意的元素。显著性特征可以具有语义意义。显著性特征可以指可以在计算机视觉过程下被一致地标识的元素。显著性特征可以指图像中的生命物体、无生命物体、地标、标记、图标、障碍物等等。显著性特征可以在不同条件下被持久地观察到。例如，从不同的视角、在一天的不同时间处、在不同的照明条件下、在不同的气象条件下、在不同的图像采集设置下(例如，不同的增益、曝光等)等等获取的图像中的显著性特征可以被持久地标识(例如，由人类观察者或由计算机程序标识)。例如，显著性特征可以包括人类、动物、脸部、身体、结构、建筑物、车辆、飞机、标志等等。
可以采用任何现有的显著性计算(例如，检测)方法标识或确定显著性特征。在一些情形中，显著性检测方法可以是基于学习的或基于图像处理的。例如，可以通过以下方式标识显著性特征：通过基于对比度的滤波(例如，基于色彩、强度、朝向、尺寸、运动、深度等)、使用一种谱残差方法、通过频率调谐的显著性区域检测、通过用于对象估计的二值归一化梯度、使用一种情境感知自顶向下方法、通过用选址熵率(site entropy rate)来测量视觉显著性等等。例如，可以在由一张或多张图像经过基于对比度(例如，色彩、强度、朝向等)的滤波后生成的显著性图中标识显著性特征。显著性图可以表示具有特征对比度的多个区域。显著性图可以预测人们将看向何处。显著性图可以包括表示特征或注视点的空间热图。例如，在一张显著性图中，显著性区域比非显著性区域可以具有更高的亮度对比度、色彩对比度、边缘内容、强度等。在一些实施方式中，可以使用对象识别算法(例如，基于特征的方法、基于外观的方法等)标识显著性特征。可选地，可以将一个或多个物体或者一种或多种类型的图案、物体、图形、色彩、图标、轮廓等预先储存为可能的显著性特征。图像可以被分析以标识预先储存的显著性特征(例如，物体或物体的类型)。这些预先储存的显著性特征可以被更新。可替代地，显著性特征可以不需要被预先储存。可以在实时的基础上独立于预先储存的信息而识别显著性特征。
在一些实施方式中，如在110中示出的，步骤104可以包括标识多个显著性特征并且选择所标识的所述多个显著性特征的子集。子集可以包括所标识的所述多个显著性特征的全部或者部分。在一些实施方式中，如在112中示出的，步骤104可以包括标识多个显著性特征候选物并且选择这些显著性特征候选物的子集用于进一步处理。子集可以包括所述多个显著性特征候选物的全部或者部分。在一些情形中，可以从所述多个已标识的显著性特征(或已标识的显著性特征候选物)中选择预先确定数量的显著性特征。例如，所选择的预先确定数量的显著性特征可以约等于或者小于2、3、4、5、10、15、20、25、50、100、150、200、500、1000、2000、3000或5000个显著性特征。在一些情形中，只有满足一定条件或满足准则的显著性特征(或显著性特征候选物)可以被标识和/或选择。例如，可以选择静止的或实质上静止的显著性特征(或显著性特征候选物)。例如，可以选择满足或超过预先确定的判别(例如，像素灰度级、对比度、色彩、朝向、强度、复杂度等的变化)的显著性特征(或显著性特征候选物)。在一些情形中，可以选择预先确定数量的满足或最佳适配准则的显著性特征。例如，可以选择在多张图像中具有最高对比度的2、3、4、5、10、15、20、25、50、100、150、200、500、1000、2000、3000或5000个显著性特征。如本文所使用的，标识多个显著性特征(或显著性特征候选物)并且选择这些显著性特征(或显著性特征候选物)的子集也可以称作标识这些显著性特征(或显著性特征候选物)的子集。例如，从多张图像中标识多个显著性特征并且选择多个静止的显著性特征用于进一步处理(例如，用于计算机视觉)可以称作从多张图像中标识多个静止的显著性特征。
如本文所使用的，静止的显著性特征可以指在所述多张图像中未经历位置变化的显著性特征。可以从由单个成像装置获取的多张图像(例如，延时图像)和/或从由两个或更多个成像装置获取的多张图像中标识静止的显著性特征。如果在所述多张图像中未经历绝对位置变化，那么显著性特征可以被确定为未经历位置变化。例如，显著性特征可以在所述多张图像中占据固定的位置。例如，挂载于静止或悬停的UAV上的单个相机可以获取多张图像，这些图像包含建筑物经过一个时间段的图像数据。所述建筑物可以在所述多张图像中保持固定的位置(例如，或者实质上固定的位置)并且可以被确定为未经历位置变化。可替代地或结合地，如果在所述多张图像中相对于(例如，考虑到、补偿于)其他因素未经历位置变化，那么显著性特征可以被确定为未经历位置变化。例如，显著性特征可以在所述多张图像中占据不同的位置，但如果所述显著性特征在每张图像中的位置与其他因素如载运工具、成像装置、支撑成像装置的载体的位移或者不同成像装置之间的位移/朝向相抵消(例如，补偿)，那么所述显著性特征可以被确定为未经历位置变化。例如，移动的UAV可以获取多张包含一个建筑物的图像数据的图像。所述建筑物可以在所述多张图像中的每张图像中占据不同的位置。然而，当与UAV的移动相抵消时，所述建筑物可以被确定为在所述多张图像中未经历位置变化。在一些情形中，可以用传感器(如惯性传感器)测量UAV的移动。实质上静止的显著性特征可以指在多张图像中经历了大约或者小于1％、2％、5％、10％、15％、20％、或30％位置变化的显著性特征。显著性特征可以是静止的或者可以是非静止的。静止物体(如，建筑物)可以被标识为图像中静止的显著性特征。生命物体或无生命物体可以被标识为图像中静止的显著性特征。
图2图示了根据实施方式由成像装置捕捉的图像202以及所述图像的显著性图204。由图像202经过滤波后可以获得显著性图204。滤波之后，显著性图中的每个像素可以描述此像素的显著性如何。可以将显著性图的多个部分分类为显著性特征候选物。例如，图2示出了三个显著性特征候选物206、208和210。例如，可以随机地或穷尽地生成多个显著性特征候选物用于评估这些显著性特征候选物的辨别性。在一些情形中，可以生成多个框使得其覆盖物体(例如，显著性特征候选物)以用于评估定界框的辨别性。虽然图2示出了这些物体被框所定界，但将理解的是，这些物体可以被任何给定的形状(例如，圆形、椭圆形、三角形等)所包围以用于评估辨别性。
可以确定这些显著性特征候选物的辨别性以便例如通过阈值转换法或者通过经训练的分类器将定界框(例如，显著性特征候选物)分类为显著性特征(例如，显著性物体)或非显著性特征(例如，不感兴趣的背景)。例如，可以计算针对每个显著性特征候选物(例如，每个定界框)的像素灰度级的变化。如果显著性特征候选物的变化超过某个阈值，那么其可以表示所述辨别性足够大，并且图像的此部分可以被选作显著性特征或显著性物体。可替代地，如果显著性特征候选物的变化未超过某个阈值，那么其可以表示所述辨别性不够大，并且图像的此部分可以被降为显著性特征候选物或者被分类为不感兴趣的背景。在一些情形中，可以通过经训练的分类器(例如，支持向量机、随机森林)确定这些显著性特征候选物的辨别性。
在图2中，仅显著性特征候选物206和208被确定为具有超过预先确定的阈值的像素灰度级变化并且显著性特征候选物210被降为显著性特征候选物。在一些情形中，未被降级的显著性特征候选物可以被选作显著性特征。在一些情形中，未被降级的显著性特征候选物如果满足其他的条件则可以被选作显著性特征。例如，显著性特征候选物可以在连续视频帧(例如，如果成像装置经过一个时间间隔获取了多张图像)中被跟踪。如果显著性特征候选物被确定为在连续视频帧中未经历位置变化(例如，在成像装置的移动已经被补偿之后)，那么显著性特征候选物可以被选作显著性特征。在图2中，显著性特征候选物206和208被确定为在连续图像帧(未示出)中是静止的并且被选作显著性特征。
所标识的(例如，或所选择的)多个显著性特征(或显著性特征候选物)可以进一步被处理(例如，用于计算机视觉中)。在步骤106中，使用一个或多个处理器计算从载运工具到多个显著性特征中的每一个显著性特征的距离。在一些情形中，可以针对每个显著性特征设置一个虚拟坐标。所述虚拟坐标可以是处于二维坐标系或三维坐标系中。在一些情形中，可以将这些显著性特征中的一个显著性特征的位置设置为原点坐标，并且UAV和/或其他显著性特征的坐标可以是相对于所述显著性特征的。在一些情形中，可以将载运工具的位置设置为原点坐标，并且显著性特征的坐标可以是相对于所述载运工具的。可以通过根据视差计算场景的深度(例如，显著性特征的深度)而确定从载运工具到显著性特征的距离。例如，载运工具可以从不同的位置获取多张图像。当从不同位置观察时，附近的物体相比较远处的物体会具有更大的视差，并且视差可以用于确定到显著性特征的距离。到显著性特征的距离可以指到显著性特征区域的距离。例如，到显著性特征的距离可以指到显著性特征的中心的距离(例如，水平中心、竖直中心、或两者的中心)、到显著性特征的质心的距离等。计算到显著性特征区域(例如，不是点)的距离可以使可能由不稳定特征引起的计算误差最小化。显著性特征的坐标可以指显著性特征区域的坐标。在一些情形中，显著性特征的坐标可以指显著性特征的中心的坐标(例如，水平中心、竖直中心、或两者的中心)、显著性特征的质心的坐标等。在一些实施方式中，不必计算载运工具或每个显著性特征的二维或三维坐标。每个显著性特征的虚拟坐标可以储存在存储器中，所述存储器操作性地耦合至成像装置或载运工具的机载或板外的处理器。到每个显著性特征的距离可以储存在存储器中，所述存储器操作性地耦合至成像装置或载运工具的机载或板外的处理器。可以实时地计算载运工具与显著性特征之间的距离。例如，当载运工具运动时(例如，当UAV飞行时)，可以计算所述载运工具与显著性特征之间的距离。可以借助于一个或多个惯性传感器确定载运工具的移动。当计算载运工具与显著性特征之间的距离时，显著性特征的位置可以保持静止。当计算载运工具与显著性特征之间的距离时，显著性特征的位置可以改变。在一些实施方式中，显著性特征的全局图可以被维持(例如，维持在操作性地耦合至成像装置或载运工具的机载或板外的处理器的存储器中)。在一些实施方式中，不必维持环境或显著性特征的全局图，并且由于多个显著性特征在所述多张图像中被确定以及到这些显著性特征的距离被计算而因此载运工具的位置可以被确定。
在步骤108中，基于从载运工具到所述多个显著性特征中的每一个显著性特征的距离确定载运工具的位置。可以基于两个或更多个显著性特征确定载运工具在二维坐标系中的位置。可以基于三个或更多个显著性特征确定载运工具在三维坐标系中的位置。可以根据多点原理(例如，三点定位、多点定位等)确定载运工具的位置。
图3图示了根据实施方式根据从可移动物体到显著性特征的距离确定的可移动物体的位置。如所展示的，可以基于到两个显著性特征303、305的距离R1、R2确定可移动物体301在二维坐标系中的位置。可以根据方法100的步骤106确定所述多个显著性特征中的每个显著性特征到载运工具的距离。可以围绕显著性特征303的虚拟坐标描绘半径为R1的圆，并且可以围绕显著性特征305的虚拟坐标描绘半径为R2的圆。这些圆相交的两个点307、309可能是可移动物体的可能位置。在一些情形中，可移动物体的位置可能在这些圆的相交区312内。可以利用可能具有已知的(例如，预先确定的)距离的第三显著性特征来确定可移动物体的准确放置(例如，在位置307与309之间)。
相同的原理可以应用于基于三个或更多个显著性特征确定可移动物体的三维位置。例如，在分别以三个显著性特征中的每个显著性特征为中心并且具有到所述三个显著性特征中的每个显著性特征的适当的距离(例如，适当的半径)的三个圆的交集内的位置可以被确定为可移动物体的位置。可以考虑附加的显著性特征以改进对可移物体位置的位置确定。
本文所公开的设备、方法及计算机可读介质可以为可移动物体提供改进的操作能力。图4图示了根据实施方式UAV 402在室外环境400中操作。室外环境400可以是城市、郊区或乡村环境，或者至少不是部分地在建筑物之内的任何其他环境。可以相对靠近地面404(例如，低海拔)或者相对远离地面404(例如，高海拔)操作UAV 402。例如，UAV 402在距离地面低于或等于约10m处操作可以被认为是在低海拔处，而UAV 402在距离地面高于或等于约10m处操作可以被认为是在高海拔处。
在一些实施方式中，室外环境400包括一个或多个物体408a-d。一些物体(例如，物体408a、408d)可以位于地面404上，如建筑物、地面载运工具(例如，汽车、摩托车、卡车、自行车)、人类、动物、植物(例如，树、灌木)、以及其他人造的或自然的结构。一些物体可以与地面404、水、人造结构或自然结构接触和/或由其支撑。可替代地，一些物体(例如，物体408b、408c)可以完全位于空中406并且可以是移动的(例如，飞行器、飞机、直升机、热气球、UAV或者鸟)。空中物体不可以由地面404、或由水、或由任何自然的或人造的结构支撑。位于地面404上的障碍物可以包括基本上延伸进入空中406的部分(例如，较高的结构如塔、摩天大厦、灯柱、无线电铁塔、输电线、树木等)。
在一些情形中，可以利用传感器(如，GPS传感器)以在室外环境400中定位UAV402。在一些实施方式中，物体会干扰GPS信号并且在室外环境中GPS信号可能不可用。在一些实施方式中，基于GPS传感器定位的精度可以是在米数量级上，并且可能需要辅助定位传感器(例如，IMU传感器、成像装置)用于精确定位。在一些情形中，可以利用SLAM以在室外环境中定位UAV。图5图示了根据实施方式在SLAM中完成的点云计算。可以计算图像中的每个点(例如，501、503、505)的三维坐标并且可以维持环境的全局图。在一些情形中，不稳定特征会引起可以累积的计算误差。视觉传感器可以用作其他传感器或方法(例如，GPS或SLAM)的替代或补充以在环境中定位UAV。例如，可以在GPS传感器不工作的区域中使用视觉传感器。
在一些情形中，耦合至UAV 402的一个或多个视觉传感器可以获取室外环境400的多张图像，包括物体的图像数据。物体的图像数据可以是图像中的显著性特征。物体的图像数据可以是图像中的静止的显著性特征。在一些实施方式中，仅静止的显著性特征可以被考虑用于确定可移动物体的位置。如本文之前所描述的，可以通过测量UAV到两个或更多个显著性特征的距离确定UAV 402的位置。可以在不维持环境的全局图的情况下确定UAV的位置，并且可能具有最小的或者没有误差累积。根据本申请的设备和方法对可移动物体的定位可以是在可移动物体相对于显著性特征的实际位置的1cm、5cm、10cm、20cm、50cm、75cm、100cm、1.5m、2m、5m、或10m周围或之内。对可移动物体位置的确定可以用于进一步操作中。例如，可以使用位置信息在室外环境400中导航UAV 402。在一些情形中，一个或多个视觉传感器可以足以用于在室外环境中导航UAV。在一些情形中，一个或多个视觉传感器可以与一个或多个其他传感器(例如，IMU传感器)结合使用以用于导航。
图6图示了根据实施方式UAV 652在室内环境650中操作。室内环境650是在具有地板656、一个或多个墙壁658以及/或者天花板或屋顶660的建筑物654的内部。示例性建筑物包括住宅、商业、或工业建筑物，如房屋、公寓、办公室、制造设施、储存设施等等。建筑物654的内部可以被地板656、墙壁658、和天花板660完全封闭，从而使得UAV 652被限制在内部空间中。相反地，地板656、墙壁658、或天花板660中的至少一者可以不存在，由此使UAV 652能够从内部飞到外部，或者反之亦然。可替代地或组合地，可以在地板656、墙壁658、或天花板660中形成一个或多个孔864(例如，门、窗户、天窗)。
类似于室外环境400，室内环境650可以包括一个或多个物体662a-d。一些物体(例如，障碍物662a)可以位于地板656上，如家具、家电、人类、动物、植物、以及其他人造的或自然的物体。相反地，一些物体(例如，物体662b)可以位于空中，如鸟或其他UAV。在室内环境650中的一些障碍物可以由其他结构或物体支撑。物体(例如，障碍物662c)还可以附着在天花板660上，如灯固定架、吊扇、横梁、或其他安装在天花板上的电气用具或结构。在一些实施方式中，物体(例如，障碍物662d)可以附着在墙壁658上，如灯固定架、书架、橱柜和其他安装在墙壁上的电气用具或结构。特别地，建筑物654的结构部件也可以被认为是物体，包括地板656、墙壁658和天花板660。
本文所描述的物体可以是实质上静止的(例如，建筑物、植物、结构)或者实质上移动的(例如，人类、动物、运输工具、或其他能够移动的物体)。一些物体可以包括静止部件和移动部件的组合(如，风车)。移动物体或障碍物部件可以根据预先确定的或者可预测的路径或模式移动。例如，汽车的移动可以是相对可预测的(例如，根据道路的形状)。可替代地，一些移动物体或物体部件可以沿着随机的或者以其他方式不可预测的轨迹移动。例如，生物(如动物)可以以相对不可预测的方式移动。
在一些实施方式中，GPS信号在室内环境中可能不可用并且GPS传感器在室内环境中可能不可用于定位UAV 652。在一些情形中，可以利用SLAM以在室内环境中定位UAV。针对基于SLAM的定位，可以计算图像中的每个点的三维坐标并且可以维持环境的全局图。在一些情形中，不稳定特征会引起可以累积的计算误差。视觉传感器可以用作其他传感器或方法(例如，GPS或SLAM)的替代或补充以在环境中定位UAV。例如，可以在GPS传感器不工作的区域(例如，室内环境)中使用视觉传感器。
在一些情形中，耦合至UAV 652的一个或多个视觉传感器可以获取室内环境650的多张图像，包括物体的图像数据。物体的图像数据可以是图像中的显著性特征。物体的图像数据可以是图像中的静止的显著性特征。在一些实施方式中，仅静止的显著性特征可以被考虑用于确定可移动物体的位置。在一些实施方式中，静止的显著性特征以及根据可预测的路径或模式移动的移动特征两者都可以被考虑用于确定可移动物体的位置。如本文之前所描述的，可以通过测量UAV到两个或更多个显著性特征的距离确定UAV 652的位置。可以在不维持环境的全局图的情况下确定UAV的位置，并且可能具有最小的或者没有误差累积。根据本申请的设备和方法对可移动物体的定位可以是在可移动物体相对于显著性特征的实际位置的1cm、5cm、10cm、20cm、50cm、75cm、100cm、1.5m、2m、5m、或10m周围或之内。对可移动物体位置的确定可以用于进一步操作中。例如，可以使用位置信息在室内环境650中导航UAV 652。在一些情形中，一个或多个视觉传感器可以足以用于在室内环境中导航UAV。在一些情形中，一个或多个视觉传感器可以与一个或多个其他传感器(例如，IMU传感器)结合使用以用于导航。
本文提供的这些实施方式可能无法使用相对少的特征(例如，显著性特征)用于确定载运工具的位置、定位载运工具、自主导航与控制等。在载运工具导航过程中使用很少的特征可以需要较低的或最低的处理功率。使用很少的特征(例如，而不是点)可以(例如，由于使不稳定特征点的影响最小化)引起较小的误差并且使对载运工具精确且准确的导航及控制成为可能。在不需要维持全局图的情况下基于到特征(例如，显著性特征)的距离确定位置或者自定位可以降低误差累积并且使对载运工具精确且准确的导航及控制成为可能。使用显著性特征可以允许需要更少的特征用于确定位置，因为其通常是唯一可识别的(例如，一致且反复可识别的)。在不需要预先储存图案或物体的情况下，还可以基于专门的或实时的基础来标识显著性特征。这可以降低用于搜索图像匹配的处理时间要求等。
本文提供的这些实施方式可以应用于不同类型的UAV。例如，UAV可以是重量不超过10kg和/或具有不超过1.5m的最大尺寸的小型UAV。一些实施方式中，UAV可以是旋翼机，如由多个螺旋桨推进以穿过空气移动的多旋翼飞机(例如，四轴飞行器)。以下进一步详细描述适合与本文呈现的这些实施方式一起使用的UAV和其他可移动物体的附加示例。
本文所描述的UAV可以完全自主地(例如，通过合适的计算系统如机载控制器)、半自主地或手动地(例如，通过个人用户)操作。UAV可以接收来自合适实体(例如，个人用户或自主控制系统)的多条命令并且通过执行一个或多个动作响应这些命令。例如，可以控制UAV从地面起飞、在空中移动(例如，具有多达三个平移自由度以及多达三个旋转自由度)、运动到目标位置或者一系列目标位置、悬停于空中、降落在地面上等等。作为另一个示例，可以控制UAV以指定的速度和/或加速度(例如，具有多达三个平移自由度以及多达三个旋转自由度)或者沿特定的移动路径移动。此外，这些命令可以用于控制一个或多个UAV部件，如本文所描述的这些部件(例如，传感器、致动器、推进单元、有效载荷等)。例如，可以使用一些命令来控制UAV有效载荷(如，相机)的位置、朝向和/或操作。可选地，UAV可以被配置成用于根据一个或多个预先确定的操作规则来操作。这些操作规则可以用于控制UAV的任何合适的方面，如UAV的位置(例如，高度、经度、纬度)、朝向(例如，横滚、俯仰、偏航)、速度(例如，平移的和/或角度的)、和/或加速度(例如，平移的和/或角度的)。例如，可以设计这些操作规则从而使得UAV不被允许飞越阈值高度，例如，UAV可以被配置成用于在距地面不超过400m的高度飞行。在一些实施方式中，这些操作规则可以被适配成用于提供用于改善UAV安全性以及防止安全事故的自动化机制。例如，UAV可以被配置成用于检测受限制的飞行区域(例如，机场)并且不在受限制的飞行区域的预先确定的距离内飞行，由此避免与飞机以及其他障碍物碰撞。
本文所描述的系统、装置及方法可以应用于各种各样的可移动物体。如前所述，本文对UAV的任何描述可以应用于和使用于任何可移动物体。本发明的可移动物体可以被配置成用于在任何合适的环境中移动，如空中(例如，固定翼飞行器、旋转翼飞行器或既无固定翼也无旋转翼的飞行器)、水中(例如，船只或潜艇)、陆地上(例如，机动车，如小汽车、卡车、公共汽车、厢式货车、摩托车；可移动结构或框架，如棒、钓竿；或火车)、地下(例如，地铁)、太空中(例如，航天飞机、人造卫星或者探测器)、或这些环境的任合组合。可移动物体可以为载运工具，如本文其他地方所描述的载运工具。可移动物体可以是不需要人工输入的自推进式无人载运工具。在一些实施方式中，可移动物体可以被安装于生物体上，如人类或者动物。合适的动物可以包括：鸟类动物、犬科动物、猫科动物、马科动物、牛科动物、羊科动物、猪科动物、海豚类动物、啮齿类动物或昆虫科。在一些实施方式中，可移动物体可以被搭载。
可移动物体可以能够在关于六个自由度(例如，三个平移自由度和三个旋转自由度)的环境中自由移动。可替代地，可移动物体的移动可以关于一个或多个自由度如通过预定路线、轨道或朝向被限制。可以通过任何适合的致动机构(如，引擎或电机)来致动所述移动。可移动物体的致动机构可以通过任何合适的能源提供动力，如电能、磁能、太阳能、风能、重力能、化学能、核能、或上述能源的任何合适的组合。如本文中其他地方所描述的，可移动物体可以经由推进系统来自推进。推进系统可以可选地靠消耗能源运行，如电能、磁能、太阳能、风能、重力能、化学能、核能、或上述能源的任何合适的组合。可替代地，可移动物体可以由生物搭载。
在一些情形中，可移动物体可以是载运工具。合适的载运工具可以包括水上载运工具、飞行器、太空载运工具、或地面载运工具。例如，飞行器可以是固定翼飞行器(例如，飞机、滑翔机)、旋转翼飞行器(例如，直升机、旋翼机)、既有固定翼又有旋转翼的飞行器、或既无固定翼也无旋转翼的飞行器(例如，飞艇、热气球)。载运工具可以是自推进的，如穿过空气、在水面上或在水中、在太空中、或者在地上或地下是自推进的。自推进的载运工具可以利用推进系统，如，包括一个或多个引擎、电机、轮子、轮轴、磁体、旋翼、螺旋桨、桨叶、喷嘴、或其任何合适组合的推进系统。在一些情形中，推进系统可以用于使可移动物体能够从表面起飞、停落在表面上、保持其当前位置和/或朝向(例如，悬停)、改变朝向、和/或改变位置。
可移动物体可以由用户远程控制或者由可移动物体之内或之上的乘员本地控制。在一些实施方式中，可移动物体是无人可移动物体，如UAV。无人可移动物体(如，UAV)可以没有机载于可移动物体上的乘员。可移动物体可以由人或自主控制系统(例如，计算机控制系统)或其任何合适的组合所控制。可移动物体可以是自主或者半自主的机器人，如配置有人工智能的机器人。
可移动物体可以具有任何合适的大小和/或尺寸。在一些实施方式中，可移动物体可以具有使人类乘员在载运工具之内或之上的大小和/或尺寸。可替代地，可移动物体可以具有比能够使人类乘员在载运工具之内或之上的大小和/或尺寸更小的大小和/或尺寸。可移动物体可以具有适合于被人举起或搬运的大小和/或尺寸。可替代地，可移动物体可以比适合于被人举起或搬运的大小和/或尺寸更大。在一些情形中，可移动物体可以具有小于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m的最大尺寸(例如，长度、宽度、高度、直径、对角线)。所述最大尺寸可以大于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。例如，可移动物体的相对旋翼的轴之间的距离可以小于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m、或10m。可替代地，相对旋翼的轴之间的距离可以大于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m、或10m。
在一些实施方式中，可移动物体可以具有小于100cm×100cm×100cm、小于50cm×50cm×30cm、或小于5cm×5cm×3cm的体积。可移动物体的总体积可以小于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3、或10m3。相反，可移动物体的总体积可以大于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3、或10m3。
在一些实施方式中，可移动物体可以具有小于或等于约：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2、或5cm2的占地面积(其可指代可移动物体所包含的横向横截面面积)。相反地，所述占地面积可以大于或等于约：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2、或5cm2。
在一些情形中，可移动物体可以重不超过1000kg。可移动物体的重量可以小于或等于约：1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg、或0.01kg。相反，所述重量可以大于或等于约：1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg、或0.01kg。
在一些实施方式中，可移动物体可以相对于所述可移动物体搭载的载荷而言是小的。如以下进一步详细描述的，载荷可以包括有效载荷和/或载体。在一些情形中，可移动物体重量与载荷重量的比率可以大于、小于、或等于约1∶1。在一些情形中，可移动物体重量与载荷重量的比率可以大于、小于、或等于约1∶1。可选地，载体重量与载荷重量的比率可以大于、小于、或等于约1∶1。当需要时，可移动物体重量与载荷重量的比率可以小于或等于：1∶2、1∶3、1∶4、1∶5、1∶10或者甚至更小。相反地，可移动物体重量与载荷重量的比率也可以大于或者等于：2∶1、3∶1、4∶1、5∶1、10∶1或甚至更大。
在一些实施方式中，可移动物体可以具有低能耗。例如，可移动物体可以使用小于约：5W/h、4W/h、3W/h、2W/h、1W/h、或者更少的能耗。在一些情形中，可移动物体的载体可以具有低能耗。例如，载体可以使用小于约：5W/h、4W/h、3W/h、2W/h、1W/h、或更少的能耗。可选地，可移动物体的有效载荷可以具有低能耗，如小于约：5W/h、4W/h、3W/h、2W/h、1W/h、或更少的能耗。
图7图示了根据实施方式的无人飞行器(UAV)700。UAV可以是本文所描述的可移动物体的示例。UAV 700可以包括具有四个旋翼702、704、706和708的推进系统。可以提供任何数量的旋翼(例如，一个、两个、三个、四个、五个、六个、七个、八个或更多)。无人飞行器的旋翼、旋翼组件或其他推进系统可以使无人飞行器能够悬停/保持位置、改变朝向、和/或改变方位。相对旋翼的轴之间的距离可以是任何合适的长度710。例如，长度710可以小于或等于2m，或者小于等于5m。在一些实施方式中，长度710可以是在从40cm至1m、从10cm至2m、或从5cm至5m的范围内。本文关于UAV的任何描述均可应用于可移动物体(如，不同类型的可移动物体)，并且反之亦然。
在一些实施方式中，可移动物体可以被配置成用于搭载载荷。载荷可包括乘客、货物、设备、仪器、以及类似物中的一种或多种。载荷可以设置在壳体内。壳体可以与可移动物体的壳体相分离，或者是可移动物体的壳体的一部分。可替代地，载荷可以配备有壳体而可移动物体没有壳体。可替代地，载荷的部分或整个载荷可以不配备有壳体。载荷可以相对于可移动物体刚性固定。可选地，载荷可以相对于可移动物体是可移动的(例如，相对于可移动物体可平移或可旋转)。
在一些实施方式中，载荷包括有效载荷。有效载荷可以被配置为不执行任何操作或者功能。可替代地，有效载荷可以是被配置成用于执行操作或功能的有效载荷，也称为功能性有效载荷。例如，有效载荷可包括一个或多个用于勘查一个或多个目标的传感器。任何适合的传感器可以结合到有效载荷中，例如，图像捕捉装置(例如，相机)、音频捕捉装置(例如，抛物线麦克风)、红外线成像装置、或紫外线成像装置。所述传感器可提供静态感测数据(例如，照片)或动态感测数据(例如，视频)。在一些实施方式中，传感器为有效载荷的目标提供感测数据。可替代地或组合地，有效载荷可包括一个或多个用于提供信号给一个或多个目标的发射体。可以使用任何适合的发射体，例如，照明源或声源。在一些实施方式中，有效载荷包括一个或多个收发器，如用于与远离可移动物体的模块通信。可选地，有效载荷可以被配置成用于与环境或目标交互。例如，有效载荷可包括能够操控物体的工具、仪器或机构，如机械臂。
可选地，载荷可以包括载体。可以为有效载荷提供载体并且有效载荷可以经由载体或者直接地(例如，直接接触可移动物体)或者间接地(例如，不接触可移动物体)耦合到可移动物体。相反地，有效载荷可以在不需要载体的情况下被安装在可移动物体上。有效载荷可以与载体一体成型。可替代地，有效载荷可以可释放地耦合到载体。在一些实施方式中，有效载荷可以包括一个或多个有效载荷元件，并且一个或多个有效载荷元件可以相对于如上所述的可移动物体和/或载体是可移动的。
载体可以与可移动物体一体成型。可替代地，载体可以可释放地耦合至可移动物体。载体可以直接或者间接耦合至可移动物体。载体可以为有效载荷提供支撑(例如，承载有效载荷的至少部分重量)。载体可以包括能够稳定和/或导向有效载荷的移动的合适的安装结构(例如，云台平台)。在一些实施方式中，载体可以适配成用于控制有效载荷相对于可移动物体的状态(例如，位置和/或朝向)。例如，载体可以被配置成用于相对于可移动物体移动(例如，关于一个、两个或三个平移度和/或一个、两个或三个旋转度)，从而使得无论可移动物体如何移动，有效载荷相对于合适的参照系保持其位置和/或朝向。所述参照系可以是固定参照系(例如，周围环境)。可替代地，所述参照系可以为移动参照系(例如，所述可移动物体、有效载荷目标)。
在一些实施方式中，载体可以被配置成用于允许有效载荷相对于载体和/或可移动物体移动。所述移动可以是关于高达三个自由度平移(例如，沿着一条、两条或三条轴线)或关于高达三个自由度旋转(例如，围绕一条、两条或三条轴线)，或其任何合适组合。
在一些情形中，载体可以包括载体框架组件和载体致动组件。载体框架组件可以为有效载荷提供结构性支撑。载体框架组件可以包括多个个别的载体框架部件，这些载体框架部件中的一些载体框架部件可以相对于彼此是可移动的。载体致动组件可以包括一个或多个致动器(例如，电机)，所述一个或多个致动器致使这些个别的载体框架部件移动。这些致动器可以允许多个载体框架部件同时移动，或者可以被配置成用于每次只允许单个载体框架部件移动。这些载体框架部件的移动可以产生相应的有效载荷的移动。例如，载体致动组件可以致使一个或多个载体框架部件围绕一条或多条旋转轴线(例如横滚轴线、俯仰轴线或偏航轴线)旋转。一个或多个载体框架部件的旋转可以导致有效载荷相对于可移动物体围绕一条或多条旋转轴线旋转。可替代地或组合地，载体致动组件可以致使一个或多个载体框架部件沿一条或多条平移轴线平移，并由此致使有效载荷相对于可移动物体沿一个或多个相应的轴线平移。
在一些实施方式中，可移动物体、载体以及有效载荷相对于固定参照系(例如，周围环境)和/或相对彼此的移动可以通过终端控制。终端可以是远离可移动物体、载体和/或有效载荷的位置处的遥控装置。终端可以安置在或固定到支撑平台上。可替代地，终端可以为手持式或可穿戴式装置。例如，终端可包括智能手机、平板计算机、笔记本计算机、计算机、眼镜、手套、头盔、麦克风、或其适合组合。终端可包括用户接口，例如键盘、鼠标、操纵杆、触摸屏或显示器。任何适合的用户输入可用于与终端交互，例如手动输入命令、声音控制、手势控制、或位置控制(例如，通过终端的移动、定位或倾斜)。
终端可用于控制可移动物体、载体和/或有效载荷的任何适合的状态。例如，终端可以用于控制可移动物体、载体和/或有效载荷相对于固定参考和/或相对彼此的位置和/或朝向。在一些实施方式中，终端可以用于控制可移动物体、载体和/或有效载荷的个别元件，如载体的致动组件、有效载荷的传感器、或者有效载荷的发射体。终端可包括适配为用于与可移动物体、载体或者有效载荷中的一个或多个通信的无线通信装置。
终端可以包括用于观察可移动物体、载体和/或有效载荷的信息的合适的显示单元。例如，终端可以被配置成用于显示可移动物体、载体和/或有效载荷关于位置、平移速度、平移加速度、朝向、角速度、角加速度或其任何组合的信息。在一些实施方式中，终端可以显示由有效载荷提供的信息，如由功能性有效载荷提供的数据(例如，由相机或其他图像捕获装置记录的图像)。
可选地，同一终端可以既控制可移动物体、载体和/或有效载荷或者可移动物体、载体和/或有效载荷的状态，又接收和/或显示来自可移动物体、载体和/或有效载荷的信息。例如，终端可以控制有效载荷相对于环境的位置，同时显示有效载荷捕捉到的图像数据或者关于有效载荷位置的信息。可替代地，不同的终端可以用于不同的功能。例如，第一终端可以控制可移动物体、载体和/或有效载荷的移动或者状态，而第二终端可以控制接收或者显示来自可移动物体、载体和/或载荷的信息。例如，第一终端可以用于控制有效载荷相对于环境的定位，而第二终端显示有效载荷捕捉到的图像数据。可以在可移动物体与既控制可移动物体又接收数据的一体式终端之间或者可以在可移动物体与既控制可移动物体又接收数据的多个终端之间使用各种通信模式。例如，可以在可移动物体与既控制可移动物体又从可移动物体接收数据的终端之间形成至少两种不同的通信模式。
图8图示了根据实施方式包括载体802和有效载荷804的可移动物体800。如本文之前所描述的，尽管可移动物体800被描绘成飞行器，但此描绘不旨在受限制并且任何合适类型的可移动物体可以被使用。本领域技术人员将认识到，本文所描述的在飞行器系统的背景下的任何实施方式可以应用于任何合适的可移动物体(例如，UAV)。在一些情形中，有效载荷804可以被设置在可移动物体800上而无需载体802。可移动物体800可包括推进机构806、感测系统808以及通信系统810。
如先前所述，推进机构806可以包括旋翼、螺旋桨、桨叶、引擎、电机、轮子、轮轴、磁体、或者喷嘴中的一个或者多个。例如，如本文其他地方所描述的，推进机构806可以为旋翼组件或者其他旋转推进单元。可移动物体可以具有一个或多个、两个或更多个、三个或更多个、或者四个或更多个推进机构。这些推进机构可以全部是同一种类型。可替代地，所述一个或多个推进机构可以为不同类型的推进机构。如本文中其他地方所描述的，推进机构806可以使用任何合适的工具(如，支撑元件(例如，驱动轴))安装在可移动物体800上。推进机构806可以安装在可移动物体800的任何合适部位上，如，顶部、底部、前方、后方、侧方或其合适的组合。
在一些实施方式中，推进机构806可以使可移动物体800能够从表面竖直起飞或者竖直降落于表面上，而不需要可移动物体800的任何水平移动(例如，不需要在跑道上滑行)。可选地，可以操作推进机构806以允许可移动物体800在指定的位置和/或朝向处悬停在空中。推进机构806中的一个或多个推进机构可以独立于其他推进机构而受到控制。可替代地，推进机构806可以被配置成用于同时受控。例如，可移动物体800可以具有多个水平朝向的旋翼，这些水平朝向的旋翼可以为可移动物体提供升力和/或推力。所述多个水平朝向的旋翼可以被致动为可移动物体800提供竖直起飞、竖直降落、以及悬停能力。在一些实施方式中，这些水平朝向的旋翼中的一个或多个旋翼可以沿顺时针方向自旋，同时这些水平旋翼中的一个或多个旋翼可以沿逆时针方向自旋。例如，沿顺时针旋转的旋翼数量可以与沿逆时针旋转的旋翼数量相等。每个水平朝向的旋翼的旋转速率可以独立地变化以控制由每个旋翼产生的升力和/或推力，并且由此调整可移动物体800的空间布局、速度和/或加速度(例如，关于多达三个平移度和多达三个旋转度)。
感测系统808可以包括一个或多个传感器，所述一个或多个传感器可以感测可移动物体800的空间布局、速度和/或加速度(例如，关于多达三个平移度和多达三个旋转度)。所述一个或多个传感器可包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、近距离传感器、或图像传感器。由感测系统808提供的感测数据可用于控制可移动物体800的空间布局、速度和/或朝向(例如，如下所述，使用适合的处理单元和/或控制模块)。可替代地，感测系统808可以用于提供关于可移动物体周围的环境的数据，如气象条件、接近潜在障碍物、地理特征的位置、人造结构的位置等等。
通信系统810能够通过无线信号816与具有通信系统814的终端812进行通信。通信系统810、814可以包括任何数量的适于无线通信的发射器、接收器和/或收发器。所述通信可以为单向通信，从而使得数据可以在仅一个方向上传输。例如，单向通信可以仅涉及可移动物体800将数据传输至终端812，或反之亦然。可以从通信系统810的一个或多个发射器将数据传输至通信系统812的一个或多个接收器，或反之亦然。可替代地，通信可以是双向通信，从而使得数据可以在可移动物体800与终端812之间的两个方向上传输。所述双向通信可以涉及从通信系统810的一个或多个发射器将数据传输至通信系统814的一个或多个接收器，并且反之亦然。
在一些实施方式中，终端812可以向可移动物体800、载体802和有效载荷804中的一者或多者提供控制数据并且从可移动物体800、载体802和有效载荷804中的一者或多者中接收信息(例如，可移动物体、载体或有效载荷的位置和/或运动信息；由有效载荷感测的数据，如由有效载荷相机捕捉的图像数据)。在一些情形中，来自终端的控制数据可以包括用于可移动物体、载体和/或有效载荷的相对位置、移动、致动或者控制的指令。例如，控制数据可以导致修改可移动物体的位置和/或朝向(例如，通过控制推进机构806)或者有效载荷关于可移动物体的移动(例如，通过控制载体802)。来自终端的控制数据可以导致控制有效载荷，如控制相机或者其他图像捕捉装置的操作(例如，获得静态或者动态图片、图像拉近或者拉远、开启或者关闭、切换成像模式、改变图像分辨率、改变焦点、改变景深、改变曝光时间、改变视角或视野)。在一些情形中，来自可移动物体、载体和/或有效载荷的通信可以包括来自(例如，感测系统808或有效载荷804的)一个或多个传感器的信息。通信可包括来自一种或多种不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、接近传感器或图像传感器)的感测信息。这种信息可以与可移动物体、载体和/或有效载荷的位置(例如，方位、朝向)、移动或者加速度有关。来自有效载荷的此类信息可以包括有效载荷所捕捉的数据或有效载荷的感测状态。由终端812传输提供的控制数据可以被配置成用于控制可移动物体800、载体802或有效载荷804中的一者或多者的状态。可替代地或组合地，载体802和有效载荷804还可以各自包括一个通信模块，所述通信模块被配置成用于与终端812通信，从而使得所述终端可以独立地与可移动物体800、载体802和有效载荷804中的每一者进行通信并且对其进行控制。
在一些实施方式中，可移动物体800可以被配置成用于与除了终端812之外或者代替终端812的另一个远程装置通信。终端812可以还被配置成用于与另一个远程装置以及可移动物体800通信。例如，可移动物体800和/或终端812可以与另一个可移动物体、或另一个可移动物体的载体或有效载荷通信。在需要时，远程装置可以为第二终端或者其他计算装置(例如，计算机、膝上计算机、平板计算机、智能手机、或者其他移动装置)。远程装置可以被配置成用于将数据传输到可移动物体800、接收来自可移动物体800的数据、将数据传输到终端812、和/或接收来自终端812的数据。可选地，远程装置可以连接到互联网或其他电信网络，从而使得从可移动物体800和/或终端812接收的数据可以被上传到网站或服务器。
图9是根据实施方式的用于控制可移动物体的系统900的框图示意图。系统900可以与本文所公开的系统、装置和方法的任何合适的实施方式结合使用。系统900可以包括感测模块902、处理单元904、非瞬态计算机可读介质906、控制模块908、以及通信模块910。
感测模块902可以采用不同类型的通过不同的方式收集与可移动物体相关的信息的传感器。不同类型的传感器可以感测不同类型的信号或来自不同源的信号。例如，这些传感器可以包括惯性传感器、GPS传感器、距离传感器(例如，激光雷达)、或视觉/图像传感器(例如，相机)。感测模块902可以操作性地耦合到具有多个处理器的处理单元904。在一些实施方式中，感测模块可以操作性地耦合到传输模块912(例如，Wi-Fi图像传输模块)，所述传输模块被配置成用于直接将感测数据传输至合适的外部装置或系统。例如，传输模块912可以用于将感测模块902的相机捕捉到的图像传输至远程终端。
处理单元904可以具有一个或多个处理器，如，可编程处理器(例如，中央处理单元(CPU))。处理单元904可以操作性地耦合到非瞬态计算机可读介质906。非瞬态计算机可读介质906可以储存可由处理单元904执行以完成一个或者多个步骤的逻辑、代码和/或程序指令。非瞬态计算机可读介质可以包括一个或多个存储器单元(例如，可移除式介质或外部存储器，如SD卡或随机存取存储器(RAM))。在一些实施方式中，来自感测模块902的数据可以直接被传送至并储存在非瞬态计算机可读介质906的存储器单元中。非瞬态计算机可读介质906的存储器单元可以储存可由处理单元904执行以完成本文所描述的方法的任何合适的实施方式的逻辑、代码和/或程序指令。例如，处理单元904可以被配置成用于执行多条指令，这些指令导致处理单元904的一个或多个处理器分析由感测模块所产生的感测数据。存储器单元可以储存来自感测模块的有待由处理单元904处理的感测数据。在一些实施方式中，非瞬态计算机可读介质906的存储器单元可以用于储存由处理单元904产生的处理结果。
在一些实施方式中，处理单元904可以操作性地耦合到被配置成用于控制可移动物体的状态的控制模块908。例如，控制模块908可以被配置成用于控制可移动物体的推进机构以调整可移动物体关于六个自由度的空间布局、速度和/或加速度。可替代地或组合地，控制模块908可以控制载体、有效载荷或感测模块的状态中的一个或多个。
处理单元904可以操作性地耦合到通信模块910，所述通信模块被配置成用于传输和/或接收来自一个或多个外部装置(例如，终端、显示装置或其他遥控器)的数据。可以使用任何合适的通信手段，如有线通信或无线通信。例如，通信模块910可以利用局域网(LAN)、广域网(WAN)、红外线、无线电、WiFi、点到点(P2P)网络、电信网络、云通信等等中的一个或多个。可选地，中继站(如塔、卫星、或移动站)可以被使用。无线通信可以是依赖于接近度的或独立于接近度的。在一些实施方式中，通信可能需要可能不需要视线。通信模块910可以传输和/或接收来自感测模块902的感测数据、由处理单元904产生的处理结果、预先确定的控制数据、来自终端或遥控器的用户命令等等中的一个或者多个。
系统900的部件可以以任何合适的配置安排。例如，系统900的这些部件中的一个或多个部件可以被定位在可移动物体、载体、有效载荷、终端、感测系统、或者与以上一者或多者通信的附加外部装置上。此外，尽管图9描绘了单个处理单元904和单个非瞬态计算机可读介质906，本领域的技术人员将认识到这不旨在是限制性的，并且系统900可以包括多个处理单元和/或非瞬态计算机可读介质。在一些实施方式中，所述多个处理单元和/或非瞬态计算机可读介质中的一个或多个可位于不同的位置处，如在可移动物体、载体、有效载荷、终端、感测模块、与以上一者或多者通信的附加外部装置、或其适当组合上，从而使得由系统900执行的处理和/或存储器功能的任何合适的方面可以发生在上述位置中的一个或多个位置处。
如本文所使用A和/或B包含A或B以及其组合(如A和B)中的一个或者多个。
虽然本文中已经示出和描述了本发明的优选实施方式，但对于本领域的技术人员而言将显而易见的是仅通过示例提供了这些实施方式。在不背离本发明的情况下，本领域的技术人员现将想到许多变化、改变以及替换。应理解的是，可以在实践本发明时采用本文所描述的本发明实施方式的各种替代方案。希望所附权利要求书限定本发明的范围，且进而涵盖在这些权利要求及其等效项的范围内的方法和结构。

Claims (312)

1.一种确定载运工具的位置的方法，所述方法包括：
接收由一个或多个视觉传感器捕捉的多张图像；
借助于一个或多个处理器从所述多张图像中标识多个静止的显著性特征，其中所述多个静止的显著性特征在环境中实质上是静止的；
借助于所述一个或多个处理器计算从所述载运工具到所述多个静止的显著性特征中的每一个静止的显著性特征的距离；并且
借助于所述一个或多个处理器基于从所述载运工具到所述多个静止的显著性特征中的每一个静止的显著性特征的所述距离确定所述载运工具的位置。
2.如权利要求1所述方法，其中所述载运工具是无人飞行器(UAV)。
3.如权利要求2所述的方法，其中所述UAV是多旋翼UAV。
4.如权利要求1所述的方法，其中标识所述多个静止的显著性特征的所述步骤包括(1)借助于一个或多个处理器从所述多张图像中标识多个显著性特征；并且(2)借助于所述一个或多个处理器从所述多个显著性特征中标识所述多个静止的显著性特征。
5.如权利要求4所述的方法，其中在由所述多张图像经过滤波后生成的显著性图中标识所述多个显著性特征。
6.如权利要求5所述的方法，其中通过测量所述显著性图的一个或多个部分的像素灰度级变化来标识所述多个显著性特征。
7.如权利要求6所述的方法，其中当所述像素灰度级变化超过变化阈值时标识所述多个显著性特征。
8.如权利要求4所述的方法，其中当所述多个显著性特征在所述多张图像中的多个连续帧中没有位置变化时标识所述多个静止的显著性特征。
9.如权利要求8所述的方法，其中所述多个显著性特征在所述连续帧中的位置与以下各项中的一项或多项抵消：(1)所述载运工具的位移，或(2)载体的位移，所述载体相对于所述载运工具的本体支撑所述一个或多个视觉传感器。
10.如权利要求1所述的方法，其中使用谱残差方法标识所述多个静止的显著性特征。
11.如权利要求1所述的方法，其中使用频率调谐的显著性区域检测标识所述多个静止的显著性特征。
12.如权利要求1所述的方法，其中使用用于对象估计的二值归一化梯度标识所述多个静止的显著性特征。
13.如权利要求1所述的方法，其中通过以下方式标识所述多个静止的显著性特征：(1)通过滤波获得显著性图，并且(2)从所述显著性图中获得多个显著性特征候选物。
14.如权利要求1所述的方法，其中所述多个静止的显著性特征是多个物体。
15.如权利要求1所述的方法，其中所述多个静止的显著性特征是多个显著性区域。
16.如权利要求1所述的方法，其中所述多张图像是由单个视觉传感器捕捉到的。
17.如权利要求1所述的方法，其中所述一个或多个视觉传感器包括如以下各项中的一项或多项：单目传感器、RGB传感器和双目传感器。
18.如权利要求1所述的方法，进一步包括在局部坐标系中针对每个静止的显著性特征确定虚拟坐标，其中所述载运工具作为所述局部坐标系的原点。
19.如权利要求18所述的方法，其中所述静止的显著性特征的所述虚拟坐标在所述静止的显著性特征的中心处。
20.如权利要求18所述的方法，其中所述静止的显著性特征的所述虚拟坐标在所述静止的显著性特征的质心处。
21.如权利要求18所述的方法，其中所述局部坐标系是二维坐标系。
22.如权利要求18所述的方法，其中所述局部坐标系是三维坐标系。
23.如权利要求1所述的方法，其中通过根据视差测量所述静止的显著性特征的深度来执行计算所述距离。
24.如权利要求23所述的方法，其中所述视差是在所述多张图像中的多个连续帧中观察到的。
25.如权利要求24所述的方法，其中所述连续帧是在所述载运工具的移动过程中捕捉到的。
26.如权利要求25所述的方法，其中所述载运工具的移动是借助于一个或多个惯性传感器确定的。
27.如权利要求1所述的方法，其中所述多张图像是在所述载运工具的移动过程中捕捉到的。
28.如权利要求1所述的方法，其中所述多张图像是以不同视野所捕捉到的两张或更多张图像。
29.一种用于确定载运工具的位置的设备，所述设备包括：
一个或多个视觉传感器，所述一个或多个视觉传感器被配置成用于捕捉多张图像；以及
一个或多个处理器，所述一个或多个处理器单独地或共同地被配置成用于：
从所述多张图像中标识多个静止的显著性特征，其中所述多个静止的显著性特征在环境中实质上是静止的；
计算从所述载运工具到所述多个静止的显著性特征中的每一个静止的显著性特征的距离；并且
基于从所述载运工具到所述多个静止的显著性特征中的每一个静止的显著性特征的所述距离确定所述载运工具的位置。
30.如权利要求29所述的设备，其中所述载运工具是无人飞行器(UAV)。
31.如权利要求30所述的设备，其中所述UAV是多旋翼UAV。
32.如权利要求29所述的设备，其中所述一个或多个处理器被配置成用于：(1)从所述多张图像中标识多个显著性特征；并且(2)从所述多个显著性特征中标识所述多个静止的显著性特征。
33.如权利要求32所述的设备，其中所述一个或多个处理器被配置成用于在由所述多张图像经过滤波后生成的显著性图中标识所述多个显著性特征。
34.如权利要求33所述的设备，其中所述一个或多个处理器被配置成用于通过测量所述显著性图的一个或多个部分的像素灰度级变化来标识所述多个显著性特征。
35.如权利要求34所述的设备，其中所述一个或多个处理器被配置成用于当所述像素灰度级变化超过变化阈值时标识所述多个显著性特征。
36.如权利要求32所述的设备，其中所述一个或多个处理器被配置成用于当所述多个显著性特征在所述多张图像中的多个连续帧中没有位置变化时标识所述多个静止的显著性特征。
37.如权利要求36所述的设备，其中所述多个显著性特征在所述连续帧中的位置与以下各项中的一项或多项抵消：(1)所述载运工具的位移，或(2)载体的位移，所述载体相对于所述载运工具的本体支撑所述一个或多个视觉传感器。
38.如权利要求29所述的设备，其中所述一个或多个处理器被配置成用于使用谱残差方法来标识所述多个静止的显著性特征。
39.如权利要求29所述的设备，其中所述一个或多个处理器被配置成用于使用频率调谐的显著性区域检测来标识所述多个静止的显著性特征。
40.如权利要求29所述的设备，其中所述一个或多个处理器被配置成用于使用用于对象估计的二值归一化梯度来标识所述多个静止的显著性特征。
41.如权利要求29所述的设备，其中所述一个或多个处理器被配置成用于通过以下方式标识所述多个静止的显著性特征：(1)通过滤波获得显著性图，并且(2)从所述显著性图中获得多个显著性特征候选物。
42.如权利要求29所述的设备，其中所述多个静止的显著性特征是多个物体。
43.如权利要求29所述的设备，其中所述多个静止的显著性特征是多个显著性区域。
44.如权利要求29所述的设备，其中所述多张图像是由单个视觉传感器捕捉到的。
45.如权利要求29所述的设备，其中所述一个或多个视觉传感器包括如以下各项中的一项或多项：单目传感器、RGB传感器和双目传感器。
46.如权利要求29所述的设备，其中所述一个或多个处理器被配置成用于在局部坐标系中针对每个静止的显著性特征确定虚拟坐标，其中所述载运工具作为所述局部坐标系的原点。
47.如权利要求46所述的设备，其中所述静止的显著性特征的所述虚拟坐标在所述静止的显著性特征的中心处。
48.如权利要求46所述的设备，其中所述静止的显著性特征的所述虚拟坐标在所述静止的显著性特征的质心处。
49.如权利要求46所述的设备，其中所述局部坐标系是二维坐标系。
50.如权利要求46所述的设备，其中所述局部坐标系是三维坐标系。
51.如权利要求29所述的设备，其中所述一个或多个处理器被配置成用于通过根据视差测量所述静止的显著性特征的深度来计算所述距离。
52.如权利要求51所述的设备，其中所述视差是在所述多张图像中的多个连续帧中观察到的。
53.如权利要求52所述的设备，其中所述连续帧是在所述载运工具的移动过程中捕捉到的。
54.如权利要求53所述的设备，其中所述载运工具的移动是借助于一个或多个惯性传感器确定的。
55.如权利要求29所述的设备，其中所述一个或多个视觉传感器被配置成用于在所述载运工具的移动过程中捕捉所述多张图像。
56.如权利要求29所述的设备，其中所述多张图像是以不同视野所捕捉到的两张或更多张图像。
57.一种包括程序指令的非瞬态计算机可读介质，所述程序指令用于确定载运工具的位置，所述计算机可读介质包括：
用于接收由一个或多个视觉传感器捕捉的多张图像的程序指令；
用于从所述多张图像中标识多个静止的显著性特征的程序指令，其中所述多个静止的显著性特征在环境中实质上是静止的；
用于计算从所述载运工具到所述多个静止的显著性特征中的每一个静止的显著性特征的距离的程序指令；以及
用于基于从所述载运工具到所述多个静止的显著性特征中的每一个静止的显著性特征的所述距离确定所述载运工具的位置的程序指令。
58.如权利要求57所述的计算机可读介质，其中所述载运工具是无人飞行器(UAV)。
59.如权利要求58所述的计算机可读介质，其中所述UAV是多旋翼UAV。
60.如权利要求57所述的计算机可读介质，其中用于标识所述多个静止的显著性特征的程序指令包括：(1)用于从所述多张图像中标识多个显著性特征的程序指令；以及(2)用于从所述多个显著性特征中标识所述多个静止的显著性特征的程序指令。
61.如权利要求60所述的计算机可读介质，其中所述用于进行标识的程序指令包括用于使用由所述多张图像经过滤波后生成的显著性图的程序指令。
62.如权利要求61所述的计算机可读介质，其中所述用于进行标识的程序指令包括用于测量所述显著性图的一个或多个部分的像素灰度级变化的程序指令。
63.如权利要求62所述的计算机可读介质，其中当所述像素灰度级变化超过变化阈值时标识所述多个显著性特征。
64.如权利要求60所述的计算机可读介质，其中当所述多个显著性特征在所述多张图像中的多个连续帧中没有位置变化时标识所述多个静止的显著性特征。
65.如权利要求64所述的计算机可读介质，其中所述多个显著性特征在所述连续帧中的位置与以下各项中的一项或多项抵消：(1)所述载运工具的位移，或(2)载体的位移，所述载体相对于所述载运工具的本体支撑所述一个或多个视觉传感器。
66.如权利要求57所述的计算机可读介质，其中所述用于标识所述多个静止的显著性特征的程序指令使用谱残差方法。
67.如权利要求57所述的计算机可读介质，其中所述用于标识所述多个静止的显著性特征的程序指令使用频率调谐的显著性区域检测。
68.如权利要求57所述的计算机可读介质，其中所述用于标识所述多个静止的显著性特征的程序指令使用用于对象估计的二值归一化梯度。
69.如权利要求57所述的计算机可读介质，其中所述用于标识所述多个静止的显著性特征的程序指令包括：(1)用于通过滤波获得显著性图的程序指令，以及(2)用于从所述显著性图中获得多个显著性特征候选物的程序指令。
70.如权利要求57所述的计算机可读介质，其中所述多个静止的显著性特征是多个物体。
71.如权利要求57所述的计算机可读介质，其中所述多个静止的显著性特征是多个显著性区域。
72.如权利要求57所述的计算机可读介质，其中所述多张图像是由单个视觉传感器捕捉到的。
73.如权利要求57所述的计算机可读介质，其中所述一个或多个视觉传感器包括如以下各项中的一项或多项：单目传感器、RGB传感器和双目传感器。
74.如权利要求57所述的计算机可读介质，进一步包括用于在局部坐标系中针对每个静止的显著性特征确定虚拟坐标的程序指令，其中所述载运工具作为所述局部坐标系的原点。
75.如权利要求74所述的计算机可读介质，其中所述静止的显著性特征的所述虚拟坐标在所述静止的显著性特征的中心处。
76.如权利要求74所述的计算机可读介质，其中所述静止的显著性特征的所述虚拟坐标在所述静止的显著性特征的质心处。
77.如权利要求74所述的计算机可读介质，其中所述局部坐标系是二维坐标系。
78.如权利要求74所述的计算机可读介质，其中所述局部坐标系是三维坐标系。
79.如权利要求57所述的计算机可读介质，其中所述用于计算所述距离的程序指令包括用于根据视差测量所述静止的显著性特征的深度的程序指令。
80.如权利要求79所述的计算机可读介质，其中所述视差是在所述多张图像中的多个连续帧中观察到的。
81.如权利要求80所述的计算机可读介质，其中所述连续帧是在所述载运工具的移动过程中捕捉到的。
82.如权利要求81所述的计算机可读介质，其中所述载运工具的移动是借助于一个或多个惯性传感器确定的。
83.如权利要求57所述的计算机可读介质，其中所述多张图像是在所述载运工具的移动过程中捕捉到的。
84.如权利要求57所述的计算机可读介质，其中所述多张图像是以不同视野所捕捉到的两张或更多张图像。
85.一种确定载运工具的位置的方法，所述方法包括：
接收由一个或多个视觉传感器捕捉的多张图像；
借助于一个或多个处理器从所述多张图像中标识多个显著性特征；
借助于所述一个或多个处理器计算从所述载运工具到所述多个显著性特征中的每一个显著性特征的距离；并且
借助于所述一个或多个处理器基于从所述载运工具到所述多个显著性特征中的每一个显著性特征的所述距离确定所述载运工具的位置，并且其中所述位置是在至少两组同心圆的相交区内，每组同心圆以所述多个显著性特征中的至少一个显著性特征为中心。
86.如权利要求85所述方法，其中所述载运工具是无人飞行器(UAV)。
87.如权利要求86所述的方法，其中所述UAV是多旋翼UAV。
88.如权利要求85所述的方法，其中使用由所述多张图像经过滤波后生成的显著性图来标识所述多个显著性特征。
89.如权利要求88所述的方法，其中通过测量所述显著性图的一个或多个部分的像素灰度级变化来标识所述多个显著性特征。
90.如权利要求89所述的方法，其中当所述像素灰度级变化超过变化阈值时标识所述多个显著性特征。
91.如权利要求85所述的方法，其中所述多张图像是由单个视觉传感器捕捉到的。
92.如权利要求85所述的方法，进一步包括在局部坐标系中针对每个显著性特征确定虚拟坐标，其中所述载运工具作为所述局部坐标系的原点。
93.如权利要求92所述的方法，其中所述显著性特征的所述虚拟坐标在所述显著性特征的中心处。
94.如权利要求92所述的方法，其中所述显著性特征的所述虚拟坐标在所述显著性特征的质心处。
95.如权利要求92所述的方法，其中所述局部坐标系是二维坐标系。
96.如权利要求92所述的方法，其中所述局部坐标系是三维坐标系。
97.如权利要求85所述的方法，其中通过根据视差测量所述显著性特征的深度来执行计算所述距离。
98.如权利要求97所述的方法，其中所述视差是在所述多张图像中的多个连续帧中观察到的。
99.如权利要求98所述的方法，其中所述连续帧是在所述载运工具的移动过程中捕捉到的。
100.如权利要求99所述的方法，其中所述载运工具的移动是借助于一个或多个惯性传感器确定的。
101.如权利要求85所述的方法，其中所述多张图像是在所述载运工具的移动过程中捕捉到的。
102.如权利要求85所述的方法，其中所述多张图像是以不同视野所捕捉到的两张或更多张图像。
103.如权利要求85所述的方法，其中通过以下方式标识所述多个显著性特征：(1)通过滤波获得显著性图，并且(2)从所述显著性图中获得多个显著性特征候选物。
104.如权利要求85所述的方法，其中使用谱残差方法标识所述多个显著性特征。
105.如权利要求85所述的方法，其中使用频率调谐的显著性区域检测标识所述多个显著性特征。
106.如权利要求85所述的方法，其中使用用于对象估计的二值归一化梯度标识所述多个显著性特征。
107.一种用于确定载运工具的位置的设备，所述设备包括：
一个或多个视觉传感器，所述一个或多个视觉传感器被配置成用于捕捉多张图像；以及
一个或多个处理器，所述一个或多个处理器单独地或共同地被配置成用于：
从所述多张图像中标识多个显著性特征；
计算从所述载运工具到所述多个显著性特征中的每一个显著性特征的距离；并且
基于从所述载运工具到所述多个显著性特征中的每一个显著性特征的所述距离确定所述载运工具的位置，并且其中所述位置是在至少两组同心圆的相交区内，每组同心圆以所述多个显著性特征中的至少一个显著性特征为中心。
108.如权利要求107所述的设备，其中所述载运工具是无人飞行器(UAV)。
109.如权利要求108所述的设备，其中所述UAV是多旋翼UAV。
110.如权利要求107所述的设备，其中所述一个或多个处理器被配置成用于在由所述多张图像经过滤波后生成的显著性图中标识所述多个显著性特征。
111.如权利要求110所述的设备，其中所述一个或多个处理器被配置成用于通过测量所述显著性图的一个或多个部分的像素灰度级变化来标识所述多个显著性特征。
112.如权利要求111所述的设备，其中所述一个或多个处理器被配置成用于当所述像素灰度级变化超过变化阈值时标识所述多个显著性特征。
113.如权利要求107所述的设备，其中所述多张图像是由单个视觉传感器捕捉到的。
114.如权利要求107所述的设备，进一步包括在局部坐标系中针对每个显著性特征确定虚拟坐标，其中所述载运工具作为所述局部坐标系的原点。
115.如权利要求114所述的设备，其中所述显著性特征的所述虚拟坐标在所述显著性特征的中心处。
116.如权利要求114所述的设备，其中所述显著性特征的所述虚拟坐标在所述显著性特征的质心处。
117.如权利要求114所述的设备，其中所述局部坐标系是二维坐标系。
118.如权利要求114所述的设备，其中所述局部坐标系是三维坐标系。
119.如权利要求107所述的设备，其中所述一个或多个处理器被配置成用于通过根据视差测量所述显著性特征的深度来计算所述距离。
120.如权利要求119所述的设备，其中所述视差是在所述多张图像中的多个连续帧中观察到的。
121.如权利要求120所述的设备，其中所述连续帧是在所述载运工具的移动过程中捕捉到的。
122.如权利要求121所述的设备，其中所述载运工具的移动是借助于一个或多个惯性传感器确定的。
123.如权利要求107所述的设备，其中所述多张图像是在所述载运工具的移动过程中捕捉到的。
124.如权利要求107所述的设备，其中所述多张图像是以不同视野所捕捉到的两张或更多张图像。
125.如权利要求107所述的设备，其中所述一个或多个处理器被配置成用于通过以下方式标识所述多个显著性特征：(1)通过滤波获得显著性图，并且(2)从所述显著性图中获得多个显著性特征候选物。
126.如权利要求107所述的设备，其中所述一个或多个处理器被配置成用于使用谱残差方法来标识所述多个显著性特征。
127.如权利要求107所述的设备，其中所述一个或多个处理器被配置成用于使用频率调谐的显著性区域检测来标识所述多个显著性特征。
128.如权利要求107所述的设备，其中所述一个或多个处理器被配置成用于使用用于对象估计的二值归一化梯度来标识所述多个显著性特征。
129.一种包括程序指令的非瞬态计算机可读介质，所述程序指令用于确定载运工具的位置，所述计算机可读介质包括：
用于接收由一个或多个视觉传感器捕捉的多张图像的程序指令；
用于从所述多张图像中标识多个显著性特征的程序指令；
用于计算从所述载运工具到所述多个显著性特征中的每一个显著性特征的距离的程序指令；以及
用于基于从所述载运工具到所述多个显著性特征中的每一个显著性特征的所述距离确定所述载运工具的位置的程序指令，并且其中所述位置是在至少两组同心圆的相交区内，每组同心圆以所述多个显著性特征中的至少一个显著性特征为中心。
130.如权利要求129所述的计算机可读介质，其中所述载运工具是无人飞行器(UAV)。
131.如权利要求130所述的计算机可读介质，其中所述UAV是多旋翼UAV。
132.如权利要求129所述的计算机可读介质，其中所述用于进行标识的程序指令包括用于由所述多张图像经过滤波后生成显著性图的程序指令。
133.如权利要求132所述的计算机可读介质，其中所述用于进行标识的程序指令包括用于测量所述显著性图的一个或多个部分的像素灰度级变化的程序指令。
134.如权利要求133所述的计算机可读介质，其中当所述像素灰度级变化超过变化阈值时标识所述多个显著性特征。
135.如权利要求129所述的计算机可读介质，其中所述多张图像是由单个视觉传感器捕捉到的。
136.如权利要求129所述的计算机可读介质，进一步包括用于在局部坐标系中针对每个显著性特征确定虚拟坐标的程序指令，其中所述载运工具作为所述局部坐标系的原点。
137.如权利要求136所述的计算机可读介质，其中所述显著性特征的所述虚拟坐标在所述显著性特征的中心处。
138.如权利要求136所述的计算机可读介质，其中所述显著性特征的所述虚拟坐标在所述显著性特征的质心处。
139.如权利要求136所述的计算机可读介质，其中所述局部坐标系是二维坐标系。
140.如权利要求136所述的计算机可读介质，其中所述局部坐标系是三维坐标系。
141.如权利要求129所述的计算机可读介质，其中所述用于计算所述距离的程序指令包括用于根据视差测量所述显著性特征的深度的程序指令。
142.如权利要求141所述的计算机可读介质，其中所述视差是在所述多张图像中的多个连续帧中观察到的。
143.如权利要求142所述的计算机可读介质，其中所述连续帧是在所述载运工具的移动过程中捕捉到的。
144.如权利要求143所述的计算机可读介质，其中所述载运工具的移动是借助于一个或多个惯性传感器确定的。
145.如权利要求129所述的计算机可读介质，其中所述多张图像是在所述载运工具的移动过程中捕捉到的。
146.如权利要求129所述的计算机可读介质，其中所述多张图像是以不同视野所捕捉到的两张或更多张图像。
147.如权利要求129所述的计算机可读介质，其中所述用于进行标识的程序指令包括：(1)用于通过滤波获得显著性图的程序指令，以及(2)用于从所述显著性图中获得多个显著性特征候选物的程序指令。
148.如权利要求129所述的计算机可读介质，其中所述用于进行标识的程序指令包括使用谱残差方法的程序指令。
149.如权利要求129所述的计算机可读介质，其中所述用于进行标识的程序指令包括使用频率调谐的显著性区域检测的程序指令。
150.如权利要求129所述的计算机可读介质，其中所述用于进行标识的程序指令包括使用用于对象估计的二值归一化梯度的程序指令。
151.一种确定载运工具的位置的方法，所述方法包括：
接收由一个或多个视觉传感器捕捉的多张图像；
借助于一个或多个处理器从所述多张图像中标识多个显著性特征候选物；
借助于所述一个或多个处理器选择两个或更多个显著性特征，其中所述所选择的显著性特征为所述多个显著性特征候选物的子集；
借助于所述一个或多个处理器计算从所述载运工具到所述所选择的显著性特征中的每一个显著性特征的距离；并且
借助于所述一个或多个处理器基于从所述载运工具到所述所选择的显著性特征中的每一个显著性特征的所述距离确定所述载运工具的位置。
152.如权利要求151所述的方法，其中所述所选择的显著性特征不多于阈值数量的显著性特征。
153.如权利要求152所述的方法，其中所述阈值数量的显著性特征不多于1000。
154.如权利要求151所述的方法，其中所述所选择的显著性特征是基于位置选择的。
155.如权利要求151所述的方法，其中所述所选择的显著性特征是静止的显著性特征候选物。
156.如权利要求151所述方法，其中所述载运工具是无人飞行器(UAV)。
157.如权利要求156所述的方法，其中所述UAV是多旋翼UAV。
158.如权利要求151所述的方法，其中使用由所述多张图像经过滤波后生成的显著性图来标识所述多个显著性特征候选物。
159.如权利要求158所述的方法，其中通过测量所述显著性图的一个或多个部分的像素灰度级变化来标识所述多个显著性特征候选物。
160.如权利要求159所述的方法，其中当所述像素灰度级变化超过变化阈值时标识所述多个显著性特征候选物。
161.如权利要求151所述的方法，其中所述多张图像是由单个视觉传感器捕捉到的。
162.如权利要求151所述的方法，进一步包括在局部坐标系中针对每个所选择的显著性特征确定虚拟坐标，其中所述载运工具作为所述局部坐标系的原点。
163.如权利要求162所述的方法，其中所述所选择的显著性特征的所述虚拟坐标在所述所选择的显著性特征的中心处。
164.如权利要求162所述的方法，其中所述所选择的显著性特征的所述虚拟坐标在所述所选择的显著性特征的质心处。
165.如权利要求162所述的方法，其中所述局部坐标系是二维坐标系。
166.如权利要求162所述的方法，其中所述局部坐标系是三维坐标系。
167.如权利要求151所述的方法，其中通过根据视差测量所述所选择的显著性特征的深度来执行计算所述距离。
168.如权利要求167所述的方法，其中所述视差是通过所述多张图像中的多个连续帧观察到的。
169.如权利要求168所述的方法，其中所述连续帧是在所述载运工具的移动过程中捕捉到的。
170.如权利要求169所述的方法，其中所述载运工具的移动是借助于一个或多个惯性传感器确定的。
171.如权利要求151所述的方法，其中所述多张图像是在所述载运工具的移动过程中捕捉到的。
172.如权利要求151所述的方法，其中所述多张图像是以不同视野所捕捉到的两张或更多张图像。
173.如权利要求151所述的方法，其中使用谱残差方法标识所述多个显著性特征候选物。
174.如权利要求151所述的方法，其中使用频率调谐的显著性区域检测标识所述多个显著性特征候选物。
175.如权利要求151所述的方法，其中使用用于对象估计的二值归一化梯度标识所述多个显著性特征候选物。
176.一种用于确定载运工具的位置的设备，所述设备包括：
一个或多个视觉传感器，所述一个或多个视觉传感器被配置成用于捕捉多张图像；以及
一个或多个处理器，所述一个或多个处理器单独地或共同地被配置成用于：
从所述多张图像中标识多个显著性特征候选物；
选择两个或更多个显著性特征，其中所述所选择的显著性特征为所述多个显著性特征候选物的子集；
计算从所述载运工具到所述所选择的显著性特征中的每一个显著性特征的距离；并且
基于从所述载运工具到所述所选择的显著性特征中的每一个显著性特征的所述距离确定所述载运工具的位置。
177.如权利要求176的所述设备，其中所述一个或多个处理器被配置成用于选择不多于阈值数量的显著性特征。
178.如权利要求177所述的设备，其中所述阈值数量的显著性特征不多于1000。
179.如权利要求176所述的设备，其中所述一个或多个处理器被配置成用于基于位置来选择显著性特征。
180.如权利要求176所述的设备，其中所述一个或多个处理器被配置成用于选择静止的显著性特征。
181.如权利要求176所述的设备，其中所述载运工具是无人飞行器(UAV)。
182.如权利要求181所述的设备，其中所述UAV是多旋翼UAV。
183.如权利要求176所述的设备，其中所述一个或多个处理器被配置成用于使用由所述多张图像经过滤波后生成的显著性图来标识所述多个显著性特征候选物。
184.如权利要求183所述的设备，其中所述一个或多个处理器被配置成用于通过测量所述显著性图的一个或多个部分的像素灰度级变化来标识所述多个显著性特征候选物。
185.如权利要求184所述的设备，其中当所述像素灰度级变化超过变化阈值时标识所述多个显著性特征候选物。
186.如权利要求176所述的设备，其中所述多张图像是由单个视觉传感器捕捉到的。
187.如权利要求176所述的设备，其中所述一个或多个处理器被配置成用于在局部坐标系中针对每个所选择的显著性特征确定虚拟坐标，其中所述载运工具作为所述局部坐标系的原点。
188.如权利要求187所述的设备，其中所述所选择的显著性特征的所述虚拟坐标在所述所选择的显著性特征的中心处。
189.如权利要求187所述的设备，其中所述所选择的显著性特征的所述虚拟坐标在所述所选择的显著性特征的质心处。
190.如权利要求187所述的设备，其中所述局部坐标系是二维坐标系。
191.如权利要求187所述的设备，其中所述局部坐标系是三维坐标系。
192.如权利要求176所述的设备，其中所述一个或多个处理器被配置成用于通过根据视差测量所述所选择的显著性特征的深度来计算所述距离。
193.如权利要求192所述的设备，其中所述视差是在所述多张图像中的多个连续帧中观察到的。
194.如权利要求193所述的设备，其中所述连续帧是在所述载运工具的移动过程中捕捉到的。
195.如权利要求194所述的设备，其中所述载运工具的移动是借助于一个或多个惯性传感器确定的。
196.如权利要求176所述的设备，其中所述多张图像是在所述载运工具的移动过程中捕捉到的。
197.如权利要求176所述的设备，其中所述多张图像是以不同视野所捕捉到的两张或更多张图像。
198.如权利要求176所述的设备，其中所述一个或多个处理器被配置成用于使用谱残差方法来标识所述多个显著性特征候选物。
199.如权利要求176所述的设备，其中所述一个或多个处理器被配置成使用频率调谐的显著性区域检测来标识所述多个显著性特征候选物。
200.如权利要求176所述的设备，其中所述一个或多个处理器被配置成用于使用用于对象估计的二值归一化梯度来标识所述多个显著性特征候选物。
201.一种包括程序指令的非瞬态计算机可读介质，所述程序指令用于确定载运工具的位置，所述计算机可读介质包括：
用于接收由一个或多个视觉传感器捕捉的多张图像的程序指令；
用于从所述多张图像中标识多个显著性特征候选物的程序指令；
用于选择两个或更多个显著性特征的程序指令，其中所述所选择的显著性特征为所述多个显著性特征候选物的子集；
用于计算从所述载运工具到所述所选择的显著性特征中的每一个显著性特征的距离的程序指令；以及
用于基于从所述载运工具到所述所选择的显著性特征中的每一个显著性特征的所述距离确定所述载运工具的位置的程序指令。
202.如权利要求201所述的计算机可读介质，其中所述用于进行选择的程序指令选择不多于阈值数量的显著性特征。
203.如权利要求202所述的计算机可读介质，其中所述阈值数量的显著性特征不多于1000。
204.如权利要求201所述的计算机可读介质，其中所述用于进行选择的程序指令基于位置来选择显著性特征。
205.如权利要求201所述的计算机可读介质，其中所述用于进行选择的程序指令选择静止的显著性特征。
206.如权利要求201所述的计算机可读介质，其中所述载运工具是无人飞行器(UAV)。
207.如权利要求206所述的计算机可读介质，其中所述UAV是多旋翼UAV。
208.如权利要求201所述的计算机可读介质，其中所述用于进行标识的程序指令包括用于使用由所述多张图像经过滤波后生成的显著性图的程序指令。
209.如权利要求208所述的计算机可读介质，其中所述用于进行标识的程序指令包括用于测量所述显著性图的一个或多个部分的像素灰度级变化的程序指令。
210.如权利要求209所述的计算机可读介质，其中当所述像素灰度级变化超过变化阈值时标识所述多个显著性特征候选物。
211.如权利要求201所述的计算机可读介质，其中所述多张图像是由单个视觉传感器捕捉到的。
212.如权利要求201所述的计算机可读介质，进一步包括用于在局部坐标系中针对每个所选择的显著性特征确定虚拟坐标的程序指令，其中所述载运工具作为所述局部坐标系的原点。
213.如权利要求212所述的计算机可读介质，其中所述所选择的显著性特征的所述虚拟坐标在所述所选择的显著性特征的中心处。
214.如权利要求212所述的计算机可读介质，其中所述所选择的显著性特征的所述虚拟坐标在所述所选择的显著性特征的质心处。
215.如权利要求212所述的计算机可读介质，其中所述局部坐标系是二维坐标系。
216.如权利要求212所述的计算机可读介质，其中所述局部坐标系是三维坐标系。
217.如权利要求201所述的计算机可读介质，其中用于计算所述距离的程序指令包括用于根据视差测量所述所选择的显著性特征的深度的程序指令。
218.如权利要求217所述的计算机可读介质，其中所述视差是在所述多张图像中的多个连续帧中观察到的。
219.如权利要求218所述的计算机可读介质，其中所述连续帧是在所述载运工具的移动过程中捕捉到的。
220.如权利要求219所述的计算机可读介质，其中所述载运工具的移动是借助于一个或多个惯性传感器确定的。
221.如权利要求201所述的计算机可读介质，其中所述多张图像是在所述载运工具的移动过程中捕捉到的。
222.如权利要求201所述的计算机可读介质，其中所述多张图像是以不同视野所捕捉到的两张或更多张图像。
223.如权利要求201所述的计算机可读介质，其中所述用于标识所述多个显著性特征候选物的程序指令使用谱残差方法。
224.如权利要求201所述的计算机可读介质，其中所述用于标识所述多个显著性特征候选物的程序指令使用频率调谐的显著性区域检测。
225.如权利要求201所述的计算机可读介质，其中所述用于标识所述多个显著性特征候选物的程序指令使用用于对象估计的二值归一化梯度。
226.一种确定载运工具的位置的方法，所述方法包括：
接收由一个或多个视觉传感器捕捉的多张图像；
借助于一个或多个处理器从所述多张图像中标识多个显著性区域，其中所述多个显著性区域对应于一个或多个可识别的物体；
借助于所述一个或多个处理器计算从所述载运工具到所述多个显著性区域中的每一个显著性区域的距离；并且
借助于所述一个或多个处理器基于从所述载运工具到所述多个显著性区域中的每一个显著性区域的所述距离确定所述载运工具的位置。
227.如权利要求226所述的方法，其中所述显著性区域是在环境中实质上静止的静止显著性区域。
228.如权利要求227所述的方法，其中所述静止的显著性区域是在所述多张图像的多个连续帧中没有位置变化的显著性区域。
229.如权利要求228所述的方法，其中所述多个显著性区域在所述连续帧中的位置与以下各项中的一项或多项抵消：(1)所述载运工具的位移，或(2)载体的位移，所述载体相对于所述载运工具的本体支撑所述一个或多个视觉传感器。
230.如权利要求226所述的方法，其中到所述显著性区域中的每个显著性区域的所述距离是基于所述显著性区域中的每个显著性区域的特征点计算的。
231.如权利要求230所述的方法，其中所述显著性区域的多个特征点的中心位置被作为所述显著性区域中的每个显著性区域的坐标。
232.如权利要求226所述的方法，其中到所述显著性区域中的每个显著性区域的所述距离是基于对应于所述显著性区域中的每个显著性区域的中心的坐标计算的。
233.如权利要求226所述的方法，其中到所述显著性区域中的每个显著性区域的所述距离是基于对应于所述显著性区域中的每个显著性区域的质心的坐标计算的。
234.如权利要求226所述的方法，其中所述一个或多个可识别的物体不局限于预选择的物体。
235.如权利要求226所述方法，其中所述载运工具是无人飞行器(UAV)。
236.如权利要求235所述的方法，其中所述UAV是多旋翼UAV。
237.如权利要求226所述的方法，其中使用由所述多张图像经过滤波后生成的显著性图来标识所述多个显著性区域。
238.如权利要求237所述的方法，其中通过测量所述显著性图的一个或多个部分的像素灰度级变化来标识所述多个显著性区域。
239.如权利要求238所述的方法，其中当所述像素灰度级变化超过变化阈值时标识所述多个显著性区域。
240.如权利要求226所述的方法，其中所述多张图像是由单个视觉传感器捕捉到的。
241.如权利要求226所述的方法，进一步包括在局部坐标系中针对每个显著性区域确定虚拟坐标，其中所述载运工具作为所述局部坐标系的原点。
242.如权利要求241所述的方法，其中所述显著性区域的所述虚拟坐标在所述显著性区域的中心处。
243.如权利要求241所述的方法，其中所述显著性区域的所述虚拟坐标在所述显著性区域的质心处。
244.如权利要求241所述的方法，其中所述局部坐标系是二维坐标系。
245.如权利要求241所述的方法，其中所述局部坐标系是三维坐标系。
246.如权利要求226所述的方法，其中通过根据视差测量所述显著性区域的深度来执行计算所述距离。
247.如权利要求246所述的方法，其中所述视差是在所述多张图像中的多个连续帧中观察到的。
248.如权利要求247所述的方法，其中所述连续帧是在所述载运工具的移动过程中捕捉到的。
249.如权利要求248所述的方法，其中所述载运工具的移动是借助于一个或多个惯性传感器确定的。
250.如权利要求226所述的方法，其中所述多张图像是在所述载运工具的移动过程中捕捉到的。
251.如权利要求226所述的方法，其中所述多张图像是以不同视野所捕捉到的两张或更多张图像。
252.如权利要求226所述的方法，其中使用谱残差方法标识所述多个显著性区域。
253.如权利要求226所述的方法，其中使用频率调谐的显著性区域检测标识所述多个显著性区域。
254.如权利要求226所述的方法，其中使用用于对象估计的二值归一化梯度标识所述多个显著性区域。
255.一种用于确定载运工具的位置的设备，所述设备包括：
一个或多个视觉传感器，所述一个或多个视觉传感器被配置成用于捕捉多张图像；以及
一个或多个处理器，所述一个或多个处理器单独地或共同地被配置成用于：
从所述多张图像中标识多个显著性区域，其中所述多个显著性区域对应于一个或多个可识别的物体；
计算从所述载运工具到所述多个显著性区域中的每一个显著性区域的距离；并且
基于从所述载运工具到所述多个显著性区域中的每一个显著性区域的所述距离确定所述载运工具的位置。
256.如权利要求255所述的设备，其中所述多个显著性区域的子集包括在环境中实质上静止的多个静止的显著性区域。
257.如权利要求256所述的设备，其中所述静止的显著性区域是在所述多张图像的多个连续帧中没有位置变化的显著性区域。
258.如权利要求257所述的设备，其中所述多个显著性区域在所述连续帧中的位置与以下各项中的一项或多项抵消：(1)所述载运工具的位移，或(2)载体的位移，所述载体相对于所述载运工具的本体支撑所述一个或多个视觉传感器。
259.如权利要求255所述的设备，其中所述一个或多个处理器被配置成用于基于所述显著性区域中的每个显著性区域的特征点计算到所述显著性区域中的每个显著性区域的所述距离。
260.如权利要求259所述的设备，其中所述显著性区域的多个特征点的中心位置被作为所述显著性区域中的每个显著性区域的坐标。
261.如权利要求255所述的设备，其中所述一个或多个处理器被配置成用于基于对应于所述显著性区域中的每个显著性区域的中心的坐标选择到所述显著性区域中的每个显著性区域的所述距离。
262.如权利要求255所述的设备，其中所述一个或多个处理器被配置成用于基于对应于所述显著性区域中的每个显著性区域的质心的坐标选择到所述显著性区域中的每个显著性区域的所述距离。
263.如权利要求255所述的设备，其中所述一个或多个可识别的物体不局限于预选择的物体。
264.如权利要求255所述的设备，其中所述载运工具是无人飞行器(UAV)。
265.如权利要求264所述的设备，其中所述UAV是多旋翼UAV。
266.如权利要求255所述的设备，其中所述一个或多个处理器被配置成用于使用由所述多张图像经过滤波后生成的显著性图来标识所述多个显著性区域。
267.如权利要求266所述的设备，其中所述一个或多个处理器被配置成用于通过测量所述显著性图的一个或多个部分的像素灰度级变化来标识所述多个显著性区域。
268.如权利要求267所述的设备，其中当所述像素灰度级变化超过变化阈值时标识所述多个显著性区域。
269.如权利要求255所述的设备，其中所述多张图像是由单个视觉传感器捕捉到的。
270.如权利要求255所述的设备，其中所述一个或多个处理器被配置成用于在局部坐标系中针对每个显著性区域确定虚拟坐标，其中所述载运工具作为所述局部坐标系的原点。
271.如权利要求270所述的设备，其中所述显著性区域的所述虚拟坐标在所述显著性区域的中心处。
272.如权利要求270所述的设备，其中所述显著性区域的所述虚拟坐标在所述显著性区域的质心处。
273.如权利要求270所述的设备，其中所述局部坐标系是二维坐标系。
274.如权利要求270所述的设备，其中所述局部坐标系是三维坐标系。
275.如权利要求255所述的设备，其中所述一个或多个处理器被配置成用于通过根据视差测量所述显著性区域的深度来计算所述距离。
276.如权利要求275所述的设备，其中所述视差是在所述多张图像中的多个连续帧中观察到的。
277.如权利要求276所述的设备，其中所述连续帧是在所述载运工具的移动过程中捕捉到的。
278.如权利要求277所述的设备，其中所述载运工具的移动是借助于一个或多个惯性传感器确定的。
279.如权利要求255所述的设备，其中所述多张图像是在所述载运工具的移动过程中捕捉到的。
280.如权利要求255所述的设备，其中所述多张图像是以不同视野所捕捉到的两张或更多张图像。
281.如权利要求255所述的设备，其中所述一个或多个处理器被配置成用于使用谱残差方法来标识所述多个显著性区域。
282.如权利要求255所述的设备，其中所述一个或多个处理器被配置成使用频率调谐的显著性区域检测来标识所述多个显著性区域。
283.如权利要求255所述的设备，其中所述一个或多个处理器被配置成用于使用用于对象估计的二值归一化梯度来标识所述多个显著性区域。
284.一种包括程序指令的非瞬态计算机可读介质，所述程序指令用于确定载运工具的位置，所述计算机可读介质包括：
用于接收由一个或多个视觉传感器捕捉的多张图像的程序指令；
用于从所述多张图像中标识多个显著性区域的程序指令，其中所述多个显著性区域对应于一个或多个可识别的物体；
用于计算从所述载运工具到所述多个显著性区域中的每一个显著性区域的距离的程序指令；以及
用于基于从所述载运工具到所述多个显著性区域中的每一个显著性区域的所述距离确定所述载运工具的位置的程序指令。
285.如权利要求284所述的计算机可读介质，其中所述多个显著性区域的子集包括在环境中实质上静止的多个静止的显著性区域。
286.如权利要求285所述的计算机可读介质，其中所述静止的显著性区域是在所述多张图像的多个连续帧中没有位置变化的显著性区域。
287.如权利要求286所述的计算机可读介质，其中所述多个显著性区域在所述连续帧中的位置与以下各项中的一项或多项抵消：(1)所述载运工具的位移，或(2)载体的位移，所述载体相对于所述载运工具的本体支撑所述一个或多个视觉传感器。
288.如权利要求284所述的计算机可读介质，其中所述用于计算到所述显著性区域中的每个显著性区域的所述距离的程序指令是基于所述显著性区域中的每个显著性区域的特征点。
289.如权利要求288所述的计算机可读介质，其中所述显著性区域的多个特征点的中心位置被作为所述显著性区域中的每个显著性区域的坐标。
290.如权利要求284所述的计算机可读介质，其中所述用于计算到所述显著性区域中的每个显著性区域的所述距离的程序指令是基于对应于所述显著性区域中的每个显著性区域的中心的坐标。
291.如权利要求284所述的计算机可读介质，其中所述用于计算到所述显著性区域中的每个显著性区域的所述距离的程序指令是基于对应于所述显著性区域中的每个显著性区域的质心的坐标。
292.如权利要求284所述的计算机可读介质，其中所述一个或多个可识别的物体不局限于预选择的物体。
293.如权利要求284所述的计算机可读介质，其中所述载运工具是无人飞行器(UAV)。
294.如权利要求293所述的计算机可读介质，其中所述UAV是多旋翼UAV。
295.如权利要求284所述的计算机可读介质，其中所述用于标识所述多个显著性区域的程序指令包括用于使用由所述多张图像经过滤波后生成的显著性图的程序指令。
296.如权利要求295所述的计算机可读介质，其中所述用于标识所述多个显著性区域的程序指令包括用于测量所述显著性图的一个或多个部分的像素灰度级变化的程序指令。
297.如权利要求296所述的计算机可读介质，其中当所述像素灰度级变化超过变化阈值时标识所述多个显著性区域。
298.如权利要求284所述的计算机可读介质，其中所述多张图像是由单个视觉传感器捕捉到的。
299.如权利要求284所述的计算机可读介质，进一步包括用于在局部坐标系中针对每个显著性区域确定虚拟坐标的程序指令，其中所述载运工具作为所述局部坐标系的原点。
300.如权利要求299所述的计算机可读介质，其中所述显著性区域的所述虚拟坐标在所述显著性区域的中心处。
301.如权利要求299所述的计算机可读介质，其中所述显著性区域的所述虚拟坐标在所述显著性区域的质心处。
302.如权利要求299所述的计算机可读介质，其中所述局部坐标系是二维坐标系。
303.如权利要求299所述的计算机可读介质，其中所述局部坐标系是三维坐标系。
304.如权利要求284所述的计算机可读介质，其中用于计算所述距离的程序指令包括用于根据视差测量所述显著性区域的深度的程序指令。
305.如权利要求304所述的计算机可读介质，其中所述视差是在所述多张图像中的多个连续帧中观察到的。
306.如权利要求305所述的计算机可读介质，其中所述连续帧是在所述载运工具的移动过程中捕捉到的。
307.如权利要求306所述的计算机可读介质，其中所述载运工具的移动是借助于一个或多个惯性传感器确定的。
308.如权利要求284所述的计算机可读介质，其中所述多张图像是在所述载运工具的移动过程中捕捉到的。
309.如权利要求284所述的计算机可读介质，其中所述多张图像是以不同视野所捕捉到的两张或更多张图像。
310.如权利要求284所述的计算机可读介质，其中所述用于标识所述多个显著性区域的程序指令使用谱残差方法。
311.如权利要求284所述的计算机可读介质，其中所述用于标识所述多个显著性区域的程序指令使用频率调谐的显著性区域检测。
312.如权利要求284所述的计算机可读介质，其中所述用于标识所述多个显著性区域的程序指令使用用于对象估计的二值归一化梯度。
CN201580083647.8A 2015-10-09 2015-10-09 基于显著性特征的载运工具定位 Pending CN108139758A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/091556 WO2017059581A1 (en) 2015-10-09 2015-10-09 Salient feature based vehicle positioning

Publications (1)

Publication Number Publication Date
CN108139758A true CN108139758A (zh) 2018-06-08

Family

ID=58487192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580083647.8A Pending CN108139758A (zh) 2015-10-09 2015-10-09 基于显著性特征的载运工具定位

Country Status (5)

Country Link
US (1) US10599149B2 (zh)
EP (1) EP3360023A4 (zh)
JP (1) JP2018504652A (zh)
CN (1) CN108139758A (zh)
WO (1) WO2017059581A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109164825A (zh) * 2018-08-13 2019-01-08 上海机电工程研究所 一种用于多旋翼无人机的自主导航避障方法及装置
CN109643127A (zh) * 2018-11-19 2019-04-16 珊口（深圳）智能科技有限公司 构建地图、定位、导航、控制方法及系统、移动机器人
CN110415300A (zh) * 2019-08-02 2019-11-05 哈尔滨工业大学 一种基于三靶标建面的立体视觉结构动态位移测量方法
WO2020037492A1 (en) * 2018-08-21 2020-02-27 SZ DJI Technology Co., Ltd. Distance measuring method and device
CN111337012A (zh) * 2018-12-19 2020-06-26 波音公司 滑行道上的飞行器定位
CN112050802A (zh) * 2020-09-11 2020-12-08 哈尔滨工业大学 基于单磁信标的三维空间高精度定位装置与方法
CN114910926A (zh) * 2022-05-31 2022-08-16 中国科学院长春光学精密机械与物理研究所 一种用于飞行器的激光测距测速雷达自动化方法及装置

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10735902B1 (en) * 2014-04-09 2020-08-04 Accuware, Inc. Method and computer program for taking action based on determined movement path of mobile devices
CN106170676B (zh) * 2015-07-14 2018-10-09 深圳市大疆创新科技有限公司 用于确定移动平台的移动的方法、设备以及系统
US10269257B1 (en) 2015-08-11 2019-04-23 Gopro, Inc. Systems and methods for vehicle guidance
CN105346706B (zh) * 2015-11-13 2018-09-04 深圳市道通智能航空技术有限公司 飞行装置、飞行控制系统及方法
US9896205B1 (en) 2015-11-23 2018-02-20 Gopro, Inc. Unmanned aerial vehicle with parallax disparity detection offset from horizontal
US9720413B1 (en) 2015-12-21 2017-08-01 Gopro, Inc. Systems and methods for providing flight control for an unmanned aerial vehicle based on opposing fields of view with overlap
US9663227B1 (en) 2015-12-22 2017-05-30 Gopro, Inc. Systems and methods for controlling an unmanned aerial vehicle
US11461912B2 (en) 2016-01-05 2022-10-04 California Institute Of Technology Gaussian mixture models for temporal depth fusion
US10665115B2 (en) * 2016-01-05 2020-05-26 California Institute Of Technology Controlling unmanned aerial vehicles to avoid obstacle collision
US9758246B1 (en) * 2016-01-06 2017-09-12 Gopro, Inc. Systems and methods for adjusting flight control of an unmanned aerial vehicle
US20190127067A1 (en) * 2016-05-03 2019-05-02 Sunshine Aerial Systems, Inc. Autonomous aerial vehicle
US9947233B2 (en) * 2016-07-12 2018-04-17 At&T Intellectual Property I, L.P. Method and system to improve safety concerning drones
WO2018086133A1 (en) * 2016-11-14 2018-05-17 SZ DJI Technology Co., Ltd. Methods and systems for selective sensor fusion
US11294379B2 (en) * 2017-01-22 2022-04-05 Sichuan Golden Ridge Intelligence Science & Technology Co., Ltd. Systems and methods for controlling intelligent wheelchair
CN115855022A (zh) * 2017-04-07 2023-03-28 辉达公司 使用深度神经网络执行自主路径导航
US20180319495A1 (en) * 2017-05-05 2018-11-08 Pinnacle Vista, LLC Relay drone method
US10962650B2 (en) 2017-10-31 2021-03-30 United States Of America As Represented By The Administrator Of Nasa Polyhedral geofences
US10613552B2 (en) * 2017-10-31 2020-04-07 Lenovo (Singapore) Pte. Ltd. Drone remaining undetectable from current target location during surveillance
WO2019156087A1 (ja) * 2018-02-07 2019-08-15 株式会社小糸製作所 画像処理装置および車両用灯具
US11214251B2 (en) * 2018-07-09 2022-01-04 Baidu Usa Llc Speed control command auto-calibration system for autonomous vehicles
CN111190199B (zh) * 2018-11-15 2022-08-05 北京嘀嘀无限科技发展有限公司 定位方法及定位装置、计算机设备和可读存储介质
US11004224B2 (en) * 2019-01-22 2021-05-11 Velodyne Lidar Usa, Inc. Generation of structured map data from vehicle sensors and camera arrays
US10863085B2 (en) * 2019-02-28 2020-12-08 Harman International Industries, Incorporated Positioning and orienting cameras to extend an angle of view
US11328612B2 (en) 2019-08-14 2022-05-10 Lane Dalan System, method, and apparatus for drone positioning control
KR20210029586A (ko) * 2019-09-06 2021-03-16 엘지전자 주식회사 이미지 내의 특징적 객체에 기반하여 슬램을 수행하는 방법 및 이를 구현하는 로봇과 클라우드 서버
CN110570463B (zh) * 2019-09-11 2023-04-07 深圳市道通智能航空技术股份有限公司 一种目标状态估计方法、装置和无人机
RU2722521C1 (ru) * 2019-09-13 2020-06-01 Общество с ограниченной ответственностью "СТИЛСОФТ" Способ точной посадки беспилотного летательного аппарата на посадочную платформу
US11580666B2 (en) * 2020-11-26 2023-02-14 Automotive Research & Testing Center Localization and mapping method and moving apparatus
CN113204998B (zh) * 2021-04-01 2022-03-15 武汉大学 一种基于单木尺度的机载点云森林生态估测方法及系统
KR102665097B1 (ko) * 2023-11-22 2024-05-10 한국항공우주연구원 군집 시스템에서 개별 이동체의 이상 탐지 방법 및 장치

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120093361A1 (en) * 2010-10-13 2012-04-19 Industrial Technology Research Institute Tracking system and method for regions of interest and computer program product thereof
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN103295213A (zh) * 2013-06-07 2013-09-11 广州大学 基于对象追踪的图像增稳算法
CN103345751A (zh) * 2013-07-02 2013-10-09 北京邮电大学 一种基于鲁棒特征跟踪的视觉定位方法
US20140049644A1 (en) * 2012-08-20 2014-02-20 Honda Research Institute Europe Gmbh Sensing system and method for detecting moving objects
CN104236548A (zh) * 2014-09-12 2014-12-24 清华大学 一种微型无人机室内自主导航方法
CN104281148A (zh) * 2013-07-07 2015-01-14 哈尔滨点石仿真科技有限公司 基于双目立体视觉的移动机器人自主导航方法
CN104794435A (zh) * 2015-04-03 2015-07-22 中国科学院自动化研究所 一种基于视觉的无人机对地运动目标检测方法

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5525883A (en) * 1994-07-08 1996-06-11 Sara Avitzour Mobile robot location determination employing error-correcting distributed landmarks
JP3880702B2 (ja) * 1997-09-11 2007-02-14 富士重工業株式会社 画像のオプティカルフロー検出装置及び移動体の自己位置認識システム
AUPP299498A0 (en) * 1998-04-15 1998-05-07 Commonwealth Scientific And Industrial Research Organisation Method of tracking and sensing position of objects
JP5148669B2 (ja) * 2000-05-26 2013-02-20 本田技研工業株式会社 位置検出装置、位置検出方法、及び位置検出プログラム
US7145478B2 (en) 2002-12-17 2006-12-05 Evolution Robotics, Inc. Systems and methods for controlling a density of visual landmarks in a visual simultaneous localization and mapping system
US7382897B2 (en) * 2004-04-27 2008-06-03 Microsoft Corporation Multi-image feature matching using multi-scale oriented patches
JP2008501955A (ja) * 2004-06-02 2008-01-24 アテナ テクノロジーズ，インコーポレーテッド イメージ拡張型の慣性航行システム（ｉａｉｎｓ）および方法
JP2006047252A (ja) * 2004-08-09 2006-02-16 Fuji Heavy Ind Ltd 画像処理装置
WO2007051972A1 (en) 2005-10-31 2007-05-10 Qinetiq Limited Navigation system
WO2008024772A1 (en) 2006-08-21 2008-02-28 University Of Florida Research Foundation, Inc. Image-based system and method for vehicle guidance and navigation
US7725257B2 (en) 2006-09-05 2010-05-25 Honeywell International Inc. Method and system for navigation of an ummanned aerial vehicle in an urban environment
US20090017910A1 (en) * 2007-06-22 2009-01-15 Broadcom Corporation Position and motion tracking of an object
WO2008109771A2 (en) 2007-03-08 2008-09-12 Second Sight Medical Products, Inc. Saliency-based apparatus and methods for visual prostheses
FR2925705A1 (fr) * 2007-12-20 2009-06-26 Thomson Licensing Sas Dispositif d'aide a la capture d'images
KR100926783B1 (ko) 2008-02-15 2009-11-13 한국과학기술연구원 물체인식 및 인식된 물체를 포함하는 주변 환경 정보를바탕으로 한 로봇의 자기 위치 추정 방법
JP4982410B2 (ja) * 2008-03-10 2012-07-25 株式会社東芝 空間移動量算出装置及びその方法
CN102227753B (zh) 2008-10-03 2018-01-19 3M创新有限公司 用于评估稳健性的系统和方法
US8855819B2 (en) 2008-10-09 2014-10-07 Samsung Electronics Co., Ltd. Method and apparatus for simultaneous localization and mapping of robot
US8396249B1 (en) 2008-12-23 2013-03-12 Hrl Laboratories, Llc Robot control based on saliency and invariant spatial representations using hierarchical spatial working memory
US8774498B2 (en) * 2009-01-28 2014-07-08 Xerox Corporation Modeling images as sets of weighted features
JP5745067B2 (ja) 2010-09-24 2015-07-08 アイロボット・コーポレーション Ｖｓｌａｍ最適化のためのシステムおよび方法
CN101968712B (zh) 2010-10-08 2012-09-19 鸿富锦精密工业（深圳）有限公司 具有触摸显示屏的遥控器
US8798372B1 (en) 2012-03-07 2014-08-05 Hrl Laboratories, Llc Method for detecting bridges using lidar point cloud data
JP6022834B2 (ja) * 2012-07-13 2016-11-09 株式会社日本自動車部品総合研究所 位置検出装置、および位置検出プログラム
GB2506338A (en) 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
US20140254922A1 (en) 2013-03-11 2014-09-11 Microsoft Corporation Salient Object Detection in Images via Saliency
JP2014232477A (ja) 2013-05-30 2014-12-11 株式会社ニコン 被写体特定装置、撮像装置、被写体特定方法及び被写体特定プログラム
CN103398717B (zh) 2013-08-22 2016-04-20 成都理想境界科技有限公司 全景地图数据库采集系统及基于视觉的定位、导航方法
EP3070430B1 (en) * 2013-11-13 2019-08-14 Nissan Motor Co., Ltd. Moving body position estimation device and moving body position estimation method
WO2015089115A1 (en) * 2013-12-09 2015-06-18 Nant Holdings Ip, Llc Feature density object classification, systems and methods
KR101991496B1 (ko) * 2014-02-04 2019-06-20 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 허프 프로세서
EP3140781B1 (en) * 2014-05-08 2019-06-12 Aselsan Elektronik Sanayi ve Ticaret Anonim Sirketi A real- time, semi-automatic method for target tracking window initialization in thermal imagery
US9916520B2 (en) * 2014-09-03 2018-03-13 Sri International Automated food recognition and nutritional estimation with a personal mobile electronic device
US10055850B2 (en) * 2014-09-19 2018-08-21 Brain Corporation Salient features tracking apparatus and methods using visual initialization
NO343441B1 (en) * 2015-02-20 2019-03-11 FLIR Unmanned Aerial Systems AS Depth measurement system
KR101835434B1 (ko) * 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
GB2541884A (en) * 2015-08-28 2017-03-08 Imp College Of Science Tech And Medicine Mapping a space using a multi-directional camera
EP3285232B1 (en) * 2016-07-04 2019-01-23 Beijing Qingying Machine Visual Technology Co., Ltd. Method for matching feature points of planar array of four-phase unit and measurement method on basis thereof
US10402675B2 (en) * 2016-08-30 2019-09-03 The Boeing Company 2D vehicle localizing using geoarcs
US10110868B2 (en) * 2016-12-22 2018-10-23 Aestatix LLC Image processing to determine center of balance in a digital image

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120093361A1 (en) * 2010-10-13 2012-04-19 Industrial Technology Research Institute Tracking system and method for regions of interest and computer program product thereof
US20140049644A1 (en) * 2012-08-20 2014-02-20 Honda Research Institute Europe Gmbh Sensing system and method for detecting moving objects
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN103295213A (zh) * 2013-06-07 2013-09-11 广州大学 基于对象追踪的图像增稳算法
CN103345751A (zh) * 2013-07-02 2013-10-09 北京邮电大学 一种基于鲁棒特征跟踪的视觉定位方法
CN104281148A (zh) * 2013-07-07 2015-01-14 哈尔滨点石仿真科技有限公司 基于双目立体视觉的移动机器人自主导航方法
CN104236548A (zh) * 2014-09-12 2014-12-24 清华大学 一种微型无人机室内自主导航方法
CN104794435A (zh) * 2015-04-03 2015-07-22 中国科学院自动化研究所 一种基于视觉的无人机对地运动目标检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HENNING LATEGAHN,ET AL.: "Urban Localization with Camera and Inertial Measurement Unit", 《2013 IEEE INTELLIGENT VEHICLES SYMPOSIUM(IV)》 *
HENNING LATEGAHN，ET AL.: "Vision-Only Localization", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 *
MICHAEL MILFORD,ET AL.: "Feature-based Visual Odometry and Featureless Place Recognition for SLAM in 2.5 D Environments", 《PROCEEDINGS OF SPIE》 *
PEDRO N U´N ˜EZ,ET AL.: "Visual Odometry Based on Structural Matching of Local Invariant Features Using Stereo Camera Sensor", 《SENSORS》 *
SIMONE FRINTROP，ET AL.: "Simultaneous Robot Localization and Mapping Based on a Visual Attention System", 《SPRINGER-VERLAG》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109164825A (zh) * 2018-08-13 2019-01-08 上海机电工程研究所 一种用于多旋翼无人机的自主导航避障方法及装置
WO2020037492A1 (en) * 2018-08-21 2020-02-27 SZ DJI Technology Co., Ltd. Distance measuring method and device
CN109643127A (zh) * 2018-11-19 2019-04-16 珊口（深圳）智能科技有限公司 构建地图、定位、导航、控制方法及系统、移动机器人
CN109643127B (zh) * 2018-11-19 2022-05-03 深圳阿科伯特机器人有限公司 构建地图、定位、导航、控制方法及系统、移动机器人
US11320834B2 (en) 2018-11-19 2022-05-03 Ankobot (Shenzhen) Smart Technologies Co., Ltd. Methods and systems for mapping, localization, navigation and control and mobile robot
CN111337012A (zh) * 2018-12-19 2020-06-26 波音公司 滑行道上的飞行器定位
CN110415300A (zh) * 2019-08-02 2019-11-05 哈尔滨工业大学 一种基于三靶标建面的立体视觉结构动态位移测量方法
CN110415300B (zh) * 2019-08-02 2022-10-21 哈尔滨工业大学 一种基于三靶标建面的立体视觉结构动态位移测量方法
CN112050802A (zh) * 2020-09-11 2020-12-08 哈尔滨工业大学 基于单磁信标的三维空间高精度定位装置与方法
CN114910926A (zh) * 2022-05-31 2022-08-16 中国科学院长春光学精密机械与物理研究所 一种用于飞行器的激光测距测速雷达自动化方法及装置

Also Published As

Publication number Publication date
US20170123425A1 (en) 2017-05-04
EP3360023A1 (en) 2018-08-15
WO2017059581A1 (en) 2017-04-13
JP2018504652A (ja) 2018-02-15
US10599149B2 (en) 2020-03-24
EP3360023A4 (en) 2018-10-10

Similar Documents

Publication Publication Date Title
CN108139758A (zh) 基于显著性特征的载运工具定位
CN105492985B (zh) 一种用于在环境内控制可移动物体的系统及方法
US20210065400A1 (en) Selective processing of sensor data
CN108351649B (zh) 用于控制可移动物体的方法和设备
CN105980950B (zh) 无人飞行器的速度控制
CN107850901B (zh) 使用惯性传感器和图像传感器的传感器融合
CN107615211B (zh) 使用传感器融合估计可移动物体的状态信息的方法及系统
CN107850436B (zh) 使用惯性传感器和图像传感器的传感器融合
CN108351654B (zh) 用于视觉目标跟踪的系统和方法
CN109219785B (zh) 一种多传感器校准方法与系统
CN107850902B (zh) 可移动物体上的相机配置
CN108351653B (zh) 用于uav飞行控制的系统和方法
CN107850899B (zh) 使用惯性传感器和图像传感器的传感器融合
CN106030431B (zh) 传感器的自动标定系统及方法
CN107637064A (zh) 用于图像处理的方法和设备
CN108292140A (zh) 用于自动返航的系统和方法
CN104854428A (zh) 传感器融合
CN108351574A (zh) 用于设置相机参数的系统、方法和装置
JP2019050007A (ja) 移動体の位置を判断する方法および装置、ならびにコンピュータ可読媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180608