CN107850902B - 可移动物体上的相机配置 - Google Patents

可移动物体上的相机配置 Download PDF

Info

Publication number
CN107850902B
CN107850902B CN201580081551.8A CN201580081551A CN107850902B CN 107850902 B CN107850902 B CN 107850902B CN 201580081551 A CN201580081551 A CN 201580081551A CN 107850902 B CN107850902 B CN 107850902B
Authority
CN
China
Prior art keywords
movable object
imaging device
image data
obstacle
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580081551.8A
Other languages
English (en)
Other versions
CN107850902A (zh
Inventor
唐克坦
张宏辉
赵丛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN107850902A publication Critical patent/CN107850902A/zh
Application granted granted Critical
Publication of CN107850902B publication Critical patent/CN107850902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了用于障碍物检测和状态信息确定的系统和方法。在一些实施方式中，可移动物体可以携带一个或多个成像装置。所述成像装置可以布置在所述可移动物体上以便具有相对于所述可移动物体垂直朝向的视野。所述成像装置的布置可以补充或代替现有的布置方案，并且提供将成像装置布置在可移动物体上的高效、多功能且经济有效的手段。

Description

可移动物体上的相机配置
背景技术
诸如无人飞行器(UAV)等可移动物体可以用于在众多环境中执行监视、侦察和勘探任务以供军事和民用应用。无人飞行器可由远程用户手动控制，或者能够以半自主或者全自主方式操作。这样的无人飞行器可以包括被配置成用于从周围环境收集数据的传感器以及用以在各种应用(例如，导航)中处理数据的处理器。
传感器能够以多种配置布置在可移动物体上。在一些情况下，现有的用于在可移动物体上布置传感器的方法可能不太理想。例如，由传感器获取的信息可能受到其相对于可移动物体的放置的限制。传感器的功用可能受到所述传感器在可移动物体上的布置的限制。
发明内容
本文公开的实施方式提供了用于障碍物检测和状态信息确定的系统和方法。在许多实施方式中，成像装置可以布置在可移动物体上以便具有相对于所述可移动物体垂直朝向的视野。使用成像装置获得的图像数据可以由一个或多个处理器处理以供进一步使用。有利地，本文描述的方法可以提供改进的障碍物检测、避障、导航以及对可移动物体的状态信息的确定。
因此在一个方面中，提供了一种使用可移动物体来检测障碍物的方法。所述方法包括：从由所述可移动物体携带的成像装置接收障碍物的图像数据，其中所述成像装置被配置成具有相对于所述可移动物体向上或向下朝向的视野；接收所述可移动物体的姿态信息；以及经由一个或多个处理器，基于所述障碍物的所述图像数据和所述可移动物体的所述姿态信息来计算所述可移动物体与所述障碍物之间的距离。
在一些实施方式中，所述可移动物体包括多个动力单元，所述动力单元被配置成用于实现所述可移动物体的移动。在一些实施方式中，所述可移动物体是无人飞行器(UAV)。在一些实施方式中，所述多个动力单元包括多个旋翼。在一些实施方式中，所述成像装置是相机。在一些实施方式中，所述相机是单目相机。在一些实施方式中，所述成像装置包括光轴，所述光轴基本上平行于所述可移动物体的垂直轴线。在一些实施方式中，所述成像装置的所述视野约为60度。在一些实施方式中，所述成像装置的所述视野相对于所述可移动物体向上朝向。在一些实施方式中，所述方法还包括在室内环境内操作所述可移动物体，其中所述图像数据包括所述室内环境内的天花板的图像。在一些实施方式中，所述计算步骤包括区分描绘所述天花板的所述图像数据的部分与描绘所述障碍物的所述图像数据的部分。在一些实施方式中，在所述室内环境内，基于所述图像内的所述障碍物的视角来估计从所述可移动物体到所述障碍物的距离。在一些实施方式中，所述方法还包括在户外环境内操作所述可移动物体，其中所述图像数据包括天空的图像。在一些实施方式中，所述计算步骤包括区分描绘所述天空的所述图像数据的部分与描绘所述障碍物的所述图像数据的部分。在一些实施方式中，在所述户外环境内，基于所述图像内的所述障碍物的视角来估计从所述可移动物体到所述障碍物的距离。在一些实施方式中，所述成像装置的所述视野相对于所述可移动物体向下朝向。在一些实施方式中，所述可移动物体在室内环境内操作，并且所述图像数据包括所述室内环境内的地板的图像。在一些实施方式中，所述图像数据包括与墙壁相交的所述地板的图像。在一些实施方式中，基于所述图像内的所述障碍物的视角来估计从所述可移动物体到所述障碍物的距离，其中在所述估计中应用负的角度值。在一些实施方式中，所述姿态信息由惯性测量单元(IMU)生成。在一些实施方式中，所述姿态信息包括所述可移动物体的横滚角、俯仰角或偏航角中的至少一个。在一些实施方式中，所述计算步骤包括基于所述图像数据来确定所述成像装置的所述视野中由所述障碍物占据的部分。
在另一方面，提供了一种使用可移动物体来检测障碍物的系统。所述系统包括：成像装置，其由所述可移动物体携带并且被配置成用于获得障碍物的图像数据，其中所述成像装置被配置成具有相对于所述可移动物体向上或向下朝向的视野；以及一个或多个处理器，其单独地或共同地被配置成用于：从所述成像装置接收所述障碍物的所述图像数据；接收所述可移动物体的姿态信息；以及基于所述障碍物的所述图像数据和所述可移动物体的所述姿态信息来计算所述可移动物体与所述障碍物之间的距离。
在一些实施方式中，所述可移动物体包括多个动力单元，所述动力单元被配置成用于实现所述可移动物体的移动。在一些实施方式中，所述可移动物体是无人飞行器(UAV)。在一些实施方式中，所述多个动力单元包括多个旋翼。在一些实施方式中，所述成像装置是相机。在一些实施方式中，所述相机是单目相机。在一些实施方式中，所述成像装置包括光轴，所述光轴基本上平行于所述可移动物体的垂直轴线。在一些实施方式中，所述成像装置的所述视野约为60度。在一些实施方式中，所述成像装置的所述视野相对于所述可移动物体向上朝向。在一些实施方式中，所述可移动物体在室内环境内操作，并且所述图像数据包括所述室内环境内的天花板的图像。在一些实施方式中，所述一个或多个处理器被配置成用于区分描绘所述天花板的所述图像数据的部分与描绘所述障碍物的所述图像数据的部分。在一些实施方式中，在所述室内环境内，基于所述图像内的所述障碍物的视角来估计从所述可移动物体到所述障碍物的距离。在一些实施方式中，所述可移动物体在户外环境内操作，并且所述图像数据包括天空的图像。在一些实施方式中，所述一个或多个处理器单独地或共同地被配置成用于区分描绘所述天空的所述图像数据的部分与描绘所述障碍物的所述图像数据的部分。在一些实施方式中，在所述户外环境内，基于所述图像内的所述障碍物的视角来估计从所述可移动物体到所述障碍物的距离。在一些实施方式中，所述成像装置的所述视野相对于所述可移动物体向下朝向。在一些实施方式中，所述可移动物体在室内环境内操作，并且所述图像数据包括所述室内环境内的地板的图像。在一些实施方式中，所述图像数据包括与墙壁相交的所述地板的图像。在一些实施方式中，基于所述图像内的所述障碍物的视角来估计从所述可移动物体到所述障碍物的距离，其中在所述估计中应用负的角度值。在一些实施方式中，所述姿态信息由惯性测量单元(IMU)生成。在一些实施方式中，所述姿态信息包括所述可移动物体的横滚角、俯仰角或偏航角中的至少一个。在一些实施方式中，所述一个或多个处理器单独地或共同地被配置成用于：基于所述图像数据来确定所述成像装置的所述视野中由所述障碍物占据的部分。
在另一方面中，提供了一种使用可移动物体来检测障碍物的方法。所述方法包括：从由所述可移动物体携带的成像装置接收图像数据，其中所述成像装置被配置成具有相对于所述可移动物体向上或向下朝向的视野，并且其中所述图像数据包括位于所述可移动物体的一例处的障碍物的图像数据；以及经由一个或多个处理器，基于所述障碍物的所述图像数据来计算所述可移动物体与所述障碍物之间的距离。
在一些实施方式中，所述可移动物体包括多个动力单元，所述动力单元被配置成用于实现所述可移动物体的移动。在一些实施方式中，所述可移动物体是无人飞行器(UAV)。在一些实施方式中，所述多个动力单元包括多个旋翼。在一些实施方式中，所述成像装置是相机。在一些实施方式中，所述相机是单目相机。在一些实施方式中，所述成像装置包括光轴，所述光轴基本上平行于所述可移动物体的垂直轴线。在一些实施方式中，所述成像装置的所述视野约为60度。在一些实施方式中，所述成像装置的所述视野相对于所述可移动物体向上朝向。在一些实施方式中，所述方法还包括在室内环境内操作所述可移动物体，其中所述图像数据包括所述室内环境内的天花板的图像。在一些实施方式中，所述计算步骤包括区分描绘所述天花板的所述图像数据的部分与描绘所述障碍物的所述图像数据的部分。在一些实施方式中，在所述室内环境内，基于所述图像内的所述障碍物的视角来估计从所述可移动物体到所述障碍物的距离。在一些实施方式中，所述方法还包括在户外环境内操作所述可移动物体，其中所述图像数据包括天空的图像。在一些实施方式中，所述计算步骤包括区分描绘所述天空的所述图像数据的部分与描绘所述障碍物的所述图像数据的部分。在一些实施方式中，在所述户外环境内，基于所述图像内的所述障碍物的视角来估计从所述可移动物体到所述障碍物的距离。在一些实施方式中，所述成像装置的所述视野相对于所述可移动物体向下朝向。在一些实施方式中，所述方法还包括在室内环境内操作所述可移动物体，其中所述图像数据包括所述室内环境内的地板的图像。在一些实施方式中，所述图像数据包括与墙壁相交的所述地板的图像。在一些实施方式中，基于所述图像内的所述障碍物的视角来估计从所述可移动物体到所述障碍物的距离，其中在所述估计中应用负的角度值。在一些实施方式中，所述障碍物位于所述可移动物体的前方、所述可移动物体的后方、所述可移动物体的左侧、所述可移动物体的右侧或它们的组合。在一些实施方式中，所述计算步骤包括基于所述图像数据来确定所述成像装置的所述视野中由所述障碍物占据的部分。
在另一方面中，提供了一种使用可移动物体来检测障碍物的系统。所述系统包括：成像装置，其由所述可移动物体携带并且被配置成用于获得图像数据，其中所述成像装置被配置成具有相对于所述可移动物体向上或向下朝向的视野，并且其中所述图像数据包括位于所述可移动物体的一例处的障碍物的图像数据；以及一个或多个处理器，其单独地或共同地被配置成用于：从所述成像装置接收所述图像数据；以及基于所述障碍物的所述图像数据来计算所述可移动物体与所述障碍物之间的距离。
在一些实施方式中，所述可移动物体包括多个动力单元，所述动力单元被配置成用于实现所述可移动物体的移动。在一些实施方式中，所述可移动物体是无人飞行器(UAV)。在一些实施方式中，所述多个动力单元包括多个旋翼。在一些实施方式中，所述成像装置是相机。在一些实施方式中，所述相机是单目相机。在一些实施方式中，所述成像装置包括光轴，所述光轴基本上平行于所述可移动物体的垂直轴线。在一些实施方式中，所述成像装置的所述视野约为60度。在一些实施方式中，所述成像装置的所述视野相对于所述可移动物体向上朝向。在一些实施方式中，所述可移动物体在室内环境内操作，并且所述图像数据包括所述室内环境内的天花板的图像。在一些实施方式中，所述一个或多个处理器单独地或共同地被配置成用于区分描绘所述天花板的所述图像数据的部分与描绘所述障碍物的所述图像数据的部分。在一些实施方式中，在所述室内环境内，基于所述图像内的所述障碍物的视角来估计从所述可移动物体到所述障碍物的距离。在一些实施方式中，所述可移动物体在户外环境内操作，并且所述图像数据包括天空的图像。在一些实施方式中，所述一个或多个处理器单独地或共同地被配置成用于区分描绘所述天空的所述图像数据的部分与描绘所述障碍物的所述图像数据的部分。在一些实施方式中，在所述户外环境内，基于所述图像内的所述障碍物的视角来估计从所述可移动物体到所述障碍物的距离。在一些实施方式中，所述成像装置的所述视野相对于所述可移动物体向下朝向。在一些实施方式中，所述可移动物体在室内环境内操作，并且所述图像数据包括所述室内环境内的地板的图像。在一些实施方式中，所述图像数据包括与墙壁相交的所述地板的图像。在一些实施方式中，基于所述图像内的所述障碍物的视角来估计从所述可移动物体到所述障碍物的距离，其中在所述估计中应用负的角度值。在一些实施方式中，所述障碍物位于所述可移动物体的前方、所述可移动物体的后方、所述可移动物体的左侧、所述可移动物体的右侧或它们的组合。在一些实施方式中，所述一个或多个处理器单独地或共同地被配置成用于：基于所述图像数据来确定所述成像装置的所述视野中由所述障碍物占据的部分。
在另一方面中，提供了一种使用由可移动物体携带的成像装置来检测障碍物的方法。所述方法包括：在一个或多个处理器处，从由所述可移动物体携带的所述成像装置接收障碍物的第一图像数据，其中所述成像装置布置在所述可移动物体上以便具有相对于所述可移动物体向上或向下朝向的视野；在所述一个或多个处理器处，生成控制信号来控制所述可移动物体的一个或多个动力单元，以使所述可移动物体移动；在所述一个或多个处理器处，在所述可移动物体移动之后从所述成像装置接收所述障碍物的第二图像数据；以及借助于所述一个或多个处理器，基于所述第一图像数据和所述第二图像数据来计算所述可移动物体与所述障碍物之间的距离。
在一些实施方式中，所述可移动物体是无人飞行器(UAV)。在一些实施方式中，所述一个或多个动力单元包括多个旋翼。在一些实施方式中，所述成像装置是相机。在一些实施方式中，所述相机是单目相机。在一些实施方式中，所述成像装置包括光轴，所述光轴基本上平行于所述可移动物体的垂直轴线。在一些实施方式中，所述成像装置的所述视野约为60度。在一些实施方式中，所述成像装置的所述视野相对于所述可移动物体向上朝向。在一些实施方式中，所述方法还包括在室内环境内操作所述可移动物体，其中所述图像数据包括所述室内环境内的天花板的图像。在一些实施方式中，所述成像装置的所述视野相对于所述可移动物体向下朝向。在一些实施方式中，所述方法还包括在室内环境内操作所述可移动物体，其中所述图像数据包括所述室内环境内的地板的图像。在一些实施方式中，所述图像数据包括与墙壁相交的所述地板的图像。在一些实施方式中，所述控制信号使所述可移动物体移动一段水平距离。在一些实施方式中，所述水平距离约为0.2m至1m。在一些实施方式中，所述控制信号使所述可移动物体移动一段垂直距离。在一些实施方式中，所述垂直距离约为0.2m至1m。在一些实施方式中，所述计算步骤包括评估所述第一图像数据和第二图像数据以便检测所述成像装置的所述视野中由所述障碍物占据的部分在所述可移动物体移动之前与之后的变化。在一些实施方式中，所述方法还包括确定移动的水平距离或垂直距离。在一些实施方式中，使用惯性测量单元(IMU)来确定所移动的水平距离或垂直距离。
在另一方面中，提供了一种使用可移动物体来检测障碍物的系统。所述系统包括：成像装置，其由所述可移动物体携带并且被配置成用于获得障碍物的图像数据，其中所述成像装置布置在所述可移动物体上以便具有相对于所述可移动物体向上或向下朝向的视野；一个或多个动力单元，其被配置成用于实现所述可移动物体的移动；以及一个或多个处理器，其单独地或共同地被配置成用于：从所述成像装置接收所述障碍物的第一图像数据；生成控制信号来控制所述一个或多个动力单元，以使所述可移动物体移动；在所述可移动物体移动后所述从成像装置接收所述障碍物的第二图像数据；以及基于所述第一图像数据和所述第二图像数据来计算所述可移动物体与所述障碍物之间的距离。
在一些实施方式中，所述一个或多个处理器单独地或共同地被配置成用于：基于所述第一图像数据和所述第二图像数据来确定所述可移动物体上方的所述障碍物的高度。在一些实施方式中，基于所述可移动物体上方的所述障碍物的高度来确定所述可移动物体与所述障碍物之间的距离。在一些实施方式中，所述可移动物体是无人飞行器(UAV)。在一些实施方式中，所述一个或多个动力单元包括多个旋翼。在一些实施方式中，所述成像装置是相机。在一些实施方式中，所述相机是单目相机。在一些实施方式中，所述成像装置包括光轴，所述光轴基本上平行于所述可移动物体的垂直轴线。在一些实施方式中，所述成像装置的所述视野约为60度。在一些实施方式中，所述成像装置的所述视野相对于所述可移动物体向上朝向。在一些实施方式中，所述可移动物体在室内环境内操作，并且所述图像数据包括所述室内环境内的天花板的图像。在一些实施方式中，所述成像装置的所述视野相对于所述可移动物体向下朝向。在一些实施方式中，所述可移动物体在室内环境内操作，并且所述图像数据包括所述室内环境内的地板的图像。在一些实施方式中，所述图像数据包括与墙壁相交的所述地板的图像。在一些实施方式中，所述控制信号使所述可移动物体移动一段水平距离。在一些实施方式中，所述水平距离约为0.2m至1m。在一些实施方式中，所述控制信号使所述可移动物体移动一段垂直距离。在一些实施方式中，所述垂直距离约为0.2m至1m。在一些实施方式中，所述一个或多个处理器单独地或共同地被配置成用于评估所述第一图像数据和第二图像数据以便检测所述成像装置的所述视野中由所述障碍物占据的部分在所述可移动物体移动之前与之后的变化。在一些实施方式中，所述一个或多个处理器单独地或共同地被配置成用于确定移动的水平距离或垂直距离。在一些实施方式中，使用惯性测量单元(IMU)来确定所移动的水平距离或垂直距离。
在另一方面中，提供了一种用于确定可移动物体的状态信息的方法。所述方法包括：在一个或多个处理器处，从由所述可移动物体携带的成像装置接收图像数据，其中所述成像装置布置在所述可移动物体上以便具有相对于所述可移动物体向上朝向的视野；在所述一个或多个处理器处，接收所述可移动物体的姿态信息；以及借助于所述一个或多个处理器，基于所述图像数据和所述可移动物体的所述姿态信息来计算所述可移动物体的位置信息或运动信息中至少一种。
在一些实施方式中，所述可移动物体包括多个动力单元，所述动力单元被配置成用于实现所述可移动物体的移动。在一些实施方式中，所述可移动物体是无人飞行器(UAV)。在一些实施方式中，所述多个动力单元包括多个旋翼。在一些实施方式中，所述成像装置是相机。在一些实施方式中，所述相机是单目相机。在一些实施方式中，所述成像装置包括光轴，所述光轴基本上平行于所述可移动物体的垂直轴线。在一些实施方式中，所述成像装置的所述视野约为60度。在一些实施方式中，所述方法还包括在室内环境内操作所述可移动物体，其中所述图像数据包括所述室内环境内的天花板的图像。在一些实施方式中，所述姿态信息由惯性测量单元(IMU)生成。在一些实施方式中，所述姿态信息包括所述可移动物体的横滚角、俯仰角或偏航角中的至少一个。在一些实施方式中，所述运动信息包括所述可移动物体的速度。在一些实施方式中，所述图像数据包括图像序列。在一些实施方式中，所述计算步骤包括：在所述图像序列的每个图像中检测特征点；以及确定所述特征点在所述图像序列之中的变化。在一些实施方式中，所述方法还包括使用所述可移动物体生成环境地图。在一些实施方式中，所述环境地图使用同步定位与地图构建(SLAM)技术而生成。在一些实施方式中，相对于所生成的地图而计算所述位置信息。在一些实施方式中，所述方法还包括基于所计算的位置信息或运动信息中的至少一种而输出控制信号以控制所述可移动物体的位置或运动。
在另一方面中，提供了一种用于确定可移动物体的状态信息的系统。所述系统包括：成像装置，其由所述可移动物体携带并且被配置成用于获得图像数据，其中所述成像装置布置在所述可移动物体上以便具有相对于所述可移动物体向上朝向的视野；以及一个或多个处理器，其单独地或共同地被配置成用于：从所述成像装置接收所述图像数据；接收所述可移动物体的姿态信息；以及基于所述图像数据和所述可移动物体的所述姿态信息来计算所述可移动物体的位置信息或运动信息中的至少一种。
在一些实施方式中，所述可移动物体包括多个动力单元，所述动力单元被配置成用于实现所述可移动物体的移动。在一些实施方式中，所述可移动物体是无人飞行器(UAV)。在一些实施方式中，所述多个动力单元包括多个旋翼。在一些实施方式中，所述成像装置是相机。在一些实施方式中，所述相机是单目相机。在一些实施方式中，所述成像装置包括光轴，所述光轴基本上平行于所述可移动物体的垂直轴线。在一些实施方式中，所述成像装置的所述视野约为60度。在一些实施方式中，所述可移动物体在室内环境内操作，并且所述图像数据包括所述室内环境内的天花板的图像。在一些实施方式中，所述姿态信息由惯性测量单元(IMU)生成。在一些实施方式中，所述姿态信息包括所述可移动物体的横滚角、俯仰角或偏航角中的至少一个。在一些实施方式中，所述运动信息包括所述可移动物体的速度。在一些实施方式中，所述图像数据包括图像序列。在一些实施方式中，所述一个或多个处理器单独地或共同地被配置成用于：在所述图像序列的每个图像中检测特征点；以及确定所述特征点在所述图像序列之中的变化。在一些实施方式中，所述一个或多个处理器单独地或共同地被配置成用于使用所述可移动物体生成环境地图。在一些实施方式中，所述环境地图使用同步定位与地图构建(SLAM)技术而生成。在一些实施方式中，相对于所生成的地图而计算所述位置信息。在一些实施方式中，所述一个或多个处理器单独地或共同地被配置成用于：基于所计算的位置信息或运动信息中的至少一种而输出控制信号以控制所述可移动物体的位置或运动。
应当明白，本发明的不同方面可以被单独地、共同地或彼此结合地理解。本文描述的本发明的各个方面可以适用于下文阐述的任何特定应用。通过考察说明书、权利要求书和附图，本发明的其他目标和特征将会变得明显。
附图说明
在所附权利要求书中具体阐述了本发明的新颖特征。通过参考对在其中利用到本发明原理的说明性实施方式加以阐述的以下详细描述和附图，将会对本发明的特征和优点获得更好的理解；在附图中：
图1图示了根据实施方式的具有向上朝向的成像装置的无人飞行器。
图2图示了根据实施方式的障碍物检测和避开的示意图。
图3图示了根据实施方式的具有成像装置的可移动物体移动一段垂直距离。
图4图示了根据实施方式的具有成像装置的可移动物体移动一段水平距离。
图5图示了根据实施方式的使用可移动物体来检测障碍物的方法。
图6图示了根据实施方式的使用由可移动物体携带的成像装置来检测障碍物的方法。
图7图示了根据实施方式的用于确定可移动物体的状态信息的方法。
图8图示了根据实施方式的使用可移动物体来检测障碍物的方法。
图9图示了根据实施方式的在户外环境中操作的无人飞行器。
图10图示了根据实施方式的在室内环境内操作的无人飞行器。
图11图示了根据实施方式的无人飞行器(UAV)。
图12图示了根据实施方式的包括载体和有效载荷的可移动物体。
图13是根据实施方式的用于控制可移动物体的系统的框图示意图。
具体实施方式
本公开内容提供了用于障碍物检测和可移动物体的状态信息确定的系统和方法。诸如无人飞行器(UAV)等可移动物体可能能够借助于传感器来处理关于其环境的信息。传感器在无人飞行器上的布置可以确定所述传感器的功能性。例如，无人飞行器上的诸如相机等传感器可以用于捕捉环境的图像数据。无人飞行器上向下朝向的相机可以用于确定无人飞行器的状态信息。无人飞行器上横向或侧向朝向的相机可以用于检测障碍物。无人飞行器上向上朝向的相机可以用于确定无人飞行器的状态信息以及/或者用于检测和避开障碍物。本文提供的布置方式可以使得单一传感器能够用于多个功能。例如，垂直朝向的相机可以既用于检测障碍物又用于确定无人飞行器的状态信息。
在一些实施方式中，无人飞行器可以适于携带一个或多个传感器。所述一个或多个传感器可被配置成用于收集相关数据，诸如与无人飞行器的状态、周围环境或者环境内的物体和障碍物有关的信息。在进一步应用中，可以分析、处理或使用相关数据。例如，基于收集到的相关数据，可能生成用于控制无人飞行器导航的控制信号。适合于本文公开的实施方式使用的示例性传感器包括位置传感器(例如，全球定位系统(GPS)传感器、支持位置三角测量法的移动装置发射器)、视觉传感器(例如，能够检测可见光、红外光或紫外光的成像装置，诸如相机)、距离传感器或范围传感器(例如，超声传感器、激光雷达、飞行时间相机或深度相机)、惯性传感器(例如，加速度计、陀螺仪、惯性测量单元(IMU))、高度传感器、姿态传感器(例如，罗盘)、压力传感器(例如，气压计)、音频传感器(例如，麦克风)或场传感器(例如，磁力计、电磁传感器)。可以使用任何合适数目和组合的传感器，诸如一个、两个、三个、四个、五个、六个、七个、八个或更多个传感器。可选地，可以从不同类型(例如，两种、三种、四种、五种、六种、七种、八种或更多种类型)的传感器接收数据。不同类型的传感器可以测量不同类型的信号或信息(例如，位置、朝向、速度、加速度、距离、压力等)以及/或者利用不同类型的测量技术来获得数据。例如，传感器可以包括有源传感器(例如，生成和测量来自其自身能量源的能量的传感器)和无源传感器(例如，检测可用能量的传感器)的任何合适的组合。又例如，一些传感器可以生成依据全局坐标系提供的绝对测量数据(例如，由GPS传感器提供的位置数据、由罗盘或磁力计提供的姿态数据)，而其他传感器可以生成依据局部坐标系提供的相对测量数据(例如，由陀螺仪提供的相对角速度；由加速计提供的相对平移加速度；由视觉传感器提供的相对姿态信息；由超声传感器、激光雷达或飞行时间相机提供的相对距离信息)。在一些情况下，局部坐标系可以是相对于无人飞行器定义的机身坐标系。
传感器可被配置成用于收集各种类型的数据，诸如与无人飞行器、周围环境或所述环境内的物体有关的数据。例如，至少一些传感器可被配置成用于提供关于无人飞行器的状态的数据。由传感器提供的状态信息可以包括关于无人飞行器的空间布局的信息(例如，诸如经度、纬度和/或高度等地点或位置信息；诸如横滚、俯仰和/或偏航等朝向或姿态信息)。状态信息还可以包括关于无人飞行器的运动的信息(例如，平移速度、平移加速度、角速度、角加速度等)。例如，传感器可被配置成用于确定无人飞行器关于多达六个自由度(例如，三个位置和/或平移自由度、三个朝向和/或旋转自由度)的空间布局和/或运动。可以相对于全局坐标系或相对于局部坐标系来提供状态信息。全局坐标系可以是指独立于无人飞行器或另一实体的位置的坐标系。局部坐标系可以是指相对于无人飞行器或另一实体的坐标系。例如，传感器可被配置成用于确定无人飞行器与控制所述无人飞行器的用户之间的距离，或者无人飞行器与所述无人飞行器的飞行起始点之间的距离。
由传感器获得的数据可以提供各种类型的环境信息。例如，传感器数据可以指示出环境类型，诸如室内环境、户外环境、低空环境或高空环境。传感器数据还可以提供关于当前环境条件的信息，包括天气(例如，晴朗、下雨、下雪)、能见度条件、风速、当日时间等。而且，由传感器收集的环境信息可以包括关于所述环境中的物体的信息，所述物体诸如为本文所述的障碍物或可由处理器辨别的地标。障碍物信息可以包括关于环境中的障碍物的数目、密度、几何结构、空间布局、移动、轨迹和/或速度的信息。
在一些实施方式中，无人飞行器可以包括一个或多个视觉传感器，所述视觉传感器在本文中也称为“成像装置”。虽然许多实施方式在本文中被描述为具有耦合至无人飞行器的一个成像装置，但应当理解，任何数目的成像装置可以耦合至无人飞行器，诸如一个、两个、三个、四个、五个或更多个成像装置。成像装置可被配置成用于检测电磁辐射(例如，可见光、红外光和/或紫外光)并且基于所检测到的电磁辐射而生成图像数据。例如，成像装置可以包括电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器，所述传感器响应于光的波长而生成电信号。所产生的电信号可被处理以产生图像数据。由成像装置生成的图像数据可以包括一个或多个图像，所述一个或多个图像可以是静态图像(例如，照片)、动态图像(例如，视频)或其合适的组合。图像数据可以是多色的(例如，RGB、CMYK、HSV)或单色的(例如，灰度、黑白、深褐)。
两个或更多个图像的序列可以由成像装置捕捉。例如，约2个、3个、4个、5个、10个、15个、20个、25个、50个、100个、150个、200个或更多个图像的序列可以由成像装置捕捉。成像装置能够以特定的捕捉速率捕捉图像序列。在一些实施方式中，能够以诸如约24p、25p、30p、48p、50p、60p、72p、90p、100p、120p、300p、50i或60i的标准视频帧速率捕捉图像序列。在一些实施方式中，能够以小于或等于约每0.0001秒、0.0002秒、0.0005秒、0.001秒、0.002秒、0.005秒、0.002秒、0.05秒、0.01秒、0.02秒、0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒或10秒一个图像的速率捕捉图像序列。在一些实施方式中，捕捉速率可以根据用户输入和/或外部条件(例如，下雨、下雪、刮风、正被捕捉的环境的纹理)而改变。
在一些实施方式中，成像装置可以是相机。相机可以是捕捉动态图像数据(例如，视频)的电影摄影机或视频摄影机。相机可以是捕捉静态图像(例如，照片)的静止相机。相机可以是双目相机。本文所使用的双目相机可以是指立体相机或立体视觉相机。立体相机可以包括两个相机。相机可以是单目相机。虽然本文提供的某些实施方式是在相机的情景中描述的，但应当理解，本公开内容可以适用于任何合适的成像装置，并且本文中与相机有关的任何描述也可以适用于任何合适的成像装置，并且本文中与相机有关的任何描述还可以适用于其他类型的成像装置。相机可以用于生成3D场景(例如，环境、一个或多个物体等)的2D图像。由相机生成的图像可以表示3D场景向2D图像平面上的投影。因此，2D图像中的每个点对应于场景中的3D空间坐标。
由本文描述的成像装置获得的图像可以用于与无人飞行器操作有关的多种应用。在一些实施方式中，图像用于促进环境内的无人飞行器导航(例如，自主地、半自主地或手动地)。在一些实施方式中，图像用于障碍物检测和避开。在一些实施方式中，图像可被处理以评估或确定无人飞行器的状态信息(例如，位置、朝向、速度和/或加速度信息)。可以使用由一个或多个成像装置获得的一个或多个图像(例如，利用一个或多个处理器处理图像)来评估或确定状态信息。
成像装置可各自具有视野。成像装置的视野可以是可由所述成像装置检测到的(例如，可见的)的环境范围。视野可以与视角有关，所述视角可以由成像装置进行成像的给定场景的角范围来测量。成像装置的视角可以为小于或约为360°、300°、240°、180°、150°、120°、90°、60°、30°、20°或10°的角度。可以通过成像装置对于可移动物体的相对方向来描述视野。例如，视野可以相对于可移动物体(例如，无人飞行器)垂直朝向、水平朝向、向上朝向、向下朝向、侧向朝向等。成像装置可各自具有光轴。成像装置的光轴——也可称为“主轴”——可以是一条线，在成像装置中沿着所述线有着某种程度的旋转对称。在一些实施方式中，成像装置的光轴穿过所述成像装置的光学部件(例如，镜头、相片传感器)的中心。
本公开内容的成像装置可以位于可移动物体的任何合适的部分上，诸如在可移动物体的主体的上方、下方、一侧或多侧处或者主体内。一些成像装置可以机械耦合至无人飞行器，以使得可移动物体的空间布局和/或运动对应于成像装置的空间布局和/或运动。成像装置可以经由刚性耦合而耦合至可移动物体，以使得所述成像装置相对于其所附接至的可移动物体的部分不移动。或者，成像装置与可移动物体之间的耦合可以允许所述成像装置相对于所述可移动物体的移动(例如，相对于无人飞行器的平移移动或旋转移动)。成像装置相对于可移动物体的移动可以由用户输入自主地或半自主地遥控。耦合可以是永久耦合或非永久(例如，可拆卸)耦合。合适的耦合方法可以包括粘合剂、粘结、焊接和/或紧固件(例如，螺钉、钉、销等)。可选地，成像装置可以与可移动物体的一部分一体形成。此外，成像装置可以与可移动物体的一部分(例如，处理单元、控制系统、数据存储)电耦合，以便使得由成像装置收集的数据能够用于无人飞行器的各种功能(例如，导航、控制、推进、与用户或其他装置的通信等)，诸如本文所讨论的实施方式。成像装置可以可操作地与无人飞行器的一部分(例如，处理单元、控制系统、数据存储)相耦合。
成像装置相对于可移动物体(例如，无人飞行器)的布置和/或朝向可以确定成像装置的功用和限制。在一些实施方式中，位于无人飞行器下方的成像装置(例如，具有相对于无人飞行器向下朝向的视野的成像装置)可以用于确定无人飞行器的速度。例如，可以由成像装置捕捉一个或多个图像的序列，并且可以在捕捉到的图像内分析地上坐标的相对位置的变化以确定所述无人飞行器的速度。在一些实施方式中，位于无人飞行器一例的成像装置(例如，具有相对于无人飞行器向前、侧向、向后或横向朝向的视野的成像装置)可以用于障碍物检测和/或避开。处理器可以通过评定来自传感器的信息而确定深度信息，从而确定障碍物。在一些方法中，为了障碍物检测或避障，两个或更多个传感器可以位于无人飞行器的一侧。例如，超声传感器可以与成像装置配合使用，或者两个成像装置可以一起使用以供障碍物检测和/或避障。在一些实施方式中，成像装置可以根据两个连续图像的光流而测量无人飞行器的相对移动，并且基于超声传感器的测量而还原实际移动(例如，无人飞行器移动的距离)。在一些实施方式中，两个成像装置或一个双目相机(例如，立体视觉相机)可以与处理器配合使用以确定到物体的距离。对于具有障碍物检测和/或避障以及速度测量的能力的无人飞行器而言，可以使用三个或更多个传感器(例如，位于无人飞行器一侧的成像装置、位于无人飞行器下方的成像装置和超声传感器)。
图1图示了根据实施方式的具有向上朝向的成像装置102的无人飞行器100。成像装置102可以布置在可移动物体上以便具有相对于所述可移动物体垂直朝向的视野。在本文中，使用“垂直朝向”可以是指成像装置的光轴与可移动物体的垂直轴线112对准和/或基本上平行。在本文中，使用“垂直轴线”可以是指从可移动物体的上表面(例如，面向天空的表面)延伸至下表面(例如，面向地面的表面)的轴线。因此，可移动物体的垂直轴线可以随所述可移动物体的姿态而变化。例如，如果可移动物体相对于水平地板倾斜90度，则可移动物体的垂直轴线也可相对于所述水平地板倾斜90度。在这种情况下，对于相对于可移动物体固定的成像装置(例如，相对于无人飞行器100的成像装置102)而言，所述成像装置可能不再具有相对于环境(例如，水平地板)垂直朝向的视野。然而，尽管如此，成像装置也可以具有相对于可移动物体垂直朝向的视野。如本文所使用的，布置在可移动物体上以便具有相对于所述可移动物体垂直朝向的视野的成像装置可以是指布置在可移动物体上以便具有相对于所述可移动物体向上或向下朝向的视野的成像装置，并且在全文中，所述两个术语可以可交换地使用。
布置在可移动物体上以便具有相对于所述可移动物体向上或向下朝向的视野(例如，垂直朝向的视野)的成像装置可以具有准确地平行于所述可移动物体的垂直轴线的光轴。布置在可移动物体上以便具有相对于所述可移动物体向上或向下朝向的视野(例如，垂直朝向的视野)的成像装置可以具有基本上平行于所述可移动物体的垂直轴线的光轴。基本上平行于可移动物体的垂直轴线的光轴可以是指在可移动物体的垂直轴线的5°、10°、15°、20°、25°、30°、35°、40°或45°之内的光轴。布置在可移动物体上以便具有相对于所述可移动物体向上或向下朝向的视野的成像装置可以具有在所述可移动物体的垂直轴线的0度、5度、10度、20度、30度、40度、60度或80度之内的光轴。在一些情况下，定向于可移动物体上以便具有相对于所述可移动物体向上朝向的视野的成像装置可以定向在所述可移动物体的上表面(例如，面向天空的表面)处或上方。定向于可移动物体上以便具有相对于所述可移动物体向上朝向的视野的成像装置可以具有准确地平行于所述可移动物体的垂直轴线的光轴。定向于可移动物体上以便具有相对于所述可移动物体向上朝向的视野的成像装置可以具有基本上平行于所述可移动物体的垂直轴线的光轴。基本上平行于可移动物体的垂直轴线的光轴可以是指在可移动物体的垂直轴线的5°、10°、15°、20°、25°、30°、35°、40°或45°之内的光轴。定向于可移动物体上以便具有相对于所述可移动物体向上朝向的视野的成像装置可以具有在所述可移动物体的垂直轴线的0度、5度、10度、20度、30度、40度、60度或80度之内的光轴。在一些情况下，定向于可移动物体上以便具有相对于所述可移动物体向下朝向的视野的成像装置可以定向在所述可移动物体的下表面(例如，面向地面的表面)处或下方。定向于可移动物体上以便具有相对于所述可移动物体向下朝向的视野的成像装置可以具有准确地平行于所述可移动物体的垂直轴线的光轴。定向于可移动物体上以便具有相对于所述可移动物体向下朝向的视野的成像装置可以具有基本上平行于所述可移动物体的垂直轴线的光轴。基本上平行于可移动物体的垂直轴线的光轴可以是指在可移动物体的垂直轴线的5°、10°、15°、20°、25°、30°、35°、40°或45°之内的光轴。定向于可移动物体上以便具有相对于所述可移动物体向下朝向的视野的成像装置可以具有在所述可移动物体的垂直轴线的0度、5度、10度、20度、30度、40度、60度或80度之内的光轴。
定向于可移动物体上以便具有相对于所述可移动物体向上或向下朝向的视野的成像装置可以具有位于所述可移动物体的横轴线114(或纵轴线)之上或者位于所述可移动物体的横轴线(或纵轴线)之下的光轴。在一些情况下，定向于可移动物体上以便具有相对于所述可移动物体向上朝向的视野的成像装置可以具有位于所述可移动物体的横轴线(或纵轴线)之上的光轴。在一些情况下，定向于可移动物体上以便具有相对于所述可移动物体向下朝向的视野的成像装置可以具有位于所述可移动物体的横轴线或纵轴线之下的光轴。
定向于可移动物体上以便具有相对于所述可移动物体垂直朝向的视野的成像装置可以具有完全位于所述可移动物体的横轴线(或纵轴线)之上或者完全位于所述可移动物体的横轴线之下的视野。定向于可移动物体上以便具有相对于所述可移动物体垂直朝向的视野的成像装置可以具有基本上位于所述可移动物体的横轴线(或纵轴线)之上或者基本上位于所述可移动物体的横轴线之下的视野。基本上位于可移动物体的横轴线(或纵轴线)之上或之下的视野可以是指在可移动物体的横轴线或纵轴线之上或之下至少50％、60％、70％、80％或90％的视野。在一些情况下，定位于可移动物体上以便具有相对于所述可移动物体向上朝向的视野的成像装置可以具有完全位于所述可移动物体的横轴线或纵轴线之上的视野。在一些情况下，定向于可移动物体上以便具有相对于所述可移动物体向上朝向的视野的成像装置可以具有基本上位于所述可移动物体的横轴线或纵轴线之上的视野。基本上位于可移动物体的横轴线或纵轴线之上的视野可以是指在可移动物体的横轴线或纵轴线之上至少50％、60％、70％、80％或90％的视野。在一些情况下，定向于可移动物体上以便具有相对于所述可移动物体向下朝向的视野的成像装置可以具有完全位于所述可移动物体的横轴线或纵轴线之下的视野。在一些情况下，定向于可移动物体上以便具有相对于所述可移动物体向下朝向的视野的成像装置可以具有基本上位于所述可移动物体的横轴线或纵轴线之下的视野。基本上位于可移动物体的横轴线或纵轴线之下的视野可以是指在可移动物体的横轴线或纵轴线之下至少50％、60％、70％、80％或90％的视野。
具有相对于可移动物体向上或向下朝向的视野的成像装置可以捕捉完全位于所述可移动物体的横轴线或纵轴线之上的环境的图像数据或者完全位于所述可移动物体的横轴线或纵轴线之下的环境的图像数据。具有相对于可移动物体向上或向下朝向的视野的成像装置可以捕捉基本上位于所述可移动物体的横轴线或纵轴线之上的环境的图像数据或者基本上位于所述可移动物体的横轴线或纵轴线之下的环境的图像数据。基本上位于可移动物体的横轴线或纵轴线之上或之下的环境的图像数据可以是指在所述可移动物体的横轴线或纵轴线之上或之下至少50％、60％、70％、80％或90％的环境的图像数据。在一些情况下，具有相对于可移动物体向上或向下朝向的视野的成像装置可以捕捉包含位于所述可移动物体的横轴线(或纵轴线)之上至少50％、60％、70％、80％、90％或100％的环境的图像数据的图像，或者包含位于所述可移动物体的横轴线(或纵轴线)之下至少50％、60％、70％、80％、90％或100％的环境的图像数据的图像。
在一些情况下，具有相对于可移动物体向上朝向的视野的成像装置可以捕捉完全位于所述可移动物体的横轴线或纵轴线之上的环境的图像数据。在一些情况下，具有相对于可移动物体向上朝向的视野的成像装置可以捕捉基本上位于所述可移动物体的横轴线或纵轴线之上的环境的图像数据。基本上位于可移动物体的横轴线或纵轴线之上的环境的图像数据可以是指在可移动物体的横轴线或纵轴线之上至少50％、60％、70％、80％或90％的环境的图像数据。在一些情况下，具有相对于可移动物体向上朝向的视野的成像装置可以捕捉包含位于所述可移动物体的横轴线(或纵轴线)之上至少50％、60％、70％、80％、90％或100％的环境的图像数据的图像。
在一些情况下，具有相对于可移动物体向下朝向的视野的成像装置可以捕捉完全位于所述可移动物体的横轴线或纵轴线之下的环境的图像数据。在一些情况下，具有相对于可移动物体向下朝向的视野的成像装置可以捕捉基本上位于所述可移动物体的横轴线或纵轴线(或纵轴线)之下的环境的图像数据。基本上位于可移动物体的横轴线或纵轴线之下的环境的图像数据可以是指在可移动物体的横轴线或纵轴线之下至少50％、60％、70％、80％或90％的环境的图像数据。在一些情况下，具有相对于可移动物体向下朝向的视野的成像装置可以捕捉包含位于所述可移动物体的横轴线(或纵轴线)之下至少50％、60％、70％、80％、90％或100％的环境的图像数据的图像。
虽然成像装置102被示出位于可移动物体之上，但本文提供的系统和方法可以同样地可适用于位于可移动物体之下的成像装置。本文公开的成像装置可以安装在无人飞行器的上表面、无人飞行器的下表面上，安装在无人飞行器的中央机身的顶部上或中央机身之下，安装在无人飞行器的外围部分的顶部上或外围部分之下，等等。因此，布置在可移动物体上以便具有相对于所述可移动物体垂直朝向的视野的成像装置可以具有相对于所述可移动物体向下朝向的视野。虽然成像装置102被示出基本上位于无人飞行器的中心附近，但应当理解，成像装置可以位于可移动物体上的任何地方(例如，中心附近、边缘附近等)。成像装置102可以在室内环境或户外环境中捕捉一个或多个图像。成像装置102还可以与一个或多个处理器一起使用以供导航、障碍物检测、避障、状态确定(例如，速度测量)、定位等。可移动物体可以包括多个动力单元(例如，104、106)，所述动力单元被配置成用于影响可移动物体的移动。所述动力单元可以包括多个旋翼。
垂直朝向的成像装置可以既用于检测障碍物又用于确定无人飞行器的状态信息。在一些实施方式中，垂直朝向的单个成像装置可以具有可能无法由横向朝向的单个成像装置执行的功能性。在一些实施方式中，无人飞行器上横向或侧向朝向的成像装置可以用于检测障碍物，但可能不能够确定某些类型的无人飞行器状态信息。例如，当无人飞行器正在以基本上平行于成像装置的光轴的方向移动时，来自横向朝向的单个成像装置的图像数据可能无法有助于确定所述无人飞行器的位置和/或速度。在一些实施方式中，如本文进一步所述，垂直朝向(例如，向上或向下)的单个成像装置可以用于确定无人飞行器的状态信息(例如，位置、速度)并且用于检测障碍物。多功能成像装置可以具有诸如减少的成本(例如，与具有两个或更多个成像装置的成本相比)、降低的无人飞行器重量(例如，与具有两个或更多个成像装置的重量相比)等优点。
图2图示了根据实施方式的障碍物检测和避开的示意图。图2示出了在障碍物206附近的可移动物体201，所述可移动物体201具有面向上方的成像装置202。虽然图2描绘了面向上方的成像装置，但本文描述的实施方式可以同样地适用于面向下方的成像装置。障碍物可以位于可移动物体的一例(例如，横向侧)而不是例如位于可移动物体之上或之下，如图2中所示。如障碍物206所示，仅障碍物的一部分可以位于可移动物体的横向侧。位于可移动物体的横向侧的障碍物可以位于可移动物体的前方、可移动物体的后方、可移动物体的左侧、可移动物体的右侧或它们的组合。
成像装置可以具有视角2θ和焦距f。当障碍物足够接近成像装置202时，例如，在距离t内时，所述障碍物可以占据视角的一部分α。由成像装置捕捉的图像在焦平面上可以具有宽度2w，所述焦平面的一部分由障碍物占据。由障碍物占据的图像的宽度在本文中可以是指l。而θ，f，和w可以是已知参数。可以使用一个或多个处理器来确定l。例如，一个或多个处理器可以接收包含障碍物的图像。一个或多个处理器可以经由分割算法将图像内的障碍物与其他部分区别(例如，区分)开来(例如，将l与2w-l区别开来)。分割算法可以将图像分成多个部分。所分割的图像数据可以用于识别数字图像中的相关信息。例如，可以使用阈值法、聚类法(例如，k均值聚类)、基于压缩的方法、基于直方图的方法、特征检测、边缘检测、双聚类法、区域生长法、基于偏微分方程的方法、图形分割法、分水岭变换、基于模型的分割、多尺度分割、半自动分割、可训练分割、分割基准测试等来分割图像。区别图像内的障碍物可以包括检测障碍物。
在一个或多个障碍物易于与其他部分(例如，背景)区别开来的图像中，可以使用基于颜色的图像分割算法，诸如K均值聚类算法。例如，对于在户外环境中操作、具有相对于可移动物体垂直朝向的成像装置的可移动物体而言，所捕捉的图像可以包含障碍物(例如，杆)和背景(例如，天空)。在一些实施方式中，障碍物可以易于与背景区别开来(例如，蓝色、晴朗的天空和黄色的障碍物)，并且可以使用基于颜色的图像分割算法来区别障碍物。在一些实施方式中，可以使用如本文所述的其他分割方法、技术或算法。处理器可以进一步计算或测量图像中障碍物的宽度(例如，图2的l)、长度或面积。
在一个或多个障碍物不易于与其他部分(例如，背景)区别开来的图像中，可以使用拐角检测算法。例如，在室内环境中操作的、耦合至成像装置的可移动物体可以获取包含障碍物(例如，墙壁)和背景(例如，地板或天花板)的图像数据。图像数据可以包括与墙壁相交的地板或天花板的图像。在一些实施方式中，障碍物可能不易于与背景区别开来(例如，墙壁和天花板具有相同的白色)，而拐角检测算法可以用于检测障碍物与背景之间的分界。基于检测到的分界，障碍物可以与背景区别开来。在一些实施方式中，可以使用如本文所述的其他分割方法、技术或算法。障碍物可被区别开来并且处理器可以进一步计算或测量所述障碍物的宽度、长度或面积。
在图2中，定义h为从可移动物体的水平面上的位置到障碍物的顶部的障碍物高度，可以根据方程(1)和(2)计算由障碍物占据的视野(例如，视角)(α)：
w-l＝f*tan(θ-α) (1)
Figure GDA0001542139760000221
在一些实施方式中，从可移动物体到障碍物的距离t可以直接依据方程(2)中所确定的角度α而确定。可能的距离t的范围可以直接依据方程(2)中所确定的角度α而确定。例如，在室内环境中，h的可能范围可以已知且较小，其中h如前文所定义。例如，在具有固定高度3米的室内环境中，h可以为从3米(例如，无人飞行器位于地板上)到0米(例如，无人飞行器接触天花板)的范围。因此，可以根据以下方程计算从可移动物体到障碍物的可能的距离的范围：
t＝h*tan(θ-α) (3)
在一些实施方式中，可能的距离t的范围可能不能够直接依据方程(2)中所确定的角度α而确定。例如，在户外环境中，h的可能范围可以是未知的。如果已知，则h的范围可以变化很大(例如，在0与500米之间变化)并且基于其而计算的t可以变化很大。
备选地或附加地，如下文进一步详述，t可以间接依据角度α而确定。例如，随着可移动物体移动，可以基于角度α的变化来确定t。可移动物体的移动可以沿着已知的或预定的路径以及/或者可以具有指定的(例如，预定的)距离。在一些情况下，可移动物体的移动可以具有指定的垂直距离和/或水平距离。这种方法可以用于改进对t的计算的准确度。
图3图示了根据实施方式的具有成像装置304的可移动物体302移动一段垂直距离306。成像装置可以在第一位置308处捕捉一个或多个图像。可移动物体可以行进一段垂直距离306，并且成像装置还可以在不同的位置310处捕捉一个或多个图像。采用方程(3)并在两边同时除以tan(θ-α)，
Figure GDA0001542139760000231
t可以使用方程(4)来获得。方程(4)的dh可以是指由可移动物体行进的垂直距离。例如，关于图3，dh可以是指位置308与位置310之间的垂直距离306。高度或由可移动物体行进的垂直距离可以由诸如惯性测量单元(IMU)或GPS传感器等传感器所测量。dh可以约为或小于1cm、2cm、5cm、0.1m、0.2m、0.5m、1m、2m、5m或10m。在一些情况下，dh可以约为0.2m至1m。由于可移动物体行进的垂直距离引起的由障碍物307所占据的视野的变化可以通过dα＝α1-α2来定义，其中α1和α2是由处于某一位置处的障碍物在垂直移动之前与垂直移动之后各占据的视野，如图3中所图示。因为α和θ可以是与无人飞行器位置无关的常量，所以α1或α2可以在方程(4)中使用。可以获得多个dh和对应的dα(例如，多次使可移动物体移动一段垂直距离)，并且可以获得可移动物体距障碍物的平均距离(t)以提高准确度。
在一些情况下，可以在可移动物体每次行进一段垂直距离时无条件地确定或测量dh。在一些情况下，仅当满足一个或多个条件时，可以确定dh。例如，当检测到α(dα)的显著变化时，可以确定dh。在一些实施方式中，α的显著变化可以等于约或小于5°、10°、15°、20°、25°、30°、35°、40°或45°。
图4图示了根据实施方式的具有成像装置404的可移动物体402移动一段水平距离406。成像装置可以在第一位置408处捕捉一个或多个图像。可移动物体可以行进一段水平距离dt，并且成像装置可以在第二位置410处捕捉一个或多个图像。可以进一步地对方程(3)进行微分，变成，
Figure GDA0001542139760000241
可以使用方程(5)获得h。方程(5)的dt可以是指由可移动物体行进的水平距离。例如，关于图4，dt可以是指位置408与位置410之间的水平距离406。由可移动物体行进的水平距离(dt)可以由诸如惯性测量单元(IMU)或GPS传感器等传感器所测量。dt可以约为或小于1cm、2cm、5cm、0.1m、0.2m、0.5m、1m、2m、5m或10m。在一些情况下，dt可以约为0.2m至1m。由于可移动物体行进的水平距离引起的由障碍物所占据的视野的变化可以通过dα＝α1-α2来定义，其中α1和α2是由处于某一位置处的障碍物407在水平移动之前与水平移动之后各占据的视野，如图4中所图示。因为α和θ可以是与无人飞行器位置无关的常量，所以α1或α2可以在方程(5)中使用。由于已经解出h，所以可移动物体距障碍物的距离(t)可以使用方程(3)获得。可以获得多个dt和对应的dα(例如，多次使可移动物体移动一段水平距离)，并且可以获得可移动物体距障碍物的平均距离(t)以提高准确度。
在一些情况下，可以在可移动物体每次行进一段水平距离时无条件地确定或测量dt。在一些情况下，仅当满足一个或多个条件时可以确定dt。例如，当检测到α(dα)的显著变化时，可以确定dt。在一些实施方式中，α的显著变化可以等于约或小于5°、10°、15°、20°、25°、30°、35°、40°或45°。
图5图示了根据实施方式的使用可移动物体检测障碍物的方法500。在步骤502中，一个或多个处理器可以从由可移动物体携带的成像装置接收图像数据。所述图像数据可以包括障碍物图像数据和其他(例如，背景)图像数据。例如，对于在室内环境中操作的可移动物体而言，图像数据可以包括墙壁(例如，障碍物)和天花板(例如，背景)的图像。例如，对于在户外环境中操作的可移动物体而言，图像数据可以包括物体(例如，障碍物)和天空(例如，背景)的图像。图像数据可以包括由成像装置捕捉的一个或多个图像的数据。例如，图像数据可以包括约1、2、3、4、5、10、20、50、100、200、500、1000个或更多个图像。如本文所述，图像数据可以包括图像序列。在一些实施方式中，处理器可以包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)或复杂可编程逻辑器件(CPLD)。在一些实施方式中，处理器可以是由无人飞行器携带的嵌入式处理器。或者，处理器可以与可移动物体分离(例如，在地面站处与可移动物体相通信)。如本文所提及的，成像装置可以布置在可移动物体上以便具有相对于所述可移动物体垂直朝向(例如，向上或向下)的视野。障碍物可以位于可移动物体的一例(例如，横向侧)而非例如位于可移动物体之上或之下。例如，障碍物可以位于可移动物体的前方、可移动物体的后方、可移动物体的左侧、可移动物体的右侧或它们的组合。例如，障碍物的至少一部分可以位于无人飞行器的横向侧。因此，在一些实施方式中，在步骤502中由处理器接收的图像数据可以包括处于可移动物体的横向侧的障碍物的图像数据。
在步骤504中，一个或多个处理器可以计算可移动物体与障碍物之间的距离。所述计算可以基于障碍物的图像数据。计算可移动物体与障碍物之间的距离可以包括检测障碍物。计算可移动物体与障碍物之间的距离可以包括区分描绘背景的图像数据的一部分与描绘障碍物的图像数据的一部分。计算可移动物体与障碍物之间的距离可以包括分割图像数据。如本文所提及的，分割图像数据可以包括阈值法(例如，Otsu法)、基于颜色的分割(例如，K均值聚类)、变换法(例如，分水岭分割)、纹理法(例如，纹理过滤)等。
如下文进一步所述，可以存在多种计算可移动物体与障碍物之间的距离的方式。所述计算可以取决于外部因素，诸如可移动物体在其中操作的环境的类型(例如，室内、户外等)。从可移动物体到障碍物的距离可以基于图像数据内的障碍物的视角来估计。在一些实施方式中，可以在所述估计中应用负的角度值。如本文所使用的，当成像装置具有在水平轴线以下的光轴时，视角可以具有负的角度值。
基于对障碍物的检测或步骤504中的计算，一个或多个处理器可以启动避障程序和/或生成警报信号。例如，一旦检测到障碍物，便可以启动避障程序和/或可以生成警报信号。例如，如果可移动物体与障碍物之间的距离计算为约0.1m、0.2m、0.3m、0.4m、0.5m、0.75m、1m、1.25m、1.5m、2m、2.5m、3m、4m、5m、10m、15m、20m、50m、100m、150m或更多，则可以启动避障程序和/或可以生成警报信号。避障程序可以包含不允许可移动物体以障碍物的方向前进。避障程序可以包含使可移动物体以检测到的障碍物的相反方向移动(例如，经由输出至可移动物体的动力单元的控制信号)。避障程序可以包含生成并输出控制信号至可移动物体的一个或多个动力单元，以使所述可移动物体移动(例如，垂直移动或水平移动)以至于避开障碍物。警报信号可以包含向操作者或用户输出触觉警报、视觉警报或听觉警报。例如，可移动物体或与所述可移动物体相耦合的部件可以输出闪光以发出警报信号。例如，视觉警报可以显示在操作者的遥控装置上以发出警报信号。例如，可以从可移动物体、遥控装置或与可移动物体相耦合的任何其他部件中生成声音以发出警报信号。例如，无人飞行器、遥控装置或与可移动物体相耦合的任何其他部件可以振动以发出警报信号。
虽然在本文中已经主要讨论了布置在可移动物体上以便具有相对于所述可移动物体垂直朝向的视野的成像装置以及位于可移动物体的横向侧的障碍物，但所述方法和系统可以同样地适用于任何布置，在所述布置中，成像装置相对于障碍物的光轴和成像装置相对于障碍物的位置基本上类似于本文讨论的布置。例如，所述方法和系统可以适用于布置在可移动物体上以便具有相对于所述可移动物体水平朝向的视野的成像装置以及位于可移动物体之上或之下的障碍物。这可以包括当光轴基本上指向第一方向而障碍物关于成像装置处于基本上垂直于第一方向的第二方向上的情况。
图6图示了根据实施方式的使用由可移动物体携带的成像装置来检测障碍物的方法600。在步骤602中，一个或多个处理器可以从由可移动物体携带的成像装置接收障碍物的第一图像数据，基本上如本文所述。成像装置可以布置在可移动物体上以便具有相对于所述可移动物体向上或向下(例如，垂直)朝向的视野。
在步骤604中，一个或多个处理器可以生成控制信号，用于控制可移动物体的一个或多个动力单元以使所述可移动物体移动。在一些情况下，可移动物体的移动可以沿水平方向、垂直方向或其任何组合。水平移动和/或垂直移动可以具有任何组合和/或序列。可移动物体能够以预定的路径或序列移动，所述路径或序列可以包括任何水平距离和/或垂直距离。可移动物体可以在没有预定路径或序列的情况下以任何方向(例如，水平方向和/或垂直方向)并以任何距离(例如，水平方向和/或垂直方向)进行移动。备选地或结合地，可移动物体可以处理第一图像数据并且基于所获得的信息(例如，检测到的障碍物)在某一方向(例如，水平方向和/或垂直方向)上移动。无人飞行器的移动可以使所述无人飞行器移动某一水平距离和/或垂直距离。所移动的水平距离可以约为0.01m、0.05m、0.1m、0.2m、0.5m、0.75m、1m、1.5m、2m或更多。所移动的垂直距离可以约为0.01m、0.05m、0.1m、0.2m、0.5m、0.75m、1m、1.5m、2m或更多。所移动的水平距离和/或垂直距离可被测量并储存在处理器中。例如，可移动物体移动的距离可由惯性测量单元测量并且所述测量可以储存在一个或多个处理器中。
在步骤606中，一个或多个处理器可以在可移动物体移动后从成像装置接收障碍物的第二图像数据。在步骤608中，一个或多个处理器可以基于第一图像数据和第二图像数据来计算可移动物体与障碍物之间的距离，基本上如本文所述。计算步骤可以包括评估第一图像数据和第二图像数据以便检测由障碍物占据的成像装置的视野的一部分在可移动物体已移动水平距离和/或垂直距离之前与之后的变化。
可以根据需要而重复方法600。可以获得可移动物体与障碍物之间的多个距离。可以对在可移动物体与障碍物之间获得的多个距离执行统计分析以提高准确度。例如，可以对在可移动物体与障碍物之间获得的多个距离求平均值以提高准确度。在确定可移动物体与障碍物之间的距离之前，方法600可以重复大约或不止1、2、3、4、5、10或20次。
图7图示了根据实施方式的确定可移动物体的状态信息的方法700。在步骤702中，一个或多个处理器可以从由可移动物体携带的成像装置接收图像数据。成像装置可以布置在可移动物体上以便具有相对于所述可移动物体向上朝向的视野，基本上如本文所述。面向上方的相机可以捕捉包括背景在内的图像。例如，背景可以包括天花板(例如，在室内环境中)或天空(例如，在户外环境中)。在一些实施方式中，障碍物可以易于与背景区别开来(例如，蓝色、晴朗的天空和不同颜色的障碍物)，并且如本文所述，分割算法可以用于区别障碍物。因此，面向上方的相机可以有利地捕捉图像，所述图像可能具有比其他朝向有更低复杂度的背景，这可以提高障碍物可与背景区别开来的容易度。这可以使得分析捕捉到的图像所需的处理功率更低。
在步骤704中，一个或多个处理器可以接收可移动物体的姿态信息。所述姿态信息可以包括可移动物体的横滚朝向、俯仰朝向或偏航朝向。
在步骤706中，一个或多个处理器可以基于图像数据和可移动物体的姿态信息来计算所述可移动物体的位置信息或运动信息中的至少一种。例如，如果可移动物体倾斜以至于无人飞行器的垂直轴线不垂直于到障碍物的直线距离，则一个或多个处理器在位置信息和/或运动信息计算中可能需要考虑倾斜角。在一些情况下，可移动物体的姿态信息可以用于准确地计算或确定所述可移动物体的状态信息(例如，位置信息或运动信息)。例如，当无人飞行器具有横滚或俯仰朝向时，由成像装置拍摄(例如，捕捉)的图像可以是由不具有横滚或俯仰朝向的无人飞行器上的成像装置所捕捉的图像的变换版本(例如，经由仿射变换)。在这样的情况下，可以基于可移动物体的姿态信息而实现图像的坐标旋转。假设横滚角和俯仰角为Ψ和Φ，则对应的旋转矩阵R可以表示为如下所示。在一些情况下，偏航角并不重要并且可忽略。
Figure GDA0001542139760000281
对于图像上的像素(u，v)而言，可以如下计算对应于像素的焦平面中的3D点(x，y，z)：
Figure GDA0001542139760000291
所述3D点还可以根据旋转矩阵而旋转：
Figure GDA0001542139760000292
经旋转的3D点可以根据以下方程投影到图像平面上，以下方程可以用于更准确地确定无人飞行器的位置信息或运动信息：
Figure GDA0001542139760000293
运动信息可以包括可移动物体的速度。例如，一个或多个处理器可以接收两个或更多个图像的序列。处理器可以分析所述图像序列并确定变化。例如，处理器可以检测图像内可复制的特征并且确定其在图像序列之中的图像内的相对位置。处理器可以将相对位置变化与图像序列之间的时间推移进行比较，以确定可移动物体的速度。步骤706可以包括在图像序列的每个图像中检测特征点并且确定特征点在图像序列之中的变化。特征点可以是图像的一部分(例如，边缘、拐角、兴趣点、斑点、脊等)，所述部分可与所述图像的其余部分和/或所述图像中的其他特征点唯一地区别开来。可选地，特征点关于成像物体的变换(例如，平移、旋转、缩放)和/或图像特性(例如，亮度、曝光度)的变化可以是相对不变的。可以在信息内容方面较丰富(例如，显著的2D纹理)的图像的部分中检测特征点。可以在扰动情况下(例如，当改变图像的照度和亮度时)保持稳定的图像的部分中检测特征点。
如本文所述的特征检测可以使用可从图像数据提取一个或多个特征点的各种算法来完成。所述算法可以是边缘检测算法、拐角检测算法、斑点检测算法或脊检测算法。在一些实施方式中，拐角检测算法可以是“加速分割测试特征(Features from acceleratedsegment test，FAST)”。在一些实施方式中，特征检测器可以提取特征点并使用FAST进行有关特征点的计算。在一些实施方式中，特征检测器可以是Canny边缘检测器、Sobel算子、Harris&Stephens/Plessy/Shi-Tomasi拐角检测算法、SUSAN拐角检测器、水平曲线曲率法、高斯拉普拉斯(Laplacian of Gaussian)、高斯差分、Hessian行列式、MSER、PCBR或Grey-level斑点(Grey-level blobs)、ORB、FREAK或者它们的合适组合。
步骤706可以包含计算可移动物体的位置信息。可以使用可移动物体来生成环境地图。例如，环境地图可以使用同步定位与地图构建(Simultaneous Localization andMapping，SLAM)技术而生成。例如，在有限的室内环境中，一个或多个成像装置可以获取环境的各个区域的图像。一个或多个处理器还可以处理图像数据并且创建环境的全局地图。可以相对于所生成的环境地图而计算可移动物体的位置。
基于所计算的位置信息或运动信息中的至少一种，可以输出控制信号以控制可移动物体的位置或运动。例如，如果确定可移动物体将要超过某一阈值速度，则可以输出控制信号以降低可移动物体的速度。例如，如果确定可移动物体要低于某一阈值速度，则可以输出控制信号以提高可移动物体的速度。
图8图示了根据实施方式的使用可移动物体检测障碍物的方法。在步骤802中，一个或多个处理器可以从由可移动物体携带的成像装置接收障碍物的图像数据，基本上如本文所述。成像装置可以布置在可移动物体上以便具有相对于所述可移动物体向上朝向的视野。
在步骤804中，一个或多个处理器可以接收可移动物体的姿态信息。姿态信息可以由诸如惯性测量单元(IMU)等传感器生成。姿态可以包括载运工具的横滚朝向、俯仰朝向或偏航朝向。
在步骤806中，一个或多个处理器可以基于障碍物的图像数据和可移动物体的姿态信息来计算所述可移动物体与障碍物之间的距离，基本上如本文所述。例如，如果可移动物体倾斜以至于无人飞行器的垂直轴线不垂直于到障碍物的直线距离，则一个或多个处理器在障碍物距离计算中可能需要考虑倾斜角。
在一些情况下，可移动物体的姿态信息可以用于准确地计算或确定可移动物体与障碍物之间的距离。例如，当无人飞行器具有横滚朝向或俯仰朝向时，由成像装置拍摄(例如，捕捉)的图像可以是由不具有横滚或俯仰朝向的无人飞行器上的成像装置所捕捉的图像的变换版本(例如，经由仿射变换)。在这样的情况下，可以基于可移动物体的姿态信息而实现图像的坐标旋转。假设横滚角和俯仰角为Ψ和Φ，则对应的旋转矩阵R可以表示为如下所示。在一些情况下，偏航角并不重要且可忽略。
Figure GDA0001542139760000311
对于图像上的像素(u，v)而言，可以如下计算对应于像素的焦平面中的3D点(x，y，z)：
Figure GDA0001542139760000312
所述3D点还可以根据旋转矩阵而旋转：
Figure GDA0001542139760000313
经旋转的3D点可以根据以下方程投影到图像平面上，以下方程可以用于更准确地确定可移动物体与障碍物之间的距离：
Figure GDA0001542139760000314
图9图示了根据实施方式的在户外环境900中操作的无人飞行器902。户外环境900可以是城区、郊区或乡村环境，或者任何至少部分地不位于建筑物内的其他环境。无人飞行器902可以相对靠近地面904(例如，低空)或相对远离地面904(例如，高空)而操作。例如，在距地面小于或等于约10m处操作的无人飞行器902可被认为处于低空，而在距地面大于或等于约10m处操作的无人飞行器902可被认为处于高空。
在一些实施方式中，户外环境900包括一个或多个障碍物908a-障碍物908d。障碍物可以包括任何可阻碍无人飞行器902的移动的物体或实体。一些障碍物可以位于地面904上(例如，障碍物908a、障碍物908d)，诸如建筑物、地面载运工具(例如，轿车、摩托车、卡车、自行车)、人类、动物、植物(例如，树木、灌木)或者其他人造构造物或自然构造物。一些障碍物可以与地面904、水、人造构造物或自然构造物相接触和/或由其支撑。或者，一些障碍物可以完全位于空中906(例如，障碍物908b、障碍物908c)，包括飞行器(例如，飞机、直升机、热气球、其他无人飞行器)或鸟类。空中障碍物可以不由地面904或者由水或者由任何自然构造物或人造构造物所支撑。位于地面904上的障碍物可以包括显著延伸至空中906的部分(例如，高层建筑物诸如塔、摩天大楼、灯柱、无线电塔、输电线、树木等)。在户外环境中操作的无人飞行器可以捕捉所述障碍物的图像。例如，如本文所述，相对于无人飞行器垂直朝向的成像装置可以捕捉障碍物的图像。所捕捉的图像可以由处理器处理以用于障碍物检测和避障、导航以及/或者无人飞行器的状态确定。
图10图示了根据实施方式的在室内环境1050中操作的无人飞行器1052。室内环境1050位于建筑物1054的内部中，所述建筑物1054具有地板1056、一个或多个墙壁1058以及/或者天花板或屋顶1060。示例性建筑物包括住宅、商业或工业建筑物，诸如房屋、公寓、办公楼、生产设施、仓储设施等。建筑物1054的内部可由地板1056、墙壁1058和天花板1060完全封闭，以使得无人飞行器1052被约束于内部空间。相反地，可以缺少地板1056、墙壁1058或天花板1060中的至少一个，从而使得无人飞行器1052能够从内部飞到外部，或者反之亦然。备选地或组合地，在地板1056、墙壁1058或天花板1060中可以形成一个或多个开口1064(例如，门、窗、天窗)。
类似于户外环境1000，室内环境1050可以包括一个或多个障碍物1062a-障碍物1062d。一些障碍物可以位于地板1056上(例如，障碍物1062a)，诸如家具、家用电器、人类、动物、植物或者其他人造物体或自然物体。相反地，一些障碍物可以位于空中(例如，障碍物1062b)，诸如鸟类或其他无人飞行器。室内环境1050中的一些障碍物可以由其他构造物或物体所支撑。障碍物还可以附接至天花板1060(例如，障碍物1062c)，诸如灯具、吊扇、屋梁或其他安装于天花板的家用电器或构造物。在一些实施方式中，障碍物可以附接至墙壁1058(例如，障碍物1062d)，诸如灯具、搁架、橱柜和其他安装于在墙壁的家用电器或构造物。值得注意的是，建筑物1054的结构部件也可被认为是障碍物，包括地板1056、墙壁1058和天花板1060。在户外环境中操作的无人飞行器可以捕捉所述障碍物的图像。例如，如本文所述，相对于无人飞行器垂直朝向的成像装置可以捕捉障碍物的图像。所捕捉的图像可以由处理器处理以用于障碍物检测和避开、导航和/或对无人飞行器的状态确定。
本文描述的障碍物可以是基本上静止的(例如，建筑物、植物、构造物)或者是基本上移动的(例如，人类、动物、载运工具或其他能够移动的物体)。一些障碍物可以包括静止部件和移动部件的组合(例如，风车)。移动的障碍物或障碍物部件可以根据预定的或可预测的路径或模式而移动。例如，轿车的移动可以是相对可预测的(例如，根据道路的形状)。或者，一些移动的障碍物或障碍物部件可能沿着随机的轨迹或以其他方式不可预测的轨迹而移动。例如，诸如动物等生物可能以相对不可预测的方式移动。
本文提供的实施方式可以适用于各种类型的无人飞行器。例如，无人飞行器可以是不超过10kg重和/或具有不超过1.5m的最大尺寸的小型无人飞行器。在一些实施方式中，无人飞行器可以是旋翼飞机，诸如由多个螺旋桨推进以在空中移动的多旋翼飞行器(例如，四轴飞机)。下文进一步详述了适合与本文介绍的实施方式一起使用的无人飞行器和其他可移动物体的附加示例。
本文描述的无人飞行器可以完全自主地(例如，通过诸如机载控制器等合适的计算系统)、半自主地或手动地(例如，由人类用户)进行操作。无人飞行器可以从合适的实体(例如，人类用户或自主控制系统)接收命令，并通过执行一个或多个动作来响应这样的命令。例如，可以控制无人飞行器从地面起飞、在空中移动(例如，具有多达三个平移自由度和多达三个旋转自由度)、移动至目标位置或一系列目标位置、在空中悬停、降落在地面上等。又例如，可以控制无人飞行器以指定速度和/或加速度(例如，具有多达三个平移自由度和多达三个旋转自由度)或者沿着指定移动路径而移动。除此之外，所述命令可以用于控制一个或多个无人飞行器部件，诸如本文描述的部件(例如，传感器、致动器、动力单元、有效载荷等)。例如，一些命令可以用于控制诸如相机等无人飞行器有效载荷的位置、朝向和/或操作。可选地，无人飞行器可被配置成用于根据一个或多个预定操作规则而操作。所述操作规则可以用于控制无人飞行器的任何合适的方面，诸如无人飞行器的位置(例如，纬度、经度、高度)、朝向(例如，横滚、俯仰、偏航)、速度(例如，平移速度和/或角速度)和/或加速度(例如，平移加速度和/或角加速度)。例如，可以设计操作规则以至于不允许无人飞行器飞到阈值高度之外，例如，无人飞行器可被配置成在距地面不超过400m的高度下飞行。在一些实施方式中，操作规则可以适于提供自动化机制，用于提高无人飞行器的安全性并防止安全事故。例如，无人飞行器可被配置成用于检测限飞区域(例如，机场)并且不在所述限飞区域的预定距离内飞行，从而避免与飞行器和其他障碍物的潜在碰撞。
本文所描述的系统、装置和方法可以适用于多种可移动物体。如前文所述，本文对无人飞行器的任何描述均可适用于和用于任何可移动物体。本发明的可移动物体可被配置成用于在任何合适的环境内移动，诸如在空中(例如，固定翼飞行器、旋翼飞行器或者既不具有固定翼也不具有旋翼的飞行器)、在水中(例如，船舶或潜艇)、在地面上(例如，机动车，诸如轿车、卡车、公交车、厢式货车、摩托车；可移动构造物或框架，诸如棒状物、钓鱼竿；或者火车)、在地下(例如，地铁)、在太空(例如，航天飞机、卫星或探测器)，或者这些环境的任何组合。可移动物体可以是载运工具，诸如本文其他各处所描述的载运工具。在一些实施方式中，可移动物体可以安装在诸如人类或动物等活体身上。合适的动物可以包括禽类、犬类、猫类、马类、牛类、羊类、猪类、海豚、啮齿类或昆虫。
可移动物体可能能够在所述环境内关于六个自由度(例如，三个平移自由度和三个旋转自由度)而自由移动。或者，可移动物体的移动可能关于一个或多个自由度受到约束，诸如由预定路径、轨迹或方向所约束。所述移动可以由诸如引擎或电机等任何合适的致动机构所致动。可移动物体的致动机构可以由任何合适的能源提供动力，所述能源诸如为电能、磁能、太阳能、风能、重力能、化学能、核能或者其任何合适的组合。可移动物体可以如本文其他各处所述，经由推进系统而自推进。所述推进系统可以可选地依靠能源运行，所述能源诸如为电能、磁能、太阳能、风能、重力能、化学能、核能或者其任何合适的组合。或者，可移动物体可以由生物所携带。
在一些情况下，所述可移动物体可以是载运工具。合适的载运工具可以包括水上载运工具、飞行器、太空载运工具或地面载运工具。例如，飞行器可以是固定翼飞行器(例如，飞机、滑翔机)、旋翼飞行器(例如，直升机、旋翼飞机)、同时具有固定翼和旋翼的飞行器或者既无固定翼又无旋翼的飞行器(例如，飞艇、热气球)。载运工具可以是自推进式，诸如在空中、在水上或水中、在太空中或者在地上或地下自推进。自推进式载运工具可以利用推进系统，诸如包括一个或多个引擎、电机、轮子、轮轴、磁体、旋翼、螺旋桨、桨叶、喷嘴或者其任何合适组合的推进系统。在一些情况下，推进系统可以用于使可移动物体能够从表面起飞、降落到表面上、保持其当前位置和/或方向(例如，悬停)、改变朝向和/或改变位置。
可移动物体可以由用户遥控或者由可移动物体之内或之上的乘员在本地控制。在一些实施方式中，可移动物体是无人的可移动物体，诸如无人飞行器。无人的可移动物体，诸如无人飞行器，可以不具有搭乘所述可移动物体的乘员。可移动物体可以由人类或自主控制系统(例如，计算机控制系统)或者其任何合适的组合来控制。可移动物体可以是自主式或半自主式机器人，诸如配置有人工智能的机器人。
可移动物体可以具有任何合适的大小和/或尺寸。在一些实施方式中，可移动物体可以具有能容纳人类乘员身处载运工具之内或之上的大小和/或尺寸。或者，可移动物体可以具有比能够容纳人类乘员身处载运工具之内或之上的大小和/或尺寸更小的大小和/或尺寸。可移动物体可以具有适合于由人类搬运或携带的大小和/或尺寸。或者，可移动物体可以大于适合由人类搬运或携带的大小和/或尺寸。在一些情况下，可移动物体可以具有的最大尺寸(例如，长度、宽度、高度、直径、对角线)小于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。所述最大尺寸可以大于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。例如，可移动物体的相对的旋翼的轴之间的距离可以小于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。或者，相对的旋翼的轴之间的距离可以大于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。
在一些实施方式中，可移动物体可以具有小于100cm x 100cm x 100cm、小于50cmx 50cm x 30cm或小于5cm x 5cm x 3cm的体积。可移动物体的总体积可以小于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。相反地，可移动物体的总体积可以大于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。
在一些实施方式中，可移动物体可以具有的占地面积(这可以指由所述可移动物体所包围的横截面面积)小于或等于约：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。相反地，所述占地面积可以大于或等于约：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。
在一些情况下，可移动物体可以不超过1000kg重。可移动物体的重量可以小于或等于约：1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。相反地，所述重量可以大于或等于约：1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。
在一些实施方式中，可移动物体相对于所述可移动物体所携带的负荷可以较小。如下文进一步详述，所述负荷可以包括有效载荷和/或载体。在一些示例中，可移动物体的重量与有效载荷重量之比可以大于、小于或等于约1∶1。在一些情况下，可移动物体的重量与负荷重量之比可以大于、小于或等于约1∶1。可选地，载体重量与负荷重量之比可以大于、小于或等于约1∶1。当需要时，可移动物体的重量与负荷重量之比可以小于或等于：1∶2、1∶3、1∶4、1∶5、1∶10或者甚至更小。相反地，可移动物体的重量与负荷重量之比还可以大于或等于：2∶1、3∶1、4∶1、5∶1、10∶1或者甚至更大。
在一些实施方式中，可移动物体可以具有低能耗。例如，可移动物体可以使用小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。在一些情况下，可移动物体的载体可以具有低能耗。例如，所述载体可以使用小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。可选地，可移动物体的有效载荷可以具有低能耗，诸如小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。
图11图示了根据本发明的实施方式的无人飞行器(UAV)1100。所述无人飞行器可以是本文所述的可移动物体的示例。无人飞行器1100可以包括具有四个旋翼1102、1104、1106和1108的推进系统。可以提供任何数目的旋翼(例如，一个、两个、三个、四个、五个、六个、七个、八个或更多个)。无人飞行器的旋翼、旋翼组件或其他推进系统可使所述无人飞行器能够悬停/保持位置、改变朝向和/或改变位置。相对的旋翼的轴之间的距离可以是任何合适的长度1110。例如，长度1110可以小于或等于2m，或者小于或等于5m。在一些实施方式中，长度1110可以在从40cm到1m、从10cm到2m或者从5cm到5m的范围内。本文对无人飞行器的任何描述均可适用于可移动物体，诸如不同类型的可移动物体，并且反之亦然。
在一些实施方式中，可移动物体可被配置成用于携带负荷。所述负荷可以包括乘客、货物、装置、仪器等之中的一种或多种。所述负荷可以提供在外壳内。所述外壳可以与可移动物体的外壳相分离，或者是可移动物体的外壳的一部分。或者，负荷可以具备外壳，而可移动物体不具有外壳。或者，负荷的一些部分或者整个负荷可以在不具有外壳的情况下提供。负荷可以相对于可移动物体刚性固定。可选地，负荷可以是相对于可移动物体可以移动的(例如，可以相对于可移动物体平移或旋转)。
在一些实施方式中，负荷包括有效载荷。所述负荷可被配置成不执行任何操作或功能。或者，有效载荷可以是被配置成用于执行操作或功能的有效载荷，也称为功能性有效载荷。例如，有效载荷可以包括一个或多个传感器，用于勘测一个或多个目标。可以向有效载荷中合并任何合适的传感器，诸如图像捕捉装置(例如，相机)、音频捕捉装置(例如，抛物面麦克风)、红外成像装置或紫外成像装置。所述传感器可以提供静态感测数据(例如，照片)或动态感测数据(例如，视频)。在一些实施方式中，传感器提供针对有效载荷的目标的感测数据。备选地或组合地，有效载荷可以包括一个或多个发射体，用于向一个或多个目标提供信号。可以使用任何合适的发射体，诸如照明源或声源。在一些实施方式中，有效载荷包括一个或多个收发器，诸如用于与远离可移动物体的模块通信的收发器。可选地，有效载荷可被配置成用于与环境或目标交互。例如，有效载荷可以包括能够操纵物体的工具、仪器或机构，诸如机械臂。
可选地，负荷可以包括载体。所述载体可以提供用于有效载荷，并且所述有效载荷可经由所述载体直接地(例如，直接接触可移动物体)或间接地(例如，不接触可移动物体)耦合至可移动物体。相反地，有效载荷可在无需载体的情况下安装于可移动物体上。有效载荷可以与载体一体形成。或者，有效载荷可以可拆卸地耦合至载体。在一些实施方式中，有效载荷可以包括一个或多个有效载荷元件，并且所述有效载荷元件中的一个或多个可以如上文所述是相对于可移动物体和/或载体可移动的。
载体可以与可移动物体一体形成。或者，载体可以可拆卸地耦合至可移动物体。载体可以直接地或间接地耦合至可移动物体。载体可以向有效载荷提供支撑(例如，承载所述有效载荷的重量的至少一部分)。载体可以包括能够稳定和/或引导有效载荷的移动的合适的安装结构(例如，云台平台)。在一些实施方式中，载体可以适于控制有效载荷相对于可移动物体的状态(例如，位置和/或朝向)。例如，载体可被配置成用于相对于可移动物体而移动(例如，关于一个、两个或三个平移自由度以及/或者一个、两个或三个旋转自由度)，以使得有效载荷保持其相对于合适的参考系的位置和/或方向，而与所述可移动物体的移动无关。所述参考系可以是固定参考系(例如，周围环境)。或者，所述参考系可以是移动参考系(例如，可移动物体、有效载荷目标)。
在一些实施方式中，载体可被配置成用于允许有效载荷相对于载体和/或可移动物体的移动。所述移动可以是关于多达三个自由度的平移(例如，沿着一个、两个或三个轴线)或者是关于多达三个自由度的旋转(例如，围绕一个、两个或三个轴线)，或者是其任何合适的组合。
在一些情况下，载体可以包括载体机架组件以及载体致动组件。所述载体机架组件可以向有效载荷提供结构支撑。载体机架组件可以包括单独的载体机架部件，其中一些部件是可相对于彼此移动的。所述载体致动组件可以包括一个或多个致动器(例如，电机)，所述致动器致动单个载体机架部件的移动。致动器可以允许多个载体机架部件同时移动，或者可被配置成用于每次允许单一载体机架部件移动。载体机架部件的移动可以产生有效载荷的对应移动。例如，载体致动组件可以致动一个或多个载体机架部件围绕一个或多个旋转轴线(例如，横滚轴线、俯仰轴线或偏航轴线)旋转。所述一个或多个载体机架部件的旋转可以使有效载荷相对于可移动物体围绕一个或多个旋转轴线旋转。备选地或组合地，载体致动组件可以致动一个或多个载体机架部件沿着一个或多个平移轴线平移，并从而产生有效载荷相对于可移动物体沿着一个或多个对应的轴线平移。
在一些实施方式中，可移动物体、载体和有效载荷相对于固定参考系(例如，周围环境)和/或相对于彼此的移动可以由终端来控制。所述终端可以是处于远离所述可移动物体、载体和/或有效载荷的位置处的遥控装置。终端可以安置于支撑平台上或者固定至支撑平台。或者，终端可以是手持式或可穿戴式装置。例如，终端可以包括智能电话、平板计算机、膝上型计算机、计算机、眼镜、手套、头盔、麦克风或者其合适的组合。终端可以包括用户接口，诸如键盘、鼠标、操纵杆、触摸屏或显示器。任何合适的用户输入均可用于与终端交互，诸如手动输入的命令、语音控制、手势控制或位置控制(例如，经由终端的移动、位置或倾斜)。
终端可以用于控制可移动物体、载体和/或有效载荷的任何合适的状态。例如，终端可以用于控制可移动物体、载体和/或有效载荷相对于固定参考物从和/或相对于彼此的位置和/或朝向。在一些实施方式中，终端可以用于控制可移动物体、载体和/或有效载荷的单独元件，诸如载体的致动组件、有效载荷的传感器或者有效载荷的发射体。终端可以包括适于与可移动物体、载体或有效载荷中的一个或多个相通信的无线通信装置。
终端可以包括用于查看可移动物体、载体和/或有效载荷的信息的合适的显示单元。例如，终端可被配置成用于显示可移动物体、载体和/或有效载荷的信息，所述信息关于位置、平移速度、平移加速度、朝向、角速度、角加速度或其任何合适的组合。在一些实施方式中，终端可以显示由有效载荷提供的信息，诸如由功能性有效载荷提供的数据(例如，由相机或其他图像捕捉装置记录的图像)。
可选地，同一终端可以同时控制可移动物体、载体和/或有效载荷或者所述可移动物体、载体和/或有效载荷的状态，以及接收和/或显示来自所述可移动物体、载体和/或有效载荷的信息。例如，终端可以控制有效载荷相对于环境的定位，同时显示由有效载荷捕捉的图像数据，或者关于有效载荷的位置的信息。或者，不同的终端可以用于不同的功能。例如，第一终端可以控制可移动物体、载体和/或有效载荷的移动或状态，而第二终端可以接收和/或显示来自可移动物体、载体和/或有效载荷的信息。例如，第一终端可以用于控制有效载荷相对于环境的定位，而第二终端显示由所述有效载荷捕捉的图像数据。可以在可移动物体与同时控制所述可移动物体并接收数据的集成式终端之间，或者在可移动物体与同时控制所述可移动物体并接收数据的多个终端之间利用各种通信模式。例如，可以在可移动物体与同时控制所述可移动物体并接收来自所述可移动物体的数据的终端之间形成至少两种不同的通信模式。
图12图示了根据实施方式的包括载体1202和有效载荷1204的可移动物体1200。虽然可移动物体1200被描绘为飞行器，但这样的描绘并不旨在成为限制性的，并且如前文所述可以使用任何合适类型的可移动物体。本领域技术人员将会理解，本文在飞行器系统的情景下描述的任何实施方式均可适用于任何合适的可移动物体(例如，无人飞行器)。在一些情况下，可以在可移动物体1200上提供有效载荷1204而无需载体1202。可移动物体1200可以包括推进机构1206、感测系统1208和通信系统1210。
如前文所述，推进机构1206可以包括旋翼、螺旋桨、桨叶、引擎、电机、轮子、轮轴、磁体或喷嘴中的一种或多种。例如，推进机构1206可以如本文其他各处所公开，是旋翼组件或其他旋转动力单元。可移动物体可以具有一个或多个、两个或更多个、三个或更多个或者四个或更多个推进机构。推进机构可以全都是同一类型。或者，一个或多个推进机构可以是不同类型的推进机构。推进机构1206可以使用任何合适的装置而安装在可移动物体1200上，所述装置诸如为本文其他各处所述的支撑元件(例如，驱动轴)。推进机构1206可以安装在可移动物体1200的任何合适的部分上，诸如顶部、底部、前面、后面、侧面或其合适的组合。
在一些实施方式中，推进机构1206可以使得可移动物体1200能够从表面垂直地起飞或者垂直地降落在表面上，而无需可移动物体1200的任何水平移动(例如，无需沿着跑道行进)。可选地，推进机构1206可以可操作以允许可移动物体1200以指定位置和/或朝向悬停于空中。一个或多个推进机构1200可以独立于其他推进机构得到控制。或者，推进机构1200可被配置成同时受到控制。例如，可移动物体1200可以具有多个水平朝向的旋翼，所述旋翼可以向所述可移动物体提供升力和/或推力。可以致动所述多个水平朝向的旋翼以向可移动物体1200提供垂直起飞、垂直降落以及悬停能力。在一些实施方式中，所述水平朝向的旋翼中的一个或多个可以在顺时针方向上旋转，同时所述水平旋翼中的一个或多个可以在逆时针方向上旋转。例如，顺时针旋翼的数目可以等于逆时针旋翼的数目。每个水平朝向的旋翼的旋转速率可独立地改变，以便控制由每个旋翼产生的升力和/或推力，并从而调节可移动物体1200的空间布局、速度和/或加速度(例如，关于多达三个平移自由度和多达三个旋转自由度)。
感测系统1208可以包括一个或多个传感器，所述传感器可以感测可移动物体1200的空间布局、速度和/或加速度(例如，关于多达三个平移自由度和多达三个旋转自由度)。所述一个或多个传感器可以包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、距离传感器或图像传感器。由感测系统1208提供的感测数据可以用于控制可移动物体1200的空间布局、速度和/或朝向(例如，使用合适的处理单元和/或控制模块，如下文所述)。或者，感测系统1208可以用于提供关于可移动物体周围环境的数据，诸如气象条件、距潜在障碍物的距离、地理特征的位置、人造构造物的位置等。
通信系统1210支持经由无线信号1216与具有通信系统1214的终端1212的通信。通信系统1210、通信系统1214可以包括任何数目的适合于无线通信的发射器、接收器和/或收发器。所述通信可以是单向通信，使得数据只能在一个方向上传输。例如，单向通信可以仅涉及可移动物体1200向终端1212传输数据，或者反之亦然。数据可以从通信系统1210的一个或多个发射器传输至通信系统1212的一个或多个接收器，或者反之亦然。或者，所述通信可以是双向通信，使得数据在可移动物体1200与终端1212之间的两个方向上均可传输。双向通信可以涉及从通信系统1210的一个或多个发射器向通信系统1214的一个或多个接收器传输数据，并且反之亦然。
在一些实施方式中，终端1212可以向可移动物体1200、载体1202和有效载荷1204中的一个或多个提供控制数据，以及从可移动物体1200、载体1202和有效载荷1204中的一个或多个接收信息(例如，可移动物体、载体或有效载荷的位置和/或运动信息；由有效载荷感测的数据，诸如由有效载荷相机捕捉的图像数据)。在一些情况下，来自终端的控制数据可以包括针对可移动物体、载体和/或有效载荷的相对位置、移动、致动或控制的指令。例如，控制数据可以导致可移动物体的位置和/或朝向的修改(例如，经由推进机构1206的控制)，或者有效载荷相对于可移动物体的移动(例如，经由载体1202的控制)。来自终端的控制数据可以导致对有效载荷的控制，诸如对相机或其他图像捕捉装置的操作的控制(例如，拍摄静态或移动图片、放大或缩小、开启或关闭、切换成像模式、改变图像分辨率、改变聚焦、改变景深、改变曝光时间、改变视角或视野)。在一些情况下，来自可移动物体、载体和/或有效载荷的通信可以包括来自一个或多个传感器(例如，感测系统1208的或有效载荷1204的传感器)的信息。所述通信可以包括来自一个或多个不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、距离传感器或图像传感器)的感测到的信息。这样的信息可以关于可移动物体、载体和/或有效载荷的位置(例如，位置、朝向)、移动或加速度。来自有效载荷的这样的信息可以包括由所述有效载荷捕捉的数据或所述有效载荷的感测到的状态。由终端1212提供并传输的控制数据可被配置成用于控制可移动物体1200、载体1202或有效载荷1204中的一个或多个的状态。备选地或组合地，载体1202和有效载荷1204还可以各自包括通信模块，所述通信模块被配置成用于与终端1212通信，以使得所述终端可独立地与可移动物体1200、载体1202和有效载荷1204中的每一个通信和对其加以控制。
在一些实施方式中，可移动物体1200可被配置成用于与另一远程装置相通信——附加于终端1212或代替终端1212。终端1212也可被配置成用于与另一远程装置以及可移动物体1200相通信。例如，可移动物体1200和/或终端1212可以与另一可移动物体或者另一可移动物体的载体或有效载荷相通信。当需要时，所述远程装置可以是第二终端或其他计算装置(例如，计算机、膝上型计算机、平板计算机、智能电话或其他移动装置)。远程装置可被配置成用于向可移动物体1200传输数据、从可移动物体1200接收数据、向终端1212传输数据以及/或者从终端1212接收数据。可选地，远程装置可以连接至因特网或其他电信网络，以使得从可移动物体1200和/或终端1212接收的数据可被上传至网站或服务器。
图13是根据实施方式的用于控制可移动物体的系统1300的框图示意图。系统1300可以与本文所公开的系统、装置和方法的任何合适的实施方式结合使用。系统1300可以包括感测模块1302、处理单元1304、非暂时性计算机可读介质1306、控制模块1308和通信模块1310。
感测模块1302可以利用以不同方式收集与可移动物体有关的信息的不同类型的传感器。不同类型的传感器可以感测不同类型的信号或者来自不同来源的信号。例如，所述传感器可以包括惯性传感器、GPS传感器、距离传感器(例如，激光雷达)或视觉/图像传感器(例如，相机)。感测模块1302可以可操作地耦合至具有多个处理器的处理单元1304。在一些实施方式中，感测模块可以可操作地耦合至传输模块1312(例如，Wi-Fi图像传输模块)，所述传输模块被配置成用于向合适的外部装置或系统直接传输感测数据。例如，传输模块1312可以用于向远程终端传输由感测模块1302的相机捕捉的图像。
处理单元1304可以具有一个或多个处理器，诸如可编程处理器(例如，中央处理单元(CPU))。处理单元1304可以可操作地耦合至非暂时性计算机可读介质1306。非暂时性计算机可读介质1306可以储存可由处理单元1304执行的逻辑、代码和/或程序指令，用以执行一个或多个步骤。非暂时性计算机可读介质可以包括一个或多个存储器单元(例如，可移动介质或外部存储，诸如SD卡或随机存取存储器(RAM))。在一些实施方式中，来自感测模块1302的数据可直接传送至并储存于非暂时性计算机可读介质1306的存储器单元内。非暂时性计算机可读介质1306的存储器单元可以储存可由处理单元1304执行的逻辑、代码和/或程序指令，用以执行本文所描述的方法的任何合适的实施方式。例如，处理单元1304可被配置成用于执行指令，从而使处理单元1304的一个或多个处理器分析由感测模块产生的感测数据。存储器单元可以储存要由处理单元1304处理的、来自感测模块的感测数据。在一些实施方式中，非暂时性计算机可读介质1306的存储器单元可以用于储存由处理单元1304产生的处理结果。
在一些实施方式中，处理单元1304可以可操作地耦合至控制模块1308，所述控制模块1308被配置成用于控制可移动物体的状态。例如，控制模块1308可被配置成用于控制可移动物体的推进机构以调节可移动物体关于六个自由度的空间布局、速度和/或加速度。备选地或组合地，控制模块1308可以控制载体、有效载荷或感测模块的状态中的一个或多个。
处理单元1304可以可操作地耦合至通信模块1310，所述通信模块1310被配置成用于传输和/或接收来自一个或多个外部装置(例如，终端、显示装置或其他遥控器)的数据。可以使用任何合适的通信手段，诸如有线通信或无线通信。例如，通信模块1310可以利用局域网(LAN)、广域网(WAN)、红外线、无线电、WiFi、点对点(P2P)网络、电信网络、云通信等之中的一种或多种。可选地，可以使用中继站，诸如塔、卫星或移动台。无线通信可以依赖于距离或独立于距离。在一些实施方式中，通信可能需要或者可能不需要视线。通信模块1310可以传输和/或接收来自感测模块1302的感测数据、由处理单元1304产生的处理结果、预定控制数据、来自终端或遥控器的用户命令等之中的一个或多个。
系统1300的部件可以按任何合适的配置来布置。例如，系统1300的一个或多个部件可以位于可移动物体、载体、有效载荷、终端、感测系统或与上述的一个或多个相通信的附加的外部装置上。此外，虽然图13描绘了单一处理单元1304和单一非暂时性计算机可读介质1306，但本领域技术人员将会理解，这并不旨在成为限制性的，并且系统1300可以包括多个处理单元和/或非暂时性计算机可读介质。在一些实施方式中，多个处理单元和/或非暂时性计算机可读介质中的一个或多个可以位于不同的位置，诸如在可移动物体、载体、有效载荷、终端、感测模块、与上述的一个或多个相通信的附加的外部装置上或其合适的组合，以使得由系统1300执行的处理和/或存储器功能的任何合适的方面可以发生于一个或多个上述位置处。
本文中使用的A和/或B包含A或B中的一个或多个以及其组合，诸如A和B。
虽然本文已经示出和描述了本发明的优选实施方式，但对于本领域技术人员显而易见的是，这样的实施方式只是以示例的方式提供的。本领域技术人员现将会在不偏离本发明的情况下想到许多更改、改变和替代。应当理解，在实践本发明的过程中可以采用对本文所描述的本发明实施方式的各种替代方案。所附权利要求旨在限定本发明的范围，并因此覆盖这些权利要求及其等效项的范围内的方法和结构。

Claims (100)

1.一种使用可移动物体来检测障碍物的方法，所述方法包括：
从由所述可移动物体携带的成像装置接收包含障碍物的图像数据，其中所述成像装置被配置成具有相对于所述可移动物体垂直向上或垂直向下朝向的视野；
接收所述可移动物体的姿态信息；以及
经由一个或多个处理器，基于所述图像数据内的所述障碍物占据的视角和所述可移动物体的所述姿态信息来计算所述可移动物体与所述障碍物之间的距离。
2.根据权利要求1所述的方法，其中所述可移动物体包括多个动力单元，所述动力单元被配置成用于实现所述可移动物体的移动。
3.根据权利要求1所述的方法，其中所述可移动物体是无人飞行器。
4.根据权利要求2所述的方法，其中所述多个动力单元包括多个旋翼。
5.根据权利要求1所述的方法，其中所述成像装置是相机。
6.根据权利要求5所述的方法，其中所述相机是单目相机。
7.根据权利要求1所述的方法，其中所述成像装置包括光轴，所述光轴基本上平行于所述可移动物体的垂直轴线。
8.根据权利要求1所述的方法，其中所述成像装置的所述视野约为60度。
9.根据权利要求1所述的方法，其中所述成像装置的所述视野相对于所述可移动物体垂直向上朝向，所述方法还包括在室内环境内操作所述可移动物体，其中所述图像数据还包含所述室内环境内的天花板。
10.根据权利要求9所述的方法，其中所述计算步骤包括区分所述图像数据中的所述天花板与所述障碍物。
11.根据权利要求1所述的方法，其中所述成像装置的所述视野相对于所述可移动物体垂直向上朝向，所述方法还包括在户外环境内操作所述可移动物体，其中所述图像数据还包含天空。
12.根据权利要求11所述的方法，其中所述计算步骤包括：区分所述图像数据中的所述天空与所述障碍物。
13.根据权利要求1所述的方法，其中所述成像装置的所述视野相对于所述可移动物体垂直向下朝向；所述可移动物体在室内环境内操作，并且所述图像数据还包含所述室内环境内的地板。
14.根据权利要求13所述的方法，其中所述图像数据还包含与墙壁相交的所述地板。
15.根据权利要求13所述的方法，其中在所述计算中应用负的角度值。
16.根据权利要求1所述的方法，其中所述姿态信息由惯性测量单元生成。
17.根据权利要求1所述的方法，其中所述姿态信息包括所述可移动物体的横滚角、俯仰角或偏航角中的至少一个。
18.一种用于使用可移动物体来检测障碍物的系统，所述系统包括：
成像装置，其由所述可移动物体携带并且被配置成用于获得包含障碍物的图像数据，其中所述成像装置被配置成具有相对于所述可移动物体垂直向上或垂直向下朝向的视野；以及
一个或多个处理器，其单独地或共同地被配置成用于：
从所述成像装置接收包含所述障碍物的所述图像数据；
接收所述可移动物体的姿态信息；以及
基于所述图像数据内的所述障碍物占据的视角和所述可移动物体的所述姿态信息，计算所述可移动物体与所述障碍物之间的距离。
19.根据权利要求18所述的系统，其中所述可移动物体包括多个动力单元，所述动力单元被配置成用于实现所述可移动物体的移动。
20.根据权利要求18所述的系统，其中所述可移动物体是无人飞行器。
21.根据权利要求19所述的系统，其中所述多个动力单元包括多个旋翼。
22.根据权利要求18所述的系统，其中所述成像装置是相机。
23.根据权利要求22所述的系统，其中所述相机是单目相机。
24.根据权利要求18所述的系统，其中所述成像装置包括光轴，所述光轴基本上平行于所述可移动物体的垂直轴线。
25.根据权利要求18所述的系统，其中所述成像装置的所述视野约为60度。
26.根据权利要求18所述的系统，其中所述成像装置的所述视野相对于所述可移动物体垂直向上朝向；所述可移动物体在室内环境内操作，并且所述图像数据还包含所述室内环境内的天花板。
27.根据权利要求26所述的系统，其中所述一个或多个处理器被配置成用于：区分所述图像数据中的所述天花板与所述障碍物。
28.根据权利要求18所述的系统，其中所述成像装置的所述视野相对于所述可移动物体垂直向上朝向；所述可移动物体在户外环境内操作，并且所述图像数据还包含天空。
29.根据权利要求28所述的系统，其中所述一个或多个处理器单独地或共同地被配置成用于：区分所述图像数据中的所述天空与所述障碍物。
30.根据权利要求18所述的系统，其中所述成像装置的所述视野相对于所述可移动物体垂直向下朝向；所述可移动物体在室内环境内操作，并且所述图像数据还包含所述室内环境内的地板。
31.根据权利要求30所述的系统，其中所述图像数据还包含与墙壁相交的所述地板。
32.根据权利要求30所述的系统，其中在所述计算中应用负的角度值。
33.根据权利要求18所述的系统，其中所述姿态信息由惯性测量单元生成。
34.根据权利要求18所述的系统，其中所述姿态信息包括所述可移动物体的横滚角、俯仰角或偏航角中的至少一个。
35.一种使用可移动物体来检测障碍物的方法，所述方法包括：
从由所述可移动物体携带的成像装置接收图像数据，其中所述成像装置被配置成具有相对于所述可移动物体垂直向上或垂直向下朝向的视野，并且其中所述图像数据包含位于所述可移动物体的一侧处的障碍物；以及
经由一个或多个处理器，基于所述图像数据内的所述障碍物占据的视角来计算所述可移动物体与所述障碍物之间的距离。
36.根据权利要求35所述的方法，其中所述可移动物体包括多个动力单元，所述动力单元被配置成用于实现所述可移动物体的移动。
37.根据权利要求35所述的方法，其中所述可移动物体是无人飞行器。
38.根据权利要求36所述的方法，其中所述多个动力单元包括多个旋翼。
39.根据权利要求35所述的方法，其中所述成像装置是相机。
40.根据权利要求39所述的方法，其中所述相机是单目相机。
41.根据权利要求35所述的方法，其中所述成像装置包括光轴，所述光轴基本上平行于所述可移动物体的垂直轴线。
42.根据权利要求35所述的方法，其中所述成像装置的所述视野约为60度。
43.根据权利要求35所述的方法，其中所述成像装置的所述视野相对于所述可移动物体垂直向上朝向；所述方法还包括在室内环境内操作所述可移动物体，其中所述图像数据还包含所述室内环境内的天花板。
44.根据权利要求43所述的方法，其中所述计算步骤包括区分所述图像数据中的所述天花板与所述障碍物。
45.根据权利要求35所述的方法，其中所述成像装置的所述视野相对于所述可移动物体垂直向上朝向；所述方法还包括在户外环境内操作所述可移动物体，其中所述图像数据天空还包含。
46.根据权利要求45所述的方法，其中所述计算步骤包括区分所述图像数据中的所述天空与所述障碍物。
47.根据权利要求35所述的方法，其中所述成像装置的所述视野相对于所述可移动物体垂直向下朝向；所述方法还包括在室内环境内操作所述可移动物体，其中所述图像数据还包含所述室内环境内的地板。
48.根据权利要求47所述的方法，其中所述图像数据还包含与墙壁相交的所述地板。
49.根据权利要求47所述的方法，其中在所述计算中应用负的角度值。
50.根据权利要求35所述的方法，其中所述障碍物位于所述可移动物体的前方、所述可移动物体的后方、所述可移动物体的左侧、所述可移动物体的右侧或它们的组合。
51.一种用于使用可移动物体来检测障碍物的系统，所述系统包括：
成像装置，其由所述可移动物体携带并且被配置成用于获得图像数据，其中所述成像装置被配置成具有相对于所述可移动物体垂直向上或垂直向下朝向的视野，并且其中所述图像数据包含位于所述可移动物体的一侧处的障碍物；以及
一个或多个处理器，其单独地或共同地被配置成用于：
从所述成像装置接收所述图像数据；以及
基于所述图像数据内的所述障碍物占据的视角来计算所述可移动物体与所述障碍物之间的距离。
52.根据权利要求51所述的系统，其中所述可移动物体包括多个动力单元，所述动力单元被配置成用于实现所述可移动物体的移动。
53.根据权利要求51所述的系统，其中所述可移动物体是无人飞行器。
54.根据权利要求52所述的系统，其中所述多个动力单元包括多个旋翼。
55.根据权利要求51所述的系统，其中所述成像装置是相机。
56.根据权利要求55所述的系统，其中所述相机是单目相机。
57.根据权利要求51所述的系统，其中所述成像装置包括光轴，所述光轴基本上平行于所述可移动物体的垂直轴线。
58.根据权利要求51所述的系统，其中所述成像装置的所述视野约为60度。
59.根据权利要求51所述的系统，其中所述成像装置的所述视野相对于所述可移动物体垂直向上朝向；所述可移动物体在室内环境内操作，并且所述图像数据还包含所述室内环境内的天花板。
60.根据权利要求59所述的系统，其中所述一个或多个处理器单独地或共同地被配置成用于区分所述图像数据中的所述天花板与所述障碍物。
61.根据权利要求51所述的系统，其中所述成像装置的所述视野相对于所述可移动物体垂直向上朝向；所述可移动物体在户外环境内操作，并且所述图像数据还包含天空。
62.根据权利要求61所述的系统，其中所述一个或多个处理器单独地或共同地被配置成用于区分所述图像数据中的所述天空与所述障碍物。
63.根据权利要求51所述的系统，其中所述成像装置的所述视野相对于所述可移动物体垂直向下朝向；所述可移动物体在室内环境内操作，并且所述图像数据还包含所述室内环境内的地板。
64.根据权利要求63所述的系统，其中所述图像数据还包含与墙壁相交的所述地板。
65.根据权利要求63所述的系统，其中在所述计算中应用负的角度值。
66.根据权利要求51所述的系统，其中所述障碍物位于所述可移动物体的前方、所述可移动物体的后方、所述可移动物体的左侧、所述可移动物体的右侧或它们的组合。
67.一种使用由可移动物体携带的成像装置来检测障碍物的方法，所述方法包括：
在一个或多个处理器处，从由所述可移动物体携带的所述成像装置接收包含障碍物的第一图像数据，其中所述成像装置布置在所述可移动物体上以便具有相对于所述可移动物体垂直向上或垂直向下朝向的视野；
在所述一个或多个处理器处，生成控制信号来控制所述可移动物体的一个或多个动力单元，以使所述可移动物体移动；
在所述一个或多个处理器处，在所述可移动物体移动之后从所述成像装置接收包含所述障碍物的第二图像数据；以及
借助于所述一个或多个处理器，基于所述第一图像数据内的所述障碍物占据的视角和所述第二图像数据内的所述障碍物占据的视角来计算所述可移动物体与所述障碍物之间的距离。
68.根据权利要求67所述的方法，其中所述可移动物体是无人飞行器。
69.根据权利要求68所述的方法，其中所述一个或多个动力单元包括多个旋翼。
70.根据权利要求67所述的方法，其中所述成像装置是相机。
71.根据权利要求70所述的方法，其中所述相机是单目相机。
72.根据权利要求67所述的方法，其中所述成像装置包括光轴，所述光轴基本上平行于所述可移动物体的垂直轴线。
73.根据权利要求67所述的方法，其中所述成像装置的所述视野约为60度。
74.根据权利要求67所述的方法，其中所述成像装置的所述视野相对于所述可移动物体垂直向上朝向；所述方法还包括在室内环境内操作所述可移动物体，其中所述图像数据还包含所述室内环境内的天花板。
75.根据权利要求67所述的方法，其中所述成像装置的所述视野相对于所述可移动物体垂直向下朝向；所述方法还包括在室内环境内操作所述可移动物体，其中所述图像数据还包含所述室内环境内的地板。
76.根据权利要求75所述的方法，其中所述图像数据还包含与墙壁相交的所述地板。
77.根据权利要求67所述的方法，其中所述控制信号使所述可移动物体移动一段水平距离。
78.根据权利要求77所述的方法，其中所述水平距离约为0.2m至1m。
79.根据权利要求67所述的方法，其中所述控制信号使所述可移动物体移动一段垂直距离。
80.根据权利要求79所述的方法，其中所述垂直距离约为0.2m至1m。
81.根据权利要求67所述的方法，还包括确定移动的水平距离或垂直距离。
82.根据权利要求81所述的方法，其中使用惯性测量单元来确定所述移动的水平距离或垂直距离。
83.一种用于使用可移动物体来检测障碍物的系统，所述系统包括：
成像装置，其由所述可移动物体携带并且被配置成用于获得包含障碍物的图像数据，其中所述成像装置布置在所述可移动物体上以便具有相对于所述可移动物体垂直向上或垂直向下朝向的视野；
一个或多个动力单元，其被配置成用于实现所述可移动物体的移动；以及
一个或多个处理器，其单独地或共同地被配置成用于：
从所述成像装置接收包含所述障碍物的第一图像数据；
生成控制信号来控制所述一个或多个动力单元，以使所述可移动物体移动；
在所述可移动物体移动之后，从所述成像装置接收包含所述障碍物的第二图像数据；以及
基于所述第一图像数据内的所述障碍物占据的视角和所述第二图像数据内的所述障碍物占据的视角，计算所述可移动物体与所述障碍物之间的距离。
84.根据权利要求83所述的系统，其中所述一个或多个处理器单独地或共同地被配置成用于：基于所述第一图像数据和所述第二图像数据来确定所述障碍物在所述可移动物体上方的高度。
85.根据权利要求84所述的系统，其中基于所述障碍物在所述可移动物体上方的所述高度来确定所述可移动物体与所述障碍物之间的所述距离。
86.根据权利要求83所述的系统，其中所述可移动物体是无人飞行器。
87.根据权利要求86所述的系统，其中所述一个或多个动力单元包括多个旋翼。
88.根据权利要求83所述的系统，其中所述成像装置是相机。
89.根据权利要求88所述的系统，其中所述相机是单目相机。
90.根据权利要求83所述的系统，其中所述成像装置包括光轴，所述光轴基本上平行于所述可移动物体的垂直轴线。
91.根据权利要求83所述的系统，其中所述成像装置的所述视野约为60度。
92.根据权利要求83所述的系统，其中所述成像装置的所述视野相对于所述可移动物体垂直向上朝向；其中所述可移动物体在室内环境内操作，并且所述图像数据还包含所述室内环境内的天花板。
93.根据权利要求83所述的系统，其中所述成像装置的所述视野相对于所述可移动物体垂直向下朝向；所述可移动物体在室内环境内操作，并且所述图像数据还包含所述室内环境内的地板。
94.根据权利要求93所述的系统，其中所述图像数据还包含与墙壁相交的所述地板。
95.根据权利要求83所述的系统，其中所述控制信号使所述可移动物体移动一段水平距离。
96.根据权利要求95所述的系统，其中所述水平距离约为0.2m至1m。
97.根据权利要求83所述的系统，其中所述控制信号使所述可移动物体移动一段垂直距离。
98.根据权利要求97所述的系统，其中所述垂直距离约为0.2m至1m。
99.根据权利要求83所述的系统，其中所述一个或多个处理器单独地或共同地被配置成用于确定移动的水平距离或垂直距离。
100.根据权利要求99所述的系统，其中使用惯性测量单元来确定所述移动的水平距离或垂直距离。
CN201580081551.8A 2015-07-08 2015-07-08 可移动物体上的相机配置 Active CN107850902B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/083517 WO2017004799A1 (en) 2015-07-08 2015-07-08 Camera configuration on movable objects

Publications (2)

Publication Number Publication Date
CN107850902A CN107850902A (zh) 2018-03-27
CN107850902B true CN107850902B (zh) 2022-04-08

Family

ID=57684654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580081551.8A Active CN107850902B (zh) 2015-07-08 2015-07-08 可移动物体上的相机配置

Country Status (4)

Country Link
US (4) US9778662B2 (zh)
JP (1) JP6673371B2 (zh)
CN (1) CN107850902B (zh)
WO (1) WO2017004799A1 (zh)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9678506B2 (en) 2014-06-19 2017-06-13 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US9798322B2 (en) 2014-06-19 2017-10-24 Skydio, Inc. Virtual camera interface and other user interaction paradigms for a flying digital assistant
US12007763B2 (en) 2014-06-19 2024-06-11 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US20200409382A1 (en) * 2014-11-10 2020-12-31 Carnegie Mellon University Intelligent cleaning robot
CN104469158A (zh) * 2014-12-15 2015-03-25 安徽华米信息科技有限公司 一种运动拍摄、拍摄控制方法及装置
US10358214B2 (en) 2015-01-04 2019-07-23 Hangzhou Zero Zro Technology Co., Ltd. Aerial vehicle and method of operation
US10126745B2 (en) 2015-01-04 2018-11-13 Hangzhou Zero Zero Technology Co., Ltd. System and method for automated aerial system operation
US9836053B2 (en) 2015-01-04 2017-12-05 Zero Zero Robotics Inc. System and method for automated aerial system operation
US9911344B2 (en) * 2015-07-24 2018-03-06 Honeywell International Inc. Helicopter landing system using a camera for obstacle detection
WO2017017675A1 (en) * 2015-07-28 2017-02-02 Margolin Joshua Multi-rotor uav flight control method and system
US10269257B1 (en) 2015-08-11 2019-04-23 Gopro, Inc. Systems and methods for vehicle guidance
EP4001111A3 (en) * 2015-11-10 2022-08-17 Matternet, Inc. Methods and system for transportation using unmanned aerial vehicles
US9740200B2 (en) 2015-12-30 2017-08-22 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system
US10083616B2 (en) 2015-12-31 2018-09-25 Unmanned Innovation, Inc. Unmanned aerial vehicle rooftop inspection system
WO2017187275A2 (en) 2016-04-24 2017-11-02 Hangzhou Zero Zero Technology Co., Ltd. Aerial system propulsion assembly and method of use
US10435176B2 (en) 2016-05-25 2019-10-08 Skydio, Inc. Perimeter structure for unmanned aerial vehicle
US10520943B2 (en) 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
MY195922A (en) 2016-09-14 2023-02-27 Irobot Corp Systems and Methods for Configurable Operation of a Robot Based on Area Classification
US10810443B2 (en) 2016-09-22 2020-10-20 Apple Inc. Vehicle video system
US11295458B2 (en) 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
US10768682B2 (en) * 2017-01-20 2020-09-08 Flir Systems, Inc. Detection-based wakeup of detection devices
CN106604622B (zh) * 2017-02-09 2018-07-24 广东霍德韦信息技术有限公司 一种无人机采集设备
JP2018136315A (ja) * 2017-02-22 2018-08-30 株式会社日本環境調査研究所 マルチコプターおよびマルチコプターを利用した大気環境測定方法
GB2557715B (en) * 2017-02-28 2019-04-17 Matthew Russell Iain Unmanned aerial vehicles
US11348269B1 (en) * 2017-07-27 2022-05-31 AI Incorporated Method and apparatus for combining data to construct a floor plan
EP3465267A4 (en) * 2017-08-25 2019-05-22 Beijing Didi Infinity Technology and Development Co., Ltd. METHODS AND SYSTEMS FOR DETECTING ENVIRONMENTAL INFORMATION OF A VEHICLE
US10783796B2 (en) * 2017-09-01 2020-09-22 Qualcomm Incorporated Collision management for a robotic vehicle
JP6858681B2 (ja) 2017-09-21 2021-04-14 株式会社日立製作所 距離推定装置及び方法
CN107643764B (zh) * 2017-10-20 2020-06-02 中国人民解放军海军航空大学 一种基于双旋Lyapunov矢量场的无人飞行器避障方法
CN109344677B (zh) * 2017-11-07 2021-01-15 长城汽车股份有限公司 识别立体物的方法、装置、车辆和存储介质
CN107806857A (zh) * 2017-11-08 2018-03-16 沈阳上博智像科技有限公司 无人驾驶的可移动设备
US20190184569A1 (en) * 2017-12-18 2019-06-20 Bot3, Inc. Robot based on artificial intelligence, and control method thereof
US10679368B2 (en) * 2017-12-21 2020-06-09 Intel IP Corporation Methods and apparatus to reduce depth map size in collision avoidance systems
WO2019144291A1 (zh) * 2018-01-23 2019-08-01 深圳市大疆创新科技有限公司 飞行控制方法、装置和机器可读存储介质
CN108337481A (zh) * 2018-02-08 2018-07-27 湖南文理学院 一种基于物联网的消防机构可转动的智能型无人机
JPWO2019193642A1 (ja) * 2018-04-03 2021-04-30 株式会社自律制御システム研究所 無人航空機用の自己位置推定装置及び自己位置推定方法
CN111194433A (zh) * 2018-04-04 2020-05-22 深圳市大疆创新科技有限公司 用于构图和捕捉图像的方法和系统
CN108634874A (zh) * 2018-05-11 2018-10-12 南京华捷艾米软件科技有限公司 扫地机器人及其清扫方法
CN109481943B (zh) * 2018-05-28 2020-07-07 王丽芸 自动退让的四轴飞行器玩具及其控制方法
WO2020037492A1 (en) * 2018-08-21 2020-02-27 SZ DJI Technology Co., Ltd. Distance measuring method and device
CN109238225B (zh) * 2018-09-03 2021-02-05 浙江大丰实业股份有限公司 移动式车台实时高度监护平台
WO2020062024A1 (zh) * 2018-09-28 2020-04-02 深圳市大疆创新科技有限公司 基于无人机的测距方法、装置及无人机
CN109643127B (zh) * 2018-11-19 2022-05-03 深圳阿科伯特机器人有限公司 构建地图、定位、导航、控制方法及系统、移动机器人
CN109739254B (zh) * 2018-11-20 2021-11-09 国网浙江省电力有限公司信息通信分公司 一种电力巡检中采用视觉图像定位的无人机及其定位方法
US11172125B2 (en) * 2019-01-07 2021-11-09 Mehdi Zarrabi Esfahani Method and a system to provide aerial visualization of large landscape area
NO345575B1 (en) * 2019-01-31 2021-04-26 Heimdall Power As Device, system and method for installing an object on a power line
WO2020195876A1 (ja) * 2019-03-25 2020-10-01 ソニー株式会社 移動体およびその制御方法、並びにプログラム
US11080327B2 (en) * 2019-04-18 2021-08-03 Markus Garcia Method for the physical, in particular optical, detection of at least one usage object
CN111656294A (zh) * 2019-05-31 2020-09-11 深圳市大疆创新科技有限公司 可移动平台的控制方法、控制终端及可移动平台
CN112013844B (zh) * 2019-05-31 2022-02-11 北京小米智能科技有限公司 建立室内环境地图的方法及装置
CN110209183B (zh) * 2019-06-04 2020-08-07 吉林大学 一种基于双阈值法zmp的六足机器人失稳调节算法
US11565807B1 (en) 2019-06-05 2023-01-31 Gal Zuckerman Systems and methods facilitating street-level interactions between flying drones and on-road vehicles
US11328612B2 (en) 2019-08-14 2022-05-10 Lane Dalan System, method, and apparatus for drone positioning control
US11352010B2 (en) * 2019-09-30 2022-06-07 Baidu Usa Llc Obstacle perception calibration system for autonomous driving vehicles
CN114600160A (zh) * 2019-10-28 2022-06-07 瑞典爱立信有限公司 生成三维(3d)模型的方法
TWI726536B (zh) * 2019-12-16 2021-05-01 財團法人工業技術研究院 影像擷取方法及影像擷取設備
CN113433965B (zh) * 2020-03-23 2023-01-31 北京三快在线科技有限公司 无人机避障方法，装置，存储介质及电子设备
CN111504257B (zh) * 2020-04-29 2022-03-29 广东电网有限责任公司 一种辅助无人机精准巡线的视觉测距系统及其测距方法
CN112505795B (zh) * 2020-10-19 2023-08-01 北京航天长征飞行器研究所 一种用于geo卫星全向告警的光电探测系统及方法
CN112532948B (zh) * 2020-12-08 2022-06-21 成都西物信安智能系统有限公司 一种投放式监控站
CN115146933A (zh) * 2022-06-20 2022-10-04 深圳市城市公共安全技术研究院有限公司 危险源爆炸事故的处理方法、系统、设备与存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591353A (zh) * 2011-01-04 2012-07-18 株式会社拓普康 飞行体的飞行控制系统

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07213753A (ja) * 1994-02-02 1995-08-15 Hitachi Ltd パーソナルロボット装置
US5581250A (en) * 1995-02-24 1996-12-03 Khvilivitzky; Alexander Visual collision avoidance system for unmanned aerial vehicles
DE19831452C1 (de) * 1998-07-14 2000-03-09 Eurocopter Deutschland Verfahren zur Unterstützung der Flugführung
US6875019B2 (en) 2002-02-11 2005-04-05 United Defense, Lp Naval virtual target range system
CN100451544C (zh) * 2004-03-15 2009-01-14 清华大学 一种基于视频图像测量飞行器姿态参数的方法
US7650013B2 (en) 2004-11-15 2010-01-19 Mobilerobots Inc. System and method for map and position-determination enhancement
JP4600760B2 (ja) * 2005-06-27 2010-12-15 アイシン精機株式会社 障害物検出装置
JP2007240506A (ja) * 2006-03-06 2007-09-20 Giyourin Cho ３次元形状と３次元地形計測法
US8666661B2 (en) * 2006-03-31 2014-03-04 The Boeing Company Video navigation
JP4889360B2 (ja) 2006-04-18 2012-03-07 アルパイン株式会社 車載用画像表示装置
IL176200A (en) 2006-06-08 2013-03-24 Israel Aerospace Ind Ltd Unmanned air vehicle system
EP1901153A1 (en) 2006-09-12 2008-03-19 OFFIS e.V. Control system for unmanned 4-rotor-helicopter
JP4905829B2 (ja) 2006-11-02 2012-03-28 アイシン・エィ・ダブリュ株式会社 運転支援装置および運転支援方法
US8509965B2 (en) * 2006-12-12 2013-08-13 American Gnc Corporation Integrated collision avoidance system for air vehicle
KR100824019B1 (ko) * 2007-02-05 2008-04-21 주식회사 성보산업 차량용 후방감지장치 및 그 제어방법
KR100877071B1 (ko) 2007-07-18 2009-01-07 삼성전자주식회사 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치
KR101461185B1 (ko) * 2007-11-09 2014-11-14 삼성전자 주식회사 스트럭쳐드 라이트를 이용한 3차원 맵 생성 장치 및 방법
US20100023264A1 (en) * 2008-07-23 2010-01-28 Honeywell International Inc. Aircraft display systems and methods with obstacle warning envelopes
JP5291420B2 (ja) * 2008-09-26 2013-09-18 日産自動車株式会社 障害物回避装置及び自走車両
US8543265B2 (en) 2008-10-20 2013-09-24 Honeywell International Inc. Systems and methods for unmanned aerial vehicle navigation
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
US8590828B2 (en) * 2010-02-24 2013-11-26 Robert Marcus Rotocraft
KR20110119118A (ko) 2010-04-26 2011-11-02 엘지전자 주식회사 로봇 청소기, 및 이를 이용한 원격 감시 시스템
FR2961601B1 (fr) 2010-06-22 2012-07-27 Parrot Procede d'evaluation de la vitesse horizontale d'un drone, notamment d'un drone apte au vol stationnaire autopilote
SG189052A1 (en) 2010-06-29 2013-05-31 Aerovironment Inc Uav payload module camera assembly and retraction mechanism
CN103534617A (zh) * 2011-02-25 2014-01-22 全球科技服务有限公司 用于定位地下矿体的方法、系统及装置
GB201104743D0 (en) 2011-03-21 2011-05-04 C2Uk Ltd Image acquisition apparatus and system
US8849483B2 (en) 2011-04-13 2014-09-30 California Institute Of Technology Target trailing with safe navigation with colregs for maritime autonomous surface vehicles
EP2562715A1 (en) * 2011-08-26 2013-02-27 Sony Ericsson Mobile Communications AB Portable electric equipment and method of processing a series of frames
US8687062B1 (en) 2011-08-31 2014-04-01 Google Inc. Step-stare oblique aerial camera system
CN102541066A (zh) * 2011-12-16 2012-07-04 新时代集团国防科技研究中心 一种用于无人飞行器作业的自动定高的控制方法
CN102707724B (zh) * 2012-06-05 2015-01-14 清华大学 一种无人机的视觉定位与避障方法及系统
CN102914294B (zh) * 2012-09-10 2015-07-01 中国南方电网有限责任公司超高压输电公司天生桥局 一种基于图像的无人机电力巡线测量系统及方法
US9198363B2 (en) * 2012-12-12 2015-12-01 The Boeing Company Tree metrology system
ES2478091B2 (es) * 2012-12-17 2015-03-27 Universidad De Alicante Dispositivo y método para la detección de obstáculos aéreos para invidentes
CN103149939B (zh) * 2013-02-26 2015-10-21 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
WO2014141654A1 (ja) * 2013-03-13 2014-09-18 パナソニック株式会社 測距装置、撮像装置および測距方法
US8996207B2 (en) 2013-06-24 2015-03-31 Honeywell International Inc. Systems and methods for autonomous landing using a three dimensional evidence grid
CN103365297B (zh) * 2013-06-29 2016-03-09 天津大学 基于光流的四旋翼无人机飞行控制方法
US9355567B2 (en) * 2013-08-08 2016-05-31 Honeywell International Inc. System and method for highlighting an area encompassing an aircraft that is free of hazards
CN103543751A (zh) * 2013-09-12 2014-01-29 深圳市大疆创新科技有限公司 无人飞行器的控制装置及无人飞行器
WO2015085483A1 (en) * 2013-12-10 2015-06-18 SZ DJI Technology Co., Ltd. Sensor fusion
CN103914065B (zh) * 2014-03-24 2016-09-07 深圳市大疆创新科技有限公司 飞行器状态实时修正的方法和装置
CN104062977B (zh) * 2014-06-17 2017-04-19 天津大学 基于视觉slam的四旋翼无人机全自主飞行控制方法
US9613539B1 (en) * 2014-08-19 2017-04-04 Amazon Technologies, Inc. Damage avoidance system for unmanned aerial vehicle
US9371133B2 (en) * 2014-11-07 2016-06-21 Paccar Inc Drone systems for pre-trip inspection and assisted backing
US9540121B2 (en) * 2015-02-25 2017-01-10 Cisco Technology, Inc. Pre-flight self test for unmanned aerial vehicles (UAVs)
WO2017024305A1 (en) * 2015-08-06 2017-02-09 Invensense, Inc. Systems and methods for stabilizing images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591353A (zh) * 2011-01-04 2012-07-18 株式会社拓普康 飞行体的飞行控制系统

Also Published As

Publication number Publication date
CN107850902A (zh) 2018-03-27
US20180004232A1 (en) 2018-01-04
US20200073411A1 (en) 2020-03-05
JP2018523864A (ja) 2018-08-23
US10466718B2 (en) 2019-11-05
JP6673371B2 (ja) 2020-03-25
US10936869B2 (en) 2021-03-02
WO2017004799A1 (en) 2017-01-12
US9778662B2 (en) 2017-10-03
US20170010623A1 (en) 2017-01-12
US20210350111A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
CN107850902B (zh) 可移动物体上的相机配置
US20210065400A1 (en) Selective processing of sensor data
US10599149B2 (en) Salient feature based vehicle positioning
US11914369B2 (en) Multi-sensor environmental mapping
US10645300B2 (en) Methods and apparatus for image processing
CN108351649B (zh) 用于控制可移动物体的方法和设备
CN108351653B (zh) 用于uav飞行控制的系统和方法
CN108351654B (zh) 用于视觉目标跟踪的系统和方法
JP6487010B2 (ja) ある環境内で無人航空機を制御する方法、ある環境のマップを生成する方法、システム、プログラムおよび通信端末
JP2019050007A (ja) 移動体の位置を判断する方法および装置、ならびにコンピュータ可読媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant