CN111867932A - 包含全向深度感测和避障空中系统的无人飞行器及其操作方法 - Google Patents

包含全向深度感测和避障空中系统的无人飞行器及其操作方法 Download PDF

Info

Publication number
CN111867932A
CN111867932A CN201980012475.3A CN201980012475A CN111867932A CN 111867932 A CN111867932 A CN 111867932A CN 201980012475 A CN201980012475 A CN 201980012475A CN 111867932 A CN111867932 A CN 111867932A
Authority
CN
China
Prior art keywords
assembly
rotor
aircraft
depth sensing
obstacle avoidance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980012475.3A
Other languages
English (en)
Inventor
张通
张磊
王兆喆
张茜
谭梦文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Zero Zero Technology Co Ltd
Original Assignee
Hangzhou Zero Zero Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zero Zero Technology Co Ltd filed Critical Hangzhou Zero Zero Technology Co Ltd
Publication of CN111867932A publication Critical patent/CN111867932A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • B64U30/29—Constructional aspects of rotors or rotor supports; Arrangements thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • B64U30/29—Constructional aspects of rotors or rotor supports; Arrangements thereof
    • B64U30/299—Rotor guards
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/10—Propulsion
    • B64U50/19—Propulsion using electrically powered motors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Studio Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

一种无人飞行器(12)，包括机体(20)、连接至机体(20)的升力机构(30)和连接至机体的深度感测和避障系统(32)。所述深度感测和避障系统包括平台组件(58)、连接至所述平台组件的一对立体视觉相机(80)以及连接至所述机体和平台组件的电机组件(62)。所述平台组件包括沿着纵向轴线(74)在第一端(70)和相对的第二端(72)之间延伸的支撑构件(68)。所述一对立体视觉相机(80)包括位于支撑构件(68)的相对端的两个立体视觉相机(82、84)。所述电机组件配置为使所述平台组件相对于机体绕垂直于平台组件的纵向轴线的旋转轴(66)旋转。本文还公开了深度感测和避障系统以及操作飞行器的方法。

Description

包含全向深度感测和避障空中系统的无人飞行器及其操作 方法
相关申请的交叉引用
本申请要求于2018年2月7日提交的第62/627,276号美国临时专利申请案的权益，以上美国临时专利申请案通过引用整体并入此文。
技术领域
本发明总体上涉及无人飞行器，并且更具体地涉及用于在无人飞行器系统中操作全向深度感测和避障的系统和方法。该系统通常包括避障模块，该避障模块包括单轴电机和至少一对立体视觉相机。
背景技术
深度感测和避障是构建全自动空中机器人(aerial robot)的关键一步。当前现有的无人飞行器已经演示了使用声纳、距离传感器、激光扫描测距仪、基于飞行时间的传感器、基于结构光的传感器或立体视觉相机对朝一个特定方向(向前/向下)执行深度感测，或使用多个面向不同方向的深度传感器(例如，一对立体视觉相机)尝试在更多方向上避开障碍物。但是，这种方法的根本缺陷在于，与汽车或轮船不同，旋翼无人飞行器(例如四旋翼飞行器等)能够在所有方向上行进。立体视觉对只能覆盖有限的驱动角度范围。使用蛮力堆叠多个立体视觉对的效率非常低，并且由于缺乏用于深度感测的水平视场角的完整覆盖范围(360度)，在避开障碍物方面仍然会失败。另一个现有的尝试是使用广角镜头或折反射镜头来捕获全向视频信息，然后使用诸如运动结构(Structure From Motion，SFM)或视觉惯性里程计(Visual Inertial Odometry，VIO)之类的技术来实现单相机深度感测。这种方法依靠极其精确的SFM/VIO来获得可用的绝对深度信息，并且非常容易受到系统的振动和角运动的影响，而这些振动和运动几乎总是在无人飞行器上发生。最近，出现了一种基于折叠式、折反射式配置并带有双曲面镜的全反射系统，仅使用一个相机传感器即可实现单帧全向深度感测。诚然，这是一种经济高效的解决方案，但是，如果需要合适的深度感测分辨率，则无法将系统的装置尺寸小型化，并且必须将系统安装在无人飞行器机体的顶部，从而使其结构无法更紧凑和优雅。因此，仍然存有改进的可能。
发明内容
本发明的一个实施例提供了一种空中系统。所述空中系统包括机体，连接至机体的升力机构，以及连接至机体并包括一对相机和旋转该对相机的单轴电机的深度感测和避障系统。
本发明的另一个实施例提供了一种使用深度感测和避障系统获得环境的深度信息的方法。
本发明的又另一个实施例提供了一种空中系统。所述空中系统包括机体和连接至该机体的升力机构。所述系统还包括连接至机体的深度感测和避障系统。所述深度感测和避障系统包括一对相机和旋转所述一对相机的单轴电机。
本发明的一个实施例提供了一种无人飞行器。该无人飞行器包括机体、连接至机体的升力机构以及连接至机体的深度感测和避障系统。所述深度感测和避障系统包括平台组件、连接至平台组件的一对立体视觉相机以及连接至机体和平台组件的电机组件。平台组件包括沿纵向轴线在第一端和相对的第二端之间延伸的支撑构件。一对立体视觉相机包括位于支撑构件的相对端的每个立体视觉相机。电机组件配置为使平台组件相对于机体绕垂直于平台组件的纵向轴线的旋转轴旋转。
本发明的另一个实施例提供了一种用于无人飞行器的深度感测和避障系统。该飞行器包括机体和与机体连接的升力机构。深度感测和避障系统包括平台组件、连接至平台组件的一对立体视觉相机以及连接至机体和平台组件的电机组件。平台组件包括沿纵向轴线在第一端和相对的第二端之间延伸的支撑构件。一对立体视觉相机包括位于支撑构件的相对端的每个立体视觉相机。电机组件配置为使平台组件相对于机体绕垂直于平台组件的纵向轴线的旋转轴旋转。
本发明的又另一个实施例提供了一种操作飞行器的方法。所述飞行器包括机体、连接至机体的升力机构以及深度感测和避障系统。所述深度感测和避障系统包括平台组件、连接至平台组件的一对立体视觉相机、连接至机体和平台组件的电机组件以及处理器。所述平台组件包括沿纵向轴线在第一端和相对的第二端之间延伸的支撑构件。所述一对立体视觉相机包括位于支撑构件的相对端的每个立体视觉相机。所述电机组件配置为使平台组件相对于机体绕垂直于平台组件的纵向轴线的旋转轴旋转。所述方法包括处理器执行的以下步骤：从每个立体视觉相机接收球面视频图像；在每个接收到的球面视频图像中识别相应的图像对象；以及将每个球面视频图像校正为具有定义在0到π之间的X轴和定义在-π/2到π/2之间的Y轴的二维(2D)矩形图像。处理器识别与对应的图像对象相关联的每个校正的2D矩形图像内的视点，确定沿每个校正的2D矩形图像的对应X轴的每个视点的极角值，确定对应的图像对象与图像之间的距离。基于所确定的极角值的飞行器，并且在飞行操作期间基于所确定的相应的图像对象与飞行器的距离来操作升力机构。处理器在飞行操作期间确定飞行器的当前导向方向(bearing direction)，并且操作电机组件以旋转平台组件，以保持平台组件的纵向轴线垂直于当前导向方向。
附图说明
下文结合以下附图描述了本发明的非限制性和非穷举性的实施方案。当结合附图考虑时，通过参考以下详细描述，本公开的其他优点将变得容易理解，因为可更好地理解本公开：
图1是根据本发明的一个实施例的包括无人飞行器和用于控制飞行器的系统的空中系统的示意图；
图2和3是根据本发明的实施例的图1所示的飞行器的示意图；
图4是根据本发明的实施例的图1包括全向深度感测和避障系统的飞行器的立体图；
图5是根据本发明的实施例的图4所示的全向深度感测和避障系统的示意图；
图6A和6B是根据本发明的实施例在飞行操作期间的图4所示的飞行器的立体图；
图7和图8是根据本发明的实施例的飞行器的立体图，该飞行器包括图4所示的全向深度感测和避障系统；
图9是图8所示的全向深度感测和避障系统的一部分的放大图；
图10是根据本发明的实施例的电机组件的立体图，该电机组件包括与图4所示的全向深度感测和避障系统一起使用的旋转限制组件；
图11是图10所示的电机组件的分解图；
图12是与图10所示的电机组件一起使用的定子组件的俯视图；
图13是与图10所示的电机组件一起使用的齿轮的仰视图；
图14是根据本发明的实施例的包括旋转限制组件的另一电机组件的立体图，该电机组件可以与图4所示的全向深度感测和避障系统一起使用；
图15是图14所示的电机组件的分解图；
图16A是与图14所示的电机组件一起使用的环形部件的俯视图；
图16B是图16A中所示的环形部件的侧视图；
图17A是与图14所示的电机组件一起使用的另一环形部件的俯视图；
图17B是图17A所示的环形部件的侧视图；
图18A是与图14所示的电机组件一起使用的定子组件的俯视图；
图18B是图18A中所示的环形部件的侧视图；
图19是根据本发明的实施例的图4所示的飞行器的示意图；
图20是根据本发明的实施例的实现用于操作包括全向深度感测和避障系统的飞行器的算法方法的流程图；
图21示出了根据本发明的实施例的可以与图20中示出的算法一起使用的立体相机针孔模型算法；
图22示出了根据本发明的实施例的可以与图20中示出的算法一起使用的立体视觉校正算法；
图23示出了根据本发明的实施例的可以与图20中示出的算法一起使用的重投影和深度计算算法；
图24示出了根据本发明的实施例的可以与图20中示出的算法一起使用的球面模型算法；
图25示出了根据本发明的实施例的可以与图20中示出的算法一起使用的二维校正算法；
图26A和26B示出了在飞行操作期间使用图20所示的算法的飞行器的操作；
图27-30是根据本发明的实施例的图4所示的飞行器的多个视图。
具体实施方式
以下对本公开的各种实施例的描述并非旨在将本公开限制为这些实施例，而是使本领域的任何技术人员能够制造和使用本公开。参考附图并且在操作中，提供了用于控制无人飞行器12(例如，无人驾驶飞机)的系统10。参照图1，系统10可以包括具有控制客户端16的远程设备14。控制客户端16提供允许用户18向飞行器12发送指令以控制其操作的用户界面(见下文)。如以下详细描述的，飞行器12包括一个或多个用于获得图片和/或视频的相机，所述照片和/或视频可以被发送到远程设备14和/或存储在飞行器12上的存储器中。
飞行器12可包括一个或多个传感器，用于检测或感测用户18执行的操作或动作，即表情，以控制飞行器12的操作而无需与远程设备14直接或物理交互。在实施例中，从开始(释放和悬停)到结束(抓紧和走)的整个控制循环，以及控制飞行器12的运动和事件的触发，例如拍照和录像，仅在飞行器上执行，车辆12不参与远程设备14。在一些这样的实施例或系统10中，可以不提供或不包括远程设备14。
在一些实施例中，远程设备14包括一个或多个传感器，该传感器检测或感测用户18执行的操作或动作，以在特定条件下(例如，当飞行器12离用户18太远)以不与远程设备14进行物理交互的方式来控制飞行器12的操作。
系统10和飞行器12
在附图中示出了示例性的飞行器12和控制系统。飞行器12的控制客户端16用于从飞行器12接收数据，包括视频图像和/或视频，并控制远程设备14上的视觉显示。控制客户端16还可以接收操作指令并方便根据操作说明进行遥控飞行器12。控制客户端16通常被配置为在远程设备14上执行，但是可以可选地被配置为在飞行器12或任何其他合适的系统上执行。如上所述，并且在下面更全面地描述，可以仅在不与远程设备14直接或物理交互的情况下控制飞行器12。
控制客户端16可以是本地应用程序(例如，移动应用程序)、浏览器应用程序、操作系统应用程序或者可以是任何其他合适的配置。
执行控制客户端16的远程设备14用于显示数据(例如，如控制客户端16所指示)，接收用户输入，基于用户输入来计算操作指令(例如，如控制客户端16所指示)，向飞行器12发送操作指令，存储控制客户端信息(例如，相关的空中系统标识符、安全密钥、用户帐户信息、用户帐户的首选项等)，或执行任何其他合适的功能。远程设备14可以是用户设备(例如，智能电话、平板电脑、笔记本电脑等)，联网的服务器系统，或者可以是任何其他合适的远程计算系统。远程设备14可以包括一个或多个：输出、输入、通信系统、传感器、电源、处理系统(例如，CPU、存储器等)或任何其他合适的组件。输出可以包括：显示器(例如，LED显示器、OLED显示器、LCD等)、音频扬声器、灯(例如，LED)、触觉输出(例如，像素系统，振动电机等)或任何其他合适的输出输出。输入可以包括：触摸屏(例如，电容性、电阻性等)、鼠标、键盘、运动传感器、麦克风、生物特征输入、相机或任何其他合适的输入。通信系统可以包括无线连接，例如无线电支持：远程系统(例如，Wi-Fi、蜂窝、WLAN、WiMAX、微波、IR、射频等)，短距离系统(例如，BLE、BLE、NFC、ZigBee、RF、音频、光学等)或任何其他合适的通信系统。传感器可以包括：方向传感器(例如，加速度计、陀螺仪等)、环境光传感器、温度传感器、压力传感器、光学传感器、声学传感器或任何其他合适的传感器。在一种变型中，远程设备14可以包括显示器(例如，包括覆盖显示器的触摸屏的触敏显示器)，一组无线电(例如，Wi-Fi、蜂窝、BLE等)以及一组方向传感器。但是，远程设备14可以包括任何合适的组件集。
飞行器12的功能是在物理空间内飞行，捕获视频，将视频几乎实时地流传输到远程设备14，并且基于从远程设备14接收的操作指令进行操作。
在将视频流传输到远程设备14和/或从机载音频传感器接收到的音频之前，飞行器12可以另外处理视频(例如，视频帧)。根据自己的操作说明生成并自动操作(例如，自动跟踪主题)；或执行任何其他合适的功能。飞行器12还可起到在物理空间内移动光学传感器的视场的作用。例如，飞行器12可以控制宏观运动(例如，大的FOV变化，以米调整的顺序)，微小的运动(例如，小的FOV变化，以毫米或厘米调整的顺序)或任何其他合适的运动。
飞行器12可以基于来自机载传感器的传感器数据的机载处理来执行某些功能。此功能可能包括但不限于：
-起飞和着陆；
-物主识别；
-面部识别；
-语音识别；
-面部表情和手势识别；和，
-基于物主，面部，表情和手势识别以及语音识别来控制例如空中系统的运动。
参照图1至5，在图示的实施例中，飞行器12(例如，无人驾驶飞机)包括机体20、处理系统22、通信系统24、光学系统26以及将光学系统26安装至机体20的致动机构28、升力机构30以及全向深度感测和避障系统32。飞行器12可以附加地或替代地包括传感器34、电源36或任何其他合适的组件(见下文)。
飞行器12的机体20用于机械地保护和/或保持飞行器部件。机体20可限定内腔、为平台或具有任何合适的配置。机体20可以被封闭、敞开(例如，桁架)或具有任何合适的配置。机体20可以由金属、塑料(例如，聚合物)、碳复合材料或任何其他合适的材料制成。机体20可限定纵向轴线38、横向轴线40、横向轴线42、前端、后端(例如，沿纵向轴线与前端相对)、顶表面44、底表面46(例如，沿横向轴线与顶部相对)、中心48或任何其他合适的参考。在一种变型中，在飞行中，机体20的横向轴线可以基本平行于重力矢量(例如，垂直于地面)，并且机体的纵向和横向轴线可以基本垂直于重力矢量(例如，平行于地平面)。然而，能够以其他方式配置机体20。
飞行器12的处理系统22用于控制飞行器的操作。处理系统22可以：从通信系统24接收操作指令，将操作指令解释为机器指令，并且基于机器指令(单独地或成套地)控制空中系统组件。处理系统22可以附加地或替代地处理由相机记录的图像，将图像流传输到远程设备14(例如，实时或近实时)，或执行任何其他合适的功能。处理系统22可以包括一个或多个：处理器50(例如，CPU、GPU等)、存储器(例如，闪存、RAM等)或任何其他合适的处理组件。在一种变型中，处理系统22可以另外包括专用硬件，该专用硬件在传输到远程设备14之前自动处理图像(例如，对图像进行变形、过滤图像、裁剪图像等)。通常，图22所示的飞行器22连接至飞行器12的活动部件并安装至机体20，但可替代地可以与飞行器系统部件相关。
空中系统的通信系统24用于从远程设备14发送和/或接收信息。通信系统24通常连接至处理系统22，使得通信系统24从处理中发送和/或接收数据。系统22，但可以替代地连接至任何其他合适的组件。飞行器12可以包括一种或多种类型的一个或多个通信系统。通信系统24可以包括无线连接，例如无线电，其支持：远程系统(例如，Wi-Fi、蜂窝、WLAN、WiMAX、微波、IR、射频等)、短距离系统(例如，BLE)、BLE远程、NFC、ZigBee、RF、音频，光学等)或任何其他合适的通信系统24。通信系统24通常与以下设备共享至少一个系统协议(例如，BLE、RF等)：远程设备14，但是可以替代地经由中间通信系统(例如，协议翻译系统)与远程设备14通信。然而，能够以其他方式配置通信系统24。
在一实施例中，通信系统24用于与一个或多个远程计算系统通信。通信系统24可以是远程通信模块，短距离通信模块或任何其他合适的通信模块。通信系统24可以促进有线和/或无线通信。通信系统24的示例包括802.11x、Wi-Fi、Wi-Max、NFC、RFID、蓝牙、低功耗蓝牙、ZigBee、蜂窝电信(例如2G、3G、4G、LTE等)、无线电(RF)、有线连接(例如USB)或任何其他合适的通信系统24或其组合。通信系统24通常由电源36供电，但是能够以其他方式供电。通信系统24通常连接至处理系统22，但是可以附加地或替代地连接至任何其他合适的组件并与之交互。
飞行器12的光学系统26用于记录飞行器12附近的物理空间的图像。光学系统26通常经由致动机构28安装至机体20，但是可替代地可以静态地安装至机体20。光学系统26通常可安装在机体20的前端，但也可以可选地安装在底部(例如，靠近前部)、顶部、后端或者机体20的任何其他合适的部分。光学系统26通常连接至处理系统22，但是可以替代地连接至通信系统24或任何其他合适的系统。光学系统26可以另外包括专用的图像处理硬件，其在传输到处理器或其他端点之前自动处理由相机记录的图像。飞行器12可以包括安装至相同或不同位置的一个或多个相同或不同类型的光学系统。在一种变型中，飞行器12包括安装在机体20的前端的第一光学系统和安装在机体20的底部的第二光学系统。第一光学系统可绕枢轴支撑致动，并且第二光学系统可以相对于机体20基本静态地保持，相应的有效表面基本平行于机体底部。第一光学系统可以是高清晰度的，而第二光学系统可以是低清晰度的。但是，可以另外配置光学系统。光学系统26可以是下面描述的避障系统32的一部分，或者可以与之完全独立。
光学系统26可以包括一个或多个光学传感器52。一个或多个光学传感器52可以包括：单镜头相机(例如，CCD相机、CMOS相机等)、立体相机、高光谱相机、多光谱相机或任何其他合适的图像传感器。
然而，光学系统26可以是任何其他合适的光学系统。光学系统26可以限定一个或多个接收光的有源表面，但是可以替代地包括任何其他合适的组件。例如，相机的有效表面可以是通常包括规则的传感器像素阵列的相机传感器(例如，CCD传感器、CMOS传感器等)的有效表面。相机传感器或其他活动表面通常是大致平面和矩形的(例如，具有：第一传感器边缘；第二传感器边缘，其与第一传感器边缘相对；以及第三传感器边缘和第四传感器边缘，其分别垂直于第一传感器边缘并从第一传感器边缘延伸到第二传感器边缘)，但可以替代地具有任何合适的形状和/或形貌。光学传感器52可以产生图像帧。图像帧通常对应于有效表面的形状(例如，矩形，其具有彼此相对的第一帧边缘和第二帧边缘等)，更通常地定义像素位置的规则阵列，每个像素位置对应于传感器像素光学传感器52采样的图像的有效表面和/或像素的角θ，但是可替代地可以具有任何合适的形状。图像帧通常定义由光学传感器52采样的图像的各方面(例如，图像尺寸、分辨率、像素大小和/或形状等)。光学传感器52可以可选地包括变焦透镜、数字变焦、鱼眼镜头、滤光器或任何其他合适的主动或被动光学调节器。光学调节的应用可以由控制器主动控制，由用户18手动控制(例如，其中用户手动设置调节)，由远程设备14控制或以其他方式控制。在一种变型中，光学系统26可以包括包围光学系统部件的其余部分的壳体，其中，壳体被安装至机体20。然而，光学系统26能够以其他方式配置。
飞行器12的致动机构28用于将光学系统26可操作地安装至机体20。致动机构28可以附加地用于衰减光学传感器的振动(例如，机械地稳定合成图像)，以适应空中系统的滚动，或执行任何其他合适的功能。致动机构28可以是主动的(例如，由处理系统控制)，被动的(例如，由一组配重、弹簧元件、磁性元件等控制)或以其他方式控制。致动机构28可以使光学系统26相对于身体绕一个或多个轴线旋转，沿相对于身体的一个或多个轴线平移光学系统26，或者以其他方式致动光学系统26。光学传感器52可以沿着第一端，沿着光学传感器背面(例如，与活动表面相对)，通过光学传感器的主体，或者沿着光学传感器52的任何其他合适的部分将其安装至支撑件上。
在一种变型中，致动机构28可包括连接至单个枢转支撑件(例如，万向架)的电机(未示出)，其中，电机基于从控制器接收的指令使支撑件绕旋转轴(或万向架)枢转。支撑件通常布置成旋转轴基本平行于机体20的侧向轴线，但是可替代地可以布置成旋转轴相对于本体20以任何其他合适的取向。支撑件通常设置在由机体20限定的凹腔内，其中，空腔进一步包围光学传感器52，但是可以替代地沿着机体的外部布置或布置在机体20的任何其他合适的部分。光学传感器52通常以有效表面基本平行的方式安装至支撑件的旋转轴(例如，具有横向轴线、或平行于机体20的横向轴线的轴线、基本平行于旋转轴的轴线)，但可替代地，可布置成具有相对于旋转轴成任何合适角度布置的有效表面。
电机通常是电动电机，但是可替代地可以是任何其他合适的电机。可以使用的电机的示例包括：DC电机(例如，有刷电机)、EC电机(例如，无刷电机)、感应电机、同步电机、电磁电机或任何其他合适的电机。电机通常安装至机体20(例如，机体的内部)，电连接至处理系统22并由其控制，并且电连接至电源或电源供应器36并由电源或电源供应器36供电。然而，电机可以是其他方式连接的。致动机构28通常包括单个电机支撑组，但是可替代地可以包括多个电机支撑组，其中辅助电机支撑组可以与第一电机支撑组正交(或以任何其他合适的角度)布置。
在第二种变型中，致动机构28可包括一组枢转的支撑件和配重，其连接至光学传感器52上，并偏离光学传感器的重心，其中，致动机构28被动地稳定光学传感器52。
飞行器12的升力机构30起到使空中系统飞行的作用。升力机构30通常包括由电机驱动的一组推进器叶片，但是可替代地可以包括任何其他合适的推进机构。升力机构30通常被安装至机体20并由处理系统22控制，但是可替代地能够以其他方式被安装至飞行器12和/或被控制。飞行器12可以包括多个升力机构30。在所示的实施例中，飞行器12包括四个升力机构(例如，两对升力机构30)，其中，升力机构30基本上均匀地分布在机体的周围机体20(例如，其中每对的升力机构30在机体20上彼此相对)。然而，能够以其他方式配置升力机构30。
空中系统的升力机构30起到提供升力的作用，并且通常包括由一个或多个电机驱动(单独地或共同地)的一组转子叶片54。每个转子54通常配置为绕相应的转子轴线旋转，限定垂直于其转子轴线的相应的转子平面，并且扫出其转子平面上的扫掠区域。电机通常被配置为向转子叶片54提供足够的功率以使得能够进行空中系统飞行，并且更通常地以两种或更多种模式操作，其中至少一种包括提供足够的飞行功率，并且至少一种包括提供动力。比飞行所需的功率少(例如，提供零功率、提供最小飞行功率的10％等)。电机提供的功率通常影响转子叶片54绕其转子轴线旋转的角速度。在空中系统飞行期间，这组转子叶片54通常被配置成协同地或单独地产生(例如，通过绕其转子轴线旋转)基本上全部(例如，大于99％、大于95％、大于90％、大于75％)由飞行器12所产生的总空气动力(可能不包括诸如在高空速飞行期间由机体20产生的阻力)。替代地或附加地，飞行器12可包括用于产生用于空中系统飞行的力的任何其他合适的飞行部件，例如喷气发动机、火箭发动机、机翼、太阳帆和/或任何其他合适的力产生部件。
在一种变型中，飞行器12包括四个转子叶片54，每个转子叶片布置在空中系统机体的拐角处。四个转子叶片54通常基本上均匀地散布在空中系统机体周围，并且每个转子平面通常基本上平行于(例如，在10度之内)空中系统机体的横向平面(例如，绕纵向轴线和横轴)。转子叶片54通常占据整个飞行器12的相对较大的部分(例如，90％、80％、75％或空中系统的大部分、或飞行器12的任何其他合适比例)。例如，每个转子54的直径的平方和可以大于突起的凸包的阈值量(例如，10％、50％、75％、90％、110％等)。将飞行器12的飞行器上的“角”移动到系统的主平面(例如，侧平面)上。然而，能够以其他方式布置转子叶片54。
飞行器的附加的传感器56用于记录指示飞行器系统操作，飞行器12周围的周围环境(例如，飞行器12附近的物理空间)或任何其他合适的参数的信号。传感器56通常被安装至机体20并由处理系统22控制，但是可替代地可以被安装至任何其他合适的部件和/或以其他方式被控制。飞行器12可以包括一个或多个传感器34、56。可以使用的传感器的示例包括：方向传感器(例如，加速度计、陀螺仪等)、环境光传感器、温度传感器、压力传感器、光学传感器、声学传感器(例如，麦克风)、电压传感器、电流传感器或任何其他合适的传感器。
空中系统的传感器34、56的功能是获取指示空中系统周围环境和/或空中系统运行的信号。传感器34、56通常安装在机体20上，但也可以安装在任何其他合适的部件上。传感器34、56通常由电源36供电并且由处理器控制，但是可以连接至任何其他合适的组件并与之交互。传感器34、56可以包括一个或多个：相机(例如，CCD、CMOS、多光谱、可见范围、高光谱、立体等)、方向传感器(例如，惯性测量传感器、加速度计、陀螺仪、高度、磁力计等)、音频传感器(例如，换能器、麦克风等)、气压计、光传感器、温度传感器、电流传感器(例如，霍尔效应传感器)、空气流量计、电压表、触摸传感器(例如，电阻式、电容式等)、接近传感器、力传感器(例如，应变计、称重传感器)、振动传感器、化学传感器、声纳传感器、位置传感器(例如，GPS、GNSS、三角测量等)或任何其他合适的传感器。在一种变型中，飞行器12包括：第一相机，其沿着空中系统的机体的第一端(例如，静态地或可旋转地)安装，并且视场与机体的侧面相交；第二相机，其沿空中系统的机体的底部安装，并且视场基本平行于侧面；以及一组方向传感器，例如高度计和加速度计。但是，该系统可以包括任何合适数量的任何类型的传感器。
飞行器12的电源36起到向飞行器12的有源部件供电的作用。电源36通常安装在机体20上，并且(例如，直接或间接地)电连接至飞行器12的所有有源部件，但可以另外安排。电源36可以是一次电池、二次电池(例如，可再充电电池)、燃料电池、能量(例如，太阳能、风能等)收集器、或者可以是任何其他合适的电源。可以使用的二次电池的例子包括：锂化学物质(例如，锂离子、锂离子聚合物等)、镍化学物质(例如，NiCad、NiMH等)或具有任何其他合适化学物质的电池。
飞行器12可以可选地与远程计算系统或任何其他合适的系统一起使用。飞行器12具有飞行的功能，并且还可以具有拍摄照片、传递负载和/或中继无线通信的功能。飞行器12通常是旋翼飞机(例如，四旋翼飞行器、直升飞机、旋翼飞行器等)，但是可替代地可以是固定翼飞行器、浮空器或任何其他合适的飞行器。
空中系统的处理系统22用于控制空中系统的操作。处理系统22可以执行该方法。在飞行期间使飞行器12稳定(例如，选择性地操作转子叶片54以最小化飞行中的飞行系统摆动)；根据遥控指令接收，解释和操作飞行器12；或控制空中系统的运行。处理系统22通常被配置为接收并解释由传感器34、56采样的测量结果，更典型地通过组合由不同的传感器采样的测量结果(例如，组合相机和加速度计数据)。飞行器12可以包括一个或多个处理系统，其中不同的处理器可以执行相同的功能(例如，用作多核系统)，或者是专用的。处理系统22可以包括一个或多个：处理器(例如，CPU、GPU、微处理器等)、存储器(例如，闪存、RAM等)或任何其他合适的组件。处理系统22通常安装在机体20上，但也可以安装在任何其他合适的部件上。处理系统22通常由电源36供电，但是能够以其他方式供电。处理系统22通常连接至传感器34、56，通信系统24和升力机构30并对其进行控制，但是可以附加地或替代地连接至任何其他合适的部件并与其相互作用。
空中系统的机体20用于支撑空中系统的部件。机体还可以起到保护空中系统组件的作用。机体20通常基本上封装了通信系统24，电源36和处理系统22，但是能够以其他方式配置。机体20可包括平台，壳体或具有任何其他合适的配置。在一种变型中，机体20包括容纳通信系统24，电源36和处理系统22的机体，以及平行于转子旋转平面并沿着第一和第二布置的第一框架和第二框架(例如，笼)。框架可用作机体20的侧面。在旋转的转子叶片54和保持机构(例如，诸如使用者的手之类的保持机构)之间，框架可用作中间部件。框架可以沿着机体20的单侧(例如，沿着转子叶片54的底部、沿着转子叶片54的顶部)，沿着机体20的第一侧和第二侧(例如，沿着顶部)延伸。转子叶片54的底部和转子叶片54的底部)，封装转子叶片54(例如，沿着转子叶片54的所有侧面延伸)或以其他方式配置。框架可以静态地安装或可致动地安装至机体20。
框架可包括一个或多个孔(例如，气流孔)，其将一个或多个转子叶片54流体地连接至周围环境，其可起到使空气和/或其他合适的流体在周围环境与空气之间流动的作用。转子叶片54(例如，使转子叶片54能够产生使空中系统在整个周围环境中移动的空气动力)。孔可以是细长的，或者可以具有可比较的长度和宽度。孔可以基本相同或者可以彼此不同。孔通常足够小以防止保持机构的部件(例如，手的手指)穿过孔。靠近转子叶片54的框架的几何透明度(例如，开口面积与总面积之比)通常足够大，以使得能够进行空中系统飞行，更典型地能够进行高性能的飞行操纵。例如，每个孔可以小于阈值尺寸(例如，在所有尺寸上小于阈值尺寸，细长的狭缝比阈值尺寸窄但明显长于阈值尺寸，等等)。在特定示例中，框架具有80-90％的几何透明度，并且每个孔(例如，圆、诸如正六边形的多边形等)限定直径为12-16mm的外接圆。但是，可以通过其他方式配置机体。
机体20(和/或任何其他合适的空中系统部件)可以限定能够由保持机构(例如，人的手、空中系统坞、爪等)保持的保持区域。保持区域通常绕一个或多个转子叶片54的一部分，更典型地完全绕所有转子叶片54，从而防止转子叶片54与保持机构或飞行器12附近的其他物体之间的任何意外相互作用。例如，保持区域在空中系统平面(例如，侧面、转子平面等)上的投影可以重叠(例如，部分、完全、大部分、至少90％等)。一个或多个转子叶片54的扫掠面积(例如，转子的扫掠面积、这组转子的总扫掠面积等)在同一空中系统平面上的投影。
飞行器12可以另外包括输入(例如，麦克风、相机等)、输出(例如，显示器、扬声器、发光元件等)或任何其他合适的组件。
远程计算系统的功能是接收辅助用户输入，并且还可以具有自动生成用于飞行器12的控制指令并将控制指令发送到飞行器12的功能。每个飞行器12可以由一个或多个远程计算系统控制。远程计算系统通常通过客户端(例如，本机应用程序、浏览器应用程序等)控制飞行器12，但是可以另外控制飞行器12。远程计算系统可以是用户设备、远程服务器系统、连接的设备或者是任何其他合适的系统。用户设备的示例包括平板电脑、智能手机、移动电话、笔记本电脑、手表、可穿戴设备(例如，眼镜)或任何其他合适的用户设备。用户设备可以包括：电能存储设备(例如，电池)、处理系统(例如，CPU、GPU、存储器等)、用户输出(例如，显示器、扬声器、振动机构等)、用户输入(例如，键盘、触摸屏、麦克风等)、定位系统(例如GPS系统)、传感器(例如，光学传感器(例如光传感器和相机)、方向传感器(例如加速度计、陀螺仪和高度计)、音频传感器(例如麦克风等))、数据通信系统(例如Wi-Fi模块、BLE、蜂窝模块等)或任何其他合适的组件。
飞行器12可以被配置用于无控制器的用户无人飞行器交互。通常，空中系统或无人飞行器需要单独的设备，例如远程设备14。远程设备14可以体现为不同类型的设备，包括但不限于地面站，遥控器或移动电话。在一些实施例中，可以由用户通过用户表情来实现对飞行器12的控制，而无需利用远程设备14。用户表情可以包括但不限于由用户执行的不执行的任何动作。包括与远程设备14的物理交互，包括思想(通过脑电波测量)、面部表情(包括眼睛运动)、手势和/或语音。在这样的实施例中，通过光学传感器52和至少一些其他传感器34、56直接接收用户指令，并由机载处理系统22进行处理以控制飞行器12。在一些实施例中，飞行器12可以替代地通过远程设备14来控制。
在至少一个实施例中，可以在不与远程设备14进行物理交互的情况下控制飞行器12，但是，可以使用远程设备14的显示器来显示从飞行器12中继的图像和/或视频，这可以帮助用户18控制飞机12。此外，与远程设备14相关联的传感器34、56，例如，相机和/或麦克风(未示出)可以将数据中继到飞行器12，例如，当飞行器12离用户18太远时，从远程设备14中继到飞行器12的传感器数据的使用方式与来自机载传感器34、56的传感器数据的使用方式相同。使用用户表情来控制飞行器12。
以这种方式，可以从开始到结束对飞行器12进行完全控制，或者(1)不使用远程设备14，或者(2)不与远程设备14进行物理交互。基于在各种车载传感器34、56处接收到的用户指令。应当注意的是，在以下讨论中，车载传感器34、56的利用还可以包括在远程设备14上利用相应的或类似的传感器。
通常，用户18可以利用某些手势和/或语音控制来控制飞行期间飞行器12的起飞、着陆、运动以及其他特征，例如触发照片和/或视频捕获。如上所述，飞行器12可以在不利用远程设备14或由其进行处理的情况下提供以下特征：
-起飞和着陆；
-物主识别；
-面部识别；
-语音识别；
-面部表情和手势识别；和，
-基于物主、面部、表情和手势识别以及语音识别来控制例如空中系统的运动。
如上所述，飞行器12包括光学系统26，该光学系统26包括一个或多个光学传感器52，例如相机。至少一个车载相机配置用于实时视频流和计算机视觉分析。可选地，飞行器12可以具有用于多像素深度感测的至少一个深度传感器(或立体视觉对)。可选地，飞行器12可以在船上具有至少一个麦克风以用于语音识别和控制。
通常，为了提供对飞行器12的完全控制，提供了从飞行会话的开始到结束的多个用户/无人飞行器交互或活动。用户/无人飞行器交互包括但不限于起飞和降落，物主识别手势识别，面部表情识别和语音控制。
全向深度感测和避障系统32和方法：
参照图4至图30，在所示实施例中，飞行器12还包括全向深度感测和避障系统32。全向深度感测和避障系统32可以包括前述组件中的任何一个或多个(例如，传感器、相机等等)。可替代地，该全向深度感测和避障系统32可以包括与上述完全不同的组件。该全向深度感测和避障系统32和以下描述的方法是用于实现真正的360度深度感测和避障的低成本解决方案。
在所示的实施例中，全向深度感测和避障系统32包括：平台组件58；立体视觉相机组件60，其连接至平台组件58；电机组件62；以及控制单元64，其可操作地连接至立体视觉相机组件60的。电机组件62连接至机体20和平台组件58，并被配置为使平台组件58和立体视觉相机组件60相对于机体60绕旋转轴66旋转。
平台组件58包括支撑构件68，该支撑构件68沿着纵向轴线74在第一端70和相对的第二端72之间延伸。支撑构件68包括连接至电机组件62的中心安装臂76和从中央安装臂76沿纵向轴线74沿相反的方向径向向外延伸的一对支撑臂78。在所示的实施例中，立体视觉相机组件60包括一对立体视觉相机80，其连接至平台的支撑臂78。一对立体视觉相机80包括第一立体视觉相机82和第二立体视觉相机84，第一立体视觉相机82位于平台组件的第一端70，第二立体视觉相机84位于平台组件58的第二端72，使得每个立体视觉相机相机82、84定位在支撑构件68的相对端。在所示的实施例中，平台组件58连接至电机组件62，以使旋转轴66垂直于平台组件的纵向轴线74。参照图6B，第一立体视觉相机82沿着纵向轴线74与旋转轴66间隔开第一距离86，并且第二立体视觉相机84沿着纵向轴线74与旋转轴66间隔开第二距离88。第一距离86等于第二距离88，使得第一和第二立体视觉相机82、84与旋转轴66等距定位。在其他实施例中，第一距离86大于或小于第二距离88。在一个实施例中，一对相机80可以被安装或静态地固定在机体20的壳体上。
全向深度感测和避障系统32可以安装至无人飞行器机体20的顶部，例如，永久或可拆卸地安装在无人飞行器的机体20的顶部。全向深度感测和避障系统32可替代地描述为模块，并且通常包括单轴电机和至少一对立体视觉相机。控制单元64、电机组件62和/或相机80能够以有线(FPC电缆)或无线(无线充电)的方式供电。相机80、控制单元64和飞行器12的机体20中的电子设备之间的数据传输也可以通过FPC电缆或诸如Wi-Fi/蓝牙的无线传输模块来实现。有线版本可能是一种低成本解决方案，但旋转范围有限(通常小于180度)。参照图19，在各种实施例中，电机组件62沿着与无人飞行器的机体20的垂直轴(V)对准的电机轴(M)定向。
在一个实施例中，每个相机80包括镜头模块，镜头模块可以是本领域中已知的或上面描述的任何类型，例如，朝上的鱼眼型。每个相机80的鱼眼镜头模块具有等于或大于180度的视场。镜头模块通常为等距类型，因此不会损害周边像素，并且可以将球面立体模型用于视差计算和深度感测。
下文更详细描述的方法和/或全向深度感测和避障系统32可以赋予优于常规系统的多个益处。首先，由相机80记录的图像是在船上实时或近实时地处理的。这允许飞行器12使用由相机80记录的图像进行导航。
在一个实施例中，每个立体视觉相机80包括镜头或包括超广角镜头的镜头模块。超广角镜头设计的选择通常应是立体的或等距的，以使FOV的边缘区域(在这种情况下最重要)不会被压缩得太多。来自两个相机的重叠的感兴趣的立体声区域(SROI)内的像素可以首先从其原始的扭曲全向图像校正为一对全景图像。通常，两个相机80应具有相同的像素大小，像素数量和镜头设计(固有参数)。校正后，可以使用像素对应方法通过三角测量获得深度信息。图像点匹配的技术通常分为密集(基于区域的扫描)和稀疏(特征描述)两种方法。利用具有深度信息的稀疏特征点/密集点云，可以应用路径和轨迹规划算法(例如快速探索的随机树-RRT，A*等)来生成所需的无人飞行器路径，以避开障碍。
两个超广角相机之间的距离直接与深度感测的精度有关。以下关系成立：
公式(1)：
Figure BDA0002623364670000141
其中ΔD是距离误差，D是测得的距离，B是两个相机之间的基线距离，
Figure BDA0002623364670000142
是每个像素的视角。通常，必须使两个相机的有效焦点之间保持5-6cm的距离(假设相机满足单个有效视点-SVP模型)，以使深度感测适用于感应障碍物并躲避。在其他实施例中，用于获得深度信息的主要过程与传统的立体视觉深度感测算法大致相同，包括立体视觉校准、校正、视差匹配、深度计算等。
在所示的实施例中，一对立体视觉相机80包括超广角镜头相机(图4所示)，其视角方向90平行于旋转轴66定向并且朝向机体20外。每个超广角镜头相机80的方向90可以被定向在任何合适的方向上，并且每个超广角镜头相机80的每个观测方向90可以被不同地定向。
在一个实施例中，有两对普通的立体视觉相机80，例如，相机80。背对背布置，例如，参照图7，立体视觉相机组件60可以包括安装在平台组件58的第一侧上的第一对立体视觉相机92和安装在平台组件58的相对的第二侧上的第二对立体视觉相机94。每个相机80的角度可以是大约70度(对角线)的法线。在又一个实施例中，一对普通的立体视觉相机80具有平行于机体20的纵向轴线38的观测方向90，例如平行于机体20的纵向轴线38。可以使用相对于机体20在水平方向上相对的面。在这种配置中，用于旋转相机80的电机组件62通常必须能够旋转超过360度。
在一个实施例中，全向深度感测和避障系统32包括立体视觉深度感测平台58，该立体视觉深度感测平台58包括至少两个相机80(例如，至少一个立体视觉对)，每个相机80设置在例如相机80的臂78上。参照图4，平台58通常可由电机旋转，该电机可以是本领域中已知的或在此描述的。在一个实施例中，平台58设置在/连接至电机(例如，单轴电机)的转子上，参照图4。电机可以是本领域中任何已知的或可以如下所述。在一个实施例中，电机如图10-18B所示。
参照图10-18B，在所示的实施例中，电机组件62包括定子组件96，可旋转地连接至定子组件96的转子组件98以及旋转限制组件100。定子组件96使转子组件运转。转子组件98绕旋转轴66旋转。转子组件98包括转子102和转子轴104。转子102连接至平台组件58，转子轴104连接至转子102和定子组件96，用于使转子102和平台组件58绕旋转轴66旋转。
在所示的实施例中，定子组件96包括定子基座106，该定子基座具有外表面108和穿过该外表面108延伸的轴孔110。轴孔110的尺寸和形状设计成可容纳穿过其中的转子轴104，以便于支撑转子轴104。转子组件98从定子组件96旋转。旋转限制组件100连接至转子组件98和定子组件96，以限制转子组件98绕旋转轴66的旋转角度。电机组件62包括无刷万向架电机。
在一个实施例中，参照图12、18A和18B，旋转限制组件100包括沿着定子组件96的外表面108限定的弧形槽112。弧形槽112包括在第一槽端壁116和第二槽端壁116之间延伸的行进路径114。旋转限制组件100还包括一个定位组件120，该定位组件120包括一个定位构件122，该定位构件的尺寸和形状设计成在弧形槽112内移动。在操作过程中，定位构件122配置为当转子组件98沿第一旋转方向124旋转时，在弧形槽112内沿着行进路径114朝第一槽端壁116行进，并与第一槽端壁116接触，以防止转子组件98沿第一旋转方向124进行的额外旋转。当转子组件98沿第二旋转方向126旋转时，构件122还在弧形槽112内沿着行进路径114朝第二槽端壁118行进，并接触第二槽端壁118，以防止转子组件98沿第二旋转方向126的额外旋转。
在一个实施例中，参照图10至13，定位组件120包括第一齿轮128、第二齿轮130、支撑轴132和轴承134。第一齿轮128连接至转子轴104，使得转子轴104的旋转旋转。第一齿轮128绕旋转轴66旋转。支撑轴132从定子组件96的外表面108沿轴中心线轴线136向外延伸，并且与转子轴104和旋转轴66间隔径向距离138。轴承134可旋转地连接至支撑轴132。第二齿轮130连接至轴承134，并且被配置为相对于定子组件96绕支撑轴132旋转。第二齿轮130与第一齿轮128以网状布置连接，使得第一齿轮128的旋转引起第二齿轮130绕支撑轴132旋转。弧形槽112绕支撑轴132的周界限定。弧形槽112与轴开口110间隔开一个距离140，使得弧形槽112不包围转子轴104。定位构件122包括从第二齿轮130的外表面向外延伸并定位在弧形槽112内以行进的销142弧形槽112中的第二槽端壁116与第一槽端壁116和第二槽端壁118接触。
在所示的实施例中，电机组件62包括转子组件98、转子轴104、定子组件96、第一齿轮128和第二齿轮130，并且轴承134和销142附接至第二齿轮130。第一齿轮128可以安装在转子轴104上，并且可以与转子102一起旋转。第一齿轮128和第二齿轮130能够以小于1：1的齿轮比配对，使得第一齿轮128可以旋转大角度(大于360度)，而第二齿轮130仅旋转角度的一小部分。组装后，连接至第二齿轮130的销142可以在定子基座106上的弧形槽112中自由滑动。槽所覆盖的总角度确定了电机的行程范围极限，其关系如下：
公式(2)：
Figure BDA0002623364670000161
参照图14-18B，在另一个实施例中，定位组件120包括多个环组件144，其被配置为操作以限制转子组件98的旋转。例如，定位组件120可以包括第一环组件146，其为连接至转子轴104和第二环部件148，第二环部件148位于定子组件96和第一环部件146之间。第一环部件146连接至转子轴104，使得转子轴104的旋转使转子环104旋转。第一环形部件146绕旋转轴66。第一环形部件146包括定位突起150，该定位突起150从第一环形部件146的外表面向外延伸并朝向定子组件96。
第二环部件148连接在第一环部件146和定子组件96之间。第二环部件148包括定位构件122。定位构件122包括从凸缘的径向外表面154向外延伸的定位凸缘152。第二环形部件148。第二定位凸缘152在弧形槽112内定向31，以沿着行进路径114在弧形槽112内行进，以接触第一槽端壁116和第二槽端壁118。绕定子组件96的外表面108的周界限定112，使得弧形槽112绕转子轴104的周界延伸。定位突起150的尺寸、形状和位置被设置成与定位凸缘152接触。第一环部件146由转子组件98旋转，以使定位凸缘152沿弧形槽112的行进路径114移动。
在一个实施例中，第一环部件146包括支撑部件156，该支撑部件从第一环部件146的外表面朝着定子组件96向外延伸。第二环部件148包括与支撑部件156接触的径向内表面158，第一环部件146从第一环部件146支撑第二环部件148，使得第一环部件146可相对于第二环部件148旋转。参照图16B，定位突起150相对于支撑构件156定向，使得在定位突起150和支撑构件156之间限定间隙160。间隙160的尺寸和形状被设置成可容纳第二环部件148，从而径向第二环部件148的外表面154位于定位突起150和支撑构件156之间，以使得当第一环部件146绕旋转轴66旋转时，定位突起150能够接触定位凸缘152。
在其他实施例中，定位组件120可以包括两个或更多环形部件，例如，第一环部件146和第二环部件148，它们具有实现大于360度的全旋转极限角的特征。参照图14。在其他实施例中，电机组件62是无刷万向电机。电机组件62可包括转子组件98、转子轴104、定子组件96、第一环部件146和第二环部件148。每个环部件通常具有限制特征。在组装之后，第一环部件146可以安装至转子轴104，并且可以与转子组件98一起旋转。第二环部件148通常与第一环部件146同心，并且可以相对于第一环部件自由地旋转。当这两个环形组件146、148的限制部件相互碰撞时，如果转子组件98继续沿相同方向旋转，则转子组件98通常会将这两个环形组件146、148与转子组件一起放置如图98所示，直到第二环形部件148上的限制特征到达定子组件96上的硬端特征为止。如图10和14所示，转子组件98的总旋转范围约为540度(一圈半)。可以通过增加环组件来修改设计，以实现更大的旋转范围。
参照图8-9，在一个实施例中，控制单元64可以安装在位于机体20内的印刷电路板上。例如，控制单元64可以包括用于控制全向深度感测和操作的处理器。避障系统32和/或安装在印刷电路板上的飞行器12。全向深度感测和避障系统32可以包括柔性印刷电路162，该柔性印刷电路162连接在印刷电路板与包括一对立体视觉相机80的立体视觉相机组件60之间。柔性印刷电路162能够以线圈布置。通过使柔性印刷电路162绕中心安装臂76盘绕，平台组件58可以绕旋转轴66旋转，而没有使柔性印刷电路162限制平台组件58的旋转。而且，从旋转深度感测平台到无人飞行器机体的布线可以通过定制的FPC电缆162设计来实现，如图9所示，可替换地，可以使用同轴电缆来实现从旋转深度感测平台58到无人飞行器机体20的布线，所述同轴电缆的两端都具有连接器。在所示的实施例中，螺旋弹簧形状的FPC电缆162允许平台58旋转而不会缠结电缆。电缆的两端可以分别固定到平台58和机体20上。
参照图5，在示出的实施例中，全向深度感测和避障系统32包括用于操作全向深度感测和避障系统32的控制单元64。在一个实施例中，控制单元64可以与机器人的处理系统22通信，以方便操作飞机12。在另一个实施例中，飞机12的处理系统22包括控制单元64和/或被编程为在操作全向深度感测和避障系统32时执行控制单元64的功能。控制单元64包括存储器164、视觉处理系统166和应用处理系统168。存储器164和视觉处理系统166连接至一对立体视觉相机80。全向深度感测和避障系统32可用于对被监视区域的图像进行采样以用于实时或近实时图像处理，例如深度分析。全向深度感测和避障系统32可以附加地或替代地生成3D视频、生成被监视区域的地图或执行任何其他合适的功能。
平台组件58通常用于将一对相机80保持在预定配置中。全向深度感测和避障系统32通常包括单个平台组件58，该平台组件58保持一对相机80，但是可替代地可以包括多个平台件或任何其他合适数量的平台。一对相机80可以起到对飞行器12周围的周围环境的信号进行采样的作用。一对相机80被布置成每个相机的各自的视锥与另一个相机的视锥重叠。
在一个实施例中，本公开的每个相机80可以独立地是CCD相机、CMOS相机或任何其他合适类型的相机。相机80可以在可见光谱、IR光谱或任何其他合适的光谱中敏感。相机80可以是高光谱的，多光谱的或捕获频带的任何合适的子集。相机80可以具有固定的焦距，可调节的焦距或任何其他合适的焦距。但是，相机可以具有任何其他合适的参数值集。相机80可以相同或不同。每个相机80通常与相对于参考点的已知位置(例如，在平台上、在相机80上、在主机机器人上等)相关联，但是可以与估计的、计算的或未知的位置相关联。
在一个实施例中，飞行器12和/或全向深度感测和避障系统32还可包括发射器170，其用于照亮由相机80监视的物理区域。例如，立体视觉相机组件60可包括用于一个或多个相机80的一个发射器170，用于一个或多个相机80的多个发射器170，或在任何其他合适的配置中的任何合适数量的发射器170。发射器170可以发射调制光、结构化光(例如，具有已知图案)、准直光、扩散光或具有任何其他合适性质的光。发射的光可以包括可见范围、UV范围、IR范围或任何其他合适范围内的波长。发射器位置(例如，相对于给定相机的位置)通常是已知的，但是可以可替代地估计、计算或以其他方式确定。
在一个实施例中，这对相机80通常静态地安装至平台组件58(例如，平台组件中的通孔)，但是可以可替代地(例如，通过接头)可致动地安装至平台组件58。相机80可以安装至平台的表面、边缘、顶点或任何其他合适的平台特征。相机80可相对于平台特征对准，居中或相对于平台特征布置。相机80可以布置成具有垂直于平台半径或表面切线的有效表面，平行于平台面的有效表面，或者以其他方式布置。相邻的相机活动表面可以彼此平行，彼此成非零角度，位于同一平面上，相对于参考平面成一定角度，或者以其他方式布置。相邻相机80通常具有6.35cm的基线(例如，相机之间或相机之间的轴向距离、各个透镜之间的距离等)，但是可以进一步分开或靠近。
相机80可以连接至相同的视觉处理系统和存储器，或者可以连接至不同的视觉处理系统和/或存储器。相机80通常在同一时钟上采样，但是可以连接至不同的时钟(例如，其中时钟可以被同步或以其他方式相关)。相机80通常由相同的处理系统控制，但是可以由不同的处理系统控制。相机80通常由相同的电源(例如，可再充电电池、太阳能电池板阵列等；主机机器人电源、单独的电源等)供电，但是可以由不同的电源供电或以其他方式供电。
控制单元64的存储器164用于存储相机测量值，例如，图5中示意性示出的。存储器164可以另外起到存储设置的作用。图(例如，校准图、像素图)；相机位置或索引；发射器位置或索引；或任何其他合适的信息集。控制单元64可以包括一个或多个存储器。存储器164通常是非易失性的(例如，闪存、SSD、eMMC等)，但是也可以是易失性的(例如，RAM)。在一种变型中，相机80写入相同的缓冲器，其中每个相机80被分配缓冲器的不同部分。在第二种变型中，相机80写入相同或不同存储器中的不同缓冲器。然而，相机80可以写入任何其他合适的存储器。存储器164通常可由系统的所有处理系统(例如，视觉处理器、应用处理器)访问，但是可替代地可以由处理系统的子集(例如，单个视觉处理器等)访问。
控制单元64的视觉处理系统166可以起到确定物理点到飞行器12的距离的作用。视觉处理系统166包括一个或多个视觉处理处理器。视觉处理处理器可以是CPU、GPU、微处理器或任何其他合适的处理系统。视觉处理系统166通常从像素的子集确定每个像素的像素深度，但是可以附加地或替代地确定对象深度或确定物理点或其集合(例如，对象)的任何其他合适的参数。视觉处理系统166通常处理来自相机80的传感器流。
视觉处理系统166能够以预定频率(例如，30FPS)处理每个传感器流，但是能够以可变频率或任何其他合适的频率处理传感器流。可以从应用处理系统168接收预定频率，从存储中检索该预定频率，基于相机得分或分类(例如，正面、侧面、背面等)自动确定，并基于可用的计算资源(例如，可用内核数剩余电池电量等)来确定，或以其他方式确定。在一种变型中，视觉处理系统166以相同的频率处理多个传感器流。在第二种变型中，视觉处理系统166以不同的频率处理多个传感器流，其中，基于分配给每个传感器流(和/或源相机)的分类来确定频率，其中，基于源相机相对于主机机器人的行进矢量的方向来分配分类。
应用处理系统168用于确定传感器流的时分复用参数。应用处理系统168可以附加地或替代地使用传感器流来执行对象检测、分类、跟踪(例如，光流)或任何其他合适的处理。应用处理系统168可以基于传感器流(例如，基于视觉处理器输出)另外地或替代地生成控制指令。例如，可以使用传感器流来执行导航(例如，使用SLAM、RRT等)或视觉测距过程，其中，基于导航输出来控制系统和/或主机机器人。
应用处理系统168可以附加地或可替代地接收控制命令并且基于该命令来操作飞行器12和/或主机机器人。应用处理系统168可以附加地或可替代地接收外部传感器信息，并基于命令选择性地操作车辆12和/或主机机器人。应用处理系统168可以基于传感器测量结果(例如，使用传感器融合)来附加地或替代地确定车辆系统运动学(例如，位置、方向、速度和加速度)。在一个示例中，应用处理系统168可以使用来自加速度计和陀螺仪的测量值来确定车辆12和/或主机机器人的遍历矢量(例如，系统行进方向)。应用处理系统168可以可选地基于车辆系统运动学自动生成控制指令。例如，应用处理系统168可以基于来自相机80的图像来确定车辆的位置(在物理体积中)，其中，(来自方向传感器的)相对位置以及(由图像确定的)实际位置和速度可以输入飞行控制模块。在该示例中，来自面向下的相机子集的图像可以用于确定系统平移(例如，使用光流)，其中系统平移可以进一步馈送到飞行控制模块中。在特定示例中，飞行控制模块可以合成这些信号以维持机器人位置(例如，让无人飞行器悬停)。
应用处理系统168可以包括一个或多个应用处理器。应用处理器可以是CPU、GPU、微处理器或任何其他合适的处理系统。应用处理系统168可以被实现为视觉处理系统166的一部分或与视觉处理系统166分离，或者可以与视觉处理系统166不同。应用处理系统168可以通过一个或多个接口网桥连接至视觉处理系统166。接口网桥可以是高吞吐量和/或带宽连接，并且可以使用MIPI协议(例如2输入到1输出的相机聚合器桥接器-扩展可以连接至视觉处理器的相机的数量)、LVDS协议、DisplayPort协议、HDMI协议或任何其他合适的协议。替代地或附加地，接口网桥可以是低通量和/或带宽连接，并且可以使用SPI协议、UART协议、I2C协议、SDIO协议或任何其他合适的协议。
控制单元64可以可选地包括图像信号处理单元(ISP)172，其功能是在传递到视觉处理系统和/或应用处理系统之前对相机信号(例如，图像)进行预处理。ISP 172可以处理来自所有相机的信号，来自相机子集的信号或来自任何其他合适源的信号。ISP 172可以自动白平衡、校正场阴影、校正镜头失真(例如，变形)、裁剪、选择像素子集、应用拜耳变换、去马赛克、应用降噪、锐化图像或以其他方式处理相机信号。例如，ISP 172可以从相应流的图像中选择与两个相机之间的重叠物理区域相关联的像素(例如，将每个图像裁剪为仅包括与在立体相机对的相机之间共享的重叠区域相关联的像素)。ISP 172可以是具有多核处理器架构的片上系统，可以是ASIC，具有ARM架构，可以是视觉处理系统的一部分，可以是应用程序处理系统的一部分，或者可以是任何其他合适的处理系统。
全向深度感测和避障系统32可以可选地包括传感器174，其用于对指示系统操作的信号进行采样。传感器输出可以用于确定系统运动学，处理图像(例如，用于图像稳定)或以其他方式使用。传感器174可以是视觉处理系统166、应用处理系统168或任何其他合适的处理系统的外围设备。传感器174通常静态地安装至壳体上，但是可以替代地安装至主机机器人或任何其他合适的系统上。传感器174可以包括：方向传感器(例如，IMU、陀螺仪、加速度计、高度计、磁力计)、声学传感器(例如，麦克风、换能器)、光学传感器(例如，相机、环境光传感器)、触摸传感器(例如，力传感器)、电容式触摸传感器、电阻式触摸传感器)、位置传感器(例如，GPS系统、信标系统、三边测量系统)或任何其他合适的传感器集。
全向深度感测和避障系统32可以可选地包括输入(例如，键盘、触摸屏、麦克风等)，输出(例如，扬声器、灯、屏幕、振动机构等)、通信系统(例如，扬声器、Wi-Fi模块、BLE、蜂窝模块等)、电能存储(例如电池)或任何其他合适的组件。
图20示出了算法方法200，该算法方法200可以由全向深度感测和避障系统32的控制单元64的处理器和/或飞行器12的处理系统22的处理器来实施，以控制飞行器的操作。车辆12。图21-25示出了可以与算法200一起使用的附加算法。算法方法200包括多个步骤。每个方法步骤可以独立于其他方法步骤或与其他方法步骤结合地执行。方法200的部分可以由全向深度感测和避障系统32和/或飞行器12的组件中的任何一个或任何组合来执行。
在方法步骤202中，控制单元64的处理器从每个立体视觉相机80接收球面视频图像，并且在每个接收到的球面视频图像中识别对应的图像对象P。在方法步骤204中，处理器将每个球面视频图像校正为二维(2D)矩形图像，该二维图像的X轴定义在0到π之间，Y轴定义在-π/2到π/2之间。
例如，相对于相机位置，形成立体视觉对的两个相机80通常必须使部分视场重叠。为了从捕获的场景获得3D位置(或深度信息)，处理器识别从一个相机80可见的每个表面点位于另一相机80中的位置。相对于校准，可以对相机80进行校准以获得内部参数(焦距、主点、偏斜系数、失真等)和系统中两个相机80之间的外部参数(旋转和平移)。
如图21所示，透视相机模型是用于表征透视相机的固有参数的最常见模型。模型采用针孔投影系统。图像是由来自物体的光线穿过镜头中心到焦平面的相交形成的。如果假定P(xw，yw，zw)是世界坐标中的任意场景点(表面点)，并且m(u，v)是其在像平面上的投影，以像素为单位，则从3D映射2D图像的世界由透视投影方程式给出：
公式(3)：
Figure BDA0002623364670000211
其中fx和fy是x和y方向上的焦距，cx和cy是投影中心的图像坐标，s是轴偏斜。可以使用旋转矩阵R(3x3)和平移矩阵t(3x1)表示坐标变换，并且相机80的本征矩阵定义为：
公式(4)：
Figure BDA0002623364670000212
此外，可以使用变形校正模型对径向变形进行建模：
公式(5)：
Figure BDA0002623364670000213
Figure BDA0002623364670000214
其中(u，v)是测得的坐标，(u^，v^)是校正后的坐标，(ucrd，vcrd)是径向变形的中心，并且函数L(r)仅针对r的正值和L(0)＝1。可以通过泰勒展开来给出对任意函数L(r)的近似。
公式(6)：
L(r)＝1+k1r+k2r2+k3r3+…
其中[R1|t1]和[R2|t2]代表立体视觉相机对80的变换矩阵；
XC1和XC2代表点P的本地相机坐标。处理器还可获取两个相机80之间的相对变换，如下所示：
公式(7)：
Figure BDA0002623364670000224
Figure BDA0002623364670000221
此外，对于任意场景点P(xw，yw，zw)或P(Xw)，可以使用以下内容：
公式(8)：
XC1＝[R1|t1]Xw
XC2＝[R2|t2]Xw
最流行的方法是使用类似棋盘状的平面图案，并知道正方形在板上的位置。为了获得相机80的内部和外部参数，处理器可以在旋转和移动棋盘的同时拍摄棋盘的多个图像，提取棋盘的拐角位置，然后执行优化步骤(例如，使用最小平方最小化方法)来确定内在矩阵K和外在参数[R|t]。
相对于整流，单个2D点和两个相机中心在3D空间中定义了一个平面，该平面将两个图像交叉成两条线，称为对极线。在立体视觉中，在进行立体匹配之前执行图像校正步骤。通过使用来自校准步骤的先验内在和外在参数，图像对将重新映射为新的图像对，其中左右图像的对极线是水平的并且彼此对齐。这具有促进图像对应搜索的优点，因为可以跨位于同一行的右(左)图像中的那些像素搜索左(右)图像中的一个像素的对应关系。如图22所示，相对于立体匹配，利用校正的图像对，可以执行立体匹配方法以进行对应搜索。这些方法可以分为两类：局部立体匹配(块匹配、基于梯度的优化、特征匹配等)和全局立体匹配(动态编程、内在曲线方法、图割、非线性扩散、置信传播、无对应方法)等。与局部方法相比，全局方法更复杂并且需要更多的处理能力，但是全局方法需要较少的表面纹理并可以提供更准确的结果，尤其是在对象边界处。如果找到足够好的和唯一的匹配，则可以将左图像像素与对应的右图像像素相关联。关联关系以像素x位置之间的偏移量存储在视差图中。相对于重新投影和深度计算，两个图像之间的像素视差图可以允许计算每个像素及其3D全局坐标中对应场景点的深度信息。如图1所示。在图23中，经过校正的左右相机的投影中心在Ol和Or处，中心之间的距离称为基线B，焦距为f。校正的投影图像平面彼此平行，并且也平行于基线。3D空间点P被投影到两个图像上(x1，yl)和(xr，yr)。立体图像中的点P的视差为d＝|x1-xr|。运用三角学原理，可以得出3D空间中点的深度为：Z＝fB/d。x和y坐标也可以通过以下方式获得：
公式(9)
Figure BDA0002623364670000222
和公式(10)：
Figure BDA0002623364670000223
此外，计算可以如图23所示。
在本公开中，相机模型可以是球面模型，使得定义用于整流的极线的方式与上述的方式不同。参照图24，每个鱼眼镜头模块可以被描绘为球面模型。Z轴对准每个鱼眼镜头模块的光轴，并且X轴对准相机80的立体视觉对的基线。立体视觉对之间的基线是b。对于每个鱼眼模块，都有两个极点e1和e2。点划线的大圆圈代表对极线，其平面与X-Z平面成
Figure BDA0002623364670000233
角。如果空间中的任意点P位于该对极平面中，则点P与球面模型的中心(相机80的单个视点)之间的线与ρL和ρR两侧的对极线相交。相对于X轴的极角为θL和θR。并且我们将场景点P和相机的单个视点之间的距离定义为ρL和ρR。通过简单的三角函数，可以确定ρL和ρR的长度为：
公式(11)：
Figure BDA0002623364670000231
Figure BDA0002623364670000232
其中d是归一化视差，d＝θL-θR，假设球面图像已用球面图像的焦距归一化(即大圆的半径＝1)。
为了使该方法适应广泛使用的立体视觉深度感测算法，如上所述，执行了校正步骤。参照图25，可以将球面图像重新映射为规则的矩形图像。如果鱼眼镜头模块的对角线视野为180度，则经过校正的矩形图像的X轴从0到π，Y轴从-π/2到π/2(φ＝π/2)。核点被拉伸成线。由于等距鱼眼镜头模块以均匀的角度捕获周围的视觉信息，因此整流后的图像在中心列附近保持较高的空间分辨率，而外围列(在极点附近)具有降低的空间分辨率，因此在立体匹配和深度感测方面的性能较低。
在所示的实施例中，处理器从从第一立体视觉相机82接收的球面视频图像生成第一校正的2D矩形图像176，并且从从第二立体视觉相机84接收的球面视频图像生成第二校正的2D矩形图像178。
在方法步骤206中，处理器在与对应的图像对象相关联的每个校正的2D矩形图像内识别视点。例如，如图25所示，处理器在与第一立体视觉相机82相关联的第一校正的2D矩形图像176中识别视点ρL，并且在与第二立体视觉相机84相关联的第二校正的2D矩形图像178中识别ρR。
在方法步骤208中，处理器确定沿着每个校正的2D矩形图像的对应的X轴的每个视点ρL和ρR的极角值θL和θR。
在方法步骤210中，处理器然后基于所确定的极角值θL和θR来确定相应的图像对象P与飞行器12的距离。例如，在一个实施例中，处理器使用公式(11)确定相应的图像对象P的距离。
在方法步骤212中，处理器在飞行操作期间基于所确定的相应的图像对象P与飞行器12的距离来操作升力机构30。
在方法步骤214中，处理器在飞行操作期间确定飞行器12的当前导向方向180(在图26A-26B中示出)。例如，在一个实施例中，控制单元64可以从传感器接收信号并且基于所接收的信号确定当前的导向方向180。在另一个实施例中，处理系统22确定飞行器12的当前导向方向180，并且将数据发送到控制单元64。
在方法步骤216中，控制单元64的处理器操作电机组件62以旋转平台组件58，以保持平台组件58的纵向轴线74的方向垂直于当前导向方向180(如图26B所示)。
通过应用球面立体视觉深度感测算法，由于指向子极附近的分辨率和精度较低，因此除了朝向立体视觉对模块的端部的一小部分角度之外，可以获得沿飞行器12的顶部半球方向的深度信息。深度感测模块具有朝向顶部方向的最佳分辨率和深度感测精度，但对于沿着法向平面到达立体视觉对模块基线的任何方向矢量，也具有足够的性能。当飞行器12沿特定方向(通常是水平方向)移动时，一对立体视觉相机组件60可以旋转，以使得立体视觉对相机80的基线垂直于移动方向，如图6A-6B所示。
在其他实施例中，全向深度感测和避障系统32可以与具有在物理空间内移动的主机机器人一起使用。主机机器人可以附加地或可替代地接收远程控制指令并根据远程控制指令进行操作。主机机器人可以另外生成远程内容或执行任何其他合适的功能。主机机器人可以包括一个或多个：通信模块、动力机构、传感器、内容生成机构、处理系统、重置机构或任何其他合适的组件集。主机机器人可以是无人飞行器、车辆、机器人、安全相机，也可以是任何其他合适的远程控制系统。动力机构可以包括动力传动系统、转子、喷头、胎面、旋转接头或任何其他合适的动力机构。应用处理系统168通常是主机机器人处理系统，但是可以可替代地连接至主机机器人处理系统或以其他方式相关。在特定示例中，主机机器人包括具有Wi-Fi模块的飞行器(例如，无人飞行器)、相机和应用处理系统。该系统可以安装在主机机器人的顶部(例如，根据典型的操作期间的重力矢量确定)，主机机器人的底部，主机机器人的前部，在主机机器人内部居中或以其他方式安装至主机机器人。全向深度感测和避障系统32可以与主机机器人一体地形成，可移除地连接至主机机器人或以其他方式附接到主机机器人。一个或多个全向深度感测和避障系统32可与一个或多个主机机器人一起使用。
除非另有说明，否则本文中图示和描述的本发明的实施例中的执行顺序或操作的执行不是必需的。即，除非另有说明，否则本文描述的操作能够以任何顺序执行，并且本发明的实施例可以包括比本文公开的操作更多或更少的操作。例如，可以预期在另一操作之前，同时或之后执行或执行特定操作在本发明的方面的范围内。
如本文所述的控制器、计算设备、服务器或计算机，包括至少一个或多个处理器或处理单元以及系统存储器(参见上文)。控制器通常还包括至少某种形式的计算机可读介质。作为示例而非限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质可以包括以能够存储信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质，例如计算机可读指令、数据结构、程序模块或其他数据。通信介质通常在诸如载波或其他传输介质的已调制数据信号中体现计算机可读指令、数据结构、程序模块或其他数据，并且包括任何信息传递介质。本领域技术人员应该熟悉调制数据信号，该调制数据信号具有一种或多种特征，以将信息编码在信号中的方式来设置或改变。上述的任何组合也包括在计算机可读介质的范围内。
在一些实施例中，如本文所述，处理器包括任何可编程系统，包括系统和微控制器、精简指令集电路(RISC)、专用集成电路(ASIC)、可编程逻辑电路(PLC)以及任何其他具有电路或处理器能力的系统。执行本文所述功能的过程。以上示例仅是示例性的，并且因此无意以任何方式限制术语“处理器”的定义和/或含义。
尽管为了简洁而省略，但是优选实施例包括各种系统组件和各种方法过程的每种组合和排列，其中，能够以任何合适的顺序，顺序地或同时地执行方法过程。
如本领域技术人员将从前面的详细描述以及从附图和权利要求书中认识到的，可以对本发明的优选实施例进行修改和改变，而不背离所附权利要求书中限定的本发明的范围。

Claims (20)

1.一种无人飞行器，包括：
机体；
与所述机体连接的升力机构；以及
与所述机体连接的深度感测和避障系统，所述深度感测和避障系统包括：
平台组件，所述平台组件包括沿纵向轴线在第一端和相对的第二端之间延伸的支撑构件；
与所述平台组件连接的一对立体视觉相机，每一立体视觉相机位于所述支撑构件的相对端；以及
电机组件，所述电机组件与所述机体和平台组件连接，以使所述平台组件相对于所述机体绕垂直于所述平台组件的纵向轴线的旋转轴旋转。
2.根据权利要求1所述的无人飞行器，其中所述电机组件包括：
定子组件；
可旋转地与所述定子组件连接的转子组件，所述转子组件包括与所述平台组件连接的转子以及与所述转子和定子组件连接的转子轴，以使所述转子和平台组件绕所述旋转轴旋转；以及
与所述转子组件和定子组件连接的旋转限制组件，用于限制所述转子组件绕所述旋转轴的旋转角度。
3.根据权利要求2所述的无人飞行器，其中所述旋转限制组件包括：
沿着所述定子组件的外表面限定并在第一槽端壁和第二槽端壁之间延伸的弧形槽；以及
定位组件，包括配置为在所述弧形槽内行进的定位构件，所述定位构件在所述转子组件沿第一旋转方向旋转时向第一槽端壁行进，并与所述第一槽端壁接触以防止所述转子组件在所述第一旋转方向上的额外旋转，并在所述转子组件沿第二旋转方向旋转时在所述弧形槽内向第二槽端壁行进，并与所述第二槽端壁接触以防止所述转子组件在所述第二旋转方向上的额外旋转。
4.根据权利要求3所述的无人飞行器，其中所述定位组件包括：
第一齿轮，所述第一齿轮与所述转子轴连接，以此使得所述转子轴的旋转使第一齿轮绕所述旋转轴旋转；
从所述定子组件的外表面向外延伸的支撑轴；
与所述支撑轴可旋转地连接的轴承；以及
与所述轴承组件连接以相对于所述支撑轴旋转的第二齿轮，所述第二齿轮与所述第一齿轮连接，以此使得所述第一齿轮的旋转使第二齿轮绕所述支撑轴旋转；
其中，所述弧形槽绕所述支撑轴的周界限定，所述定位构件包括从所述第二齿轮的外表面向外延伸的销，所述销定位在所述弧形槽内以在所述弧形槽内行进以与所述第一槽端壁和所述第二槽端壁接触。
5.根据权利要求3所述的无人飞行器，其中所述定位组件包括：
第一环部件，所述第一环部件与所述转子轴连接以此使得所述转子轴的旋转使所述第一环部件绕所述旋转轴旋转，所述第一环部件包括从所述第一环部件的外表面朝向所述定子组件向外延伸的定位突起；
在所述第一环部件和定子组件之间连接的第二环部件，所述第二环部件包括定位构件，所述定位构件包括从所述第二环部件的径向外表面向外延伸的定位凸缘，所述定位凸缘在所述弧形槽内定向以在所述定子组件的弧形槽内行进以与所述第一槽端壁和第二槽端壁接触；
其中，所述弧形槽绕所述定子组件的外表面的周界限定，所述定位突起配置为在所述第一环部件被所述转子组件旋转以沿所述弧形槽移动所述定位凸缘时与所述定位凸缘相接触。
6.根据权利要求5所述的无人飞行器，其中，所述第一环部件包括从所述第一环部件的外表面朝向所述定子组件向外延伸的支撑构件，所述第二环部件包括与所述支撑部件接触以从所述第一环部件支撑所述第二环部件的径向内表面，使得所述第一环部件可相对于所述第二环部件旋转。
7.根据权利要求1所述的无人飞行器，其中，所述一对立体视觉相机包括超广角镜头相机，所述超广角镜头相机具有平行于所述旋转轴并且向所述机体外定向的观察方向。
8.根据权利要求1所述的无人飞行器，其中，所述深度感测和避障系统包括安装在所述平台组件的第一侧上的第一对立体视觉相机和安装在所述平台组件的相对的第二侧上的第二对立体视觉相机。
9.根据权利要求1所述的无人飞行器，其中，所述深度感测和避障系统包括可操作地连接至所述电机组件的处理器，所述处理器被编程为在飞行操作期间确定所述飞行器的当前导向方向，并且操作所述电机组件以旋转所述平台组件，以保持所述平台组件的纵向轴线垂直于当前导向方向。
10.根据权利要求9所述的无人飞行器，其中所述深度感测和避障系统包括：
处理器，所述处理器安装在位于所述机体内的印刷电路板上；以及
柔性印刷电路，所述柔性印刷电路连接在所述印刷电路板和一对立体视觉相机之间，并卷绕在所述平台组件的中央安装臂上。
11.根据权利要求9所述的无人飞行器，其中，所述处理器可操作地与所述升力机构连接，并且被编程为：
从所述一对立体视觉相机中的每个接收球面视频图像；
在接收到的每个球面视频图像中识别相应的图像对象；
将每个球面视频图像校正为具有在0到π之间定义的X轴和在-π/2到π/2之间定义的Y轴的二维(2D)矩形图像；
识别与相应的图像对象相关联的每个校正的2D矩形图像内的视点；
确定每个视点沿着每个校正的2D矩形图像相应的X轴的极角值；
基于所确定的极角值确定相应的图像对象与所述飞行器的距离；以及
基于所确定的相应的图像对象与所述飞行器的距离来操作所述升力机构。
12.一种用于无人飞行器的深度感测和避障系统，所述无人飞行器包括机体和与所述机体连接的升力机构，所述深度感测和避障系统包括：
平台组件，所述平台组件包括沿纵向轴线在第一端和相对的第二端之间延伸的支撑构件；
与所述平台组件连接的一对立体视觉相机，每一立体视觉相机位于支撑构件的相对端；以及
电机组件，所述电机组件与所述机体和平台组件连接，使所述平台组件绕垂直于所述平台组件的纵向轴线的旋转轴相对于所述机体旋转。
13.根据权利要求12所述的深度感测和避障系统，其中所述电机组件包括：
定子组件；
与所述定子组件可旋转地连接的转子组件，所述转子组件包括与所述平台组件连接的转子以及与所述转子和定子组件连接的转子轴，使所述转子和平台组件绕旋转轴旋转；以及
与所述转子组件和定子组件连接的旋转限制组件，用于限制所述转子组件绕所述旋转轴的旋转角度。
14.根据权利要求13所述的深度感测和避障系统，其中所述旋转限制组件包括：
沿着所述定子组件的外表面限定并在第一槽端壁和第二槽端壁之间延伸的弧形槽；以及
定位组件，所述定位组件包括被配置为在所述弧形槽内行进的定位构件，所述定位构件在所述转子组件沿第一旋转方向旋转时向第一槽端壁行进并与第一槽端壁接触，以防止转子组件沿第一旋转方向额外旋转，并在转子组件沿第二旋转方向旋转时在弧形槽内向第二槽端壁行进并与所述第二槽端壁接触，以防止所述转子组件沿所述第二旋转方向的额外旋转。
15.根据权利要求14所述的深度感测和避障系统，其中所述定位组件包括：
第一齿轮，所述第一齿轮与所述转子轴连接，以此使得所述转子轴的旋转使第一齿轮绕所述旋转轴旋转；
从所述定子组件的外表面向外延伸的支撑轴；
与所述支撑轴可旋转地连接的轴承；以及
与所述轴承组件连接以相对于所述支撑轴旋转的第二齿轮，所述第二齿轮与所述第一齿轮连接，以此使得所述第一齿轮的旋转使第二齿轮绕所述支撑轴旋转；
其中，所述弧形槽绕所述支撑轴的周界限定，所述定位构件包括从所述第二齿轮的外表面向外延伸的销，所述销定位在所述弧形槽内，在所述弧形槽内行进以与所述第一槽端壁和所述第二槽端壁接触。
16.根据权利要求14所述的深度感测和避障系统，其中所述定位组件包括：
第一环部件，所述第一环部件与所述转子轴连接，以此使得所述转子轴的旋转使所述第一环部件绕所述旋转轴旋转，所述第一环部件包括从所述第一环部件的外表面朝向所述定子组件向外延伸的定位突起；
在所述第一环部件和定子组件之间连接的第二环部件，所述第二环部件包括定位构件，所述定位构件包括从所述第二环部件的径向外表面向外延伸的定位凸缘，所述定位凸缘在所述弧形槽内定向，并在所述定子组件的弧形槽内行进以与所述第一槽端壁和所述第二槽端壁接触；
其中，所述弧形槽绕所述定子组件的外表面的周界限定，所述定位突起被配置为，在所述第一环部件被所述转子组件旋转以使所述定位凸缘沿所述弧形槽移动时，与所述定位凸缘相接触。
17.根据权利要求16所述的深度感测和避障系统，其中，所述第一环部件包括从所述第一环部件的外表面朝向所述定子组件向外延伸的支撑构件，所述第二环部件包括与所述支撑件接触的径向内表面，所述径向内表面与所述支撑部件接触以从所述第一环部件支撑所述第二环部件，以此使得所述第一环部件可相对于所述第二环部件旋转。
18.根据权利要求12所述的深度感测和避障系统，其中所述深度感测和避障系统包括：
处理器，所述处理器可操作地连接至所述电机组件，并安装在位于所述机体内的印刷电路板上；以及
柔性印刷电路，所述柔性印刷电路连接在所述印刷电路板和一对立体视觉相机之间，并卷绕在所述平台组件的中央安装臂上；
其中，所述处理器被编程为，在飞行操作期间确定所述飞行器的当前导向方向，并且操作所述电机组件以旋转所述平台组件，以保持所述平台组件的纵向轴线垂直于当前导向方向。
19.根据权利要求18所述的深度感测和避障系统，其中，所述处理器与所述升力机构可操作地连接，并被编程为：
从所述一对立体视觉相机中的每个接收球面视频图像；
在接收到的每个球面视频图像中识别相应的图像对象；
将每个球面视频图像校正为具有在0到π之间定义的X轴和在-π/2到π/2之间定义的Y轴的二维(2D)矩形图像；
识别与对应的图像对象相关联的每个校正的2D矩形图像内的视点；
确定每个视点沿着每个校正的2D矩形图像的相应的X轴的极角值；
基于所确定的极角值确定相应的图像对象与所述飞行器的距离；以及
基于所确定的相应的图像对象与所述飞行器的距离来操作所述升力机构。
20.一种操作飞行器的方法，所述飞行器包括机体、与所述机体连接的升力机构以及深度感测和避障系统，所述深度感测和避障系统包括平台组件、一对立体视觉相机、电机组件以及处理器，其中，所述平台组件包括沿着纵向轴线在第一端和相对的第二端之间延伸的支撑构件，所述一对立体视觉相机与所述平台组件连接，每一立体视觉相机位于所述支撑构件的相对端，所述电机组件与所述机体和平台组件连接，用于使所述平台组件绕垂直于平台组件的纵向轴线的旋转轴相对于所述机体旋转，所述方法包括处理器执行的以下步骤：
从所述一对立体视觉相机中的每个接收球面视频图像；
在接收到的每个球面视频图像中识别对应的图像对象；
将每个球面视频图像校正为具有在0到π之间定义的X轴和在-π/2到π/2之间定义的Y轴的二维(2D)矩形图像；
识别与对应的图像对象相关联的每个校正的2D矩形图像内的视点；
确定每个视点沿着每个校正后的2D矩形图像的相应的X轴的极角值；
基于所确定的极角值确定相应的图像对象与所述飞行器的距离；
基于所确定的相应的图像对象与所述飞行器的距离，在飞行操作期间操作所述升力机构；
在飞行操作期间确定飞行器的当前导向方向；操作所述电机组件以旋转所述平台组件，以保持所述平台组件的纵向轴线垂直于当前导向方向。
CN201980012475.3A 2018-02-07 2019-02-01 包含全向深度感测和避障空中系统的无人飞行器及其操作方法 Pending CN111867932A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862627276P 2018-02-07 2018-02-07
US62/627,276 2018-02-07
PCT/IB2019/050831 WO2019155335A1 (en) 2018-02-07 2019-02-01 Unmanned aerial vehicle including an omnidirectional depth sensing and obstacle avoidance aerial system and method of operating same

Publications (1)

Publication Number Publication Date
CN111867932A true CN111867932A (zh) 2020-10-30

Family

ID=67475605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980012475.3A Pending CN111867932A (zh) 2018-02-07 2019-02-01 包含全向深度感测和避障空中系统的无人飞行器及其操作方法

Country Status (3)

Country Link
US (1) US10901437B2 (zh)
CN (1) CN111867932A (zh)
WO (1) WO2019155335A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114020006A (zh) * 2021-09-26 2022-02-08 佛山中科云图智能科技有限公司 无人机辅助降落方法、装置、存储介质以及电子设备

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180186472A1 (en) * 2016-12-30 2018-07-05 Airmada Technology Inc. Method and apparatus for an unmanned aerial vehicle with a 360-degree camera system
CN110914149A (zh) * 2017-06-27 2020-03-24 博纳维德(控股)有限公司 旋翼式无人飞行器
WO2021100681A1 (ja) * 2019-11-20 2021-05-27 パナソニックＩｐマネジメント株式会社 三次元モデル生成方法及び三次元モデル生成装置
US11592843B2 (en) 2020-04-08 2023-02-28 Lockheed Martin Corporation Autonomous aircraft local planning to avoid obstructions
CN111457897B (zh) * 2020-04-23 2024-02-23 中国科学院上海技术物理研究所 一种摆扫式多视角航空倾斜摄影相机及成像方法
WO2022031182A1 (ru) * 2020-08-03 2022-02-10 Федеральное государственное бюджетное образовательное учреждение высшего образования Балтийский государственный технический университет "ВОЕНМЕХ" им. Д.Ф. Устинова (БГТУ "ВОЕНМЕХ") Комплекс обеспечения безопасности полета и посадки летательного аппарата
CN113272223A (zh) * 2020-09-29 2021-08-17 深圳市大疆创新科技有限公司 无人飞行器、可移动平台的支架及可移动平台
CN112906479B (zh) * 2021-01-22 2024-01-26 成都纵横自动化技术股份有限公司 一种无人机辅助降落方法及其系统
CN112829929B (zh) * 2021-01-27 2022-12-27 贵州电网有限责任公司 一种用于高压线路上的无线充电巡线无人机
CN113335528B (zh) * 2021-06-24 2023-05-19 江西维普产业技术研究服务有限公司 一种基于5g通信的测绘无人机
WO2023149963A1 (en) 2022-02-01 2023-08-10 Landscan Llc Systems and methods for multispectral landscape mapping

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141034A (en) * 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
CN102986372A (zh) * 2012-09-28 2013-03-27 浙江工业大学 基于全景立体视觉的采摘对象的识别、分类和空间定位装置及方法
CN202972388U (zh) * 2012-11-16 2013-06-05 天津市亚安科技股份有限公司 带有过载保护的水平云台
CN105678787A (zh) * 2016-02-03 2016-06-15 西南交通大学 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法
CN206398287U (zh) * 2016-12-27 2017-08-11 浙江华飞智能科技有限公司 一种转动限位装置、云台及航拍无人机
CN107065926A (zh) * 2017-04-12 2017-08-18 普宙飞行器科技（深圳）有限公司 全向避障装置、云台、云台的控制方法及避障控制方法
CN206496173U (zh) * 2016-12-30 2017-09-15 深圳一电航空技术有限公司 防过转结构和云台
CN107588299A (zh) * 2017-10-30 2018-01-16 四川道勤信业科技有限公司 一种可拆卸云台

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106275470B (zh) * 2015-06-29 2019-01-01 优利科技有限公司 飞行器及其避障方法和系统
US9738399B2 (en) 2015-07-29 2017-08-22 Hon Hai Precision Industry Co., Ltd. Unmanned aerial vehicle control method and unmanned aerial vehicle using same
CN105035303A (zh) * 2015-08-19 2015-11-11 无锡觅睿恪科技有限公司 折叠型航拍飞行器
US20170277187A1 (en) * 2016-02-29 2017-09-28 Optecks, Llc Aerial Three-Dimensional Scanner
US9703288B1 (en) * 2016-04-22 2017-07-11 Zero Zero Robotics Inc. System and method for aerial system control
CN205910594U (zh) 2016-07-07 2017-01-25 南方电网科学研究院有限责任公司 一种无人机避障装置
US11397088B2 (en) * 2016-09-09 2022-07-26 Nanyang Technological University Simultaneous localization and mapping methods and apparatus
CN106285470A (zh) 2016-10-27 2017-01-04 广州市淞滨工程技术有限公司 一种矿山开采用凿孔机
US20180184073A1 (en) * 2016-12-23 2018-06-28 Red Hen Systems Llc Systems and Methods For Recording Stereo Pairs From Independent Camera Platforms
US20180295335A1 (en) * 2017-04-10 2018-10-11 Red Hen Systems Llc Stereographic Imaging System Employing A Wide Field, Low Resolution Camera And A Narrow Field, High Resolution Camera
US10084966B2 (en) * 2016-12-21 2018-09-25 Red Hen Systems Llc Methods and apparatus for synchronizing multiple lens shutters using GPS pulse per second signaling
US20180184063A1 (en) * 2016-12-23 2018-06-28 Red Hen Systems Llc Systems and Methods For Assembling Time Lapse Movies From Consecutive Scene Sweeps
WO2018195999A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Calibration of laser and vision sensors
DK3610358T3 (da) * 2017-12-13 2021-09-20 Sz Dji Technology Co Ltd Dybdeinformationsbaseret positurbestemmelse til mobile platforme, og associerede systemer og fremgangsmåder

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141034A (en) * 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
CN102986372A (zh) * 2012-09-28 2013-03-27 浙江工业大学 基于全景立体视觉的采摘对象的识别、分类和空间定位装置及方法
CN202972388U (zh) * 2012-11-16 2013-06-05 天津市亚安科技股份有限公司 带有过载保护的水平云台
CN105678787A (zh) * 2016-02-03 2016-06-15 西南交通大学 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法
CN206398287U (zh) * 2016-12-27 2017-08-11 浙江华飞智能科技有限公司 一种转动限位装置、云台及航拍无人机
CN206496173U (zh) * 2016-12-30 2017-09-15 深圳一电航空技术有限公司 防过转结构和云台
CN107065926A (zh) * 2017-04-12 2017-08-18 普宙飞行器科技（深圳）有限公司 全向避障装置、云台、云台的控制方法及避障控制方法
CN107588299A (zh) * 2017-10-30 2018-01-16 四川道勤信业科技有限公司 一种可拆卸云台

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114020006A (zh) * 2021-09-26 2022-02-08 佛山中科云图智能科技有限公司 无人机辅助降落方法、装置、存储介质以及电子设备

Also Published As

Publication number Publication date
US20190243388A1 (en) 2019-08-08
US10901437B2 (en) 2021-01-26
WO2019155335A1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
US10901437B2 (en) Unmanned aerial vehicle including an omnidirectional depth sensing and obstacle avoidance aerial system and method of operating same
US10266263B2 (en) System and method for omni-directional obstacle avoidance in aerial systems
US11649052B2 (en) System and method for providing autonomous photography and videography
US11423792B2 (en) System and method for obstacle avoidance in aerial systems
JP7265017B2 (ja) 無人飛行システム及び無人飛行システムに用いられる制御システム
US10447912B2 (en) Systems, methods, and devices for setting camera parameters
EP3420428B1 (en) Systems and methods for visual target tracking
US20200074683A1 (en) Camera calibration
CN111596649B (zh) 用于空中系统的单手远程控制设备
CN105045279A (zh) 一种利用无人飞行器航拍自动生成全景照片的系统及方法
US11267568B2 (en) Aerial system including foldable frame architecture
US10974825B2 (en) Aerial system including foldable frame architecture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination