CN110891862A - 飞行系统中用于避障的系统和方法 - Google Patents

飞行系统中用于避障的系统和方法 Download PDF

Info

Publication number
CN110891862A
CN110891862A CN201880047387.2A CN201880047387A CN110891862A CN 110891862 A CN110891862 A CN 110891862A CN 201880047387 A CN201880047387 A CN 201880047387A CN 110891862 A CN110891862 A CN 110891862A
Authority
CN
China
Prior art keywords
camera
flight
motor
flying
binocular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880047387.2A
Other languages
English (en)
Other versions
CN110891862B (zh
Inventor
张磊
苏宪
王兆喆
孙伟
张通
王孟秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zero Infinite Technology Co ltd
Original Assignee
Hangzhou Zero Zero Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zero Zero Technology Co Ltd filed Critical Hangzhou Zero Zero Technology Co Ltd
Publication of CN110891862A publication Critical patent/CN110891862A/zh
Application granted granted Critical
Publication of CN110891862B publication Critical patent/CN110891862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0078—Surveillance aids for monitoring traffic from the aircraft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/60—UAVs characterised by the material
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/10—Propulsion
    • B64U50/19—Propulsion using electrically powered motors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T50/00—Aeronautics or air transport
    • Y02T50/50—On board measures aiming to increase energy efficiency

Abstract

飞行系统(12)包括本体(20)、联接到所述本体(20)的升力机构(40)、处理系统(22)和至少一个摄像机(52A、52B)。所述飞行系统(12)还包括第一马达(90)和第二马达(92)，所述第一马达被配置为使所述至少一个摄像机(52A、52B)围绕第一轴线旋转，所述第二马达被配置为使所述至少一个摄像机(52A、52B)围绕第二轴线旋转。所述处理系统(22)被配置为确定所述飞行系统(12)的行进方向，并且使所述第一马达(90)和所述第二马达(92)自动地将所述至少一个摄像机(52A、52B)围绕所述第一轴线和所述第二轴线定向，使得所述至少一个摄像机(52A、52B)自动地面向所述飞行系统(12)的行进方向。

Description

飞行系统中用于避障的系统和方法
相关申请的交叉引用
本申请要求2017年8月10日提交的序列号为62/543,671的美国临时专利申请的优先权和权益，该美国临时专利申请的全部公开内容通过引用被并入本文中。
技术领域
本申请总体上涉及飞行系统领域，并且更具体地涉及一种用于在飞行系统中提供深度感测和障碍物回避的系统和方法。
背景技术
深度感测和障碍物回避是朝向建立完全自主飞行机器人的关键步骤。目前存在的无人机已经证明了使用声纳、接近传感器、激光扫描测距仪、基于飞行时间的传感器、基于结构光的传感器或立体摄像机对，以朝向一个特定方向(向前/向下)进行深度感测，或使用面向不同方向的多个深度传感器(例如立体摄像机对)，以便在更多方向上尝试障碍物回避。然而，这种方法的根本缺陷在于，与汽车或船舶不同，旋翼式无人机(例如四轴飞行器等)能够在所有方向上行驶。立体视觉对只能覆盖有限范围的传动角。使用蛮力来堆叠多个立体视觉对是非常低效的，并且由于缺乏用于深度感测的全覆盖(360度)水平视场角而仍然无法实现障碍物回避。现有的另一种尝试是使用广角镜头或折反射镜头来捕获全向视频信息，然后使用如运动结构(SFM)或视觉惯性测距(VIO)的技术来实现单个摄像机深度感测。这种方法依靠非常精确的SFM/VIO来获得可用的绝对深度信息。这种方法也容易受到无人机几乎不断发生的系统的振动和角度运动的影响。
另外，期望实现无人飞行运载器的全向障碍物回避。当前的技术是使用固定的双目摄像机，以便无人飞行运载器能够在与双目摄像机相同的方向上感测障碍物。例如，DJIMavic Air具有前置双目、后置双目和下置双目，因此它能够在向前或向后飞行时回避障碍物，但在向左或向右飞行时则不能实现障碍物回避。Skydio R1能够实现全向障碍物回避，但它具有四对双目摄像机。
发明内容
附图说明
图1是根据本发明实施例的飞行系统和用于控制该飞行系统的系统的示意图。
图2是根据本发明实施例的示例性飞行系统的图。
图3是根据本发明实施例的示例性光学系统的图。
图4是根据本发明实施例的飞行系统的第二示意图。
图5是根据本发明实施例的飞行系统和用于控制该飞行系统的系统的第三示意图。
图6是根据本发明实施例的包括障碍物检测与回避系统的飞行系统的示意图。
图7是根据本发明实施例的图6障碍物检测与回避系统的传感器壳体的框图。
图8是包括图6障碍物检测与回避系统的飞行系统的侧视图。
图9是图8的飞行系统的俯视图。
图10是根据本发明实施例的可旋转双目摄像机系统的立体图。
图11是图10的可旋转双目摄像机系统的分解图。
图12是图10的可旋转双目摄像机系统在第一级弹起可操作位置上的局部立体图。
图13是图10的可旋转双目摄像机系统在第二级弹起可操作位置上的局部立体图。
图14是图10的可旋转双目摄像机系统的内部模块的分解图。
图15是图14的内部模块的双目臂模块的分解图。
图16是图10的可旋转双目摄像机系统的一部分处于下压模式中的截面图。
图17是图10的可旋转双目摄像机系统的推推插座槽的一部分的立体图。
图18是图10的可旋转双目摄像机系统的推推插座槽中的弯曲线钩的轨迹的立体图。
图19是图10的可旋转双目摄像机系统的云台马达的分解图。
图20是图19的云台马达的马达本体的立体分解图。
图21是图14的内部模块的柔性印制电缆(FPC)的涡旋区段的立体图。
图22是图14的内部模块的FPC的S形部分的正视图。
图23是图14的内部模块的FPC的D形部分的正视图。
图24是图10的可旋转双目摄像机系统的根据本发明实施例的自动双目升降结构的分解图。
图25是图24的自动双目升降结构的俯视图。
图26是图24的自动双目升降结构的一部分的立体图。
具体实施方式
对本发明的实施例的下列描述不意在将本发明限制为这些实施例，而是用于使得本领域技术人员能够实现并使用本发明。参考附图和在操作中，提供了用于控制飞行系统12(例如，无人机或其他无人飞行运载器)的系统10。该系统10可包括具有控制客户端16的远程装置14。控制客户端16提供用户接口，该用户接口允许用户18将指令发送到飞行系统12以控制飞行系统12的操作。如在下面更深入地讨论的那样，飞行系统12包括用于获得照片和/或视频的一个或多个摄像机，该照片和/或视频可以被发送到远程装置14并且/或者存储在飞行系统12上的存储器中。
在本发明的一个方面中，飞行系统12可以包括障碍物检测与回避系统50。障碍物检测与回避系统50可以包括用于提供障碍物检测和回避的一对摄像机52A、52B(参见下文)。障碍物检测与回避系统50可以检测飞行系统12的行进方向，并且可以自动调整摄像机52A、52B的方位以与飞行系统12的行进方向一致。因此，摄像机52A、52B可以自动面向飞行系统12移动的方向，以提高飞行系统12在行进路径中的障碍物检测和回避的效率和精度。
系统10和飞行系统12的概述
示例性飞行系统12和控制系统10在图1至图5中示出。飞行系统12的控制客户端16用于接收来自飞行系统12的数据并控制在远程装置14上的视觉显示，所述数据包括视频图像和/或视频。控制客户端16还可以接收操作指令并基于操作指令促进飞行系统12的远程控制。控制客户端16优选地被配置为在远程装置14上运行，但能够替代地被配置为在飞行系统12上运行或在任何其他合适的系统上运行。如上面讨论的，并且在下面更全面地讨论的，飞行系统12可以在没有与远程装置14直接或物理交互的情况下被独自控制。
控制客户端16能够是本地应用(例如，移动应用)、浏览器应用、操作系统应用或是任何其他合适的构造。
执行控制客户端16的远程装置14用于显示数据(例如，依照控制客户端16指示而显示数据)、接收用户输入、基于用户输入来计算操作指令(例如，依照控制客户端16指示而基于用户输入来计算操作指令)、将操作指令发送到飞行系统12、存储控制客户端的信息(例如，相关联的飞行系统标识符、安全密钥、用户账户信息、用户账户偏好等)或执行任何其他合适的功能。远程装置14能够是用户装置(例如，智能手机、平板电脑、膝上型计算机等)、联网的服务器系统或是任何其他合适的远程计算系统。远程装置14能够包括一个或多个：输出、输入、通信系统、传感器、电源、处理系统(例如，CPU、存储器等)或任何其他合适的部件。输出能够包括：显示器(例如，LED显示器、OLED显示器、LCD等)、音频扬声器、灯(例如，LED)、触觉输出(例如，触觉像素系统、振动马达等)或任何其他合适的输出。输入能够包括：触摸屏(例如，电容式触摸屏、电阻式触摸屏等)、鼠标、键盘、运动传感器、麦克风、生物输入、摄像机或任何其他合适的输入。通信系统能够包括无线连接，诸如支持以下各项的无线电：长程系统(例如，Wi-Fi、蜂窝、WLAN、WiMAX、微波、IR、射频等)、短程系统(例如，BLE、BLE长程、NFC、ZigBee、RF、音频、光学等)或任何其他合适的通信系统。传感器能够包括：方位传感器(例如，加速度计、陀螺仪等)、环境光传感器、温度传感器、压力传感器、光学传感器、声学传感器或任何其他合适的传感器。在一个变型中，远程装置14能够包括显示器(例如，包括覆在显示器上的触摸屏的触敏显示器)、一组无线电(例如，Wi-Fi、蜂窝、BLE等)和一组方位传感器。但是，远程装置14能够包括任何合适的部件集合。
飞行系统12用于在物理空间内飞行、捕获视频、接近实时地将视频流式传输到远程装置14，并基于从远程装置14接收的操作指令进行操作。
飞行系统12能够附加地在将视频流式传输到远程装置14之前处理视频(例如，视频帧)和/或处理从机载音频传感器接收到的音频；生成它自己的操作指令并基于该指令自动操作(例如，以自动地跟随物体)；或执行任何其他合适的功能。飞行系统12能够附加地用于在物理空间内移动光学传感器的视场。例如，飞行系统12能够控制宏观移动(例如，大FOV改变，米级调整)、微观移动(例如，小FOV改变，毫米或厘米级调整)或任何其他合适的移动。
飞行系统12能够基于对来自机载传感器的传感器数据的机载处理来执行某种功能。
这种功能可以包括但不限于：
－起飞和降落；
－所有者识别；
－面部识别；
－语音识别；
－面部表情与手势识别；以及
－基于所有者、面部、表情与手势识别和语音识别来控制飞行系统，例如控制飞行系统的动作。
如在图2至图5中所示，飞行系统12(例如，无人机)能够包括本体20、处理系统22、通信系统24、光学系统26和将光学系统26安装到本体20的致动机构28。飞行系统12能够附加地或替代地包括一个或多个光学传感器36、电源38、升力机构40、附加传感器44、或任何其他合适的部件(见下面)。
飞行系统12的本体20用于支撑、机械地保护和/或保持飞行系统的部件。本体20能够限定管腔、能够是平台或能够具有任何合适的配置。本体20能够是封闭的、开放的(例如，桁架)或具有任何合适的构造。本体20能够由金属、塑料(例如，聚合物)、碳复合材料或任何其他合适的材料制成。本体20能够限定纵向轴线、横向轴线、贯穿轴线、前端、后端(例如，沿着纵向轴线与前端相反)、顶部、底部(例如，沿着贯穿轴线与顶部相反)或任何其他合适的参照部。在一个变型中，在飞行的同时，本体20的贯穿轴线能够基本上平行于重力向量(例如，垂直于地面)，并且本体的纵向轴线和横向轴线能够基本上垂直于重力向量(例如，平行于地面)。但是，本体20能够以其他方式被配置。
本体20优选地基本上封装通信系统24、电源38和处理系统22，但是能够以其他方式配置。本体20能够包括平台、壳体或具有任何其他合适的配置。在一个变型中，本体20包括容纳通信系统24、电源38和处理系统22的主要部分、以及平行于旋翼旋转平面延伸并沿着主要部分20的第一侧和第二侧布置的第一框架和第二框架(例如，笼架)。这些框架能够用作在旋转的旋翼和保持机构(例如，诸如用户的手的保持机构)之间的中间部件。该框架能够沿着本体20的单侧(例如，沿着旋翼的底部、沿着旋翼的顶部)延伸，沿着本体20的第一侧和第二侧(例如，沿着旋翼的顶部和底部)延伸，封装旋翼(例如，沿着旋翼的全部侧延伸)或以其他方式配置。这些框架能够被静态地安装到本体20，或可致动地安装到本体20。
框架能够包括将所述旋翼中的一个或多个旋翼流体地连接到周围环境的一个或多个孔(例如，气流孔)，所述气流孔能够用于使周围环境和旋翼之间的空气和/或其他合适的流体能够流动(例如，从而使得旋翼能够产生使飞行系统1在整个周围环境中移动的空气动力)。所述孔能够是细长的，或能够具有相当的长度和宽度。所述孔能够是基本上相同的或能够彼此不同。所述孔优选地足够小，以防止保持机构的部件(例如，手的手指)穿过所述孔。框架的在旋翼附近的几何透明度(例如，开口面积与总面积之比)优选地足够大，以使得飞行系统能够飞行，更优选地使得能够进行高性能的机动飞行。例如，每个孔能够小于阈值尺寸(例如，所有尺寸均小于该阈值尺寸，窄于该阈值尺寸但显著长于该阈值尺寸的细长槽等)。在一个具体的示例中，框架具有80–90％的几何透明度，并且每个孔(例如，圆形、诸如正六边形之类的多边形等)限定具有12–16毫米直径的外接圆。但是，本体能够以其他方式配置。
本体20(和/或任何其他合适的飞行系统的部件)能够限定能够由保持机构(例如，人手、飞行系统站台、卡爪等)保持的保持区域。保持区域优选地围绕一个或多个旋翼的一部分，更优选地完全围绕所有旋翼，由此防止旋翼与保持机构或接近飞行系统12的其他物体之间的任何无意的交互。例如，保持区域在飞行系统平面(例如，横向平面、旋翼平面等)上的投影能够与所述旋翼中的一个或多个旋翼的扫掠区(例如，一个旋翼的扫掠区、一组旋翼的总扫掠区域等)在同一飞行系统平面上的投影(例如，部分地、完全地、大部分、至少90％等)重叠。
飞行系统12的处理系统22用于控制飞行系统的操作。处理系统22能够：在飞行期间稳定飞行系统12(例如，选择性地操作旋翼以使飞行系统飞行中摆动最小化)；接收、解译遥控指令并基于遥控指令操作飞行系统12；并从通信系统24接收操作指令，将操作指令解译成机器指令，并基于机器指令(单独地或作为一组)来控制飞行系统部件。处理系统22能够附加地或替代地处理由摄像机记录的图像，将图像(例如，实时地或接近实时地)流式传输到远程装置14或执行任何其他合适的功能。处理系统22能够包括一个或多个：处理器30(例如，CPU、GPU、微处理器等)、存储器(例如，闪存、RAM等)或任何其他合适的处理部件。在一个变型中，处理系统22能够附加地包括在传输到远程装置14之前自动处理图像(例如，对图像复原、对图像滤波、对图像裁剪等)的专用硬件。处理系统22优选地被连接到飞行系统12的有源部件并被安装到本体20，但是能够替代地以其他方式与飞行系统部件相关。
处理系统22优选地被配置为接收并解译由传感器36、44采样的测量结果，更优选地通过对由不同的传感器采样的测量结果进行组合(例如，组合摄像机和加速度计数据)。飞行系统12能够包括一个或多个处理系统，其中不同的处理器能够执行相同的功能(例如，用作多核系统)或能够被专门化。处理系统22优选地由电源38供电，但是能够以其他方式供电。处理系统22优选地连接到传感器36、44、通信系统24和升力机构40并控制传感器36、44、通信系统24和升力机构40，但是处理系统22能够附加地或替代地连接到任何其他合适的部件并与任何其他合适的部件交互。
飞行系统的通信系统24用于发送和/或接收来自远程装置14的信息。通信系统24优选地被连接到处理系统22，使得通信系统24发送和/或接收来自处理系统22的数据，但是能够替代地被连接到任何其他合适的部件。飞行系统12能够包括一个或多个类型的一个或多个通信系统24。通信系统24能够包括无线连接，诸如无线电支持：长程系统(例如，Wi-Fi、蜂窝、WLAN、WiMAX、微波、IR、射频等)、短程系统(例如，BLE、BLE长程、NFC、ZigBee、RF、音频、光学等)或任何其他合适的通信系统24。通信系统24优选地与远程装置14共享至少一个系统协议(例如，BLE、RF等)，但是能够替代地经由中间通信系统(例如，协议转换系统)与远程装置14通信。但是，通信系统24能够以其他方式被配置。
飞行系统12的光学系统26用于记录接近飞行系统12的物理空间的图像。光学系统26优选地经由致动机构28被安装到本体20，但是能够替代地被静态地安装到本体20、可移除地安装到本体20或以其他方式安装到本体20。光学系统26被优选地安装到本体20的前端，但是可选地能够被安装到本体20的底部(例如，接近前部)、顶部、后端或任何其他合适的部分。光学系统26优选地被连接到处理系统30，但是能够替代地被连接到通信系统24或连接到任何其他合适的系统。光学系统26能够附加地包括在由摄像机记录的图像传输到处理器或其他端点之前自动地处理由摄像机记录的图像的专用图像处理硬件。飞行系统12能够包括安装到相同或不同位置的、相同或不同类型的一个或多个光学系统26。在一个变型中，飞行系统12包括安装到本体20的前端的第一光学系统26和安装到本体20的底部的第二光学系统26。第一光学系统26能够围绕枢轴支撑而致动，而第二光学系统26能够相对于本体20基本上静态地保持，其中相应的有效表面基本上平行于本体底部。第一光学传感器26能够包括高分辨率的光学传感器36，而第二光学传感器26能够包括低分辨率的光学传感器36。但是，一个或多个光学系统26能够以其他方式被配置。
光学系统26能够包括一个或多个光学传感器36(见图5)。该一个或多个光学传感器36能够包括：单镜头摄像机(例如，CCD摄像机、CMOS摄像机等)、立体摄像机、超光谱摄像机、多光谱摄像机或任何其他合适的图像传感器。但是，光学系统26能够是任何其他合适的光学系统26。光学系统26能够限定接收光的一个或多个有效表面，但是能够替代地包括任何其他合适的部件。例如，摄像机的有效表面能够是摄像机传感器(例如，CCD传感器、CMOS传感器等)的有效表面，优选地包括传感器像素的规则阵列。摄像机传感器或其他有效表面优选地基本上是平面和矩形的(例如，具有第一传感器边缘、与第一传感器边缘相对的第二传感器边缘、和各自垂直于第一传感器边缘和第二传感器边缘并从第一传感器边缘延伸到第二传感器边缘的第三传感器边缘和第四传感器边缘)，但能够可替代地具有任何合适的形状和/或形貌。光学传感器36能够产生图像帧。图像帧优选地与有效表面的形状(例如，矩形，具有彼此相对的第一帧边缘和第二帧边缘等)对应，更优选地限定像素位置的规则阵列，每个像素位置与有效表面的传感器像素和/或由光学传感器36采样的图像的像素对应，但是能够替代地具有任何合适的形状。图像帧优选地限定由光学传感器36采样的图像的各个方面(例如，图像尺寸、分辨率、像素大小和/或形状等)。光学传感器36能够可选地包括变焦镜头、数字变焦、鱼眼镜头、滤波器、或者任何其他合适的主动或被动光学调节。光学调节的应用能够由控制器主动地控制，由用户18手动地控制(例如，其中用户手动设置该调节)，由远程装置14控制或以其他方式控制。在一个变型中，光学系统26能够包括封闭光学系统部件的其余部分的壳体，其中该壳体被安装到本体20。但是，光学系统26能够以其他方式被配置。
飞行系统12的致动机构28用于将光学系统26可行动地安装到本体20。致动机构28能够附加地用于抑制光学传感器振动(例如，机械地稳定所得到的图像)、适应飞行系统的滚动、或执行任何其他合适的功能。致动机构28能够是主动的(例如，由处理系统控制)、被动的(例如，由一组配重、弹簧元件、磁性元件等控制)或被以其他方式控制。致动机构28能够使光学系统26相对于本体围绕一个或多个轴线旋转，使光学系统26相对于本体沿着一个或多个轴线平移或被以其他方式致动光学系统26。一个或多个光学传感器36能够沿着第一端、沿着光学传感器后部(例如，与有效表面相对的)、通过光学传感器本体被安装到支撑件，或沿着光学传感器36的任何其他合适的部分被安装到支撑件。
在一个变型中，致动机构28能够包括连接到单枢转支撑件(例如，云台)的马达(未示出)，其中该马达基于从控制器接收的指令使该支撑件围绕旋转(或云台)轴线34枢转。该支撑件优选地被布置成该旋转轴线基本上平行于本体20的横向轴线，但是能够替代地被布置成使得该旋转轴线处于相对于本体20的任何其他合适的方位。支撑件优选地被布置在由本体20限定的凹腔内，其中该凹腔还包围光学传感器36，但是能够替代地沿着本体外部被布置或布置在本体20的任何其他合适的部分处。光学传感器36优选地被安装到支撑件，其中有效表面基本上平行于旋转轴线(例如，使得本体20的横向轴线或平行于该横向轴线的轴线基本上平行于旋转轴线)，但是能够替代地布置成有效表面布置在相对于旋转轴线的任何合适的角度处。
马达优选地是电动马达，但是能够替代地是任何其他合适的马达。能够使用的电动马达的示例包括：DC马达(例如，有刷马达)、EC马达(例如，无刷马达)、感应马达、同步马达、磁马达、或任何其他合适的电动马达。马达优选地被安装到本体20(例如，本体内部)，电连接到处理系统22并由处理系统22控制，并电连接到电源或系统38并由电源或系统38供电。但是，马达能够以其他方式连接。致动机构28优选地包括单个马达支撑组，但是能够替代地包括多个马达支撑组，其中辅助马达支撑组能够被布置为与第一马达支撑组正交(或与第一马达支撑组成任何其他合适的角度)。
在第二变型中，致动机构28能够包括连接到光学传感器36的、偏离光学传感器重心的一组枢转支撑件和配重，其中致动机构28被动地稳定光学传感器36。
飞行系统12的电源38用于对飞行系统12的有源部件供电。电源38优选地被安装到本体20，并(例如，直接地或间接地)电连接到飞行系统12的全部有源部件，但是能够以其他方式布置。电源38能够是一次电池、二次电池(例如，可充电电池)、燃料电池、能量采集器(例如，太阳、风等)或是任何其他合适的电源。能够使用的二次电池的示例包括：锂化学(例如，锂离子、锂离子聚合物等)、镍化学(例如，NiCad、NiMH等)或具有任何其他合适化学过程的电池。
飞行系统12的升力机构40用于使飞行系统能够飞行。该升力机构40优选地包括由一个或多个马达(未示出)驱动的一组螺旋桨叶片42，但是能够替代地包括任何其他合适的推进机构。升力机构40优选地被安装到本体20并由处理系统22控制，但是能够替代地以其他方式安装到飞行系统12和/或被以其他方式控制。飞行系统12能够包括多个升力机构40。在一个示例中，飞行系统12包括四个升力机构40(例如，两对升力机构40)，其中升力机构40围绕飞行系统12的周边基本上均匀地分布(例如，其中每对的升力机构40跨越本体20彼此相对)。但是，升力机构40能够以其他方式配置。
飞行系统的附加传感器44用于记录指示飞行系统操作、飞行系统12周围的周围环境(例如，飞行系统12近侧的物理空间)或任何其他合适的参数的信号。传感器44优选地被安装到本体20并由处理系统22控制，但是能够替代地被安装到任何其他合适的部件和/或以其他方式被控制。飞行系统12能够包括一个或多个传感器36、44。能够使用的传感器的示例包括：方位传感器(例如，惯性测量传感器、加速度计、陀螺仪、高度计、磁力计等)、环境光传感器、温度传感器、压力传感器、光学传感器、声学传感器(例如，换能器、麦克风)、电压传感器、电流传感器(例如，霍尔效应传感器)、空气流量计、触摸传感器(例如电阻式触摸传感器、电容式触摸传感器等)、接近传感器、力传感器(例如，应变计，称重传感器)、振动传感器、化学传感器、声呐传感器、位置传感器(例如，GPS、GNSS、三角测量位置传感器等)或任何其他合适的传感器。
在一个变型中，飞行系统12包括：沿着飞行系统本体的第一端(例如，静态地或可旋转地)安装的第一摄像机，所述第一摄像机的视场与本体的横向平面相交；沿着飞行系统本体的底部安装的第二摄像机，所述第二摄像机的视场基本上平行于横向平面；和一组方位传感器，诸如高度计和加速度计。但是，该系统能够包括任何合适的数量和布置的任何传感器种类。
飞行系统12能够附加地包括输入(例如，麦克风、摄像机等)、输出(例如，显示器、扬声器、发光元件等)或任何其他合适的部件。
飞行系统12能够可选地与远程计算系统或与任何其他合适的系统一起使用。飞行系统12用于飞行，并且能够附加地用于拍摄照片、输送负载和/或中继无线通信。飞行系统12优选地是旋翼飞机(例如，四轴飞行器、直升机、滚翼机等)，但是能够替代地是固定翼飞机、浮空器或是任何其他合适的飞行系统12。
远程计算系统用于接收辅助用户输入，并且能够附加地用于自动生成用于一个或多个飞行系统12的控制指令并将该控制指令发送到该一个或多个飞行系统。每个飞行系统12能够由一个或多个远程计算系统控制。远程计算系统优选地通过客户端(例如，本地应用、浏览器应用等)控制飞行系统12，但是能够以其他方式控制飞行系统12。远程计算系统能够是用户装置、远程服务器系统、连接的器具或是任何其他合适的系统。用户装置的示例包括平板电脑、智能手机、移动电话、膝上型计算机、手表、可穿戴装置(例如，眼镜)或任何其他合适的用户装置。用户装置能够包括电力存储装置(例如，电池)、处理系统(例如，CPU、GPU、存储器等)、用户输出(例如，显示器、扬声器、振动机构等)、用户输入(例如，键盘、触摸屏、麦克风等)、定位系统(例如，GPS系统)、传感器(例如，光学传感器(诸如光传感器和摄像机)、方位传感器(诸如加速度计、陀螺仪和高度计)、音频传感器(诸如麦克风)等)、数据通信系统(例如，Wi-Fi模块、BLE、蜂窝模块等)或任何其他合适的部件。
系统10可以被配置用于无控制器的用户-无人机交互。通常，飞行系统或无人机12需要单独的装置，例如，远程装置14。远程装置14可以在不同类型的装置中实施，所述不同类型的装置包括但不限于地面站、遥控器或移动电话等。在一些实施例中，飞行系统12的控制可以由用户通过用户表达来完成而不使用远程装置14。用户表达可以包括，但不限于，由用户执行的、不包括与远程装置14的物理交互的任何动作，包括思想(通过脑波测量)、面部表情(包括眼睛运动)、手势和/或语音。在这样的实施例中，用户指令直接经由光学传感器36、以及其他传感器44中的至少一些传感器接收，并由机载处理系统22处理以控制飞行系统12。
在至少一个实施例中，飞行系统12可以在没有与远程装置14物理交互的情况下被控制，但是，远程装置14的显示器可以用于显示从飞行系统12转发的图像和/或视频，这些图像和/或视频可以帮助用户18控制飞行系统12。此外，例如当飞行系统12与用户18相距太远时，与远程装置14相关联的传感器36、44(例如，一个或多个摄像机和/或麦克风(未示出))可以将数据转发到飞行系统12。从远程装置14转发到飞行系统12的传感器数据以与来自机载传感器36、44的传感器数据用于使用用户表达来控制飞行系统12的方式相同的方式被使用。
以这种方式，飞行系统12可以(1)在不使用远程装置14的情况下或(2)在没有与远程装置14物理交互的情况下从开始到结束被完全地控制。飞行系统12的控制基于在各机载传感器36、44处接收的用户指令。应该注意，在下面的讨论中，使用机载传感器36、44还可以包括使用远程装置14上的对应或类似传感器。
通常，用户18可以使用某些手势和/或语音控制来控制起飞、降落、飞行系统12在飞行期间的动作和其他特征，诸如照片和/或视频捕获的触发。如上面讨论的那样，飞行系统12可以在不使用远程装置14的情况下或在没有由远程装置14处理的情况下提供以下特征：
－起飞和降落；
－所有者识别；
－面部识别；
－语音识别；
－面部表情和手势识别；及
－基于所有者、面部、表情和手势识别以及语音识别来控制飞行系统，例如控制飞行系统的动作。
如在上面详细描述的，飞行系统12包括光学系统26，该光学系统26包括一个或多个光学传感器36，诸如摄像机。至少一个机载摄像机被配置为用于实时视频流和计算机视觉分析。可选地，飞行系统12能够具有用于多像素深度感测的至少一个深度传感器(或立体视觉对)。可选地，飞行系统12能够具有用于声音识别和控制的至少一个机载麦克风。
通常，为了提供飞行系统12的完全控制，提供了从飞行期间的开始到结束的多个用户/无人机交互或活动。用户/无人机交互包括但不限于起飞和降落、所有者识别、手势识别、面部表情识别和声音控制。
障碍物检测与回避系统
参考图6，在本发明的另一方面，飞行系统12可以包括障碍物检测与回避系统50。在一个实施例中，障碍物检测与回避系统50包括一对广角透镜摄像机52A、52B。
所述一对摄像机52A、52B一般被安装到或静态地固定到本体20的壳体。存储器54和视觉处理器56被连接到所述一对摄像机52A、52B。系统用来采样被监视区域的图像，以用于进行实时或接近实时的图像处理，诸如深度分析。系统能够附加地或替代地生成3D视频、生成被监视区域的地图或者执行任何其他合适的功能。
壳体用来以预定的配置来保持所述一对摄像机52A、52B。系统优选地包括保持所述一对摄像机52A、52B的单个壳体，但是系统能够替代地包括多个壳体件或任何其他合适数量的壳体件。
所述一对摄像机52A、52B可以用来采样围绕系统12的周围环境的信号。所述一对摄像机52A、52B被布置使得每个摄像机的相应视锥与另一个摄像机的视锥重叠(参见下文)。
每个摄像机52A、52B能够是CCD摄像机、CMOS摄像机或任何其他合适类型的摄像机。摄像机能够在可见光光谱、IR光谱或任何其他合适的光谱中是灵敏的。摄像机能够是超光谱的、多光谱的或捕获任何合适的频带子集。摄像机能够具有固定的焦距、可调节焦距或任何其他合适的焦距。然而，摄像机能够具有任何其他合适的参数值集合。多个摄像机能够是相同的或不同的。
每个摄像机优选地与相对于参考点(例如，在壳体上)的已知位置相关联，但是能够与估计的、计算的或未知的位置相关联。在一个实施例中，每个摄像机52A、52B可以实施仿生特征，例如独立的运动和定向(即，彼此独立地运动和定向的能力)。例如，应用处理系统60可以向每个摄像机52A、52B发送控制信号以使每个摄像机彼此独立地定向和/或运动，以聚焦在不同的对象上，或者实现可配置的深度感测和障碍物回避。所述一对摄像机52A、52B优选地被静态地安装到壳体(例如，壳体中的通孔)，但是能够替代地(例如，通过接头)被可致动地安装到壳体。摄像机能够被安装到壳体的表面、边缘、顶点或安装到任何其他合适的壳体特征。摄像机能够与壳体特征对准、沿着壳体特征居中或相对于壳体特征以其他方式布置。摄像机能够被布置成使得有效表面垂直于壳体半径或表面切线、使得有效表面平行于壳体的表面、或以其他方式布置。相邻的摄像机有效表面能够彼此平行、彼此成非零角度、位于同一平面上、相对于参考平面成角度、或以其他方式布置。相邻的摄像机优选地具有6.35cm的基线(例如，摄像机间的距离或轴向距离、各个镜头之间的距离等)，但是能够更分开或更靠近在一起。
摄像机52A、52B可以被连接到同一视觉处理系统和存储器，但是能够被连接到不同的视觉处理系统和/或存储器。优选地，以同一时钟对摄像机采样，但是摄像机能够被连接到不同的时钟(例如，其中时钟能够被同步或以其他方式相关)。摄像机优选地由同一处理系统控制，但是能够由不同的处理系统控制。摄像机优选地由同一电源(例如，可充电电池、太阳能板阵列、主机机器人电源、单独的电源等)供电，但是能够由不同的电源供电或以其他方式供电。
障碍物检测与回避系统50还可以包括发射器58，发射器58用来照亮由摄像机52A、52B监视的物理区域。系统50能够包括用于摄像机52A、52B中的一个或多个摄像机的一个发射器58、用于摄像机52A、52B中的一个或多个摄像机的多个发射器58、发射器58或任何其他合适配置的任何合适数量的发射器58。一个或多个发射器58能够发射调制的光、结构光(例如，具有已知的模式)、准直光、漫射光或具有任何其他合适性质的光。所发射的光能够包括在可见范围、UV范围、IR范围内或在任何其他合适范围内的波长。发射器位置(例如，相对于给定摄像机的位置)优选地是已知的，但是能够替代性地被估计的、被计算的或被以其他方式确定。
在第二变型中，障碍物检测与回避系统50作为非接触主动3D扫描仪操作。该非接触系统是飞行时间传感器，该飞行时间传感器包括摄像机和发射器，其中摄像机记录被监视区域中的障碍物的(对发射器发射的信号的)反射并且基于反射的信号来确定系统50和障碍物之间的距离。摄像机和发射器优选地被安装在彼此相距的预定距离(例如，几毫米)内，但是能够以其他方式被安装。发射的光能够是漫射光、结构光、调制光，或具有任何其他合适的参数。在第二变型中，非接触式系统是三角测量系统，该三角测量系统也包括摄像机和发射器。发射器优选地超出摄像机的阈值距离(例如超出摄像机数毫米)被安装，并且被定向为相对于摄像机有效表面成非平行的角度(例如被安装到壳体的顶点)，但是能够以其他方式被安装。发射的光能够是准直光、调制光，或具有任何其他合适的参数。但是，系统50能够限定任何其他合适的非接触式主动系统。然而，所述一对摄像机能够形成任何其他合适的光学测距系统。
系统50的存储器54用来存储摄像机测量结果。存储器能够附加地用来存储以下各项：设置；地图(例如校准地图、像素地图)；摄像机位置或索引；发射器位置或索引；或任何其他合适的信息集合。系统能够包括一个或多个存储器。存储器优选地是非易失性的(例如闪存、SSD、eMMC等)，但是能够替代地是易失性的(例如RAM)。在一个变型中，摄像机52A、52B写入同一缓冲器，其中每个摄像机被分配有该缓冲器的不同部分。在第二变型中，摄像机52A、52B写入同一存储器或不同存储器中的不同的缓冲器。然而，摄像机52A、52B能够写入任何其他合适的存储器。存储器54优选地是系统的全部处理系统(例如视觉处理器、应用处理器)可访问的，但是能够替代地由处理系统的子集(例如单个视觉处理器等)访问的。
系统50的视觉处理系统56用来确定物理点与系统的距离。视觉处理系统优选地确定来自像素子集的每个像素的像素深度，但是能够附加地或替代地确定对象深度或者确定物理点或其集合(例如对象)的任何其他合适的参数。视觉处理系统56优选地处理来自摄像机52A、52B的传感器数据流。
视觉处理系统56可以以预定的频率(例如30FPS)处理每个传感器数据流，但是能够以可变频率或以任何其他合适的频率处理传感器数据流。预定的频率能够从应用处理系统60接收、从存储装置取出、基于摄像机得分或分类(例如前、侧、后等)自动确定、基于可用的计算资源(例如可用内核、剩余的电池电量等)确定、或以其他方式确定。在一个变型中，视觉处理系统56以同一频率处理多个传感器数据流。在第二变型中，视觉处理系统56以不同频率处理多个传感器数据流，其中，频率基于被分配给每个传感器数据流(和/或源摄像机)的分类来确定，其中，该分类基于源摄像机相对于主机机器人的行进向量的方位来分配。
系统50的应用处理系统60用来确定用于传感器数据流的时分复用参数。应用处理系统60能够附加地或替代地执行对象检测、分类、跟踪(例如光流)或使用传感器数据流的任何其他合适的处理。应用处理系统能够附加地或替代地基于传感器数据流(例如基于视觉处理器输出)来生成控制指令。例如，能够使用传感器数据流来执行(例如使用SLAM、RRT等的)导航或视觉测程，其中基于导航输出来控制系统和/或主机机器人。
应用处理系统60能够附加地或替代地接收控制命令并且基于该命令来操作系统12和/或主机机器人。应用处理系统60能够附加地或替代地接收外部传感器信息，并且基于命令来选择性地操作系统和/或主机机器人。应用处理系统60能够附加地或替代地基于传感器测量结果(例如使用传感器融合)来确定机器人系统运动学特性(例如位置、方向、速度、加速度)。在一个示例中，应用处理系统60能够使用来自加速度计和陀螺仪的测量结果来确定系统和/或主机机器人的通行向量(例如系统的行进方向)。应用处理系统60能够可选地基于机器人系统运动学特性来自动生成控制指令。例如，应用处理系统60能够基于来自摄像机52A、52B的图像来确定系统(在物理空间中)的位置，其中，(来自方位传感器的)相对位置以及(从图像确定的)实际位置和速度能够被馈送到飞行控制模块。在这个示例中，来自面向下方的摄像机子集的图像能够用于(例如使用光流法)确定系统平移，其中系统平移能够被进一步馈送到飞行控制模块中。在一个具体示例中，飞行控制模块能够综合这些信号以维持机器人的位置(例如使无人机悬停)。
应用处理系统60能够包括一个或多个应用处理器。应用处理器能够是CPU、GPU、微处理器或任何其他合适的处理系统。应用处理系统60能够实施为是视觉处理系统56的一部分、或与视觉处理系统56分开、或与视觉处理系统56不同。应用处理系统60可以由一个或多个接口桥连接到视觉处理系统56。接口桥能够是高通量和/或高带宽的连接，并且能够使用MIPI协议(例如，2输入到1输出摄像机聚合桥—扩展能够被连接到视觉处理器的摄像机的数量)、LVDS协议、DisplayPort协议、HDMI协议或任何其他合适的协议。替代地或附加地，接口桥能够是低通量和/或低带宽的连接，并且能够使用SPI协议、UART协议、I2C协议、SDIO协议或任何其他合适的协议。
系统能够可选地包括图像信号处理单元(ISP)62，图像信号处理单元62用来在将摄像机信号传递到视觉处理系统和/或应用处理系统之前预处理摄像机信号(例如图像)。ISP 62能够处理来自所有摄像机的信号、来自摄像机子集的信号或来自任何其他合适的源的信号。ISP 62能够自动白平衡、校正场阴影、纠正镜头畸变(例如去除畸变)、裁剪、选择像素子集、应用Bayer变换、去马赛克、应用降噪、锐化图像或以其他方式处理摄像机信号。例如，ISP 62能够从相应的流的图像中选择与两个摄像机之间的重叠物理区域相关联的像素(例如，裁剪每个图像，以仅包括与立体摄像机对的摄像机之间共享的重叠区域相关联的像素)。ISP 62能够是具有多核处理器架构的片上系统、是ASIC、具有ARM架构、是视觉处理系统的一部分、是应用处理系统的一部分或是任何其他合适的处理系统。
系统能够可选地包括传感器64，传感器64用来对指示系统操作的信号进行采样。传感器输出能够被用于确定系统运动学特性、处理图像(例如用于图像稳定化)或以其他方式使用。传感器64能够是视觉处理系统56、应用处理系统60或任何其他合适的处理系统的外围装置。传感器64优选地被静态地安装到壳体，但是能够替代地被安装到主机机器人或安装到任何其他合适的系统。传感器64能够包括：方位传感器(例如IMU、陀螺仪、加速度计、高度计、磁力计)、声学传感器(例如麦克风、换能器)、光学传感器(例如摄像机、环境光传感器)、触摸传感器(例如力传感器、电容式触摸传感器、电阻式触摸传感器)、位置传感器(例如GPS系统、信标系统、三边测量系统)或任何其他合适的传感器集合。
系统能够可选地包括输入(例如键盘、触摸屏、麦克风等)、输出(例如扬声器、光、屏幕、振动机构等)、通信系统(例如WiFi模块、BLE、蜂窝模块等)、能量存储装置(例如电池)或任何其他合适的部件。
系统优选地与主机机器人一起使用，该主机机器人用来在物理空间内通行。主机机器人能够附加地或替代地接收遥控指令并且根据遥控指令操作。主机机器人能够附加地生成远程内容或执行任何其他合适的功能。主机机器人能够包括一个或多个：通信模块、运动机构、传感器、内容生成机构、处理系统、复位机构或任何其他合适的部件集合。主机机器人能够是无人机、运载器、机器人、安全摄像机或者任何其他合适的远程可控制系统。运动机构能够包括传动系统、旋翼、喷射器、踏板、旋转接头或任何其他合适的运动机构。应用处理系统优选地是主机机器人处理系统，但是能够替代地连接到主机机器人处理系统或以其他方式与主机机器人处理系统相关。在一个具体的示例中，主机机器人包括具有WiFi模块、摄像机和应用处理系统的飞行系统(例如无人机)。该系统能够被安装到主机机器人的顶部(例如，如在典型操作期间基于重力向量确定的那样)、主机机器人的底部、主机机器人的前部、在主机机器人内居中或以其他方式被安装到主机机器人。系统能够与主机机器人整体形成、可移除地联接到主机机器人或以其他方式附接到主机机器人。一个或多个系统能够与一个或多个主机机器人一起使用。
参考图7至图9，示出了包括障碍物检测与回避系统50的具体实施例的飞行系统12。在一个实施例中，障碍物检测与回避系统50被配置为实现飞行系统12中的双目深度感测和障碍物回避。替代地，任何合适的深度感测机构可以如期望地与云台结合使用，以执行本文所描述的障碍物回避功能。虽然参照飞行系统12示出并描述了实施例，但是应当认识到，所述实施例可以例如与任何合适的无人飞行运载器、载人飞机、无人运载器、无人驾驶汽车和机器人设备一起使用。
参考图7，障碍物检测与回避系统50包括联接到传感器壳体80的一对摄像机52A、52B。虽然在图7中示出了两个摄像机52A、52B，但是应当认识到，障碍物检测与回避系统50可以使用任何合适数量的摄像机或将任何合适数量的摄像机包括在内。在一些实施例中，摄像机52A、52B可以由两个或更多个声呐装置、雷达装置、光成像、检测、测距(LIDAR)装置或其他合适的测距和障碍物检测装置来代替。在另一个实施例中，摄像机52A、52B可以由一个或多个基于飞行时间(TOF)的距离成像或深度摄像机来代替。在一个示例中，摄像机52A、52B可以定位在传感器壳体80的相对的端部上并且可以定向成面向相同的方向，以使飞行系统12能够实现双目视觉。摄像机52A的视场82可以在与传感器壳体80相隔距离86处与摄像机52B的视场84重叠，以便产生组合的视场88。因此，障碍物检测与回避系统50可以提供双目视觉或另外的深度感测机制，可用于确定定位在相隔大于距离86处的物体的深度。
在示例性实施例中，摄像机52A、52B是具有各个视场(FOV)的广角镜头摄像机，选择广角镜头摄像机以在近距离处提供足够大的FOV重叠。在一个实施例中，每个摄像机52A、52B的视场至少为60度。替代地，每个摄像机52A、52B的视场至少为80度，或者可以是任何其他合适的值。优选地，两个摄像机52A、52B应当具有相同的像素大小、像素数量和镜头设计。像素对应方法能够用于通过三角测量来获得深度信息。能够应用路径和轨迹规划算法(例如快速扩展随机树-RRT，A*等)来生成飞行系统12的期望路径以回避障碍物。
参考图8，障碍物检测与回避系统50被实施为飞行系统12内的双轴线主动云台系统。然而，应当认识到，障碍物检测与回避系统50可以被实施为三轴线主动云台系统，或者可以如期望地以任何其他合适的配置来实施。
参考图9，示出了包括障碍物检测与回避系统50的飞行系统12的俯视图。如图9中所示，障碍物检测与回避系统50定位于飞行系统12的顶部上(即，在本体20的上侧上)。替代地，障碍物检测与回避系统50可以定位在飞行系统12的底部上(即，在本体20的下侧上)。
又参照图8，障碍检测与回避系统50包括联接到飞行系统12的本体20上的传感器壳体80和致动机构28。如下所讨论，致动机构28包括第一马达90和第二马达92，第一马达和第二马达可使传感器壳体80围绕相应的轴线旋转。本体20包括电源38，该电源38向传感器壳体80和致动机构28内的部件供电。
电源38为飞行系统12及其中的部件提供稳定的电源。例如，在过电压、过电流或电力故障的情况下，电源38包括保护功能。电源38能够安装在本体20(如图8中所示)或传感器壳体80上。
传感器壳体80包括摄像机52A、52B，并且还可以包括例如传感器64(图6中所示)和/或传感器44(图5中所示)的其他传感器。此外，传感器壳体80可以包括摄像机、图像传感器、雷达、声纳或任何其他合适的传感器的任何其他组合。传感器壳体80还可以包括视觉处理系统56和应用处理系统60。替代地，视觉处理系统56和/或应用处理系统60可以定位在本体20内。提供数据电缆94以将命令从应用处理系统60发送到升力机构40(例如，发送到驱动飞行系统12的螺旋桨42的马达)。在一个实施例中，传感器壳体80使用一个或多个螺丝、螺栓、粘合剂等安装在马达90上，例如马达90的转子上。
视觉处理系统56分析摄像机或其他传感器数据，以便检测和便于回避障碍物并执行同步定位和绘制(SLAM)功能。视觉处理系统56可以通过一个或多个有线导体(未示出)、柔性印刷电路板(PCB)的电缆(FPC)等从摄像机52A、52B接收数据。视觉处理系统56还可以通过数据电缆94与应用处理系统60通信以及容纳在本体20内的部件通信。
应用处理系统60包括惯性动量单元(IMU)和姿态处理功能，以确定飞行系统12的行进方向以及传感器壳体80和/或摄像机52A、52B在运载器坐标系统96内的方位。更具体地，应用处理系统60从一个或多个方位传感器(如上所描述)接收信号数据，并且确定飞行系统12沿着多个轴线(如运载器坐标系96的x轴线、y轴线和z轴线)的行进方向。此外，应用处理系统60可以从联接到传感器壳体80或马达90、92的一个或多个传感器接收信号，以确定传感器壳体80和/或摄像机52A、52B沿着运载器坐标系的x轴线、y轴线和z轴线中的一个或多个的方位。应当认识到，由于摄像机固定地联接到传感器壳体80，传感器壳体80的方位实际上与摄像机52A、52B的方位相同。方便起见，下面的描述将涉及传感器壳体80方位的确定和调整，应理解这也适用于摄像机52A、52B方位的确定和调整。应用处理系统60可以通过一个或多个有线导体(未示出)、柔性PCB电缆(FPC)等联接到马达90、92，以控制马达90、92的操作。
在图8中所示的实施例中，可以相对于运载器坐标系96的两个轴线来确定和调整传感器壳体80的方位。例如，可以围绕z轴线(也称为偏航轴线)和围绕y轴线(也称为俯仰轴线)来确定传感器壳体80的方位。替代地，除z轴线和y轴线之外，或者代替z轴线或y轴线，传感器壳体80的方位可以围绕x轴线(也称为翻滚轴线)来确定。在一个实施例中，z轴线对应于本体20的贯穿轴线，y轴线对应于本体20的横向轴线，并且x轴线对应于本体20的纵向轴线。
致动机构28包括提供传感器壳体80的双轴线方位的第一马达90和第二马达92。第一马达90和第二马达92可以包括但不限于DC无刷马达、步进马达或伺服马达。替代地，可以使用任何其他合适的致动器来代替第一马达90或第二马达92。在示例性实施例中，第一马达90被配置为使传感器壳体80围绕y轴线(即俯仰轴线)旋转，并且因此在本文中称之为俯仰马达90。第二马达92被配置为使传感器壳体80围绕z轴线(即偏航轴线)旋转，并且因此在本文中称之为偏航马达92。因此，俯仰马达90可用于提供稳定性并抵消本体20在俯仰方向上的运动，而偏航马达92可用于提供稳定性并抵消本体20在偏航方向上的运动。俯仰马达90和偏航马达92由应用处理系统60控制以实现围绕它们各自轴线的所需的旋转。更具体地，应用处理系统60可以向俯仰马达90和偏航马达92发送命令信号，以使俯仰马达90和偏航马达92将传感器壳体80旋转至期望的角度。
俯仰马达90和偏航马达92可通过联接机构98(例如一个或多个螺丝、螺栓、闩锁、粘合剂等)联接在一起。在一个实施例中，俯仰马达90至少部分定位于传感器壳体80内，而偏航马达92至少部分地定位于本体20内。替代地，俯仰马达90和偏航马达92可以定位在飞行系统12的任何合适的部分中。俯仰马达90和偏航马达92可以使用任何合适的机构(例如一个或多个螺丝、螺栓、粘合剂等)联接到传感器壳体80和/或本体20。尽管在图8中仅示出了两个马达，但是应当认识到，在一些实施例中可以包括第三马达(未示出)以提供传感器壳体80的三轴线方位。例如，在一些实施例中，可以提供翻滚马达以使传感器壳体80围绕x轴线(即翻滚轴线)旋转。俯仰马达90和偏航马达92使得障碍物检测与回避系统50能够在两个自由度下操作，即俯仰和偏航。替代地，马达90、92可以使障碍物检测与回避系统50能够在其他两个自由度(例如俯仰和翻滚或翻滚和偏航)下操作。
在操作期间，应用处理系统60从方位传感器接收数据，并确定传感器壳体80(和摄像机52A、52B)相对于运载器坐标系96的姿态或方位。替代地，应用处理系统60例如可以接收来自一个或多个角度编码器或附接到俯仰马达90和偏航马达92的一个或多个齿轮或轴的其他传感器的信号，并且可以基于该信号来确定传感器壳体80的方位。应用处理系统60还确定飞行系统12相对于运载器坐标系96的行进方向。具体地，应用处理系统60可以将行进方向确定为沿运载器坐标系96的x轴线、y轴线和z轴线的方向。
应用处理系统60可以确定传感器壳体80的方位是否关于至少两个轴线——俯仰轴线和偏转轴线——与行进方向匹配。如果传感器壳体80的方位与飞行系统12的行进方向不一致，则应用处理系统60自动调整传感器壳体80的方位以匹配行进方向。具体地，应用处理系统60可以向俯仰马达90和/或偏航马达92发送一个或多个命令信号，使马达将传感器壳体80旋转到与飞行系统12的行进方向相匹配的方位。
随着传感器壳体80和摄像机52A、52B的方位被自动调整以匹配飞行系统12的行进方向，摄像机52A、52B提供了摄像机52A、52B的FOV内周围环境及飞行系统12行进路径中的任何障碍物的双目或其他合适的深度感测视觉。视觉处理系统56接收来自摄像机52A、52B的图像信号并分析图像来检测飞行系统12的行进路径中的障碍物。视觉处理系统56使用摄像机52A、52B的重叠FOV以感测图像数据中的深度，从而提高视觉处理系统56确定是否有任何障碍物在行进路径中以及障碍物有多远的能力。视觉处理系统56将表示任何检测到的障碍物的数据发送到应用处理系统60，并且应用处理系统60可以调整飞行系统12的行进路径以回避障碍物。例如，应用处理系统60可以将一个或多个命令信号发送到升力机构40(例如，螺旋桨叶片42的马达)，以使升力机构40改变飞行系统12的行进方向来远离检测到的障碍物。
以这种方式，物体检测与回避系统50作为模仿人类检测和回避障碍物的能力的仿生活动云台系统来操作。例如，人类的头部和眼睛通常面向人类正在移动的方向，并且眼睛可围绕偏航轴线和俯仰轴线旋转以检测障碍物。通过模仿人类的障碍物检测和回避能力，飞行系统12能够提供鲁棒和有效的障碍物检测与回避系统，所述障碍物检测与回避系统仅需两个马达将摄像机52A、52B定位在最佳位置中以检测障碍物。此外，相比于其他通常需要全向摄像机或四对或更多对摄像机来以全向的方式检测障碍物的系统相比，障碍物检测与回避系统50仅需要两个广角摄像机52A、52B来实现障碍物检测的鲁棒水平。
在另一个实施例中，当飞行系统12沿特定方向飞行时，摄像机52A、52B可以交替地处理不同方向的图像。例如，每个摄像机52A、52B可以在一部分时间内(例如，50％的时间)聚焦在行进方向上，并且可以在另一部分时间内聚焦到飞行系统12的一侧或多侧(例如，每侧25％的时间)。在一个实施例中，摄像机52A、2B在面对飞行系统12的行进方向时捕获的图像可以具有与摄像机52A、52B在飞行系统侧面捕获的图像的分辨率或速率所不同的分辨率或速率。例如，摄像机52A、52B可以在面向行进方向时以每秒30帧(FPS)来捕获图像，并且可以在面向侧面的情况下以每秒15帧(FPS)来捕获图像。因此，障碍物检测与回避系统50可以将障碍物检测和回避的焦点主要保持在行进方向上，但是也可以对不在行进方向上的对象保持察觉，以使飞行系统12能够根据需要控制或者改变其在行进方向以外方向上的位置。应当认识到，本文描述的实施例仅仅是示例，并且摄像机52A、52B可以根据需要以任何合适的方式配置。
因此，本文所描述的实施例提供了稳定、可靠和低成本的障碍物检测和回避方案。本文描述的障碍物检测与回避系统50可以在俯仰方向和偏航方向上保持飞行系统12和摄像机52A、52B的稳定性。
障碍物检测与回避系统50还可以使摄像机52A、52B或其他传感器沿着行进方向定向，使得摄像机52A、52B的组合视场(FOV)的中心区域(深度传感器精度通常最高的地方)总是面向传感器的注意力应当集中用以最佳回避障碍物的方向。在包含双目的、一对摄像机52A、52B的实施例中，障碍物检测与回避系统节省成本并减轻重量，因为障碍物检测与回避系统仅需要一对摄像机来实现全向的障碍物回避，而其他产品需要四对或更多对摄像机来实现类似功能。由于与其他已知实施方式相比所需零件数量减少，本文描述的实施例还提供了一种更简单的飞行运载器组件。
此外，本文描述的障碍物检测与回避系统可以在应用处理系统期望的任何方向上旋转，并且能够通过高度灵活的操作实现全向障碍物回避。例如，当在垂直起飞模式操作飞行运载器时，飞行系统12可以检测并回避在系统12上方的障碍物，因为用于检测障碍物的摄像机52A、52B被自动调整为向上聚焦。
可旋转的双目摄像机系统
参考图10，在本发明的又一方面，飞行系统12可以包括可旋转的双目摄像机系统100，双目摄像机系统主要用于与无人飞行系统12协作以实现360度全向障碍物回避。无人飞行系统12能够通过使用可旋转的双目摄像机系统100来感知所有方向上的障碍物。在此基础上，无人飞行系统12能够做出相应的障碍物回避策略和轨迹规划。在一个实施例中，可旋转的双目摄像机系统100被设计成旋转至少三百六十(360)度。在另一个实施例中，可旋转的双目摄像机系统100的旋转范围被设计为四百五十(450)度。即，可旋转的双目摄像机系统100能够从无人飞行系统12的正面方向顺时针或逆时针旋转二百二十五(225)度。应当认识到，无人飞行系统12仅使用一对可旋转的双目摄像机52A和52B就实现了全向障碍物回避。
在一个实施例中，可旋转的双目摄像机系统100能够相对于本体20弹起并被向下推动。首先，它便于存储。可旋转的双目摄像机系统100在使用时能够从本体20弹起，并且在不使用时可以向下推入本体20。第二，当使用时，可旋转的双目摄像机系统100的观看位置高于本体20的顶表面，以覆盖更宽的垂直视场，而不是被本体20很大程度地阻挡。
在一个实施例中，高精度的四百五十(450)度旋转的无刷云台马达132用于实现可旋转的双目摄像机系统100的精确旋转。可旋转的双目摄像机系统100能够实现全向深度感测并绘制深度信息以实现轨迹规划和全向障碍物回避。应当认识到，可旋转的双目摄像机系统100允许无人飞行系统12以简单、低成本和紧凑的系统解决方案来实现全向障碍物回避。
可旋转的双目摄像机系统100的一个实施例在图10中示出。可旋转的双目摄像机系统100包括内部模块102、第一弹簧104、中间模块106、第二弹簧108和外部模块110，如图11中所示。在一个实施例中，第一弹簧104和第二弹簧108是线圈类型的。内部模块102和外部模块110每一个都具有中心部分102A和110A以及臂部分102B和110B，中心部分102A和110A分别沿轴向延伸，形状上通常为矩形，但可以是任何合适的形状，臂部分102B和110B分别沿径向从所述中心部分102A和110A向外延伸。臂部102B和110B在形状上通常为矩形，但可以是任何合适的形状。中间模块106在形状上通常为矩形，但可以是任何合适的形状，以分别与内部模块102和外部模块110的中心部分102A和110A协作。可旋转的双目摄像机系统100还包括推推插座槽112、霍尔效应传感器板114、外部块116和中间块118。在一个实施例中，霍尔效应传感器板114在形状上通常为矩形，但可以是任何合适的形状。在一个实施例中，一个或多个外部块116和中间块118设置在外部模块110和中间模块106的相对侧上，并且通常为“T”形，但是可以是任何合适的形状。应当认识到，摄像机52A和52B被安装到内部模块102的臂部分102B。还应当认识到，可旋转的双目摄像机系统100允许两级弹起、推推功能和四百五十(450)度旋转。
两级弹起
外部模块110配备有推推插座槽112和霍尔效应传感器板114。可以提供一个或多个霍尔效应传感器板114，使得霍尔效应传感器板114中的一个被设置在外部模块110的臂部分110B中。外部模块110和中间模块106通过第一弹簧104连接。第一弹簧104设置在外部模块110的中心部分110A的底部和中间模块106的底部之间。中间模块106包括至少一个引导滑块120，而外部模块110包括至少一个引导槽122。在一个实施例中，一对引导滑块120和引导槽122设置在外部模块110的中心部分110A和中间模块106的相对侧上，并且形状上通常为矩形，但可以是任何合适的形状。引导滑块120能够在引导槽122内滑动，并且通过第一弹簧104提供向上的力以实现第一级弹起/向上滑动，如图12中所示。应当认识到，外部块116在外部模块110的相对侧上设置在外部模块110中并且限制了向上滑动运动的端部位置。
中间模块106和内部模块102通过第二弹簧108连接。第二弹簧108设置在中间模块106的底部和内部模块102的中心部分102A的底部之间。内部模块102的底部包括向外延伸的至少一个引导滑块124，并且中间模块106包括沿轴向延伸并凹入其中的至少一个引导坡道126。在一个实施例中，一对引导滑块124和引导坡道126被设置在中间模块106和内部模块102的中心部分102A的相对侧上，并且在形状上大致为矩形，但是可以是任何合适的形状。引导滑块124和引导坡道126彼此协作，以通过第二弹簧108提供向上的力，并利用中间块118实现第二级弹起，该中间块118提供如图13中所示的限制。应当认识到，中间块118在中间模块106的相对侧上设置在中间模块106中。还应当认识到，基于两级弹起方案还能通过减少或增加弹簧104和108以及中间层的数量利用一级机构或多级机构来实现弹起。
推推功能
内部模块102是可旋转的双目摄像机系统100的核心部件。在一个实施例中，内部模块102包括适配器板128、双目臂模块130、云台马达132、FPC电缆及连接器134、内底136和弯曲线钩138，如图14中所示。双目臂模块130形成内部模块102的中心部分102A和臂部分102B的两个部分，并且内底136也形成中心部分102A。双目臂模块130还包括与之联接的左摄像机模块或摄像机52A和右摄像机模块或摄像机52B、线激光器140和至少一个磁体142，如图15中所示。在一个实施例中，左摄像机52A和右摄像机52B设置在双目臂模块130的外端中并且在双目臂模块130的外端附近，且形成双目，实现对障碍物的感知。在一个实施例中，线激光器140设置在双目臂模块130中，并发射肉眼不可见的红外光。在一个实施例中，激光线140的激光表面通常垂直于双目臂模块130的轴线。在一个实施例中，一对磁体142设置在双目臂模块130的底部中并且在形状上是圆的或圆形，但可以是任何合适的形状。应当认识到，线激光器140的功能是，当无人飞行系统12遇到大面积的没有图案的纯色物体/平面(例如空白墙壁)时，可旋转的双目摄像机系统100利用在物体/平面上投影线图案的线激光器140，仍然能够正确地感知深度信息。还应当认识到，当磁体142接近外部模块110上的霍尔效应传感器板114时，将生成触发信号以检测双目臂模块130是否处于存储状态中。应当进一步认识到的是，适配器板128的功能是连接左摄像机模块52A和右摄像机模块52B的FPC，然后移出一个FPC电缆及连接器134，并将其连接到无人飞行系统12。
参考图16，内底136设有槽144，弯曲线钩138可嵌入所述槽中，然后由压板146压紧，并且内底136和云台马达132的定子部分162通过合适的机构、例如螺丝(未示出)来固定。在一个实施例中，弯曲线钩138通常是“U”形的，但是可以是任何合适的形状。弯曲线钩138的一端夹在中间，并由槽144定位，以完成弯曲线钩138的安装和固定。弯曲线钩138的另一端向下延伸以与推拉槽112接合。推推插座槽112通过诸如螺丝(未示出)等合适的机构被固定至外部模块110。
如图16中所示，当内部模块102被下压时，弯曲线钩138逐渐接近推推插座槽112，并且当弯曲线钩138的端部进入推推插座槽112时，将产生如图18中实线和虚线所示的运动轨迹，由此实现一次下压时的自锁和再次下压时的解锁。如图17中所示，在推推插座槽112的轮廓上有三个台阶，以确保弯曲线钩138只能在单个方向上运动，由此实现图18中所示的轨迹。应当认识到，除了用于容纳双目臂模块130的推推结构之外，还可以实施其他合适的方法，例如紧固、闩锁和磁体拉入。
霍尔效应传感器
在一个实施例中，霍尔效应传感器148(图11)被安装在臂部分110B的外表面上，并且磁体142被安装在双目臂模块130上。当下压双目臂模块130时，磁体142和霍尔效应传感器148之间的距离变小。当距离达到预设阈值时，霍尔效应传感器148将生成信号，使得它能够识别双目臂模块130是否被下压。当双目臂模块130弹起时，磁体142和霍尔效应传感器148之间的距离变大。当距离达到预设阈值时，霍尔效应传感器148将生成信号，使得它能够识别双目臂模块130是否弹起。
云台马达(旋转行进范围为450度)
参考图19，云台马达132是无刷型的。云台马达132包括马达本体150、一件式FPC152、磁体154和盖板156。在一个实施例中，马达本体150在形状上通常是具有圆形形状的圆柱形，但可以是任何合适的形状。在一个实施例中，磁体154在形状上为圆的或圆形，但可以是任何合适的形状。在一个实施例中，盖板156在形状上通常是圆形，但可以是任何合适的形状。一件式FPC 152集成了霍尔效应传感器板158(霍尔效应传感器板实现了马达驱动控制)和磁性编码器板160(磁性编码器板实现了马达的高精度角度控制)，实现了结构的小型化和紧凑性。应当认识到，霍尔效应传感器板158和磁性编码器板160设置在马达本体150和盖板156之间。
在一个实施例中，马达本体150包括定子部分162、转子部分164和转换环166，如图20中所示。当转子部分164旋转时，第一极限点168同时旋转。当第一极限点168接触转换环166时，第一极限点驱动转换环166旋转。在转换环166旋转一定角度并接触第二极限点170之后，旋转将停止，由此达到四百五十(450)度的角度极限。应当认识到，相对于常规角度无刷云台马达，这种构造的优点在于，在没有增加原始马达本体150的尺寸的情况下，仅一个额外的零件、即转换环166用于实现大角度限制。还应当认识到，根据实际需要，云台马达132的旋转行进范围能够从三百六十度(360°)调节到七百二十度(720°)。
信号路由方案
摄像机53A、52B的信号通过FPC 134发送到转接板，然后通过FPC 134发送到主板。如图21中所示，FPC 134的涡旋区段的起点172固定在转子部分164上，而终点174固定在定子部分162上。当云台马达132旋转时，FPC134的涡旋区段能够提供相应的旋转角度。应当认识到，FPC 134的第一连接点176连接到转接板，而FPC 134的第二连接点连接到主板。
如图22中所示，FPC 134的S形部分的起点172固定在FPC 134的内层上，而终点174固定在FPC 134的外层上。当弹起或被向下推动时，FPC 134的S形部分能够动态地弯曲。如图23中所示，FPC 134的D形部分的起点172固定在FPC 134的内层上，终点174固定在D形部分上，并且D形部分用FPC 134的外层来固定。当弹起或向下推动时，FPC 134的D形部分能够动态弯曲。应当认识到，与现有技术相比，这种配置通过使用四百五十(450)度无刷云台马达132和一件式FPC 134来提供两级弹起和推推功能，用以实现全向障碍物回避，降低无人飞行系统12的复杂性。
自动双目升降结构
参照图23至图25，示出了根据本发明的用于可旋转双目摄像机系统100的自动双目升降结构或机构的实施例。在一个实施例中，自动双目升降结构或机构(总体在180处表示出)位于内底136的中心部分102A处，以驱动旋转机构和双目臂模块130。可选的实施例是，旋转机构位于内底136的中心部分102A处，并且自动双目升降结构180与旋转机构的旋转电机的转子部分连接。自动双目升降结构180仅驱动双目臂模块130，并且旋转机构驱动自动双目升降结构180以便根据双目臂模块130旋转。在其他实施例中，能够通过诸如以下动力驱动方法来实现手动弹起或下压：a)马达(伺服)驱动齿轮和齿条以使双目臂模块130向上或向下运动；b)马达驱动螺丝轴和螺丝以使双目臂模块130向上或向下运动；或c)马达(伺服)驱动曲柄连杆以使双目臂模块130向上或向下运动。
参考图24，示出了可旋转双目摄像机系统100的根据本发明实施例的自动双目升降结构180。在该实施例中，自动双目升降结构180包括安装在旋转的马达基座或内底136上的微型马达182。自动双目升降结构180还包括驱动齿轮184，并且微型马达182在一端处与驱动齿轮184连接。驱动齿轮84包括多个齿。自动双目升降结构180包括传动齿轮186，并且驱动齿轮184与传动齿轮186接合。传动齿轮186包括多个齿。自动双目升降结构180还包括沿轴向延伸的传动轴188，并且传动齿轮186在传动轴的轴向端部之间与传动轴188固定连接。传动轴188固定在旋转的马达座或双目臂模块130上。传动轴188具有一对轴向间隔开的轴向限制器189，轴向限制器防止传动轴188轴向运动。自动双目升降结构180包括在传动轴188的端部处的第一升降齿轮190和第二升降齿轮192，并且传动轴188被连接到第一升降齿轮190和第二升降齿轮192。第一升降齿轮190和第二升降齿轮192包括多个齿。自动双目升降结构180还包括第一升降齿条194和第二升降齿条196，并且第一升降齿轮190和第二升降齿轮192与第一升降齿条194和第二升降齿条196相接合或啮合。第一升降齿条194和第二升降齿条196形成在双目臂模块130上。第一升降齿条194和第二升降齿条196包括多个齿。
在自动双目升降结构180的操作中，微型马达182驱动所述驱动齿轮184，驱动齿轮184将旋转力传递至传动齿轮186，传动齿轮186驱动传动轴188，并且传动轴188驱动第一升降齿轮190和第二升降齿轮192。第一升降齿轮190和第二升降齿轮192同步旋转并与第一升降齿条194和第二升降齿条196啮合。第一升降齿轮190通过与第一升降齿条194相接合或啮合而在第一升降齿条194的长度内向上和向下运动，并且第二升降齿轮192通过与第二升降齿条196相接合或啮合而在第二升降齿条196的长度内向上和向下运动。应当认识到，双目旋转平台或臂模块130的自动升降是通过一个驱动马达和借助于齿轮传动装置来实现的。
尽管为了简明而省略，但是优选的实施例包括各种系统部件和各种方法工艺的每种组合和排列，其中方法工艺能够以任何合适的顺序执行、按顺序执行或同时执行。
如本领域技术人员将从上文详细描述以及从附图和权利要求中认识到的那样，能够对本发明的优选实施例进行修改和改变，而不会脱离所附权利要求中限定的本发明的范围。

Claims (20)

1.一种飞行系统，所述飞行系统包括：
本体；
升力机构，所述升力机构联接到所述本体；
处理系统；
至少一个摄像机；
第一马达，所述第一马达配置为使所述至少一个摄像机围绕第一轴线旋转；以及
第二马达，所述第二马达配置为使所述至少一个摄像机围绕第二轴线旋转；
其中，所述处理系统配置为确定所述飞行系统的行进方向，并且引起所述第一马达和所述第二马达自动地使所述至少一个摄像机围绕所述第一轴线和所述第二轴线定向，使得所述至少一个摄像机自动地面向所述飞行系统的行进方向。
2.根据权利要求1所述的飞行系统，其中，所述处理系统包括联接到所述本体的固定的障碍物检测与回避系统，以实现障碍物回避。
3.根据权利要求2所述的飞行系统，其中，所述障碍物检测与回避系统包括联接到所述本体的传感器壳体。
4.根据权利要求3所述的飞行系统，其中，所述至少一个摄像机包括联接到传感器本体的一对摄像机。
5.根据权利要求3所述的飞行系统，其中，所述障碍物检测与回避系统包括联接到所述本体的致动机构。
6.根据权利要求5所述的飞行系统，其中，所述致动机构包括所述第一马达和所述第二马达以使所述传感器壳体围绕所述第一轴线和所述第二轴线旋转。
7.根据权利要求5所述的飞行系统，其中，所述本体包括电源，所述电源向所述传感器壳体和所述致动机构内的部件供电。
8.根据权利要求1所述的飞行系统，其中，所述障碍物检测与回避系统包括视觉处理系统，用来确定物理点与所述飞行系统的距离。
9.根据权利要求1所述的飞行系统，其中，所述障碍物检测与回避系统包括应用处理系统，所述应用处理系统包括惯性动量单元(IMU)和姿态处理功能，以确定所述飞行系统的行进方向以及传感器壳体和摄像机中的至少一者在运载器坐标系内的方位。
10.根据权利要求4所述的飞行系统，其中，所述障碍物检测与回避系统包括发射器，用来照亮由所述摄像机监视的物理区域。
11.一种飞行系统，所述飞行系统包括：
本体；
升力机构，所述升力机构联接到所述本体；
处理系统；
至少一个摄像机；以及
其中，所述处理系统包括可旋转的双目摄像机系统，所述可旋转的双目摄像机系统被联接到所述本体，以实现三百六十(360)度全向障碍物回避。
12.根据权利要求11所述的飞行系统，其中，所述可旋转的双目摄像机系统包括内部模块、第一弹簧、中间模块、第二弹簧和外部模块。
13.根据权利要求12所述的飞行系统，其中，所述可旋转的双目摄像机系统还包括推推插座槽、霍尔效应传感器板、外部块和中间块。
14.根据权利要求13所述的飞行系统，其中，所述中间模块包括至少一个引导滑块，并且所述外部模块包括至少一个引导槽，在所述引导槽中所述引导滑块能够在所述引导槽内滑动，并且通过所述第一弹簧提供向上的力以实现第一级弹起/向上滑动。
15.根据权利要求13所述的飞行系统，其中，所述内部模块包括至少一个引导滑块，并且所述中间模块包括至少一个引导坡道，所述引导滑块和所述引导坡道彼此协作，以通过所述第二弹簧提供向上的力并利用提供限制的所述中间块来实现第二级弹起。
16.根据权利要求13所述的飞行系统，其中，所述内部模块包括适配器板、双目臂模块、云台马达、FPC电缆及连接器、内底和弯曲线钩。
17.根据权利要求16所述的飞行系统，其中，所述双目臂模块包括联接到所述本体的一对摄像机、线激光器和磁体。
18.根据权利要求16所述的飞行系统，其中，所述云台马达包括马达本体、一件式FPC、磁体和盖板。
19.根据权利要求18所述的飞行系统，其中，所述马达本体包括定子部分、转子部分和转换环。
20.根据权利要求16所述的飞行系统，所述飞行系统包括自动双目升降结构以使所述双目臂模块向上或向下运动。
CN201880047387.2A 2017-08-10 2018-08-08 飞行系统中用于避障的系统和方法 Active CN110891862B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762543671P 2017-08-10 2017-08-10
US62/543,671 2017-08-10
PCT/CN2018/099309 WO2019029551A1 (en) 2017-08-10 2018-08-08 SYSTEM AND METHOD FOR AVOIDING OBSTACLES IN AIR SYSTEMS

Publications (2)

Publication Number Publication Date
CN110891862A true CN110891862A (zh) 2020-03-17
CN110891862B CN110891862B (zh) 2023-07-11

Family

ID=65272779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880047387.2A Active CN110891862B (zh) 2017-08-10 2018-08-08 飞行系统中用于避障的系统和方法

Country Status (3)

Country Link
US (2) US10515560B2 (zh)
CN (1) CN110891862B (zh)
WO (1) WO2019029551A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112859097A (zh) * 2021-04-23 2021-05-28 南京农业大学 一种用于无人机测距避障的激光雷达装置
WO2023070395A1 (zh) * 2021-10-27 2023-05-04 深圳市大疆创新科技有限公司 转轴机构、云台及云台系统
US11800246B2 (en) 2022-02-01 2023-10-24 Landscan Llc Systems and methods for multispectral landscape mapping

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10954679B2 (en) * 2018-06-11 2021-03-23 International Business Machines Corporation Dynamic platform creation
DE102018120198A1 (de) * 2018-08-20 2020-02-20 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Luftfahrzeug
CN112955713A (zh) * 2018-10-29 2021-06-11 大疆科技股份有限公司 用于在可移动物体环境中进行实时地图构建的技术
US11022972B2 (en) * 2019-07-31 2021-06-01 Bell Textron Inc. Navigation system with camera assist
USD944117S1 (en) * 2020-03-16 2022-02-22 Zero Zero Robotics Inc. Unmanned aerial vehicle
USD943457S1 (en) * 2020-03-16 2022-02-15 Zero Zero Robotics Inc. Unmanned aerial vehicle
CN113447486B (zh) * 2020-03-27 2023-05-23 长江勘测规划设计研究有限责任公司 无人机载线性工程病害双目及红外联合诊断系统及方法
FR3112120B1 (fr) * 2020-07-02 2022-09-09 Parrot Drones Ensemble de capture d'image et de detection d'obstacle destine a ëtre monte sur une plateforme telle qu'un drone et drone muni d'un tel ensemble de capture d'image et de detection d'obstacle
US11117516B1 (en) * 2020-10-28 2021-09-14 Fernando Garza Lift detection and alert assembly
CN114697534A (zh) * 2020-12-30 2022-07-01 超聚变数字技术有限公司 一种升降平台和升降平台的控制方法
CN112833816A (zh) * 2020-12-31 2021-05-25 武汉中观自动化科技有限公司 一种标志点定位与智能反向定位混合的定位方法和系统
JP2022146480A (ja) 2021-03-22 2022-10-05 リコーインダストリアルソリューションズ株式会社 ステレオカメラ装置
CN116381892B (zh) * 2023-04-21 2023-12-12 广东工业大学 一种基于直驱式气浮平台的二级宏微相机镜头调焦装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104202507A (zh) * 2014-09-01 2014-12-10 深圳市安科讯实业有限公司 一种摄像装置
CN104843176A (zh) * 2015-04-28 2015-08-19 武汉大学 一种用于桥梁隧道自动巡检旋翼无人机系统及导航方法
CN205049143U (zh) * 2015-10-22 2016-02-24 一飞智控(天津)科技有限公司 一种基于双目视觉的无人机自主障碍物检测系统
CN106161892A (zh) * 2015-05-15 2016-11-23 三星电子株式会社 摄影装置及其姿态控制方法以及无人驾驶飞行器
CN106275470A (zh) * 2015-06-29 2017-01-04 优利科技有限公司 飞行器及其避障方法和系统
CN106933243A (zh) * 2015-12-30 2017-07-07 湖南基石信息技术有限公司 一种基于双目视觉的无人机实时避障系统及方法

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4478885B2 (ja) * 2005-06-28 2010-06-09 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
WO2007047953A2 (en) * 2005-10-20 2007-04-26 Prioria, Inc. System and method for onboard vision processing
US20100228406A1 (en) * 2009-03-03 2010-09-09 Honeywell International Inc. UAV Flight Control Method And System
US20110304737A1 (en) * 2010-06-15 2011-12-15 Flir Systems, Inc. Gimbal positioning with target velocity compensation
TW201326874A (zh) * 2011-12-26 2013-07-01 Hon Hai Prec Ind Co Ltd 飛行探測系統
US20150207964A1 (en) * 2012-08-01 2015-07-23 George Bye Small UAS With High Definition Video
US9435520B2 (en) * 2012-08-16 2016-09-06 Ascendant Engineering Solutions Gimbal systems providing high-precision imaging capabilities in a compact form-factor
US9398287B2 (en) * 2013-02-28 2016-07-19 Google Technology Holdings LLC Context-based depth sensor control
US9070289B2 (en) * 2013-05-10 2015-06-30 Palo Alto Research Incorporated System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform
US8903568B1 (en) * 2013-07-31 2014-12-02 SZ DJI Technology Co., Ltd Remote control method and terminal
WO2015143615A1 (zh) * 2014-03-24 2015-10-01 深圳市大疆创新科技有限公司 飞行器状态实时修正的方法和装置
US10057509B2 (en) * 2014-05-30 2018-08-21 Flir Systems, Inc. Multiple-sensor imaging system
US9678506B2 (en) * 2014-06-19 2017-06-13 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US10095942B2 (en) * 2014-12-15 2018-10-09 Reflex Robotics, Inc Vision based real-time object tracking system for robotic gimbal control
CN204362205U (zh) * 2014-12-18 2015-05-27 昆山优力电能运动科技有限公司 飞行器系统
FR3031402B1 (fr) * 2015-01-02 2018-09-07 Squadrone System Procede de pilotage automatique d'un drone a voilure tournante pour operer des mouvements de camera par une camera embarquee
US9977226B2 (en) * 2015-03-18 2018-05-22 Gopro, Inc. Unibody dual-lens mount for a spherical camera
US9927682B2 (en) * 2015-03-31 2018-03-27 Vantage Robotics, Llc Miniature stabilized unmanned aerial vehicle gimbal
WO2017000875A1 (zh) * 2015-06-29 2017-01-05 优利科技有限公司 飞行器及其避障方法和系统
US10582259B2 (en) * 2015-06-30 2020-03-03 Gopro, Inc. Pipelined video interface for remote controlled aerial vehicle with camera
EP3317576B1 (en) * 2015-07-02 2020-09-02 SZ DJI Osmo Technology Co., Ltd. Gimbal for image capturing
CN204978461U (zh) * 2015-07-28 2016-01-20 安庆师范学院 车载电动伸缩摄像头
US9936133B2 (en) * 2015-08-19 2018-04-03 Harris Corporation Gimbaled camera object tracking system
CN113581464A (zh) * 2015-09-11 2021-11-02 深圳市大疆灵眸科技有限公司 用于无人飞行器的载体
EP3353706A4 (en) * 2015-09-15 2019-05-08 SZ DJI Technology Co., Ltd. SYSTEM AND METHOD FOR MONITORING UNIFORM TARGET TRACKING
US10805540B2 (en) * 2015-10-28 2020-10-13 Vantage Robotics, Llc Quadcopter with pitched propeller configuration
US9720413B1 (en) * 2015-12-21 2017-08-01 Gopro, Inc. Systems and methods for providing flight control for an unmanned aerial vehicle based on opposing fields of view with overlap
CN108432222A (zh) * 2015-12-22 2018-08-21 深圳市大疆创新科技有限公司 支持包围式成像的系统、方法和移动平台
CN110282132B (zh) * 2016-01-26 2021-04-02 深圳市大疆创新科技有限公司 无人飞行器及多目成像系统
CN108698705B (zh) * 2016-01-26 2022-02-18 深圳市大疆创新科技有限公司 增稳平台和相机
CN205545532U (zh) * 2016-01-27 2016-08-31 厦门普锐实业有限公司 手机摄像头中fpc板的固定装置
EP3411620A4 (en) * 2016-02-01 2019-01-23 SZ DJI Technology Co., Ltd. SYSTEMS AND METHODS FOR PAYLOAD STABILIZATION
CN109074090A (zh) * 2016-02-29 2018-12-21 深圳市大疆创新科技有限公司 无人机硬件架构
US11029352B2 (en) * 2016-05-18 2021-06-08 Skydio, Inc. Unmanned aerial vehicle electromagnetic avoidance and utilization system
US11453494B2 (en) * 2016-05-20 2022-09-27 Skydio, Inc. Unmanned aerial vehicle area surveying
US11019270B2 (en) * 2016-06-24 2021-05-25 Intel IP Corporation Unmanned aerial vehicle
US10281930B2 (en) * 2016-07-25 2019-05-07 Qualcomm Incorporated Gimbaled universal drone controller
CN108431869A (zh) * 2016-08-06 2018-08-21 深圳市大疆创新科技有限公司 用于移动平台成像的系统和方法
US20180267561A1 (en) * 2016-09-12 2018-09-20 Andrew Archer Trench Autonomous control of unmanned aircraft
WO2018051232A1 (en) * 2016-09-13 2018-03-22 Hangzhou Zero Zero Technology Co., Ltd. Unmanned aerial vehicle system and method with environmental sensing
CN106534628A (zh) * 2016-09-21 2017-03-22 广东虹勤通讯技术有限公司 一种双向摄像头模组及移动终端
US10210905B2 (en) * 2016-09-30 2019-02-19 Sony Interactive Entertainment Inc. Remote controlled object macro and autopilot system
US10679511B2 (en) * 2016-09-30 2020-06-09 Sony Interactive Entertainment Inc. Collision detection and avoidance
US11125561B2 (en) * 2016-09-30 2021-09-21 Sony Interactive Entertainment Inc. Steering assist
WO2018082004A1 (en) * 2016-11-04 2018-05-11 XDynamics Limited An unmanned aerial vehicle
KR20180051996A (ko) * 2016-11-09 2018-05-17 삼성전자주식회사 무인 비행 장치 및 이를 이용한 피사체 촬영 방법
JP6478177B2 (ja) * 2016-11-18 2019-03-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像システム、移動体、制御方法、およびプログラム
WO2018098784A1 (zh) * 2016-12-01 2018-06-07 深圳市大疆创新科技有限公司 无人机的控制方法、装置、设备和无人机的控制系统
WO2018107419A1 (zh) * 2016-12-15 2018-06-21 深圳市大疆创新科技有限公司 控制方法、装置、设备及可移动平台
US10409276B2 (en) * 2016-12-21 2019-09-10 Hangzhou Zero Zero Technology Co., Ltd. System and method for controller-free user drone interaction
US10067513B2 (en) * 2017-01-23 2018-09-04 Hangzhou Zero Zero Technology Co., Ltd Multi-camera system and method of use
WO2018134796A1 (en) * 2017-01-23 2018-07-26 Hangzhou Zero Zero Technology Co., Ltd. System and method for omni-directional obstacle avoidance in aerial systems
WO2018150313A1 (en) * 2017-02-14 2018-08-23 Hangzhou Zero Zero Technology Co., Ltd. Aerial device and method for controlling the aerial device
CN106989728A (zh) * 2017-03-21 2017-07-28 广东容祺智能科技有限公司 一种基于无人机的建筑地面测绘系统
US10375289B2 (en) * 2017-03-31 2019-08-06 Hangzhou Zero Zero Technology Co., Ltd. System and method for providing autonomous photography and videography
US10168704B2 (en) * 2017-06-05 2019-01-01 Hanzhou Zero Zero Technology Co., Ltd. System and method for providing easy-to-use release and auto-positioning for drone applications
US10189580B2 (en) * 2017-06-16 2019-01-29 Aerobo Image stabilization and pointing control mechanization for aircraft imaging systems
EP3649046A4 (en) * 2017-07-05 2021-02-24 SZ DJI Technology Co., Ltd. PORTABLE INTEGRATED UAV
WO2019037100A1 (en) * 2017-08-25 2019-02-28 SZ DJI Technology Co., Ltd. ALTITUDE ESTIMATION FOR AERIAL VEHICLES
US10741086B2 (en) * 2018-03-26 2020-08-11 D2, Llc Method and system for generating aerial imaging flight path
WO2019204931A1 (en) * 2018-04-25 2019-10-31 Flir Unmanned Aerial Systems Ulc Systems and methods for communicating with payload on an unmanned vehicle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104202507A (zh) * 2014-09-01 2014-12-10 深圳市安科讯实业有限公司 一种摄像装置
CN104843176A (zh) * 2015-04-28 2015-08-19 武汉大学 一种用于桥梁隧道自动巡检旋翼无人机系统及导航方法
CN106161892A (zh) * 2015-05-15 2016-11-23 三星电子株式会社 摄影装置及其姿态控制方法以及无人驾驶飞行器
CN106275470A (zh) * 2015-06-29 2017-01-04 优利科技有限公司 飞行器及其避障方法和系统
CN205049143U (zh) * 2015-10-22 2016-02-24 一飞智控(天津)科技有限公司 一种基于双目视觉的无人机自主障碍物检测系统
CN106933243A (zh) * 2015-12-30 2017-07-07 湖南基石信息技术有限公司 一种基于双目视觉的无人机实时避障系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112859097A (zh) * 2021-04-23 2021-05-28 南京农业大学 一种用于无人机测距避障的激光雷达装置
CN112859097B (zh) * 2021-04-23 2021-07-23 南京农业大学 一种用于无人机测距避障的激光雷达装置
WO2023070395A1 (zh) * 2021-10-27 2023-05-04 深圳市大疆创新科技有限公司 转轴机构、云台及云台系统
US11800246B2 (en) 2022-02-01 2023-10-24 Landscan Llc Systems and methods for multispectral landscape mapping

Also Published As

Publication number Publication date
US11423792B2 (en) 2022-08-23
US20190066524A1 (en) 2019-02-28
US20200090530A1 (en) 2020-03-19
WO2019029551A1 (en) 2019-02-14
CN110891862B (zh) 2023-07-11
US10515560B2 (en) 2019-12-24

Similar Documents

Publication Publication Date Title
US11423792B2 (en) System and method for obstacle avoidance in aerial systems
US11649052B2 (en) System and method for providing autonomous photography and videography
US10266263B2 (en) System and method for omni-directional obstacle avoidance in aerial systems
US10901437B2 (en) Unmanned aerial vehicle including an omnidirectional depth sensing and obstacle avoidance aerial system and method of operating same
JP7265017B2 (ja) 無人飛行システム及び無人飛行システムに用いられる制御システム
US10447912B2 (en) Systems, methods, and devices for setting camera parameters
CN111596649B (zh) 用于空中系统的单手远程控制设备
US11267568B2 (en) Aerial system including foldable frame architecture
US10974825B2 (en) Aerial system including foldable frame architecture
CN110615095B (zh) 手持遥控装置和飞行系统套件
US11008095B2 (en) Foldable rotor blade assembly and aerial vehicle with a foldable rotor blade assembly
US11428362B2 (en) Two-axis gimbal system for supporting a camera
WO2020143029A1 (en) Two-axis gimbal system for supporting a camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 311121 Room 401, 4th floor, building 2, Wudi center, Cangqian street, Yuhang District, Hangzhou City, Zhejiang Province

Applicant after: HANGZHOU ZERO ZERO TECHNOLOGY Co.,Ltd.

Address before: 310000 building 13, 1399 liangmu Road, Cangqian street, Yuhang District, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU ZERO ZERO TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20230523

Address after: 518052, Tower 401 and 402, Shenzhen International Qianhai Yidu Building, No. 99 Gangcheng Street, Nanshan Street, Qianhai Shenzhen Hong Kong Cooperation Zone, Shenzhen, Guangdong Province

Applicant after: Shenzhen Zero Infinite Technology Co.,Ltd.

Address before: 311121 Room 401, 4th floor, building 2, Wudi center, Cangqian street, Yuhang District, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU ZERO ZERO TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant