CN105980950B - 无人飞行器的速度控制 - Google Patents

无人飞行器的速度控制 Download PDF

Info

Publication number
CN105980950B
CN105980950B CN201480075070.1A CN201480075070A CN105980950B CN 105980950 B CN105980950 B CN 105980950B CN 201480075070 A CN201480075070 A CN 201480075070A CN 105980950 B CN105980950 B CN 105980950B
Authority
CN
China
Prior art keywords
group
environment
unmanned vehicle
uav
operation rules
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480075070.1A
Other languages
English (en)
Other versions
CN105980950A (zh
Inventor
胡骁
刘昂
周谷越
潘绪洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN105980950A publication Critical patent/CN105980950A/zh
Application granted granted Critical
Publication of CN105980950B publication Critical patent/CN105980950B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04Control of altitude or depth
    • G05D1/042Control of altitude or depth specially adapted for aircraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D13/00Control of linear speed; Control of angular speed; Control of acceleration or deceleration, e.g. of a prime mover
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0069Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04Anti-collision systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04Anti-collision systems
    • G08G5/045Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种用于在环境内控制无人飞行器的系统和方法。在一个方面,一种系统包括被携带于所述无人飞行器上并且被配置成用于接收所述环境的传感器数据的一个或多个传感器,以及一个或多个处理器。所述一个或多个处理器可单个地或共同地被配置成用于:基于所述传感器数据,确定表示所述环境的障碍物密度的环境复杂度因子;基于所述环境复杂度因子,确定所述无人飞行器的一个或多个操作规则;接收指示出所述无人飞行器的期望移动的信号;以及使所述无人飞行器在遵守所述一个或多个操作规则的同时根据所述信号而移动。

Description

无人飞行器的速度控制
背景技术
诸如无人飞行器等无人载运工具可以用于在众多环境下执行监视、侦察和勘探任务以供军事和民用应用。无人飞行器可由远程用户手动控制,或者能够以半自主或者全自主方式操作。可以实现各种控制方案以使无人飞行器能够在环境内以不同的自主程度操作。
然而,现有的无人飞行器控制方案在一些情况下可能不是最佳的。例如,无人飞行器可能在其中存在障碍物(例如,建筑物、树木、人类、其他空中物体)的环境中操作。现有控制方案可能依赖于用户自己的判断来确定无人飞行器的安全操作参数,以便使得与障碍物碰撞的可能性减到最小。这对于缺乏经验的用户或者在用户无法轻易看到无人飞行器周围环境的情况下(例如,当无人飞行器相对远离用户时)可能是有挑战性的。
发明内容
需要用于提高无人飞行器的安全性的改进的控制方案。本公开内容提供了用于自动确定无人飞行器的操作规则的系统和方法。所述操作规则可以涉及无人飞行器(UAV)操作的任何合适的方面,诸如速度、加速度、位置或定向。在一些实施方式中,在飞行期间使用从各种传感器获取的数据来自动确定所述操作规则。可以分析所述传感器数据来确定所述环境的障碍物密度,以便选择适当的操作规则用于控制所述无人飞行器,从而降低与障碍物的碰撞的可能性。
因此,在一方面,提供了一种用于在环境内控制无人飞行器的系统。所述系统包括被携带于所述无人飞行器上并且被配置成用于接收所述环境的传感器数据的一个或多个传感器,以及一个或多个处理器。所述一个或多个处理器可单个地或共同地被配置成用于:基于所述传感器数据,确定表示所述环境的障碍物密度的环境复杂度因子;基于所述环境复杂度因子,确定所述无人飞行器的一个或多个操作规则;接收指示出所述无人飞行器的期望移动的信号;以及使所述无人飞行器在遵守所述一个或多个操作规则的同时根据所述信号而移动。
在一些实施方式中,所述一个或多个传感器包括视觉传感器,诸如立体视觉传感器。所述一个或多个传感器可以包括激光雷达传感器或超声传感器。所述一个或多个传感器可以包括多个不同的传感器类型。由所述一个或多个传感器获取的所述传感器数据可以指示出所述环境的障碍物密度。
在一些实施方式中,所述一个或多个处理器由所述无人飞行器携带。所述环境复杂度因子可以基于使用所述传感器数据生成的所述环境的三维数字表示来确定。所述三维数字表示可以包括三维点云或占据网格。
所述操作规则可以按任何合适的方式而确定。例如,所述一个或多个操作规则可被配置成用于防止所述无人飞行器与所述环境中的障碍物之间的碰撞。所述一个或多个操作规则可以基于先前获取的飞行数据而确定。在一些实施方式中,所述一个或多个操作规则包括一个或多个速度规则。所述一个或多个速度规则可以使用先前确定的速度规则的先进先出(FIFO)队列来确定。所述一个或多个速度规则可以基于所述无人飞行器的最小制动距离而确定。在一些实施方式中,所述一个或多个速度规则包括所述无人飞行器的速度限制。
在一些实施方式中,所述信号包括用户输入命令。
在一些实施方式中,所述一个或多个操作规则包括一个或多个姿态规则。备选地或组合地,所述一个或多个操作规则可以包括一个或多个高度规则。
在另一方面,提供了一种用于在环境内控制无人飞行器的方法。所述方法包括:从被携带于所述无人飞行器上的一个或多个传感器接收所述环境的传感器数据;基于所述传感器数据并借助于处理器,确定表示所述环境的障碍物密度的环境复杂度因子;基于所述环境复杂度因子并借助于所述处理器,确定所述无人飞行器的一个或多个操作规则;接收指示出所述无人飞行器的期望移动的信号;以及使所述无人飞行器在遵守所述一个或多个操作规则的同时根据所述信号而移动。
在另一方面,提供了一种用于在环境内控制无人飞行器的系统。所述系统包括被携带于所述无人飞行器上并且被配置成用于接收所述环境的传感器数据的一个或多个传感器,以及一个或多个处理器。所述一个或多个处理器可单个地或共同地被配置成用于:基于所述传感器数据,确定所述无人飞行器的第一组操作规则;接收指示出所述无人飞行器的第二组操作规则的用户输入;选择所述第一组或第二组操作规则中的一组操作规则,以用于控制所述无人飞行器;接收指示出所述无人飞行器的期望移动的信号;以及使所述无人飞行器在遵守所述第一组或第二组操作规则中的所述选定的一组操作规则的同时根据所述信号而移动。
在一些实施方式中,所述一个或多个传感器包括视觉传感器,诸如立体视觉传感器。所述一个或多个传感器可以包括激光雷达传感器或超声传感器。所述一个或多个传感器可以包括多个不同的传感器类型。由所述一个或多个传感器获取的传感器数据可以指示出所述环境的障碍物密度。所述一个或多个处理器可以由所述无人飞行器携带。
在一些实施方式中,可以从远程终端接收所述用户输入。
所述操作规则可以根据需要而配置。例如,所述第一组操作规则可被配置成用于防止所述无人飞行器与所述环境中的障碍物之间的碰撞。在一些实施方式中,所述第一组操作规则包括第一组速度规则,并且所述第二组操作规则包括第二组速度规则。所述第一组速度规则可以基于所述无人飞行器的最小制动距离来确定。所述第二组速度规则可以基于由用户从多个不同的飞行模式中选择的飞行模式而确定。所述多个不同的飞行模式可以包括低速飞行模式、中速飞行模式和高速飞行模式。在一些实施方式中,所述第一组速度规则包括所述无人飞行器的第一速度限制,并且所述第二组速度规则包括所述无人飞行器的第二速度限制。所述一个或多个处理器可以通过选择所述第一和第二速度限制中的较小者来选择所述第一组或第二组速度规则中之一。
在一些实施方式中,所述信号包括用户输入命令。
在一些实施方式中,所述第一组和第二组操作规则各自包括一组姿态规则。备选地或组合地,所述第一组和第二组操作规则可以各自包括一组高度规则。
在另一方面,提供了一种用于在环境内控制无人飞行器的方法。所述方法包括:从被携带于所述无人飞行器上的一个或多个传感器接收所述环境的传感器数据;基于所述传感器数据并借助于处理器,确定所述无人飞行器的第一组操作规则;接收指示出所述无人飞行器的第二组操作规则的用户输入;选择所述第一组或第二组操作规则中的一组操作规则,以用于控制所述无人飞行器;接收指示出所述无人飞行器的期望移动的信号;以及使所述无人飞行器在遵守所述第一组或第二组操作规则中的所述选定的一组操作规则的同时根据所述信号而移动。
在另一方面,提供了一种用于在环境内控制无人飞行器的系统。所述系统包括被携带于所述无人飞行器上的一个或多个传感器;以及一个或多个处理器。所述一个或多个处理器可单个地或共同地被配置成用于:使用所述一个或多个传感器,确定表示所述环境的障碍物密度的环境复杂度因子;基于所述环境复杂度因子并借助于所述处理器,确定所述无人飞行器的第一组操作规则;使用所述一个或多个传感器,检测对应于所述环境的障碍物密度的改变的所述环境复杂度因子的改变;以及基于所述环境复杂度因子的改变来修改所述第一组操作规则,以提供所述无人飞行器的第二组操作规则。
在一些实施方式中,所述一个或多个传感器包括视觉传感器,诸如立体视觉传感器。所述一个或多个传感器可以包括激光雷达传感器或超声传感器。所述一个或多个传感器可以包括多个不同的传感器类型。由所述一个或多个传感器获取的传感器数据可以指示出所述环境的障碍物密度。
在一些实施方式中,所述一个或多个处理器由所述无人飞行器携带。所述环境复杂度因子可以基于使用所述传感器数据生成的所述环境的三维数字表示而确定。所述三维数字表示可以包括三维点云或占据网格。
在一些实施方式中,所述第一组和第二组操作规则中的至少一组操作规则可被配置成用于防止所述无人飞行器与所述环境中的障碍物之间的碰撞。所述第一组操作规则可以包括第一组速度规则,并且所述第二组操作规则可以包括第二组速度规则。所述第一组和第二组速度规则中的至少一组速度规则可以基于所述无人飞行器的最小制动距离而确定。可选地,所述第一组和第二组速度规则可以各自包括所述无人飞行器的第一速度限制。在一些实施方式中,所述环境复杂度因子的改变对应于所述障碍物密度的减小,并且所述第二组速度规则的速度限制大于所述第一组速度规则的速度限制。
在一些实施方式中,所述第一组和第二组操作规则各自包括一组姿态规则。备选地或组合地,所述第一组和第二组操作规则可以各自包括一组高度规则。
在另一方面,提供了一种用于在环境内控制无人飞行器的方法。所述方法包括:使用由所述无人飞行器携带的一个或多个传感器并借助于处理器,确定表示所述环境的障碍物密度的环境复杂度因子;基于所述环境复杂度因子并借助于所述处理器,确定所述无人飞行器的第一组操作规则;使用所述一个或多个传感器,检测对应于所述环境的障碍物密度的改变的所述环境复杂度因子的改变;以及基于所述环境复杂度因子的改变来修改所述第一组操作规则,以提供所述无人飞行器的第二组操作规则。
应当明白,本发明的不同方面可以被单独地、共同地或彼此结合地理解。本文所描述的本发明的各个方面可以适用于下文阐述的任何特定应用或者适用于任何其他类型的可移动物体。本文对飞行器的任何描述均可适用于和用于任何可移动物体,诸如任何载运工具。另外,本文在空中运动(例如,飞行)的情景下公开的系统、装置和方法还可以适用于其他类型运动的情景下,诸如在地面上或在水上的移动、水下运动或者在太空中的运动。此外,本文对旋翼或旋翼组件的任何描述均可适用于和用于任何被配置成用于通过旋转而生成推进力的推进系统、装置或机构(例如,螺旋桨、轮子、轮轴)。
通过考察说明书、权利要求书和附图,本发明的其他目标和特征将会变得显而易见。
援引并入
本说明书中所提及的所有出版物、专利和专利申请均通过引用而并入于此,程度犹如具体地和个别地指出要通过引用而并入每一个别出版物、专利或专利申请。
附图说明
在所附权利要求书中具体阐述了本发明的新颖特征。通过参考对在其中利用到本发明原理的说明性实施方式加以阐述的以下详细描述和附图,将会对本发明的特征和优点获得更好的理解;在附图中:
图1A图示了根据实施方式的在室外环境中操作的无人飞行器;
图1B图示了根据实施方式的在室内环境中操作的无人飞行器;
图2图示了根据实施方式的用于确定用以控制无人飞行器的操作规则的方法;
图3图示了根据实施方式的用于控制无人飞行器的方法;
图4图示了根据实施方式的由环境的传感器数据生成的视差图(disparity map);
图5图示了根据实施方式的指示出环境中的障碍物密度的直方图;
图6图示了根据实施方式的用于确定速度规则的先进先出队列;
图7图示了根据实施方式的用于控制UAV的方法;
图8图示了根据实施方式的用于控制无人飞行器的遥控器;
图9图示了根据实施方式的无人飞行器;
图10图示了根据实施方式的包括载体和有效载荷的可移动物体;以及
图11图示了根据实施方式的用于控制可移动物体的系统。
具体实施方式
本公开内容提供了用于确定用以操作无人飞行器(UAV)的操作规则的改进的系统和方法。UAV可以携带用于获取周围环境的数据的一个或多个传感器,并且随后可以处理所述数据以便检测周围环境中障碍物和其他潜在安全隐患存在的程度,这在本文中可以称为“环境复杂度因子”。环境复杂度因子可以用于确定当在环境内操作UAV时将观察到的一组操作规则(例如,速度规则,诸如速度限制或速度范围)。例如,当UAV在“复杂”环境(具有高障碍物密度的环境,诸如室内、城区或低空环境)内操作时,UAV的最大速度限制可以相对较低,从而降低意外碰撞的风险。相反地,当在不太可能发生碰撞的较不复杂的环境(具有低障碍物密度的环境,诸如高空环境)内操作时,UAV的最大速度限制可以相对较高。有利地,本文所描述的实施方式可以用于基于当前环境情景而自动地和动态地优化UAV的操作参数,从而提高UAV的安全性、易用性和适应性。
本文所描述的UAV可以自主地(例如,由诸如机载控制器等合适的计算系统)、半自主地或手动地(例如,由人类用户)操作。UAV可以接收来自合适的实体(例如,人类用户或自主控制器)的命令,并通过执行一个或多个动作来响应这样的命令。例如,可以控制UAV从地面起飞、在空中移动(例如,以多达三个平移自由度和多达三个旋转自由度移动)、在空中悬停、降落在地面上等。又例如,可以控制UAV以指定的速度和/或加速度移动(例如,以多达三个平移自由度和多达三个旋转自由度)。UAV可以具有约13m/s或者从10m/s至15m/s的范围内的最大水平速度。UAV可以具有约6m/s或者从5m/s至10m/s的范围内的最大垂直速度。UAV可以具有约6.8m/s2或者从5m/s2至10m/s2的范围内的最大平移加速度。在一些实施方式中,UAV的平移加速度可以使UAV采取对应的姿态。因此,UAV的最大平移加速度可由最大姿态所约束。在一些实施方式中,UAV的最大姿态角(相对于UAV的垂直轴线)可以是约或者在从的范围内。本文可以使用姿态来指代UAV的横滚角和/或俯仰角。
现在转到附图,图1A图示了根据实施方式的在室外环境100中操作的UAV 102。室外环境100可以是城区、郊区或乡村环境,或者至少部分地不位于建筑物内的任何其他环境。UAV 102可相对靠近地面104(例如,低空)或相对远离地面104(例如,高空)操作。例如,在距地面小于或等于约10m操作的UAV 102可被认为处于低空,而在距地面大于或等于约10m操作的UAV 102可被认为处于高空。
在一些实施方式中,室外环境100包含一个或多个障碍物
108a-108d。障碍物可以包括可阻碍UAV 102的移动的任何物体或实体。一些障碍物可能位于地面104上(例如,障碍物108a、障碍物108d),诸如建筑物、地面载运工具(例如,轿车、摩托车、卡车、自行车)、人类、动物、植物(例如,树木、灌木)以及其他人造结构或自然结构。一些障碍物可能与地面104、水体、人造结构或自然结构相接触和/或由其所支撑。或者,一些障碍物可能完全位于空中106(例如,障碍物108b、障碍物108c),包括飞行器(例如,飞机、直升机、热气球、其他UAV)或鸟类。空中障碍物可能不由地面104或由水体或由任何自然结构或人造结构所支撑。位于地面104上的障碍物可能包括实质上延伸至空中106的部分(例如,高层建筑物,诸如塔、摩天大楼、灯柱、无线电发射塔、输电线、树木等)。
图1B图示了根据实施方式的在室内环境150中操作的UAV152。室内环境150位于建筑物154的内部中,其具有地面156、一面或多面墙壁158以及/或者天花板或屋顶160。示例性建筑物包括住宅、商业或工业建筑物,诸如房屋、公寓、办公楼、生产设施、仓储设施等。建筑物154的内部可由地面156、墙壁158和天花板160完全包围,使得UAV 152被约束到内部空间。相反地,可能不存在地面156、墙壁158或天花板160中的至少一个,从而使得UAV 152能够从内部飞到外部,或者反之亦然。备选地或组合地,在地面156、墙壁158或天花板160中可能形成一个或多个孔口164(例如,门、窗、天窗)。
类似于室外环境100,室内环境150可能包含一个或多个障碍物162a-162d。一些障碍物可能位于地面156上(例如,障碍物162a),诸如家具、家用电器、人类、动物、植物或者其他人造物体或自然物体。相反地,一些障碍物可能位于空中(例如,障碍物162b),诸如鸟类或其他UAV。室内环境150中的一些障碍物可由其他结构或物体所支撑。障碍物还可附着于天花板160(例如,障碍物162c),诸如灯具、吊扇、屋梁或其他安装在天花板上的家用电器或结构。在一些实施方式中,障碍物可能附着于墙壁158(例如,障碍物162d),诸如灯具、搁架、橱柜以及其他安装在墙壁上的家用电器或结构。值得注意的是,建筑物154的结构部件也可被认为是障碍物,包括地面156、墙壁158和天花板160。
本文所描述的障碍物可能是实质上静止的(例如,建筑物、植物、结构)或者是实质上移动的(例如,人类、动物、载运工具或者其他能够移动的物体)。一些障碍物可能包括静止部件和移动部件的组合(例如,风车)。移动障碍物或障碍物部件可以根据预定的或可预测的路径或模式而移动。例如,轿车的移动可能是相对可预测的(例如,根据道路的形状)。或者,一些移动障碍物或障碍物部件可以沿着随机的轨迹或以其他方式不可预测的轨迹移动。例如,诸如动物等生物可能按相对不可预测的方式移动。
与在特定环境内操作UAV相关联的安全风险可能与所述环境内的障碍物的数量和类型相关。不同类型的环境可能关联于不同数量和类型的障碍物。例如,高空环境可能具有很少的障碍物或者没有障碍物。与此相反,室内环境或低空环境可能具有更多的障碍物。一些类型的低空、室外环境(例如,田野和其他平坦的、开放的空间)可能具有比其他类型(例如,城区环境和其他人口高度密集的区域、森林)更少的障碍物。因此,在具有高障碍物密度的环境内操作的UAV可能暴露于增大的碰撞、几乎相撞或其他安全事故的风险。相反地,在低障碍物密度环境内的UAV操作可能相对安全。相比于静止障碍物,移动障碍物可能造成增大的风险,这是因为移动障碍物可能与UAV所采取的任何行动无关地与UAV相撞或阻碍UAV。
UAV可以在各种环境内根据一个或多个操作规则而操作。在一些实施方式中,所述一个或多个操作规则可以提供UAV的状态的一个或多个方面(例如,高度、纬度、经度、横滚、俯仰、偏航、平移速度、角速度、平移加速度、角加速度等)的范围、限度、值等。又例如,一个或多个操作规则可以提供用于实现一个或多个UAV功能性(例如,碰撞避免、故障检测、安全机制、导航、绘图、数据收集、数据处理等)的算法、逻辑、过程等。备选地或组合地,示例性操作规则可以提供用于控制UAV行为的一个或多个方面(例如,响应用户命令、响应检测到的障碍物、响应错误或故障、自主或半自主操作等)的算法、逻辑、过程等。
例如,在一些实施方式中,操作规则可以包括UAV的一个或多个速度规则。可应用于控制UAV的操作的示例性速度规则可以包括速度限制(例如,最大或最小速度值)、速度范围、速度值,或者其合适的组合。UAV的速度规则可以与UAV的最大速度相关。例如,速度限制或速度值可以是最大速度的约10%、20%、30%、40%、50%、60%、70%、80%、90%或100%。速度范围可以是在下列值中的任何两个之间:最大速度的10%、20%、30%、40%、50%、60%、70%、80%、90%或100%。速度规则可以应用于所有的运动方向(例如,上/下、左/右、前/后、横滚、俯仰、偏航)。或者,速度规则可以仅应用于沿着某些方向的移动。此外,速度规则对于所有的方向可以是相同的,或者对于一些方向可以是不同的。例如,针对平移移动的速度规则可以不同于针对旋转移动的速度规则。
备选地或组合地,还可以使用其他类型的操作规则,诸如为UAV姿态、高度、加速度等提供范围、限度和/或值的规则。本文关于速度规则的任何描述也可适用于其他类型的操作规则,并且反之亦然。
可选地,一组操作规则可以与UAV的飞行模式相关联。本文可以使用术语“飞行模式”来指代用于操作UAV的控制方案。可以使用各种类型的飞行模式来控制UAV,并且每一飞行模式可以包括不同的一组操作规则。在一些实施方式中,可以基于由飞行模式(例如,“自由”或“手动”、“全自主”或“半自主”飞行模式)提供的用户控制程度、用于使用飞行模式的预期环境类型(例如,“低空”、“高空”、“室内”、“室外”、“长距离”或“短距离”飞行模式)、飞行模式的操作规则(例如,“低速”、“中速”或“高速”飞行模式)或者其合适的组合来定义飞行模式。本文关于对一个或多个操作规则的确定的任何描述也可适用于对与所述一个或多个操作规则相关联的飞行模式的确定,并且反之亦然。可以使用任何合适的数目和组合的飞行模式,诸如一个、两个、三个、四个、五个或更多个不同的飞行模式,每一飞行模式对应于相应的一组操作规则。针对每一飞行模式的适当的操作规则可以按任何合适的方式来确定,例如,基于对先前飞行数据的分析、机器学习、来自测试用户的反馈等。
本文所描述的操作规则可以用于改善UAV操作的各个方面。例如,所述操作规则中的至少一些操作规则可被配置成用于降低与使用UAV相关联的安全风险。UAV的最佳操作规则可以基于当前环境条件(诸如存在于环境内的障碍物的数量和类型)而改变。因此,可以实现合适的方法来评估UAV周围的环境,以便确定一组适当的操作规则。
图2图示了根据实施方式的用于确定用以在环境内控制UAV的操作规则的方法200。方法200,与本文所介绍的所有方法一样,可以使用本文所描述的系统和装置的任何实施方式来实践。例如,方法200的一个或多个步骤可以由单个地或共同地操作的一个或多个处理器来执行。一些处理器可由UAV携带(例如,机载处理器)。备选地或组合地,一些处理器可以从远程位置(例如,远程计算系统或装置)与UAV通信。在一些实施方式中,远程装置可以是遥控器,如本文进一步详述,其接受一个或多个用户输入以控制另一装置的一个或多个部件(例如,UAV或其部分、显示单元或者其他外部装置)。方法200可以在无需任何用户输入或人工干预的情况下以全自动化方式执行。在一些实施方式中,方法200的步骤在UAV的操作期间实时执行,从而提供对UAV操作规则的基于情景的实时调节。
在步骤210中,从一个或多个传感器接收环境的传感器数据。可以使用适于收集环境信息的任何传感器,包括位置传感器(例如,全球定位系统(GPS)传感器、支持位置三角测量法的移动装置发射器)、视觉传感器(例如,能够检测可见光、红外光或紫外光的成像装置,诸如相机)、距离传感器(例如,超声传感器、激光雷达、飞行时间相机)、惯性传感器(例如,加速度计、陀螺仪、惯性测量单元(IMU))、高度传感器、压力传感器(例如,气压计)、音频传感器(例如,麦克风)或场传感器(例如,磁力计、电磁传感器)。可以使用任何合适数目和组合的传感器,诸如一个、两个、三个、四个、五个或更多个传感器。可选地,可以从不同类型(例如,两种、三种、四种、五种或更多种类型)的传感器接收数据。不同类型的传感器可以测量不同类型的信号或信息(例如,位置、定向、速度、加速度、距离、压力等)以及/或者利用不同类型的测量技术来获得数据。例如,传感器可以包括主动式传感器(例如,生成和测量来自其各自的源的能量的传感器)和被动式传感器(例如,检测可用能量的传感器)的任何合适的组合。
传感器数据可以提供各种类型的环境信息。例如,传感器数据可以指示出环境类型,诸如室内环境、室外环境、低空环境或高空环境。传感器数据还可以提供关于当前环境条件的信息,包括气象(例如,晴朗、下雨、下雪)、能见度条件、风速、当日时间等。此外,由传感器收集的环境信息可以包括关于环境中的障碍物的信息,诸如障碍物的数目、由障碍物占据的空间的体积或百分比、由障碍物占据的距UAV一定距离内的空间的体积或百分比、不受障碍物阻碍的空间的体积或百分比、不受障碍物阻碍的距UAV一定距离内的空间的体积或百分比、障碍物到UAV的距离、障碍物密度(例如,每单位空间的障碍物的数目)、障碍物的类型(例如,静止的或移动的)、障碍物的空间布局(例如,位置、定向)、障碍物的运动(例如,速度、加速度)等。
在一些实施方式中,至少一些传感器可被配置成用于提供关于UAV的状态的数据。由传感器提供的状态信息可以包括关于UAV的空间布局的信息(例如,位置、定向)。状态信息还可以包括关于UAV的运动的信息(例如,平移速度、平移加速度、角速度、角加速度等)。例如,传感器可被配置成用于确定UAV关于多达六个自由度(例如,在位置和/或平移中的三个自由度、在定向和/或旋转中的三个自由度)的空间布局和/或运动。可以提供相对于整体参考系或相对于另一实体的参考系的状态信息。
本文所描述的传感器可由UAV携带。传感器可位于UAV的任何合适的部分,诸如在UAV的机体之上、之下、一个或多个侧面上或之内。一些传感器可以机械耦合至UAV,以使得UAV的空间布局和/或运动对应于传感器的空间布局和/或运动。传感器可经由刚性耦合而耦合至UAV,以使得所述传感器不相对于其所附着的UAV的部分而移动。或者,传感器与UAV之间的耦合可以允许所述传感器相对于UAV移动。耦合可以是永久耦合或非永久(例如,可拆卸)耦合。合适的耦合方法可以包括粘合剂、粘结、焊接和/或紧固件(例如,螺钉、钉、销等)。可选地,传感器可与UAV的一部分一体形成。此外,传感器可以与UAV的一部分(例如,处理单元、控制系统、数据存储)电耦合,以便使得由传感器收集的数据能够用于UAV的各种功能(例如,导航、控制、推进、与用户或其他装置通信等),诸如本文所讨论的实施方式。
在步骤220中,基于传感器数据来确定环境的环境复杂度因子。在使用多个传感器来收集环境信息的实施方式中,可以使用合适的传感器融合方法(例如,卡尔曼滤波器(Kalman filter)、扩展卡尔曼滤波器、无迹卡尔曼滤波器,或者其组合)来组合传感器数据。组合的或融合的传感器数据可以继而用于生成UAV周围的环境(包括所述环境中存在的任何障碍物)的表示。继而可以基于所生成的环境表示来计算环境复杂度因子。如前文所述,环境复杂度因子可以用于表示环境被障碍物占据的程度。环境复杂度因子可以是定量度量或定性度量。在一些实施方式中,环境复杂度因子基于下列各项中的一项或多项来确定:障碍物的数目、由障碍物占据的空间的体积或百分比、由障碍物占据的距UAV一定距离内的空间的体积或百分比、不受障碍物阻碍的空间的体积或百分比、不受障碍物阻碍的距UAV一定距离内的空间的体积或百分比、障碍物到UAV的距离、障碍物密度(例如,每单位空间的障碍物的数目)、障碍物的类型(例如,静止的或移动的)、障碍物的空间布局(例如,位置、定向)、障碍物的运动(例如,速度、加速度)等。例如,具有相对较高的障碍物密度的环境将会关联于高环境复杂度因子(例如,室内环境、城区环境),而具有相对较低的障碍物密度的环境将会关联于低环境复杂度因子(例如,高空环境)。又例如,在其中大百分比的空间被障碍物所占据的环境将会具有较高的复杂度,而具有大百分比的不受阻碍的空间的环境将会具有较低的复杂度。下文更详细地提供了用于确定环境的环境复杂度因子的示例性方法。
在步骤230中,基于环境复杂度因子来确定针对无人飞行器的操作的一个或多个操作规则。如前文所描述,至少一些操作规则可被配置成用于降低与环境障碍物的碰撞的可能性。因此,基于与这样的环境相关联的不同的障碍物密度,相对复杂的环境的操作规则可能不同于较不复杂的环境的操作规则。
例如,操作规则可以包括速度规则,所述速度规则被配置成用于最小化和/或防止UAV与环境内的障碍物之间的碰撞。例如,速度规则可以向UAV的速度提供约束(例如,关于多达三个平移自由度和多达三个旋转自由度),以便确保UAV在以最大可允许速度移动时,能够在与障碍物相碰撞之前停下来(例如,使用自动化防碰撞机制或者通过用户干预)。因此,可以将UAV约束成在处于复杂环境内时以相比于较不复杂的环境更低的速度移动。在一些实施方式中,当在高度复杂的环境内操作时,可以将UAV约束成以小于或等于约6m/s,或者在1m/s至6m/s范围内的速度移动。相反地,当在较不复杂的环境内操作时,可以将UAV约束成以小于或等于约13m/s,或者在10m/s至15m/s范围内的速度移动。可选地,速度规则可以根据UAV的当前操作阶段(包括起飞、降落和飞行期间)而不同。例如,当UAV最初起飞并且存在相对少的传感器数据可用时,速度规则可以为所述UAV设定降低的速度限制,诸如约7m/s,或者在5m/s至10m/s范围内。在一些情况下,可能期望UAV与环境障碍物保持的距离大于或等于最小制动距离。因此,可以基于UAV的最小制动距离而确定速度规则。所述最小制动距离可以根据以下关系随速度而改变;
v2=2as,
其中,v表示速度,a表示最大加速度(例如,6.8m/s2),并且S表示使UAV停下(悬停就位)的最小制动距离。例如,当UAV以7m/s的平移速度移动时,对应的最小制动距离可约为3m至4m,并且可能需要约2s至3s来使UAV停下来。
可选地,还可以基于UAV或其部件的一个或多个特性来确定操作规则,所述特性诸如为推进系统的功率输出、制动能力、传感器可靠性和准确度、尺寸(例如,长度、宽度、高度、体积)、重量等。例如,比起较小、较轻的UAV,较大、较重的UAV可能存在更多的安全隐患,并且因此可能受制于更严格的操作规则以防止碰撞、摔机着陆和其他事故。此外,还可以基于对驾驶UAV的用户经验的质量的考虑来确定操作规则。操作规则可被配置成用于避免对UAV的手动控制设置不必要的或过度的约束。例如,可能期望允许用户以还满足本文所述的安全准则的最大速度限制和/或范围来操作UAV。
在一些实施方式中,可以基于先前获取的飞行数据来确定针对特定环境的适当的操作规则。飞行数据可在UAV或其他UAV(例如,相同或相似型号或类型,或者不同型号或类型的UAV)的先前飞行期间收集,并且可以包括关于UAV状态的信息(例如,位置、定向、速度、加速度、姿态、高度、传感器数据、传感器噪声,或者其合适的组合),以及如前文所述的环境信息和/或障碍物信息。可以使用机器学习技术来分析飞行数据,以便提供分析结果来为操作规则的确定提供信息。例如,可以在先前获取的飞行数据上训练机器学习算法或模型,以便辨别针对各种类型的环境条件和情景的最佳操作规则。备选地或组合地,可以使用大数据处理技术来分析所收集的飞行数据。可以使用适当的计算系统在UAV的操作之前执行数据分析和/或机器学习,并且可以使结果能够由一个或多个UAV处理器访问(例如,储存在UAV机上)以用于确定操作规则。
在步骤240中,使UAV在遵循所述一个或多个操作规则的同时操作。所述操作规则可在UAV被手动地、半自主地或全自主地控制时适用。例如,UAV可以接收指示出UAV的期望移动(例如,期望的平移、旋转、速度和/或加速度)的信号(例如,来自用户的输入命令、来自自动化控制系统的控制指令)。UAV(或本文所提供的任何其他合适的系统或装置)的一个或多个机载处理器可以确定UAV是否可以在遵守所述操作规则的同时按接收到的信号的指令而移动。如果是,则处理器可以生成控制指令,所述控制指令被传输至UAV推进系统,以便使UAV执行移动。如果不是,则处理器可以修改信号以使得产生的移动遵守操作规则,并且向推进系统提供对应的指令。例如,如果用户命令UAV以超出所确定的速度限制的速度移动,则处理器可以改为使UAV以小于或等于由速度限制所指定的最大速度的速度移动。在这样的情况下,不管用户提供什么输入,UAV均可不超过最大速度。此外,前文所描述的一个或多个传感器可以用于测量UAV的当前状态(例如,位置、定向、速度、加速度),并且向UAV控制系统提供反馈,以确保操作规则持续得到遵从。可以应用各种技术来减小传感器测量的噪声,以便提高UAV控制的稳定性,所述技术诸如为滤波、传感器融合(例如,使用卡尔曼滤波器)、时间平均等。
尽管上述步骤示出了根据实施方式的控制UAV的方法200,但本领域普通技术人员将会认识到基于本文所描述的教导的许多变体。一些步骤可以包括子步骤。在一些实施方式中,步骤220是可选的,以使得在步骤230中不考虑环境复杂度因子而基于传感器数据来确定操作规则。许多步骤可以在有益的情况下尽可能多次地重复。例如,在UAV的操作期间可以不断地或者以预定时间间隔重复步骤210、步骤220、步骤230和步骤240,以便提供对操作规则的动态和自适应确定。因此,方法200可以用于检测环境的障碍物含量(例如,障碍物密度)的改变,如在所确定的环境复杂度因子中的改变所指示。随后可以修改操作规则以反映环境复杂度因子的改变,从而基于当前环境情景而动态地适应UAV控制方案。例如,如果检测到障碍物密度的减小(如由环境复杂度因子的减小所证明),则可以增大速度限制。相反地,如果检测到障碍物密度的增大(对应于环境复杂度的增大),则可以减小速度限制。
图3图示了根据实施方式的用于控制UAV的方法300。方法300的步骤可以与本文所提供的其他方法的任何步骤相结合或被其替代。此外,方法300的任何步骤可以根据需要而被重复、省略或与其他步骤相结合。类似于方法200,方法300的一个或多个步骤可以在UAV操作期间实时执行。
在步骤310中,从一个或多个传感器接收环境的传感器数据。类似于方法200的步骤210,所述一个或多个传感器可以是不同类型的传感器。例如,UAV可以携带一个或多个视觉传感器(例如,包括一对相机的立体视觉传感器)以及一个或多个距离传感器(例如,激光雷达传感器、超声传感器、飞行时间相机)。视觉传感器和距离传感器可被配置成用于捕捉UAV周围环境的数据,诸如关于环境内的障碍物的几何结构、密度和空间布局的数据。在一些实施方式中,传感器可以跨UAV周围的视野,并且可以提供关于位于距UAV40m的半径内的障碍物的信息。
在步骤320中,对传感器数据进行预处理。可以执行预处理以校正传感器误差、提高信噪比和/或增强传感器数据的质量和可靠性。可以使用任何合适的数据预处理技术,诸如滤波、时间平均等。例如,对于图像数据,可以使用诸如直方图均衡化等图像处理方法来提高图像数据质量。可选地,可以组合来自冗余传感器的数据,以便减小来自任何一个传感器的噪声或误差的影响。
在步骤330中,基于经预处理的传感器数据来生成环境的三维(3D)数字重建。在使用多个传感器来捕捉环境信息的实施方式中,可以通过使用合适的传感器融合方法(例如,卡尔曼滤波器、扩展卡尔曼滤波器、无迹卡尔曼滤波器等)将来自每个传感器的数据相结合来产生3D重建。传感器数据可以是已经以3D格式提供的,或者以其他方式包含3D环境信息。例如,诸如激光雷达传感器或超声传感器等距离传感器可以按3D点云的形式生成环境数据。或者,其他类型的传感器数据可能需要附加的处理以便产生3D表示。例如,立体视觉传感器可以包括一对相机,每个相机用于获取相应的一组图像数据。可以使用适当的计算机视觉算法来分析由每个相机捕捉的图像数据,以便生成表示成像环境的3D模型。在一些实施方式中,可以对比来自两个相机的图像数据以便确定在每对图像之间的视差,并从而生成包含环境障碍物的深度信息的视差图。
图4图示了根据实施方式的由环境的传感器数据生成的示例性视差图400。在视差图400中,浅色区域表示相对靠近相机的物体,而深色区域表示相对远离相机的物体。如上文所述,视差图可以基于来自一对相机的图像数据而生成。例如,环境中的物体的表面上的点P的3D坐标(xw,yw,zw)可以通过对下式求解而确定:
其中u、v表示图像数据中P的坐标,u0、v0表示相机的内部参数,f是焦距,b是相机之间的距离,并且d是成对的图像数据之间的视差。
备选地或组合地,还可以使用其他类型的3D数字重建。例如,可以使用占据网格来表示环境内的障碍物的空间布局。环境可被表示为三维网格,其中每个位置由障碍物占据、未被占据或者是未知的(例如,由于不充足的或不可靠的传感器数据)。在一些实施方式中,可以通过将来自视觉传感器和距离传感器的数据相结合而生成占据网格。继而可以分析占据网格以确定各种指标(例如,总占据体积、总未占据体积、占据空间与未占据空间之比),所述指标可以用于确定环境复杂度因子。
在步骤340中,基于3D重建来确定环境复杂度因子。为了确定环境复杂度因子,可以使用任何合适的技术。例如,在一些实施方式中,使用3D重建来计算各种障碍物相关统计,诸如环境内每个位置处的障碍物的数目。继而可以分析计算得出的统计以便确定环境的总熵,所述总熵可以与环境复杂度相关(例如,高熵对应于高环境复杂度因子,低熵对应于低环境复杂度因子)。可以使用各种方法来辨别3D环境重建和/或传感器数据中的障碍物,所述方法诸如为计算机视觉和图像识别方法。例如,可以实现特征提取算法以便检测指示出障碍物的特征(例如,图像数据中的方向梯度直方图(HOG)特征、3D点云数据中的表面法向特征)。可以使用分类算法来区分环境重建中的障碍物和非障碍物。在一些实施方式中,本文所描述的环境复杂度分析技术可以利用经适当训练的机器学习算法和模型来执行特征提取和/或障碍物检测及分类。
图5图示了根据实施方式的指示出环境中的障碍物密度的直方图500。可以基于3D环境重建,诸如3D点云、3D视差图(例如,图4的图400)或者3D占据网格,通过确定在重建中的每个位置处的障碍物的数目而生成直方图500。在图5的描绘中,直方图500提供了障碍物频率与距UAV的距离的图形化表示。直方图分布可以基于环境内的障碍物的空间布局和分布而改变。例如,在UAV附近存在相对较高的障碍物密度的情况下,近距离直方图条(histogram bin)的障碍物频率相对于远距离条将会更高。相反地,当大多数障碍物相对远离UAV时,相比于远距离条,近距离条的障碍物频率将会更低。此外,在具有低障碍物密度的环境中,直方图500可具有相对均匀的分布(例如,低熵),而高障碍物密度可导致直方图500具有非均匀分布(例如,高熵)。直方图500的特性和统计(例如,分布模式、平均值、中数、众数、熵)可以用于确定环境复杂度因子。
在步骤350中,基于环境复杂度因子来确定一个或多个操作规则。如前文所述,可以选择操作规则以便为针对具有给定复杂度因子的环境的各种UAV操作参数提供适当的限度、范围和/或值,以便使与障碍物相碰撞的可能性最小化。此外,可以在操作规则的确定过程中应用合适的降噪方法,以便避免由传感器噪声或误差导致的控制方案的不期望的波动。在一些情况下,在连续的时间点处确定的操作规则可能例如由于含噪声的传感器数据或传感器精度的限制而实质上变化。为了抵消这种不稳定性,可以将在当前时间点期间确定的操作规则与在一个或多个先前时间点期间确定的一个或多个操作规则相对比。可以将当前和先前确定的操作规则相结合(例如,求平均),以便生成适用于控制UAV的操作的最终一组操作规则。备选地或组合地,可以应用合适的滤波方法来降低操作规则确定的“噪度”。
图6图示了根据实施方式的用于确定速度规则的先进先出(FIFO)队列600。FIFO队列600可以用于组合在UAV的操作期间各个时间点处确定的速度规则,以便提高UAV速度控制方案的稳定性。尽管FIFO队列600是在速度规则的情景下介绍的,但队列600也可适用于对其他类型的操作规则的确定,诸如前文所述的实施方式。
队列600包含多个先前确定的速度规则602a-602f,每个速度规则是在当前时间点t之前的对应时间点处确定的。队列600可以储存任何数目的先前确定的速度规则602a-602f,诸如一个、两个、三个、四个、五个、六个或更多个先前确定的速度规则。先前确定的速度规则602a-602f各自可以使用本文所描述的任何方法而生成,并且按顺序添加至队列600。例如,速度规则602b可能已在时间t-2处被添加至队列600。随后,速度规则602a可能已在点t-1处被添加至队列600。在当前时间点t处,如本文所描述,可以在当前时间点t确定最新的速度规则604并将其添加至队列600。当最新的速度规则604被添加时,可以从队列600移除最旧的一组速度规则602f。此过程可以在UAV的操作期间重复,以使得队列600得到持续更新以便储存最近确定的速度规则。每个时间点之间的间隔可以是恒定的或者可以改变。例如,可以约每0.1s更新队列600,以添加新确定的速度规则和移除最旧的速度规则。
储存在队列600中的速度规则可以按任何合适的方式相结合,以便确定用于控制UAV的最终速度规则。在一些实施方式中,由储存的速度规则的加权平均数来确定最终速度规则。所述加权平均数可以向更近期确定的速度规则分配较大权重,而向较旧的速度规则分配较小权重。例如,可以应用以下方程来确定最终速度限制Vf
Vf=0.1Vt-4+0.15Vt-3+0.2Vt-2+0.25Vt-1+0.3Vt
其中Vt-4、Vt-3、Vt-2、Vt-1和Vt分别是在时间t-4、t-3、t-2、t-1和t处确定的速度限制。
在步骤360中,确定UAV的附加操作规则。附加操作规则可以独立于环境复杂度因子而确定,并且因此可以不同于在步骤350中确定的规则。附加操作规则可以包括本文所介绍的操作规则的任何实施方式。在一些实施方式中,附加规则可被配置成用于确保平稳而稳定的UAV飞行。如前文所述,UAV姿态可与UAV加速度相关,以使得UAV在向指定速度加速或减速时采取某种姿态。然而,极端的姿态和/或突然的姿态改变对于飞行稳定性、功耗以及某些UAV应用(例如,使用由UAV携带的相机进行航拍)可能是不期望的。相反,对于UAV,通过产生更温和的UAV姿态的递增或逐渐加速来达到期望的速度可能是优选的。因此,可以确定合适的姿态规则,诸如针对UAV操作的姿态限制和/或范围,以便确保平稳而稳定的UAV移动。姿态规则可以根据需要而改变,以便优化UAV姿态控制方案。姿态限制可以相对于UAV的垂直轴线小于或等于约姿态范围可以在距垂直轴线的范围内。类似地,可以确定合适的加速度规则,诸如加速度限制和/或范围,以便提供平稳的UAV飞行,这可能与对应的姿态限制和/或范围相关。备选地或组合地,可以通过使用低通滤波器和/或其他平滑算法来确定适当的UAV姿态(或加速度)值,以便减少或消除突然的姿态改变(或加速度改变)。又例如,本文所描述的系统和装置可以确定适当的高度规则,诸如UAV的高度范围。与在低空操作的UAV相比,可以允许在高空操作的UAV以更高的速度移动。
在步骤370中,使UAV在遵守一个或多个操作规则和其他控制规则的同时操作(例如,通过一个或多个处理器,或者本文所描述的任何其他系统或装置)。类似于方法200的步骤240,UAV可以接收指示出期望的移动的信号,并且可以根据需要而调节期望的移动以确保操作规则和/或控制规则得到遵守。此外,可以使用实时传感器测量来监控UAV状态并提供反馈,以确保所述UAV持续遵从操作规则和/或其他控制规则。
尽管本文的一些实施方式可能介绍了用于对UAV操作规则的基于情景的全自动化确定的方法,其他实施方式可以提供用于接收指示出对于UAV控制方案的用户偏好的用户输入的机制。例如,操作UAV的用户可以基于其自己关于当前飞行环境和障碍物密度的判断,来确定一组用于操作UAV的期望操作规则。因此,当确定适当的一组操作规则时,本文的实施方式除了诸如环境复杂度因子等环境考虑之外,可以利用用户输入。
图7图示了根据实施方式的用于控制UAV的方法700。方法700的步骤可以与本文所提供的其他方法的任何步骤相结合或者由其所替代。此外,方法700的任何步骤可以根据需要而被重复、省略或与其他步骤相结合。方法700的一个或多个步骤可以在UAV的操作期间实时执行。
在步骤710中,基于传感器数据,使用本文所介绍的任何技术来确定UAV的第一组操作规则。
在步骤720中,接收指示出UAV的第二组操作规则的用户输入。用户可以提供定义或选择UAV的第二组操作规则的输入数据。可选地,用户可以指示出与一组操作规则相关联的优选飞行模式,如前文所述,而不是直接输入操作规则。例如,用户可以能够选择低速飞行模式、中速飞行模式或高速飞行模式。类似地,室内和室外飞行模式也可以与不同的操作规则相关联。用于选择操作规则和/或飞行模式的用户输入可以经由合适的遥控器(本文也称为“终端”)、移动装置或其他与UAV通信的输入装置而提供给UAV。因此,当需要时,用户可以向UAV传输指示出优选控制方案的命令。
图8图示了根据实施方式的用于控制UAV的遥控器800。遥控器800可以包括大小设定成由用户手持的控制器主体802。一个或多个操纵杆804可以安装于主体802上,并且用作用于控制UAV的空间布局的输入机构。主体802还可以包括其他类型的输入机构,诸如一个或多个开关806、旋钮808和/或滑动开关810。可选地,还可以使用替代的输入机构,诸如按钮、标度盘、触摸屏、小键盘、语音控制、手势控制、用以检测控制器800的倾斜和/或姿态的惯性传感器等。输入机构可由用户手动地设定于一个或多个位置,每个所述位置对应于用于控制UAV的预定输入。例如,可以将旋钮808(例如,沿着由箭头所指示的逆时针方向)转动至多个停止位,每一停止位表示不同的相应输入值。
在一些实施方式中,输入机构可由用户操纵以输入用户优选的操作规则和/或飞行模式。例如,旋钮808的每一停止位可以对应于与一组操作规则相关联的飞行模式。用户可以将旋钮808转动至适当的停止位,以便指示出用于操作UAV的期望飞行模式。类似地,用户可以使用诸如开关806和/或开关810等其他输入机构,以便选择飞行模式。附加地或组合地,可以使用除遥控器800之外的其他类型的装置来提供用户输入。例如,UAV可以与运行合适的移动应用软件(“app”)的移动装置(例如,智能电话)相通信,所述移动应用软件可以生成针对UAV的控制指令。所述app可被配置成用于从用户获取指示出期望操作规则的输入。如上文所述,用户可以直接输入操作规则,或者可以选择与一组操作规则相关联的飞行模式。
在步骤730中,选择第一组或第二组操作规则中之一以用于控制UAV。在环境复杂度因子建议第一组操作规则而用户输入指示出不同的第二组操作规则的情况下,可以应用合适的方法来选择两组中之一以用于控制UAV。例如,本文的一些实施方式可以优先选择“最安全”的一组(例如,最不可能导致与障碍物的碰撞的一组)。如果用户指定了第一速度限制μA,而所确定的环境复杂度因子对应于第二速度限制μB,则可以通过选择两个速度限制中的较小者来确定所要使用的实际速度限制μ(例如,μ=min(μAB))。
在步骤740中,如前文所述,使UAV在遵守第一组或第二组操作规则中的选定的一组操作规则的同时操作。
本文所描述的系统、装置和方法可以适用于多种可移动物体。如前文所述,本文对飞行器的任何描述均可适用于和用于任何可移动物体。本发明的可移动物体可被配置成用于在任何合适的环境内移动,诸如在空中(例如,固定翼飞行器、旋翼飞行器或者既不具有固定翼也不具有旋翼的飞行器)、在水中(例如,船舶或潜艇)、在地面上(例如,机动车,诸如轿车、卡车、公交车、厢式货车、摩托车;可移动结构或框架,诸如棒状物、钓鱼竿;或者火车)、在地下(例如,地铁)、在太空(例如,航天飞机、卫星或探测器),或者这些环境的任何组合。可移动物体可以是载运工具,诸如本文其他各处所描述的载运工具。在一些实施方式中,可移动物体可以安装在诸如人类或动物等活体身上。合适的动物可以包括禽类、犬类、猫类、马类、牛类、羊类、猪类、海豚、啮齿类或昆虫。
可移动物体可以能够在所述环境内关于六个自由度(例如,三个平移自由度和三个旋转自由度)而自由移动。或者,可移动物体的移动可能关于一个或多个自由度受到约束,诸如由预定路径、轨迹或定向所约束。所述移动可以由诸如引擎或电机等任何合适的致动机构所致动。可移动物体的致动机构可以由任何合适的能源提供动力,所述能源诸如为电能、磁能、太阳能、风能、引力能、化学能、核能或者其任何合适的组合。可移动物体可以如本文其他各处所述,经由推进系统而自推进。所述推进系统可以可选地依靠能源运行,所述能源诸如为电能、磁能、太阳能、风能、引力能、化学能、核能或者其任何合适的组合。或者,可移动物体可以由生物所携带。
在一些情况下,所述可移动物体可以是载运工具。合适的载运工具可以包括水上载运工具、飞行器、太空载运工具或地面载运工具。例如,飞行器可以是固定翼飞行器(例如,飞机、滑翔机)、旋翼飞行器(例如,直升机、旋翼飞机)、同时具有固定翼和旋翼的飞行器或者既无固定翼又无旋翼的飞行器(例如,飞艇、热气球)。载运工具可以是自推进式,诸如在空中、在水上或水中、在太空中或者在地上或地下自推进。自推进式载运工具可以利用推进系统,诸如包括一个或多个引擎、电机、轮子、轮轴、磁体、旋翼、螺旋桨、桨叶、喷嘴或者其任何合适组合的推进系统。在一些情况下,推进系统可以用于使可移动物体能够从表面起飞、降落在表面上、保持其当前位置和/或定向(例如,悬停)、改变定向和/或改变位置。
可移动物体可以由用户遥控或者由可移动物体之内或之上的乘员在本地控制。在一些实施方式中,可移动物体是无人的可移动物体,诸如UAV。无人的可移动物体(诸如UAV)可以不具有搭乘所述可移动物体的乘员。可移动物体可以由人类或自主控制系统(例如,计算机控制系统)或者其任何合适的组合来控制。可移动物体可以是自主式或半自主式机器人,诸如配置有人工智能的机器人。
可移动物体可以具有任何合适的大小和/或尺寸。在一些实施方式中,可移动物体可以具有能容纳人类乘员身处载运工具之内或之上的大小和/或尺寸。或者,可移动物体可以具有比能够容纳人类乘员身处载运工具之内或之上的大小和/或尺寸更小的大小/或尺寸。可移动物体可以具有适合于由人类搬运或携带的大小和/或尺寸。或者,可移动物体可以大于适合由人类搬运或携带的大小和/或尺寸。在一些情况下,可移动物体可以具有的最大尺寸(例如,长度、宽度、高度、直径、对角线)小于或等于约:2cm、5cm、10cm、50cm、1m、2m、5m或10m。所述最大尺寸可以大于或等于约:2cm、5cm、10cm、50cm、1m、2m、5m或10m。例如,可移动物体的相对的旋翼的轴之间的距离可以小于或等于约:2cm、5cm、10cm、50cm、1m、2m、5m或10m。或者,相对的旋翼的轴之间的距离可以大于或等于约:2cm、5cm、10cm、50cm、1m、2m、5m或10m。
在一些实施方式中,可移动物体可以具有小于100cm x 100cmx 100cm、小于50cmx 50cm x 30cm或小于5cm x 5cm x 3cm的体积。可移动物体的总体积可以小于或等于约:1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。相反地,可移动物体的总体积可以大于或等于约:1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3
在一些实施方式中,可移动物体可以具有的占地面积(这可以指由所述可移动物体所包围的横截面面积)小于或等于约:32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。相反地,所述占地面积可以大于或等于约:32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2
在一些情况下,可移动物体可以不超过1000kg重。可移动物体的重量可以小于或等于约:1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。相反地,所述重量可以大于或等于约:1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。
在一些实施方式中,可移动物体相对于所述可移动物体所携带的负载可以较小。如下文进一步详述,所述负载可以包括有效载荷和/或载体。在一些示例中,可移动物体的重量与负载重量之比可以大于、小于或等于约1:1。在一些情况下,可移动物体的重量与负载重量之比可以大于、小于或等于约1:1。可选地,载体重量与负载重量之比可以大于、小于或等于约1:1。当需要时,可移动物体的重量与负载重量之比可以小于或等于:1:2、1:3、1:4、1:5、1:10或者甚至更小。相反地,可移动物体的重量与负载重量之比还可以大于或等于:2:1、3:1、4:1、5:1、10:1或者甚至更大。
在一些实施方式中,可移动物体可以具有低能耗。例如,可移动物体可以使用小于约:5W/h、4W/h、3W/h、2W/h、1W/h或更小。在一些情况下,可移动物体的载体可以具有低能耗。例如,所述载体可以使用小于约:5W/h、4W/h、3W/h、2W/h、1W/h或更小。可选地,可移动物体的有效载荷可以具有低能耗,诸如小于约:5W/h、4W/h、3W/h、2W/h、1W/h或更小。
图9图示了根据本发明的实施方式的UAV 900。所述UAV可以是本文所述的可移动物体的示例。UAV 900可以包括具有四个旋翼902、904、906和908的推进系统。可以提供任何数目的旋翼(例如,一个、两个、三个、四个、五个、六个或更多个)。所述旋翼可以是本文其他各处所述的自紧式旋翼的实施方式。无人飞行器的旋翼、旋翼组件或其他推进系统可使所述无人飞行器能够悬停/保持位置、改变定向和/或改变位置。相对的旋翼的轴之间的距离可以是任何合适的长度910。例如,长度910可以小于或等于2m,或者小于或等于5m。在一些实施方式中,长度910可以在从40cm到1m、从10cm到2m或者从5cm到5m的范围内。本文对UAV的任何描述均可适用于可移动物体,诸如不同类型的可移动物体,并且反之亦然。
在一些实施方式中,可移动物体可以被配置成用于携带负载。所述负载可以包括乘客、货物、设备、仪器等之中的一种或多种。所述负载可以提供在外壳内。所述外壳可以与可移动物体的外壳相分离,或者是可移动物体的外壳的一部分。或者,负载可以具备外壳,而可移动物体不具有外壳。或者,负载的一些部分或者整个负载可以在不具有外壳的情况下提供。负载可以相对于所述可移动物体刚性固定。可选地,负载可以是相对于可移动物体可以移动的(例如,可以相对于可移动物体平移或旋转)。
在一些实施方式中,负载包括有效载荷。所述有效载荷可被配置成不执行任何操作或功能。或者,有效载荷可以是被配置成用于执行操作或功能的有效载荷,也称为功能性有效载荷。例如,有效载荷可以包括一个或多个传感器,用于勘测一个或多个目标。可以向有效载荷中合并任何合适的传感器,诸如图像捕捉装置(例如,相机)、音频捕捉装置(例如,抛物面麦克风)、红外成像装置或紫外成像装置。所述传感器可以提供静态感测数据(例如,照片)或动态感测数据(例如,视频)。在一些实施方式中,传感器提供针对有效载荷的目标的感测数据。备选地或组合地,有效载荷可以包括一个或多个发射体,用于向一个或多个目标提供信号。可以使用任何合适的发射体,诸如照明源或声源。在一些实施方式中,有效载荷包括一个或多个收发器,诸如用于与远离可移动物体的模块通信的收发器。可选地,有效载荷可被配置成用于与环境或目标交互。例如,有效载荷可以包括能够操纵物体的工具、仪器或机构,诸如机械臂。
可选地,负载可以包括载体。可以提供载体用于有效载荷,并且所述有效载荷可经由所述载体直接地(例如,直接接触可移动物体)或间接地(例如,不接触可移动物体)耦合至可移动物体。相反地,有效载荷可在无需载体的情况下安装于可移动物体上。有效载荷可以与载体一体形成。或者,有效载荷可以可拆卸地耦合至载体。在一些实施方式中,有效载荷可以包括一个或多个有效载荷元件,并且所述有效载荷元件中的一个或多个可以如上文所述是相对于可移动物体和/或载体可移动的。
载体可以与可移动物体一体形成。或者,载体可以可拆卸地耦合至可移动物体。载体可以直接地或间接地耦合至可移动物体。载体可以向有效载荷提供支撑(例如,承载所述有效载荷的重量的至少一部分)。载体可以包括能够稳定和/或引导有效载荷的移动的合适的安装结构(例如,云台平台)。在一些实施方式中,载体可以适于控制有效载荷相对于可移动物体的状态(例如,位置和/或定向)。例如,载体可被配置成用于相对于可移动物体而移动(例如,关于一个、两个或三个平移自由度以及/或者一个、两个或三个旋转自由度),以使得有效载荷与可移动物体的移动无关地保持其相对于合适的参考系的位置和/或定向。所述参考系可以是固定参考系(例如,周围环境)。或者,所述参考系可以是移动参考系(例如,可移动物体、有效载荷目标)。
在一些实施方式中,载体可被配置成用于允许有效载荷相对于载体和/或可移动物体的移动。所述移动可以是关于多达三个自由度的平移(例如,沿着一个、两个或三个轴线)或者是关于多达三个自由度的旋转(例如,围绕一个、两个或三个轴线),或者是其任何合适的组合。
在一些情况下,载体可以包括载体框架组件以及载体致动组件。所述载体框架组件可以向有效载荷提供结构支撑。载体框架组件可以包括单个的载体框架部件,其中一些部件可以是可相对于彼此移动的。所述载体致动组件可以包括一个或多个致动器(例如,电机),所述致动器致动单个载体框架部件的移动。致动器可以允许多个载体框架部件的同时移动,或者可被配置成用于每次允许单一载体框架部件的移动。载体框架部件的移动可以产生有效载荷的对应移动。例如,载体致动组件可以致动一个或多个载体框架部件围绕一个或多个旋转轴线(例如,横滚轴、俯仰轴或偏航轴)的旋转。所述一个或多个载体框架部件的旋转可以使有效载荷相对于可移动物体围绕一个或多个旋转轴线旋转。备选地或组合地,载体致动组件可以致动一个或多个载体框架部件沿着一个或多个平移轴线的平移,并从而产生有效载荷相对于可移动物体沿着一个或多个对应的轴线的平移。
在一些实施方式中,可移动物体、载体和有效载荷相对于固定参考系(例如,周围环境)和/或相对于彼此的移动可以由终端来控制。所述终端可以是处于远离所述可移动物体、载体和/或有效载荷的位置处的遥控装置。终端可以安置于支撑平台上或者固定至支撑平台。或者,终端可以是手持式或可穿戴式装置。例如,终端可以包括智能电话、平板计算机、膝上型计算机、计算机、眼镜、手套、头盔、麦克风或者其合适的组合。终端可以包括用户接口,诸如键盘、鼠标、操纵杆、触摸屏或显示器。任何合适的用户输入均可用于与终端交互,诸如手动输入命令、语音控制、手势控制或位置控制(例如,经由终端的移动、位置或倾斜)。
终端可以用于控制可移动物体、载体和/或有效载荷的任何合适的状态。例如,终端可以用于控制可移动物体、载体和/或有效载荷相对于固定参考物从和/或向彼此的位置和/或定向。在一些实施方式中,终端可以用于控制可移动物体、载体和/或有效载荷的单个元件,诸如载体的致动组件、有效载荷的传感器或者有效载荷的发射体。终端可以包括适于与可移动物体、载体或有效载荷中的一个或多个相通信的无线通信装置。
终端可以包括用于查看可移动物体、载体和/或有效载荷的信息的合适的显示单元。例如,终端可被配置成用于显示可移动物体、载体和/或有效载荷的信息,所述信息关于位置、平移速度、平移加速度、定向、角速度、角加速度或其任何合适的组合。在一些实施方式中,终端可以显示由有效载荷提供的信息,诸如由功能性有效载荷提供的数据(例如,由相机或其他图像捕捉装置记录的图像)。
可选地,同一终端可以同时控制可移动物体、载体和/或有效载荷或者所述可移动物体、载体和/或有效载荷的状态,以及接收和/或显示来自所述可移动物体、载体和/或有效载荷的信息。例如,终端可以控制有效载荷相对于环境的定位,同时显示由有效载荷捕捉的图像数据,或者关于有效载荷的位置的信息。或者,不同的终端可以用于不同的功能。例如,第一终端可以控制可移动物体、载体和/或有效载荷的移动或状态,而第二终端可以接收和/或显示来自可移动物体、载体和/或有效载荷的信息。例如,第一终端可以用于控制有效载荷相对于环境的定位,而第二终端显示由所述有效载荷捕捉的图像数据。可以在可移动物体与同时控制所述可移动物体并接收数据的集成式终端之间,或者在可移动物体与同时控制所述可移动物体并接收数据的多个终端之间利用各种通信模式。例如,可以在可移动物体与同时控制所述可移动物体并接收来自所述可移动物体的数据的终端之间形成至少两种不同的通信模式。
图10图示了根据实施方式的包括载体1002和有效载荷1004的可移动物体1000。虽然可移动物体1000被描绘为飞行器,但这样的描绘并不旨在成为限制性的,并且如前文所述可以使用任何合适类型的可移动物体。本领域技术人员将会理解,本文在飞行器系统的情景下描述的任何实施方式均可适用于任何合适的可移动物体(例如,UAV)。在一些情况下,可以在可移动物体1000上提供有效载荷1004而无需载体1002。可移动物体1000可以包括推进机构1006、感测系统1008和通信系统1010。
如前文所述,推进机构1006可以包括旋翼、螺旋桨、桨叶、引擎、电机、轮子、轮轴、磁体或喷嘴中的一种或多种。例如,推进机构1006可以如本文其他各处所公开,是自紧式旋翼、旋翼组件或其他旋转推进单元。可移动物体可以具有一个或多个、两个或更多个、三个或更多个或者四个或更多个推进机构。推进机构可以全都是同一类型。或者,一个或多个推进机构可以是不同类型的推进机构。推进机构1006可以使用任何合适的装置而安装在可移动物体1000上,所述装置诸如为本文其他各处所述的支撑元件(例如,驱动轴)。推进机构1006可以安装在可移动物体1000的任何合适的部分上,诸如顶部、底部、前面、后面、侧面或其合适的组合。
在一些实施方式中,推进机构1006可以使得可移动物体1000能够从表面垂直地起飞或者垂直地降落在表面上,而无需可移动物体1000的任何水平移动(例如,无需沿着跑道行进)。可选地,推进机构1006可以可操作以允许可移动物体1000以指定位置和/或定向悬停于空中。一个或多个推进机构1000可以独立于其他推进机构得到控制。或者,推进机构1000可被配置成同时受到控制。例如,可移动物体1000可以具有多个水平定向的旋翼,所述旋翼可以向所述可移动物体提供升力和/或推力。可以致动所述多个水平定向的旋翼以向可移动物体1000提供垂直起飞、垂直降落以及悬停能力。在一些实施方式中,所述水平定向的旋翼中的一个或多个可以在顺时针方向上旋转,同时所述水平旋翼中的一个或多个可以在逆时针方向上旋转。例如,顺时针旋翼的数目可以等于逆时针旋翼的数目。每个水平定向的旋翼的旋转速率可独立地改变,以便控制由每个旋翼产生的升力和/或推力,并从而调节可移动物体1000的空间布局、速度和/或加速度(例如,关于多达三个平移自由度和多达三个旋转自由度)。
感测系统1008可以包括一个或多个传感器,所述传感器可以感测可移动物体1000的空间布局、速度和/或加速度(例如,关于多达三个平移自由度和多达三个旋转自由度)。所述一个或多个传感器可以包括本文先前所述的任何传感器,包括GPS传感器、运动传感器、惯性传感器、距离传感器或图像传感器。由感测系统1008提供的感测数据可以用于控制可移动物体1000的空间布局、速度和/或定向(例如,使用合适的处理单元和/或控制模块,如下文所述)。或者,感测系统1008可以用于提供关于可移动物体周围环境的数据,诸如气象条件、距潜在障碍物的距离、地理特征的位置、人造结构的位置等。
通信系统1010支持经由无线信号1016与具有通信系统1014的终端1012的通信。通信系统1010、通信系统1014可以包括任何数目的适合于无线通信的发射器、接收器和/或收发器。所述通信可以是单向通信,使得数据只能在一个方向上传输。例如,单向通信可以仅涉及可移动物体1000向终端1012传输数据,或者反之亦然。数据可以从通信系统1010的一个或多个发射器传输至通信系统1012的一个或多个接收器,或者反之亦然。或者,所述通信可以是双向通信,使得数据在可移动物体1000与终端1012之间的两个方向上均可传输。双向通信可以涉及从通信系统1010的一个或多个发射器向通信系统1014的一个或多个接收器传输数据,并且反之亦然。
在一些实施方式中,终端1012可以向可移动物体1000、载体1002和有效载荷1004中的一个或多个提供控制数据,以及从可移动物体1000、载体1002和有效载荷1004中的一个或多个接收信息(例如,可移动物体、载体或有效载荷的位置和/或运动信息;由有效载荷感测的数据,诸如由有效载荷相机捕捉的图像数据)。在一些情况下,来自终端的控制数据可以包括针对可移动物体、载体和/或有效载荷的相对位置、移动、致动或控制的指令。例如,控制数据可以导致可移动物体的位置和/或定向的修改(例如,经由推进机构1006的控制),或者有效载荷相对于可移动物体的移动(例如,经由载体1002的控制)。来自终端的控制数据可以导致对有效载荷的控制,诸如对相机或其他图像捕捉装置的操作的控制(例如,拍摄静态或移动图片、放大或缩小、开启或关闭、切换成像模式、改变图像分辨率、改变聚焦、改变景深、改变曝光时间、改变视角或视野)。在一些情况下,来自可移动物体、载体和/或有效载荷的通信可以包括来自一个或多个传感器(例如,感测系统1008的或有效载荷1004的传感器)的信息。所述通信可以包括来自一个或多个不同类型的传感器(例如,GPS传感器、运动传感器、惯性传感器、距离传感器或图像传感器)的感测到的信息。这样的信息可以关于可移动物体、载体和/或有效载荷的位置(例如,位置、定向)、移动或加速度。来自有效载荷的这样的信息可以包括由所述有效载荷捕捉的数据或所述有效载荷的感测到的状态。由终端1012提供并传输的控制数据可被配置成用于控制可移动物体1000、载体1002或有效载荷1004中的一个或多个的状态。备选地或组合地,载体1002和有效载荷1004还可以各自包括通信模块,所述通信模块被配置成用于与终端1012通信,以使得所述终端可独立地与可移动物体1000、载体1002和有效载荷1004中的每一个通信和对其加以控制。
在一些实施方式中,可移动物体1000可被配置成用于与另一远程装置相通信——附加于终端1012或代替终端1012。终端1012也可被配置成用于与另一远程装置以及可移动物体1000相通信。例如,可移动物体1000和/或终端1012可以与另一可移动物体或者另一可移动物体的载体或有效载荷相通信。当需要时,所述远程装置可以是第二终端或其他计算装置(例如,计算机、膝上型计算机、平板计算机、智能电话或其他移动装置)。远程装置可被配置成用于向可移动物体1000传输数据、从可移动物体1000接收数据、向终端1012传输数据以及/或者从终端1012接收数据。可选地,远程装置可以连接至因特网或其他电信网络,以使得从可移动物体1000和/或终端1012接收的数据可被上传至网站或服务器。
图11是根据实施方式的用于控制可移动物体的系统1100的通过框图来说明的示意图。系统1100可以与本文所公开的系统、装置和方法的任何合适的实施方式结合使用。系统1100可以包括感测模块1102、处理单元1104、非暂时性计算机可读介质1106、控制模块1108和通信模块1110。
感测模块1102可以利用以不同方式收集与可移动物体有关的信息的不同类型的传感器。不同类型的传感器可以感测不同类型的信号或者来自不同来源的信号。例如,所述传感器可以包括惯性传感器、GPS传感器、距离传感器(例如,激光雷达)或视觉/图像传感器(例如,相机)。感测模块1102可以可操作地耦合至具有多个处理器的处理单元1104。在一些实施方式中,感测模块可以可操作地耦合至传输模块1112(例如,Wi-Fi图像传输模块),所述传输模块被配置成用于向合适的外部装置或系统直接传输感测数据。例如,传输模块1112可以用于向远程终端传输由感测模块1102的相机捕捉的图像。
处理单元1104可以具有一个或多个处理器,诸如可编程处理器(例如,中央处理器(CPU))。处理单元1104可以可操作地耦合至非暂时性计算机可读介质1106。非暂时性计算机可读介质1106可以储存可由处理单元1104执行的逻辑、代码和/或程序指令,用以执行一个或多个步骤。非暂时性计算机可读介质可以包括一个或多个存储器单元(例如,可移动介质或外部存储,诸如SD卡或随机存取存储器(RAM))。在一些实施方式中,来自感测模块1102的数据可直接传送至并储存于非暂时性计算机可读介质1106的存储器单元内。非暂时性计算机可读介质1106的存储器单元可以储存可由处理单元1104执行的逻辑、代码和/或程序指令,用以执行本文所描述的方法的任何合适的实施方式。例如,处理单元1104可被配置成用于执行指令,从而使处理单元1104的一个或多个处理器分析由感测模块产生的感测数据。存储器单元可以储存要由处理单元1104处理的、来自感测模块的感测数据。在一些实施方式中,非暂时性计算机可读介质1106的存储器单元可以用于储存由处理单元1104产生的处理结果。
在一些实施方式中,处理单元1104可以可操作地耦合至控制模块1108,所述控制模块1108被配置成用于控制可移动物体的状态。例如,控制模块1108可被配置成用于控制可移动物体的推进机构以调节可移动物体关于六个自由度的空间布局、速度和/或加速度。备选地或组合地,控制模块1108可以控制载体、有效载荷或感测模块的状态中的一个或多个。
处理单元1104可以可操作地耦合至通信模块1110,所述通信模块1110被配置成用于传输数据和/或接收来自一个或多个外部装置(例如,终端、显示装置或其他遥控器)的数据。可以使用任何合适的通信手段,诸如有线通信或无线通信。例如,通信模块1110可以利用局域网(LAN)、广域网(WAN)、红外线、无线电、WiFi、点对点(P2P)网络、电信网络、云通信等之中的一种或多种。可选地,可以使用中继站,诸如塔、卫星或移动台。无线通信可以依赖于距离或独立于距离。在一些实施方式中,通信可能需要或者可能不需要视线。通信模块1110可以传输和/或接收来自感测模块1102的感测数据、由处理单元1104产生的处理结果、预定控制数据、来自终端或遥控器的用户命令等之中的一个或多个。
系统1100的部件可以按任何合适的配置来布置。例如,系统1100的一个或多个部件可以位于可移动物体、载体、有效载荷、终端、感测系统或与上述的一个或多个相通信的附加的外部装置上。此外,虽然图11描绘了单一处理单元1104和单一非暂时性计算机可读介质1106,但本领域技术人员将会理解,这并不旨在成为限制性的,并且系统1100可以包括多个处理单元和/或非暂时性计算机可读介质。在一些实施方式中,多个处理单元和/或非暂时性计算机可读介质中的一个或多个可以位于不同的位置,诸如在可移动物体、载体、有效载荷、终端、感测模块、与上述的一个或多个相通信的附加的外部装置上或其合适的组合,以使得由系统1000执行的处理和/或存储器功能的任何合适的方面可以发生于一个或多个上述位置处。
本文中使用的A和/或B包含A或B中的一个或多个以及其组合,诸如A和B。
虽然本文已经示出和描述了本发明的优选实施方式,但对于本领域技术人员显而易见的是,这样的实施方式只是以示例的方式提供的。本领域技术人员现将会在不偏离本发明的情况下想到许多更改、改变和替代。应当理解,在实践本发明的过程中可以采用对本文所描述的本发明实施方式的各种替代方案。所附权利要求旨在限定本发明的范围,并因此覆盖这些权利要求及其等效项的范围内的方法和结构。

Claims (29)

1.一种用于在环境内控制无人飞行器的系统,所述系统包括:
一个或多个传感器,其被携带于所述无人飞行器上并且被配置成用于接收所述环境的传感器数据;以及
一个或多个处理器,其单个地或共同地被配置成用于:
基于所述传感器数据,确定表示所述环境的障碍物密度的环境复杂度因子,
基于所述环境复杂度因子,确定所述无人飞行器的一个或多个操作规则,
接收指示出所述无人飞行器的期望移动的信号,所述信号包括用户的输入命令或自动化控制系统的控制指令,以及
使所述无人飞行器在遵守所述一个或多个操作规则的同时根据所述信号而移动。
2.根据权利要求1所述的系统,其中所述一个或多个传感器包括以下各项中的至少一项:视觉传感器、激光雷达传感器或超声传感器。
3.根据权利要求1所述的系统,其中所述一个或多个传感器包括多个不同的传感器类型。
4.根据权利要求1所述的系统,其中所述传感器数据指示出所述环境的障碍物密度。
5.根据权利要求1所述的系统,其中所述环境复杂度因子是基于使用所述传感器数据生成的所述环境的三维数字表示而确定的。
6.根据权利要求5所述的系统,其中所述三维数字表示包括三维点云或占据网格。
7.根据权利要求1所述的系统,其中所述一个或多个操作规则是基于先前获取的飞行数据而确定的。
8.根据权利要求1所述的系统,其中所述一个或多个操作规则包括一个或多个速度规则。
9.根据权利要求8所述的系统,其中所述一个或多个速度规则是使用先前确定的速度规则的先进先出(FIF0)队列来确定的。
10.根据权利要求8所述的系统,其中所述一个或多个速度规则包括所述无人飞行器的速度限制。
11.一种用于在环境内控制无人飞行器的系统,所述系统包括:
一个或多个传感器,其被携带于所述无人飞行器上并且被配置成用于接收所述环境的传感器数据;以及
一个或多个处理器,其单独地或共同地被配置成用于:
基于所述传感器数据,确定表示所述环境的障碍物密度的环境复杂度因子,
基于所述环境复杂度因子,确定所述无人飞行器的第一组操作规则,
接收指示出所述无人飞行器的第二组操作规则的用户输入,选择所述第一组或第二组操作规则中的一组操作规则,以用于控制所述无人飞行器,
接收指示出所述无人飞行器的期望移动的信号,所述信号包括用户的输入命令或自动化控制系统的控制指令,以及
使所述无人飞行器在遵守所述第一组或第二组操作规则中的所述选定的一组操作规则的同时根据所述信号而移动。
12.根据权利要求11所述的系统,其中所述一个或多个传感器包括以下各项中的至少一项:视觉传感器、激光雷达传感器或超声传感器。
13.根据权利要求11所述的系统,其中所述一个或多个传感器包括多个不同的传感器类型。
14.根据权利要求11所述的系统,其中所述传感器数据指示出所述环境的障碍物密度。
15.根据权利要求11所述的系统,其中所述第一组操作规则包括第一组速度规则,并且所述第二组操作规则包括第二组速度规则。
16.根据权利要求15所述的系统,其中所述第二组操作规则是基于由用户从多个不同的飞行模式中选择的飞行模式而确定。
17.根据权利要求16所述的系统,其中所述多个不同的飞行模式包括低速飞行模式、中速飞行模式和高速飞行模式。
18.根据权利要求15所述的系统,其中所述第一组速度规则包括所述无人飞行器的第一速度限制,并且所述第二组速度规则包括所述无人飞行器的第二组速度限制。
19.根据权利要求18所述的系统,其中所述一个或多个处理器通过选择所述第一和第二速度限制中的较小者来选择所述第一组或第二组速度规则中的一组操作规则。
20.一种用于在环境内控制无人飞行器的系统,所述系统包括:
一个或多个传感器,其被携带于所述无人飞行器上;以及
一个或多个处理器,其单个地或共同地被配置成用于:
使用所述一个或多个传感器,确定表示所述环境的障碍物密度的环境复杂度因子,
基于所述环境复杂度因子并借助于所述处理器,确定所述无人飞行器的第一组操作规则,
使用所述一个或多个传感器,检测对应于所述环境的障碍物密度的改变的所述环境复杂度因子的改变,
基于所述环境复杂度因子的改变来修改所述第一组操作规则,以提供所述无人飞行器的第二组操作规则,
接收指示出所述无人飞行器的期望移动的信号,所述信号包括用户的输入命令或自动化控制系统的控制指令,以及
使所述无人飞行器在遵守所述第二组操作规则的同时根据所述信号而移动。
21.根据权利要求20所述的系统,其中所述一个或多个传感器包括以下各项中的至少一项:视觉传感器、激光雷达传感器或超声传感器。
22.根据权利要求20所述的系统,其中所述一个或多个传感器包括多个不同的传感器类型。
23.根据权利要求20所述的系统,其中所述传感器数据指示出所述环境的障碍物密度。
24.根据权利要求20所述的系统,其中所述环境复杂度因子是基于使用所述传感器数据生成的所述环境的三维数字表示而确定的。
25.根据权利要求24所述的系统,其中所述三维数字表示包括三维点云或占据网格。
26.根据权利要求20所述的系统,其中所述第一组操作规则包括第一组速度规则,并且所述第二组操作规则包括第二组速度规则。
27.根据权利要求26所述的系统,其中所述第一组和第二组速度规则中的至少一组是基于所述无人飞行器的最小制动距离而确定的。
28.根据权利要求26所述的系统,其中所述第一组和第二组速度规则中的每一个都包括所述无人飞行器的速度限制。
29.根据权利要求28所述的系统,其中所述环境复杂度因子的改变对应于所述障碍物密度的减小,并且其中所述第二组速度规则的速度限制大于所述第一组速度规则的速度限制。
CN201480075070.1A 2014-09-05 2014-09-05 无人飞行器的速度控制 Expired - Fee Related CN105980950B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/086005 WO2016033795A1 (en) 2014-09-05 2014-09-05 Velocity control for an unmanned aerial vehicle

Publications (2)

Publication Number Publication Date
CN105980950A CN105980950A (zh) 2016-09-28
CN105980950B true CN105980950B (zh) 2019-05-28

Family

ID=55437448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480075070.1A Expired - Fee Related CN105980950B (zh) 2014-09-05 2014-09-05 无人飞行器的速度控制

Country Status (4)

Country Link
US (5) US9625907B2 (zh)
JP (1) JP6181300B2 (zh)
CN (1) CN105980950B (zh)
WO (1) WO2016033795A1 (zh)

Families Citing this family (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010124338A1 (en) 2009-05-01 2010-11-04 The University Of Sydney Planning system for autonomous operation
JP5698802B2 (ja) * 2013-06-28 2015-04-08 ヤマハ発動機株式会社 遠隔操縦装置
JP6329642B2 (ja) 2013-12-10 2018-05-23 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd センサ融合
DE102014105583A1 (de) * 2014-04-11 2015-10-15 Deutsche Post Ag Anordnung zum Überbringen einer Sendung
EP3428766B1 (en) * 2014-09-05 2021-04-07 SZ DJI Technology Co., Ltd. Multi-sensor environmental mapping
WO2016033795A1 (en) 2014-09-05 2016-03-10 SZ DJI Technology Co., Ltd. Velocity control for an unmanned aerial vehicle
JP6278539B2 (ja) 2014-09-05 2018-02-14 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 状況に基づく飛行モード選択
US9891630B2 (en) * 2014-10-24 2018-02-13 Clearpath Robotics, Inc. Variable reference frames in unmanned vehicles
US11586208B2 (en) 2014-10-24 2023-02-21 Clearpath Robotics Inc. Systems and methods for executing a task with an unmanned vehicle
US10126745B2 (en) * 2015-01-04 2018-11-13 Hangzhou Zero Zero Technology Co., Ltd. System and method for automated aerial system operation
US10220954B2 (en) 2015-01-04 2019-03-05 Zero Zero Robotics Inc Aerial system thermal control system and method
US10358214B2 (en) 2015-01-04 2019-07-23 Hangzhou Zero Zro Technology Co., Ltd. Aerial vehicle and method of operation
US10719080B2 (en) 2015-01-04 2020-07-21 Hangzhou Zero Zero Technology Co., Ltd. Aerial system and detachable housing
US9836053B2 (en) 2015-01-04 2017-12-05 Zero Zero Robotics Inc. System and method for automated aerial system operation
US20160246297A1 (en) * 2015-02-24 2016-08-25 Siemens Corporation Cloud-based control system for unmanned aerial vehicles
US10317518B2 (en) * 2015-07-20 2019-06-11 Brigham Young University (Byu) Phased array radar systems for small unmanned aerial vehicles
US9989965B2 (en) * 2015-08-20 2018-06-05 Motionloft, Inc. Object detection and analysis via unmanned aerial vehicle
US9612123B1 (en) * 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
US11283877B2 (en) 2015-11-04 2022-03-22 Zoox, Inc. Software application and logic to modify configuration of an autonomous vehicle
US10401852B2 (en) 2015-11-04 2019-09-03 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US9632502B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US9606539B1 (en) 2015-11-04 2017-03-28 Zoox, Inc. Autonomous vehicle fleet service and system
WO2017079341A2 (en) 2015-11-04 2017-05-11 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US20240028031A1 (en) * 2015-11-04 2024-01-25 Zoox, Inc. Autonomous vehicle fleet service and system
EP3374263A4 (en) * 2015-11-10 2019-05-08 Matternet, Inc. METHODS AND TRANSPORT SYSTEMS USING PILOT-FREE AIR VEHICLES
DE102015224796A1 (de) * 2015-12-10 2017-06-14 Robert Bosch Gmbh Verfahren und Steuergerät zum Erkennen einer möglichen Kollision eines unbemannten Luftfahrzeugs mit einem Objekt
US9561852B1 (en) 2016-01-04 2017-02-07 International Business Machines Corporation In flight transfer of packages between aerial drones
US11461912B2 (en) 2016-01-05 2022-10-04 California Institute Of Technology Gaussian mixture models for temporal depth fusion
US10665115B2 (en) * 2016-01-05 2020-05-26 California Institute Of Technology Controlling unmanned aerial vehicles to avoid obstacle collision
US9658619B1 (en) * 2016-03-31 2017-05-23 Unmanned Innovation, Inc. Unmanned aerial vehicle modular command priority determination and filtering system
CN107301765B (zh) * 2016-04-15 2021-11-30 北京远度互联科技有限公司 遥控方法、装置及终端
US10169735B2 (en) 2016-04-18 2019-01-01 Qualcomm Incorporated Customized packaging for unmanned autonomous vehicle item delivery
WO2017187275A2 (en) 2016-04-24 2017-11-02 Hangzhou Zero Zero Technology Co., Ltd. Aerial system propulsion assembly and method of use
US11762384B2 (en) 2016-04-24 2023-09-19 Flytrex Aviation Ltd. System and method for dynamically arming a failsafe on a delivery drone
US11226619B2 (en) 2016-04-24 2022-01-18 Flytrex Aviation Ltd. Dynamically arming a safety mechanism on a delivery drone
US10719086B2 (en) * 2016-07-13 2020-07-21 Flytrex Aviation Ltd. System and method for dynamically updated unmanned vehicle navigation planning
WO2017197239A1 (en) * 2016-05-13 2017-11-16 Top Flight Technologies, Inc. Unmanned aerial vehicles with multiple configurations
DE102016208465A1 (de) * 2016-05-18 2017-11-23 Siemens Aktiengesellschaft Sensornetzwerk
WO2017201698A1 (zh) * 2016-05-25 2017-11-30 深圳市大疆创新科技有限公司 一种追踪目标的方法及装置
KR101885799B1 (ko) * 2016-05-31 2018-08-07 순천대학교 산학협력단 무인비행체 및 위험 상황에서의 무인비행체의 회수 방법
US10032275B1 (en) 2016-06-21 2018-07-24 Amazon Technologies, Inc. Unmanned aerial vehicle sensor calibration during flight
US9969486B1 (en) * 2016-06-21 2018-05-15 Amazon Technologies, Inc. Unmanned aerial vehicle heat sensor calibration
US9823089B1 (en) 2016-06-21 2017-11-21 Amazon Technologies, Inc. Unmanned aerial vehicle sensor calibration as part of departure from a materials handling facility
US10220964B1 (en) 2016-06-21 2019-03-05 Amazon Technologies, Inc. Unmanned aerial vehicle sensor calibration validation before flight
CN109313418A (zh) 2016-06-23 2019-02-05 深圳市大疆创新科技有限公司 用于控制可移动物体行为的系统和方法
US10538326B1 (en) * 2016-08-31 2020-01-21 Amazon Technologies, Inc. Flare detection and avoidance in stereo vision systems
US11161547B2 (en) * 2016-09-09 2021-11-02 Mitsubishi Electric Corporation Parking assistance device
MX2019002715A (es) 2016-09-09 2019-09-23 Walmart Apollo Llc Sistemas y metodos para monitoreo de un area geografica a traves del intercambio de sistemas utiles entre vehiculos no tripulados.
GB2568186A (en) * 2016-09-09 2019-05-08 Walmart Apollo Llc Geographic area monitoring systems and methods utilizing computational sharing across multiple unmanned vehicles
MX2019002716A (es) 2016-09-09 2019-09-23 Walmart Apollo Llc Sistemas y metodos para monitoreo de un area geografica que equilibran el uso de energia entre multiples vehiculos no tripulados.
GB2568006B (en) 2016-09-09 2019-09-18 Walmart Apollo Llc Systems and methods to interchangeably couple tool systems with unmanned vehicles
US9984672B2 (en) * 2016-09-15 2018-05-29 Gopro, Inc. Noise cancellation for aerial vehicle
US10268210B2 (en) * 2016-09-16 2019-04-23 Gopro, Inc. Synchronized pipeline flight controller
WO2018053877A1 (zh) * 2016-09-26 2018-03-29 深圳市大疆创新科技有限公司 控制方法、控制设备和运载系统
CN106200654A (zh) * 2016-09-28 2016-12-07 北京小米移动软件有限公司 无人机飞行速度的控制方法和装置
US10152059B2 (en) 2016-10-10 2018-12-11 Qualcomm Incorporated Systems and methods for landing a drone on a moving base
EP3312560A1 (en) * 2016-10-20 2018-04-25 Arctic Robotics Oy Method and system for indoor navigation
KR102622032B1 (ko) * 2016-10-21 2024-01-10 삼성전자주식회사 무인 비행 장치 및 무인 비행 장치의 비행 제어방법
WO2018081952A1 (en) * 2016-11-02 2018-05-11 SZ DJI Technology Co., Ltd. Systems and methods for height control of a movable object
US10289121B2 (en) 2016-11-14 2019-05-14 Qualcomm Incorporated Vehicle collision avoidance
KR101765235B1 (ko) * 2016-11-28 2017-08-04 한국건설기술연구원 사물인터넷 기반 센서와 무인비행체를 이용한 시설물 유지관리 시스템 및 그 방법
CN106502268B (zh) * 2016-12-07 2020-05-19 易瓦特科技股份公司 一种无人机飞行控制方法和装置
CN106681344B (zh) * 2016-12-26 2019-08-27 湖南纳雷科技有限公司 一种用于飞行器的高度控制方法及控制系统
US10649469B2 (en) 2017-01-19 2020-05-12 Vtrus Inc. Indoor mapping and modular control for UAVs and other autonomous vehicles, and associated systems and methods
US20180016006A1 (en) * 2017-01-22 2018-01-18 Haoxiang Electric Energy (Kunshan) Co., Ltd. Smart unmanned aerial vehicle for home
US10585440B1 (en) 2017-01-23 2020-03-10 Clearpath Robotics Inc. Systems and methods for using human-operated material-transport vehicles with fleet-management systems
US10282999B2 (en) * 2017-03-17 2019-05-07 GM Global Technology Operations LLC Road construction detection systems and methods
JP6979782B2 (ja) * 2017-04-17 2021-12-15 株式会社ゼンリン 3次元地図データおよび制御装置
CN107270890B (zh) * 2017-04-25 2021-06-15 深圳大学 一种无人机上tof距离传感器的测距方法及系统
CN110546700B (zh) * 2017-05-05 2024-03-26 华为技术有限公司 无线通信的方法、网络设备和终端设备
US20180330325A1 (en) 2017-05-12 2018-11-15 Zippy Inc. Method for indicating delivery location and software for same
JP6864556B2 (ja) * 2017-05-23 2021-04-28 シャープ株式会社 走行装置、走行制御方法、走行制御プログラムおよび走行システム
WO2018223287A1 (zh) * 2017-06-06 2018-12-13 深圳市大疆创新科技有限公司 可移动机器人性能评估方法、系统及可移动机器人
KR102628790B1 (ko) * 2017-06-20 2024-01-24 모셔널 에이디 엘엘씨 자율 주행 능력들을 갖는 차량들에 대한 위험 처리
WO2018232616A1 (en) 2017-06-21 2018-12-27 SZ DJI Technology Co., Ltd. METHODS AND APPARATUSES FOR TRANSFORMABLE REMOTE CONTROL DEVICES
EP3422130B8 (en) * 2017-06-29 2023-03-22 The Boeing Company Method and system for autonomously operating an aircraft
GB2563935B (en) * 2017-06-30 2022-04-13 The Royal Veterinary College Obstacle detection
CN107352032B (zh) * 2017-07-14 2024-02-27 广东工业大学 一种人流量数据的监控方法及无人机
CN107610212B (zh) * 2017-07-25 2020-05-12 深圳大学 场景重建方法、装置、计算机设备以及计算机存储介质
US11508247B2 (en) * 2017-07-27 2022-11-22 Honeywell International Inc. Lidar-based aircraft collision avoidance system
US10144504B1 (en) * 2017-09-01 2018-12-04 Kitty Hawk Corporation Decoupled hand controls for aircraft with vertical takeoff and landing and forward flight capabilities
US20190100306A1 (en) * 2017-09-29 2019-04-04 Intel IP Corporation Propeller contact avoidance in an unmanned aerial vehicle
US11074540B2 (en) * 2017-10-10 2021-07-27 Uber Technologies, Inc. Network system including drones
US10637239B2 (en) * 2017-10-13 2020-04-28 Honeywell International Inc. Utility network monitoring device
US20210179237A1 (en) * 2017-11-16 2021-06-17 Bernardo Fernandez Fernandez Control bar for controlling a traction unit
US11061396B2 (en) * 2017-12-20 2021-07-13 International Business Machines Corporation Beacon and a method for providing instructions to an autonomous agent
CN108089597B (zh) * 2017-12-29 2021-06-11 易瓦特科技股份公司 基于地面站对无人机进行控制的方法及装置
US10719705B2 (en) * 2018-01-03 2020-07-21 Qualcomm Incorporated Adjustable object avoidance proximity threshold based on predictability of the environment
WO2019144299A1 (zh) * 2018-01-23 2019-08-01 深圳市大疆创新科技有限公司 移动平台速度限制方法及设备、装置及记录介质
US10689110B2 (en) * 2018-02-12 2020-06-23 Wipro Limited Method and system for performing inspection and maintenance tasks of three-dimensional structures using drones
CN108508808A (zh) * 2018-04-28 2018-09-07 山西农业大学 一种基于植保无人机离心式喷头的智能喷洒系统及方法
CN110442142B (zh) * 2018-05-02 2022-12-27 北京京东尚科信息技术有限公司 速度数据处理方法、装置、电子设备及计算机可读介质
WO2019212113A1 (ko) * 2018-05-03 2019-11-07 충북대학교 산학협력단 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법
KR102100606B1 (ko) * 2018-09-11 2020-04-16 한국전력공사 드론 착륙 시스템 및 그의 동작 방법
US11136120B2 (en) * 2018-10-05 2021-10-05 Aurora Flight Sciences Corporation Ground operations for autonomous object pickup
CN109292082B (zh) * 2018-11-20 2023-09-08 南京森林警察学院 一种红绿灯式旋翼无人机
CN109343572B (zh) * 2018-12-20 2021-07-30 深圳市道通智能航空技术股份有限公司 一种无人机自主降落方法、装置及无人机
KR102166419B1 (ko) * 2018-12-24 2020-10-15 한국과학기술연구원 효율적인 장애물 제거 방법
JP7272825B2 (ja) * 2019-03-06 2023-05-12 ファナック株式会社 ロボットシステム
US11560153B2 (en) 2019-03-07 2023-01-24 6 River Systems, Llc Systems and methods for collision avoidance by autonomous vehicles
US11314254B2 (en) * 2019-03-26 2022-04-26 Intel Corporation Methods and apparatus for dynamically routing robots based on exploratory on-board mapping
CN110069071B (zh) * 2019-05-15 2022-06-14 深圳铂石空间科技有限公司 无人机导航方法与装置、存储介质、电子设备
CN110069078B (zh) * 2019-05-21 2021-06-01 深圳市道通智能航空技术股份有限公司 一种飞行控制方法、装置、系统及无人机
US11521160B2 (en) * 2019-06-13 2022-12-06 International Business Machines Corporation Intelligent vehicle delivery
CN110209202A (zh) * 2019-06-26 2019-09-06 深圳市道通智能航空技术有限公司 一种可行空间生成方法、装置、飞行器及飞行器系统
KR102263307B1 (ko) * 2019-07-25 2021-06-09 배재대학교 산학협력단 무인 비행체의 군집 비행 제어 시스템 및 방법
US11514610B2 (en) * 2019-08-14 2022-11-29 Tencent America LLC Method and apparatus for point cloud coding
CN110568857A (zh) * 2019-08-15 2019-12-13 深圳市道通智能航空技术有限公司 无人机飞行控制方法及无人机
CN111077539B (zh) * 2019-12-30 2023-06-02 华通科技有限公司 基于激光雷达的探鸟系统
KR102313117B1 (ko) * 2020-05-15 2021-10-14 성신여자대학교 연구 산학협력단 드론 시스템의 동작방법
US11912432B2 (en) * 2020-12-10 2024-02-27 Wing Aviation Llc Systems and methods for autonomous airworthiness pre-flight checks for UAVs
CN113401361A (zh) * 2021-06-17 2021-09-17 陕西飞机工业有限责任公司 飞行器的可靠性试验剖面的生成方法和装置
US12002492B2 (en) 2021-11-04 2024-06-04 Gopro, Inc. Apparatus and method of removing selective sounds from a video
US20230244249A1 (en) * 2022-02-01 2023-08-03 Lockheed Martin Corporation Collision prevention flight control mode
WO2023233870A1 (ja) * 2022-05-30 2023-12-07 株式会社Nttドコモ 制御装置
US20240239531A1 (en) * 2022-08-09 2024-07-18 Pete Bitar Compact and Lightweight Drone Delivery Device called an ArcSpear Electric Jet Drone System Having an Electric Ducted Air Propulsion System and Being Relatively Difficult to Track in Flight
CN118131778B (zh) * 2024-05-07 2024-07-12 山东云晟智能科技有限公司 一种智能应急处置机器人及其避障方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102393747A (zh) * 2011-08-17 2012-03-28 清华大学 无人机集群的协作交互方法及无人机的可视导航系统
CN102621987A (zh) * 2011-01-28 2012-08-01 波音公司 为预测飞行器航迹提供数据
CN102707724A (zh) * 2012-06-05 2012-10-03 清华大学 一种无人机的视觉定位与避障方法及系统
CN102749927A (zh) * 2012-07-20 2012-10-24 常州大学 无人飞机自动规避障碍物的系统及其规避方法

Family Cites Families (212)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2574456B2 (ja) 1989-03-15 1997-01-22 松下電器産業株式会社 自走式掃除機
US5173947A (en) 1989-08-01 1992-12-22 Martin Marietta Corporation Conformal image processing apparatus and method
JP3040611B2 (ja) 1992-09-17 2000-05-15 三菱重工業株式会社 低騒音ヘリコプタ
IL112237A (en) 1994-01-18 1998-03-10 Honeywell Inc System and method for evading threats to aircraft
US5785281A (en) 1994-11-01 1998-07-28 Honeywell Inc. Learning autopilot
JP3561547B2 (ja) 1995-03-02 2004-09-02 綜合警備保障株式会社 自律型移動体の走行制御システム
FR2731824B1 (fr) 1995-03-17 1997-05-16 Sextant Avionique Dispositif d'evitement de collisions pour aeronef notamment avec le sol
JPH08273110A (ja) 1995-03-31 1996-10-18 Sony Corp 磁気ヘッド製造用クランプ治具
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
IL117792A (en) 1995-05-08 2003-10-31 Rafael Armament Dev Authority Autonomous command and control unit for mobile platform
US6539290B1 (en) 1995-06-07 2003-03-25 Dabulamanzi Holdings, Llc Method, apparatus and design procedure for controlling multi-input, multi-output (MIMO) parameter dependent systems using feedback LTI'zation
US5716032A (en) 1996-04-22 1998-02-10 United States Of America As Represented By The Secretary Of The Army Unmanned aerial vehicle automatic landing system
US6056237A (en) 1997-06-25 2000-05-02 Woodland; Richard L. K. Sonotube compatible unmanned aerial vehicle and system
JPH11282530A (ja) 1998-03-27 1999-10-15 Sanyo Electric Co Ltd 車両運行システム
DE19849857C2 (de) 1998-10-29 2003-08-21 Eads Deutschland Gmbh Fernlenkverfahren für ein unbemanntes Luftfahrzeug
WO2000034919A1 (en) 1998-12-04 2000-06-15 Interval Research Corporation Background estimation and segmentation based on range and color
US6377889B1 (en) 2000-10-13 2002-04-23 Trimble Navigation Limited Non-linear method of guiding to arbitrary curves with adaptive feedback
US6804607B1 (en) 2001-04-17 2004-10-12 Derek Wood Collision avoidance system and method utilizing variable surveillance envelope
US6597987B1 (en) 2001-05-15 2003-07-22 Navigation Technologies Corp. Method for improving vehicle positioning in a navigation system
CN1230350C (zh) 2001-07-06 2005-12-07 精工爱普生株式会社 飞船系统
US20030055540A1 (en) 2001-09-20 2003-03-20 Hansen James K. Anti-terrorism aircraft flight control system
JP2003127994A (ja) 2001-10-24 2003-05-08 Kansai Electric Power Co Inc:The 無人飛行物体の制御システム
US6875019B2 (en) 2002-02-11 2005-04-05 United Defense, Lp Naval virtual target range system
US6725152B2 (en) 2002-02-21 2004-04-20 Lockheed Martin Corporation Real-time route and sensor planning system with variable mission objectives
US8111289B2 (en) 2002-07-15 2012-02-07 Magna B.S.P. Ltd. Method and apparatus for implementing multipurpose monitoring system
US7231063B2 (en) 2002-08-09 2007-06-12 Intersense, Inc. Fiducial detection system
JP4300010B2 (ja) 2002-10-08 2009-07-22 富士重工業株式会社 無人ヘリコプタ、無人ヘリコプタの離陸方法及び無人ヘリコプタの着陸方法
US7145478B2 (en) 2002-12-17 2006-12-05 Evolution Robotics, Inc. Systems and methods for controlling a density of visual landmarks in a visual simultaneous localization and mapping system
DE10305861A1 (de) 2003-02-13 2004-08-26 Adam Opel Ag Vorrichtung eines Kraftfahrzeuges zur räumlichen Erfassung einer Szene innerhalb und/oder außerhalb des Kraftfahrzeuges
SE0300871D0 (sv) 2003-03-27 2003-03-27 Saab Ab Waypoint navigation
US7343232B2 (en) 2003-06-20 2008-03-11 Geneva Aerospace Vehicle control system including related methods and components
US7061401B2 (en) 2003-08-07 2006-06-13 BODENSEEWERK GERäTETECHNIK GMBH Method and apparatus for detecting a flight obstacle
US7747067B2 (en) 2003-10-08 2010-06-29 Purdue Research Foundation System and method for three dimensional modeling
US7130741B2 (en) 2003-10-23 2006-10-31 International Business Machines Corporation Navigating a UAV with a remote control device
US7107148B1 (en) 2003-10-23 2006-09-12 International Business Machines Corporation Navigating a UAV with on-board navigation algorithms with flight depiction
US7231294B2 (en) 2003-10-23 2007-06-12 International Business Machines Corporation Navigating a UAV
US7689321B2 (en) 2004-02-13 2010-03-30 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
US7831094B2 (en) 2004-04-27 2010-11-09 Honda Motor Co., Ltd. Simultaneous localization and mapping using multiple view feature descriptors
US7818127B1 (en) 2004-06-18 2010-10-19 Geneva Aerospace, Inc. Collision avoidance for vehicle control systems
ATE420394T1 (de) 2004-07-03 2009-01-15 Saab Ab System und verfahren zur steuerung eines flugzeugs während des fluges
US7228227B2 (en) 2004-07-07 2007-06-05 The Boeing Company Bezier curve flightpath guidance using moving waypoints
US7302316B2 (en) 2004-09-14 2007-11-27 Brigham Young University Programmable autopilot system for autonomous flight of unmanned aerial vehicles
US20060058931A1 (en) 2004-09-15 2006-03-16 Honeywell International Inc. Collision avoidance involving radar feedback
CN101667036B (zh) 2004-10-08 2011-07-20 贝尔直升机泰克斯特龙公司 用于自动飞行和风切变状况的控制系统
US7307579B2 (en) 2004-11-03 2007-12-11 Flight Safety Technologies, Inc. Collision alerting and avoidance system
US7512462B2 (en) 2004-11-16 2009-03-31 Northrop Grumman Corporation Automatic contingency generator
US7610123B2 (en) 2005-01-04 2009-10-27 Deere & Company Vision-aided system and method for guiding a vehicle
US7242791B2 (en) 2005-01-04 2007-07-10 Deere & Company Method and system for guiding a vehicle with vision enhancement
EP1834157A2 (en) 2005-01-06 2007-09-19 SHULMAN, Alan Navigation and inspection system
US20100001902A1 (en) 2005-01-21 2010-01-07 The Boeing Company Situation awareness display
US7228232B2 (en) * 2005-01-24 2007-06-05 International Business Machines Corporation Navigating a UAV with obstacle avoidance algorithms
US20100004798A1 (en) 2005-01-25 2010-01-07 William Kress Bodin Navigating a UAV to a next waypoint
US7408627B2 (en) 2005-02-08 2008-08-05 Canesta, Inc. Methods and system to quantify depth data accuracy in three-dimensional sensors using single frame capture
US7248952B2 (en) 2005-02-17 2007-07-24 Northrop Grumman Corporation Mixed integer linear programming trajectory generation for autonomous nap-of-the-earth flight in a threat environment
US20060235610A1 (en) * 2005-04-14 2006-10-19 Honeywell International Inc. Map-based trajectory generation
US7266477B2 (en) 2005-06-22 2007-09-04 Deere & Company Method and system for sensor signal fusion
US7494320B2 (en) * 2005-06-28 2009-02-24 Petter Muren Rotor for passively stable helicopter
US7792330B1 (en) 2005-09-30 2010-09-07 Mustang Technology Group, L.P. System and method for determining range in response to image data
US8855846B2 (en) 2005-10-20 2014-10-07 Jason W. Grzywna System and method for onboard vision processing
DE112006002892B4 (de) 2005-10-21 2022-01-27 Deere & Company Systeme und Verfahren zum Umschalten zwischen autonomer und manueller Bedienung eines Fahrzeugs
US8275544B1 (en) 2005-11-21 2012-09-25 Miltec Missiles & Space Magnetically stabilized forward observation platform
DE112006003363B4 (de) 2005-12-16 2016-05-04 Ihi Corporation Verfahren und Vorrichtung zur Identifizierung der Eigenposition, und Verfahren und Vorrichtung zur Messung einer dreidimensionalen Gestalt
US8577538B2 (en) 2006-07-14 2013-11-05 Irobot Corporation Method and system for controlling a remote vehicle
US7539557B2 (en) 2005-12-30 2009-05-26 Irobot Corporation Autonomous mobile robot
US7431243B1 (en) 2006-03-23 2008-10-07 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Guidance and control for an autonomous soaring UAV
US8666661B2 (en) 2006-03-31 2014-03-04 The Boeing Company Video navigation
US8108092B2 (en) 2006-07-14 2012-01-31 Irobot Corporation Autonomous behaviors for a remote vehicle
US7822266B2 (en) 2006-06-02 2010-10-26 Carnegie Mellon University System and method for generating a terrain model for autonomous navigation in vegetation
US20080059015A1 (en) 2006-06-09 2008-03-06 Whittaker William L Software architecture for high-speed traversal of prescribed routes
US8271132B2 (en) 2008-03-13 2012-09-18 Battelle Energy Alliance, Llc System and method for seamless task-directed autonomy for robots
US7587260B2 (en) 2006-07-05 2009-09-08 Battelle Energy Alliance, Llc Autonomous navigation system and method
US8355818B2 (en) 2009-09-03 2013-01-15 Battelle Energy Alliance, Llc Robots, systems, and methods for hazard evaluation and visualization
US20080033645A1 (en) 2006-08-03 2008-02-07 Jesse Sol Levinson Pobabilistic methods for mapping and localization in arbitrary outdoor environments
US7725257B2 (en) 2006-09-05 2010-05-25 Honeywell International Inc. Method and system for navigation of an ummanned aerial vehicle in an urban environment
US20090177398A1 (en) 2008-01-08 2009-07-09 Trex Enterprises Corp. Angles only navigation system
WO2008153597A1 (en) * 2006-12-06 2008-12-18 Honeywell International, Inc. Methods, apparatus and systems for enhanced synthetic vision and multi-sensor data fusion to improve operational capabilities of unmanned aerial vehicles
FR2910617B1 (fr) 2006-12-22 2009-03-06 Thales Sa Procede et dispositif de calcul d'une trajectoire decalee lateralement par rapport a une trajectoire de reference
US20100250022A1 (en) 2006-12-29 2010-09-30 Air Recon, Inc. Useful unmanned aerial vehicle
US8072581B1 (en) 2007-01-19 2011-12-06 Rockwell Collins, Inc. Laser range finding system using variable field of illumination flash lidar
US20080195316A1 (en) 2007-02-12 2008-08-14 Honeywell International Inc. System and method for motion estimation using vision sensors
US20080195304A1 (en) 2007-02-12 2008-08-14 Honeywell International Inc. Sensor fusion for navigation
EP1972893A1 (en) 2007-03-21 2008-09-24 Universiteit Gent System and method for position determination
JP2008304260A (ja) 2007-06-06 2008-12-18 Mitsubishi Electric Corp 画像処理装置
DE102007032084A1 (de) 2007-07-09 2009-01-22 Eads Deutschland Gmbh Kollisions- und Konfliktvermeidungssystem für autonome unbemannte Flugzeuge (UAV)
JP2009031884A (ja) 2007-07-25 2009-02-12 Toyota Motor Corp 自律移動体、自律移動体におけるマップ情報作成方法および自律移動体における移動経路特定方法
JP2009041932A (ja) 2007-08-06 2009-02-26 Toyota Motor Corp 移動体用測位装置
US20090058723A1 (en) 2007-09-04 2009-03-05 Mediatek Inc. Positioning system and method thereof
DE102007043534A1 (de) 2007-09-12 2009-03-19 Robert Bosch Gmbh Anordnung zum Erfassen einer Umgebung
US7979174B2 (en) 2007-09-28 2011-07-12 Honeywell International Inc. Automatic planning and regulation of the speed of autonomous vehicles
US7606115B1 (en) 2007-10-16 2009-10-20 Scientific Applications & Research Associates, Inc. Acoustic airspace collision detection system
IL191615A (en) 2007-10-23 2015-05-31 Israel Aerospace Ind Ltd A method and system for producing tie points for use in stereo adjustment of stereoscopic images and a method for identifying differences in the landscape taken between two time points
EP2214932B1 (en) 2007-11-27 2011-08-24 Pilkington Italia S.p.A. Glazing
US8374786B2 (en) 2007-12-11 2013-02-12 Qualcomm Incorporated GNSS method and receiver with camera aid
US8718838B2 (en) 2007-12-14 2014-05-06 The Boeing Company System and methods for autonomous tracking and surveillance
US8082102B2 (en) * 2008-01-14 2011-12-20 The Boeing Company Computing flight plans for UAVs while routing around obstacles having spatial and temporal dimensions
US9641822B2 (en) 2008-02-25 2017-05-02 Samsung Electronics Co., Ltd. Method and apparatus for processing three-dimensional (3D) images
US8108139B1 (en) 2008-02-29 2012-01-31 Williams-Pyro, Inc. System and method for route representation with waypoint storage
EP2263096A1 (en) 2008-03-26 2010-12-22 Genova Robot SRL A method and a device for determining of a vehicle for the autonomous driving of a vehicle, in particular a robotized vehicle
US9766074B2 (en) 2008-03-28 2017-09-19 Regents Of The University Of Minnesota Vision-aided inertial navigation
CN101445156B (zh) 2008-05-15 2011-05-25 龚文基 智能化空中机器人系统集成技术
US8239133B2 (en) 2008-07-02 2012-08-07 O2Micro, International Global positioning system and dead reckoning (GPSandDR) integrated navigation system
KR100955483B1 (ko) 2008-08-12 2010-04-30 삼성전자주식회사 3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법
TWI408397B (zh) 2008-08-15 2013-09-11 Univ Nat Chiao Tung Automatic navigation device with ultrasonic and computer vision detection and its navigation method
US8521339B2 (en) 2008-09-09 2013-08-27 Aeryon Labs Inc. Method and system for directing unmanned vehicles
CN101403620B (zh) 2008-09-10 2013-04-24 深圳市同洲电子股份有限公司 导航装置及方法
US8818567B2 (en) 2008-09-11 2014-08-26 Deere & Company High integrity perception for machine localization and safeguarding
JP5359680B2 (ja) 2008-09-17 2013-12-04 豊田合成株式会社 燃料遮断弁
DK2343615T3 (en) 2008-10-01 2019-02-18 Murata Machinery Ltd Independent movement device
JP5539641B2 (ja) 2008-10-14 2014-07-02 株式会社カナエ 自立性包装容器及びその使用方法
US8543265B2 (en) 2008-10-20 2013-09-24 Honeywell International Inc. Systems and methods for unmanned aerial vehicle navigation
US8538673B2 (en) 2008-10-31 2013-09-17 Czech Technical University In Prague System and method for planning/replanning collision free flight plans in real or accelerated time
US8412456B2 (en) 2008-11-06 2013-04-02 Texas Instruments Incorporated Loosely-coupled integration of global navigation satellite system and inertial navigation system: speed scale-factor and heading bias calibration
CN201331349Y (zh) 2008-12-01 2009-10-21 深圳职业技术学院 运动位移无线检测系统
CN201331348Y (zh) 2009-01-06 2009-10-21 山东科沐华信息技术有限公司 惯导组合gps车载终端
WO2010088290A1 (en) 2009-01-27 2010-08-05 Arthur Thomas D Tight optical intergation (toi) of images with gps range measurements
US9127908B2 (en) 2009-02-02 2015-09-08 Aero Vironment, Inc. Multimode unmanned aerial vehicle
US8340852B2 (en) 2009-04-29 2012-12-25 Honeywell International Inc. System and method for simultaneous localization and map building
US8977407B2 (en) 2009-05-27 2015-03-10 Honeywell International Inc. Adaptive user interface for semi-automatic operation
US8473187B2 (en) 2009-06-01 2013-06-25 Robert Bosch Gmbh Method and apparatus for combining three-dimensional position and two-dimensional intensity mapping for localization
US8265818B2 (en) 2009-06-04 2012-09-11 Defense Technologies, Inc. Open architecture command system
US20110084162A1 (en) 2009-10-09 2011-04-14 Honeywell International Inc. Autonomous Payload Parsing Management System and Structure for an Unmanned Aerial Vehicle
DE102009049849B4 (de) 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
US8566071B2 (en) 2009-10-26 2013-10-22 The United States Of America As Represented By The Secretary Of The Army Calibration and synchronization of micro air vehicle autopilots
US8913783B2 (en) 2009-10-29 2014-12-16 Sri International 3-D model based method for detecting and classifying vehicles in aerial imagery
TWI391874B (zh) 2009-11-24 2013-04-01 Ind Tech Res Inst 地圖建置方法與裝置以及利用該地圖的定位方法
IL202460A (en) 2009-12-01 2013-08-29 Rafael Advanced Defense Sys Method and system for creating a 3D view of real arena for military planning and operations
US9097532B2 (en) 2010-01-20 2015-08-04 Honeywell International Inc. Systems and methods for monocular airborne object detection
JP5498178B2 (ja) 2010-01-21 2014-05-21 株式会社Ihiエアロスペース 無人移動体の制御方法及び無人移動体
WO2011097018A1 (en) 2010-02-05 2011-08-11 Trimble Navigation Limited Systems and methods for processing mapping and modeling data
CN101867868B (zh) 2010-03-26 2012-11-28 东南大学 一种组合导航装置和实施方法
US8577535B2 (en) 2010-03-31 2013-11-05 Massachusetts Institute Of Technology System and method for providing perceived first-order control of an unmanned vehicle
WO2011120141A1 (en) 2010-03-31 2011-10-06 Ambercore Software Inc. Dynamic network adjustment for rigorous integration of passive and active imaging observations into trajectory determination
US8639426B2 (en) 2010-07-15 2014-01-28 George C Dedes GPS/IMU/video/radar absolute/relative positioning communication/computation sensor platform for automotive safety applications
CN101950027A (zh) 2010-08-18 2011-01-19 东莞市泰斗微电子科技有限公司 一种导航卫星信号接收模块及用于该模块的信息处理方法
US8774982B2 (en) 2010-08-26 2014-07-08 Leptron Industrial Robotic Helicopters, Inc. Helicopter with multi-rotors and wireless capability
EP2619605A1 (en) 2010-09-23 2013-07-31 Telefónica, S.A. Method and system for calculating the geo-location of a personal device
US8676498B2 (en) 2010-09-24 2014-03-18 Honeywell International Inc. Camera and inertial measurement unit integration with navigation data feedback for feature tracking
CN102023003A (zh) 2010-09-29 2011-04-20 清华大学 基于激光探测和图像识别的无人直升机三维定位及测绘方法
US8378881B2 (en) 2010-10-18 2013-02-19 Raytheon Company Systems and methods for collision avoidance in unmanned aerial vehicles
US8712679B1 (en) 2010-10-29 2014-04-29 Stc.Unm System and methods for obstacle mapping and navigation
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
JP5618840B2 (ja) 2011-01-04 2014-11-05 株式会社トプコン 飛行体の飛行制御システム
US8711206B2 (en) 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
DE102011010679A1 (de) 2011-02-08 2012-08-09 Eads Deutschland Gmbh Unbemanntes Luftfahrzeug mit eingebautem Kollisionswarnsystem
US20120213436A1 (en) 2011-02-18 2012-08-23 Hexagon Technology Center Gmbh Fast Image Enhancement and Three-Dimensional Depth Calculation
US9199725B2 (en) 2011-02-28 2015-12-01 Bae Systems Australia Control computer for an unmanned vehicle
US8868323B2 (en) 2011-03-22 2014-10-21 Honeywell International Inc. Collaborative navigation using conditional updates
US20120271461A1 (en) 2011-04-20 2012-10-25 Spata Gregory P Capturing environmental information
EP3211448B1 (en) 2011-05-06 2020-10-14 Hadal, Inc. Systems and methods for synthetic aperture sonar
JP5776324B2 (ja) 2011-05-17 2015-09-09 富士通株式会社 地図処理方法及びプログラム、並びにロボットシステム
CN103256931B (zh) 2011-08-17 2014-11-26 清华大学 无人机的可视导航系统
US20130054023A1 (en) 2011-08-30 2013-02-28 5D Robotics, Inc. Asynchronous Data Stream Framework
US9297881B2 (en) 2011-11-14 2016-03-29 Microsoft Technology Licensing, Llc Device positioning via device-sensed data evaluation
US9031782B1 (en) 2012-01-23 2015-05-12 The United States Of America As Represented By The Secretary Of The Navy System to use digital cameras and other sensors in navigation
DE102012201870A1 (de) 2012-02-08 2013-08-08 RobArt GmbH Verfahren zum automatischen Auslösen einer Selbstlokalisierung
US9463574B2 (en) 2012-03-01 2016-10-11 Irobot Corporation Mobile inspection robot
CN103323002B (zh) 2012-03-19 2016-04-27 联想(北京)有限公司 即时定位与地图构建方法和装置
US9841761B2 (en) 2012-05-04 2017-12-12 Aeryon Labs Inc. System and method for controlling unmanned aerial vehicles
US9384668B2 (en) 2012-05-09 2016-07-05 Singularity University Transportation using network of unmanned aerial vehicles
JP5987259B2 (ja) 2012-06-19 2016-09-07 株式会社リコー 自動運転ナビゲーションシステム
JP2014002604A (ja) 2012-06-19 2014-01-09 Ricoh Co Ltd 課金システム、課金方法、課金システムを備えた機器
US8682521B2 (en) 2012-06-25 2014-03-25 The Boeing Company Unpredictable vehicle navigation
US9441985B2 (en) 2012-07-25 2016-09-13 Rockwell Collins, Inc. Future scene generating system, device, and method for a remotely-operated vehicle
CN103576690B (zh) * 2012-07-25 2016-12-21 深圳市大疆创新科技有限公司 一种无人机遥控方法及设备、无人机
JP6239619B2 (ja) * 2012-08-17 2017-11-29 パースペクティヴ・ロボティクス・エイ・ジー 位置決め及び相互動作用紐集合体を備えたフライングカメラ
US20140056438A1 (en) 2012-08-21 2014-02-27 Harman International Industries, Incorporated System for vehicle sound synthesis
US20150350614A1 (en) 2012-08-31 2015-12-03 Brain Corporation Apparatus and methods for tracking using aerial video
CN102854887A (zh) 2012-09-06 2013-01-02 北京工业大学 一种无人机航迹规划和远程同步操控方法
CN203038112U (zh) 2012-09-19 2013-07-03 苏州工业园区职业技术学院 无人机uav自动控制系统
US9488492B2 (en) 2014-03-18 2016-11-08 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
CN202815124U (zh) 2012-10-16 2013-03-20 山东电力集团公司电力科学研究院 一种多旋翼无人机检测绝缘子装置
US8798922B2 (en) 2012-11-16 2014-08-05 The Boeing Company Determination of flight path for unmanned aircraft in event of in-flight contingency
US9198363B2 (en) 2012-12-12 2015-12-01 The Boeing Company Tree metrology system
US9527587B2 (en) * 2012-12-19 2016-12-27 Elwha Llc Unoccupied flying vehicle (UFV) coordination
US8909391B1 (en) 2012-12-28 2014-12-09 Google Inc. Responsive navigation of an unmanned aerial vehicle to a remedial facility
US9051043B1 (en) 2012-12-28 2015-06-09 Google Inc. Providing emergency medical services using unmanned aerial vehicles
CN103921933A (zh) 2013-01-10 2014-07-16 深圳市大疆创新科技有限公司 飞行器变形结构及微型飞行器
CN103116360B (zh) 2013-01-31 2015-06-17 南京航空航天大学 一种无人机避障控制方法
CN103744430B (zh) 2013-02-07 2016-08-24 山东英特力光通信开发有限公司 一种小型无人直升机飞行控制方法
US9102406B2 (en) 2013-02-15 2015-08-11 Disney Enterprises, Inc. Controlling unmanned aerial vehicles as a flock to synchronize flight in aerial displays
US9367067B2 (en) 2013-03-15 2016-06-14 Ashley A Gilmore Digital tethering for tracking with autonomous aerial robot
US8989922B2 (en) 2013-03-15 2015-03-24 Azure Sky Group, LLC. Modular drone and methods for use
US9085354B1 (en) 2013-04-23 2015-07-21 Google Inc. Systems and methods for vertical takeoff and/or landing
US9037396B2 (en) 2013-05-23 2015-05-19 Irobot Corporation Simultaneous localization and mapping for a mobile robot
US8868328B1 (en) 2013-06-04 2014-10-21 The Boeing Company System and method for routing decisions in a separation management system
US8996207B2 (en) 2013-06-24 2015-03-31 Honeywell International Inc. Systems and methods for autonomous landing using a three dimensional evidence grid
CN203397214U (zh) 2013-07-09 2014-01-15 国家电网公司 一种适用于山区电网巡检的专用无人直升机避障系统
CN103365299B (zh) * 2013-08-02 2015-12-23 中国科学院自动化研究所 一种无人机的避障方法及其装置
CN203397215U (zh) 2013-08-05 2014-01-15 上海久能能源科技发展有限公司 一种自锁式聚光反射定日镜
CN103970143B (zh) 2013-08-27 2017-03-29 清华大学 一种无人飞行器自主巡点飞行的智能优化方法
US20160137293A1 (en) * 2013-10-15 2016-05-19 Skypersonic Enclosed drone apparatus and method for use thereof
US9234728B2 (en) * 2013-11-08 2016-01-12 Lonestar Inventions, L.P. Rocket or artillery launched smart reconnaissance pod
US9158304B2 (en) 2013-11-10 2015-10-13 Google Inc. Methods and systems for alerting and aiding an emergency situation
JP6329642B2 (ja) 2013-12-10 2018-05-23 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd センサ融合
US8825226B1 (en) 2013-12-17 2014-09-02 Amazon Technologies, Inc. Deployment of mobile automated vehicles
CN103901892B (zh) 2014-03-04 2016-12-07 清华大学 无人机的控制方法及系统
CN103941747B (zh) 2014-03-31 2016-08-17 清华大学 无人机群的控制方法及系统
CN103914077A (zh) 2014-04-03 2014-07-09 江西洪都航空工业集团有限责任公司 一种有人/无人可选择双模飞行控制系统
CN103925920B (zh) 2014-04-10 2016-08-17 西北工业大学 一种基于图像透视的微型无人机室内自主导航方法
CN103941748B (zh) 2014-04-29 2016-05-25 百度在线网络技术(北京)有限公司 自主导航方法及系统和地图建模方法及系统
CN103941750B (zh) 2014-04-30 2016-08-31 东北大学 基于小型四旋翼无人机的构图装置及方法
US9354296B2 (en) 2014-05-20 2016-05-31 Verizon Patent And Licensing Inc. Dynamic selection of unmanned aerial vehicles
CN103984357B (zh) * 2014-05-30 2017-02-01 中国人民解放军理工大学 一种基于全景立体成像设备的无人机自动避障飞行系统
WO2015180180A1 (en) * 2014-05-30 2015-12-03 SZ DJI Technology Co., Ltd. Systems and methods for uav docking
WO2016015251A1 (en) * 2014-07-30 2016-02-04 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
WO2016033795A1 (en) 2014-09-05 2016-03-10 SZ DJI Technology Co., Ltd. Velocity control for an unmanned aerial vehicle
EP3428766B1 (en) 2014-09-05 2021-04-07 SZ DJI Technology Co., Ltd. Multi-sensor environmental mapping
JP6278539B2 (ja) 2014-09-05 2018-02-14 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 状況に基づく飛行モード選択
US9552736B2 (en) 2015-01-29 2017-01-24 Qualcomm Incorporated Systems and methods for restricting drone airspace access
DE102015204947B4 (de) 2015-03-19 2021-09-09 Ford Global Technologies, Llc Verfahren und Vorrichtung zum Betrieb eines wahlweise manuell steuerbaren oder zu autonomem Fahren fähigen Fahrzeugs
US9592912B1 (en) 2016-03-08 2017-03-14 Unmanned Innovation, Inc. Ground control point assignment and determination system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102621987A (zh) * 2011-01-28 2012-08-01 波音公司 为预测飞行器航迹提供数据
CN102393747A (zh) * 2011-08-17 2012-03-28 清华大学 无人机集群的协作交互方法及无人机的可视导航系统
CN102707724A (zh) * 2012-06-05 2012-10-03 清华大学 一种无人机的视觉定位与避障方法及系统
CN102749927A (zh) * 2012-07-20 2012-10-24 常州大学 无人飞机自动规避障碍物的系统及其规避方法

Also Published As

Publication number Publication date
US9625909B2 (en) 2017-04-18
US20210149398A1 (en) 2021-05-20
US9625907B2 (en) 2017-04-18
US20160216710A1 (en) 2016-07-28
US10845805B2 (en) 2020-11-24
US20160070264A1 (en) 2016-03-10
JP2017504851A (ja) 2017-02-09
US20170052541A1 (en) 2017-02-23
WO2016033795A1 (en) 2016-03-10
JP6181300B2 (ja) 2017-08-16
CN105980950A (zh) 2016-09-28
US10001778B2 (en) 2018-06-19
US20180284776A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
CN105980950B (zh) 无人飞行器的速度控制
CN105492985B (zh) 一种用于在环境内控制可移动物体的系统及方法
CN105517666B (zh) 基于情景的飞行模式选择
JP6991122B2 (ja) 目標追跡方法、目標追跡装置、目標追跡システム及びプログラム。
CN107209514B (zh) 传感器数据的选择性处理
CN108351653B (zh) 用于uav飞行控制的系统和方法
CN106716272B (zh) 用于飞行模拟的系统和方法
US20200026720A1 (en) Construction and update of elevation maps
CN104854428B (zh) 传感器融合
CN106030431B (zh) 传感器的自动标定系统及方法
CN109219785B (zh) 一种多传感器校准方法与系统
CN107615211B (zh) 使用传感器融合估计可移动物体的状态信息的方法及系统
CN108139758A (zh) 基于显著性特征的载运工具定位
CN107850902A (zh) 可移动物体上的相机配置
CN105518555B (zh) 目标追踪系统及方法
CN107850901A (zh) 使用惯性传感器和图像传感器的传感器融合
CN107850436A (zh) 使用惯性传感器和图像传感器的传感器融合
CN109074090A (zh) 无人机硬件架构
CN108351649A (zh) 用于uav交互指令和控制的系统和方法
CN107531217A (zh) 识别或检测障碍物的设备和方法
CN107850899A (zh) 使用惯性传感器和图像传感器的传感器融合
CN107637064A (zh) 用于图像处理的方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190528

CF01 Termination of patent right due to non-payment of annual fee