CN108139759B - 用于无人飞行器路径规划和控制的系统和方法 - Google Patents

用于无人飞行器路径规划和控制的系统和方法 Download PDF

Info

Publication number
CN108139759B
CN108139759B CN201680060804.8A CN201680060804A CN108139759B CN 108139759 B CN108139759 B CN 108139759B CN 201680060804 A CN201680060804 A CN 201680060804A CN 108139759 B CN108139759 B CN 108139759B
Authority
CN
China
Prior art keywords
movable object
motion path
reference point
target direction
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680060804.8A
Other languages
English (en)
Other versions
CN108139759A (zh
Inventor
胡骁
刘昂
张立天
唐克坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to CN202210304319.8A priority Critical patent/CN114815906A/zh
Priority claimed from PCT/CN2016/074830 external-priority patent/WO2017071143A1/en
Publication of CN108139759A publication Critical patent/CN108139759A/zh
Application granted granted Critical
Publication of CN108139759B publication Critical patent/CN108139759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本文提供了用于经由图形用户界面来控制一个或多个可移动物体的系统、方法和设备。可以提供一种用于控制可移动物体的方法。该方法可以包括基于目标方向，估计所述可移动物体的参照点，以及所述可移动物体在所述参照点处的一个或多个运动特性；以及基于所述可移动物体在所述可移动物体的位置和所述参照点处的一个或多个运动特性，生成所述可移动物体的从所述位置到所述参照点的运动路径。

Description

用于无人飞行器路径规划和控制的系统和方法
相关申请的交叉引用
本申请要求提交于2015年10月30日、题为“SYSTEMS AND METHODS FOR UAVINTERACTIVE INSTRUCTIONS AND CONTROL”的国际申请号PCT/CN2015/093459的优先权；特此通过引用而并入该申请的全部内容。
背景技术
在对于真实世界应用的一些监视、侦查和勘探任务中，可以控制携带着负载(例如，相机)的飞行器在不同方向上移动。飞行导航方法可基于全球定位系统(globalpositioning system，GPS)数据或相机视觉。然而，缺少易于使用的交互式控制与引导系统阻碍了飞行导航的实际应用的开发。目前，一个或多个操作者可能必须手动控制飞行器以使其在期望的方向上飞行和/或沿途避障。目前已知的飞行控制系统一般需要操作者具有一定水平的航空经验或手工技能来操作飞行器，并且提供有限的实时自动控制能力。缺乏易于使用的交互式控制与引导系统可能会降低飞行器在某些应用中的效用。
发明内容
存在对于直观且易于使用并且允许人通过与人类-系统界面的交互来管理和操作飞行器的飞行控制系统的需要。手动驾驶飞行器对用户的负担可以得到显著降低，从而允许用户更容易地专注于负载或任务操作，诸如从飞行器进行视觉监视和/或拍摄物体的航空影像。
存在对于改善飞行器在多种应用的不同条件下的自主飞行能力和鲁棒性的另一需要。所述应用可以包括实现飞行器在目标方向上的移动。所述条件可以包括室内和/或室外环境、具有或不具有GPS信号的地点或者GPS信号接收不良的地点、多种不同的地形、运动路径中的障碍物等。所述障碍物可能是静止的，或者是能够移动的。一个或多个障碍物可能沿着飞行器行进的方向和/或出现在飞行器行进的方向上。在一些情况下，障碍物可能是一组快速移动的物体，因此该组的大小和/或形状可能由于物体移动而无固定形状并且随着时间而改变。相应地，存在对于实时或近实时自动检测障碍物并且以受控方式调整飞行器的运动路径以避免碰撞的需要。
本文提供了具有至少解决上述需要的改善的飞行控制能力的系统、方法和设备。改善的跟踪能力可以合并到飞行器(诸如无人飞行器(UAV))中。改善的跟踪能力可以包括“一触即成(tap-and-go)”功能，因此用户可以点击显示于用户终端上的图像上点，以命令可移动物体朝着目标方向和/或在目标方向上自动移动。在一些情况下，可以在不需要手动飞行输入和/或由用户操作的情况下基于目标方向为可移动物体自动生成到达参照点的运动路径。该运动路径可以限定从可移动物体的位置到参照点的平滑曲线轨迹。可以基于可移动物体的一个或多个运动特性、功耗、可移动物体沿着运动路径进行机动的便利性、可移动物体的朝向和/或其他参数来优化该运动路径。
在一些情况下，改善的飞行控制能力可以支持对沿着运动路径的一个或多个障碍物的自动检测，以及运动路径的调整以躲避该一个或多个障碍物。当可移动物体在未知环境中或者在GPS信号接收不良或含有多个障碍物的环境中在目标方向上移动时，这样的能力可能是特别有用的。
例如，在本发明的一些方面中，提供一种用于控制可移动物体的方法。所述方法可以包括：基于目标方向，估计所述可移动物体的参照点，以及所述可移动物体在所述参照点处的一个或多个运动特性；以及基于所述可移动物体在所述可移动物体的位置和所述参照点处的一个或多个运动特性，生成所述可移动物体的从所述位置到所述参照点的运动路径。
根据本发明的一个方面，提供一种用于控制可移动物体的装置。所述装置可以包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置用于：基于目标方向，估计所述可移动物体的参照点，以及所述可移动物体在所述参照点处的一个或多个运动特性；以及基于所述可移动物体在所述可移动物体的位置和所述参照点处的一个或多个运动特性，生成所述可移动物体的从所述位置到所述参照点的运动路径。
根据本发明的另一方面，提供一种非暂时性计算机可读介质，其储存指令，所述指令当被执行时使计算机执行用于控制可移动物体的方法。所述方法可以包括：基于目标方向，估计所述可移动物体的参照点，以及所述可移动物体在所述参照点处的一个或多个运动特性；以及基于所述可移动物体在所述可移动物体的位置和所述参照点处的一个或多个运动特性，生成所述可移动物体的从所述位置到所述参照点的运动路径。
根据本发明的附加方面，可提供一种无人飞行器(UAV)系统。所述系统可以包括：可操作以控制所述无人飞行器的装置，所述装置包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置用于：基于目标方向，估计所述无人飞行器的参照点，以及所述无人飞行器在所述参照点处的一个或多个运动特性；以及基于所述无人飞行器在所述无人飞行器的位置和所述参照点处的一个或多个运动特性，生成所述无人飞行器的从所述位置到所述参照点的运动路径。
本发明的其他方面可涉及一种用于确定可移动物体的目标方向的方法。所述方法可以包括：在计算机实现的显示器上提供图像；当用户在所述图像上选择点时获得选定点在所述图像上的位置；以及基于所述选定点在所述图像上的所述位置来确定所述目标方向。
根据本发明的一个方面，提供一种用于确定可移动物体的目标方向的装置。所述装置可以包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置用于：在计算机实现的显示器上提供图像；当用户在所述图像上选择点时获得选定点在所述图像上的位置；以及基于所述选定点在所述图像上的所述位置来确定所述目标方向。
根据本发明的另一方面，提供一种非暂时性计算机可读介质，其储存指令，所述指令当被执行时使计算机执行用于确定可移动物体的目标方向的方法。所述方法可以包括：在计算机实现的显示器上提供图像；当用户在所述图像上选择点时获得选定点在所述图像上的位置；以及基于所述选定点在所述图像上的所述位置来确定所述目标方向。
根据本发明的附加方面，可提供一种无人飞行器(UAV)系统。所述系统可以包括：可操作以控制所述无人飞行器的装置，所述装置包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置用于：在计算机实现的显示器上提供图像；当用户在所述图像上选择点时获得选定点在所述图像上的位置；以及基于所述选定点在所述图像上的所述位置来确定所述目标方向。
本发明的其他方面可涉及一种用于实现可移动物体在环境内的避障的方法。所述方法可以包括：基于所述可移动物体沿着运动路径的预测移动，确定所述可移动物体是否将会与一个或多个障碍物碰撞；当确定所述可移动物体会与所述一个或多个障碍物碰撞时，在至少一个方向上增量地调整所述运动路径；以及针对所述至少一个方向上的每个增量角度，确定所述可移动物体是否将会与所述一个或多个障碍物碰撞。
根据本发明的一个方面，提供一种用于实现可移动物体在环境内的避障的装置。所述装置可以包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置用于：基于所述可移动物体沿着运动路径的预测移动，确定所述可移动物体是否将会与一个或多个障碍物碰撞；当确定所述可移动物体会与所述一个或多个障碍物碰撞时，在至少一个方向上增量地调整所述运动路径；以及针对所述至少一个方向上的每个增量角度，确定所述可移动物体是否将会与所述一个或多个障碍物碰撞。
根据本发明的另一方面，提供一种非暂时性计算机可读介质，其储存指令，所述指令当被执行时使计算机执行用于实现可移动物体在环境内的避障的方法。所述方法可以包括：基于所述可移动物体沿着运动路径的预测移动，确定所述可移动物体是否将会与一个或多个障碍物碰撞；当确定所述可移动物体会与所述一个或多个障碍物碰撞时，在至少一个方向上增量地调整所述运动路径；以及针对所述至少一个方向上的每个增量角度，确定所述可移动物体是否将会与所述一个或多个障碍物碰撞。
根据本发明的附加方面，可提供一种无人飞行器(UAV)系统。所述系统可以包括：可操作以实现所述无人飞行器在环境内的避障的装置，所述装置包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置用于：基于所述可移动物体沿着运动路径的预测移动，确定所述可移动物体是否将会与一个或多个障碍物碰撞；当确定所述可移动物体会与所述一个或多个障碍物碰撞时，在至少一个方向上增量地调整所述运动路径；以及针对所述至少一个方向上的每个增量角度，确定所述可移动物体是否将会与所述一个或多个障碍物碰撞。
本发明的其他方面可涉及一种用于在环境内控制可移动物体的方法。所述方法可以包括：基于所述环境内的目标方向以及所述可移动物体的一个或多个运动特性，生成所述可移动物体的运动路径；以及使用表示所述环境的至少一部分的环境地图，确定所述可移动物体与一个或多个障碍物的碰撞的概率，其中基于所述可移动物体沿着所述运动路径的预测移动以及所述一个或多个障碍物向所述运动路径上的预测移动来确定所述概率。
根据本发明的一个方面，提供一种用于在环境内控制可移动物体的装置。所述装置可以包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置用于：基于所述环境内的目标方向以及所述可移动物体的一个或多个运动特性，生成所述可移动物体的运动路径；以及使用表示所述环境的至少一部分的环境地图，确定所述可移动物体与一个或多个障碍物的碰撞的概率，其中基于所述可移动物体沿着所述运动路径的预测移动以及所述一个或多个障碍物向所述运动路径上的预测移动来确定所述概率。
根据本发明的另一方面，提供一种非暂时性计算机可读介质，其储存指令，所述指令当被执行时使计算机执行用于在环境内控制可移动物体的方法。所述方法可以包括：基于所述环境内的目标方向以及所述可移动物体的一个或多个运动特性，生成所述可移动物体的运动路径；以及使用表示所述环境的至少一部分的环境地图，确定所述可移动物体与一个或多个障碍物的碰撞的概率，其中基于所述可移动物体沿着所述运动路径的预测移动以及所述一个或多个障碍物向所述运动路径上的预测移动来确定所述概率。
根据本发明的附加方面，可提供一种无人飞行器(UAV)系统。所述系统可以包括：可操作以在环境内控制所述无人飞行器的装置，所述装置包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置用于：基于所述环境内的目标方向以及所述可移动物体的一个或多个运动特性，生成所述可移动物体的运动路径；以及使用表示所述环境的至少一部分的环境地图，确定所述可移动物体与一个或多个障碍物的碰撞的概率，其中基于所述可移动物体沿着所述运动路径的预测移动以及所述一个或多个障碍物向所述运动路径上的预测移动来确定所述概率。
应当明白，本发明的不同方面可被单独地、共同地或彼此结合地理解。本文所描述的本发明的各个方面可以适用于下文阐述的任何特定应用或者适用于任何其他类型的可移动物体。本文对飞行器的任何描述均可适用于和用于任何可移动物体，诸如任何载具。此外，本文在空中运动(例如，飞行)的情景下公开的系统、设备和方法还可以适用于其他类型运动的情景下，诸如在地面上或在水上的移动、水下运动或者在太空中的运动。
通过考察说明书、权利要求书和附图，本发明的其他目标和特征将会变得显而易见。
援引并入
本说明书中所提及的所有出版物、专利和专利申请均通过引用而并入于此，其程度犹如具体地和个别地指出要通过引用而并入每一个别出版物、专利或专利申请那样。
附图说明
本发明的新颖特征特别地体现在后述权利要求项中。为更好地理解本发明的所述特征和有益效果，可结合参考下述具体实施方式中的实施方式及相对应的附图：
图1示出了根据一些实施方式，在视觉交互式导航中使用的系统的示例；
图2示出了根据一些实施方式，可在视觉交互式导航系统内发生的通信的示例；
图3示出了根据一些实施方式，可用于基于用户选定点来确定空间目标方向的相机成像的几何模型；
图4示出了根据一些实施方式的用户界面(user interface，UI)的示例，用户可通过其来选择目标方向；
图5示出了根据一些实施方式的用户界面(user interface，UI)的示例，用户可通过其来调整目标方向；
图6图示了根据一些实施方式，用于控制可移动物体的方向的流程图；
图7示出了根据一些其他实施方式，可在视觉交互式导航系统内发生的通信的示例；
图8示出了根据一些实施方式，当可移动物体朝与目标方向相关联的参照点移动时可以采取的不同运动路径的示例；
图9示出了根据一些实施方式，所生成的从可移动物体的位置到与目标方向相关联的参照点的运动路径；
图10示出了根据一些实施方式，可以生成的从可移动物体的位置到与目标方向相关联的多个参照点的不同运动路径的示例；
图11部分A示出了根据一些实施方式，当可移动物体从第一目标方向移动到第二目标方向时可以生成的不同运动路径的示例；
图12示出了根据一些其他实施方式，可在视觉交互式导航系统内发生的通信的示例；
图13示出了根据一些实施方式，增量地在向上方向或向下方向调整可移动物体的运动路径以躲避障碍物；
图14示出了根据一些实施方式，水平地在左方向和右方向调整可移动物体的运动路径以躲避障碍物；
图15示出了根据一些实施方式，对可移动物体的运动路径的调整，使得该可移动物体在左方向或右方向上水平移动以躲避障碍物。
图16示出了根据一些实施方式，以3D扫掠配置来调整可移动物体的运动路径以躲避障碍物；
图17示出了根据一些实施方式，反复调整可移动物体的运动路径以躲避一个或多个障碍物；
图18示出了根据一些实施方式的用户界面(user interface，UI)的示例，用户可通过其来选择目标方向并从而为可移动物体自动调整运动路径以躲避该目标方向上的障碍物；
图19示出了根据一些实施方式，用于为可移动物体生成运动路径的方法的流程图；
图20示出了根据一些实施方式，用于可移动物体的避障方法的流程图；以及
图21是根据一些实施方式，用于控制可移动物体的系统的示意框图。
具体实施方式
本文所提供的系统、方法和设备可以用于改进对可移动物体的操作的便利性。本文所提供的控制系统直观而易于使用，并且允许用户通过与图形人类-系统界面的交互来管理和操作可移动物体。可以基于从对图形人类-系统界面的输入确定的目标方向来为可移动物体自动生成运动路径。可以自动调整该运动路径以防止可移动物体与一个或多个障碍物碰撞。因此，可以显著减少手动驾驶可移动物体的负担，从而允许用户更容易专注于负载或任务操作，诸如视觉监视和/或拍摄物体的航空影像。改进的能力可以合并到诸如无人飞行器(unmanned aerial vehicle，UAV)等任何类型的飞行器中。
应当理解，本发明的不同方面可被单独地、共同地或彼此结合地理解。本文所描述的本发明的各个方面可以适用于下文阐述的任何特定应用或者适用于任何其他类型的遥控载具或可移动物体。
图1示出了在视觉导航中使用的系统的示例。该视觉导航系统100可以包括可移动物体102和用户终端106，该用户终端106能够与可移动物体双向通信。可移动物体可被配置用于携带负载104。用户终端可以用于控制可移动物体和/或负载的一个或多个运动特性。例如，用户终端可以用于控制可移动物体，以使得该可移动物体能够在环境内的指定方向110上导航。该指定方向可以是从向用户终端的用户输入确定的目标方向。一个或多个物体108可以位于环境内。在一些情况下，用户终端可以用于控制可移动物体，以使得该可移动物体能够朝着所述物体导航、跟踪所述物体、跟随所述物体，或者获取与所述物体相关联的数据(例如，图像数据)。
可移动物体102可以是能够穿越环境的任何物体。该可移动物体可以能够穿越空气、水、陆地和/或空间。该环境可包括静止物体和能够运动的物体。静止物体的示例可包括地理特征、植物、地标、建筑物、整体构造物或任何固定构造物。能够运动的物体的示例可包括人、载具、动物、抛射物等。
在一些情况下，环境可以是惯性参考系。惯性参考系可以用于均一地、各项同性地，并以与时间无关的方式描述时间和空间。惯性参考系可以相对于可移动物体而建立，并且可以根据可移动物体而移动。可以通过变换(例如，牛顿物理学中的伽利略变换)来将该惯性参考系中的测量结果转换成另一参考系(例如，整体参考系)中的测量结果。
可移动物体102可以是载具。载具可以是自推进式载具。载具可以借助于一个或多个动力单元而穿越环境。载具可以是飞行器、陆基载具、水基载具或天基载具。载具可以是无人载具。载具可以能够在不搭载人类乘员的情况下穿越环境。或者，载具可以携带人类乘员。在一些实施方式中，可移动物体可以是无人飞行器(UAV)。
本文对UAV或任何其他类型的可移动物体的任何描述总体上均可适用于任何其他类型的可移动物体或各类可移动物体，或者反之亦然。例如，本文对UAV的任何描述均可适用于任何无人陆行载具、水基载具或天基载具。在本文其他各处更详细地提供了可移动物体的进一步示例。
如上文所述，可移动物体可以能够在环境内穿越。可移动物体可以能够在三个维度内飞行。可移动物体可以能够沿着一个、两个或三个轴空间平移。该一个、两个或三个轴可彼此正交。所述轴可以是沿着俯仰、航向和/或横滚轴。该可移动物体还可以能够围绕一个、两个或三个轴旋转。该一个、两个或三个轴可彼此正交。该轴可以是俯仰轴、航向轴和/或横滚轴。可移动物体可以能够沿着多达六个自由度移动。可移动物体可以包括可协助该可移动物体进行移动的一个或多个动力单元。例如，可移动物体可以是具有一个、两个或更多个动力单元的UAV。动力单元可被配置用于为UAV生成升力。动力单元可以包括旋翼。可移动物体可以是多旋翼UAV。
可移动物体可以具有任何物理配置。例如，可移动物体可以具有中央主体，以及从该中央主体延伸的一个或臂或分支。所述臂可从中央主体横向或径向延伸。该臂可以是相对于中央主体可移动的，或者可以是相对于中央主体静止的。该臂可以支撑一个或多个动力单元。例如，每个臂可以支撑一个、两个或更多个动力单元。
可移动物体可以具有外壳。该外壳可以是由单个整体件、两个整体件或多个零件形成的。该外壳可以包括空腔，在该空腔内安设一个或多个组件。该组件可以是电组件，诸如飞行控制器、一个或多个处理器、一个或多个存储器存储单元、一个或多个传感器(例如，一个或多个惯性传感器或本文其他各处描述的任何其他类型的传感器)、一个或多个导航单元(例如，全球定位系统(GPS)单元)、一个或通信单元，或者任何其他类型的组件。所述外壳可以具有单个空腔或多个空腔。在一些情况下，飞行控制器可与一个或多个动力单元通信，并且/或者可控制一个或多个动力单元的操作。该飞行控制器可借助于一个或多个电子调速(electronic speed control，ESC)模块而与一个或多个动力单元通信以及/或者控制其操作。该飞行控制器可与ESC模块通信以控制动力单元的操作。
可移动物体可以支撑机载负载104。该负载可以具有相对于可移动物体的固定位置，或者可以是相对于可移动物体可移动的。该负载可以相对于可移动物体而空间平移。例如，负载可以相对于可移动物体沿着一个、两个或三个轴移动。负载还可以相对于可移动物体旋转。例如，负载可以相对于可移动物体围绕一个、两个或三个轴旋转。所述轴可彼此正交。所述轴可以是俯仰轴、航向轴和/或横滚轴。或者，负载可以固定或集成到可移动物体中。
负载可以是可借助于载体而相对于可移动物体移动的。该载体可以包括一个或多个云台级，所述云台级可由允许载体相对于可移动物体的移动。例如，载体可以包括第一云台级、第二云台级和/或第三云台级，其中所述第一云台级可以允许载体相对于可移动物体围绕第一轴旋转，所述第二云台级可以允许载体相对于可移动物体围绕第二轴旋转，而所述第三云台级可以允许载体相对于可移动物体围绕第三轴旋转。本文其他各处描述的载体的任何描述和/或特性均可适用。
负载可以包括：能够感测可移动物体周围的环境的设备、能够将向环境发射信号的设备和/或能够与环境交互的设备。
一个或多个传感器可被提供作为负载，并且可以能够感测环境。该一个或多个传感器可以包括成像设备。成像设备可以是物理成像设备。成像设备可被配置用于检测电磁辐射(例如，可见光、红外光和/或紫外光)，以及基于所检测到的电磁辐射来生成图像数据。成像设备可以包括响应于各个波长的光而生成电信号的电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。可以处理所得的电信号以产生图像数据。由成像设备生成的图像数据可以包括一个或多个图像，所述图象可以是静态图像(例如，照片)、动态图像(例如，视频)，或者其适当组合。图像数据可以是多色的(例如，RGB、CMKY、HSV)或单色的(例如，灰度、黑白、棕褐)。成像设备可以包括镜头，该镜头被配置用于将光导引到图像传感器上。
成像设备可以是相机。相机可以是捕获动态图像数据(例如，视频)的摄像机或视频相机。相机可以是捕获静态图像(例如，照片)的照相机。相机可以既捕获动态图像数据又捕获静态图像。相机可以在捕获动态图像数据与静态图像之间切换。尽管在相机的上下文中描述了本文提供的某些实施方式，但应当理解，本公开内容可以适用于任何合适的成像设备，并且本文关于相机的任何描述亦可适用于任何合适的成像设备，并且本文关于相机的任何描述亦可适用于其他类型的成像设备。相机可以用于生成3D场景(例如，环境、一个或多个物体等)的2D图像。由相机生成的图像可以表示3D场景到2D图像平面上的投影。因此，2D图像中的每个点对应于场景中的3D空间坐标。相机可以包含光学元件(例如，透镜、反射镜、滤光器等)。相机可以捕获彩色图像、灰度图像、红外图像等。当相机被配置用于捕获红外图像时，其可以是热成像设备。
在一些实施方式中，负载可以包括多个成像设备，或者包括具有多个镜头和/或图像传感器的成像设备。负载可以能够基本上同时地拍摄多个图像。该多个图像可以帮助创建3D场景、3D虚拟环境、3D地图或3D模型。例如，可以拍摄右图像和左图像，并将其用于立体绘图。可以从经校准的双目图像来计算深度图。可以同时拍摄任何数目的图像(例如，2个或更多个、3个或更多个、4个或更多个、5个或更多个、6个或更多个、7个或更多个、8个或更多个、9个或更多个)来帮助创建3D场景/虚拟环境/模型、以及/或者深度绘图。所述图像可以定向于基本上相同的方向上，或者可以定向于略有不同的方向上。在一些情况下，来自其他传感器的数据(例如，超声数据、激光雷达(LIDAR)数据、来自本文其他各处描述的任何其他传感器的数据，或者来自外部设备的数据)可以帮助创建2D或3D图像或地图。
成像设备可以按特定图像分辨率来捕获图像或图像序列。在一些实施方式中，图像分辨率可由图像中像素的数目来定义。在一些实施方式中，图像分辨率可大于或等于约352x420像素、480x320像素、720x480像素、1280x720像素、1440x1080像素、1920x1080像素、2048x1080像素、3840x2160像素、4096x2160像素、7680x4320像素，或者15360x8640像素。在一些实施方式中，相机可以是4K相机或具有更高分辨率的相机。
成像设备可以按特定的捕获速率来捕获图像序列。在一些实施方式中，该图像序列可以是按标准视频帧率捕获的，所述标准视频帧率诸如为约24p、25p、30p、48p、50p、60p、72p、90p、100p、120p、300p、50i或60i。在一些实施方式中，该图像序列可以是按小于或等于约每0.0001秒一个图像、每0.0002秒一个图像、每0.0005秒一个图像、每0.001秒一个图像、每0.002秒一个图像、每0.005秒一个图像、每0.01秒一个图像、每0.02秒一个图像、每0.05秒一个图像、每0.1秒一个图像、每0.2秒一个图像、每0.5秒一个图像、每1秒一个图像、每2秒一个图像、每5秒一个图像或者每10秒一个图像的速率捕获的。在一些实施方式中，该捕获速率可根据用户输入和/或外部条件(例如，环境的雨、雪、风、不明显表面纹理)而改变。
成像设备可以具有可调参数。在不同参数下，可以在经受相同外部条件(例如，位置、光照)的同时通过成像设备来捕获不同图像。可调参数可以包括曝光(例如，曝光时间、快门速度、光圈、胶片速度)、增益、反差系数(gamma)、感兴趣区域、像素组合(binning)/子采样、像素时钟、偏移、触发、ISO等。与曝光相关的参数可以控制到达成像设备中的图像传感器的光量。例如，快门速度可以控制到达图像传感器的光的时间量，而光圈可以控制在给定时间内到达图像传感器的光量。与增益相关的参数可以控制来自光学传感器的信号的放大。ISO可以控制相机对可用光的敏感度水平。控制曝光和增益的参数在本文中可共同视为和称为EXPO。
在一些备选实施方式中，成像设备可扩展到物理成像设备之外。例如，成像设备可以包括能够捕获和/或生成图像或视频帧的任何技术。在一些实施方式中，成像设备可以涉及能够处理从另一物理设备获得的图像的算法。
负载可以包括一种或多种类型的传感器。各种类型的传感器的一些示例可以包括位置传感器(例如，全球定位系统(GPS)传感器、支持位置三角测量法的移动设备发射器)、视觉传感器(例如，能够检测可见光、红外光或紫外光的成像设备，诸如相机)、距离或范围传感器(例如，超声传感器、激光雷达、渡越时间或深度相机)、惯性传感器(例如，加速度计、陀螺仪和/或重力检测传感器，其可形成惯性测量单元(inertial measurement unit，IMU))、高度传感器、姿态传感器(例如，罗盘)、压力传感器(例如，气压计)、温度传感器、湿度传感器、振动传感器、音频传感器(例如，麦克风)和/或场传感器(例如，磁力计、电磁传感器、无线电传感器)。
负载可以包括一个或多个能够向环境中发射信号的设备。例如，负载可以包括沿着电磁频谱的发射器(例如，可见光发射器、紫外发射器、红外发射器)。负载可以包括激光器或任何其他类型的电磁发射器。负载可以发射一个或多个振动，诸如超声信号。负载可以发射可听的声音(例如，来自扬声器)。负载可以发射无线信号，诸如无线电信号或其他类型的信号。
负载可以能够与环境相互作用。例如，负载可以包括机械臂。负载可以包括用于递送诸如液体、气体和/或固体组分的物品。例如，负载可以包括杀虫剂、水、肥料、消防材料、食物、包装或任何其他物品。
本文中负载的任何示例均可适用于可以由可移动物体携带的或者可以作为可移动物体的一部分的设备。例如，一个或多个传感器可以是可移动物体的一部分。可以提供或者可以不提供除了负载之外的一个或多个传感器。这可以适用于任何类型的负载，诸如本文中所述的那些负载。
可移动物体可以能够与用户终端106通信。用户终端可以与可移动物体自身、可移动物体的负载和/或可移动物体的载体通信，其中该载体用于支撑负载。本文对与可移动物体的通信的任何描述亦可适用于与可移动物体的负载、可移动物体的载体和/或可移动物体的一个或多个单独组件(例如，通信单元、导航单元、动力单元、电源、处理器、存储器存储单元和/或致动器)的通信。
可移动物体与用户终端之间的通信可以是无线通信。可以在可移动物体与用户终端之间提供直接通信。可以在不需要任何中间设备或网络的情况下发生直接通信。可以在可移动物体与用户终端之间提供间接通信。可以借助于一个或多个中间设备或网络而发生间接通信。例如，间接通信可以利用电信网络。可以借助于一个或多个路由器、通信塔、卫星或任何其他中间设备或网络来执行间接通信。通信类型的示例可以包括但不限于：经由因特网、局域网(LAN)、广域网(WAN)、蓝牙、近场通信(NFC)技术、基于移动数据协议(诸如通用分组无线服务(GPRS)、GSM、增强型数据GSM环境(EDGE)、3G、4G或长期演进(LTE)协议)的网络、红外(IR)通信技术和/或Wi-Fi的通信，并且可以是无线的、有线的或其组合。
用户终端可以是任何类型的外部设备。用户终端的示例可以包括但不限于：智能电话/蜂窝电话、平板计算机、个人数字助理(PDA)、膝上型计算机、台式计算机、媒体内容播放器、视频游戏站/系统、虚拟现实系统、增强现实系统、可穿戴式设备(例如，手表、眼镜、手套、头戴物件(诸如帽子、头盔、虚拟现实耳机、增强现实耳机、头戴式设备(HMD)、头带)、坠饰、臂带、腿带、鞋、背心)、手势识别设备、麦克风、任何能够提供或呈现图像数据的电子设备，或者任何其他类型的设备。用户终端可以是手持物体。用户终端可以是便携式的。用户终端可以由人类用户携带。在一些情况下，用户终端可以位于远离人类用户之处，并且用户可以使用无线和/或有线通信来控制用户终端。在本文其他各处更详细地提供用户终端的各个示例和/或特性。
用户终端可以包括一个或多个处理器，所述处理器可以能够执行可提供针对一个或多个动作的指令的非暂时性计算机可读介质。用户终端可以包括一个或多个存储器存储设备，所述存储器存储设备包含具有用于执行一个或多个动作的代码、逻辑或指令的非暂时性计算机可读介质。用户终端可以包括允许该用户终端与可移动物体通信以及从可移动物体接收成像数据的软件应用。用户终端可以包括通信单元，该通信单元可以允许与可移动物体的通信。在一些情况下，通信单元可以包括单个通信模块或多个通信模块。在一些情况下，用户终端可以能够使用单个通信链路或多个不同类型的通信链路来与可移动物体交互。
用户终端可以包括显示器。该显示器可以是屏幕。显示器可以是或者可以不是触摸屏。显示器可以是发光二极管(LED)屏幕、OLED屏幕、液晶显示器(LCD)屏幕、等离子屏幕或任何其他类型的屏幕。显示器可被配置用于示出图形用户界面(graphical userinterfacee，GUI)。该GUI可以示出可允许用户控制UAV的动作的图像。例如，用户可以从图像选择可移动物体的行进方向。用户可以选择图像的一部分(例如，点、区域和/或对象)来定义目标方向。用户可以通过直接触摸屏幕(例如，触摸屏)来选择目标方向。用户可以例如通过触摸屏幕上的点来触摸屏幕的一部分。或者，用户可以从预先存在的一组区域选择屏幕上的区域，或者可以绘制区域的边界、区域的直径或以任何其他方式指定屏幕的一部分。用户可以通过借助于用户交互设备(例如，鼠标、操纵杆、键盘、轨迹球、触摸板、按钮、口头命令、手势识别、姿态传感器、热传感器、触摸电容传感器或任何其他设备)选择图像的一部分来选择目标方向。触摸屏可被配置用于检测用户的触摸的位置、触摸的长度、触摸的压力和/或触摸运动，由此触摸的前述方式中的每一方式可指示出来自用户的特定输入命令。
显示器上的图像可以示出借助于可移动物体的负载收集的视图。例如，可以在显示器上示出通过成像设备捕获的图像。这可被认为是第一人称视角(first person view，FPV)。在一些情况下，可以提供单个成像设备，并且可以提供单个FPV。或者，可以提供具有不同视野的多个成像设备。视图可以在多个FPV之间切换，或者可以同时示出多个FPV。该多个FPV可对应于不同的成像设备(或者由不同的成像设备生成)，所述不同的成像设备可具有不同视野。位于用户终端处的用户可以选择由成像设备收集的图像的一部分来指定可移动物体的运动的目标和/或方向。
在另一示例中，显示器上的图像可以示出地图，该地图可借助于来自可移动物体的负载的信息而生成。可选地，该地图可以借助于可利用立体绘图技术的多个成像设备(例如，右相机、左相机或更多个相机)而生成。在一些情况下，可以基于关于可移动物体相对于环境、成像设备相对于环境以及/或者可移动物体相对于成像设备的位置信息来生成该地图。位置信息可以包括姿势信息、空间位置信息、角速度、线速度、角加速度和/或线加速度。可选地，可以借助于如本文其他各处更详细描述的一个或多个附加传感器来生成该地图。地图可以是二维(2D)地图或三维(3D)地图。可以在二维地图视图与三维地图视图之间切换视图，或者可以同时示出二维地图视图和三维地图视图。位于用户终端处的用户可以选择地图的一部分来指定可移动物体的运动的目标和/或方向。可以在一个或多个FPV以及一个或多个地图视图之间切换视图，或者可以同时示出一个或多个FPV以及一个或多个地图视图。用户可以使用任何视图来作出对目标或方向的选择。由用户选择的部分可以包括目标和/或方向。用户可以使用所描述的任何选择技术来选择该部分。
在一些实施方式中，可以在显示于用户终端上的3D虚拟环境(例如，虚拟现实系统或增强现实系统)中提供图像。可选地，3D虚拟环境可以对应于3D地图。虚拟环境可以包含可由用户操纵的多个点或对象。用户可以通过各种不同的动作在虚拟环境中操纵点或对象。这些动作的示例可以包括选择一个或多个点或对象、拖放、平移、旋转、转动、推、拉、放大、缩小等。可以设想到点或对象在三维虚拟空间中的任何类型的移动动作。位于用户终端处的用户可以在虚拟环境中操纵点或对象，以控制可移动物体的运动路径和/或可移动物体的一个或多个运动特性。
可选地，用户终端可以用于控制可移动物体的移动，诸如可移动物体的飞行。用户终端可以允许用户直接手动控制可移动物体的飞行。或者，可以提供可允许用户直接手动控制可移动物体的飞行的单独的设备。该单独的设备可以与用户终端通信或者可以不与其通信。可选地，可移动物体的飞行可以是全自主的或半自主的。可选地，用户终端可以用于控制可移动物体的任何组件(例如，负载的操作、载体的操作、一个或多个传感器、通信、导航、起落架、一个或多个组件的致动、供电控制或任何其他功能)。或者，可以使用单独的设备来控制可移动物体的一个或多个组件。该单独的设备可以与用户终端通信或者可以不与其通信。可以借助于一个或多个处理器来自动控制一个或多个组件。
目标方向110可由用户来选择。可移动物体可以在目标方向上行进。该目标方向可以通过用户选择图像的一部分(例如，在FPV或地图视图中)来选择。可移动物体可以在目标方向上行进，直到接收到撤销指令或者当实现撤销条件时为止。例如，可移动物体可以在目标方向上自动行进，直到输入新的方向为止。可移动物体可以在目标方向上行进，直到选择不同的飞行模式为止。例如，用户可以对可移动物体采取手动控制。
可以对可移动物体的行进提供限制。在另一情况下，可以检测可在其中应用飞行限制的条件。如下文更详细描述，当经历目标或方向跟踪时可发生避障。可以应用附加限制，诸如飞行上限、飞行下限、受限范围或其他类型的飞行限制。
图2示出可在视觉导航系统内发生的通信的示例。在视觉导航系统200内，可以提供用户终端206并且将其配置用于接受来自一个或多个用户的输入。用户终端可以与可移动物体通信。例如，用户终端可以与可移动物体所搭载的成像设备204和运动控制器218通信。该视觉导航系统还可以包括与用户终端、成像设备和运动控制器通信的方向分析器212。该方向分析器可以是或者可以不是运动控制器的一部分。方向分析器可被配置用于基于向用户终端的用户输入以及由成像设备获得的一个或多个图像来确定可移动物体的目标方向。成像设备可以捕获图像，该图像可包括指示出一个或多个物体208和/或一个或多个方向210的部分。
用户终端可以包括输出设备。该输出设备可以是显示器，诸如屏幕。该屏幕还可以充当输入设备。用户可以经由屏幕而与用户终端交互。例如，当输出设备是触摸屏时，用户可以通过凭借各种动作选择(点击或触摸)视觉对象来操纵触摸屏上的图形用户界面(GUI)中的视觉对象。这些动作的示例可以包括选择一个或多个点或对象、绘制形状、拖放、平移、旋转、转动、推、拉、放大、缩小等。可以设想到GUI中的任何类型的用户动作。位于用户终端处的用户可以操纵GUI中的视觉对象，以控制可移动物体的方向、运动路径、跟踪功能以及/或者一个或多个运动特性。
显示器可具有如本文其他各处描述的任何特性。显示器可以合并到用户终端中，或者可以独立于用户终端的其余部分来提供。当独立于用户终端的其余部分提供时，该显示器可与用户终端通信。可选地，可以在输出设备与用户终端的其余部分之间提供双向通信。
用户终端可被配置用于在输出设备上显示一个或多个图像，用户可以通过该图像来选择目标方向。如前文所述，该图像可以包括FPV和/或地图视图。图像可以包括在已经选定目标方向之后的目标方向的实况图像或视觉表示。当用户在图像中作出选择时，可以确定目标方向。例如，由用户选定的图像的一部分可以构成目标方向。
可以提供一个或多个成像设备204。该一个或多个成像设备可以具有基本相同的视野或不同的视野。一个或多个成像设备可以是可相对于可移动物体移动的，而一个或多个成像设备可以是相对于可移动物体静止的。在一个示例中，所述成像设备中的一个或多个可以由可允许成像设备相对于可移动物体进行移动的载体来支撑。所述成像设备中的一个或多个可以直接位于可移动物体上，在与可移动物体相同的方向上和以与可移动物体相同的速度移动，以及/或者可以不相对于可移动物体移动。
一个或多个成像设备可以捕获环境的图像。该环境可以包括一个或多个物体208。当用户在图像内作出选择时可以限定或确定方向210。可以从一个或多个物体的图像来限定或确定目标方向。由一个或多个成像设备捕获的图像数据可以例如对应于一个或多个物体的静态图像或视频帧。所述物体可以包括可由可移动物体光学成像的任何物理物体或构造物。该物体能够以2D或3D格式描绘于静态图像和/或视频帧中，可以是现实的和/或动画的，可以是彩色的、黑白的或灰度的，可以处于任何颜色空间中，或者可以处于线框模型中。可以将来自一个或多个成像设备的图像从成像设备传输到用户终端，以便呈现在用户终端的输出设备上。
可以将图像数据从成像设备传输到方向分析器212。方向分析器可以搭载于成像设备上、搭载于载体上、搭载于可移动物体上，或者搭载于外部设备(例如，用户终端、服务器等)上。在一些实施方式中，方向分析器可以位于远离成像设备之处。例如，方向分析器可以安设在与成像设备通信的远程服务器中。方向分析器可以提供在任何其他类型的外部设备(例如，可移动物体遥控器、具有参考位置的基站等)处，或者可以分布在云计算基础设施上。在一些实施方式中，方向分析器和运动控制器可以位于同一设备上。在其他实施方式中，方向分析器和运动控制器可以位于不同设备上。方向分析器和运动控制器可以经由有线通信信道或无线通信信道来通信。在一些实施方式中，方向分析器可以位于可移动物体上。例如，方向分析器可以安设在可移动物体的外壳中。在一些其他实施方式中，方向分析器可以安设在与可移动物体通信的基站处。方向分析器可以位于任何位置，只要该方向分析器能够：(i)从成像设备接收图像数据，(ii)从用户终端接收输入，由此将该输入用于确定目标方向，(iii)参考图像数据来分析输入以在相机坐标系和世界坐标系两者中确定目标方向，以及(iv)将目标方向传输到运动控制器和用户终端。在一些情况下，用户终端可被配置用于在所呈现的图像上将目标方向显示为图形元素。运动控制器可被配置用于基于目标方向来实现可移动物体的移动。
在一些实施方式中，在将成像设备所捕获的图像数据提供给方向分析器之前，可以将该图像数据储存在媒体存储(未示出)中。方向分析器可被配置用于从媒体存储直接接收图像数据。在一些实施方式中，方向分析器可被配置用于从成像设备和媒体存储两者同时接收数据。媒体存储可以是能够储存多个物体的图像数据的任何类型的存储介质。如前文所述，图像数据可以包括视频或静态图像。该视频或静态图像可由方向分析器进行处理和分析，如说明书中后续描述。媒体存储可以提供为CD、DVD、蓝光盘、硬盘、磁带、闪速存储器卡/驱动器、固态驱动器、易失性或非易失性存储器、全息数据存储以及任何其他类型的存储介质。在一些实施方式中，该存储介质可以是能够将图像数据提供给方向分析器的计算机。
作为另一示例，媒体存储可以是网络服务器、企业服务器或任何其他类型的计算机服务器。媒体存储可以是被编程用于接受来自方向分析器的请求(例如，HTTP或可以发起数据传输的其他协议)和向方向分析器供应所请求的图像数据的计算机。此外，媒体存储可以是广播设施(诸如免费接收、线缆、卫星和其他广播设施)，以用于分发图像数据。媒体存储还可以是数据网络(例如，云计算网络)中的服务器。
在一些实施方式中，媒体存储可以位于成像设备之上。在一些其他实施方式中，媒体存储可以位于可移动物体之上，但不位于成像设备之上。在一些其他实施方式中，媒体存储可以位于未搭载于可移动物体和/或成像设备上的一个或多个外部设备之上。在那些其他实施方式中，媒体存储可以位于遥控器、地面站、服务器等之上。可以设想到上述组件的任何布置或组合。在一些实施方式中，媒体存储可以经由对等网络架构而与成像设备通信。在一些实施方式中，可以使用云计算架构来实现媒体存储。
可以将图像数据提供(例如，以图像信号的形式)给方向分析器以供处理/分析，从而确定目标方向。在一些示例中，方向分析器可以实现为在处理器中执行的软件程序和/或分析一个或多个图像帧以确定目标方向的硬件。
方向分析器还可被配置用于确定可移动物体与目标方向之间的相对位置。在一些情况下，方向分析器可以确定成像设备和/或可移动物体关于环境(例如，惯性参考系)和/或彼此的位置。方向分析器可以确定目标方向在环境(例如，惯性参考系)内和/或关于可移动物体(其可以包括由可移动物体支撑的成像设备)的向量。可选地，可以使用来自一个或多个附加传感器和/或外部设备的数据来帮助通过方向分析器确定位置信息(例如，IMU数据或来自如本文其他各处所述的任何其他传感器的数据)。如前文所述，该位置信息可以包括空间位置(例如，关于一个轴、两个轴或三个轴)、姿态(例如，相对于一个轴、两个轴或三个轴)、线速度、角速度、线加速度和/或角加速度。
来自成像设备的图像帧可以显示在用户终端的输出设备上。例如，可以显示指示出环境以及/或者环境内的各个物体和/或可移动物体的位置的地图。该地图可以是2D地图或3D地图。该地图可以显示在输出设备上。来自方向分析器的数据可以直接提供给用户终端，该用户终端可在不需要任何中间分析或处理的情况下将所述数据显示在其输出设备上。例如，可以从方向分析器传输指示出目标方向的数据，以便在用户终端的输出设备上显示。
来自方向分析器的数据可以提供给运动控制器。运动控制器可以提供在可移动物体之上、载体之上、成像设备之上以及/或者外部设备或网络上。运动控制器可以控制可移动物体的飞行。可选地，运动控制器可以生成要向可移动物体的一个或多个动力单元提供的一个或多个飞行指令。可选地，运动控制器可以生成可移动物体的运动路径。该运动路径可以是基本固定的，或者可以是可变或动态的。运动路径可以包括目标方向上的航向。运动路径可以保持目标方向上的航向，直到检测到撤销条件为止(例如，检测到进一步输入或适用飞行限制)。运动控制器可以与可移动物体的一个或多个动力单元(未图示)通信。
可选地，可以将来自一个或多个传感器的信息提供给运动控制器。例如，可以将来自一组或多组IMU的信息提供给运动控制器。该一组或多组IMU可以搭载于可移动物体上、搭载于载体上和/或搭载于负载上。来自IMU的数据可以指示出可移动物体、载体和/或负载的位置信息。可选地，运动控制器可以在对可移动物体的运动的控制中使用来自所述一个或多个传感器的信息。可选地，来自所述一个或多个传感器的信息可以用于控制成像设备相对于可移动物体和/或其环境的位置。
运动控制器可以从用户终端接收信息。运动控制器可以接收指示出对目标方向的用户选择的信息。运动控制器可以响应于对目标方向的用户选择来生成可移动物体的运动路径和/或控制其运动。
可选地，可以将来自运动控制器的信息提供给用户终端。例如，用户终端可以接收关于运动路径的信息。可选地，运动路径和/或航向可以显示在输出设备上。
尽管在图2中示出为可操作地连接的单独组件，但应当理解，所示的配置仅用于说明目的。可以移除或组合某些组件或设备，并且可以添加其他组件或设备。
可以使用图2的系统来实现用于确定可移动物体(诸如UAV)的目标方向的方法。该方法可以包括在计算机实现的显示器上提供图像，当用户在该图像上选择点时获得选定点在所述图像上的位置，以及基于选定点在所述图像上的位置来确定目标方向。可以例如使用方向分析器212来生成目标方向。
可以通过搭载于可移动物体上的成像设备(例如，成像设备204)来捕获图像。该图像可以视觉地描绘可移动物体从中移动的环境的一部分。图像可以描绘相对于可移动物体而言的第一人称视角(FPV)。可选地，图像可以是环境的环境地图。环境地图可以是拓扑地图。环境地图还可以包括度量地图(metric map)。该度量地图可以包括以下各项中的至少一个：点云、3D网格地图、2D网格地图或2.5D网格地图。在一些情况下，度量地图可以包括占用网格地图(occupancy grid map)。
可以将图像数据从成像设备和/或可移动物体直接或间接传输到用户终端(例如，用户终端206)。计算机实现的显示器可以是用户终端中的触摸屏设备。图像可以基本上实时或近实时地呈现在计算机实现的显示器上。如下文详细描述，用户可以通过选择与目标方向相关联的图像的点或部分来控制可移动物体在目标方向上的移动。
可以采用各种类型的坐标系来选择目标方向，以及实现可移动物体在目标方向上的移动。例如，一个或多个坐标系可以是成像设备和/或可移动物体局部的。一个或多个坐标系可以包括相对于惯性坐标系(诸如环境)提供的整体坐标系。可以关于整体坐标系来确定成像设备和/或可移动物体的位置。在一些情况下，可以关于局部坐标来确定成像设备和/或可移动物体的位置。成像设备和/或可移动物体的位置可以在整体坐标与局部坐标之间转换。
可选地，可以关于成像设备的局部坐标系和/或成像设备所捕获的图像来确定图像中的目标方向。可以将目标方向的局部坐标转换成目标方向的整体坐标。例如，可以将表示目标方向的局部坐标系中的向量转换成整体坐标系中的向量。局部坐标系可以是成像设备的相机坐标系。整体坐标系可以是可移动物体在其内移动的环境的世界坐标系。
下面描述一种用于将显示屏上的用户选定点计算/转换成可移动物体在其内移动的空间中的目标方向的方法。
当用户在图像上选择点时可以获得选定点在该图像上的位置。当显示屏是触摸屏时，用户可以通过触摸、点击或触碰触摸屏的一部分来选择点。可以通过将选定点的一组屏幕坐标转换成一组图像坐标并使该组图像坐标归一化来获得选定点在图像上的位置。可以基于该组归一化图像坐标来确定目标方向。
例如，当用户选择显示于用户终端上的图形用户界面(GUI)内的点时，可以获得对应于屏幕位置的选定点的坐标(xscreen，yscreen)。可以经由应用编程接口(API)来获得选定点的坐标(xscreen，yscreen)。该APT例如可以是在用户终端上实现的基于IOSTM的API或基于AndroidTM的API。可以将选定点的坐标(xscreen，yscreen)转换成(xrawimage，yrawimage)，所述(xrawimage，yrawimage)是选定点在通过成像设备捕获的原始图像中的坐标。
接下来，可以基于原始图像内当前预览图像的位置和百分比来将选定点的原始图像坐标(xrawimage，yrawimage)归一化成(xpercentage，ypercentage)。可以由下式给出用于归一化的等式：
Figure BDA0001631443520000231
其中ImageWidth和ImageHeight分别对应于原始图像帧的宽度和高度。上述转换和/或归一化可由用户终端使用软件和/或硬件的组合来执行。
接下来，可以经由一个或多个通信信道将用户选定点220的归一化坐标(xpercentage，ypercentage)从用户终端传输到方向分析器。方向分析器可被配置用于基于归一化坐标(xpercentage，ypercentage)来计算空间目标方向(xspace，yspace，zspace)。方向分析器还可被配置用于将目标方向(xspace，yspace，zspace)传输到用户终端和运动控制器。可以将目标方向转换成2D显示坐标(xdir，ydir)，该2D显示坐标继而被投影和显示到呈现于用户终端上的图像上。运动控制器可被配置用于基于目标方向(xspace，yspace，zspace)来控制可移动物体的移动。
参考图3详细描述了基于用户选定点的空间目标方向(xspace，yspace，zspace)的计算，该图示出了相机成像的几何模型。该几何模型可以假设相机的光轴与所捕获的图像的中心对准，但本发明并不局限于此。在一些其他几何模型中，光轴不需要与所捕获的图像的中心对准，并且可以从图像的中心偏移。
如图3中所示，点(xw，yw，zw)是关于点O限定的世界坐标系中的任意点，D是该点在世界坐标系中的深度，并且zw＝D。(xi，yi)是同一点(xw，yw，zw)在相机坐标系中的对应坐标。可以获得以下关系：
Figure BDA0001631443520000241
以下等式基于(xpercentage，ypercentage)、xi，yi和图像的(ImageWidth，ImageHeight)之间的关系：
Figure BDA0001631443520000242
基于焦距范围f与图像的视野(FOV)之间的下列关系
Figure BDA0001631443520000251
可以获得以下等式：
Figure BDA0001631443520000252
即：
Figure BDA0001631443520000253
如上所示，坐标(xw，yw，zw)包含未知值D。由于选定的方向是方向向量，因此可以执行归一化步骤来消除未知值D。假设D＝1，则在相机坐标系中选定方向的方向向量OA可由下式给出：
Figure BDA0001631443520000254
通过使用图3的模型，可以基于世界坐标系中的点(xw，yw，zw)来获得目标方向在相机坐标系中的向量OA。世界坐标系中的点(xw，yw，zw)可与相机坐标系中的选定点(xi，yi)相关联。世界坐标系中的点(xw，yw，zw)可以包含深度值D。可以通过相对于深度值D来对(xw，yw，zw)进行归一化，获得目标方向在相机坐标系中的向量OA，并且可以在归一化之后从向量OA消除深度值D。
接下来，可以使用平移矩阵来将目标方向在相机坐标系中的向量OA转换成目标方向在世界坐标系中的向量OAgnd。例如，从可移动物体到世界坐标系(东、北、地)的平移矩阵可以通过万向坐标系来提供：
Figure BDA0001631443520000261
选定方向在世界坐标系(东、北、地)中的空间方向向量OAgnd可以给出为：
Figure BDA0001631443520000262
在一些实施方式中，可以通过使用从可移动物体上的一个或多个传感器收集的数据来获得平移矩阵。该一个或多个传感器可以位于可移动物体的IMU上。该一个或多个传感器可被配置用于测量可移动物体的姿态。可以部分地使用可移动物体的姿态来获得平移矩阵。
方向分析器可被配置用于将计算出的目标方向回传到用户终端。用户终端可被配置用于将目标方向作为图形元素重新投影到计算机实现的显示器中的图像上。将方向向量OA重新投影到预览图像上的过程是图3中所描述的方法的逆过程。
图4示出根据一些实施方式的用户界面(UI)的示例，用户可通过其来选择目标方向。部分A示出环境的初始显示。部分B示出用户在初始显示内选择目标方向。部分C示出可移动物体在目标方向上行进的图像。可移动物体可以是UAV。在罗盘中示出UAV的对应移动/航向。
部分A示出环境的初始显示。可以如所图示提供FPV。FPV可以包括来自成像设备的实时流图像。FPV可以备选地是来自成像设备的图像的图形描绘或表示。在所呈现的示例中，示出了地平线以及视野内的物体。在正发生环境的初始显示的同时，UAV可以是静止或移动的。例如，对应的罗盘示出静止的UAV。
尽管图示了FPV，但亦可替代或结合于FPV而呈现其他类型的视图。例如，可以提供地图视图。地图视图可以包括2D地图，诸如鸟瞰图。地图视图可以包括3D地图。该3D地图可以是可改变的，以便从各个角度来查看3D环境。如本文先前所述，可以示出立体渲染、线框图或其他类型的成像。所述显示可以示出于用户终端上。可选地，用户可以抓握用户终端。
部分B示出用户在初始显示内选择目标方向。用户可以选择图像的一部分来选择目标方向。如前文所述，该图像可以包括FPV和/或地图。用户可以选择FPV或地图的一部分来选择目标方向。可选地，由用户选择的图像的部分可以是点。UAV可以在选定点所指示出的方向上行进。可以通过UAV的当前位置和沿着轨迹包括选定点的角度来确定UAV的方向航向。
在所呈现的示例中，用户可以选择作为UAV的当前位置的东北的目标方向。对应的罗盘示出UAV可在对应东北方向上移动。
目标方向的用户选择可以包括目标方向的横向选择。在一些情况下，目标方向可以处于二维平面内。例如，用户可以指定UAV要向北、向南、向东、向西或是在其间的任何方向上移动。UAV可在以指定的二维方向行进的同时保持基本上相同的高度。
在一些实施方式中，UAV可能遭遇可影响UAV的飞行路径的飞行限制。例如，可能适用一些横向飞行限制。在一个示例中，UAV可保持在用户终端的一定范围内。如果UAV正在目标方向上行进，且即将超出用户终端的范围，则UAV可以停止并悬停，或者可以朝着用户终端返回。在另一示例中，UAV可保持在地理围栏区域内。如果UAV正在目标方向上行进，且即将通过该地理围栏区域之外，则UAV可以停止悬停，或者可以朝着用户终端返回。障碍物可以是飞行受限区。或者，飞行受限区可以包含障碍物或者可以不包含任何障碍物。可以适用任何其他类型的飞行限制。
或者，目标方向的用户选择可以包括目标方向的三维选择。该目标方向可以是三维空间内的任何方向。例如，用户可以指定UAV要向北、向南、向东、向西、向上或向下移动，或者在其间的任何方向上移动。UAV可以能够在行进于指定的三维方向内的同时改变高度。
在一些实施方式中，UAV可能遭遇可影响UAV的飞行路径的飞行限制。可以提供诸如前文所述那些横向飞行限制。可以提供可限制UAV的高度改变的附加高度飞行限制。例如，如果目标方向是向上，则UAV可以无限期地在目标方向上行进，一直增加UAV的高度。或者，诸如飞行上限等飞行限制可以起作用。当UAV达到飞行上限时，UAV可以平飞并且保持在基本上相同的高度。然而，UAV可以继续在同一指定横向方向上行进。类似地，如果目标方向是向下，则UAV可以在该方向上无限期地行进直到其到达地面为止，一直减小高度。或者，诸如飞行下限等飞行限制可以起作用。当UAV达到飞行下限时，UAV可以平飞并且保持在基本上相同的高度。然而，UAV可以继续在同一指定横向方向上行进。
在一些实施方式中，可以可选地显示选定目标的视觉指示符(诸如罗盘和/或向量)。另外，可以可选地在2D地图和/或3D地图上显示指示出飞行角度、罗盘方向、未来/目标目的地等的航向信息。
用户能够指定方向的精度可以是大约0.01度或更小、0.05度或更小、0.1度或更小、0.5度或更小、1度或更小、1度或更小、2度或更小、3度或更小、5度或更小、7度或更小、10度或更小、15度或更小、20度或更小，或者30度或更小。
当用户选择图像的一部分来指定目标方向时，选定的目标方向可以视觉地指示在屏幕上或者可以不视觉地指示在屏幕上。例如，可以在图像内提供指示出目标方向的视觉标记。视觉标记可以是点、区域、图标、线或向量。例如，点可以指示出对目标方向的选择。在另一示例中，向量可以指示出UAV航向的方向。
在一些实施方式中，用户可以指定UAV处于定向模式中。当UAV处于定向模式中时，由用户选择的图像的部分可以确定直到UAV遇到其他方向或遇到飞行限制之前其将会行进的方向。UAV可以在该方向上无限期地行进，直到其遇到停止或改变准则(诸如方向变化、飞行限制、飞行模式变化、低电力供应或障碍物)为止。用户可以通过从一个或多个可用模式(诸如目标跟踪模式)中选择定向模式来指定UAV处于定向模式中。
在另一示例中，当用户选择指示出用户将要选择的图像的部分将会是目标方向的用户界面工具时，UAV可以在目标方向上飞行。该目标方向工具可以是一次性使用工具(例如，用户可能需要重新选择该工具以便选择另一目标方向)，或者可以多次使用(用户可以在无需重新选择工具的情况下继续指定目标方向，除非用户已切换工具)。
在其他示例中，屏幕上的一个或多个图像(例如，FPV、2D地图和/或3D地图)可以具有指示出飞行方向的一个或多个预定区域。该区域可以是在视觉上可与其他区域区分的。例如，该区域可以包括边界或箭头，或者可区分该区域的任何其他类型的特征。在一些情况下，该区域可以提供在包围图像的边界中。在其他情况下，可以提供一个或多个箭头按钮，所述箭头按钮可允许调整UAV的目标方向。在附加示例中，用户可以指示出一个或多个值或坐标，该一个或多个值或坐标指示出UAV要行进的目标方向。例如，角度可以提供UAV行进航向的目标方向。可以提供所述角度用于二维或三维方向控制。在另一示例中，所述值可以包括沿着描述目标方向的向量的空间坐标。
可以提供允许用户使用用户界面来指定目标方向的任何其他用户界面工具或技术。
部分C示出当UAV在目标方向上行进时由其捕获的图像。例如，从FPV来看，当UAV正在指定的方向上行进时，曾经远离的物体可能变得更近。从地图视图来看，随着UAV跟随目标方向，物体可被示为被UAV越过。如对应的罗盘上所示，UAV可以继续在目标方向上行进。
在一些情况下，当用户指定目标方向时，UAV可在该目标方向上以固定速度或可变速度行进。可以提供标准的目标行进速度。还可以提供可变的目标行进速度。或者，用户可以指定UAV可在目标方向上行进的速度和/或加速度。本文对影响UAV的速度的任何描述亦可适用于影响UAV在目标方向上的加速度。在一些情况下，用户可以在用户指定目标方向的同时影响速度。例如，当用户选择目标方向时，用户触摸目标方向的点击或触摸的次数可能影响UAV的速度。例如，如果用户单次触摸指示出目标方向的点，则UAV可以按第一速度行进，而如果用户多次触摸该点，则UAV可以按第二速度行进。第二速度可大于第一速度。UAV行进的速度可对应于指示出目标方向的点的触摸或选择的次数。可以在选择的次数与UAV的速度之间提供正比例关系。在一些情况下，可以在选择的次数与UAV的速度之间提供线性关系。例如，如果用户点击该点N次，则UAV的速度可以是X+N*Y，其中X是速度值，Y是速度乘数，并且N是目标方向被选择的次数。可以提供任何其他数学关系。用户可在第一次作出选择以得到第一速度，并且继而再次作出选择以使UAV加速。用户可继续作出选择以继续使UAV加速。
在另一示例中，当用户选择目标方向时，目标方向的选择的时长可影响UAV的速度。例如，如果用户触摸指示出目标方向的点达第一时间段，则UAV可以按第一速度行进，而如果用户触摸大于第一时间段的第二时间段，则UAV可以按第二速度行进。第二速度可大于第一速度。UAV行进的速度可对应于触摸或选择指示出目标方向的点的时长。可以在选择的时长与UAV的速度之间提供正比例关系。在一些情况下，可以在选择的时长与UAV的速度之间提供线性关系。
各种其他类型的用户交互可影响UAV在目标方向上行进的速度。在一些示例中，滑动运动(例如，滑动的速度、滑动的长度、滑动的数目)可影响UAV的速度。在其他示例中，可以触摸不同的区域来影响UAV的速度。在另一示例中，可以提供单独的控件来进行速度控制。例如，用户可以在UAV正在目标方向上行进的同时使用手动控件来调整速度。可以根据手动控件来实时调整速度。在另一示例中，用户可以输入期望速度的数值，或者从多个预先选择的选项中选择速度。
图5示出了根据一些实施方式的用户界面(UI)的示例，用户可通过其来调整目标方向。部分A示出在UAV以第一目标方向前进的同时环境的显示。部分B示出用户在所述显示内选择不同于第一目标方向的第二目标方向。部分C示出当UAV正在第二目标方向上行进时其所捕获的图像。如前文所述，所述图像被图示为FPV，但还可以是结合或替代于FPV的地图。在罗盘中示出UAV的对应移动/航向。
部分A示出在UAV以第一目标方向前进的同时环境的显示。对应的罗盘示出UAV正在东北方向上行进。当选择了目标方向时，UAV可继续沿着该目标方向，直到其遇到需要改变方向的情况为止，诸如先前描述的那些情况(诸如方向变化、飞行限制、飞行模式变化、低电力供应或障碍物)为止。UAV可以沿着恒定速度和/或加速度或者变化的速度和/或加速度继续处于目标方向上。
部分B示出用户在所述显示内选择不同于第一目标方向的第二目标方向。例如，第二目标方向可以是在西北方向上。可以按与第一目标方向相同的方式来选择第二目标方向。可以在UAV正在穿越第一目标方向的同时选择第二目标方向。对应的罗盘示出UAV现在正在西北方向上行进。
部分C示出可移动物体正在第二目标方向上行进的图像。该UAV可从在第一目标方向上行进过渡到在第二目标方向上行进。从第一目标方向到第二目标方向的过渡可以是相对突然或逐渐的。
图6图示了根据一些实施方式，用于控制可移动物体的方向的流程图。首先，用户可以在图像上选择点。该图像可以提供在呈现于用户终端的输出设备上的GUI中。当用户选择点时，该选择可以扩展到与该点相关联的目标方向。可移动物体继而可以在目标方向上移动。可移动物体可以继续在目标方向上移动，直到检测到撤销条件为止。例如，可移动物体可以在目标方向上飞行，直到在用户终端处接收到新的目标方向指令为止。当用户在图像上选择另一不同的点时，可以接收到新的目标方向指令。当用户选择不同的点时，目标方向选择可以从原始可移动物体方向切换至与新的点相关联的新目标方向。可移动物体继而可以改变其运动路径并在新的目标方向上移动。
图7示出了根据一些实施方式，可在视觉交互式导航系统内发生的通信的示例。图7中的视觉导航系统700可类似于图2中的系统200，区别在于系统700还包括运动路径生成器214。该运动路径生成器可被配置用于为可移动物体生成运动路径，以在按目标方向行进之前到达参照点。在一些情况下可能需要运动路径，例如(1)当用户选择不同于可移动物体的行进的现有方向的目标方向时；(2)当可移动物体的当前或初始位置不处在沿着目标方向上的向量时；(3)当可移动物体静止、悬停或不动时；以及/或者(4)当可移动物体的头部未朝向目标方向时。
在图8中示出了可以通过运动路径生成器生成的运动路径的一些示例。具体而言，图8示出了当可移动物体朝着与目标方向相关联的参照点移动时可以采用的不同运动路径的示例。
在部分A、部分B、部分C、部分D和部分E的每一个中，参照点830可以与目标方向相关联。参照点可对应于使可移动物体802在目标方向上移动的起始位置。参照点可以是沿着由目标方向限定的空间向量的点。可以生成从可移动物体的当前或初始位置到参照点的运动路径。该运动路径可以是直线的、弯曲的或曲线的。
在部分A中，可移动物体可以在与目标方向对准的方向D1上移动。换言之，方向D1与目标方向相同。可以生成从可移动物体的当前位置到参照点830-1的笔直运动路径。当可移动物体沿着所述运动路径向目标方向上的参照点830-1移动时，其朝向(例如，航向)可以保持不变。
在部分B中，可移动物体可以在基本上平行于目标方向的方向D2上移动。可以生成从可移动物体的当前位置到参照点830-2的笔直运动路径。当可移动物体沿着所述运动路径向参照点830-2移动时，其朝向(例如，航向)可以改变。例如，可移动物体可以首先旋转到新的朝向以使得其航向处于运动路径的方向上。可移动物体继而能够以新的朝向沿着运动路径移动。当可移动物体到达参照点时，其可以再次旋转以使得在以目标方向移动之前可移动物体的头部面向目标方向。
部分C类似于部分B，区别在于以下差异。在部分C中，可以生成从可移动物体的当前位置到参照点830-3的弯曲的运动路径。当可移动物体沿着该运动路径移动时，可移动物体的朝向可以连续变化。可移动物体可以沿着运动路径以基本上切向的方式移动。
在部分D中，可移动物体可以在不同于目标方向的方向D4上移动。例如，方向D4可以倾斜于目标方向。可以生成从可移动物体的当前位置到参照点830-4的笔直运动路径。当可移动物体沿着所述运动路径向参照点830-4移动时，其朝向(例如，航向)可以改变。例如，可移动物体可以首先旋转到新的朝向，以使得其航向处于运动路径的方向上。可移动物体继而能够以新的朝向沿着运动路径移动。当可移动物体到达参照点时，其可以再次旋转以使得在以目标方向移动之前可移动物体的头部面向目标方向。
部分E类似于部分D，区别在于以下差异。在部分E中，可以生成从可移动物体的当前位置到参照点830-5的弯曲的运动路径。当可移动物体沿着该运动路径移动时，可移动物体的朝向可以连续变化。可移动物体可以沿着运动路径以基本上切向的方式移动。
在部分B和部分D中，可移动物体可能经历朝向的突然变化，原因在于连接当前位置与参照点的直线运动路径，以及目标方向与现有的行进方向中的差异，这在当前位置和参照点处产生尖锐的接合点。这些突然的朝向变化可导致忽然减速或加速，并且降低可移动物体的飞行性能。
相比之下，部分C和部分E中的弯曲运动路径可以使可移动物体能够在开始以目标方向行进之前从其当前位置平滑过渡到参照点。通过实现可移动物体沿着平滑的弯曲运动路径的移动，可以避免可移动物体的朝向的忽然变化，从而改善可移动物体的飞行性能。例如，曲线方式的切换过程可以提供某些益处，诸如可移动物体的功耗的降低和/或可移动物体的飞行稳定性的改善。
接下来，参考图9描述运动路径(具体而言，图8的部分C和部分E中的曲线运动路径)的生成。图9示出了根据一些实施方式，所生成的从可移动物体的位置到与目标方向相关联的参照点的运动路径。
参考图7和图9，运动路径生成器可被配置用于基于目标方向来估计可移动物体902的参照点930，以及可移动物体在参照点处的一个或多个运动特性。该目标方向可对应于显示在用户终端上的图像(例如，FPV)上被“点击”的方向。可以使用本文其他各处描述的方向分析器，从对用户终端的用户输入来确定目标方向。运动路径生成器可被配置用于基于可移动物体在位置932和参照点处的一个或多个运动特性来为可移动物体生成从可移动物体的位置932到参照点的运动路径934。
参照点930可以对应于可移动物体开始在目标方向上移动的起始位置。可移动物体的位置932可以对应于可移动物体的初始位置或当前位置。在一些情况下，位置932和参照点930可以处于不同高度。在其他情况下，位置932和参照点930可以处于同一高度。
如图9中所示，当可移动物体处于位置932时，该可移动物体可以在不同于目标方向的初始方向上前进。该初始方向可以沿着穿过可移动物体的中心的x轴。类似于图8的部分E中所示的示例，初始方向可以倾斜于目标方向。初始方向可以由运动路径在可移动物体的位置932处的第一切线所限定。目标方向可由运动路径在参照点930处的第二切线所限定。第一切线和第二切线可以在不同的方向上延伸。第一切线和第二切线可以是非平行的。例如，第一切线和第二切线可彼此倾斜，如图9中所示。在一些情况下，第一切线和第二切线可彼此平行(例如，如图8的部分C中所示)。在一些其他情况下，第一切线和第二切线可彼此正交。
运动路径934可以是曲线的。例如，位置932与参照点930之间的运动路径可以形成具有半径r且在点O处圆心角度θ的弧。点0可以处在与可移动物体的初始方向正交的方向上。例如，点O可以沿着穿过可移动物体的中心的y轴。角度θ可以是恒定的。可选地，角度θ可以是可变的。半径r可以随位置930与参照点932之间的距离d而改变。距离d可以由连结位置930和参照点932的直线的长度来给出。当所述位置与参照点之间的距离增大时，半径r可以增大。相反，当所述位置与参照点之间的距离减小时半径r可以减小。运动路径934的长度l可以随半径r而改变。长度l可对应于运动路径的弧长。当半径r增大时，运动路径的长度l可以增大。相反，当半径r减小时，运动路径的长度l可以减小。目标方向可以与穿过参照点的线u形成角度θ。该线u可以平行于第一切线(即，平行于初始方向)。半径r可由l/θ给出。
在图9中，可移动物体在参照点930处的朝向可以不同于可移动物体在位置932处的朝向。例如，可移动物体的头部在位置932处可以面向初始方向，而在参照点930处可以面向目标方向。可选地，在一些实施方式中，可移动物体在位置932和参照点930处可处于相同的朝向。
可移动物体可以在第一时刻处在具有一个或多个运动特性的位置932处。所述运动特性可以包括可移动物体在位置932处的第一速度和/或第一加速度。可以使用可移动物体上的一个或多个传感器来获得可移动物体的位置932、第一速度和第一加速度。所述一个或多个传感器可以提供于可移动物体上的惯性测量单元(IMU)中。IMU可以是被配置用于使用加速度计和陀螺仪的组合来测量和报告可移动物体的速度、朝向和重力的电子设备。可选地，可以包括磁力计。IMU可以使用一个或多个加速度计来检测当前的加速度率，以及使用一个或多个陀螺仪来检测旋转属性(比如俯仰、横滚和/或航向)。可以包括磁力计来辅助针对朝向漂移的校准。
可以估计可移动物体在第二时刻位于具有一个或多个运动特性的参照点930处。该第二时刻可以是在第一时刻之后出现的时间点。可移动物体在参照点处的运动特性可以包括可移动物体在参照点处的第二速度和/或第二加速度。可以从用户输入获得参照点、第二速度和第二加速度。可以经由用户终端上的计算机实现界面来提供用户输入。所述参照点、第二速度和第二加速度可分别对应于用户在第二时刻期望的可移动物体的位置、速度和加速度。参照点可沿着限定目标方向的空间向量。如先前所指出，参照点可以对应于可移动物体开始在目标方向上移动的起始位置。如本文其他各处所述，目标方向也可以从用户输入获得。可以预测可移动物体通过遵循运动路径而在第二时刻以第二速度和第二加速度到达参照点930。
在一些情况下，可以将可移动物体在世界坐标中的位置932初始化成(0，0，0)以简化计算。可移动物体在世界坐标中的参照点932可以由(r*sin(θ)，r(1-cos(θ))，1/tan(α))给出。具体而言，参照点的x坐标可计算为r*sin(θ)；参照点的y坐标可计算为r(1-cos(θ))；并且参照点的z坐标可计算为1/tan(α)。角度θ可由θ＝atan(yspace/xspace)给出。角度α可由下式给出：
Figure BDA0001631443520000351
坐标(xspace，yspace，zspace)可对应于用户选定的方向在相机坐标系中的方向向量OA，如先前参考图3所述。
在一些情况下，可以将运动路径934的长度l归一化成单位长度1以简化计算。因此，可由sin(θ)/θ给出参照点930的归一化x坐标。可由(1-cos(θ))/θ给出参照点930的归一化y坐标。继而将归一化x坐标和归一化y坐标中的每一个都乘以比例因子S以获得参照点930的实际x坐标和实际y坐标。可以基于Vx、Vy，和Vz来确定比例因子S，该Vx、Vy，和Vz是可移动物体在(东、北、地)坐标系中的三轴速度：
Figure BDA0001631443520000361
速度Vx、Vy，和Vz可以是可移动物体在位置932处的三轴速度。
可以由位置932、参照点930以及可移动物体在位置932和参照点930处的一个或多个运动特性的函数来表示运动路径。可以通过本文其他各处描述的运动路径生成器来生成表示运动路径的函数。运动路径可以由一个或多个函数来表示。该一个或多个函数可以包括多项式函数、贝塞尔曲线、B样条等。多项式函数可以是n阶的，其中n可以是大于或等于1的整数。当n＝1时，该函数是直线，并且可移动物体可被配置成沿着笔直的运动路径移动(例如，如图8的部分A中所示)。当n＞1时，该多项式函数是弯曲的线，并且可移动物体可被配置成沿着弯曲的运动路径移动(例如，如图8的部分E和图9中所示)。
多项式函数可以是时间的函数，并且可以用于计算可移动物体在瞬时时间点的位移。可以从位移获得可移动物体在环境内的空间位置。位移可以包括可移动物体在环境内的线位移和/或角位移。可以使用基于时间的多项式函数的一阶导数来计算可移动物体在瞬时时间点的速度。速度可以包括可移动物体在环境内的线速度和/或角速度。类似地，可以使用基于时间的多项式函数的二阶导数来计算可移动物体在瞬时时间点的加速度。加速度可以包括可移动物体在环境内的线加速度和/或角加速度。因此，所述基于时间的多项式函数及其导数可以用于确定可移动物体在不同时刻的多个运动特性。
运动路径生成器可被配置用于确定表示运动路径的基于时间的多项式函数的一个或多个系数。可以基于位置932、参照点930以及位置932和参照点930处的一个或多个运动特性来确定所述一个或多个系数。可以部分地基于逆多项式矩阵来确定所述一个或多个系数。可以从基于时间的多项式函数及其导数获得该逆多项式矩阵中的值。可以在不使用位置932与参照点930之间的一个或多个中间航路点的情况下确定所述一个或多个系数。因此，可以在不使用位置932与参照点934之间的一个或多个中间航路点的情况下生成运动路径934。
如前文所述，可以通过n阶多项式函数来表示运动路径。当可移动物体正在以恒定速度移动时，可以由基于时间的低阶(例如，一阶)多项式函数来表示运动路径，由此该函数的一阶导数表示速度并且是常数。当可移动物体正在以恒定加速度移动时，可以由基于时间的下一阶(例如，二阶)多项式函数来表示运动路径，由此该函数的二阶导数表示加速度并且是常数。当在运动路径中不存在障碍物或存在相对较少的障碍物时，可以使用较低阶多项式函数来表示运动路径。
在一些情况下，可以由基于时间的较高阶多项式函数(例如，n＞2)来表示运动路径。当期望可移动物体以不同速度和加速度在穿越各个点的复杂轨迹中移动时，以及/或者(2)如果在运动路径中存在相对较多数目的障碍物时，可以使用基于时间的较高阶多项式函数。在上述情况下，可以使用基于时间的较高阶多项式函数(诸如下面示出的基于时间的5阶多项式函数)来使运动路径平滑：
f(t)＝a5*t5+a4*t4+a3*t3+a2*t2+a1*t1+a0
其中a0、a1、a2、a3、a4和a5是多项式函数f(t)的不同次项的系数。尽管上述示例示出了基于时间的5阶多项式函数，但本发明并不仅限于此。在一些情况下，表示运动路径的多项式函数可以低于5阶(例如，3阶或4阶)。或者，表示运动路径的多项式函数可以高于5阶(例如，6阶或7阶)。运动路径可以由任何次/阶的多项式函数来表示，但应当注意，生成该函数(或运动路径)所需的处理能力的量一般随着函数的次/阶而增加。
运动路径生成器可被配置用于生成函数f(t)。函数f(t)可以限定可移动物体在位置932与参照点930之间的运动路径。可以基于空间目标方向向量(xspace，yspace，zspace)以及可移动物体在位置932和参照点930处的运动特性来生成函数f(t)。位置932可对应于运动路径的起始点Pstart。参照点930可对应于运动路径的终止点Pend。可移动物体可以在起始点Pstart处具有起始速度Vstart和起始加速度Astart。可移动物体可以在终止点Pend处具有终止速度Vend和起始加速度Aend。起始点Pstart的坐标可由Pstart＝(xstart，ystart，zstart)给出。起始速度Vstart可以包括沿着不同轴的速度分量，使得Vstart＝(vxstart，vystart，vzstart)。起始加速度Astart可以包括沿着不同轴的加速度分量，使得Astart＝(axstart，aystart，azstart)。终止点Pend的坐标可由Pend＝(xend，yend，zend)给出。终止速度Vend可以包括沿着不同轴的速度分量，使得Vend＝(vxend，vyend，vzend)。终止加速度Aend可以包括沿着不同轴的加速度分量，使得Aend＝(axend，ayend，azend)。
可移动物体在运动路径中的任何点处的位置可由函数f(t)给出：
f(t)＝a5*t5+a4*t4+a3*t3+a2*t2+a1*t1+a0
可移动物体在运动路径中的任何点处的速度可由函数f(t)的一阶导数给出：
f′(t)＝5*a5*t4+4*a4*t3+3*a3*t2+2*a2*t1+a1
可移动物体在运动路径中的任何点处的加速度可由函数f(t)的二阶导数给出：
f″(t)＝20*a5*t3+12*a4*t2+6*a3*t1+2*a2
当可移动物体处于起始位置Pstart时，可以将时间t设置或初始化成零。将t＝0代入上面的函数，产生：
Pstart＝f(0)＝a0
Vstart＝f’(0)＝a1
Astart＝f’(0)＝2*a2
当可移动物体处于终止位置Pend时，所述函数可由下式给出：
Pend＝f(t)
Vend＝f’(t)
Aend＝f”(t)
上面的函数和系数能够以矩阵形式改写成基于单位时间的假设的F＝M*A：
Figure BDA0001631443520000391
A是包含多项式函数f(t)的系数的矩阵。由于所有的参数都可以被测量、是已知的或者由用户提供，因此可以从A＝M-1*F获得所述系数。例如，当可移动物体处于起始位置时，起始点Pstart、起始速度Vstart和起始加速度Astart是已知的，并且可以通过一个或多个传感器(例如，IMU)来测量。可以从用户输入(例如，通过用户终端提供的用户输入)获得终止点Pend、终止速度Vend和终止加速度Aend。终止点可以对应于处在目标方向上的参照点930，并且可与计算机实现的显示器上的用户选定点相关联。终止速度和终止加速度可以对应于可移动物体在终止点处(如由用户提供或限定的)的输入速度和加速度。
为了使每个方向(X、Y和Z)上的线平滑，可以通过将下列已知值纳入考虑来求解一定数目的n阶多项式以确保位置、速度和加速度在运动路径的起始点和终止点处是连续的，所述已知值为：(1)起始点和终止点的位置、(2)起始点和终止点处的速度以及(3)起始点和终止点处的加速度。例如，在X方向上，起始点处的位置、速度和加速度是分别对应于在时间t＝0时的x0，
Figure BDA0001631443520000392
的已知值，并且可以使用可移动物体上的一个或多个传感器(例如，IMU)来确定。终止点处的位置、速度和加速度是分别对应于在时间t＝T时的x1，
Figure BDA0001631443520000393
的已知值，并且可以从通过用户终端的用户输入来获得。T是可移动物体从起始点行进到终止点所花费的时间，并且是可调参数。较小的T产生运动路径的较尖锐的曲线，而较大的T产生更渐进的曲线。可以求解下面的5阶多项式方程以获得X方向上的控制点的时间序列：
x(t)＝a5t5+a4t4+a3t3+a2t2+a1t+a0。
同样地，可以求解下面的5阶多项式方程以获得Y方向上的控制点的时间序列：
y(t)＝b5t5+b4t4+b3t3+b2t2+b1t+b0。
类似地，可以求解下面的5阶多项式方程以获得Z方向上的控制点的时间序列：
z(t)＝c5t5+c4t4+c3t3+c2t2+c1t+c0。
再次参考图7，运动路径生成器214可被配置用于向运动控制器218提供表示运动路径的函数。运动控制器可被配置用于实现可移动物体沿着运动路径从位置932(起始点)至参照点930(终止点)的移动。可移动物体可被配置成沿着运动路径以基本上曲线的方式移动，如图9中所示。运动控制器可被配置用于当可移动物体到达参照点时实现可移动物体在目标方向上的移动。可移动物体可被配置成从参照点930起始在目标方向上以基本上直线的方式移动。
图10示出了根据一些实施方式，可以生成的从可移动物体的位置到与一个或多个目标方向相关联的多个参照点的不同运动路径的示例。
图10的部分A示出了可以生成的从可移动物体的位置到位于平行目标方向向量上的不同参照点的不同圆弧形运动路径。可以估计多个参照点1030。该多个参照点可以位于沿着相对于可移动物体1002的不同目标方向的不同点处。所述目标方向可彼此平行。可选地，目标方向不需要彼此平行。第一参照点1030-1可以位于最靠近可移动物体之处。第二参照点1030-2可以位于更远离可移动物体之处，介于第一参照点1030-1与第三参照点1030-3之间。第三参照点1030-3可以位于最远离可移动物体之处。可以生成从可移动物体的位置1032到相应的参照点的不同运动路径1034。例如，可以生成从位置1032到第一参照点1030-1的第一运动路径1034-1；可以生成从位置1032到第二参照点1030-2的第二运动路径1034-2；并且可以生成从位置1032到第三参照点1030-3的第三运动路径1034-3。每个运动路径可以形成具有半径且圆心角度θ的圆弧。当位置1032与参照点之间的距离增大时半径增大，并且当位置1032与参照点之间的距离减小时半径减小。例如，运动路径1034-1可以形成具有从第一参照点1030-1延伸至点O1的半径r1的圆弧；运动路径1034-2可以形成具有从第二参照点1030-2延伸至点O2的半径r2的圆弧；并且运动路径1034-3可以形成具有从第三参照点1030-3延伸至点O3的半径r3的圆弧。点O1、点O2和点O3可以沿着从可移动物体延伸的y轴。该y轴可对应于可移动物体的俯仰轴。可移动物体的航向可以在位置1032处在沿着x轴的初始方向上。该x轴可以对应于可移动物体的横滚轴。半径r1、半径r2和半径r3可以各自在沿着y轴的点O1、点O2和点O3形成角度θ。第一运动路径、第二运动路径和第三运动路径的圆弧长度可分别由11、12和13给出。在图10的示例中，r3＞r2＞r1且l3＞l2＞l1，使得运动路径1034-1具有最短的弧长而运动路径1034-3具有最长的弧长。
图10的部分B示出了可以生成的从可移动物体的位置到处在同一目标方向向量上的不同参照点的不同运动路径。该多个参照点可以位于沿着相对于可移动物体的同一目标方向的不同点处。第四参照点1030-4可以位于最靠近可移动物体之处。第五参照点1030-5可以位于更远离可移动物体之处，介于第四参照点1030-4与第六参照点1030-6之间。第六参照点1030-6可以位于最远离可移动物体之处。可以生成从可移动物体的位置到相应的参照点的不同运动路径1034。例如，可以生成从位置1032到第四参照点1030-4的第四运动路径1034-4；可以生成从位置1032到第五参照点1030-5的第五运动路径1034-5；并且可以生成从位置1032到第六参照点1030-6的第六运动路径1034-6。在图10的部分B中，第四运动路径1034-4可以具有最大的曲率量，而第六运动路径1034-6可以具有最小的曲率量。例如，第四运动路径1034-4可以是弯曲的，而第六运动路径1034-6可以基本上是直线的。
因此，可以为可移动物体生成不同长度、不同半径和曲率(例如，弯曲的、直线的或两者的组合)的运动路径以便从初始或当前位置移动到位于任何目标方向向量上的参照点或沿着同一目标方向向量的不同参照点。用户可以通过经由计算机实现界面提供输入(例如，通过选择或点击显示于用户终端上的图像上的点)来选择任何参照点。当用户选择较靠近可移动物体的点(例如，参照点1030-1)时，可以生成从可移动物体的当前或初始位置到参照点的具有较小半径的运动路径(例如，运动路径1034-1)，例如，如在图10的部分A中所示。相反，当用户选择离可移动物体较远的点(例如，参照点1032-3)时，可以生成从可移动物体的当前或初始位置到参照点的具有较大半径的运动路径(例如，运动路径1034-3)，例如，如在图10的部分A中所示。
图11部分A示出了根据一些实施方式，当可移动物体从第一目标方向移动到第二目标方向时可以生成的不同运动路径的示例。如图所示，可移动物体可以最初在方向D1上行进。可移动物体可以接收要在新的目标方向D2上前进的指令。可以经由向用户终端的用户输入来提供该指令。
运动路径生成器可被配置用于为可移动物体生成一个或多个运动路径，以便从其在方向D1上的当前行进向方向D2切换航向。可以基于沿着初始方向D1上的向量的不同离去点以及沿着目标方向D2上的向量的不同进入点来生成不同运动路径。例如，可以在第一离去点1132-1到第一进入点1130-1之间生成第一运动路径1134-1。类似地，可以在第二离去点1132-2到第二进入点1130-2之间生成第二运动路径1134-2，可以在第三离去点1132-3到第三进入点1130-3之间生成第三运动路径1134-3，并且可以在第四离去点1132-4到第四进入点1130-4之间生成第四运动路径1134-4。可以生成任何数目的运动路径，并且可以控制可移动物体沿着所述运动路径中的任一个移动。如在图11的部分A中所示，第一运动路径到第四运动路径是使可移动物体能够从其原始行进方向平滑过渡到新的目标方向的曲线路径。可以例如使用图10中的模型和方程来确定第一运动路径到第四运动路径的曲率。
运动路径的曲率还可取决于一个或多个因素，诸如当可移动物体接收到要改变方向的指令时该可移动物体的速度和/或加速度、方向变化的程度、动力单元的类型、可移动物体的配置、可移动物体的用户作出的规范，或者任何其他因素。在一些情况下，可以提供运动路径的标准曲率或逐渐变化。或者，该曲率可以根据所描述的因素中的一个或多个而变化。例如，如果可移动物体非常快地行进，则其可能无法像其在更缓慢行进时那样进行急转弯。运动控制器可以进行计算，以实现运动路径中的方向变化。运动控制器可以具有如本文其他各处所述的特性中的任何特性。
图11部分B示出了根据一些实施方式，可移动物体的现有运动路径的延伸。在一些情况下，所估计的参照点1130-1可以不沿着目标方向上的向量，并且可以从该向量偏移距离Δ。在这些情况下，现有的运动路径可以从所估计的参照点1130-1延伸到沿着目标方向上的向量的新的参照点1130-2。可以通过复制运动路径的一部分，并将所复制的部分从所估计的参照点1130-1连接至新的参照点1130-2来延伸现有的运动路径。在一些实施方式中，可以调整表示运动路径的函数(例如，多项式函数)，以便将运动路径延伸到新的参照点1130-2。对函数的调整可以包括调整函数的次(阶)和/或调整函数中的一个或多个系数。
如前文所述，可移动物体可被配置成沿着运动路径从当前位置或初始位置向沿着目标方向的向量的参照点移动。在许多现实世界应用中，周围环境可能包括可移动物体的运动路径中的障碍物。这些障碍物可能是静止的、能够移动，或者正在运动。因此，关于外部环境的信息对于可移动物体可能是必要的，以通过实时重新规划其运动路径来躲避此类障碍物。在一些实施方式中，可以基于由一个或多个成像设备捕获的一个或多个图像来在3D地图中提供关于外部环境的信息。可以基于3D地图来调整可移动物体的运动路径。
图12示出了根据一些实施方式，可在视觉交互式导航系统内发生的通信的示例。图12中的视觉导航系统1200类似于图7中的系统700，区别在于系统1200还包括避障单元216。避障单元可以与运动路径生成器位于同处。避障单元可以是运动路径生成器的一部分。或者，运动路径生成器可以是避障单元的一部分。避障单元可以放置在系统中的任何位置，例如搭载于可移动物体上或者位于用户终端处。避障单元和/或运动路径生成器可被配置用于生成穿越环境地图(诸如3D地图)内的可通行(开放)空间的运动路径。
避障单元可被配置用于基于可移动物体沿着运动路径的预测移动来确定可移动物体是否将会与一个或多个障碍物碰撞。运动路径可对应于本文其他各处(例如，图9、图10和图11中)描述的那些运动路径。避障单元可被配置用于在确定可移动物体会与所述一个或多个障碍物碰撞时在至少一个方向上增量地调整运动路径。避障单元还可被配置用于针对所述至少一个方向上的每个增量角度来确定可移动物体是否将会与所述一个或多个障碍物碰撞。
避障单元可以基于环境地图来确定可移动物体是否将会与一个或多个障碍物碰撞。该环境地图可以是可移动物体周围的环境的3D地图。可以基于由一个或多个成像设备捕获的周围物体的图像中的深度信息来生成该3D地图。在一些实施方式中，避障单元可被配置用于将指示出运动路径的轨迹叠加到环境地图上，以及确定该轨迹是否靠近环境地图内描绘的一个或多个障碍物或与之相交。
当轨迹不靠近环境地图内描绘的一个或多个障碍物或者不与之相交时，避障单元可以确定不存在碰撞风险或者存在低碰撞风险，并且可以将现有的运动路径提供给运动控制器。相反，当轨迹靠近环境地图内描绘的一个或多个障碍物或者与之相交时，避障单元可以确定可移动物体将会与一个或多个障碍物碰撞。
避障单元可被配置用于确定可移动单元不太可能或者不会与一个或多个障碍物碰撞的一个或多个角度，以及基于该一个或多个角度来调整可移动物体的运动路径。运动控制器可被配置用于控制可移动物体沿着经调整的运动路径移动。
在一些实施方式中，避障单元可被配置用于在至少一个方向上增量地调整运动路径的角度。所要调整的运动路径的角度可以包括先前在图9中描述的由θ＝atan(yspace/xspace)给出的角度θ。另外，运动路径的角度可以包括由下式给出的角度α：
Figure BDA0001631443520000441
角度θ和α是对应于如先前参考图3描述的相机坐标系中用户选定方向的方向向量OA的坐标(xspace，yspace，zspace)的三角函数。因此，可以调整运动路径以在至少一个方向上遍历一系列角度，以便确定没有障碍物的一个或多个运动路径。该至少一个方向可以相对于环境内世界坐标系的一个或多个轴来限定。例如，该至少一个方向可以相对于世界坐标系的x轴、y轴或z轴来限定。
在一些实施方式中，避障单元可被配置用于在至少一个方向上N次增量地调整运动路径的角度。N可以是大于1的任何整数。可以按固定度数间隔来增量地调整运动路径的角度。例如，可以按1、2、3、4、5、6、7、8、9、10或15度间隔来增量地调整运动路径的角度。或者，可以按大于15度间隔来增量地调整运动路径的角度。可选地，可以按小于1度间隔来增量地调整运动路径的角度。在一些实施方式中，可以按可变的度数间隔来增量地调整运动路径的角度。该增量角度可以相对于运动路径上的点来限定。该点可以对应于运动路径上的初始点。该点可以与可移动物体的位置相关联。避障单元可以确定当运动路径被调整到第一角度时可移动物体将不会与一个或多个障碍物碰撞。运动控制器可被配置用于实现可移动物体沿着经调整的运动路径以第一角度的移动，以躲避一个或多个障碍物。
在一些实施方式中，可以基于运动路径中存在或不存在障碍物而以动态方式增量地调整运动路径的角度。例如，当避障单元检测到运动路径中的障碍物时，可以按较小增量来调整运动路径的角度，以便确定可移动物体绕过障碍物的运动路径中的最小调整。在可移动物体已成功绕过障碍物之后，可以按较大增量来重新调整运动路径的角度。
在一些实施方式中，可以基于运动路径中的障碍物的密度而以动态方式增量地调整运动路径的角度。例如，当避障单元检测到运动路径中的高密度的障碍物时，可以按较小增量来调整运动路径的角度，以便确定可移动物体绕过高密度障碍物的运动路径中的精细调整。相反，当避障单元检测到运动路径中的低密度的障碍物时，可以按较大增量来调整运动路径的角度，原因在于在障碍物之间可能存在更多开放(可通行)空间。
在一些实施方式中，避障单元可被配置用于将运动路径的角度增量地调整到大于第一角度的第二角度。当运动路径被调整到第二角度时，避障单元可以确定可移动物体将不会与一个或多个障碍物碰撞。相比于在第一路径处经调整的运动路径，以第二角度调整的运动路径可以提供针对碰撞的更高安全裕度。
图13示出了根据一些实施方式，增量地在向上方向或向下方向调整可移动物体的运动路径以躲避障碍物。参考图13的部分A，可移动物体最初可沿着运动路径1334-1移动。避障单元可以检测到将会导致碰撞的、位于运动路径1334-1中的障碍物。避障单元可以在向上方向上增量地调整运动路径的角度，以确定可移动物体将不会或不太可能与障碍物碰撞的一个或多个角度。如部分A中所示，可以首先将运动路径1334-1向上调整角度θ1至运动路径1334-2。避障单元可被配置用于通过确定经调整的运动路径的轨迹是否靠近环境地图内描绘的障碍物或与之相交来确定在经调整的路径1334-2上是否将会发生碰撞。在部分A的示例中，在经调整的运动路径1334-2中仍发生碰撞。为了确定无障碍物的路径，接下来将运动路径1334-2向上调整角度θ2至1334-3。在一些情况下，角度θ2可基本上与θ1相同。在其他情况下，角度θ1和角度θ2可以不同。例如，角度θ2可小于或大于θ1。避障单元可以确定在运动路径1334-3中不存在碰撞。因此，避障单元可以将可移动物体的运动路径从1334-1变成1334-3。继而控制可移动物体沿着运动路径1334-3移动。
在一些实施方式中，可以将运动路径1334-3向上调整角度θ3至1334-4。相比于运动1334-3，运动路径1334-4可以提供针对碰撞的更高安全裕度，并且可以控制可移动物体沿着运动路径1334-4移动。
图13的部分B类似于部分A，区别在于在向下方向上增量地调整运动路径的角度来确定可移动物体将不会或不太可能与障碍物碰撞的一个或多个角度。如部分B中所示，可以首先将运动路径1334-5向下调整角度θ1至运动路径1334-6。避障单元可被配置用于通过确定经调整的运动路径的轨迹是否靠近环境地图内描绘的障碍物或与之相交来确定在经调整的路径1334-6上是否将会发生碰撞。在部分B的示例中，在运动路径1334-6中仍发生碰撞。为了确定无障碍物的路径，接下来将运动路径1334-6向下调整角度θ2至1334-7。避障单元可以确定在运动路径1334-7中不存在碰撞。因此，避障单元可以将可移动物体的运动路径从1334-5变成1334-7。继而控制可移动物体沿着运动路径1334-7移动。
图14示出了根据一些实施方式，水平地在左方向和右方向调整可移动物体的运动路径以躲避障碍物。在图13中，运动路径的调整可发生在平行于可移动物体的航向轴(z轴)的垂直方向(向上和向下)上。在图14中，运动路径的调整可发生在平行于可移动物体的俯仰轴(y轴)的水平方向(向左和向右)上。
在图14中，可移动物体最初可以沿着运动路径1434-1移动。避障单元可以检测到将会导致碰撞的、位于运动路径中的障碍物。避障单元可以在向左方向或向右方向上增量地调整运动路径的角度，以确定可移动物体将不会或不太可能与障碍物碰撞的一个或多个角度。作为示例，可以首先将运动路径1434-1向左调整角度θ1至运动路径1434-2。避障单元可被配置用于通过确定经调整的运动路径的轨迹是否靠近环境地图内描绘的障碍物或与之相交来确定在经调整的路径1434-2上是否将会发生碰撞。在运动路径1434-2中仍发生碰撞。为了确定无障碍物的路径，接下来将运动路径1434-2向左调整角度θ2至1434-3。在一些情况下，角度θ2可以基本上与θ1相同。在其他情况下，角度θ1和角度θ2可以不同。例如，角度θ2可小于或大于θ1。避障单元可以确定在运动路径1434-3中不存在碰撞。因此，避障单元可以将可移动物体的运动路径从1434-1变成1434-3。
在一些情况下，替代于向左调整，可以向右调整运动路径1434-1。例如，可以将运动路径1434-1向右调整角度θ3至运动路径1434-4，以及将运动路径1430-4向右调整角度θ4至运动路径1434-5。可以通过将运动路径1434-5向右调整角度θ5至运动路径1434-6来获得净空的路径。
图15示出了根据一些实施方式，对可移动物体的运动路径的调整，使得该可移动物体在左方向或右方向上水平移动以躲避障碍物。图15类似于图14，区别在于图15中的环境包括多个障碍物，并且经调整的运动路径包括基本上为直线的路径。
在图15中，运动路径1534-1的调整可发生在平行于可移动物体的俯仰轴(y轴)的水平方向(左和右)上。避障单元可以确定即使将运动路径1534-1依次向左调整角度θ1、θ2和θ3，以及依次向右调整角度θ5、θ6、θ7和θ8，但仍然会发生与障碍物的碰撞。避障单元可以利用水平绕过策略而于随后确定是否仍会发生碰撞。该水平绕过策略可以包括调整运动路径以使得其在向左或向右方向上基本上是直线的。在图15的示例中，该水平绕过策略中的运动路径可基本上平行于可移动物体的俯仰轴(y轴)或与之对准。可以确定在左水平绕过运动路径1534-5中会发生碰撞。然而，可以通过右水平绕过运动路径1534-10来获得净空的路径。因此，避障单元可以将可移动物体的运动路径从1534-1变成1534-10。
如上文参考图13至图15所描述，避障单元可被配置用于以顺序方式在多个方向上增量地调整运动路径的角度。例如，避障单元可以在第一方向上增量地调整运动路径的角度，以确定可移动物体将不会或不太可能与一个或多个障碍物碰撞的一个或多个角度。当对于第一方向未确定出角度时，避障单元可以进一步在第二方向上增量地调整运动路径的角度，以确定可移动物体将不会或不太可能与一个或多个障碍物碰撞的一个或多个角度。当对于第二方向未确定出角度时，避障单元可以进一步在第三方向上增量地调整运动路径的角度，以确定可移动物体将不会或不太可能与一个或多个障碍物碰撞的一个或多个角度。在一些实施方式中，第一方向、第二方向和第三方向中的两个或更多个可彼此正交。在一些实施方式中，第一方向、第二方向和第三方向中的两个或更多个可彼此平行。在一些实施方式中，第一方向、第二方向和第三方向中的两个或更多个可彼此相对。在一些备选实施方式中，第一方向、第二方向和第三方向中的两个或更多个可彼此倾斜。在一些情况下，第一方向可对应于与可移动物体的航向轴(z轴)平行的向上方向，第二方向可对应于与可移动物体的俯仰轴(y轴)平行的向左方向，而第三方向可对应于也与可移动物体的俯仰轴(y轴)平行但与第二方向相对的向右方向。
图16示出了根据一些实施方式，以3D扫掠(sweeping)配置来调整可移动物体的运动路径以躲避障碍物。在图16中，可以按径向方式增量地调整运动路径的角度，使得多个经调整的运动路径以3D配置从可移动物体向外扫掠。可以在被设置成与可移动物体的横滚轴、航向轴和俯仰轴中的每一个正交或倾斜的多个方向上增量地调整运动路径的角度。该多个方向可以至少包括相对于可移动物体的横滚轴向上延伸的第一方向、相对于横滚轴向左延伸的第二方向、相对于横滚轴向右延伸的第三方向，以及相对于横滚轴向下延伸的第四方向。在一些实施方式中，可以在第一方向上，随后在第二方向、第三方向和第四方向上增量地调整运动路径的角度。
图17示出了根据一些实施方式，反复调整可移动物体的运动路径以躲避一个或多个障碍物。如前文所述，避障单元可被配置用于(1)基于可移动物体沿着运动路径的预测移动来确定可移动物体是否将会与一个或多个障碍物碰撞，(2)当确定可移动物体会与一个或多个障碍物碰撞时在至少一个方向上增量地调整运动路径的角度，以及(3)针对该至少一个方向上的每个增量角度来确定可移动物体是否将会与一个或多个障碍物碰撞。在一些实施方式中，避障单元可被配置用于当可移动物体正在沿着经调整的运动路径移动时，以固定距离间隔或可变距离间隔来重复上述步骤(1)至步骤(3)。例如，可以在位置P0处将运动路径1734-1向上调整到运动路径1734-2，以便使可移动物体躲避与处在运动路径1734-1中的第一障碍物的碰撞。随后可以控制可移动物体沿着运动路径1734-2移动。当可移动物体到达位置P1时，避障单元可以重复上述避障确定步骤。位置P1可以与可移动物体的位置P0分隔开距离x1。可以沿着行进的x轴方向来测量距离x1。位置P1可以比位置P0更靠近第一障碍物。可以在位置P1处将运动路径1734-2向上调整到运动路径1734-3，以便使可移动物体躲避与处在运动路径1734-2中的第二障碍物的碰撞。随后可以控制可移动物体沿着运动路径1734-3移动。当可移动物体到达位置P2时，避障单元可以重复上述避障确定步骤。位置P2可以与可移动物体的位置P1分隔开距离x2。也可以沿着行进的x轴方向来测量距离x2。位置P2可以比位置P1更靠近第二障碍物。在一些实施方式中，距离x1和距离x2可以是相同的，使得避障步骤以固定的距离间隔执行。或者，距离x1和距离x2可以是不同的，使得避障步骤以可变的距离间隔执行。该距离间隔可以取决于当可移动物体沿着运动路径(或经调整的运动路径)移动时在可移动物体与障碍物之间的相对位置。例如，当可移动物体正在沿着经调整的运动路径移动并且处于离一个或多个障碍物的预定距离处时可以执行避障步骤。同样地，当可移动物体正在沿着更靠近一个或多个障碍物的经调整的运动路径移动时可以执行避障步骤。当可移动物体已经移动到更靠近一个或多个障碍物之处时，可以获得障碍物的更清晰的图像，该图像允许对环境地图进行更新。因此，避障单元可以基于经更新的环境地图而微调和调整运动路径。
在一些实施方式中，避障单元可被配置用于当可移动物体正在沿着经调整的运动路径移动时，以固定时间间隔或可变时间间隔来重复上述避障步骤(1)至步骤(3)。例如，参考图17，可以在时间t0、时间t1和时间t2执行每个避障步骤序列。第一时间间隔可由(t1-t0)给出，而第二时间间隔可由(t2-t1)给出。在一些实施方式中，第一时间间隔和第二时间间隔可以是相同的，使得避障步骤以固定时间间隔执行。或者，第一时间间隔和第二时间间隔可以是不同的，使得避障步骤以可变时间间隔执行。
在一些实施方式中，避障单元可被配置用于基于环境内的目标方向以及可移动物体的一个或多个运动特性来生成可移动物体的运动路径。避障单元还可被配置用于使用表示环境的至少一部分的环境地图来确定可移动物体与一个或多个障碍物碰撞的概率。可以基于可移动物体沿着运动路径的预测移动以及一个或多个障碍物向运动路径上的预测移动来确定所述概率。
避障单元可被配置用于将运动路径叠加到环境地图上，以确定一个或多个障碍物是否沿着运动路径。环境地图可以包括拓扑地图或度量地图。该度量地图可以包括以下各项中的至少一个：点云、3D网格地图、2D网格地图或2.5D网格地图。该度量地图还可以包括占用网格地图。
避障单元可被配置用于通过实时分析环境地图来确定一个或多个障碍物向运动路径上的预测移动。可以基于障碍物的一个或多个运动特性来确定一个或多个障碍物的预测移动。该一个或多个运动特性可以包括障碍物沿着和/或围绕环境内的一个或多个轴的速度和/或加速度。
避障单元可被配置用于确定碰撞的概率是否大于或等于阈值。当碰撞的概率大于或等于所述阈值时，避障单元可以确定可移动物体很可能或者将会与一个或多个障碍物碰撞。相反，当碰撞的概率低于所述阈值时，避障单元可以确定可移动物体不太可能或者将不会与一个或多个障碍物碰撞。运动控制器可被配置用于当碰撞的概率低于所述阈值时保持可移动物体的运动路径，而当碰撞的概率大于或等于所述阈值时调整可移动物体的运动路径。避障单元可被配置用于通过在至少一个方向上增量地改变运动路径的角度来调整运动路径，以及针对该至少一个方向上的每个增量角度来确定碰撞的概率是否低于阈值。在一些实施方式中，避障单元可以通过在多个方向上增量地改变运动路径的角度来调整运动路径，以及针对每个方向上的每个增量角度来确定碰撞的概率是否低于阈值。避障单元可以确定具有使碰撞的概率低于阈值的一个或多个选定角度的一个或多个经调整的运动路径。运动控制器可以控制可移动物体沿着具有所述一个或多个选定角度的所述一个或多个经调整的运动路径移动。
图18示出了根据一些实施方式的用户界面(UI)的示例，用户可通过其来选择目标方向并从而为可移动物体自动调整运动路径以躲避该目标方向上的障碍物。部分A示出了环境的初始显示。部分B示出了用户在该显示内选择目标方向，并且障碍物可位于运动路径上。部分C示出了在已躲避障碍物的经调整的运动路径上行进的可移动物体的图像。可移动物体可以是UAV。在罗盘中示出了UAV的对应移动/航向。
部分A示出了环境的初始显示。如前文所述，该初始显示可以包括图像，该图像可以包括FPV和/或地图视图。最初，可以在用户对目标方向作出选择之前呈现环境的图像。可以显示环境内的一个或多个障碍物，诸如树木。对应的罗盘可以示出UAV可以可选地未处于移动中。在备选实施方式中，当用户对目标方向作出选择时UAV可以已经处于移动中。
部分B示出了用户在所述显示内选择目标方向。例如，目标方向可以是东北方向。可以按与本文其他各处更详细描述方式的相同的任何方式来选择目标方向。在一些情况下，当UAV正在行进时，一个或多个物体可能变成障碍物(当位于UAV的路径中时)。例如，用户可以将目标方向选为在东北方向上。树木可处于东北方向上的路径中。
UAV可以使用先前描述的避障方法中的一个或多个来自动调整UAV的飞行路径以躲避所存在的障碍物。对应的罗盘示出UAV可以绕过障碍物。飞行控制器(诸如本文其他各处描述的飞行控制器)可以帮助确定UAV如何躲避障碍物。UAV可以侧向地绕行障碍物并且/或者可以在障碍物上方和/或下方行进。在一些情况下，障碍物可以是静止的障碍物。或者，障碍物可以是移动的障碍物。可以采用任何避障技术，诸如本文其他各处更详细描述的那些避障技术。
部分C示出了在已躲避障碍物的目标方向上行进的可移动物体的图像。例如，UAV可以绕飞作为障碍物的树木，这允许UAV继续处于其原始目标方向(其可以在东北方向上)上，如对应的罗盘所示。
图19示出了根据一些实施方式，用于为可移动物体生成运动路径的方法的流程图。首先，用户终端上的应用可以确定是否已经在计算机实现的显示器上的图像上选择(“点击”)点。所述显示器可以是用户终端的一部分，并且所述应用可以使用用户终端上的硬件和软件的组合来执行。所述图像例如可以是由可移动物体上的相机捕获的FPV视图。可移动物体可以是UAV。用户终端可由用户用来控制UAV。
如果该应用确定已经点击了点，则该应用可以将所点击的点的图像坐标传输到方向分析器。方向分析器可被配置用于部分地基于所点击的点在显示器屏幕上的坐标和相机的姿态来计算所点击的点的空间方向。可以使用先前在图2和图3中描述的方法来计算所点击的点的空间方向。
接下来，可以将所点击的点的空间方向提供给运动路径生成器。运动路径生成器可被配置用于规划从其初始或当前位置到处于空间方向上的参照点的新的轨迹。该轨迹可以是运动路径。可以基于UAV位置信息和3D环境地图信息来规划新的轨迹。
接下来，避障单元可以确定UAV是否将会与新轨迹上的任何障碍物碰撞。如果确定出没有碰撞，则可以将该轨迹输出到飞行控制器。飞行控制器可被配置用于控制UAV沿着该轨迹飞行。
如果确定出碰撞，则避障单元可以执行一系列避障动作(例如，先前在图13-图17中描述的那些步骤)来确定绕行轨迹。避障步骤可以基于3D环境地图信息和UAV位置信息。如果存在绕行轨迹，则避障单元可以将该绕行轨迹输出到飞行控制器，该飞行控制器继而控制UAV沿着所述绕行轨迹飞行。如果不存在绕行轨迹，则避障单元可以向飞行控制器提供指令以控制UAV，使得UAV在其当前位置处悬停或着陆。
在一些情况下，如果尚未点击点，则该应用继而可以确定是否存在先前轨迹。如果不存在先前轨迹，则该应用可以向飞行控制器提供指令以控制UAV，使得UAV在其当前位置处悬停或着陆。如果存在先前轨迹，则运动路径生成器可以基于UAV位置信息来延伸该先前轨迹。避障单元随后可以使用上文所述的避障步骤中的一个或多个来确定UAV是否将会与经延伸的轨迹上的任何障碍物碰撞。
图20示出了根据一些实施方式，用于可移动物体的避障方法的流程图。图20更详细地图示了图19的避障步骤。当确定出碰撞时，避障单元可以首先基于(1)所点击的点的空间方向的水平轨迹、(2)UAV位置信息和(3)3D环境地图信息(如先前在图13中所述)，来向上搜索无障碍物路径。避障单元可以通过在向上的方向上调整飞行轨迹的角度来进行搜索，以规划尝试轨迹。该尝试轨迹可以是经调整的运动路径。避障单元可以确定在尝试轨迹上是否将会发生任何碰撞。如果确定对于尝试轨迹没有碰撞，则避障单元可以将尝试轨迹输出为新的轨迹。如果确定存在碰撞，则避障单元可以增量地调整飞行轨迹的角度，并且从下一增量角度来规划另一尝试轨迹。
在一些情况下，作为对首先向上搜索无障碍物轨迹的替代，避障单元可以首先执行左右对称搜索(例如，如图14和图15中所示)。例如，避障单元可以通过在左方向和/或右方向上调整飞行轨迹的角度来进行搜索以规划尝试轨迹。避障单元可以确定在尝试轨迹上是否将会发生任何碰撞。如果确定对于尝试轨迹没有碰撞，则避障单元可以将尝试轨迹输出为新的轨迹。如果确定存在碰撞，则避障单元可以增量地调整飞行轨迹的角度，并且从下一增量角度来规划另一尝试轨迹。在一些情况下，避障单元可被配置用于向上、向左和/或向右进行N次搜索，以确定一个或多个无障碍物轨迹。
本文所描述的系统、设备和方法可以适用于多种可移动物体。如前文所述，本文对飞行器的任何描述均可适用于和用于任何可移动物体。本发明的可移动物体可被配置用于在任何合适的环境内移动，诸如在空中(例如，固定翼航空器、旋翼航空器或者既不具有固定翼也不具有旋翼的航空器)、在水中(例如，船舶或潜艇)、在地面上(例如，机动车，诸如轿车、卡车、公交车、厢式货车、摩托车；可移动构造物或框架，诸如棒状物、钓鱼竿；或者火车)、在地下(例如，地铁)、在太空(例如，航天飞机、卫星或探测器)，或者这些环境的任何组合。可移动物体可以是载具，诸如本文其他各处所描述的载具。在一些实施方式中，可移动物体可以安装在诸如人类或动物等活体身上。
可移动物体可能能够在所述环境内关于六个自由度(例如，三个平移自由度和三个旋转自由度)而自由移动。或者，可移动物体的移动可能关于一个或多个自由度受到约束，诸如由预定路径、轨迹或朝向所约束。所述移动可以由诸如引擎或马达等任何合适的致动机构所致动。可移动物体的致动机构可以由任何合适的能源提供动力，所述能源诸如为电能、磁能、太阳能、风能、引力能、化学能、核能或者其任何合适的组合。可移动物体可以如本文其他各处所述，经由动力系统而自推进。所述动力系统可以可选地依靠能源运行，所述能源诸如为电能、磁能、太阳能、风能、引力能、化学能、核能或者其任何合适的组合。或者，可移动物体可以由生物所携带。
在一些情况下，可移动物体可以是载具。合适的载具可以包括水上载具、飞行器、太空载具或地面载具。例如，飞行器可以是固定翼航空器(例如，飞机、滑翔机)、旋翼航空器(例如，直升机、旋翼飞机)、同时具有固定翼和旋翼的航空器或者既无固定翼又无旋翼的航空器(例如，飞艇、热气球)。载具可以是自推进式，诸如在空中、在水上或水中、在太空中或者在地上或地下自推进。自推进式载具可以利用动力系统，诸如包括一个或多个引擎、马达、轮子、轮轴、磁体、旋翼、螺旋桨、桨叶、喷嘴或者其任何合适组合的动力系统。在一些情况下，动力系统可以用于使可移动物体能够从表面起飞、降落到表面上、保持其当前位置和/或朝向(例如，悬停)、改变朝向和/或改变位置。
可移动物体可以由用户遥控或者由可移动物体之内或之上的乘员在本地控制。在一些实施方式中，可移动物体是无人的可移动物体，诸如UAV。无人的可移动物体，诸如UAV，可以不具有搭乘该可移动物体的乘员。可移动物体可以由人类或自主控制系统(例如，计算机控制系统)或者其任何合适的组合来控制。可移动物体可以是自主式或半自主式机器人，诸如配置有人工智能的机器人。
可移动物体可以具有任何合适的大小和/或尺寸。在一些实施方式中，可移动物体可以具有能容纳人类乘员身处载具之内或之上的大小和/或尺寸。或者，可移动物体可以具有比能够容纳人类乘员身处载具之内或之上的大小和/或尺寸更小的大小/或尺寸。可移动物体可以具有适合于由人类搬运或携带的大小和/或尺寸。或者，可移动物体可以大于适合由人类搬运或携带的大小和/或尺寸。在一些情况下，可移动物体可以具有的最大尺寸(例如，长度、宽度、高度、直径、对角线)小于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。该最大尺寸可以大于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。例如，可移动物体的相对的旋翼的轴之间的距离可以小于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。或者，相对的旋翼的轴之间的距离可以大于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。
在一些实施方式中，可移动物体可以具有小于100cm x 100cm x100cm、小于50cmx 50cm x 30cm或小于5cm x 5cm x 3cm的体积。可移动物体的总体积可以小于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。相反地，可移动物体的总体积可以大于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。
在一些实施方式中，可移动物体可以具有的占地面积(这可以指由所述可移动物体所包围的横截面面积)小于或等于约：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。相反地，所述占地面积可以大于或等于约：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。
在一些情况下，可移动物体可以不超过1000kg重。可移动物体的重量可以小于或等于约：1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。相反地，所述重量可以大于或等于约：1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。
在一些实施方式中，可移动物体相对于该可移动物体所携带的负荷可以较小。如下文进一步详述，所述负荷可以包括负载和/或载体。在一些示例中，可移动物体的重量与负荷重量之比可以大于、小于或等于约1∶1。在一些情况下，可移动物体的重量与负荷重量之比可以大于、小于或等于约1∶1。可选地，载体重量与负荷重量之比可以大于、小于或等于约1∶1。当需要时，可移动物体的重量与负荷重量之比可以小于或等于：1∶2、1∶3、1∶4、1∶5、1∶10或者甚至更小。相反地，可移动物体的重量与负荷重量之比还可以大于或等于：2∶1、3∶1、4∶1、5∶1、10∶1或者甚至更大。
在一些实施方式中，可移动物体可以具有低能耗。例如，可移动物体可以使用小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。在一些情况下，可移动物体的载体可以具有低能耗。例如，所述载体可以使用小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。可选地，可移动物体的负载可以具有低能耗，诸如小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。
在一些实施方式中，UAV可以包括具有多个旋翼的推进系统。可以提供任何数目的旋翼(例如，一个、两个、三个、四个、五个、六个或更多个)。无人飞行器的旋翼、旋翼组件或其他动力系统可使该无人飞行器能够悬停/保持位置、改变朝向和/或改变位置。相对的旋翼的轴之间的距离可以是任何合适的长度。例如，长度可以小于或等于2m，或者小于或等于5m。在一些实施方式中，长度可以在从40cm到1m、从10cm到2m或者从5cm到5m的范围内。本文对UAV的任何描述均可适用于可移动物体，诸如不同类型的可移动物体，并且反之亦然。
在一些实施方式中，可移动物体可被配置用于携带负荷。该负荷可以包括乘客、货物、设备、仪器等之中的一种或多种。该负荷可以提供在外壳内。该外壳可以与可移动物体的外壳相分离，或者是可移动物体的外壳的一部分。或者，负荷可以具备外壳，而可移动物体不具有外壳。或者，负荷的一些部分或者整个负荷可以在不具有外壳的情况下提供。负荷可以相对于所述可移动物体刚性固定。可选地，负荷可以是相对于可移动物体可以移动的(例如，可以相对于可移动物体平移或旋转)。
在一些实施方式中，负荷包括负载。负载可被配置成不执行任何操作或功能。或者，负载可以是被配置用于执行操作或功能的负载，亦称为功能性负载。例如，负载可以包括用于勘测一个或多个目标的一个或多个传感器。可以将任何合适的传感器集成到负载中，所述传感器诸如为图像捕获设备(例如，相机)、音频捕获设备(例如，抛物面麦克风)、红外成像设备或紫外成像设备。传感器可以提供静态感测数据(例如，照片)或动态感测数据(例如，视频)。在一些实施方式中，传感器提供负载的目标的感测数据。备选地或组合地，负载可以包括用于向一个或多个目标提供信号的一个或多个发射器。可以使用任何合适的发射器，诸如照明源或声音源。在一些实施方式中，负载包括一个或多个收发器，诸如用于与远离可移动物体的模块通信。可选地，负载可被配置用于与环境或目标相互作用。例如，负载可以包括工具、仪器，或者能够操纵物体的机构，诸如机械臂。
可选地，负荷可以包括载体。载体可被提供用于负载，并且负载可以经由载体而直接地(例如，直接接触可移动物体)或间接地(例如，不接触可移动物体)耦合至可移动物体。相反地，负载可以在无需载体的情况下安装在可移动物体上。负载可以与载体一体形成。或者，负载可以可释放地耦合到载体。在一些实施方式中，负载可以包括一个或多个负载元件，并且所述负载元件中的一个或多个可以是相对于可移动物体和/或载体可以移动的，如上文所述。
载体可以与可移动物体一体形成。或者，载体可以可释放地耦合至可移动物体。载体可以直接地或间接地耦合至可移动物体。载体可以向负载提供支撑(例如，承载负载的重量的至少一部分)。载体可以包括能够稳定和/或引导负载的移动的合适的安装构造物(例如，云台平台)。在一些实施方式中，载体可以适于控制负载相对于可移动物体的状态(例如，位置和/或朝向)。例如，载体可被配置成相对于可移动物体(例如，关于一个、两个或三个平移自由度以及/或者一个、两个或三个旋转自由度)移动，以使得负载保持其相对于合适的参考系的位置和/或朝向，而与可移动物体的移动无关。该参考系可以是固定参考系(例如，周围环境)。或者，该参考系可以是移动参考系(例如，可移动物体、负载目标)。
在一些实施方式中，载体可被配置用于允许负载相对于载体和/或可移动物体的移动。该移动可以是关于多达三个自由度(例如，沿着一个、两个或三个轴)的平移，或者关于多达三个自由度(例如，围绕一个、两个或三个轴)的旋转，或者其任何合适的组合。
在一些情况下，载体可以包括载体框架组件和载体致动组件。载体框架组件可以向负载提供构支撑。载体框架组件可以包括单个载体框架部件，其中一些部件可以是相对于彼此可移动的。载体致动组件可以包括致动单个载体框架部件的移动的一个或多个致动器(例如，马达)。致动器可以允许多个载体框架部件同时移动，或者可被配置用于允许每次移动单个载体框架部件。载体框架部件的移动可以产生负载的对应移动。例如，载体致动组件可以致动一个或多个载体框架部件围绕一个或多个旋转轴(例如，横滚轴、俯仰轴或航向轴)的旋转。该一个或多个载体框架部件的旋转可以使负载相对于可移动物体围绕一个或多个旋转轴旋转。备选地或组合地，载体致动组件可以致动一个或多个载体框架部件沿着一个或多个平移轴的平移，并从而产生负载相对于可移动物体沿着一个或多个对应轴的平移。
在一些实施方式中，可移动物体、载体和负载相对于固定参考系(例如，周围环境)和/或相对于彼此的移动可以由终端来控制。所述终端可以是处于远离所述可移动物体、载体和/或负载的位置处的遥控设备。终端可以安置于支撑平台上或者固定至支撑平台。或者，终端可以是手持式或可穿戴式设备。例如，终端可以包括智能电话、平板计算机、膝上型计算机、计算机、眼镜、手套、头盔、麦克风或者其合适的组合。终端可以包括用户接口，诸如键盘、鼠标、操纵杆、触摸屏或显示器。任何合适的用户输入均可用于与终端交互，诸如手动输入命令、语音控制、手势控制或位置控制(例如，经由终端的移动、位置或倾斜)。
终端可以用于控制可移动物体、载体和/或负载的任何合适的状态。例如，终端可以用于控制可移动物体、载体和/或负载相对于固定参考物从和/或相对于彼此的位置和/或朝向。在一些实施方式中，终端可以用于控制可移动物体、载体和/或负载的单个元件，诸如载体的致动组件、负载的传感器或者负载的发射体。终端可以包括适于与可移动物体、载体或负载中的一个或多个相通信的无线通信设备。
终端可以包括用于查看可移动物体、载体和/或负载的信息的合适的显示单元。例如，终端可被配置用于显示可移动物体、载体和/或负载的信息，所述信息关于位置、平移速度、平移加速度、朝向、角速度、角加速度或其任何合适的组合。在一些实施方式中，终端可以显示由负载提供的信息，诸如由功能性负载提供的数据(例如，由相机或其他图像捕获设备记录的图像)。
可选地，同一终端可以同时控制可移动物体、载体和/或负载或者所述可移动物体、载体和/或负载的状态，以及接收和/或显示来自所述可移动物体、载体和/或负载的信息。例如，终端可以控制负载相对于环境的定位，同时显示由负载捕获的图像数据，或者关于负载的位置的信息。或者，不同的终端可以用于不同的功能。例如，第一终端可以控制可移动物体、载体和/或负载的移动或状态，而第二终端可以接收和/或显示来自可移动物体、载体和/或负载的信息。例如，第一终端可以用于控制负载相对于环境的定位，而第二终端显示由该负载捕获的图像数据。可以在可移动物体与同时控制该可移动物体并接收数据的集成式终端之间，或者在可移动物体与同时控制该可移动物体并接收数据的多个终端之间利用各种通信模式。例如，可以在可移动物体与同时控制该可移动物体并接收来自该可移动物体的数据的终端之间形成至少两种不同的通信模式。
图21图示了根据实施方式，包括载体2102和负载2104的可移动物体2100。虽然可移动物体2100被描绘为飞行器，但这样的描绘并不旨在成为限制性的，并且如前文所述可以使用任何合适类型的可移动物体。本领域技术人员将会理解，本文在航空器系统的情景下描述的任何实施方式均可适用于任何合适的可移动物体(例如，UAV)。在一些情况下，可以在可移动物体2100上提供负载2104而无需载体2102。可移动物体2100可以包括动力机构2106、感测系统2108和通信系统2110。
如前文所述，动力机构2106可以包括旋翼、螺旋桨、桨叶、引擎、马达、轮子、轮轴、磁体或喷嘴中的一种或多种。例如，动力机构2106可以是自紧式旋翼、旋翼组件，或者如本文其他各处所述的其他旋转动力单元。可移动物体可以具有一个或多个、两个或更多个、三个或更多个或者四个或更多个动力机构。动力机构可以全都是同一类型。或者，一个或多个动力机构可以是不同类型的动力机构。动力机构2106可以使用任何合适的装置而安装在可移动物体2100上，所述装置诸如为本文其他各处所述的支撑元件(例如，驱动轴)。动力机构2106可以安装在可移动物体2100的任何合适的部分上，诸如顶部、底部、前面、后面、侧面或其合适的组合。
在一些实施方式中，动力机构2106可以使得可移动物体2100能够从表面垂直地起飞或者垂直地降落在表面上，而无需可移动物体2100的任何水平移动(例如，无需沿着跑道行进)。可选地，动力机构2106可以可操作地允许可移动物体2100以指定位置和/或朝向悬停于空中。一个或多个动力机构2100可以独立于其他动力机构得到控制。或者，动力机构2100可被配置成同时受到控制。例如，可移动物体2100可以具有多个水平朝向的旋翼，所述旋翼可以向该可移动物体提供升力和/或推力。可以致动所述多个水平朝向的旋翼以向可移动物体2100提供垂直起飞、垂直降落以及悬停能力。在一些实施方式中，所述水平朝向的旋翼中的一个或多个可以在顺时针方向上旋转，同时所述水平旋翼中的一个或多个可以在逆时针方向上旋转。例如，顺时针旋翼的数目可以等于逆时针旋翼的数目。每个水平朝向的旋翼的旋转速率可独立地改变，以便控制由每个旋翼产生的升力和/或推力，并从而调整可移动物体2100的空间排列、速度和/或加速度(例如，关于多达三个平移自由度和多达三个旋转自由度)。
感测系统2108可以包括一个或多个传感器，所述传感器可以感测可移动物体2100的空间排列、速度和/或加速度(例如，关于多达三个平移自由度和多达三个旋转自由度)。所述一个或多个传感器可以包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、距离传感器或图像传感器。由感测系统2108提供的感测数据可以用于控制可移动物体2100的空间排列、速度和/或朝向(例如，使用合适的处理单元和/或控制模块，如下文所述)。或者，感测系统2108可以用于提供关于可移动物体周围环境的数据，诸如气象条件、距潜在障碍物的距离、地理特征的位置、人造构造物的位置等。
通信系统2110支持经由无线信号2116与具有通信系统2114的终端2112的通信。通信系统2110、通信系统2114可以包括任何数目的适合于无线通信的发射器、接收器和/或收发器。所述通信可以是单向通信，使得数据只能在一个方向上传输。例如，单向通信可以仅涉及可移动物体2100向终端2112传输数据，或者反之亦然。数据可以从通信系统2110的一个或多个发射器传输至通信系统2112的一个或多个接收器，或者反之亦然。或者，所述通信可以是双向通信，使得数据在可移动物体2100与终端2112之间的两个方向上均可传输。双向通信可以涉及从通信系统2110的一个或多个发射器向通信系统2114的一个或多个接收器传输数据，并且反之亦然。
在一些实施方式中，终端2112可以向可移动物体2100、载体2102和负载2104中的一个或多个提供控制数据，以及从可移动物体2100、载体2102和负载2104中的一个或多个接收信息(例如，可移动物体、载体或负载的位置和/或运动信息；由负载感测的数据，诸如由负载相机捕获的图像数据)。在一些情况下，来自终端的控制数据可以包括针对可移动物体、载体和/或负载的相对位置、移动、致动或控制的指令。例如，控制数据可以导致可移动物体的位置和/或朝向的修改(例如，经由动力机构2106的控制)，或者负载相对于可移动物体的移动(例如，经由载体2102的控制)。来自终端的控制数据可以导致对负载的控制，诸如对相机或其他图像捕获设备的操作的控制(例如，拍摄静态或移动图片、放大或缩小、开启或关闭、切换成像模式、改变图像分辨率、改变聚焦、改变景深、改变曝光时间、改变视角或视野)。在一些情况下，来自可移动物体、载体和/或负载的通信可以包括来自一个或多个传感器(例如，感测系统2108的或负载2104的传感器)的信息。所述通信可以包括来自一个或多个不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、距离传感器或图像传感器)的感测到的信息。这样的信息可以关于可移动物体、载体和/或负载的位置(例如，位置、朝向)、移动或加速度。来自负载的这样的信息可以包括由该负载捕获的数据或该负载的感测到的状态。由终端2112提供并传输的控制数据可被配置用于控制可移动物体2100、载体2102或负载2104中的一个或多个的状态。备选地或组合地，载体2102和负载2104还可以各自包括通信模块，该通信模块被配置用于与终端2112通信，以使得该终端可独立地与可移动物体2100、载体2102和负载2104中的每一个通信和对其加以控制。
在一些实施方式中，可移动物体2100可被配置用于与另一远程设备相通信——附加于终端2112或代替终端2112。终端2112也可被配置用于与另一远程设备以及可移动物体2100相通信。例如，可移动物体2100和/或终端2112可以与另一可移动物体或者另一可移动物体的载体或负载相通信。当需要时，所述远程设备可以是第二终端或其他计算设备(例如，计算机、膝上型计算机、平板计算机、智能电话或其他移动设备)。远程设备可被配置用于向可移动物体2100传输数据、从可移动物体2100接收数据、向终端2112传输数据以及/或者从终端2112接收数据。可选地，远程设备可以连接至因特网或其他电信网络，以使得从可移动物体2100和/或终端2112接收的数据可被上传至网站或服务器。
在一些实施方式中，可以根据各实施方式提供用于控制可移动物体的系统。该系统可以与本文公开的系统、设备和方法的任何合适的实施方式相结合使用。该系统可以包括感测模块、处理单元、非暂时性计算机可读介质、控制模块和通信模块。
感测模块可以利用以不同方式收集与可移动物体有关的信息的不同类型的传感器。不同类型的传感器可以感测不同类型的信号或来自不同来源的信号。例如，所述传感器可以包括惯性传感器、GPS传感器、距离传感器(例如，激光雷达)或视觉/图像传感器(例如，相机)。感测模块可以可操作地耦合至具有多个处理器的处理单元。在一些实施方式中，感测模块可以可操作地耦合至传输模块(例如，Wi-Fi图像传输模块)，该传输模块被配置用于向合适的外部设备或系统直接传输感测数据。例如，传输模块可以用于向远程终端传输由感测模块的相机捕获的图像。
处理单元可具有一个或多个处理器，诸如可编程处理器(例如，中央处理器(CPU))。处理单元可以可操作地耦合至非暂时性计算机可读介质。非暂时性计算机可读介质可以储存可由处理单元执行的逻辑、代码和/或程序指令，用以执行一个或多个步骤。非暂时性计算机可读介质可以包括一个或多个存储器单元(例如，可移动介质或外部存储，诸如SD卡或随机存取存储器(RAM))。在一些实施方式中，来自感测模块的数据可直接传送至并储存于非暂时性计算机可读介质的存储器单元内。非暂时性计算机可读介质的存储器单元可以储存可由处理单元执行的逻辑、代码和/或程序指令，用以执行本文所描述的方法的任何合适的实施方式。例如，处理单元可被配置用于执行指令，从而使处理单元的一个或多个处理器分析由感测模块产生的感测数据。存储器单元可以储存要由处理单元处理的、来自感测模块的感测数据。在一些实施方式中，非暂时性计算机可读介质的存储器单元可以用于储存由处理单元产生的处理结果。
在一些实施方式中，处理单元可以可操作地耦合至控制模块，该控制模块被配置用于控制可移动物体的状态。例如，控制模块可被配置用于控制可移动物体的动力机构以调整可移动物体关于六个自由度的空间排列、速度和/或加速度。备选地或组合地，控制模块可以控制载体、负载或感测模块的状态中的一个或多个。
处理单元可以可操作地耦合至通信模块，该通信模块被配置用于传输数据和/或接收来自一个或多个外部设备(例如，终端、显示设备或其他遥控器)的数据。可以使用任何合适的通信手段，诸如有线通信或无线通信。例如，通信模块可以利用局域网(LAN)、广域网(WAN)、红外线、无线电、WiFi、点对点(P2P)网络、电信网络、云通信等之中的一种或多种。可选地，可以使用中继站，诸如塔、卫星或移动台。无线通信可以依赖于距离或独立于距离。在一些实施方式中，通信可能需要或者可能不需要视线。通信模块可以传输和/或接收来自感测模块的感测数据、由处理单元产生的处理结果、预定控制数据、来自终端或遥控器的用户命令等之中的一个或多个。
系统的组件可以按任何合适的配置来布置。例如，系统的一个或多个组件可以位于可移动物体、载体、负载、终端、感测系统或与上述的一个或多个相通信的附加的外部设备上。在一些实施方式中，多个处理单元和/或非暂时性计算机可读介质中的一个或多个可以位于不同的位置，诸如在可移动物体、载体、负载、终端、感测模块、与上述的一个或多个相通信的附加的外部设备上或其合适的组合，以使得由系统执行的处理和/或存储器功能的任何合适的方面可以发生于一个或多个上述位置处。
本文所使用的A和/或B包括A或B中的一个或多个及其组合，诸如A和B。应当理解，尽管术语“第一”、“第二”、“第三”等可在本文中用来描述各种元件、组件、区域和/或部分，但这些元件、组件、区域和/或部分不应当受到这些术语的限制。这些术语仅用于将一个元件、组件、区域或部分与另一元件、组件、区域或部分相区分。因此，在不偏离本发明的教导的情况下，下文讨论的第一元件、组件、区域或部分可被称为第二元件、组件、区域或部分。
本文所使用的术语仅为了描述特定实施方式的目的，并且并不旨在对本发明作出限制。如本文所使用，单数形式“一种”、“一个”和“该”还只在包括复数形式，除非上下文另有明确指示。还应当理解，当在本说明书中使用时，术语“包括”和/或“包含”指定所陈述的特征、区域、整数、步骤、操作、元件和/或组件的存在，但并不排除一个或多个其他特征、区域、整数、步骤、操作、元件、组件和/或其组的存在或添加。
此外，相对术语，诸如“下方”或“底部”以及“上方”或“顶部”等，可以在本文中用来描述图中所示一个元件与其他元件的关系。应当理解，相对术语旨在包含元件的除了图中描绘的朝向之外的不同朝向。例如，如果附图之一中的元件被翻转，则被描述为位于其他元件的“下”侧的元件的朝向将会是在该其他元件的“上”侧。因此，根据附图的具体朝向，示例性术语“下方”可以同时包括“下方”朝向和“上方”朝向。类似地，如果附图之一中的元件被翻转，则被描述为位于其他元件“下方”或“之下”的元件的朝向将会是在该其他元件的“上方”。因此，示例性术语“下方”或“之下”可以同时包括上方朝向和下方朝向。
虽然本文已经示出和描述了本发明的优选实施方式，但对于本领域技术人员显而易见的是，这样的实施方式只是以示例的方式提供的。本领域技术人员现将会在不偏离本发明的情况下想到许多更改、改变和替代。应当理解，在实践本发明的过程中可以采用对本文所描述的本发明实施方式的各种替代方案。本文所述实施方式的多种不同组合是可能的，并且这样的组合被认为是本公开内容的一部分。此外，关于任一实施方式讨论的所有特征可以很容易地适于在本文其他实施方式中使用。以下权利要求旨在限定本发明的范围，并因此覆盖这些权利要求范围内的方法和构造物及其等效项。

Claims (124)

1.一种用于控制可移动物体的方法，包括：
基于所述可移动物体的目标方向，估计所述可移动物体的参照点以及所述可移动物体在所述参照点处的一个或多个运动特性，其中，所述目标方向是用户指定的；以及
基于所述可移动物体在所述可移动物体的位置和所述参照点处的一个或多个运动特性，生成所述可移动物体的从所述位置到所述参照点的运动路径。
2.根据权利要求1所述的方法，其中所述可移动物体的所述位置包括所述可移动物体的初始位置或当前位置。
3.根据权利要求1所述的方法，还包括：实现所述可移动物体沿着从所述位置到所述参照点的所述运动路径的移动。
4.根据权利要求3所述的方法，其中所述可移动物体被配置成以基本上为曲线的方式沿着所述运动路径移动。
5.根据权利要求1所述的方法，还包括：当所述可移动物体到达所述参照点时，实现所述可移动物体在所述目标方向上的移动。
6.根据权利要求5所述的方法，其中所述可移动物体被配置成以基本上为直线的方式在所述目标方向上移动。
7.根据权利要求1所述的方法，其中由所述位置、所述参照点以及所述可移动物体在所述位置和所述参照点处的所述一个或多个运动特性的函数来表示所述运动路径。
8.根据权利要求1所述的方法，其中通过所述运动路径在所述可移动物体的所述位置处的第一切线来限定初始方向。
9.根据权利要求8所述的方法，其中通过所述运动路径在所述参照点处的第二切线来限定所述目标方向。
10.根据权利要求9所述的方法，其中所述第一切线和所述第二切线在不同的方向上延伸。
11.根据权利要求9所述的方法，其中所述第一切线和所述第二切线不平行。
12.根据权利要求9所述的方法，其中所述第一切线和所述第二切线彼此倾斜。
13.根据权利要求9所述的方法，其中所述第一切线和所述第二切线彼此正交。
14.根据权利要求9所述的方法，其中所述位置与所述参照点之间的所述运动路径形成具有半径r和圆心角度θ的弧。
15.根据权利要求14所述的方法，其中所述角度θ是常数。
16.根据权利要求14所述的方法，其中所述角度θ是变量。
17.根据权利要求14所述的方法，其中所述半径r随着所述位置与所述参照点之间的距离而变化。
18.根据权利要求17所述的方法，其中当所述位置与所述参照点之间的所述距离增大时，所述半径r增大。
19.根据权利要求17所述的方法，其中当所述位置与所述参照点之间的所述距离减小时，所述半径r减小。
20.根据权利要求14所述的方法，其中所述运动路径的长度随着所述半径r而变化。
21.根据权利要求20所述的方法，其中当所述半径r增大时，所述运动路径的所述长度增大。
22.根据权利要求20所述的方法，其中当所述半径r减小时，所述运动路径的所述长度减小。
23.根据权利要求14所述的方法，其中所述目标方向与穿过所述参照点的线形成所述角度θ，其中所述线平行于所述第一切线。
24.根据权利要求1所述的方法，其中所述可移动物体在所述参照点处的朝向不同于所述可移动物体在所述位置处的朝向。
25.根据权利要求1所述的方法，其中所述可移动物体在所述位置和所述参照点处具有相同的朝向。
26.根据权利要求1所述的方法，其中所述位置和所述参照点处于不同高度。
27.根据权利要求1所述的方法，其中所述可移动物体在第一时刻位于具有一个或多个对应运动特性的位置处，所述运动特性包括所述可移动物体在该位置处的第一速度和/或第一加速度。
28.根据权利要求27所述的方法，其中使用所述可移动物体上的一个或多个传感器来获得所述位置、所述第一速度和所述第一加速度。
29.根据权利要求28所述的方法，其中所述一个或多个传感器位于所述可移动物体的惯性测量单元(IMU)上。
30.根据权利要求27所述的方法，其中估计所述可移动物体在不同于所述第一时刻的第二时刻位于具有一个或多个对应运动特性的参照点处，所述运动特性包括所述可移动物体在所述参照点处的第二速度和/或第二加速度。
31.根据权利要求30所述的方法，其中从用户输入获得所述参照点、所述第二速度和所述第二加速度。
32.根据权利要求31所述的方法，其中所述参照点、所述第二速度和所述第二加速度分别对应于用户在所述第二时刻所期望的位置、速度和加速度。
33.根据权利要求30所述的方法，其中所述第二时刻是在所述第一时刻之后出现的时间点。
34.根据权利要求30所述的方法，其中预测所述可移动物体通过遵循所述运动路径而在所述第二时刻以所述第二速度和所述第二加速度到达所述参照点。
35.根据权利要求1所述的方法，其中从经由计算机实现界面提供的用户输入获得所述目标方向。
36.根据权利要求35所述的方法，其中在所述计算机实现界面上呈现环境的图像。
37.根据权利要求36所述的方法，其中将所述图像描绘成相对于所述可移动物体而言的第一人称视角(FPV)。
38.根据权利要求36所述的方法，其中通过用户在所述计算机实现界面上的所述图像中选择点来提供所述用户输入。
39.根据权利要求38所述的方法，其中使用所述点来生成所述可移动物体的所述目标方向。
40.根据权利要求36所述的方法，其中所述目标方向是在所述环境内限定的向量。
41.根据权利要求36所述的方法，其中在所述环境内生成所述运动路径。
42.根据权利要求36所述的方法，还包括：生成所述环境的环境地图。
43.根据权利要求42所述的方法，其中所述环境地图是拓扑地图。
44.根据权利要求42所述的方法，其中所述环境地图包括度量地图。
45.根据权利要求44所述的方法，其中所述度量地图包括以下各项中的至少一个：点云、3D网格地图、2D网格地图或2.5D网格地图。
46.根据权利要求44所述的方法，其中所述度量地图包括占用网格地图。
47.根据权利要求35所述的方法，其中所述计算机实现界面是触摸屏设备。
48.根据权利要求1所述的方法，其中由一个或多个函数表示所述运动路径。
49.根据权利要求48所述的方法，其中所述一个或多个函数包括基于时间的多项式函数。
50.根据权利要求49所述的方法，其中所述一个或多个多项式函数包括贝塞尔曲线或B样条。
51.根据权利要求49所述的方法，还包括：调整所述多项式函数，使得当在所述运动路径中检测到一个或多个障碍物时所述可移动物体躲避所述一个或多个障碍物。
52.根据权利要求51所述的方法，其中将所述多项式函数从较低阶多项式函数调整成较高阶多项式函数，以便使所述可移动物体躲避所述一个或多个障碍物。
53.根据权利要求51所述的方法，其中调整所述多项式函数的一个或多个系数。
54.根据权利要求49所述的方法，其中所述多项式函数是n阶的，并且n是大于或等于1的整数。
55.根据权利要求54所述的方法，其中当n＝1时所述多项式函数是直线，并且所述可移动物体被配置成沿着所述直线移动。
56.根据权利要求54所述的方法，其中当n>1时所述多项式函数是曲线，并且所述可移动物体被配置成沿着所述曲线移动。
57.根据权利要求48所述的方法，其中通过使用较高阶多项式函数来使所述运动路径平滑。
58.根据权利要求57所述的方法，其中所述多项式函数是时间的函数。
59.根据权利要求58所述的方法，其中使用所述多项式函数来计算所述可移动物体在瞬时时间点的位移。
60.根据权利要求59所述的方法，其中从所述位移获得所述可移动物体在环境内的空间位置。
61.根据权利要求59所述的方法，其中所述位移包括所述可移动物体的线位移和/或角位移。
62.根据权利要求58所述的方法，其中使用所述多项式函数的一阶导数来计算所述可移动物体在瞬时时间点的速度。
63.根据权利要求62所述的方法，其中所述速度包括所述可移动物体的线速度和/或角速度。
64.根据权利要求58所述的方法，其中使用所述多项式函数的二阶导数来计算所述可移动物体在瞬时时间点的加速度。
65.根据权利要求64所述的方法，其中所述加速度包括所述可移动物体的线加速度和/或角加速度。
66.根据权利要求58所述的方法，其中使用所述多项式函数及其导数来确定所述可移动物体在不同时刻的多个运动特性。
67.根据权利要求49所述的方法，还包括：确定所述多项式函数的一个或多个系数，其中基于所述位置、所述参照点以及在所述位置和所述参照点处的一个或多个运动特性来确定所述一个或多个系数。
68.根据权利要求67所述的方法，其中部分地基于逆多项式矩阵来确定所述一个或多个系数。
69.根据权利要求68所述的方法，其中从所述多项式函数及其导数获得所述逆多项式矩阵中的值。
70.根据权利要求67所述的方法，其中在不使用所述位置与所述参照点之间的一个或多个中间航路点的情况下确定所述一个或多个系数。
71.根据权利要求1所述的方法，其中在不使用所述位置与所述参照点之间的一个或多个中间航路点的情况下生成所述运动路径。
72.一种用于控制可移动物体的装置，所述装置包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置用于：
基于所述可移动物体的目标方向，估计所述可移动物体的参照点以及所述可移动物体在所述参照点处的一个或多个运动特性，其中，所述目标方向是用户指定的；以及
基于所述可移动物体在所述可移动物体的位置和所述参照点处的一个或多个运动特性，生成所述可移动物体的从所述位置到所述参照点的运动路径。
73.一种非暂时性计算机可读介质，其储存指令，所述指令当被执行时使计算机执行用于控制可移动物体的方法，所述方法包括：
基于所述可移动物体的目标方向，估计所述可移动物体的参照点以及所述可移动物体在所述参照点处的一个或多个运动特性，其中，所述目标方向是用户指定的；以及
基于所述可移动物体在所述可移动物体的位置和所述参照点处的一个或多个运动特性，生成所述可移动物体的从所述位置到所述参照点的运动路径。
74.一种无人飞行器(UAV)系统，包括：
操作为控制所述无人飞行器的装置，所述装置包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置用于：
基于所述无人飞行器的目标方向，估计所述无人飞行器的参照点以及所述无人飞行器在所述参照点处的一个或多个运动特性，其中，所述目标方向是用户指定的；以及
基于所述无人飞行器在所述无人飞行器的位置和所述参照点处的一个或多个运动特性，生成所述无人飞行器的从所述位置到所述参照点的运动路径。
75.一种用于确定可移动物体的目标方向的方法，包括：
在计算机实现的显示器上提供图像，其中，所述图像是可移动物体支撑的成像设备捕获的；
当用户在所述图像上选择点时，获得选定点在所述图像上的位置；以及
基于所述选定点在所述图像上的所述位置来确定所述目标方向。
76.根据权利要求75所述的方法，还包括：实现所述可移动物体从参照点在所述目标方向上的移动。
77.根据权利要求76所述的方法，其中所述可移动物体被配置成以基本上直线的方式在所述目标方向上移动。
78.根据权利要求76所述的方法，还包括：基于所述可移动物体在初始位置和所述参照点处的一个或多个运动特性，生成所述可移动物体的从所述初始位置到所述参照点的运动路径。
79.根据权利要求78所述的方法，还包括：实现所述可移动物体沿着所述初始位置与所述参照点之间的所述运动路径的移动。
80.根据权利要求79所述的方法，其中所述可移动物体被配置成以基本上为曲线的方式沿着所述运动路径移动。
81.根据权利要求78所述的方法，其中由所述初始位置、所述参照点以及所述可移动物体在所述初始位置和所述参照点处的所述一个或多个运动特性的函数来表示所述运动路径。
82.根据权利要求78所述的方法，其中通过所述运动路径在所述参照点处的第一切线来限定所述目标方向。
83.根据权利要求82所述的方法，其中所述运动路径在所述初始位置处的第二切线和所述第一切线在不同的方向上。
84.根据权利要求75所述的方法，其中将所述图像描绘成相对于所述可移动物体而言的第一人称视角(FPV)。
85.根据权利要求75所述的方法，其中所述计算机实现的显示器是触摸屏设备。
86.根据权利要求75所述的方法，其中所述目标方向是在环境内限定的向量。
87.根据权利要求75所述的方法，其中获得所述选定点在所述图像上的位置还包括：将所述选定点的一组屏幕坐标转换成一组图像坐标，以及归一化所述一组图像坐标。
88.根据权利要求87所述的方法，其中基于归一化的所述一组图像坐标来确定所述目标方向。
89.根据权利要求75所述的方法，还包括：将所述目标方向作为图形元素投影到所述计算机实现的显示器中的所述图像上。
90.根据权利要求75所述的方法，还包括：基于世界坐标系中的点来获得所述目标方向在图像坐标系中的向量，其中所述世界坐标系中的所述点与所述图像上的所述选定点相关联。
91.根据权利要求90所述的方法，其中通过所述世界坐标系中的一组坐标(xw,yw,zw)来定义所述世界坐标系中的所述点。
92.根据权利要求91所述的方法，其中所述世界坐标系中的所述一组坐标(xw,yw,zw)包括深度值D。
93.根据权利要求92所述的方法，其中通过相对于所述深度值D来对所述一组坐标(xw,yw,zw)进行归一化，获得所述目标方向在所述图像坐标系中的所述向量。
94.根据权利要求93所述的方法，其中在所述归一化之后，从所述目标方向在所述图像坐标系中的所述向量中消除所述深度值D。
95.根据权利要求94所述的方法，还包括：使用平移矩阵，将所述目标方向在所述图像坐标系中的所述向量转换成所述目标方向在所述世界坐标系中的向量。
96.根据权利要求95所述的方法，其中通过使用从所述可移动物体上的一个或多个传感器收集的数据来获得所述平移矩阵。
97.根据权利要求96所述的方法，其中所述一个或多个传感器位于所述可移动物体的惯性测量单元(IMU)上。
98.根据权利要求96所述的方法，其中所述一个或多个传感器被配置用于测量所述可移动物体的姿态。
99.根据权利要求98所述的方法，其中部分地使用所述可移动物体的所述姿态来获得所述平移矩阵。
100.一种用于确定可移动物体的目标方向的装置，所述装置包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置用于：
在计算机实现的显示器上提供图像，其中，所述图像是可移动物体支撑的成像设备捕获的；
当用户在所述图像上选择点时，获得选定点在所述图像上的位置；以及
基于所述选定点在所述图像上的所述位置来确定所述目标方向。
101.一种非暂时性计算机可读介质，其储存指令，所述指令当被执行时使计算机执行用于确定可移动物体的目标方向的方法，所述方法包括：
在计算机实现的显示器上提供图像，其中，所述图像是可移动物体支撑的成像设备捕获的；
当用户在所述图像上选择点时，获得选定点在所述图像上的位置；以及
基于所述选定点在所述图像上的所述位置来确定所述目标方向。
102.一种无人飞行器(UAV)系统，包括：
操作为控制所述无人飞行器的装置，所述装置包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置用于：
在计算机实现的显示器上提供图像，其中，所述图像是无人飞行器支撑的成像设备捕获的；
当用户在所述图像上选择点时，获得选定点在所述图像上的位置；以及
基于所述选定点在所述图像上的所述位置来确定目标方向。
103.一种用于在环境内控制可移动物体的方法，包括：
基于所述环境内所述可移动物体的目标方向以及所述可移动物体的一个或多个运动特性，生成所述可移动物体的运动路径；以及
使用表示所述环境的至少一部分的环境地图，确定所述可移动物体与一个或多个障碍物的碰撞的概率，其中基于所述可移动物体沿着所述运动路径的预测移动以及所述一个或多个障碍物向所述运动路径上的预测移动来确定所述概率。
104.根据权利要求103所述的方法，还包括：确定所述碰撞概率是否大于或等于阈值。
105.根据权利要求104所述的方法，还包括：当所述碰撞概率大于或等于所述阈值时，确定所述可移动物体很可能或将会与所述一个或多个障碍物碰撞。
106.根据权利要求104所述的方法，还包括：当所述碰撞概率低于所述阈值时，确定所述可移动物体不太可能或不会与所述一个或多个障碍物碰撞。
107.根据权利要求104所述的方法，还包括：当所述碰撞概率低于所述阈值时，保持所述可移动物体的所述运动路径。
108.根据权利要求104所述的方法，还包括：当所述碰撞概率大于或等于所述阈值时，调整所述可移动物体的所述运动路径。
109.根据权利要求104所述的方法，还包括：通过在至少一个方向上增量地改变所述运动路径的角度来调整所述运动路径，以及针对所述至少一个方向上的每个增量角度确定所述碰撞概率是否低于所述阈值。
110.根据权利要求104所述的方法，还包括：通过在多个方向上增量地改变所述运动路径的角度来调整所述运动路径，以及针对每个方向上的每个增量角度确定所述碰撞概率是否低于所述阈值。
111.根据权利要求104所述的方法，还包括：确定具有使所述碰撞概率低于所述阈值的一个或多个选定角度的一个或多个经调整的运动路径。
112.根据权利要求111所述的方法，还包括：控制所述可移动物体沿着具有所述一个或多个选定角度的所述一个或多个经调整的运动路径移动。
113.根据权利要求103所述的方法，其中通过实时分析所述环境地图来确定所述一个或多个障碍物向所述运动路径上的所述预测移动。
114.根据权利要求113所述的方法，其中基于所述障碍物的一个或多个运动特性来确定所述一个或多个障碍物的所述预测移动。
115.根据权利要求114所述的方法，其中所述一个或多个运动特性包括所述障碍物沿着和/或围绕所述环境内的一个或多个轴的速度和/或加速度。
116.根据权利要求103所述的方法，还包括：将所述运动路径叠加到所述环境地图上。
117.根据权利要求116所述的方法，其中将所述运动路径叠加到所述环境地图上以确定一个或多个障碍物是否沿着所述运动路径。
118.根据权利要求103所述的方法，其中所述环境地图包括拓扑地图。
119.根据权利要求103所述的方法，其中所述环境地图包括度量地图。
120.根据权利要求119所述的方法，其中所述度量地图包括以下各项中的至少一个：点云、3D网格地图、2D网格地图或2.5D网格地图。
121.根据权利要求119所述的方法，其中所述度量地图包括占用网格地图。
122.一种用于在环境内控制可移动物体的装置，所述装置包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置用于：
基于所述环境内所述可移动物体的目标方向以及所述可移动物体的一个或多个运动特性，生成所述可移动物体的运动路径；以及
使用表示所述环境的至少一部分的环境地图，确定所述可移动物体与一个或多个障碍物的碰撞的概率，其中基于所述可移动物体沿着所述运动路径的预测移动以及所述一个或多个障碍物向所述运动路径上的预测移动来确定所述概率。
123.一种非暂时性计算机可读介质，其储存指令，所述指令当被执行时使计算机执行用于在环境内控制可移动物体的方法，所述方法包括：
基于所述环境内所述可移动物体的目标方向以及所述可移动物体的一个或多个运动特性，生成所述可移动物体的运动路径；以及
使用表示所述环境的至少一部分的环境地图，确定所述可移动物体与一个或多个障碍物的碰撞的概率，其中基于所述可移动物体沿着所述运动路径的预测移动以及所述一个或多个障碍物向所述运动路径上的预测移动来确定所述概率。
124.一种无人飞行器(UAV)系统，包括：
操作为在环境内控制所述无人飞行器的装置，所述装置包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置用于：
基于所述环境内所述无人飞行器的目标方向以及所述无人飞行器的一个或多个运动特性，生成所述无人飞行器的运动路径；以及
使用表示所述环境的至少一部分的环境地图，确定所述无人飞行器与一个或多个障碍物的碰撞的概率，其中基于所述无人飞行器沿着所述运动路径的预测移动以及所述一个或多个障碍物向所述运动路径上的预测移动来确定所述概率。
CN201680060804.8A 2015-09-15 2016-02-29 用于无人飞行器路径规划和控制的系统和方法 Active CN108139759B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210304319.8A CN114815906A (zh) 2015-09-15 2016-02-29 用于确定无人飞行器的目标方向的方法和装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
PCT/CN2015/089594 WO2017045116A1 (en) 2015-09-15 2015-09-15 System and method for supporting smooth target following
PCT/CN2015/093459 WO2017045251A1 (en) 2015-09-15 2015-10-30 Systems and methods for uav interactive instructions and control
CNPCT/CN2015/093459 2015-10-30
PCT/CN2016/074830 WO2017071143A1 (en) 2015-10-30 2016-02-29 Systems and methods for uav path planning and control

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210304319.8A Division CN114815906A (zh) 2015-09-15 2016-02-29 用于确定无人飞行器的目标方向的方法和装置

Publications (2)

Publication Number Publication Date
CN108139759A CN108139759A (zh) 2018-06-08
CN108139759B true CN108139759B (zh) 2022-04-15

Family

ID=58288098

Family Applications (7)

Application Number Title Priority Date Filing Date
CN201580074398.6A Pending CN107209854A (zh) 2015-09-15 2015-09-15 用于支持顺畅的目标跟随的系统和方法
CN201580084348.6A Active CN108351649B (zh) 2015-09-15 2015-10-30 用于控制可移动物体的方法和设备
CN202210224021.6A Pending CN114594792A (zh) 2015-09-15 2015-10-30 用于控制可移动物体的设备和方法
CN201580060689.XA Expired - Fee Related CN107148639B (zh) 2015-09-15 2015-12-31 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统
CN201910552106.5A Expired - Fee Related CN110276786B (zh) 2015-09-15 2015-12-31 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统
CN202210304319.8A Pending CN114815906A (zh) 2015-09-15 2016-02-29 用于确定无人飞行器的目标方向的方法和装置
CN201680060804.8A Active CN108139759B (zh) 2015-09-15 2016-02-29 用于无人飞行器路径规划和控制的系统和方法

Family Applications Before (6)

Application Number Title Priority Date Filing Date
CN201580074398.6A Pending CN107209854A (zh) 2015-09-15 2015-09-15 用于支持顺畅的目标跟随的系统和方法
CN201580084348.6A Active CN108351649B (zh) 2015-09-15 2015-10-30 用于控制可移动物体的方法和设备
CN202210224021.6A Pending CN114594792A (zh) 2015-09-15 2015-10-30 用于控制可移动物体的设备和方法
CN201580060689.XA Expired - Fee Related CN107148639B (zh) 2015-09-15 2015-12-31 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统
CN201910552106.5A Expired - Fee Related CN110276786B (zh) 2015-09-15 2015-12-31 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统
CN202210304319.8A Pending CN114815906A (zh) 2015-09-15 2016-02-29 用于确定无人飞行器的目标方向的方法和装置

Country Status (5)

Country Link
US (6) US20190011921A1 (zh)
EP (2) EP3353706A4 (zh)
JP (1) JP6735821B2 (zh)
CN (7) CN107209854A (zh)
WO (3) WO2017045116A1 (zh)

Families Citing this family (235)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10257727B2 (en) 2013-03-15 2019-04-09 DGS Global Systems, Inc. Systems methods, and devices having databases and automated reports for electronic spectrum management
US10257728B2 (en) 2013-03-15 2019-04-09 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management
US10219163B2 (en) 2013-03-15 2019-02-26 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management
US10244504B2 (en) 2013-03-15 2019-03-26 DGS Global Systems, Inc. Systems, methods, and devices for geolocation with deployable large scale arrays
US10299149B2 (en) 2013-03-15 2019-05-21 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management
US10237770B2 (en) 2013-03-15 2019-03-19 DGS Global Systems, Inc. Systems, methods, and devices having databases and automated reports for electronic spectrum management
US9078162B2 (en) 2013-03-15 2015-07-07 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management
US11646918B2 (en) 2013-03-15 2023-05-09 Digital Global Systems, Inc. Systems, methods, and devices for electronic spectrum management for identifying open space
US10271233B2 (en) 2013-03-15 2019-04-23 DGS Global Systems, Inc. Systems, methods, and devices for automatic signal detection with temporal feature extraction within a spectrum
US10231206B2 (en) 2013-03-15 2019-03-12 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management for identifying signal-emitting devices
US8750156B1 (en) 2013-03-15 2014-06-10 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management for identifying open space
US10257729B2 (en) 2013-03-15 2019-04-09 DGS Global Systems, Inc. Systems, methods, and devices having databases for electronic spectrum management
US12007763B2 (en) 2014-06-19 2024-06-11 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US9678506B2 (en) 2014-06-19 2017-06-13 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US9798322B2 (en) 2014-06-19 2017-10-24 Skydio, Inc. Virtual camera interface and other user interaction paradigms for a flying digital assistant
JP6408832B2 (ja) * 2014-08-27 2018-10-17 ルネサスエレクトロニクス株式会社 制御システム、中継装置、及び制御方法
KR101740312B1 (ko) * 2015-01-09 2017-06-09 주식회사 대한항공 무인 항공기의 카메라 조종정보를 이용한 무인 항공기 유도제어 방법
US10370118B1 (en) 2015-10-31 2019-08-06 Simon Saito Nielsen Lighting apparatus for remote controlled device
CN108351653B (zh) * 2015-12-09 2022-08-09 深圳市大疆创新科技有限公司 用于uav飞行控制的系统和方法
US11461912B2 (en) 2016-01-05 2022-10-04 California Institute Of Technology Gaussian mixture models for temporal depth fusion
US10665115B2 (en) * 2016-01-05 2020-05-26 California Institute Of Technology Controlling unmanned aerial vehicles to avoid obstacle collision
US10845188B2 (en) * 2016-01-05 2020-11-24 Microsoft Technology Licensing, Llc Motion capture from a mobile self-tracking device
US9758246B1 (en) 2016-01-06 2017-09-12 Gopro, Inc. Systems and methods for adjusting flight control of an unmanned aerial vehicle
WO2017153355A1 (de) * 2016-03-07 2017-09-14 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Verfahren und vorrichtung zum durchführen einer blickabbildung
US11009894B2 (en) * 2016-03-28 2021-05-18 Nec Corporation Unmanned flying device control system, unmanned flying device control method, and inspection device
US9658619B1 (en) * 2016-03-31 2017-05-23 Unmanned Innovation, Inc. Unmanned aerial vehicle modular command priority determination and filtering system
CN105867361A (zh) * 2016-04-18 2016-08-17 深圳市道通智能航空技术有限公司 一种飞行方向控制方法、装置及其无人机
KR20170123907A (ko) * 2016-04-29 2017-11-09 엘지전자 주식회사 이동단말기 및 그 제어방법
US11972683B2 (en) * 2016-05-25 2024-04-30 Yunex Gmbh Method, device and arrangement for tracking moving objects
TWI598143B (zh) * 2016-06-03 2017-09-11 博泰科技有限公司 飛行器的跟隨遙控方法
US20170359561A1 (en) * 2016-06-08 2017-12-14 Uber Technologies, Inc. Disparity mapping for an autonomous vehicle
US10768639B1 (en) 2016-06-30 2020-09-08 Snap Inc. Motion and image-based control system
CN109417609B (zh) * 2016-07-08 2021-10-29 深圳市大疆创新科技有限公司 用于组合和编辑uav操作数据和视频数据的方法和系统
CN109564434B (zh) * 2016-08-05 2023-07-25 深圳市大疆创新科技有限公司 用于定位可移动物体的系统和方法
US10520943B2 (en) 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
US10538326B1 (en) * 2016-08-31 2020-01-21 Amazon Technologies, Inc. Flare detection and avoidance in stereo vision systems
US20190004524A1 (en) * 2016-08-31 2019-01-03 Faraday&Future Inc. System and method for planning a vehicle path
CN106504270B (zh) * 2016-11-08 2019-12-20 浙江大华技术股份有限公司 一种视频中目标物体的展示方法及装置
GB2557175A (en) * 2016-11-17 2018-06-20 Nokia Technologies Oy Method for multi-camera device
CN106444848B (zh) * 2016-11-28 2018-11-30 广州极飞科技有限公司 控制无人机飞行的方法及装置
US11295458B2 (en) * 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
KR20180064253A (ko) * 2016-12-05 2018-06-14 삼성전자주식회사 비행 제어 방법 및 이를 지원하는 전자 장치
US10498951B2 (en) 2017-01-23 2019-12-03 Digital Global Systems, Inc. Systems, methods, and devices for unmanned vehicle detection
US10459020B2 (en) 2017-01-23 2019-10-29 DGS Global Systems, Inc. Systems, methods, and devices for automatic signal detection based on power distribution by frequency over time within a spectrum
US10529241B2 (en) * 2017-01-23 2020-01-07 Digital Global Systems, Inc. Unmanned vehicle recognition and threat management
US10700794B2 (en) 2017-01-23 2020-06-30 Digital Global Systems, Inc. Systems, methods, and devices for automatic signal detection based on power distribution by frequency over time within an electromagnetic spectrum
KR102275452B1 (ko) * 2017-03-16 2021-07-12 한국전자통신연구원 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치
CN106909170B (zh) * 2017-04-26 2020-04-07 北京小米移动软件有限公司 控制飞行器的方法和装置
CN108475072A (zh) * 2017-04-28 2018-08-31 深圳市大疆创新科技有限公司 一种跟踪控制方法、装置及飞行器
AU2018278323A1 (en) 2017-05-31 2019-12-05 Geomni, Inc. System and method for mission planning and flight automation for unmanned aircraft
EP3613208A4 (en) * 2017-06-02 2020-06-24 SZ DJI Technology Co., Ltd. SYSTEMS AND METHODS FOR TRACKING MULTIPLE OBJECTIVES AND AUTOFOCUSING BASED ON DEEP MACHINE LEARNING AND LASER RADAR
CN107273937A (zh) * 2017-07-10 2017-10-20 北京工业大学 一种视频及图像中目标任意角度标记方法
WO2019029551A1 (en) * 2017-08-10 2019-02-14 Hangzhou Zero Zero Technology Co., Ltd. SYSTEM AND METHOD FOR AVOIDING OBSTACLES IN AIR SYSTEMS
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
JP7057637B2 (ja) * 2017-08-23 2022-04-20 キヤノン株式会社 制御装置、制御システム、制御方法、プログラム、及び記憶媒体
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
CN107505951B (zh) * 2017-08-29 2020-08-21 深圳市道通智能航空技术有限公司 一种目标跟踪方法、无人机和计算机可读存储介质
US10719087B2 (en) 2017-08-29 2020-07-21 Autel Robotics Co., Ltd. Target tracking method, unmanned aerial vehicle, and computer readable storage medium
CN107590450A (zh) * 2017-09-01 2018-01-16 歌尔科技有限公司 一种运动目标的标记方法、装置和无人机
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10491824B2 (en) 2017-09-26 2019-11-26 Gopro, Inc. Combined mechanical and electronic image stabilization
CN108206941A (zh) * 2017-09-27 2018-06-26 深圳市商汤科技有限公司 目标跟踪方法、系统、终端设备及存储介质
JP6412998B1 (ja) * 2017-09-29 2018-10-24 株式会社Ｑｏｎｃｅｐｔ 動体追跡装置、動体追跡方法、動体追跡プログラム
US11753142B1 (en) 2017-09-29 2023-09-12 Snap Inc. Noise modulation for unmanned aerial vehicles
US11531357B1 (en) 2017-10-05 2022-12-20 Snap Inc. Spatial vector-based drone control
WO2019069626A1 (ja) * 2017-10-06 2019-04-11 株式会社豊田自動織機 移動車両
FR3074950B1 (fr) * 2017-10-19 2019-12-27 Valeo Comfort And Driving Assistance Procede de traitement de donnees et systeme embarque associe
US10962650B2 (en) 2017-10-31 2021-03-30 United States Of America As Represented By The Administrator Of Nasa Polyhedral geofences
CN109753076B (zh) * 2017-11-03 2022-01-11 南京奇蛙智能科技有限公司 一种无人机视觉追踪实现方法
US10921825B2 (en) 2017-11-04 2021-02-16 Automodality, Inc. System and method for perceptive navigation of automated vehicles
US10967862B2 (en) 2017-11-07 2021-04-06 Uatc, Llc Road anomaly detection for autonomous vehicle
EP3711037A4 (en) * 2017-11-13 2022-01-12 Geomni, Inc. SYSTEM AND METHOD FOR MISSION PLANNING, FLIGHT AUTOMATION AND HIGH RESOLUTION IMAGE CAPTURE BY AN UNPILOTED AIRCRAFT
CN109814588A (zh) * 2017-11-20 2019-05-28 深圳富泰宏精密工业有限公司 飞行器以及应用于飞行器的目标物追踪系统和方法
US10867398B2 (en) * 2017-11-21 2020-12-15 Reliance Core Consulting LLC Methods, systems, apparatuses and devices for facilitating motion analysis in an environment
CA3024707A1 (en) * 2017-11-21 2019-05-21 Reliance Core Consulting Methods and systems for detecting motion corresponding to a field of interest
CN109839945B (zh) * 2017-11-27 2022-04-26 北京京东乾石科技有限公司 无人机降落方法、无人机降落装置及计算机可读存储介质
EP3671681A4 (en) * 2017-11-30 2020-08-26 SZ DJI Technology Co., Ltd. MAXIMUM TEMPERATURE POINT MONITORING PROCESS, DEVICE AND DRONE
US11496684B2 (en) 2017-12-11 2022-11-08 Gopro, Inc. Combined mechanical and electronic image stabilization
CN108052901B (zh) * 2017-12-13 2021-05-25 中国科学院沈阳自动化研究所 一种基于双目的手势识别智能无人机远程操控方法
WO2019126930A1 (zh) * 2017-12-25 2019-07-04 深圳市道通智能航空技术有限公司 测距方法、装置以及无人机
US10827123B1 (en) 2018-01-05 2020-11-03 Gopro, Inc. Modular image capture systems
EP3737595B1 (en) 2018-01-09 2023-12-27 TuSimple, Inc. Real-time remote control of vehicles with high redundancy
CN111989716B (zh) 2018-01-11 2022-11-15 图森有限公司 用于自主车辆操作的监视系统
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
CN110197097B (zh) * 2018-02-24 2024-04-19 北京图森智途科技有限公司 一种港区监控方法及系统、中控系统
US10685244B2 (en) * 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
US11822346B1 (en) 2018-03-06 2023-11-21 Snap Inc. Systems and methods for estimating user intent to launch autonomous aerial vehicle
US20210011495A1 (en) * 2018-03-13 2021-01-14 Nec Corporation Moving body guidance apparatus, moving body guidance method, and computer-readable recording medium
CN110309933A (zh) * 2018-03-23 2019-10-08 广州极飞科技有限公司 植株种植数据测量方法、作业路线规划方法及装置、系统
US11380054B2 (en) 2018-03-30 2022-07-05 Cae Inc. Dynamically affecting tailored visual rendering of a visual element
US10964106B2 (en) 2018-03-30 2021-03-30 Cae Inc. Dynamically modifying visual rendering of a visual element comprising pre-defined characteristics
CN108537837B (zh) * 2018-04-04 2023-05-05 腾讯科技（深圳）有限公司 一种深度信息确定的方法及相关装置
WO2019191940A1 (en) * 2018-04-04 2019-10-10 SZ DJI Technology Co., Ltd. Methods and system for composing and capturing images
CN108646787B (zh) * 2018-04-12 2021-03-02 广州杰赛科技股份有限公司 目标追踪方法、装置以及无人机
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
WO2019203920A1 (en) * 2018-04-17 2019-10-24 Hrl Laboratories, Llc Hardware and system of bounding box generation for image processing pipeline
WO2019205062A1 (zh) * 2018-04-26 2019-10-31 深圳市大疆创新科技有限公司 可移动平台的导航传感器检测的方法及相关设备
CN108596116B (zh) * 2018-04-27 2021-11-05 深圳市商汤科技有限公司 测距方法、智能控制方法及装置、电子设备和存储介质
CN116129376A (zh) 2018-05-02 2023-05-16 北京图森未来科技有限公司 一种道路边缘检测方法和装置
US20190346842A1 (en) * 2018-05-11 2019-11-14 Honeywell International Inc. Transferring annotations to images captured by remote vehicles between displays
WO2019220877A1 (ja) * 2018-05-14 2019-11-21 富士フイルム株式会社 移動型機器及び撮影システム
US10839492B2 (en) * 2018-05-23 2020-11-17 International Business Machines Corporation Selectively redacting unrelated objects from images of a group captured within a coverage area
CN110291775B (zh) * 2018-05-29 2021-07-06 深圳市大疆创新科技有限公司 一种跟踪拍摄方法、设备及存储介质
CN108564787A (zh) * 2018-05-31 2018-09-21 北京理工大学 基于浮动车法的交通观测方法、系统及设备
CN108803655A (zh) * 2018-06-08 2018-11-13 哈尔滨工程大学 一种无人机飞行控制平台及目标跟踪方法
JP2021144260A (ja) * 2018-06-15 2021-09-24 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
US11801937B2 (en) * 2018-07-26 2023-10-31 California Institute Of Technology Systems and methods for avian flock flight path modification using UAVs
CN109285179B (zh) * 2018-07-26 2021-05-14 昆明理工大学 一种基于多特征融合的运动目标跟踪方法
CN108958297A (zh) * 2018-08-03 2018-12-07 南京航空航天大学 一种多无人机协同目标跟踪地面站
CN109292099B (zh) * 2018-08-10 2020-09-25 顺丰科技有限公司 一种无人机着陆判断方法、装置、设备及存储介质
CN109164825A (zh) * 2018-08-13 2019-01-08 上海机电工程研究所 一种用于多旋翼无人机的自主导航避障方法及装置
EP3837492A1 (en) * 2018-08-21 2021-06-23 SZ DJI Technology Co., Ltd. Distance measuring method and device
US10943461B2 (en) 2018-08-24 2021-03-09 Digital Global Systems, Inc. Systems, methods, and devices for automatic signal detection based on power distribution by frequency over time
CN109376587A (zh) * 2018-09-05 2019-02-22 福州日兆信息科技有限公司 基于物联网的检测查勘通信铁塔智能巡检系统和方法
US11282225B2 (en) 2018-09-10 2022-03-22 Mapbox, Inc. Calibration for vision in navigation systems
CN112689586B (zh) 2018-09-13 2024-04-16 图森有限公司 远程安全驾驶方法和系统
CN109358497B (zh) * 2018-09-14 2020-04-21 北京航空航天大学 一种基于b样条函数的卫星路径规划和预测控制的跟踪方法
US20200090501A1 (en) * 2018-09-19 2020-03-19 International Business Machines Corporation Accident avoidance system for pedestrians
US11036216B2 (en) * 2018-09-26 2021-06-15 International Business Machines Corporation Voice-controllable unmanned aerial vehicle for object retrieval and delivery
CN109240346A (zh) * 2018-09-27 2019-01-18 易瓦特科技股份公司 用于跟踪目标对象的方法及装置
CN109240320A (zh) * 2018-09-27 2019-01-18 易瓦特科技股份公司 无人机控制方法及装置
CN110892353A (zh) * 2018-09-30 2020-03-17 深圳市大疆创新科技有限公司 控制方法、控制装置、无人飞行器的控制终端
CN109447326B (zh) * 2018-09-30 2021-11-30 深圳眸瞳科技有限公司 无人机迁移轨迹生成方法、装置、电子设备和存储介质
CN109101041A (zh) * 2018-10-22 2018-12-28 深圳市智璟科技有限公司 一种无人飞机的动态跟随及动态返航方法
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
US10926416B2 (en) * 2018-11-21 2021-02-23 Ford Global Technologies, Llc Robotic manipulation using an independently actuated vision system, an adversarial control scheme, and a multi-tasking deep learning architecture
CN109656319B (zh) * 2018-11-22 2021-06-15 亮风台（上海）信息科技有限公司 一种用于呈现地面行动辅助信息方法与设备
CN109561282B (zh) * 2018-11-22 2021-08-06 亮风台（上海）信息科技有限公司 一种用于呈现地面行动辅助信息的方法与设备
WO2020104584A1 (en) * 2018-11-22 2020-05-28 Lorenz Technology Aps A method for inducing an autonomous behavior into an unmanned vehicle, and a communication unit for use in such a method
CN109618131B (zh) * 2018-11-22 2021-08-24 亮风台（上海）信息科技有限公司 一种用于呈现决策辅助信息的方法与设备
CN109633661A (zh) * 2018-11-28 2019-04-16 杭州凌像科技有限公司 一种基于rgb-d传感器与超声波传感器融合的玻璃检测系统和方法
WO2020107475A1 (zh) * 2018-11-30 2020-06-04 深圳市大疆创新科技有限公司 喷洒无人机的避障控制方法、装置、设备及存储介质
US10902634B2 (en) * 2018-12-04 2021-01-26 Here Global B.V. Method and apparatus for providing feature triangulation
EP3667696A1 (en) * 2018-12-14 2020-06-17 ASML Netherlands B.V. Stage apparatus suitable for electron beam inspection apparatus
CN111319629B (zh) 2018-12-14 2021-07-16 北京图森智途科技有限公司 一种自动驾驶车队的组队方法、装置及系统
TR201819906A2 (zh) * 2018-12-20 2019-03-21 Havelsan Hava Elektronik Sanayi Ve Ticaret Anonim Sirketi
KR102166326B1 (ko) * 2018-12-21 2020-10-15 충북대학교 산학협력단 드론의 3차원 경로 설정 시스템
CN109754420B (zh) 2018-12-24 2021-11-12 深圳市道通智能航空技术股份有限公司 一种目标距离估计方法、装置及无人机
JP7219609B2 (ja) * 2018-12-27 2023-02-08 株式会社Subaru 最適経路生成システム
CN109828488A (zh) * 2018-12-27 2019-05-31 北京航天福道高技术股份有限公司 采集传输一体化双光探测跟踪系统
CN111376239B (zh) * 2018-12-29 2023-06-27 希姆通信息技术（上海）有限公司 机器人的抓取方法及系统
US11001991B2 (en) * 2019-01-11 2021-05-11 Caterpillar Inc. Optimizing loading of a payload carrier of a machine
CN111435259A (zh) * 2019-01-14 2020-07-21 北京京东尚科信息技术有限公司 一种智能跟随车移动控制装置和智能跟随车
US10950104B2 (en) * 2019-01-16 2021-03-16 PANASONIC l-PRO SENSING SOLUTIONS CO., LTD. Monitoring camera and detection method
CN111476827B (zh) * 2019-01-24 2024-02-02 曜科智能科技（上海）有限公司 目标跟踪方法、系统、电子装置及存储介质
CN109934870B (zh) * 2019-01-30 2021-11-30 西安天伟电子系统工程有限公司 目标检测方法、装置、设备、计算机设备和存储介质
WO2020170534A1 (ja) * 2019-02-18 2020-08-27 ソニー株式会社 飛行体、情報処理方法及びプログラム
CN109947123B (zh) * 2019-02-27 2021-06-22 南京航空航天大学 一种基于视线导引律的无人机路径跟踪与自主避障方法
CN113613852B (zh) * 2019-03-20 2024-05-10 柯惠Lp公司 机器人手术碰撞检测系统
US11314254B2 (en) * 2019-03-26 2022-04-26 Intel Corporation Methods and apparatus for dynamically routing robots based on exploratory on-board mapping
US11455742B2 (en) * 2019-04-19 2022-09-27 Thermoteknix Systems Ltd. Imaging systems including real-time target-acquisition and triangulation features and human-machine interfaces therefor
CN110876275A (zh) * 2019-04-30 2020-03-10 深圳市大疆创新科技有限公司 一种瞄准控制方法、移动机器人及计算机可读存储介质
CN110162102A (zh) * 2019-05-17 2019-08-23 广东技术师范大学 基于云平台和机器视觉的无人机自动识别跟踪方法及系统
WO2020237609A1 (zh) * 2019-05-31 2020-12-03 深圳市大疆创新科技有限公司 可移动平台的控制方法、控制终端及可移动平台
US11565807B1 (en) 2019-06-05 2023-01-31 Gal Zuckerman Systems and methods facilitating street-level interactions between flying drones and on-road vehicles
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
CN110147122A (zh) * 2019-06-14 2019-08-20 深圳市道通智能航空技术有限公司 一种移动目标的追踪方法、装置及无人机
CN111742277B (zh) * 2019-06-26 2024-02-20 深圳市大疆创新科技有限公司 无人机的控制方法、设备、无人机及存储介质
CN112119427A (zh) 2019-06-28 2020-12-22 深圳市大疆创新科技有限公司 目标跟随的方法、系统、可读存储介质和可移动平台
US20210405646A1 (en) * 2019-07-03 2021-12-30 Lg Electronics Inc. Marker, method of moving in marker following mode, and cart-robot implementing method
EP3998578A4 (en) * 2019-07-16 2022-07-20 SZ DJI Technology Co., Ltd. METHOD, DEVICE, AND SYSTEM FOR PHOTOGRAPHY, AND COMPUTER READABLE INFORMATION MEDIA
CN111328387B (zh) * 2019-07-19 2024-02-20 深圳市大疆创新科技有限公司 云台控制方法、设备和计算机可读存储介质
CN110262568B (zh) * 2019-07-19 2021-10-22 深圳市道通智能航空技术股份有限公司 一种基于目标跟踪的无人机避障方法、装置及无人机
CN110618700A (zh) * 2019-08-23 2019-12-27 西南交通大学 用于社区配送的三维地理信息系统及无人机航迹路径规划应用方法
CN111752295B (zh) * 2019-08-27 2021-09-10 广州极飞科技股份有限公司 无人机飞行轨迹规划方法及相关装置
DE102019214139B4 (de) * 2019-09-17 2021-07-29 Atlas Elektronik Gmbh Optische Minendetektion in geringer Wassertiefe
CN110758381B (zh) * 2019-09-18 2021-05-04 北京汽车集团有限公司 生成转向轨迹的方法、装置、存储介质及电子设备
US11958183B2 (en) 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
CN110928432B (zh) * 2019-10-24 2023-06-23 中国人民解放军军事科学院国防科技创新研究院 指环鼠标、鼠标控制装置及鼠标控制系统
DE102019129182A1 (de) * 2019-10-29 2021-04-29 Krones Aktiengesellschaft Verfahren zur Überwachung eines Behälterstroms in einer Abfüllanlage, Überwachungssystem und Platzhalter für einen Behälter oder eine Umverpackung
CN110865650B (zh) * 2019-11-19 2022-12-20 武汉工程大学 基于主动视觉的无人机位姿自适应估计方法
JP7192748B2 (ja) * 2019-11-25 2022-12-20 トヨタ自動車株式会社 搬送システム、学習済みモデル生成方法、学習済みモデル、制御方法およびプログラム
CN113031511B (zh) * 2019-12-24 2022-03-22 沈阳智能机器人创新中心有限公司 一种基于高阶b样条的多轴系统实时引导轨迹规划方法
CN111161323B (zh) * 2019-12-31 2023-11-28 北京理工大学重庆创新中心 一种基于相关滤波的复杂场景目标跟踪方法及系统
US20210206491A1 (en) * 2020-01-03 2021-07-08 Tencent America LLC Unmanned aerial system communication
US10846880B1 (en) * 2020-01-03 2020-11-24 Altec Industries, Inc. Camera embedded joystick
CN111260689B (zh) * 2020-01-16 2022-10-11 东华大学 一种基于置信度增强的相关滤波视觉跟踪方法
CN111212456B (zh) * 2020-01-16 2022-07-08 中国电建集团成都勘测设计研究院有限公司 基于地理位置面向低功耗远距离物联网的多径路由方法
US20210247196A1 (en) * 2020-02-10 2021-08-12 Uber Technologies, Inc. Object Detection for Light Electric Vehicles
CN115362473A (zh) 2020-02-18 2022-11-18 康耐视公司 用于对长于视场的运动物体进行三维扫描的系统和方法
CN112650235A (zh) * 2020-03-11 2021-04-13 南京奥拓电子科技有限公司 一种机器人避障控制方法、系统及机器人
CN111240342A (zh) * 2020-03-12 2020-06-05 南京奥拓电子科技有限公司 一种机器人避障控制方法与装置、机器人及机器人系统
CN112639874A (zh) * 2020-03-20 2021-04-09 深圳市大疆创新科技有限公司 目标跟随方法、目标跟随装置、可移动设备和存储介质
CN113515111B (zh) * 2020-03-25 2023-08-25 宇通客车股份有限公司 一种车辆避障路径规划方法及装置
CN111474953B (zh) * 2020-03-30 2021-09-17 清华大学 多动态视角协同的空中目标识别方法及系统
CN111455900B (zh) * 2020-04-01 2021-11-12 无锡格物智能科技有限公司 路障布设方法、终端、计算机设备和存储介质
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
CN111600644A (zh) * 2020-04-09 2020-08-28 西安理工大学 一种紫外光协助无人机编队最优刚性拓扑生成方法
CN113552868A (zh) * 2020-04-22 2021-10-26 西门子股份公司 消防机器人的导航方法及其导航装置
CN112753001A (zh) * 2020-04-24 2021-05-04 深圳市大疆创新科技有限公司 飞行指引方法、装置、系统、控制终端及可读存储介质
US11415990B2 (en) 2020-05-04 2022-08-16 Honeywell International Inc. Optical object tracking on focal plane with dynamic focal length
WO2021223171A1 (zh) * 2020-05-07 2021-11-11 深圳市大疆创新科技有限公司 目标跟踪方法和装置、可移动平台以及成像平台
CN113688463B (zh) * 2020-05-18 2024-01-23 中国航发商用航空发动机有限责任公司 导线碰撞角度范围筛选方法和装置、计算机可读存储介质
CN111665490B (zh) * 2020-06-02 2023-07-14 浙江大华技术股份有限公司 目标跟踪方法和装置、存储介质及电子装置
CN111596692B (zh) * 2020-06-09 2021-06-01 北京航空航天大学 一种平流层飞艇的环绕跟踪移动目标控制方法及系统
EP3926432A1 (en) * 2020-06-16 2021-12-22 Hexagon Geosystems Services AG Touch control of unmanned aerial vehicles
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
CN111862154B (zh) * 2020-07-13 2024-03-01 中移（杭州）信息技术有限公司 机器人视觉跟踪方法、装置、机器人及存储介质
JP2023117420A (ja) * 2020-07-16 2023-08-24 ソニーグループ株式会社 情報処理方法、プログラム、及びシステム
CN112050813B (zh) * 2020-08-08 2022-08-02 浙江科聪控制技术有限公司 一种用于防暴一区移动机器人的激光导航系统
DE102020210618B4 (de) * 2020-08-20 2022-03-17 Top Seven Gmbh & Co. Kg Verfahren und system zur objekterfassung
RU200639U1 (ru) * 2020-09-02 2020-11-03 Илья Игоревич Бычков Автоматизированное устройство управления беспилотным летательным аппаратом при полете над движущимся наземным объектом
CN114245000A (zh) * 2020-09-09 2022-03-25 北京小米移动软件有限公司 拍摄方法和装置、电子设备、存储介质
CN114735388B (zh) * 2020-09-24 2023-09-05 深圳市海柔创新科技有限公司 任务处理方法、控制终端、机器人、仓储系统及存储介质
CN112162570B (zh) * 2020-10-10 2022-12-06 中国人民解放军海军航空大学 一种四旋翼直升飞机小范围动态跟踪的方法
WO2022104489A1 (es) * 2020-11-20 2022-05-27 Drovid Technologies Método para transmitir y rastrear parámetros detectados por drones mediante (paas) con (ia).
CN114556879A (zh) * 2020-12-16 2022-05-27 深圳市大疆创新科技有限公司 延时检测方法、装置、系统、可移动平台和存储介质
CN114556425A (zh) * 2020-12-17 2022-05-27 深圳市大疆创新科技有限公司 定位的方法、设备、无人机和存储介质
FR3118222B1 (fr) * 2020-12-22 2023-05-05 Naval Group Systeme de planification d'une trajectoire optimisee d'un vehicule maritime
GB2598010B (en) * 2021-01-18 2022-08-17 Hybrid Drones Ltd Vision system and method for unmanned aerial vehicles
EP4305594A2 (en) * 2021-03-08 2024-01-17 Ridecell, Inc. A framework for 3d object detection and depth prediction from 2d images
CN112896551B (zh) * 2021-05-08 2021-09-07 成都飞机工业（集团）有限责任公司 一种飞机航电设备安装的校准辅助方法
CN113418522B (zh) * 2021-08-25 2021-12-14 季华实验室 Agv路径规划方法、跟随方法、装置、设备及存储介质
TWI769924B (zh) * 2021-09-15 2022-07-01 東元電機股份有限公司 人體跟隨系統
US11922606B2 (en) 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss
CN113848869B (zh) * 2021-10-20 2023-03-07 北京三快在线科技有限公司 一种无人设备控制方法、装置、存储介质及电子设备
CN113961016B (zh) * 2021-10-25 2023-11-10 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于a*算法的无人机动态目标航迹规划方法及系统
WO2023081279A1 (en) * 2021-11-03 2023-05-11 Amit Bahl Methods and systems for detecting intravascular device failure
CN114167900B (zh) * 2021-11-19 2023-06-30 北京环境特性研究所 一种基于无人机和差分gps的光电跟踪系统标校方法及装置
CN114119651B (zh) * 2021-11-30 2022-10-25 重庆紫光华山智安科技有限公司 目标跟踪方法、系统、设备及存储介质
US11417106B1 (en) 2022-02-04 2022-08-16 King Abdulaziz University Crowd evacuation system based on real time perception, simulation, and warning
CN114625170B (zh) * 2022-03-24 2023-05-12 中国民用航空飞行学院 一种山区火灾直升机救援飞行路径动态规划方法
CN114584928B (zh) * 2022-05-05 2022-08-05 深圳源中瑞科技有限公司 基于电子围栏的路径推测方法、装置、计算机设备和介质
US20230367463A1 (en) * 2022-05-11 2023-11-16 Supercell Oy Randomized movement control
TWI817594B (zh) * 2022-07-04 2023-10-01 鴻海精密工業股份有限公司 圖像深度識別方法、電腦設備及儲存介質
US11972521B2 (en) 2022-08-31 2024-04-30 Snap Inc. Multisensorial presentation of volumetric content
CN115451919B (zh) * 2022-09-28 2023-06-30 安徽理工大学 一种智能型无人测绘装置及方法
WO2024089890A1 (ja) * 2022-10-28 2024-05-02 三菱電機株式会社 遠隔操作システムおよび遠隔操作方法
CN117021117B (zh) * 2023-10-08 2023-12-15 电子科技大学 一种基于混合现实的移动机器人人机交互与定位方法
CN117649426B (zh) * 2024-01-29 2024-04-09 中国科学院长春光学精密机械与物理研究所 抗无人机起落架遮挡的运动目标跟踪方法
CN117893933B (zh) * 2024-03-14 2024-05-24 国网上海市电力公司 一种用于输变电设备的无人巡检故障检测方法和系统

Family Cites Families (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5155683A (en) 1991-04-11 1992-10-13 Wadiatur Rahim Vehicle remote guidance with path control
JP3600383B2 (ja) * 1996-09-30 2004-12-15 三菱重工業株式会社 移動体追跡装置
JPH10141891A (ja) * 1996-11-07 1998-05-29 Mitsubishi Heavy Ind Ltd 飛しょう経路の設定方法
SE515655C2 (sv) 1999-12-22 2001-09-17 Saab Ab "System och metod för kollisionsundvikning mellan farkoster
JP2001306144A (ja) * 2000-04-21 2001-11-02 Yamaha Motor Co Ltd 無人ヘリコプタの飛行制御システム
US7173650B2 (en) 2001-03-28 2007-02-06 Koninklijke Philips Electronics N.V. Method for assisting an automated video tracking system in reaquiring a target
JP2003177120A (ja) 2001-08-30 2003-06-27 Toppan Printing Co Ltd アウトイオンの分析方法、パーティクルまたは溶出物の測定方法、ならびにクリーンフィルムとその積層体
JP4301861B2 (ja) * 2002-05-20 2009-07-22 川崎重工業株式会社 移動体の操縦方法及び装置
JP3861781B2 (ja) * 2002-09-17 2006-12-20 日産自動車株式会社 前方車両追跡システムおよび前方車両追跡方法
JP4213518B2 (ja) * 2003-05-27 2009-01-21 川崎重工業株式会社 移動体の制御方法及び制御装置
US7343232B2 (en) 2003-06-20 2008-03-11 Geneva Aerospace Vehicle control system including related methods and components
JP3994950B2 (ja) * 2003-09-19 2007-10-24 ソニー株式会社 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
US8448858B1 (en) * 2004-06-21 2013-05-28 Stoplift, Inc. Method and apparatus for detecting suspicious activity using video analysis from alternative camera viewpoint
US7884849B2 (en) * 2005-09-26 2011-02-08 Objectvideo, Inc. Video surveillance system with omni-directional camera
WO2007047953A2 (en) * 2005-10-20 2007-04-26 Prioria, Inc. System and method for onboard vision processing
US7602480B2 (en) 2005-10-26 2009-10-13 Alcatel-Lucent Usa Inc. Method and system for tracking a moving station or target in free space communications
US7835542B2 (en) 2005-12-29 2010-11-16 Industrial Technology Research Institute Object tracking systems and methods utilizing compressed-domain motion-based segmentation
US8902233B1 (en) 2006-06-09 2014-12-02 Pixar Driving systems extension
JP4709101B2 (ja) * 2006-09-01 2011-06-22 キヤノン株式会社 自動追尾カメラ装置
US7411167B2 (en) * 2006-09-05 2008-08-12 Honeywell International Inc. Tracking a moving object from a camera on a moving platform
IL183006A0 (en) * 2007-05-06 2007-12-03 Wave Group Ltd A bilateral robotic omni-directional situational awarness system having a smart throw able transportaion case
ATE523864T1 (de) * 2007-09-20 2011-09-15 Delphi Tech Inc Verfahren zur objektverfolgung
US8244469B2 (en) 2008-03-16 2012-08-14 Irobot Corporation Collaborative engagement for target identification and tracking
CN101252687B (zh) * 2008-03-20 2010-06-02 上海交通大学 实现多通道联合的感兴趣区域视频编码及传输的方法
JP4497236B2 (ja) 2008-08-11 2010-07-07 オムロン株式会社 検出用情報登録装置、電子機器、検出用情報登録装置の制御方法、電子機器の制御方法、検出用情報登録装置制御プログラム、電子機器の制御プログラム
US8855819B2 (en) * 2008-10-09 2014-10-07 Samsung Electronics Co., Ltd. Method and apparatus for simultaneous localization and mapping of robot
EP2182419B1 (en) 2008-11-04 2012-02-15 Saab Ab Avoidance manoeuvre generator for an aircraft
CN101489147B (zh) * 2009-01-16 2010-12-01 西安电子科技大学 基于感兴趣区域的幅型比变换方法
US20100228406A1 (en) * 2009-03-03 2010-09-09 Honeywell International Inc. UAV Flight Control Method And System
CN101614816B (zh) * 2009-07-24 2011-08-31 东北大学 一种室内移动机器人位姿检测装置及控制方法
JP5382122B2 (ja) * 2009-07-31 2014-01-08 富士通株式会社 移動体位置検出装置および移動体位置検出方法
US8515596B2 (en) 2009-08-18 2013-08-20 Honeywell International Inc. Incremental position-based guidance for a UAV
US20110279682A1 (en) * 2009-11-12 2011-11-17 Le Li Methods for Target Tracking, Classification and Identification by Using Foveal Sensors
CN101769754B (zh) * 2010-01-19 2012-04-25 湖南大学 一种基于类三维地图的移动机器人全局路径规划方法
KR20110119118A (ko) * 2010-04-26 2011-11-02 엘지전자 주식회사 로봇 청소기, 및 이를 이용한 원격 감시 시스템
CN101860732B (zh) * 2010-06-04 2014-08-27 天津市亚安科技股份有限公司 一种控制云台摄像机自动跟踪目标的方法
US9681065B2 (en) * 2010-06-15 2017-06-13 Flir Systems, Inc. Gimbal positioning with target velocity compensation
TWI420906B (zh) * 2010-10-13 2013-12-21 Ind Tech Res Inst 興趣區域之追蹤系統與方法及電腦程式產品
IL208910A0 (en) 2010-10-24 2011-02-28 Rafael Advanced Defense Sys Tracking and identification of a moving object from a moving sensor using a 3d model
CN102087530B (zh) * 2010-12-07 2012-06-13 东南大学 基于手绘地图和路径的移动机器人视觉导航方法
US8494766B2 (en) * 2011-01-07 2013-07-23 Ge Aviation Systems, Llc Flight management system with integrated tactical commands for use with an aircraft and method of operating same
TW201235808A (en) * 2011-02-23 2012-09-01 Hon Hai Prec Ind Co Ltd System and method for controlling UAV to flight in predefined area
JP5848507B2 (ja) 2011-03-08 2016-01-27 キヤノン株式会社 追尾機能付き撮影装置及び方法
EP2511659A1 (de) * 2011-04-14 2012-10-17 Hexagon Technology Center GmbH Geodätisches Markierungssystem zur Markierung von Zielpunkten
JP5719230B2 (ja) * 2011-05-10 2015-05-13 キヤノン株式会社 物体認識装置、物体認識装置の制御方法、およびプログラム
US20120316680A1 (en) * 2011-06-13 2012-12-13 Microsoft Corporation Tracking and following of moving objects by a mobile robot
WO2013051046A1 (ja) * 2011-10-03 2013-04-11 古野電気株式会社 タッチパネルを有する装置、レーダ装置、プロッタ装置、舶用ネットワークシステム、情報表示方法及び情報表示プログラム
WO2013066613A1 (en) * 2011-10-19 2013-05-10 Crown Equipment Corporation Identifying and evaluating potential center stringers of a pallet in an image scene
KR101887055B1 (ko) * 2011-11-14 2018-09-11 삼성전자주식회사 로봇 청소기 및 그 제어 방법
US20130226373A1 (en) * 2012-02-27 2013-08-29 Ge Aviation Systems Llc Methods for in-flight adjusting of a flight plan
CN102629385B (zh) * 2012-02-28 2014-09-24 中山大学 一种基于多摄像机信息融合的目标匹配与跟踪系统及方法
NO334183B1 (no) * 2012-03-22 2014-01-13 Prox Dynamics As Metode og anordning for å kontrollere og overvåke det omliggende område til et ubemannet luftfartøy
CA2872698C (en) 2012-05-04 2018-07-24 Aeryon Labs Inc. System and method for controlling unmanned aerial vehicles
CN202758243U (zh) * 2012-09-06 2013-02-27 北京工业大学 一种无人机飞行操控系统
JP2014063411A (ja) * 2012-09-24 2014-04-10 Casio Comput Co Ltd 遠隔制御システム、制御方法、及び、プログラム
CN102902282B (zh) * 2012-09-25 2015-08-12 中国兵器工业第二0五研究所 基于光轴与惯性轴重合的地理跟踪方法
CN102955478B (zh) * 2012-10-24 2016-01-20 深圳一电科技有限公司 无人机飞行控制方法及系统
CN102967305B (zh) * 2012-10-26 2015-07-01 南京信息工程大学 基于大小回字标志物的多旋翼无人机位姿获取方法
CN103914068A (zh) * 2013-01-07 2014-07-09 中国人民解放军第二炮兵工程大学 一种基于栅格地图的服务机器人自主导航方法
GB201301748D0 (en) * 2013-01-31 2013-03-20 Reiter Johannes Aircraft for Vertical Take-off and Landing with a Wing Arrangement comprising an extendible lift increasing system
CN103149939B (zh) * 2013-02-26 2015-10-21 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
US9367067B2 (en) * 2013-03-15 2016-06-14 Ashley A Gilmore Digital tethering for tracking with autonomous aerial robot
JP2014212479A (ja) * 2013-04-19 2014-11-13 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
US9253410B2 (en) 2013-04-25 2016-02-02 Canon Kabushiki Kaisha Object detection apparatus, control method therefor, image capturing apparatus, and storage medium
JP6250952B2 (ja) * 2013-04-26 2017-12-20 古野電気株式会社 情報表示装置及び針路設定方法
CN104217417B (zh) * 2013-05-31 2017-07-07 张伟伟 一种视频多目标跟踪的方法及装置
US9715761B2 (en) 2013-07-08 2017-07-25 Vangogh Imaging, Inc. Real-time 3D computer vision processing engine for object recognition, reconstruction, and analysis
JP6296801B2 (ja) 2013-07-24 2018-03-20 キヤノン株式会社 撮像装置、撮像装置の制御方法、および撮像装置の制御プログラム
US9237318B2 (en) 2013-07-26 2016-01-12 SkyBell Technologies, Inc. Doorbell communication systems and methods
CN103455797B (zh) * 2013-09-07 2017-01-11 西安电子科技大学 航拍视频中运动小目标的检测与跟踪方法
CN103530894B (zh) * 2013-10-25 2016-04-20 合肥工业大学 一种基于多尺度块稀疏表示的视频目标追踪方法及其系统
US10248886B2 (en) * 2013-10-30 2019-04-02 Pgs Geophysical As System and method for underwater distance measurement
CN103576692A (zh) * 2013-11-07 2014-02-12 哈尔滨工程大学 一种多无人机协同飞行方法
CN103611324B (zh) * 2013-11-14 2016-08-17 南京航空航天大学 一种无人直升机飞行控制系统及其控制方法
EP3074832A4 (en) * 2013-11-27 2017-08-30 The Trustees Of The University Of Pennsylvania Multi-sensor fusion for robust autonomous flight in indoor and outdoor environments with a rotorcraft micro-aerial vehicle (mav)
JP6429454B2 (ja) 2013-11-28 2018-11-28 キヤノン株式会社 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
CN103871075B (zh) * 2013-12-30 2015-11-18 华中科技大学 一种大椭圆遥感卫星地球背景相对运动估计方法
CN103822615B (zh) * 2014-02-25 2016-01-20 北京航空航天大学 一种多控制点自动提取与聚合的无人机地面目标实时定位方法
EP3111647B1 (en) 2014-02-26 2019-03-20 Searidge Technologies Inc. Image stitching and automatic-color correction
US10226869B2 (en) 2014-03-03 2019-03-12 University Of Washington Haptic virtual fixture tools
US9165361B1 (en) 2014-03-13 2015-10-20 Raytheon Company Video tracking with jitter, slewing, or zoom
US9414153B2 (en) 2014-05-08 2016-08-09 Panasonic Intellectual Property Management Co., Ltd. Directivity control apparatus, directivity control method, storage medium and directivity control system
CN104035446B (zh) * 2014-05-30 2017-08-25 深圳市大疆创新科技有限公司 无人机的航向生成方法和系统
US9798324B2 (en) * 2014-07-18 2017-10-24 Helico Aerospace Industries Sia Autonomous vehicle operation
WO2016015251A1 (en) * 2014-07-30 2016-02-04 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
US10139819B2 (en) 2014-08-22 2018-11-27 Innovative Signal Analysis, Inc. Video enabled inspection using unmanned aerial vehicles
CN104197928B (zh) * 2014-08-29 2017-01-18 西北工业大学 多摄像机协同的无人机检测、定位及跟踪方法
CN106796721B (zh) * 2014-09-11 2021-05-04 赛博光学公司 三维轮廓测量中根据多个相机和源的点云合并
CN104299244B (zh) * 2014-09-26 2017-07-25 东软集团股份有限公司 基于单目相机的障碍物检测方法及装置
US9355320B2 (en) * 2014-10-30 2016-05-31 Toyota Motor Engineering & Manufacturing North America, Inc. Blur object tracker using group lasso method and apparatus
US10334158B2 (en) 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
JP6222879B2 (ja) 2014-11-14 2017-11-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 移動体の制御方法、装置及び移動デバイス
CN104361770B (zh) * 2014-11-18 2017-01-04 武汉理工大学 用于交通信息采集无人机的精确降落自动控制方法
US9896202B2 (en) * 2014-12-03 2018-02-20 X Development Llc Systems and methods for reliable relative navigation and autonomous following between unmanned aerial vehicle and a target object
WO2016106746A1 (en) 2014-12-31 2016-07-07 SZ DJI Technology Co., Ltd. Vehicle altitude restrictions and control
CN204360218U (zh) 2014-12-31 2015-05-27 深圳市大疆创新科技有限公司 移动物体
CN104537898B (zh) * 2015-01-08 2017-11-28 西北工业大学 一种空地协同的无人机感知规避系统及其规避方法
US9373036B1 (en) 2015-01-16 2016-06-21 Toyota Motor Engineering & Manufacturing North America, Inc. Collaborative distance metric learning for method and apparatus visual tracking
CN104656665B (zh) * 2015-03-06 2017-07-28 云南电网有限责任公司电力科学研究院 一种新型无人机通用避障模块及步骤
CN104786226A (zh) * 2015-03-26 2015-07-22 华南理工大学 抓取在线工件的机器人位姿及运动轨迹定位系统与方法
CN104714556B (zh) * 2015-03-26 2017-08-11 清华大学 无人机智能航向控制方法
CN104820428B (zh) * 2015-04-20 2017-11-07 余江 一种无人机的记忆型航迹再现方法及其装置
CN104796611A (zh) 2015-04-20 2015-07-22 零度智控（北京）智能科技有限公司 移动终端遥控无人机实现智能飞行拍摄的方法及系统
CN106155092A (zh) * 2015-04-21 2016-11-23 高域（北京）智能科技研究院有限公司 一种智能多模式飞行拍摄设备及其飞行控制方法
CN104834307A (zh) * 2015-04-23 2015-08-12 杨珊珊 无人飞行器的控制方法及控制装置
CN104899554A (zh) * 2015-05-07 2015-09-09 东北大学 一种基于单目视觉的车辆测距方法
CN111762136A (zh) 2015-05-12 2020-10-13 深圳市大疆创新科技有限公司 识别或检测障碍物的设备和方法
CN104853104B (zh) * 2015-06-01 2018-08-28 深圳市微队信息技术有限公司 一种自动跟踪拍摄运动目标的方法以及系统
CN104850134B (zh) * 2015-06-12 2019-01-11 北京中飞艾维航空科技有限公司 一种无人机高精度自主避障飞行方法
BR112017027321B1 (pt) 2015-06-19 2022-09-13 Nissan Motor Co., Ltd Dispositivo e método de assistência ao estacionamento
CN105371818A (zh) * 2015-11-30 2016-03-02 湖北易瓦特科技股份有限公司 测距避障仪和无人机测距避障的方法
US10012982B2 (en) 2015-12-11 2018-07-03 Fuji Xerox Co., Ltd. System and method for focus and context views for telepresence and robotic teleoperation
US10514711B2 (en) * 2016-10-09 2019-12-24 Airspace Systems, Inc. Flight control using computer vision
KR20180051996A (ko) * 2016-11-09 2018-05-17 삼성전자주식회사 무인 비행 장치 및 이를 이용한 피사체 촬영 방법
WO2018086032A1 (zh) * 2016-11-10 2018-05-17 深圳市大疆创新科技有限公司 飞行控制方法、装置及飞行器
CN112486202A (zh) * 2016-11-28 2021-03-12 深圳市大疆创新科技有限公司 一种航线编辑方法、装置及控制设备
JP6844235B2 (ja) * 2016-12-08 2021-03-17 富士通株式会社 距離測定装置および距離測定方法
US10409276B2 (en) * 2016-12-21 2019-09-10 Hangzhou Zero Zero Technology Co., Ltd. System and method for controller-free user drone interaction
CN107102647A (zh) * 2017-03-30 2017-08-29 中国人民解放军海军航空工程学院青岛校区 基于图像的无人机目标跟踪控制方法
AU2018368776B2 (en) * 2017-11-17 2021-02-04 Divine Logic, Inc. Systems and methods for tracking items
US10429487B1 (en) * 2018-05-18 2019-10-01 Here Global B.V. Drone localization

Also Published As

Publication number Publication date
WO2017045251A1 (en) 2017-03-23
US10129478B2 (en) 2018-11-13
WO2017045315A1 (zh) 2017-03-23
US20170134631A1 (en) 2017-05-11
CN110276786A (zh) 2019-09-24
EP3353706A4 (en) 2019-05-08
US20190082088A1 (en) 2019-03-14
CN108351649A (zh) 2018-07-31
CN108351649B (zh) 2022-03-18
US20180203467A1 (en) 2018-07-19
CN114815906A (zh) 2022-07-29
CN110276786B (zh) 2021-08-20
US20210116943A1 (en) 2021-04-22
US20210223795A1 (en) 2021-07-22
US20190011921A1 (en) 2019-01-10
EP3374836A1 (en) 2018-09-19
EP3353706A1 (en) 2018-08-01
CN107148639B (zh) 2019-07-16
EP3374836A4 (en) 2018-12-05
JP2018535487A (ja) 2018-11-29
US10928838B2 (en) 2021-02-23
US11635775B2 (en) 2023-04-25
CN107148639A (zh) 2017-09-08
WO2017045116A1 (en) 2017-03-23
US10976753B2 (en) 2021-04-13
CN108139759A (zh) 2018-06-08
JP6735821B2 (ja) 2020-08-05
CN107209854A (zh) 2017-09-26
CN114594792A (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN108139759B (zh) 用于无人飞行器路径规划和控制的系统和方法
US20210116944A1 (en) Systems and methods for uav path planning and control
US20210072745A1 (en) Systems and methods for uav flight control
US11932392B2 (en) Systems and methods for adjusting UAV trajectory
CN108351654B (zh) 用于视觉目标跟踪的系统和方法
CN107850902B (zh) 可移动物体上的相机配置
CN109219785B (zh) 一种多传感器校准方法与系统
CN107209514B (zh) 传感器数据的选择性处理
JP2019537306A (ja) 撮像装置により取得された画像を制御するためのシステム及び方法
CN109564434B (zh) 用于定位可移动物体的系统和方法
CN111164958A (zh) 用于基于姿态信息处理和显示图像数据的系统及方法
JP2021036452A (ja) Ｕａｖ軌道を調整するシステム及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant