CN109923488A - 使用可移动物体生成实时地图的系统和方法 - Google Patents

使用可移动物体生成实时地图的系统和方法 Download PDF

Info

Publication number
CN109923488A
CN109923488A CN201780069669.8A CN201780069669A CN109923488A CN 109923488 A CN109923488 A CN 109923488A CN 201780069669 A CN201780069669 A CN 201780069669A CN 109923488 A CN109923488 A CN 109923488A
Authority
CN
China
Prior art keywords
image
survey area
loose impediment
map
flight path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780069669.8A
Other languages
English (en)
Inventor
赵开勇
马岳文
张明磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN109923488A publication Critical patent/CN109923488A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3852—Data derived from aerial or satellite images
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • G08G5/0034—Assembly of a flight plan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • G08G5/0039—Modification of a flight plan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/006—Navigation or guidance aids for a single aircraft in accordance with predefined flight zones, e.g. to avoid prohibited zones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0086—Surveillance aids for monitoring terrain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

提供了一种用于生成勘测区域的实时地图的方法和系统。该方法和系统可以包括或可以被配置为基于期望地图分辨率来执行确定具有至少一个图像捕获设备的可移动物体在勘测区域上方的飞行路径的步骤。该方法和系统还可以包括：当可移动物体沿着飞行路径行进时，获得由至少一个图像捕获设备捕获的勘测区域的图像，以及处理图像以生成具有期望地图分辨率的勘测区域的实时地图。

Description

使用可移动物体生成实时地图的系统和方法
版权声明
本专利文档的公开的一部分包含受到版权保护的材料。版权所有者不反对任何人对专利文档或专利公开的传真复制(当它出现在专利和商标局的专利文件或记录中时)，但在其他方面保留所有版权。
技术领域
本公开一般涉及生成地图，更具体地，涉及使用可移动物体生成实时地图。
背景技术
无人飞行器(UAV)，有时被称为“无人机”，可以被配置为携带有效载荷，例如货物、光学设备(例如照相机、摄像机等)、传感设备或其他类型的有效载荷。UAV在许多行业中和许多情况下被认为是执行某些任务的有用工具。例如，UAV已被用于进行监视以及在专业场所和休闲场所中收集各种类型的成像数据和传感数据(例如照片、视频、超声、红外等)，提供了灵活性并增强了人的能力。
已知UAV捕获图像(“像”)并将图像数据发送给地面终端处的用户用于检查。虽然该操作对于生成实时成像数据可能是有用的，但是现有技术不允许实时地勘测大区域。例如，现有技术包括观看由UAV上的相机捕获的图像数据的实时馈送，其将用户的视野限制为相机的视野，或者在不允许用户生成勘测区域的实时视图的离线过程中编译捕获的图像数据。对于图像数据或地图数据不可用的感兴趣区域，在没有昂贵的后处理的情况下勘测区域并生成实时地图的能力将提供许多优点。
因此，需要用于使用UAV生成实时地图的改进的系统和方法，特别是生成可以实时生成和查看的勘测区域的地图而无需低效的离线处理的改进的系统和方法。
发明内容
本公开涉及用于生成勘测区域的实时地图的系统和方法。在所公开的实施例中，方法可以包括：基于期望地图分辨率，确定具有至少一个图像捕获设备的可移动物体在勘测区域上方的飞行路径。方法还可以包括：当可移动物体沿着飞行路径行进时，获得由至少一个图像捕获设备捕获的勘测区域的图像，以及处理图像以生成具有期望地图分辨率的勘测区域的实时地图。
进一步公开的实施例，提供了使用具有至少一个图像捕获设备的可移动物体来生成勘测区域的实时地图的系统和方法。系统可以包括在其中存储指令的存储器以及包括被配置为执行指令的一个或多个处理器的控制器。控制器可以被配置为执行指令，以基于期望地图分辨率来确定可移动物体在勘测区域上方的飞行路径，以及当可移动物体沿着飞行路径行进时，获得由至少一个图像捕获设备捕获的勘测区域的图像。控制器还可以被配置为处理图像以生成具有期望地图分辨率的勘测区域的实时地图。
在一些公开的实施例中，本公开还涉及UAV。UAV可以包括推进设备、通信设备、至少一个图像捕获设备、配置成为推进设备和通信设备供电的电力存储设备以及存储指令的存储器。UAV还可以包括控制器，该控制器与通信设备通信并且被配置为控制UAV以生成实时地图。控制器可以包括一个或多个处理器，一个或多个处理器被配置为执行指令以识别勘测区域，基于期望地图分辨率确定UAV在勘测区域上方的飞行路径，以及当UAV沿着飞行路径行进时，获得由至少一个图像捕获设备捕获的勘测区域的图像。一个或多个处理器还可以被配置为执行指令，以处理图像以生成具有期望地图分辨率的勘测区域的实时地图。
此外，在一些公开的实施例中，本公开涉及存储指令的非暂时性计算机可读介质，当指令由至少一个处理器执行时，执行生成勘测区域的实时地图的方法。方法可以包括：基于期望地图分辨率来确定具有至少一个图像捕获设备的可移动物体在勘测区域上方的飞行路径，以及当可移动物体沿着飞行路径行进时，获得由至少一个图像捕获设备捕获的勘测区域的图像。方法还可以包括处理图像以生成具有期望地图分辨率的勘测区域的实时地图。
附图说明
图1是具有与本公开的实施例一致的控制系统的示例性可移动物体的示意性框图；
图2A是与本公开的实施例一致的可移动物体的示例性控制系统的示意性框图；
图2B是与本公开的实施例一致的示例性用户终端的示意性框图；
图3是可以包括在与本公开的实施例一致的示例性终端中的示例性控件和显示器的示意图；
图4是根据所公开的实施例的用于生成勘测区域的实时地图的示例性系统的示意图；
图5是示出根据所公开的实施例的用于生成勘测区域的实时地图的示例性方法的流程图；
图6是示出根据所公开的实施例的可以执行用于在生成勘测区域的实时地图时检测障碍物的示例性方法的流程图；
图7是示出根据所公开的实施例的可以执行用于处理图像以生成勘测区域的实时地图的示例性方法的流程图；
图8是示出根据所公开的实施例的当确定在勘测区域上方的飞行路径以生成实时地图时的示例性输出的示意性框图；以及
图9是示出根据所公开的实施例的用于在生成实时地图时确定勘测区域上方的飞行路径中的障碍物的示例性输入的示意性框图。
具体实施方式
下面的详细描述参考附图。在可能的情况下，在附图和下面的描述中使用相同的附图标记指代相同或类似的组件。虽然在本文中描述了若干说明性的实施例，但可以有修改、调整以及其他实现方式。例如，可以对附图中所示出的部件做出替换、添加或修改，并且可以通过向所公开的方法替换、重新排序、删除或添加步骤来修改本文所描述的说明性方法。此外，下面的详细描述不限于所公开的实施例和示例。反之，适当的范围由所附权利要求限定。
图1示出了可以被配置为在一个环境内移动或行进的示例性可移动物体10。可移动物体10可以是被配置为在合适的介质上或介质内(例如表面、空气、水、轨道、空间、地下等)行进的任何合适的物体、设备、机构、系统或机器。例如，可移动物体10可以是UAV。尽管出于该描述的示例性目的，可移动物体10在本文中被示出并描述为UAV，但应理解，其他类型的可移动物体(例如轮式物体、航海物体、机车物体、其他空中物体等)也可以或备选地被用于与本公开一致的公开的实施例中。
尽管UAV可以是“无人驾驶的”，即在没有机载人员的情况下操作，但是它们也可以由机外人员完全或部分地操作，机外人员可以负责控制飞行和/或其他关联任务的多个方面(例如控制货物、操作成像设备等)。因此，在许多情况下，UAV操作员负责维持UAV的稳定、受控飞行，并负责避免对UAV或其货物的可能的损坏(例如，可能由与其他物体的碰撞、硬着陆等引起)。在其他情况下，UAV可以由自动飞行控制系统完全或部分地控制，该自动飞行控制系统还可以负责确保UAV有效地操作并且不会对UAV或其货物造成损坏。如本文中所使用的，术语“UAV”可以指代被配置为自动地(例如经由电子控制系统)和/或由机外人员手动地操作和/或控制的空中设备。
参考图1，其中可移动物体10可以包括壳体11、一个或多个推进组件12和有效载荷14等。例如，可移动物体还可以包括控制器22，其可以是如图2A的示例性控制系统23中所示的较大控制系统的一部分。在一些实施例中，有效载荷14可以通过载体16连接或附接到可移动物体10，载体16可以允许有效载荷14和可移动物体10之间的一度或多度的相对移动。在其他实施例中，有效载荷14可以直接安装到可移动物体10，而没有载体16。可移动物体10还可以包括与其他部件通信的一个或多个传感器19、通信设备20和控制器22。
可移动物体10可以包括一个或多个(例如1个、2个、3个、4个、5个、10个、15个、20个等)推进设备，例如位于不同位置处(例如可移动物体10的顶部、侧面、前部、后部和/或底部)的一个或多个推进组件12，用于推进和操控可移动物体10。推进组件12可以是可操作以生成用于维持受控飞行的力的设备或系统。推进组件12可以共享或可以各自单独地包括或可操作地连接到电源15，例如马达M(例如电动马达、液压马达、气动马达等)或发动机(例如内燃机、涡轮发动机等)。电力存储设备17(图2A)可以向电源15提供能量，并且可以包括电池组、燃料源等，或其组合。每个推进组件12还可以包括一个或多个旋转部件24，旋转部件24可驱动地连接到动力源15并被配置为参与生成用于维持受控飞行的力。例如，旋转部件24可以包括转子、螺旋桨、叶片、喷嘴等，其可以被驱动，或通过轴、轮轴、车轮、液压系统、气动系统或被配置为传送来自电源的电力的其他部件或系统。推进组件12和/或旋转部件24可以是相对于彼此和/或相对于可移动物体10可调整的(例如可倾斜的)。备选地，推进组件12和旋转部件24可以相对于彼此和/或可移动物体10具有固定的取向。在一些实施例中，每个推进组件12可以是相同的类型。在其他实施例中，推进组件12可以是不同的类型。在一些实施例中，可以一致地(例如，都以相同的速度和/或角度)控制所有推进组件12。在其他实施例中，可以相对于例如速度和/或角度独立地控制一个或多个推进设备。
推进组件12可以被配置为沿一个或多个垂直和水平方向推进可移动物体10，并允许可移动物体10围绕一个或多个轴旋转。也就是说，推进组件12可以被配置为提供升力和/或推力，用于产生和维持可移动物体10的平移移动和旋转移动。例如，推进组件12可以被配置为使得可移动物体10能够实现并维持期望的海拔高度，提供用于沿所有方向移动以及提供用于操控可移动物体10的推力。在一些实施例中，推进组件12可以使得可移动物体10能够执行垂直起飞和着陆(即在没有水平推力的情况下起飞和着陆)。在其他实施例中，可移动物体10可能需要恒定的最小水平推力以实现飞行并维持飞行。推进组件12可以被配置为使得可移动物体10能够沿着多个轴和/或围绕多个轴以及沿着飞行路径移动，如以下结合图5所述。
有效载荷14可以包括一个或多个传感器18。传感器18可以包括用于收集或生成数据或信息的设备，所述数据或信息例如是勘测、跟踪和捕获目标(例如，照片或视频拍摄的物体、风景、主题)的图像或视频。传感器18可以包括一个或多个图像捕获设备13，图像捕获设备13被配置为收集可以用于生成图像的数据。例如，成像捕获设备13可以包括照相机、摄像机、红外成像设备、紫外成像设备、x射线设备、超声成像设备、雷达设备等。传感器18还可以包括或备选地包括用于测距或用于捕获视觉、音频和/或电磁信号的传感器设备19。
传感器设备19还可以包括或备选地包括用于测量、计算或以其他方式确定可移动物体10的位置或定位的设备。例如，传感器设备19可以是用于确定可移动物体10的高度(即地面上方的距离)和/或可移动物体10的海拔高度(即相对于海平面)的设备。传感器设备19可以包括光学传感器(例如相机、双目相机等)、超声传感器、气压计、雷达系统(例如毫米波雷达)、激光系统(例如激光雷达等)等。在一些实施例中，可移动物体10可以配备有多个传感器设备19，每个传感设备19可操作为生成不同的测量信号。传感器设备19还可以或备选地为(用于确定可移动物体10的移动、取向和/或定位的设备)或包括用于确定可移动物体10的移动、取向和/或定位的设备，例如用于定位系统的定位设备46(例如GPS、GLONASS、伽利略(Galileo)、北斗、GAGAN等)、运动传感器、惯性传感器(例如IMU传感器)、接近传感器、图像传感器等。传感器设备19还可以包括或被配置为提供与周围环境有关的数据或信息的设备，与周围环境有关的数据或信息例如天气信息(例如温度、压力、湿度等)、照明条件、空气成分或附近的障碍物(例如物体、结构、人、其他载运工具等)。
载体16可以包括被配置为保持有效载荷14和/或允许相对于可移动物体10调整(例如旋转)有效载荷14的一个或多个设备。例如，载体16可以是云台。如下所述，载体16可以被配置为允许有效载荷14围绕一个或多个轴旋转。在一些实施例中，载体16可以被配置为允许围绕每个轴360°旋转，以允许更大程度地控制有效载荷14的视角。在其他实施例中，载体16可以将有效载荷14的旋转范围限制为围绕其轴中的一个或多个轴小于360°(例如，≤270°、≤210°、≤180°、≤120°、≤90°、≤45°、≤30°、≤15°等)。
图2A示出了与所公开的实施例一致的可移动物体10的示例性控制系统23。控制系统23被配置为控制可移动物体10并从机外实体接收输入。控制系统23可以包括传感器设备19、定位设备46、通信设备20、图像捕获设备13和推进组件12，它们都与控制器22通信。控制器22可以包括一个或多个部件，例如存储器36和至少一个处理器37。存储器36可以是或包括非暂时性计算机可读介质，并且可以包括非暂时性计算机可读介质的一个或多个存储器单元。存储器36的非暂时性计算机可读介质可以是或包括任何类型的易失性或非易失性存储器，例如包括软盘、光盘、DVD、CD-ROM、微型驱动器和磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存设备、磁卡或光卡、纳米系统(包括分子存储器IC)或者适合于存储指令和/或数据的任何类型的介质或设备。存储器单元可以包括非暂时性计算机可读介质的永久和/或可移动部分(例如，诸如SD卡、RAM等的可移动介质或外部存储)。
从传感器设备19和/或图像捕获设备13获得的信息和数据可以被传送给存储器36的非暂时性计算机可读介质中并存储在存储器36的非暂时性计算机可读介质中。与存储器36相关联的非暂时性计算机可读介质还可以被配置为存储可由处理器37执行的逻辑、代码和/或程序指令，以执行本文中所描述的方法的实施例。例如，与存储器36相关联的非暂时性计算机可读介质可以被配置为存储计算机可读指令，当该计算机可读指令由处理器37执行时，使得处理器执行包括一个或多个步骤的方法。由处理器基于存储在非暂时性计算机可读介质中的指令执行的方法可以涉及对输入进行处理，输入例如存储在存储器36的非暂时性计算机可读介质中的数据或信息的输入、从外部终端63接收的输入、从传感器设备19和/或图像捕获设备13接收的输入(例如，直接从存储器接收的或从存储器检索的)和/或经由通信设备20接收的其他输入。非暂时性计算机可读介质可以被配置为存储要由处理器37处理的来自传感器设备19的感测数据和来自图像捕获设备13的图像。非暂时性计算机可读介质还可以被配置为向终端63发送来自传感器设备19的感测数据和来自图像捕获设备13的图像以进行处理。在一些实施例中，非暂时性计算机可读介质可以用于存储由处理器37产生的处理结果。
可移动物体10的示例性控制系统23的处理器37可以包括一个或多个处理器，并且可以包括可编程处理器，例如中央处理单元(CPU)。处理器37可以可操作地耦接到存储器36或另一个存储器设备，该另一个存储器设备被配置为存储可由处理器37执行的用于执行一个或多个方法步骤的程序或指令。注意，本文中所描述的方法步骤可以存储在存储器36中，并且被配置为由处理器37执行以使得该方法步骤通过处理器37来执行。
在一些实施例中，可移动物体10的处理器37可以包括和/或备选地可操作耦接到一个或多个模块，例如飞行控制模块40、图像处理模块48和地图生成模块49。飞行控制模块40可以被配置为帮助控制可移动物体10的推进组件12以相对于六个自由度(例如，沿着其坐标轴的三个平移方向和围绕其坐标轴的三个旋转方向)调整可移动物体10的空间布置、速度和/或加速度，以使可移动物体10能够遵循飞行路径。图像处理模块48可以被配置为接收和处理从一个或多个图像捕获设备13或从存储器36捕获的图像。在将图像发送给机外实体(例如，终端63)和/或提供给飞行控制模块40之前，可以对图像至少部分地进行处理。然而，在使用飞行控制模块40遵循飞行路径时，可以使用处理的图像或原始图像来控制和调整可移动物体10的推进组件12的位置。地图生成模块49可以被配置为使用来自图像捕获设备13的捕获图像和存储在存储器36中的图像中的一个或多个图像来生成勘测区域的实时地图。地图生成模块49可以处理捕获的图像数据，包括但不限于未处理的图像数据，已经至少部分处理的图像数据(例如通过图像处理模块48)，和/或已经缝合在一起或以其他方式组合的图像数据(例如通过图像处理模块48)。飞行控制模块40、图像处理模块48和地图生成模块49可以用在处理器37上执行的软件来实现，或者可以用与处理器37分开的硬件和/或软件部件来实现(图中未示出)。例如，用于实现飞行控制模块40、图像处理模块48或地图生成模块49的至少一部分的软件可以存储在存储器36中。在一些实施例中，例如，飞行控制模块40、图像处理模块48和地图生成模块49中的一个或多个可以存储在机外实体(例如，地面站)上而不是存储在可移动物体10上。
处理器37可以可操作地耦接到通信设备20，且被配置为从一个或多个外部设备(例如终端63、其他可移动物体和/或其他遥控器)发送和/或接收数据。通信设备20可以被配置为使得数据、信息、命令和/或其他类型的信号能够在控制器22和机外实体之间传送。通信设备20可以包括被配置为发送和/或接收信号的一个或多个部件，例如接收器34、发送器32或被配置为执行单向或双向通信的收发器。通信设备20的部件可以被配置为经由一个或多个通信网络与机外实体通信，一个或多个通信网络例如无线电、蜂窝、蓝牙、Wi-Fi、RFID、无线局域网(WLAN)网络、广域网(WAN)、红外、点到点(P2P)网络、云通信、特定无线协议(例如IEEE 802.15.1、IEEE 802.11)和/或可用于发送指示数据、信息、命令和/或其他信号的其他类型的通信网络。例如，通信设备20可以被配置为使得能够与用户输入设备(例如远程终端63)进行通信，以用于提供在飞行期间用于控制可移动物体10的输入。通信设备20还可以被配置为使得能够与其他可移动物体进行通信。
可以以任何合适的配置布置控制器22的部件。例如，控制器22的部件中的一个或多个可以定位在可移动物体10、载体16、有效载荷14、终端63、传感器18或与以上中的一个或多个通信的附加的外部设备上。在一些实施例中，一个或多个处理器或存储器设备可以位于不同的定位处，例如在可移动物体10、载体16、有效载荷14、终端63、传感器19或与以上中的一个或多个通信的附加外部设备或其合适的组合上，使得由该系统执行的处理和/或存储器功能的任何合适的方面可以在前述定位中的一个或多个定位处发生。
现在参考图2B和图3，终端63可以被配置为接收输入，例如来自用户的输入(即用户输入)，并将指示输入的信号传送给控制器22。终端63可以被配置为接收输入并生成指示一种或多种类型的信息的对应的信号，例如用于移动或操控可移动设备10(例如经由推进组件12)、有效载荷14和/或载体16的控制数据(例如信号)。终端63还可以被配置为从可移动物体10接收数据和信息，例如与如下内容有关的操作数据：例如位置数据、速度数据、加速度数据、感测数据、图像数据以及与可移动物体10、其部件和/或其周围环境有关的其他数据和信息。终端63还可以被配置为从可移动物体10接收由图像捕获设备13捕获的图像。终端63可以是具有被配置为控制飞行参数的物理杆的遥控器、远程计算设备(例如地面站)或具有用于相同目的的虚拟控制的触摸屏设备(例如智能电话或平板电脑)，或智能电话或桌面上的应用，或者其组合。
终端63可以包括通信设备68，其有助于终端63与诸如可移动物体10之类的其他实体之间的信息通信。通信设备68可以包括一个或多个天线或被配置为发送或接收信号的其他设备。终端63还可以包括一个或多个输入设备69，输入设备69被配置为从用户接收输入，用于到可移动物体10的通信。图3示出了终端63的一个示例性实施例，包括多个输入设备69，输入设备69被配置为接收指示可移动物体10的期望的移动(手动飞行控制设置、自动飞行控制设置、飞行控制辅助设置等)或对载体16、有效载荷14或其他部件的期望的控制的用户输入。然而，应理解，终端的其他可能的实施例或布局是可能的，并且在本公开的范围内。
图3还示出了示例性终端63包括显示设备80，显示设备80用于显示由可移动物体10捕获的图像和/或基于图像生成的实时地图，如将参考图5至图7所述。显示设备80可以被配置为向用户显示和/或从用户接收信息(例如，与可移动物体10的移动和/或由图像捕获设备13捕获的成像数据有关)。在一些实施例中，显示设备80可以是多功能显示设备，其被配置为在多功能屏幕84上显示信息以及经由多功能屏幕84接收用户输入。多功能屏幕可以是例如触摸屏、被配置为从触控笔接收输入的屏幕或任何其他多功能显示设备。例如，在一个实施例中，显示设备80可以被配置为经由多功能屏幕84接收一个或多个用户输入。在另一个实施例中，多功能屏幕84可以构成用于接收用户输入的唯一的输入设备。在一些实施例中，显示设备80可以是与终端63和/或可移动物体10通信的单独的电子设备(例如蜂窝电话、平板电脑、计算机等)的显示设备。例如，终端63(或可移动物体10)可以被配置为与具有存储器和至少一个处理器的电子设备通信，然后可以使用这些电子设备经由与电子设备相关联的输入设备(例如多功能显示器、按钮、存储的应用、基于Web的应用等)来提供用户输入。终端63(或可移动物体10)与电子设备之间的通信还可以被配置为允许接收软件更新包和/或其他信息，然后将其传送给控制器22或62(例如经由通信设备20)。
在一些实施例中，终端63可以是或包括用于接收一个或多个用户输入的交互式图形界面。也就是说，终端63可以包括图形用户界面(GUI)和/或输入设备69的一个或多个图形版本，用于接收用户输入。终端63和/或输入设备69的图形版本可以在显示设备(例如显示设备80)或多功能屏幕(例如多功能屏幕84)上显示，并且包括诸如交互式图形特征(例如图形按钮、文本框、下拉菜单、交互式图像等)之类的图形特征。在一些实施例中，终端63可以是或包括计算机应用(例如“app”)，以在任何合适的电子设备(例如蜂窝电话、平板电脑等)的显示设备或多功能屏幕上提供交互式界面，用于接收用户输入。
再次参考图2B，终端63还可以包括控制器62、存储器66、一个或多个处理器67以及耦接到控制器62的通信设备68。终端63的部件可以与上面针对图2A中的可移动物体10的控制系统23描述的那些部件相同或等同。例如，存储器66可以是或包括非暂时性计算机可读介质，并且可以包括非暂时性计算机可读介质的一个或多个存储器单元。与存储器66相关联的非暂时性计算机可读介质可以被配置为存储可由处理器67执行的逻辑、代码和/或程序指令，以执行本文中描述的方法的任何合适的实施例。例如，与存储器66相关联的非暂时性计算机可读介质可以被配置为存储计算机可读指令，当该计算机可读指令由处理器67执行时，使处理器67执行包括一个或多个步骤的方法。由处理器基于存储在非暂时性计算机可读介质中的指令执行的方法可以涉及对输入进行处理，输入例如是存储在存储器66的非暂时性计算机可读介质中的数据或信息的输入、从输入设备69接收的输入和/或经由通信设备68接收的输入。非暂时性计算机可读介质可以被配置为存储来自图像捕获设备13的感测数据和图像，以由处理器67处理。
终端63的处理器67还可以包括一个或多个处理器，并且可以包括可编程处理器，例如CPU。处理器67可以可操作地耦接到存储器66或另一个存储器设备，其被配置为存储可由处理器67执行的程序或指令，用以执行一个或多个方法步骤。注意，本文中所描述的方法步骤可以存储在存储器66中，并被配置为由处理器67执行，以使方法步骤由处理器67执行。
在一些实施例中，终端63的处理器67可以包括和/或备选地可操作地耦接到一个或多个模块，例如飞行控制模块82、图像处理模块88和地图生成模块89。飞行控制模块82(如可移动物体10的飞行控制模块40)可以被配置为控制可移动物体10的推进组件12和/或确定用于可移动物体10的飞行控制模块40的指令，以使可移动物体10能够遵循飞行路径。图像处理模块88可以被配置为接收和处理从可移动物体10上的一个或多个图像捕获设备13，从存储器66或从另一机外实体捕获的图像。图像处理模块88还可以向飞行控制模块82提供图像(至少部分处理的图像或原始图像)，用于在遵循飞行路径时，控制和调整可移动物体10的推进组件12的位置。终端63的地图生成模块89可以被配置为使用从可移动物体10接收的一个或多个捕获图像和存储在存储器66中的图像来生成勘测区域的实时地图。地图生成模块89可以处理捕获的图像数据，包括但不限于未处理的图像数据、已经至少部分处理的图像数据(例如通过图像处理模块88)和/或已经缝合在一起或以其他方式组合的图像数据(例如通过图像处理模块88)。飞行控制模块82、图像处理模块88和地图生成模块89，如可移动物体10上的那些一样，可以用软件实现以便在处理器67上执行，或者可以用硬件和/或软件部件，与处理器67(图中未示出)分开实现。
终端63的处理器67可以可操作地耦接到通信设备68，并被配置为从一个或多个外部设备(例如，可移动物体10、显示设备80、其他可移动物体和/或其他遥控器)发送和/或接收数据。这些外部设备可以包括移动手持设备。此外，在一些实施例中，在图像从终端63发送之后，可以由一个或多个外部设备全部或部分地完成地图的生成。通信设备68可以被配置为使得数据、信息、命令和/或其他类型的信号能够在控制器62和机外实体之间传送。通信设备68可以包括被配置为发送和/或接收信号的一个或多个部件，例如接收器64、发送器65或被配置为执行单向或双向通信的收发器。通信设备68的部件可以被配置为经由上面详述的一个或多个通信网络来与可移动物体10或其他机外实体通信。
地图生成模块49和89可以被配置为实时生成勘测区域的地图。具体地，可移动物体10上的地图生成模块49或终端63的地图生成模块89或两者的组合可以在图像捕获设备13正在捕获勘测区域的图像时生成勘测区域的地图。因此，生成地图的过程无需在整个勘测区域形成地图之前成像，或无需图像将需要通过图像处理模块48或88预处理。相反，地图生成模块49和89可以被配置为在可移动物体10仍在捕获整个勘测区域的图像时，接收图像并生成地图，因此允许在整个勘测区域的图像可用之前生成期望的地图，以供用户进行查看。这减少了可移动物体10的调配和勘测区域的地图输出之间的任何延迟，勘测区域可以具有这样的应用：需要关于勘测区域的地图信息尽可能快且按需要。
参考图4，图像捕获设备13可以用于从可移动物体10捕获图像。如上所述，这对于创建特定区域的地图是有用的，特定区域为图像数据或地图数据不可用，或者可用的图像数据或地图数据不包括用于期望目的的足够的分辨率。对于一个区域没有先前的地图数据可能是由于勘测区域没有地图可用(例如，在人口稀少或远程区域)，或者在获得地图数据行不通的情况下。后一种情况可以包括数据连接或其他通信手段(例如，蜂窝TCP/IP连接、WiFi等)对用户不可用，而无法检索现有数据，或者地图或图像数据的大小过大而不能在现场中的用户设备(例如，终端63等)上发送和/或存储的情况。在这些和其他情况下，根据所公开的实施例，可以在勘测区域100上调配用来捕获勘测区域的图像的可移动物体10，以捕获图像用于地图生成。在一些实施例中，可移动物体10将捕获的图像传送给终端63，在终端63处将捕获的图像组合以形成实时地图。所传送的图像可以是由图像捕获设备13拍摄用于终端63处理的原始图像，或者它们可以是已处理的图像，其中可移动物体10的控制器22在将图像传送给终端63之前至少部分地对图像进行了处理。图像可以用于实时生成勘测区域100的地图，其中可以在终端63的显示设备80上向用户显示实时地图。在其他实施例中，可移动物体10上的处理器37可以处理图像以形成实时地图，然后可以将实时地图传送给终端63以向用户显示。在一些实施例中，由可移动物体10或终端63生成的实时地图可以用于引导对可移动物体10的进一步导航或任务规划。
可移动物体10沿着飞行路径110捕获勘测区域100的图像。根据所公开的实施例，可以基于期望地图分辨率来确定飞行路径110，并且可移动物体10在遵循所确定的飞行路径110的同时捕获勘测区域100的图像。可以在飞行期间动态调整飞行路径，例如，为了避开飞行路径110中的障碍物105或为了获取所需图像数据以完成实时地图。飞行路径110可以由终端63的飞行控制模块82、可移动物体10的飞行控制模块40或者使用这些飞行控制模块82和40的任何组合来确定。飞行控制模块40和82中的至少一个可以基于所获得的输入来确定飞行路径110，输入包括例如来自传感器19的感测数据、来自图像捕获设备13的图像数据、来自定位设备46的位置数据、来自所生成的地图的地图数据和/或来自终端63的输入(包括使用输入设备60的用户输入)。输入还可以包括要生成的地图的期望分辨率、每个图像捕获设备13的规格或者当可移动物体遵循飞行路径110时从可移动物体10或终端63接收的任何其他反馈。这些输入可以用于确定由图像捕获设备13捕获的图像是否足以生成所需的勘测区域100的地图，和/或有助于可移动物体10沿其飞行路径110避开障碍物105。
可以基于勘测区域的期望地图分辨率来确定飞行路径110，并且还可以基于其他因素，包括例如：对可移动物体10在勘测区域上移动的能力的飞行限制或其他限制(例如，诸如机场或高安全区域等的禁飞区、限制飞行区域)；可移动物体10的部件和设置，例如电池充电或燃料剩余、处理功率、通信范围等；用于捕获图像的可移动物体10和图像捕获设备13的特征和/或规格(例如，相机规格、可移动物体的最大海拔高度和速度等)；以及勘测区域的环境(例如，景观或地形的复杂性、天气情况、自然光等)。可以将这些示例性因素与地图分辨率一起用于确定可移动物体10的飞行路径110。
图5示出了根据所公开的实施例的用于使用可移动物体10来生成勘测区域100的实时地图的示例性方法。图5表示可以由可移动物体10上、终端63上或另一外部设备上的一个或多个处理器，或通过使用它们的组合来执行的过程。方法可以包括确定勘测区域(步骤201)并确定期望地图分辨率(步骤202)。在步骤201处，勘测区域100可以由用户，由可移动物体10的控制器22或由终端63的控制器62或其任何组合来确定。在一个示例中，用户可能需要特定勘测区域的地图，其中现有地图数据或图像数据可能不足够或不存在。用户可以例如使用来自GPS设备的地理坐标或使用现有地图(例如，不具有用于用户应用的足够数据或分辨率)来指定期望的勘测区域100。在一些实施例中，用户可以基于指定距离、方向和/或形状内的用户或终端63或可移动物体10周围的地理区域，或基于可以指定地理区域以及可以将指令传送给可移动物体10的任何其他方式，来指定勘测区域100。
步骤202处的期望地图分辨率是要从由可移动物体10的图像捕获设备13捕获的图像生成的地图的期望分辨率。在一些实施例中，期望地图分辨率是可以由用户选择的输入，使用期望地图分辨率来确定可移动物体10的勘测区域100上的飞行路径110(步骤203)。例如，期望地图分辨率可以是实时地图的期望空间分辨率，例如，其中地图特征可以被解析为期望的准确度。在步骤203处，可以通过将期望地图分辨率与一个或多个其他输入进行比较来确定飞行路径，其他输入包括图像捕获设备13的规格(例如，光学、电气或机械规格)、可移动物体10要成像和穿越的环境(例如，可用环境照明、云层等)以及可以影响捕获图像的质量或分辨率的任何其他因素。图像捕获设备13的规格可以包括图像捕获设备透镜和/或相机传感器的已知的光学质量，例如帧速率、快门速度、光圈、光谱响应以及捕获图像的类型(例如，光学图像、热图像等)等，以及可以影响捕获图像的分辨率的图像捕获设备质量的任何其他测量。
在步骤203处，可以根据期望地图分辨率和勘测区域确定飞行路径110。所确定的飞行路径可以包括确定例如可移动物体10沿其飞行路径的高度或海拔高度或航向、可移动物体10的速度、定义飞行路径的一个或多个航路点、飞行路径上的航路点之间的地理距离和/或沿着飞行路径捕获图像的频率中的一个或多个。例如，在步骤203处，相比于可用于以较低的期望地图分辨率生成地图的飞行路径，较高的期望地图分辨率可能需要确定勘测区域上方的较低高度的飞行路径、较慢速度和/或勘测区域上方的多个重叠通路(例如，更多航路点)。在一些实施例中，可移动物体10上的图像捕获设备13可以被配置为连续地或周期地捕获图像，在其他实施例中，图像捕获设备可以在一个或多个预定点处(例如在一个或多个航路点处)捕获图像。在其他实施例中，飞行路径110可以确定图像捕获设备13在每个航点处和/或在航路点之间的姿态(例如，横滚角、俯仰角、偏航角等)、图像捕捉设备13的设置(例如光圈、快门速度、变焦等)以及要在每个航路点和/或航路点之间获得的要捕获的图像数量和相机姿态数据。
在步骤203处确定飞行路径可以包括确定勘测区域上的整个飞行路径，从开始到结束，或仅飞行路径的一部分，或者对现有飞行路径进行修改，优选地允许可移动物体10确定用于获得勘测区域100的图像的最优遵循路径。所确定的飞行路径可以包括例如当在勘测区域上移动时，对可移动物体10施加的约束或给予其的参数(可移动物体可用于确定其自己的飞行路径)。可移动物体10的控制器22(例如，经由飞行控制模块40)可以确定可移动物体10的精确位置，并且可以基于与可移动物体和/或勘测区域相关联的实时情况和一个或多个参数来优化飞行路径110。备选地，可移动物体可以将信息传送给终端63，终端63又可以使用该信息来优化可移动物体的飞行路径110。以这种方式，远程终端63和可移动物体10的控制系统23可以单独或组合地执行步骤203处的确定勘测区域上方的飞行路径的步骤。
步骤203中的确定飞行路径还可以包括确定勘测区域捕获的相邻图像之间的必要重叠，以便生成没有任何缺失区域或间隙的地图。传统的地图生成通常涉及高分辨率成像，但不是总是考虑或具有控制相邻图像之间的重叠的能力。这导致生成的地图中区域缺失。在一些实施例中，图5中所示出的方法(包括在步骤203中确定的飞行路径)可以通过实时计算重叠比(例如，勘测区域中相邻区域的图像之间相对于图像大小的重叠程度(例如百分比))来解决该问题。以这种方式，可以通过生成飞行路径来防止地图数据的缺失部分，该飞行路径确保整个勘测区域将在捕获邻近(即相邻)区域的图像之间充分重叠的情况下成像。
在步骤203确定飞行路径110之后，可移动物体10遵循飞行路径并使用图像捕获设备13捕获勘测区域100的图像(步骤204)。图像捕获设备13可以包括捕获多个图像的一个或多个相机，该多个图像可以被处理以生成实时地图。
当可移动物体10捕获用于实时地图的图像时，还可以从传感器设备19和/或从图像捕获设备13获得感测数据。感测数据可以包括来自传感器设备19的测量信号和来自定位设备46的位置数据。在一些实施例中，来自图像捕获设备13的感测数据可以包括来自图像捕获设备13和/或载体16或壳体11上的任何传感器(包括每个相机)的测量信号。感测数据可以用于确定每个图像的图像捕获设备13的取向和/或位置，和/或每个图像的可移动物体10的取向和/或位置。当处理图像时，该感测数据可以用于确定与每个图像相关联的相机姿势信息和特征提取(步骤206)。相机姿势信息可以包括可移动物体10和/或图像捕获设备13的位置信息和/或姿态信息。例如，这允许在处理期间适当地变换捕获的图像以去除失真并创建勘测区域的俯视图，而不管相机角度如何。在步骤206处，可以例如使用可移动物体10的图像处理模块48、终端63的图像处理模块88或其任何组合来执行图像处理。在一些实施例中(由图5中的虚线表示)，可以使用通信设备20将捕获的图像发送给终端63或另一远程系统，从而可以在可移动物体10以外处理捕获的图像(步骤205)。
在一些实施例中，在步骤206处，可以在处理捕获的图像时确定相机姿势信息，例如，部分地基于捕获的图像中的数据和/或感测数据。对于包括共同场景(例如，勘测区域的相同部分的重叠视图)的捕获图像，可以基于邻近图像之间的关系来恢复图像捕获设备13的相对位置。例如，一些实施例可以使用结构形式运动(SFM)或同时定位和映射(SLAM)技术来基于捕获的图像数据和/或感测数据来确定图像捕获设备的位置和姿态，并且还根据相邻图像中的同源图像点(例如，与不同图像中的相同物体相对应的图像数据)来确定捕获图像的稀疏点云。在这样的实施例中，可以使用点云中的三个或更多个对应点来计算七个变换参数(三个移位参数、三个旋转参数和一个缩放参数)。步骤206处的图像处理可以包括使用从SFM或SLAM技术获得的图像捕获设备13的位置和姿态以及应用于图像点云的刚性变换来标准化(例如，在世界坐标系下)捕获的图像数据。在例如在世界坐标系下获得了图像捕获设备的位置和姿态之后，可以通过对标准化图像数据执行数字差分校正来生成勘测区域的地图。在这样的实施例中，可以基于在处理捕获的图像数据时识别的相对几何形状，将对应的颜色应用于地图区域中的不同地面特征。在捕获了图像(步骤204)和处理了图像(步骤206)时，生成勘测区域的实时地图(步骤207)。可以通过处理和缝合处理的捕获图像来创建地图来生成实时地图。
图7示出了可以执行以在图5的步骤207处生成实时地图的示例性方法。处理在可移动设备10或终端63上的步骤229处开始。在后一种情况下，可以将原始图像数据传送给终端63进行处理，或者，可以在可移动物体上完成一些处理。在处理期间，针对每个捕获图像获得相机姿势信息(步骤230)。如上所述，相机姿势信息可以包括用于捕获图像的可移动物体10和/或图像捕获设备13的位置信息和/或姿态信息。相机姿势信息可以用于确定图像捕获设备相对于从每个图像提取的特征的取向，并且可以用于对特征进行调整和/或在不同图像之间和从不同图像捕获设备角度来辨别特征。然后，生成图像的点云(步骤231)。生成点云可以包括识别捕获图像中与图像的特征(例如，特征提取)相对应的数据点。数据点可以用作参考点，其可以在具有至少一些相同物体和特征的不同捕获图像之间相关(或以其他方式相关联)。
然后可以通过对生成的点云进行滤波来创建勘测区域的数字高程模型(DEM)(步骤232)。DEM是表示地形表面的数字模型。在一个实施例中，与三维(3D)模型相反，DEM可以是二维(2D)模型，减少了处理时间和存储空间。在另一实施例中，DEM可以是三维(3D)模型。从每个图像的生成DEM中，可以直接将显示勘测区域的相邻部分的DEM缝合在一起(步骤236)以生成勘测区域的地图(步骤237)。
在一些实施例中，可以对每个DEM应用进一步处理以消除图像失真，或者对由图像捕获设备13和/或可移动物体10改变的姿态和位置而导致的从图像到图像的变换进行考虑。在生成实时地图的过程中，这些附加处理步骤可以是可选的。在如上所述生成DEM(步骤232)之后，可以至少部分地基于DEM和相机姿势信息来校正每个DEM以生成校正图像(步骤233)。校正涉及将一个或多个变换应用于DEM以将点云中的点投影到公共平面上(例如，在从直接俯视透视方向示出视图的平面地图上)，而不管捕获图像的角度如何。经校正的图像可以用于生成具有地理坐标的正射影像(步骤234)。正射校正消除了由每个图像投影到公共平面上而产生的缩放误差和失真。然后可以将正射图像缝合在一起(步骤235)以生成勘测区域的实时地图(步骤237)。
再次参考图5，在创建地图的同时，可以将在步骤207处生成的地图用于实时显示。备选地，在可移动物体10已经在勘测区域100上完成其飞行路径110并且已经处理了所有捕获的图像之后，地图也可以用于显示。在任一情况下，可以使用终端63的显示设备80向用户显示地图。在没有地图数据或图像数据可用，或者可用的地图数据或图像数据不具有用于特定应用的足够的质量或分辨率的情况下，这允许用户快速查看和勘测正在被制地图的区域。在一些实施例中，在步骤207处，可以实时或接近实时地生成地图而无需离线处理(例如，使用远程系统对所有图像进行后处理)。
在步骤207处，当正在生成勘测区域的地图时，或者在已经制地图了整个勘测区域100之后，可以通过将生成的地图合并到现有地图中来对其进行进一步处理。现有地图可以包括勘测区域的较低分辨率版本，或者其可以包括勘测区域附近的周围区域。此外，还可以生成导航指令并将其包括在生成的实时地图上。导航指令可以允许用户准确地导航先前不可能生成期望路径或可行路径的新的制地图区域。
当可移动物体10遵循飞行路径110时，基于所生成的地图确定可移动物体10是否已经在勘测区域100上完成其飞行路径(步骤208)。在步骤208处，如果没有完全穿越飞行路径，或者如果需要生成附加的航路点以在整个勘测区域上捕获图像，则可移动物体10继续捕获勘测区域的图像(步骤204)。在步骤208处，如果已经捕获了覆盖整个勘测区域的图像，则确定(步骤209)捕获的图像是否足够以期望的分辨率生成整个勘测区域100的完整地图(例如，是否存在地图的缺失区域或分辨率低于期望分辨率的区域)。如果在步骤209处已经对整个勘测区域进行成像并且以期望分辨率或高于期望分辨率生成了地图，则结束图7的示例性制地图过程(步骤211)。另一方面，如果存在缺失的地图区域或者分辨率低于期望的分辨率，则过程返回到步骤203以修改可移动物体10的现有飞行路径110和/或确定可移动物体10的新的飞行路径，以充分捕捉覆盖缺失区域或低分辨率区域的图像。
在一些实施例中，当可移动物体10正遵循现有飞行路径但尚未捕获覆盖整个勘测区域(虚线255)的足够的图像之前，也可以确定所生成的地图中的缺失区域和/或低于期望分辨率的区域。例如，用户可能期望在制地图勘测区域中的其他区域之前实时制地图较大勘测区域内的特定区域。在这样的实施例中，可以使用图6的示例性方法来请求修改可移动物体的飞行路径110，以在捕获勘测区域中的其他区域的图像之前，集中在勘测区域中的特定感兴趣区域上。例如，这可以通过在图5的示例性方法中重新定义勘测区域来实现，以在执行创建原始勘测区域其余部分的实时地图的方法之前首先创建较小感兴趣区域(例如，重新定义的勘测区域)的实时地图。
可以在可移动物体10在空中飞行或在勘测区域上方进行其他活动时，开始确定生成实时地图，而不一定在用户调配之前。在一些实施例中，可移动物体10可以确定勘测区域的特定区域需要捕获附加图像以改进现有地图，或者确定特定区域中不存在地图数据。在这些情况和类似情况下，可移动物体10可以确定(例如自动地)捕获特定区域的图像(例如，通过确定新的勘测区域(步骤201)、确定飞行路径(步骤203)以及沿着飞行路径捕获图像(步骤204)用于地图生成)。备选地，可以由远离可移动物体10的用户做出捕获勘测区域的图像的确定，例如，通过用户对终端63进行输入或者通过从另一外部设备与终端63通信来做出确定。
当可移动物体10正遵循其飞行路径110并沿着飞行路径捕获图像时，可移动物体可以检测障碍物并避开障碍物。这些障碍物可以包括物理上位于可移动物体的飞行路径中的障碍物或者从图像捕获设备13的视角方向遮挡了勘测区域的一部分的障碍物。
图6示出了用于在检测区域上捕获图像同时避开障碍物的方法。该方法可以包括确定在勘测区域上方的飞行路径(步骤203)、遵循飞行路径(步骤220)以及沿着飞行路径捕获勘测区域的图像(步骤204)。在遵循飞行路径并捕获图像时，可以使用来自传感器设备19的感测数据、来自图像捕获设备13的图像数据、来自定位设备46的位置数据和来自所生成的实时地图的地图数据中的一个或多个来检测障碍(步骤221)。障碍物可以包括阻塞可移动物体10的路径的飞行路径障碍物，例如树木、建筑物和其他物体。障碍物还可以包括视觉障碍物，例如遮挡勘测区域的一部分的物理物体、云层覆盖物、烟雾或阻挡或遮挡勘测区域的其他视觉障碍物。
如果检测到障碍物(步骤221)，则修改飞行路径(步骤222)。例如，可以使用可移动物体10的飞行控制模块40和/或终端63的飞行控制模块82来修改飞行路径。修改的飞行路径可以使可移动物体10避开障碍物，例如通过创建穿越障碍物的附近、上方、下方或远离障碍物的修改的飞行路径来避开障碍物。修改的飞行路径还可以使可移动物体10改变其接近障碍物、绕过障碍物和/或进入障碍物以捕获勘测区域的图像或以其他方式避开障碍物。此外，如果避开了障碍物并且修改的飞行路径创建了实时地图中的任何缺失或低分辨率区域，则可以随后确定缺失或低分辨率区域(步骤209)，并且可以确定例如新的修改的飞行路径(步骤203)以捕获缺失或低分辨率区域的附加图像。如果沿着可移动物体的飞行路径没有检测到障碍物(步骤221，否)，则可移动物体继续遵循其飞行路径。
图8是示出当根据图5中描述的实施例确定飞行路径时可以生成的示例性信息的示意框图。如上所述，期望地图分辨率(例如，通过用户输入识别、存储在存储器36或66中的预定设置或以其他方式获得的分辨率)用于确定勘测区域上方可移动物体10的飞行路径110(步骤202、203)。作为步骤203处的确定飞行路径的结果，可以生成几种类型的信息，包括例如确定可移动物体10沿其飞行路径的高度/海拔高度240、在可移动物体沿着飞行路径行进时图像捕获设备13捕获图像的频率241、飞行路径上的一个或多个航路点242、可移动物体10沿着飞行路径以及在航路点242之间的速度243以及相对于安装到云台(例如，载体16)的图像捕获设备13的至少一个云台方向244。可以基于可移动物体10的飞行路径和由图像捕获设备13成像的勘测区域来设置云台方向，其中当可移动物体10在勘测区域上方或附近飞行时，云台将图像捕获设备13指向勘测区域。
图9是示出根据某些公开的实施例的可以用于确定障碍物的示例性信息的示意框图。如上所述，可以至少使用捕获图像250、生成的实时地图260和/或感测数据270来识别飞行路径中的障碍物221。确定是否存在障碍物可以随着可移动物体10沿其飞行路径行进而连续发生，或者，可以周期性地进行确定(例如，以一定时间间隔，在从图像捕获设备捕获下一组图像之前等)。在检测到障碍物(例如，作为飞行路径中的物理障碍物或障碍物是否阻碍至少一部分勘测区域)之后，可以在步骤222处修改飞行路径以避开或处理障碍物。实施例的修改或调整将通过考虑说明书和所公开的实施例的实践而显而易见。例如，所描述的实现方式包括硬件、固件和软件，但是与本公开一致的系统和技术可以以单独的硬件或软件实现。所公开的实施例不限于本文中所讨论的示例。
例如，可移动物体10可以仅使用这些功能所需的最少量数据来生成实时地图，并使用地图进行飞行路径确定和避障，以节约存储器。在一些实施例中，可移动物体10可以仅生成并存储足以在勘测区域上引导可移动物体10的实时地图，而不是生成供人类用户使用的高度详细的高分辨率地图。当被引导时，或者当可移动物体10确定需要时，可以生成期望分辨率(例如，至少足以用于可移动物体的导航和避障的期望分辨率)的实时地图。当期望分辨率低于最高的可能分辨率时，较低分辨率地图的生成可以降低对在可移动物体10中生成实时地图的存储要求，例如，当用户不需要实时地图或可移动物体10仅仅生成用来在区域上导航的地图时(例如，生成用于确定其自己的飞行路径和用于避障的地图)。这些地图可以具有较小的视野和较低的分辨率，从而降低存储要求，同时仍然为可移动物体导航生成最新的地图，而不是先前可用的地图。
虽然已经使用图像捕获设备描述了生成实时地图的示例性实施例，但是可以在可移动物体10上采用一个或多个图像捕获设备(例如，一个或多个相机)来捕获勘测区域的图像。这可以允许利用每个图像捕获实例捕获立体图像(例如，通过多个图像捕获设备的协调图像捕获)，可以增加每个图像捕获实例的勘测区域的视野，和/或可以允许捕获较高频率的图像(例如，多个图像捕获设备以相对于彼此的相移频率捕获图像)。在这样的实施例中，可以根据上述方法处理捕获的图像以及来自每个单独的图像捕获设备的相机姿势信息。
基于本文的描述和方法的计算机程序在软件开发者具有的技能范围内。可以使用各种编程技术来创建各种程序或程序模块。例如，可以以或借助于Java、C、C++、汇编语言或任何这样的编程语言来设计程序部分或程序模块。可以将这种软件部分或模块的一个或多个集成到计算机系统、非暂时性计算机可读介质或现有的通信软件中。
虽然在本文中描述了说明性的实施例，但是范围包括具有基于本公开的等同元件、修改、省略、组合(例如，各种实施例的各方面的组合)、调整或改动的任何及所有实施例。权利要求中的元件将基于权利要求中采用的语言广泛地解释，并且不限于本说明书中或在本申请的审查期间描述的示例，这些示例应被解释为非排他性的。此外，可以任何方式修改所公开的方法的步骤，包括重新排序步骤和/或插入或删除步骤。因此，旨在将说明书和示例仅视为示例性的，真实范围和精神由所附权利要求及其等同物的全部范围指示。

Claims (30)

1.一种生成勘测区域的实时地图的方法，所述方法包括：
基于期望地图分辨率来确定具有至少一个图像捕获设备的可移动物体在勘测区域上方的飞行路径；
当所述可移动物体沿着所述飞行路径行进时，获得由所述至少一个图像捕获设备捕获的所述勘测区域的图像；以及
处理所述图像以生成具有所述期望地图分辨率的所述勘测区域的实时地图。
2.根据权利要求1所述的方法，其中，所述方法由所述可移动物体上的至少一个处理器执行。
3.根据权利要求1所述的方法，其中，在被配置为从所述可移动物体接收所述勘测区域的图像的远程终端处执行所述方法。
4.根据权利要求1所述的方法，其中，确定所述飞行路径包括：
基于所述期望地图分辨率来确定所述可移动物体的高度、所述可移动物体的速度、所述飞行路径的航路点之间的地理距离和用于捕获图像的频率中的一个或多个。
5.根据权利要求1所述的方法，其中，确定所述飞行路径包括：
基于现有地图数据或现有图像数据中的一个或多个数据来指定所述勘测区域，所述现有地图数据或现有图像数据具有低于所述期望地图分辨率的分辨率；以及
识别沿着所述勘测区域上方的所述飞行路径的一个或多个航路点。
6.根据权利要求1所述的方法，还包括：
从所述可移动物体的一个或多个传感器中获得感测数据；以及
至少部分地基于所获得的感测数据来确定与由所述至少一个图像捕获设备捕获的每个图像相关联的相机姿势信息。
7.根据权利要求6所述的方法，其中，所述感测数据包括所述可移动物体的位置信息或姿态信息。
8.根据权利要求6所述的方法，其中，所述感测数据还包括所述至少一个图像捕获设备的位置或姿态信息。
9.根据权利要求1所述的方法，其中，处理所述图像以生成所述实时地图包括缝合由所述图像捕获设备捕获的图像以创建所述勘测区域的实时地图。
10.根据权利要求1所述的方法，其中，处理所述图像以生成所述实时地图包括：
从每个所述图像中生成点云；
通过对每个生成的点云进行滤波来生成所述勘测区域的数字高程模型DEM；
至少部分地基于所述DEM和与每个所述图像相关联的相机姿势信息来对每个所述图像进行校正以生成校正后的图像；
基于所述校正后的图像来生成具有地理坐标的正射影像；以及
缝合所述正射影像以创建所述勘测区域的实时地图。
11.根据权利要求10所述的方法，其中，基于针孔相机模型来对每个所述图像进行校正。
12.根据权利要求1所述的方法，还包括基于所述勘测区域的实时地图或所述勘测区域的图像中的一个或多个来修改所述飞行路径。
13.根据权利要求12所述的方法，还包括：
识别所述勘测区域的实时地图中的缺失区域；以及
修改所述飞行路径以捕获与所述缺失区域的至少一部分相对应的图像。
14.根据权利要求12所述的方法，还包括：
识别妨碍所述至少一个图像捕获设备捕获与所述勘测区域的一部分相对应的图像的障碍物；以及
修改所述飞行路径以允许所述至少一个图像捕获设备捕获与所述勘测区域的该部分相对应的图像。
15.根据权利要求12所述的方法，还包括：
识别所述可移动物体的飞行路径中的障碍物；以及
修改所述可移动物体的飞行路径以避开所述障碍物。
16.根据权利要求1所述的方法，还包括基于来自所述可移动物体的一个或多个传感器的感测数据来修改所述飞行路径。
17.根据权利要求16所述的方法，还包括：
识别妨碍所述至少一个图像捕获设备捕获与所述勘测区域的一部分相对应的图像的障碍物；以及
修改所述飞行路径以允许所述至少一个图像捕获设备捕获与所述勘测区域的该部分相对应的图像。
18.根据权利要求16所述的方法，还包括：
识别所述可移动物体的飞行路径中的障碍物；以及
修改所述可移动物体的飞行路径以避开所述障碍物。
19.根据权利要求1所述的方法，还包括在遥控器上显示所生成的所述勘测区域的实时地图。
20.根据权利要求1所述的方法，还包括在所生成的所述勘测区域的实时地图上生成导航指令。
21.根据权利要求1所述的方法，还包括获得使用多个图像捕获设备捕获的所述勘测区域的图像。
22.根据权利要求1所述的方法，其中，所述勘测区域的实时地图是二维2D地图。
23.根据权利要求1所述的方法，其中，所述可移动物体是无人飞行器UAV。
24.根据权利要求1所述的方法，还包括将所生成的所述勘测区域的实时地图合并到现有地图中。
25.一种用于使用具有至少一个图像捕获设备的可移动物体生成勘测区域的实时地图的系统，所述系统包括：
存储器，其中存储有指令；以及
控制器，包括一个或多个处理器，所述一个或多个处理器被配置为执行所述指令以：
基于期望地图分辨率来确定可移动物体在勘测区域上方的飞行路径；
当所述可移动物体沿着所述飞行路径行进时，获得由所述至少一个图像捕获设备捕获的所述勘测区域的图像；以及
处理所述图像以生成具有所述期望地图分辨率的所述勘测区域的实时地图。
26.根据权利要求25所述的系统，其中，所述一个或多个处理器还被配置为当确定所述飞行路径时：
基于所述期望地图分辨率来确定所述可移动物体的高度、所述可移动物体的速度、所述飞行路径的航路点之间的地理距离和用于捕获图像的频率中的一个或多个。
27.一种无人飞行器UAV，包括：
推进设备；
通信设备；
至少一个图像捕获设备；
电力存储设备，被配置为向所述推进设备和所述通信设备供电；
存储器，用于存储指令；以及
控制器，与所述通信设备通信，并被配置为控制所述UAV以生成实时地图，所述控制器包括一个或多个处理器，所述一个或多个处理器被配置为执行所述指令以：
识别勘测区域；
基于期望地图分辨率来确定UAV在所述勘测区域上方的飞行路径；
当所述UAV沿着所述飞行路径行进时，获得由所述至少一个图像捕获设备捕获的所述勘测区域的图像；以及
处理所述图像以生成具有所述期望地图分辨率的所述勘测区域的实时地图。
28.根据权利要求27所述的UAV，其中，所述一个或多个处理器还被配置为：当确定所述飞行路径时，执行所述指令以：
基于所述期望地图分辨率来确定所述UAV的高度、所述UAV的速度、所述飞行路径的航路点之间的地理距离和用于捕获图像的频率中的一个或多个。
29.一种存储指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时执行生成勘测区域的实时地图的方法，所述方法包括：
基于期望地图分辨率来确定具有至少一个图像捕获设备的可移动物体在勘测区域上方的飞行路径；
当所述可移动物体沿着所述飞行路径行进时，获得由所述至少一个图像捕获设备捕获的所述勘测区域的图像；以及
处理所述图像以生成具有所述期望地图分辨率的所述勘测区域的实时地图。
30.根据权利要求29所述的非暂时性计算机可读介质，其中，确定所述飞行路径还包括：
基于所述期望地图分辨率来确定所述可移动物体的高度、所述可移动物体的速度、所述飞行路径的航路点之间的地理距离和用于捕获图像的频率中的一个或多个。
CN201780069669.8A 2017-04-27 2017-04-27 使用可移动物体生成实时地图的系统和方法 Pending CN109923488A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/082230 WO2018195869A1 (en) 2017-04-27 2017-04-27 Systems and methods for generating real-time map using movable object

Publications (1)

Publication Number Publication Date
CN109923488A true CN109923488A (zh) 2019-06-21

Family

ID=63919344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780069669.8A Pending CN109923488A (zh) 2017-04-27 2017-04-27 使用可移动物体生成实时地图的系统和方法

Country Status (3)

Country Link
US (1) US11644839B2 (zh)
CN (1) CN109923488A (zh)
WO (1) WO2018195869A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220146267A1 (en) * 2017-01-19 2022-05-12 Mindmaze Holding Sa System, methods, device and apparatuses for preforming simultaneous localization and mapping

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018195869A1 (en) * 2017-04-27 2018-11-01 SZ DJI Technology Co., Ltd. Systems and methods for generating real-time map using movable object
WO2019090417A1 (en) * 2017-11-10 2019-05-16 Clearpath Robotics Inc. Systems and methods for updating an electronic map
JP6965190B2 (ja) * 2018-03-13 2021-11-10 アルパイン株式会社 飛行プラン変更方法及び飛行プラン変更装置
US20210278834A1 (en) * 2018-07-17 2021-09-09 Emesent IP Pty Ltd. Method for Exploration and Mapping Using an Aerial Vehicle
GB2582561B (en) * 2019-03-22 2023-05-24 Ev Offshore Ltd Downhole imaging
KR20230097220A (ko) * 2019-06-07 2023-06-30 카이트 다이나믹스, 아이앤씨. 스러스터 안정화를 갖는 현수식 항공기 시스템
US11922620B2 (en) * 2019-09-04 2024-03-05 Shake N Bake Llc UAV surveying system and methods
WO2021046810A1 (zh) * 2019-09-12 2021-03-18 深圳市大疆创新科技有限公司 一种三维点云的实时显示方法、设备、系统及存储介质
CN111268155B (zh) * 2020-02-14 2023-05-19 山东省物化探勘查院 一种用于地理测绘的信息采集装置及采集方法
US20210325898A1 (en) * 2020-04-21 2021-10-21 Micron Technology, Inc. Using drone data to generate high-definition map for autonomous vehicle navigation
US11482120B2 (en) * 2020-07-15 2022-10-25 Verizon Patent And Licensing Inc. Rendering layers of airspace map for uncrewed aerial vehicle flight planning
CN114313285B (zh) * 2022-01-14 2024-05-03 浙江四维远见信息技术股份有限公司 一种无人机测绘装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970140A (zh) * 2014-05-23 2014-08-06 北京师范大学 一种基于无人机的多角度遥感自动观测系统
CN104062980A (zh) * 2014-06-10 2014-09-24 北京空间机电研究所 一种无人机机载全景监测系统
CN105373132A (zh) * 2015-11-26 2016-03-02 北京浩恒征途航空科技有限公司 一种基于自动巡航无人机的低空遥感系统及遥感方法
CN105492985A (zh) * 2014-09-05 2016-04-13 深圳市大疆创新科技有限公司 多传感器环境地图构建
CN105549619A (zh) * 2016-02-03 2016-05-04 苏州大势智慧信息科技有限公司 一种用于无人机续航能力的多起降点航线规划方法
CN106444841A (zh) * 2016-11-15 2017-02-22 航天图景（北京）科技有限公司 一种基于多旋翼无人机倾斜摄影系统的航线规划方法

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7634352B2 (en) * 2003-09-05 2009-12-15 Navteq North America, Llc Method of displaying traffic flow conditions using a 3D system
EP1820159A1 (en) * 2004-11-12 2007-08-22 MOK3, Inc. Method for inter-scene transitions
US8655939B2 (en) * 2007-01-05 2014-02-18 Digital Doors, Inc. Electromagnetic pulse (EMP) hardened information infrastructure with extractor, cloud dispersal, secure storage, content analysis and classification and method therefor
US8468244B2 (en) * 2007-01-05 2013-06-18 Digital Doors, Inc. Digital information infrastructure and method for security designated data and with granular data stores
US10657768B2 (en) * 2012-06-22 2020-05-19 Zonal Systems, Llc System and method for placing virtual geographic zone markers
DE102012023481A1 (de) * 2012-10-30 2014-04-30 Volkswagen Aktiengesellschaft Vorrichtung, Verfahren und Computerprogramm zur räumlichen Darstellung eines digitalen Kartenausschnitts
US9075415B2 (en) * 2013-03-11 2015-07-07 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
CN105228941B (zh) * 2013-05-21 2017-03-22 株式会社多田野 摄像机姿态检测装置和作业区域线显示装置
CN104346299B (zh) * 2013-08-01 2018-03-06 展讯通信（上海）有限公司 一种移动终端更新的控制方法和装置
US9177481B2 (en) * 2013-12-13 2015-11-03 Sikorsky Aircraft Corporation Semantics based safe landing area detection for an unmanned vehicle
WO2016130719A2 (en) * 2015-02-10 2016-08-18 Amnon Shashua Sparse map for autonomous vehicle navigation
US9643314B2 (en) * 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
CN205080435U (zh) * 2015-07-16 2016-03-09 杨珊珊 控制服务器、无人机及街景地图制作装置
EP3332217B1 (en) * 2015-08-03 2021-11-10 TomTom Global Content B.V. Methods and systems for generating and using localisation reference data
CN105225241B (zh) * 2015-09-25 2017-09-15 广州极飞科技有限公司 无人机深度图像的获取方法及无人机
US10002471B2 (en) * 2015-09-30 2018-06-19 Ants Technology (Hk) Limited Systems and methods for autonomous vehicle navigation
US9471064B1 (en) * 2015-12-08 2016-10-18 International Business Machines Corporation System and method to operate a drone
CN105678754B (zh) * 2015-12-31 2018-08-07 西北工业大学 一种无人机实时地图重建方法
US9909894B2 (en) * 2016-01-07 2018-03-06 Here Global B.V. Componentized junction models
CN105611277B (zh) * 2016-01-16 2018-03-09 深圳先进技术研究院 一种基于无障碍导航飞艇的视频地图绘制系统
US10234294B2 (en) * 2016-04-01 2019-03-19 Here Global B.V. Road geometry matching with componentized junction models
US11453494B2 (en) * 2016-05-20 2022-09-27 Skydio, Inc. Unmanned aerial vehicle area surveying
US10962982B2 (en) * 2016-07-21 2021-03-30 Mobileye Vision Technologies Ltd. Crowdsourcing the collection of road surface information
CN109791052B (zh) * 2016-09-28 2023-06-27 通腾全球信息公司 使用数字地图对点云的数据点进行分类的方法和系统
KR20240005161A (ko) * 2016-12-09 2024-01-11 톰톰 글로벌 콘텐트 비.브이. 비디오 기반 위치결정 및 매핑을 위한 방법 및 시스템
CN111542860B (zh) * 2016-12-30 2024-08-27 辉达公司 用于自主车辆的高清地图的标志和车道创建
CN110832348B (zh) * 2016-12-30 2023-08-15 辉达公司 用于自主车辆的高清晰度地图的点云数据丰富
WO2018195869A1 (en) * 2017-04-27 2018-11-01 SZ DJI Technology Co., Ltd. Systems and methods for generating real-time map using movable object
WO2018201097A2 (en) * 2017-04-28 2018-11-01 FLIR Belgium BVBA Video and image chart fusion systems and methods
US20200353952A1 (en) * 2017-11-08 2020-11-12 Sony Corporation Information processing apparatus, vehicle, mobile object, information processing method, and program
KR102434580B1 (ko) * 2017-11-09 2022-08-22 삼성전자주식회사 가상 경로를 디스플레이하는 방법 및 장치
WO2019094843A1 (en) * 2017-11-10 2019-05-16 Nvidia Corporation Systems and methods for safe and reliable autonomous vehicles
US11537868B2 (en) * 2017-11-13 2022-12-27 Lyft, Inc. Generation and update of HD maps using data from heterogeneous sources
US20190236966A1 (en) * 2018-01-31 2019-08-01 General Electric Company Centralized registry for unmanned vehicle traffic management
WO2019173396A1 (en) * 2018-03-05 2019-09-12 The Regents Of The University Of Colorado, A Body Corporate Augmented reality coordination of human-robot interaction
WO2019195415A1 (en) * 2018-04-03 2019-10-10 Mobileye Vision Technologies Ltd. Systems and methods for determining navigational parameters
US10880895B2 (en) * 2018-05-27 2020-12-29 Brian Gordaychik Variable length downlink control information formats for next generation radio technologies
CN109540126B (zh) * 2018-12-03 2020-06-30 哈尔滨工业大学 一种基于光流法的惯性视觉组合导航方法
US11679760B2 (en) * 2018-12-10 2023-06-20 Mobileye Vision Technologies Ltd. Navigation in vehicle crossing scenarios
DK201970129A1 (en) * 2018-12-14 2020-07-09 Aptiv Tech Ltd Determination of an optimal spatiotemporal sensor configuration for navigation of a vehicle using simulation of virtual sensors
US11155268B2 (en) * 2019-01-15 2021-10-26 Motional Ad Llc Utilizing passenger attention data captured in vehicles for localization and location-based services
US20200326203A1 (en) * 2019-04-15 2020-10-15 Qualcomm Incorporated Real-world traffic model
US11222542B2 (en) * 2019-08-22 2022-01-11 Qualcomm Incorporated Planning and control framework with communication messaging
US11922620B2 (en) * 2019-09-04 2024-03-05 Shake N Bake Llc UAV surveying system and methods
US11958183B2 (en) * 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
US10860115B1 (en) * 2019-09-19 2020-12-08 Bao Tran Air transportation systems and methods
US20210101616A1 (en) * 2019-10-08 2021-04-08 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970140A (zh) * 2014-05-23 2014-08-06 北京师范大学 一种基于无人机的多角度遥感自动观测系统
CN104062980A (zh) * 2014-06-10 2014-09-24 北京空间机电研究所 一种无人机机载全景监测系统
CN105492985A (zh) * 2014-09-05 2016-04-13 深圳市大疆创新科技有限公司 多传感器环境地图构建
CN105373132A (zh) * 2015-11-26 2016-03-02 北京浩恒征途航空科技有限公司 一种基于自动巡航无人机的低空遥感系统及遥感方法
CN105549619A (zh) * 2016-02-03 2016-05-04 苏州大势智慧信息科技有限公司 一种用于无人机续航能力的多起降点航线规划方法
CN106444841A (zh) * 2016-11-15 2017-02-22 航天图景（北京）科技有限公司 一种基于多旋翼无人机倾斜摄影系统的航线规划方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220146267A1 (en) * 2017-01-19 2022-05-12 Mindmaze Holding Sa System, methods, device and apparatuses for preforming simultaneous localization and mapping
US20240085211A1 (en) * 2017-01-19 2024-03-14 Mindmaze Group Sa System, methods, device and apparatuses for preforming simultaneous localization and mapping
US12031838B2 (en) * 2017-01-19 2024-07-09 Mindmaze Group Sa System, methods, device and apparatuses for preforming simultaneous localization and mapping

Also Published As

Publication number Publication date
WO2018195869A1 (en) 2018-11-01
US20200051443A1 (en) 2020-02-13
US11644839B2 (en) 2023-05-09

Similar Documents

Publication Publication Date Title
CN109923488A (zh) 使用可移动物体生成实时地图的系统和方法
US11263761B2 (en) Systems and methods for visual target tracking
CN110494360B (zh) 用于提供自主摄影及摄像的系统和方法
US11377211B2 (en) Flight path generation method, flight path generation system, flight vehicle, program, and storage medium
JP7274674B1 (ja) 無人航空機による３次元再構成の実行
US11032527B2 (en) Unmanned aerial vehicle surface projection
CN112470092B (zh) 一种测绘系统、测绘方法、装置、设备及介质
CN205263655U (zh) 一种用于自动生成全景照片的系统、无人飞行器及地面站
US11029707B2 (en) Moving object, moving object control method, moving object control system, and moving object control program
JP6765512B2 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
CN105045279A (zh) 一种利用无人飞行器航拍自动生成全景照片的系统及方法
JP6675537B1 (ja) 飛行経路生成装置、飛行経路生成方法とそのプログラム、構造物点検方法
JP7182710B2 (ja) 測量方法、装置及びデバイス
US20200221056A1 (en) Systems and methods for processing and displaying image data based on attitude information
EP4399485A1 (en) Automated aerial data capture for 3d modeling of unknown objects in unknown environments
US20220390940A1 (en) Interfaces And Control Of Aerial Vehicle For Automated Multidimensional Volume Scanning
CN111868656B (zh) 一种作业控制系统、作业控制方法、装置、设备及介质
US20230142394A1 (en) Contour scanning with an unmanned aerial vehicle
Liu et al. Adaptive Weight Multi-Band Blending Based Fast Aerial Image Stitching and Mapping
Persson et al. Real-time image processing on handheld devices and UAV
Themistokleous et al. 3D documentation of Fabrica Hills caverns using TERRESTRIAL and low cost UAV equiptment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination