CN112955713A - 用于在可移动物体环境中进行实时地图构建的技术 - Google Patents

用于在可移动物体环境中进行实时地图构建的技术 Download PDF

Info

Publication number
CN112955713A
CN112955713A CN201980071644.0A CN201980071644A CN112955713A CN 112955713 A CN112955713 A CN 112955713A CN 201980071644 A CN201980071644 A CN 201980071644A CN 112955713 A CN112955713 A CN 112955713A
Authority
CN
China
Prior art keywords
data
map
positioning
voxel
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980071644.0A
Other languages
English (en)
Inventor
阿尔琼·苏库马尔·梅农
徐骥飞
罗希特·桑特
李志远
布莱克·卡尔沃夫斯基
乔舒亚·阿科斯塔
阿诺·蒂埃瑟兰
刘渭锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dajiang Technology Co ltd
DJI Technology Inc
Original Assignee
Dajiang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dajiang Technology Co ltd filed Critical Dajiang Technology Co ltd
Publication of CN112955713A publication Critical patent/CN112955713A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51—Display arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813—Housing arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Navigation (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Processing Or Creating Images (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

公开了用于在可移动物体环境中进行实时地图构建的技术。实时地图构建系统可以包括至少一个可移动物体，该至少一个可移动物体包括计算装置；扫描传感器，电连接到计算装置；以及定位传感器，电连接到计算装置。计算装置可以包括至少一个处理器和地图构建管理器，地图构建管理器可以被配置为从扫描传感器获取地图构建数据以及从定位传感器获取定位数据。地图构建管理器可以至少基于与地图构建数据和定位数据相关联的时间数据，将地图构建数据与定位数据关联，以及至少基于关联的地图构建数据和定位数据，在第一坐标系中生成地图。

Description

用于在可移动物体环境中进行实时地图构建的技术
版权声明
该专利文件的公开内容的一部分包含受版权保护的材料。版权所有者不反对任何人以专利和商标局专利档案或记录中的形式复制专利文件或专利公开的内容，但保留其他所有版权。
相关申请的交叉引用
本申请要求2018年10月29日递交的美国临时申请No.62/752,273的优先权，其内容通过引用合并于此。
技术领域
所公开的实施例通常涉及地图构建技术，更具体地但非排他地，涉及在可移动物体环境中进行实时地图构建的技术。
背景技术
诸如无人机(UAV)之类的可移动物体可以用于执行针对各种应用的监测、侦察和勘查任务。可移动物体可以携带有效载荷，包括各种传感器，使得可移动物体能够在移动期间捕获传感器数据。可以在客户端装置(例如，经由遥控器、远程服务器或其他计算装置与可移动物体通信的客户端装置)上渲染所捕获的传感器数据。
发明内容
公开了用于在可移动物体环境中进行实时地图构建的技术。实时地图构建系统可以包括至少一个可移动物体，该至少一个可移动物体包括：计算装置；扫描传感器，电连接到计算装置；以及定位传感器，电连接到计算装置。计算装置可以包括至少一个处理器和地图构建管理器，地图构建管理器可以被配置为从扫描传感器获得地图构建数据以及从定位传感器获得定位数据。地图构建管理器可以至少基于与地图构建数据和定位数据关联的时间数据，将地图构建数据与定位数据关联，以及至少基于关联的地图构建数据和定位数据，在第一坐标系中生成地图。
附图说明
图1示出了根据各种实施例的可移动物体环境中的可移动物体的示例。
图2示出了根据各种实施例在可移动物体环境中的可移动物体架构的示例。
图3示出了根据各种实施例的可移动物体环境中的地图构建管理器的示例。
图4A和图4B示出了根据各种实施例的分层数据结构的示例。
图5A和图5B示出了根据各种实施例的地图构建数据中的异常值去除的示例。
图6示出了根据各种实施例的地图构建数据中的强度值的示例。
图7示出了根据各种实施例的软件开发环境中支持可移动物体接口的示例。
图8示出了根据各种实施例的可移动物体接口的示例。
图9示出了根据各种实施例的软件开发工具包(SDK)中用于可移动物体的部件的示例。
图10示出了根据各种实施例的可移动物体环境中的目标地图构建方法的流程图。
具体实施方式
通过示例而非限制的方式在附图中示出了本申请，在附图中相似的附图标记表示相似的元件。应当注意，在本申请中对“一个”或“一些”实施例的引用不一定是同一实施例，这样的引用意味着至少一个。
本申请的以下说明描述了使用可移动物体的目标地图构建。为了简化说明，通常将无人机(UAV)用作可移动物体的示例。对于本领域技术人员显而易见的是，可以使用其他类型的可移动物体，本申请对可移动物体的类型没有限制。
实施例使可移动物体能够使用从定位传感器和扫描传感器收集的数据来实时地对目标环境进行地图构建。备选实施例可以利用后处理，在完成由一个或多个可移动物体执行的一个或多个数据收集任务之后生成地图。例如，各种实施例可以利用扫描匹配技术对复杂的目标环境进行地图构建。实施例可以用于为各种应用(例如，构造、勘测、目标检查等)提供基于LiDAR的实时地图构建。可以实时构建地图，而不是收集要后处理为目标的地图表示的数据，从而可以在收集地图时将地图的版本渲染在客户端装置上。这种实况渲染可以使用户能够确定目标环境内的任何区域是否尚未被电连接至可移动物体的扫描传感器扫描。此外，可以在地图构建任务期间生成地图的高密度版本，并在可移动物体返回时下载。在各种实施例中，当可移动物体执行地图构建任务时，地图构建管理器可以利用并行计算架构进行实时地图构建。在一些实施例中，可以将地图构建数据输出为LiDAR数据交换文件(LAS)，LAS可以被各种工具用来渲染目标环境的地图和/或将地图构建数据用于进一步的处理、规划等。嵌入LAS输出文件中的元数据可以促进地图与各种第三方工具的集成。在各种实施例中，可以根据用户偏好，以各种文件格式输出地图。
在一些实施例中，地图构建管理器可以从扫描传感器(例如，LiDAR传感器或提供对目标环境的高分辨率扫描的其他传感器)接收地图构建数据，并从定位传感器(例如，全球定位系统(GPS)模块、实时动态(RTK)模块、惯性测量单元(IMU)模块或其他定位传感器)接收定位数据。可以使用定位数据对地图构建数据进行地理参考，地图构建数据用于构建目标环境的地图。实施例客观地对地图构建数据进行地理参考，从而使得不管环境的复杂性如何，各种目标环境都能够进行地图构建。
图1示出了根据各种实施例的可移动物体环境100中的可移动物体的示例。如图1所示，可移动物体环境100中的客户端装置110可以经由通信链路106与可移动物体104通信。可移动物体104可以是无人飞行器、无人载运工具、手持式装置和/或机器人。客户端装置110可以是便携式个人计算装置、智能电话、遥控器、可穿戴计算机、虚拟现实/增强现实系统和/或个人计算机。另外，客户端装置110可以包括遥控器111和通信系统120A，通信系统120A负责经由通信系统120B处理客户端装置110与可移动物体104之间的通信。例如，客户端装置110与可移动物体104(例如，无人飞行器)之间的通信可以包括上行链路和下行链路通信。上行链路通信可以用于发送控制信号，下行链路通信可以用于发送媒体或视频流、扫描传感器收集的地图构建数据或其他传感器收集的其他传感器数据。
根据各种实施例，通信链路106可以是网络(的一部分)，基于各种无线技术，例如，WiFi、蓝牙、3G/4G和其他射频技术。此外，通信链路106可以基于其他计算机网络技术，例如，互联网技术或任何其他有线或无线联网技术。在一些实施例中，通信链路106可以是非网络技术，包括直接点对点连接，例如，通用串行总线(USB)或通用异步收发器(UART)。
在各种实施例中，可移动物体环境100中的可移动物体104可以包括有效载荷组件122和有效载荷，例如，诸如LiDAR传感器之类的扫描传感器124。尽管可移动物体104通常被描述为飞行器，但这并不旨在限制本申请，可以使用任何合适类型的可移动物体。本领域的技术人员应理解，本文在飞行器系统背景下描述的任何实施例都可以应用于任何合适的可移动物体(例如，UAV)。在一些情况下，可以在可移动物体104上提供有效载荷，而不需要有效载荷组件。
根据各种实施例，可移动物体104可以包括一个或多个移动机构116(例如，推进机构)、感测系统118和通信系统120B。移动机构116可以包括转子、螺旋桨、叶片、引擎、马达、轮子、轮轴、磁体、喷嘴、动物或人类中的一个或多个。例如，可移动物体可以具有一个或多个推进机构。移动机构可以全部是相同类型的。备选地，移动机构可以是不同类型的移动机构。可以使用诸如支撑元件(例如，驱动轴)之类的任何合适的装置将移动机构116安装在可移动物体104上(反之亦然)。移动机构116可以安装在可移动物体104的任何合适的部分上，例如，在可移动物体104的顶部、底部、前部、后部、侧部或以上部分的合适组合上。
在一些实施例中，移动机构116可以使可移动物体104能够从表面垂直地起飞或垂直降落在表面上，而不需要可移动物体104的任何水平移动(例如，无需沿着跑道行进)。可选地，移动机构116可以是可操作的，以允许可移动物体104在特定位置和/或取向上悬停在空中。可以独立于其他移动机构来控制一个或多个移动机构116，例如，通过在客户端装置110、计算装置112或与该移动机构通信的其他计算装置上执行的应用来进行控制。备选地，可以将移动机构116配置为同时控制。例如，可移动物体104可以具有多个可以向可移动物体提供升力和/或推力的水平取向的转子。可以致动多个水平取向的转子，以向可移动物体104提供垂直起飞、垂直降落和悬停能力。在一些实施例中，一个或多个水平取向的转子可以沿顺时针方向旋转，一个或多个水平取向的转子可以沿逆时针方向旋转。例如，顺时针旋转的转子的数量可以等于逆时针旋转的转子的数量。每个水平取向的转子的转速可以独立地变化，以便控制每个转子产生的升力和/或推力，从而调节可移动物体104的空间布局、速度和/或加速度(例如，关于多达三个平移度和多达三个旋转度)。如本文中进一步讨论的，诸如飞行控制器114之类的控制器可以将移动命令发送至移动机构116，以控制可移动物体104的移动。这些移动命令可以基于和/或由客户端装置110、计算装置112或其他实体接收的指令得到。
感测系统118可以包括一个或多个传感器，该一个或多个传感器可以感测可移动物体104的空间布局、速度和/或加速度(例如，关于各种平移度和各种旋转度)。该一个或多个传感器可以包含任何传感器，包括GPS传感器、运动传感器、惯性传感器、接近传感器或图像传感器。由感测系统118提供的感测数据可以用于控制可移动物体104的空间布局、速度和/或取向(例如，使用合适的处理单元和/或控制模块)。备选地，感测系统118可以用于提供关于可移动物体周围的环境的数据，例如，天气条件、对潜在障碍物的接近度、地理特征的位置、人造结构的位置等。
通信系统120B能够经由通信链路106和通信系统120A与客户端装置110进行通信，该通信链路106可以包括如上所述的各种有线和/或无线技术。通信系统120A或120B可以包括适合于无线通信的任何数量的发送器、接收器和/或收发器。该通信可以是单向通信，使得数据只能在一个方向上发送。例如，单向通信可以只涉及可移动物体104向客户端装置110发送数据，反之亦然。数据可以从可移动物体的通信系统120B的一个或多个发送器发送到客户端装置的通信系统120A的一个或多个接收器，反之亦然。备选地，该通信可以是双向通信，使得可以在可移动物体104和客户端装置110之间的两个方向上发送数据。双向通信可以涉及从可移动物体104的通信系统120B的一个或多个发送器向客户端装置110的通信系统120A的一个或多个接收器发送数据，以及从客户端装置110的通信系统120A的一个或多个发送器向可移动物体104的通信系统120B的一个或多个接收器发送数据。
在一些实施例中，客户端装置110可以通过通信链路106的透明传输信道与安装在计算装置112上的地图构建管理器126通信。可以通过可移动物体的飞行控制器来提供透明传输信道，该透明传输信道允许数据不变(例如，“透明”)地传递到地图构建管理器或计算装置112上的其他应用。在一些实施例中，地图构建管理器126可以利用软件开发工具包(SDK)、应用编程接口(API)或由可移动物体、计算装置、扫描传感器124等提供的其他接口。在各种实施例中，地图构建管理器可以由可移动物体104、计算装置112、遥控器111、客户端装置110或与可移动物体104通信的其他计算装置上的一个或多个处理器(例如，飞行控制器114或其他处理器)来实现。在一些实施例中，地图构建管理器126可以实现为在客户端装置110、计算装置112或与可移动物体104通信的其他计算装置上执行的应用。
在一些实施例中，在客户端装置110或计算装置112上执行的应用可以向可移动物体104、有效载荷组件122和有效载荷124中的一个或多个提供控制数据，并从可移动物体104、有效载荷组件122和有效载荷124中的一个或多个接收信息(例如，可移动物体、有效载荷组件或有效载荷的位置和/或运动信息；有效载荷感测到的数据，例如，有效载荷相机捕获的图像数据或LiDAR传感器捕获的地图构建数据；以及从有效载荷相机捕获的图像数据生成的数据或从LiDAR传感器捕获的地图构建数据生成的LiDAR数据)。
在一些实施例中，控制数据可以(例如，通过对移动机构116的控制)导致可移动物体的位置和/或取向的修改，或者(例如，经由有效载荷组件122的控制)导致有效载荷相对于可移动物体的移动。来自应用的控制数据可以导致对有效载荷的控制，例如，对扫描传感器124、相机或其他图像捕获装置的操作的控制(例如，拍摄静止图片或移动图片、放大或缩小、打开或关闭、切换成像模式、更改图像分辨率、更改焦点、更改景深、更改曝光时间、更改视角或视野)。
在一些情况下，来自可移动物体、有效载荷组件和/或有效载荷的通信可以包括从一个或多个传感器(例如，感测系统118的传感器或扫描传感器124或其他有效载荷的传感器)获得的信息和/或基于感测信息生成的数据。该通信可以包括从一种或多种不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、接近传感器或图像传感器)获得的感测信息。这样的信息可以涉及可移动物体、有效载荷组件和/或有效载荷的位置(例如，位置、取向)、移动或加速度。来自有效载荷的此类信息可以包括由有效载荷捕获的数据或有效载荷的感测状态。
在一些实施例中，可以将计算装置112添加到可移动物体。计算装置可以由可移动物体供电，计算装置可以包括一个或多个处理器，例如，CPU、GPU、现场可编程门阵列(FPGA)、片上系统(SoC)、专用集成电路(ASIC)或其他处理器。计算装置可以包括操作系统(OS)，例如，
Figure BDA0003044759510000071
基于
Figure BDA0003044759510000072
的操作系统或其他OS。任务处理可以从飞行控制器114卸载到计算装置112。在各种实施例中，地图构建管理器126可以在计算装置112、客户端装置110、有效载荷124、远程服务器(未示出)或其他计算装置上执行。
在一些实施例中，地图构建管理器126可以用于为各种应用(例如，构造、勘测、目标检查等)提供基于LiDAR的实时地图构建。不是收集要被后处理为目标的地图表示的数据，而是可以实时地构建地图，从而使得在收集地图时能够在客户端装置110上渲染该地图的版本。这种实况渲染可以使用户能够确定目标环境内是否有区域尚未被扫描传感器124扫描。另外，地图的另一个版本可以在可移动物体返回时下载并使用。在各种实施例中，地图构建管理器126可以利用计算装置112中的并行计算架构来执行实时地图构建。在一些实施例中，地图构建管理器126可以执行数据压缩，将密集地图转换为稀疏地图，以在客户端装置110上渲染。通过将密集地图压缩为稀疏地图，地图构建管理器126可以用于减小从可移动物体104到客户端装置110的传输所需的数据大小，因此节省数据传输时间和带宽，以进行有效的实时地图渲染。在该实施例中，与从可移动物体扫描目标环境返回获得的版本(即密集地图)相比，地图的实况渲染可以是较低分辨率或地图的压缩数据版本(即稀疏地图)。在一些实施例中，可以将地图输出为LiDAR数据交换文件(LAS)，LAS可以被各种工具用来渲染目标环境的地图和/或将地图构建数据用于进一步的处理、规划等。嵌入LAS输出文件中的元数据可以促进地图与各种第三方工具的集成。在各种实施例中，可以根据用户偏好以各种文件格式输出地图。
地图构建管理器126可以从扫描传感器124接收地图构建数据。如所讨论的，扫描传感器124可以是LiDAR传感器或提供对目标环境的高分辨率扫描的其他传感器。地图构建管理器126还可从定位传感器(例如，GPS模块、RTK模块或其他定位传感器)接收定位数据。在一些实施例中，定位传感器可以是功能模块108、感测系统118或连接到可移动物体104的单独模块的一部分，为可移动物体提供定位数据。可以使用定位数据对地图构建数据进行地理参考，并用于构建目标环境的地图。先验的3D地图构建方法依赖于有利于扫描匹配的复杂环境。先验地图系统需要复杂环境以使用扫描匹配来准备地图，与该地图系统不同，实施例客观地对地图构建数据进行地理参考。这允许对各种目标环境进行地图构建，而不管环境的复杂性如何。
可移动物体架构的附加细节在下文参考图2进行描述。
图2示出了根据各种实施例的可移动物体环境中的可移动物体架构的示例200。如图2所示，可移动物体104可以包括计算装置112和飞行控制器114。计算装置112可以经由诸如以太网或通用串行总线(USB)的高带宽连接来连接至扫描传感器124。计算装置112还可以通过诸如通用异步收发器(UART)的低带宽连接连接到定位传感器202。如所讨论的，定位传感器202可以是单独的模块(如图2所示)，或者可以作为功能模块108或感测系统118的一部分。定位传感器202可以包括无线电204，例如，4G、5G或其他蜂窝或移动网络无线电。RTK模块206可以使用无线电204来增强GPS模块208收集的定位数据。尽管在图2中示出了GPS模块，但可以使用任何全球导航卫星服务，例如，GLOSNASS、伽利略、北斗等。RTK模块206可以使用无线电204从参考站接收参考信号，并提供对GPS模块208提供的定位数据的校正。此外，GPS模块208可以将时钟信号(例如，秒脉冲(1PPS)信号)输出到扫描传感器124。允许扫描传感器和GPS传感器使用相同的时钟信号将同步时间戳应用于扫描传感器和GPS传感器收集的数据。
在各种实施例中，计算装置112可以连接到一个或多个高带宽部件，例如，一个或多个相机、立体视觉模块或有效载荷。计算装置112可以经由UART和/或USB连接到飞行控制器114，以经由通信系统120B向遥控器发送数据和从遥控器接收数据。在各种实施例中，计算装置112可以包括一个或多个CPU、GPU、现场可编程门阵列(FPGA)、片上系统(SoC)或其他处理器。
飞行控制器114可以连接到各种功能模块108，例如，磁力计210、气压计212和惯性测量单元(IMU)214。在一些实施例中，通信系统120B可以代替飞行控制器114连接到计算装置112，或者除飞行控制器114外，通信系统120B还连接到计算装置112。在一些实施例中，由一个或多个功能模块108和定位传感器202收集的传感器数据可以从飞行控制器114传递到计算装置112。
在一些实施例中，飞行控制器114和计算装置112可以实现为单独的装置(例如，单独的电路板上的单独的处理器)。备选地，飞行控制器114和计算装置112中的一个或多个可以实现为单个装置，例如，SoC。在各种实施例中，计算装置112可以从可移动物体去除。
图3示出了根据各种实施例的可移动物体环境中的地图构建管理器126的示例300。如图3所示，地图构建管理器126可以在计算装置112的一个或多个处理器302上执行。一个或多个处理器302可以包括CPU、GPU、FGPA、SoC或其他处理器。一个或多个处理器302可以是由计算装置112实现的并行计算架构的一部分。地图构建管理器126可以包括传感器接口303、数据准备模块308和地图生成器316。
传感器接口303可以包括扫描传感器接口304和定位传感器接口306。传感器接口303可以包括硬件和/或软件接口。扫描传感器接口304可以从扫描传感器(例如，LiDAR或其他扫描传感器)接收数据，定位传感器接口306可以从定位传感器(例如，GPS传感器、RTK传感器、IMU传感器和/或其他定位传感器或这些定位传感器的组合)接收数据。在各种实施例中，扫描传感器可以产生点云格式的地图构建数据。地图构建数据的点云可以是目标环境的三维表示。在一些实施例中，可以将地图构建数据的点云转换为矩阵表示。定位数据可以包括用于可移动物体的GPS坐标，在一些实施例中，可以包括与每个GPS坐标对应的可移动物体相关联的横滚值、俯仰值和偏航值。横滚值、俯仰值和偏航值可以从诸如惯性测量单元(IMU)之类的定位传感器或其他传感器获得。如所讨论的，可以从RTK模块获得定位数据，RTK模块基于从参考站接收的校正信号来校正GPS坐标。在一些实施例中，RTK模块可以产生与每个输出坐标相关联的方差值。方差值可以表示相应定位数据的准确性。例如，如果可移动物体正在执行急剧移动，则方差值会上升，表明已收集了不太准确的定位数据。方差值也可以根据大气条件而变化，从而导致可移动物体根据收集数据时出现的特定条件测量到不同的准确度。
定位传感器和扫描传感器可以共享时钟电路。例如，定位传感器可以包括时钟电路，并向扫描传感器输出时钟信号。在一些实施例中，单独的时钟电路可以分别向扫描传感器和定位传感器输出时钟信号。这样，可以使用共享时钟信号为定位数据和地图构建数据加时间戳。
在一些实施例中，定位传感器和扫描传感器可以输出具有不同延迟的数据。例如，定位传感器和扫描传感器可以不同时开始生成数据。这样，可以缓冲定位数据和/或地图构建数据以解决延迟。在一些实施例中，可以基于每个传感器的输出之间的延迟来选择缓冲器大小。在一些实施例中，地图构建管理器可以从定位传感器和扫描传感器接收数据，并使用传感器数据关于共享时钟信号共享的时间戳输出同步数据。这使得定位数据和地图构建数据能够在进一步处理之前同步。另外，从每个传感器获得的数据的频率可以不同。例如，扫描传感器可以产生数百kHz范围内的数据，而定位传感器可以产生数百Hz范围内的数据。因此，为了确保地图构建数据的每个点具有相应的定位数据，上采样模块310可以将较低频率的数据插值以匹配较高频率的数据。例如，假设定位数据是由定位传感器以100Hz产生的，而地图构建数据是由扫描传感器(例如，LiDAR传感器)以100kHz产生的，则定位数据可以从100Hz上采样到100kHz。可以使用各种上采样技术来对定位数据进行上采样。例如，可以使用诸如最小二乘之类的线性拟合算法。在一些实施例中，可以使用非线性拟合算法对定位数据进行上采样。另外，也可以对定位数据的横滚值、俯仰值、偏航值进行插值，以匹配地图构建数据的频率。在一些实施例中，可以对横滚值、俯仰值和偏航值进行球面线性插值(SLERP)，以匹配地图构建数据中的点数。同样可以对时间戳插值，以匹配插值的定位数据。
一旦定位数据已由上采样模块310进行了上采样并与地图构建数据同步，地理参考模块312便可以将地图构建数据的矩阵表示从收集了该地图构建数据的参考系(或参考坐标系)(例如，扫描仪参考系或扫描仪参考坐标系)转换到所需的参考系(或所需的参考坐标系)。例如，可以将定位数据从扫描仪参考系转换为北东地(NED)参考系(或NED坐标系)。定位数据转换成的参考系可以根据所生成地图的应用而有所不同。例如，如果将地图用于勘查，则可以将参考系转换为NED参考系。再例如，如果将地图用于渲染运动(例如，飞行模拟)，则可以将参考系转换为FlightGear坐标系。地图的其他应用可以影响定位数据到不同参考系或不同坐标系的转换。
将地图构建数据的点云中的每个点与扫描仪参考系中相对于扫描传感器确定的位置关联。然后，可以使用由定位传感器产生的可移动物体的定位数据，将扫描仪参考系中的位置转换为世界坐标系(例如，GPS坐标系)中的输出参考系。例如，基于定位数据，已知扫描传感器在世界坐标系中的位置。在一些实施例中，定位传感器和扫描模块可以抵消(例如，由于位于可移动物体上的不同位置)。在该实施例中，还可以使用在该抵消中的校正因子从扫描仪参考系转换为输出参考系(例如，可以使用定位传感器和扫描传感器之间的抵消来校正定位数据中的每个测量位置)。对于地图构建数据的点云中的每个点，可以使用时间戳识别相应的定位数据。然后，可以将点转换为新的参考系。在一些实施例中，可以使用来自定位数据的插值的横滚值、俯仰值和偏航值将扫描仪参考系转换为水平参考系。一旦地图构建数据已经被转换为水平参考系，则可以将其进一步转换为笛卡尔系或其他输出参考系。转换完每个点后，得到的结果就是一个地理参考点云，该点云中的每个点都参考了世界坐标系。在一些实施例中，在执行异常值去除，以从地理参考点云中去除异常数据之前，可以将地理参考点云提供给地图生成器316。
在产生地理参考点云后，异常值去除模块314可以从地理参考点云中去除异常值数据。在一些实施例中，可以对地理参考点云进行下采样，从而减少数据中异常值的数量。可以使用体素(voxels)对该数据进行下采样。在一些实施例中，每个体素中的点可以被平均，每个体素可以输出一个或多个平均点。因此，在对每个体素中的点求平均的过程中，异常点将从数据集中去除。在各个实施例中，可以任意定义体素的分辨率(例如，每个体素的大小)。允许生成稀疏和密集的下采样点云。分辨率可以由用户或者由地图构建管理器，基于例如可用的计算资源、用户偏好、默认值或其他特定于应用的信息来确定。例如，较低的分辨率(例如，较大的体素大小)可用于产生稀疏的下采样点云，以在客户端装置或移动装置上可视化。附加地或备选地，可以从统计上去除异常值。例如，可以确定从每个点到其最近邻居的距离并进行统计分析。如果从点到该点最近邻居的距离大于阈值(例如，点云中最近邻居距离的标准差)，则可以将该点从点云中去除。在一些实施例中，异常值去除技术可以由用户选择或由地图构建管理器自动选择。在一些实施例中，可以禁止异常值去除。
如所讨论的，点云数据可以是目标环境的三维表示。该3D表示可以被划分为体素(例如，3D像素)。
在统计异常值去除后，可以将所得的点云数据提供给地图生成器316。在一些实施例中，地图生成器316可以包括密集地图生成器318和/或稀疏地图生成器320。在该实施例中，密集地图生成器318可以根据异常值去除前接收到的点云数据来生成高密度地图，而稀疏地图生成器320可以根据异常值去除后接收到的稀疏的下采样点云数据来生成低密度地图。在其他实施例中，密集地图生成器318和稀疏地图生成器320可以分别根据在异常值去除后接收到的点云，生成高密度地图和低密度地图。在该实施例中，每个地图生成器可以使用相同的过程来生成输出地图，但是可以改变体素的大小，以生成高密度或低密度地图。在一些实施例中，客户端装置或移动装置可以使用低密度地图提供地图构建数据的实时可视化。高密度地图可以作为LIDAR数据交换文件(LAS)或其他文件类型输出，以与各种地图构建、规划、分析或其他工具一起使用。
地图生成器可以使用点云数据来执行对地图中点位置的概率估计。例如，地图生成器可以使用3D地图构建库(例如，OctoMap)来生成输出地图。地图生成器可以将点云数据划分为体素。对于每个体素，地图生成器可以确定体素中有多少个点，并基于点的数量和与每个点关联的方差确定点在该体素中的概率。可以将该概率与占用阈值进行比较，如果该概率大于占用阈值，则可以在输出地图中的该体素中表示一个点。在一些实施例中，给定体素被占用的概率可以表示为：
Figure BDA0003044759510000131
节点n被占用的概率P(n|z1:t)是当前测量值z1、先前概率P(n)和先前估计值P(n|z1:t-1)的函数。另外，P(n|zt)表示在给定测量zt时体素n被占用的概率。该概率可以增强为包括由定位传感器测量的每个点的方差，如以下公式所示：
Figure BDA0003044759510000141
Figure BDA0003044759510000142
在上式中，P(n)表示体素n被占用的总概率。在上式中使用1/2是一种特定的实现方式，由此将概率映射到1/2-1的范围内。该范围可以变化，取决于所使用的特定实现方式。在上式中，总概率是针对x、y和z维计算的概率的乘积。可以基于每个维度中每个点的均值μ和给定维度中每个测量的方差σ2来确定每个维度中的概率，其中x、y和z对应于给定点的坐标值。给定体素中的均值点附近的大量点可以使概率增加，而体素中的点的更分散的集合可以使概率降低。同样，与数据关联的较大方差(例如，指示已经收集较低精度的位置数据)可以使概率降低，而较小方差可以使概率增加。给定该体素中点的均值和方差值，P(n,μ,σ2)表示该体素的高斯分布。
如果体素被占用的总概率大于阈值占用值，则可以将一个点添加到该体素。在一些实施例中，可以对该体素中的所有点求平均，所得的均值坐标可以用作该体素中的点的位置。与替代方法(例如，使用占用的体素的中心点作为点，会导致取决于体素的分辨率而产生偏斜的结果)相比，该方法可以提高所得地图的准确性。在各种实施例中，可以基于给定应用的可用处理资源量和/或基于数据中可接受的噪声量来设置占用阈值。例如，可以将占用阈值设置为默认值70％。为了减少噪声，可以设置更高的阈值。另外，可以根据所收集的数据的质量来设置占用阈值。例如，在一组条件下收集的数据可以是高质量的(例如，低方差)，因此可以设置较低的占用阈值，而较低质量的数据会需要较高的占用阈值。
接下来，可以将生成的地图数据(其中，每个占用的体素中有一个点)输出为LAS文件或其他文件格式。在一些实施例中，可以在不进行附加处理(例如，异常值去除)的情况下输出地理参考点云数据。在一些实施例中，点云数据中的每个点还可以与强度值相关联。强度值可以表示被扫描物体的各种特征，例如，参考平面上方的高度、材料成分等。输出地图中每个点的强度值可以是针对地图构建数据中每个点测量的强度值的平均值，其中地图构建数据由扫描传感器(例如，LiDAR传感器)收集。
图4A和图4B示出了根据各种实施例的分层数据结构的示例。如上所述，如图4A所示，代表3D环境400的数据可以被划分为多个体素。如图4A所示，目标环境可以被划分为八个体素，其中每个体素还被划分为八个子体素，每个子体素被进一步划分为八个较小的子体素。每个体素可以代表3D环境的不同体积部分。可以细分体素，直到达到最小体素大小为止。所得的3D环境可以表示为分层数据结构402，其中数据结构的根表示整个3D环境，每个子节点表示3D环境内不同层次结构中的不同体素。
图5A和图5B示出了根据各种实施例的地图构建数据中的异常值去除的示例。如图5A所示，当扫描目标物体时，目标物体可以表示为多个点，这些点聚集在物体的不同部分上，包括表面(例如，表面501)、边缘(例如，边缘503)和目标环境中目标物体的其他部分。为了简化描述，这些表面、边缘等以实线表示。在数据的各个区域500A-500F中，存在其他异常点。如图5A所示，在空白空间区域中是最明显的。与目标物体的表面和边缘的密集点相比，这些点是分散的。异常值去除可以用于消除或减少数据中这些点的数量。如上所述，可以对地理参考点云数据进行下采样，从而减少数据中异常值的数量。附加地或备选地，可以从统计上去除异常值。例如，可以确定从每个点到其最近邻居的距离并进行统计分析。如果从点到该点最近邻居的距离大于阈值(例如，点云中最近邻居距离的标准差)，则可以将该点从点云中去除。如图5B所示，在异常值去除后，点云数据区域502A-502F已经减小，从而提供了更清晰的3D地图。
图6示出了根据各种实施例的地图构建数据中的强度值的示例600。如图6所示，强度值的一个示例可以是表示参考平面上方的高度。在此示例中，可以为不同的高度范围分配不同的强度值602-606，如此处使用灰阶着色所示。在各种实施例中，为了表示不同的值或值的范围，可以使用不同的颜色来表示强度。另外，强度可以用于表示被扫描的不同材料。例如，钢和混凝土将以不同方式吸收和反射由扫描传感器产生的入射辐射，从而使扫描传感器能够识别使用中的不同材料。每种材料可以被编码为与每个点相关联的不同的强度值，并在输出地图中由不同的颜色表示。另外，尽管图6中的示例示出了代表不同高度范围的三种灰阶颜色，在各种实施例中，可以使用连续的颜色梯度来表示参考平面上方的高度值的连续变化。
图7示出了根据各种实施例的在软件开发环境中支持可移动物体接口的示例。如图7所示，可移动物体接口703可以用于在软件开发环境700(例如，软件开发工具包(SDK)环境)中提供对可移动物体701的访问。在一些实施例中，可移动物体接口703可以渲染由地图构建管理器和其他用于接收用户输入的接口部件生成的实时地图。实时地图可以在与可移动物体通信的客户端装置或其他计算装置的显示器上渲染。如本文所使用的，SDK可以是在连接到可移动物体701的机载环境上实现的机载SDK。SDK也可以是在与客户端装置或移动装置连接的非机载环境中实现的移动SDK。如上所述，可以使用连接到可移动物体701的机载SDK或连接到客户端装置或移动装置的移动SDK来实现地图构建管理器，以使应用能够实现如本文所述的实时地图构建。
此外，可移动物体701可以包括各种功能模块A-C 711-713，可移动物体接口703可以包括不同的接口部件A-C 731-733。可移动物体接口703中的每个接口部件A-C 731-733对应于可移动物体701中的模块A-C 711-713。在一些实施例中，可以在与可移动物体通信的客户端装置或其他计算装置的显示器的用户界面上渲染接口部件。在此类示例中，所渲染的接口部件可以包括可选命令按钮，用于接收用户输入/指令，以控制可移动物体的相应功能模块。
根据各种实施例，可移动物体接口703可以提供一个或多个回调函数，用于支持应用和可移动物体701之间的分布式计算模型。
应用可以使用回调函数来确认可移动物体701是否已接收到命令。应用也可以使用回调函数来接收执行结果。因此，即使应用和可移动物体701在空间和逻辑上是分开的，它们也可以交互。
如图7所示，接口部件A-C 731-733可以与监听器A-C 741-743关联。监听器A-C741-743可以通知接口部件A-C 731-733使用相应的回调函数从相关模块接收信息。
此外，为可移动物体接口703准备数据720的数据管理器702可以解耦并打包可移动物体701的相关功能。数据管理器702可以是机载的，即连接到可移动物体701或位于可移动物体701上。数据管理器702准备数据720，以经由可移动物体701与客户端装置或移动装置之间的通信，将数据720传送到可移动物体接口703。数据管理器702可以是机外的，即连接到客户端装置或移动装置，或者位于客户端装置或移动装置上，数据管理器702经由客户端装置或移动装置内的通信，为可移动物体接口703准备数据720。数据管理器702也可以用于管理应用和可移动物体701之间的数据交换。因此，应用开发人员无需参与复杂的数据交换过程。在一些实施例中，地图构建管理器126可以是数据管理器702的一种实现方式。在该实施例中，地图构建管理器用于管理地图构建数据，包括使用地图构建数据和定位数据来生成地图，以及基于默认设置或用户选择来渲染所生成的地图以供显示。
例如，机载或移动SDK可以提供一系列回调函数，用于传递即时消息并从可移动物体接收执行结果。机载或移动SDK可以配置回调函数的生命周期，以确保信息交换稳定且完整。例如，机载或移动SDK可以(例如，使用Android系统或iOS系统)在智能电话上的可移动物体和应用之间建立连接。在智能电话系统的生命周期后，回调函数(例如，从可移动物体接收信息的回调函数)可以利用智能电话系统中的模式，并根据智能电话系统生命周期的不同阶段更新语句。
图8示出了根据各种实施例的可移动物体接口的示例。如图8所示，可移动物体接口803可以在客户端装置或其他计算装置的显示器上渲染，代表可移动物体801的不同部件的状态。因此，可移动物体环境800中的应用(例如，应用804-806)可以经由可移动物体接口803访问和控制可移动物体801。如所讨论的，这些应用可以包括检测应用804、查看应用805和校准应用806。
例如，可移动物体801可以包括各种模块，例如，相机811、电池812、云台813和飞行控制器814。
相应地，可移动物体接口803可以包括相机部件821、电池部件822、云台部件823和飞行控制器部件824，以渲染在计算装置或其他计算装置上，通过使用应用804-806接收用户输入/指令。
另外，可移动物体接口803可以包括地面站部件826，地面站部件826与飞行控制器部件824相关联。地面站部件执行一个或多个需要高级权限的飞行控制操作。
图9示出了根据各种实施例的软件开发工具包(SDK)中用于可移动物体的部件的示例。SDK 900可以是机载SDK，在机载地图构建管理器上实现，或者，SDK 900可以是移动SDK，在位于客户端装置或移动装置上的地图构建管理器上实现。SDK 900可以对应于上述地图构建管理器的全部或部分，或者SDK 900可以用于将地图构建管理器实现为独立的应用。如图9所示，SDK 900中的无人机类901是可移动物体(例如，无人机)的其他部件902-907的集合。可以访问其他部件902-907的无人机类901能够与其他部件902-907交换信息并控制其他部件902-907。
根据各种实施例，应用可能仅对无人机类901的一个实例可访问。备选地，无人机类901的多个实例可以出现在应用中。
在SDK中，应用可以连接到无人机类901的实例，以便将控制命令上载到可移动物体。例如，SDK可以包括用于建立到可移动物体的连接的功能。此外，SDK可以使用末端连接功能断开与可移动物体的连接。连接到可移动物体后，开发人员可以访问其他类(例如，相机类902、电池类903、云台类904和飞行控制器类905)。接着，无人机类901可以用于调用特定功能，例如，提供访问数据，访问数据可以被飞行控制器用来控制可移动物体的行为和/或限制可以动物体的移动。
根据各种实施例，应用可以使用电池类903来控制可移动物体的电源。应用还可以使用电池类903来计划和测试各种飞行任务的时间表。由于电池是可移动物体中受限制最大的元素之一，因此应用可以认真考虑电池的状态，不仅是为了确保可移动物体的安全，而且是为了确保可移动物体能够完成指定的任务。例如，电池类903可以配置为：如果电池电量低，则可移动物体可以终止任务并直接返回。例如，如果确定可移动物体具有低于阈值的电池电量，则电池类可以使可移动物体进入省电模式。在省电模式下，电池类可以关闭或减少可用于各种部件的电力，这些部件不是可移动物体安全返回所不可或缺的。例如，不用于导航的相机和其他附件可以断电，以增加飞行控制器、马达、导航系统以及可移动物体返回、安全着陆等所需的任何其他系统的可用的电量。
使用SDK，应用可以通过调用无人机电池类中的信息请求函数来获取电池的当前状态和信息。在一些实施例中，SDK可以包括用于控制这种反馈的频率的功能。
根据各种实施例，应用可以使用相机类902来定义在可移动物体(例如，无人飞行器)中对相机的各种操作。例如，在SDK中，相机类包括用于接收SD卡中的媒体数据、获取和设置照片参数、拍照和录制视频的功能。
应用可以使用相机类902修改照片和记录的设置。例如，SDK可以包括使开发人员能够调整所拍摄照片的大小的功能。此外，应用可以使用媒体类来维护照片和记录。
根据各种实施例，应用可以使用云台类904来控制可移动物体的视角。例如，云台类可用于配置实际视角，例如，设置可移动物体的第一人称视角。云台类也可以用于自动稳定云台，以便集中于一个方向。应用也可以使用云台类来更改用于检测不同物体的视角。
根据各种实施例，应用可以使用飞行控制器类905来提供关于可移动物体的各种飞行控制信息和状态。如所讨论的，飞行控制器类可以包括用于接收和/或请求访问数据的功能，访问数据用于控制可移动物体在可移动物体环境中跨各个区域的移动。
使用飞行控制器类，应用可以(例如，使用即时消息)监控飞行状态。例如，飞行控制器类中的回调函数可以每隔1000毫秒(1000ms)发送一次即时消息。
此外，飞行控制器类允许应用的用户调查从可移动物体接收的即时消息。例如，飞行员可以分析每次飞行的数据，以进一步提高飞行技能。
根据各种实施例，应用可以使用地面站类907执行一系列操作来控制可移动物体。
例如，SDK可以要求应用具有SDK-LEVEL-2密钥才能使用地面站类。地面站类可以提供一键飞行、一键回家、通过应用手动控制无人机(即操纵杆模式)、设置巡航和/或航路点以及各种其他任务调度功能。
根据各种实施例，应用可以使用通信部件来在应用和可移动物体之间建立网络连接。
图10示出了根据各种实施例的在可移动物体环境中的目标地图构建方法的流程图。在操作/步骤1002，可以从可移动物体(例如，UAV)支撑的扫描传感器(例如，LiDAR传感器)获取地图构建数据。在一些实施例中，扫描传感器可以是LiDAR传感器。在操作/步骤1004中，可以从可移动物体(例如，UAV)支撑的定位传感器(例如，GPS传感器、RTK传感器、IMU传感器和/或其他定位传感器或这些传感器的组合)获取定位数据。在一些实施例中，定位传感器可以是RTK传感器或IMU传感器。
在操作/步骤1006中，可以至少基于与地图构建数据和定位数据相关联的时间数据，将地图构建数据与定位数据关联。在一些实施例中，将地图构建数据与定位数据相关联可以包括：对定位数据进行上采样以包括数量与地图构建数据中的点数相等的位置；以及将地图构建数据中的每个点与上采样的定位数据中的对应位置关联。在一些实施例中，可以使用时钟电路获得与地图构建数据和定位数据关联的时间数据，时钟电路提供电连接到扫描传感器和定位传感器的参考时钟信号。
在操作/步骤1008中，可以至少基于关联的地图构建数据和定位数据，在第一坐标系中生成地图。在一些实施例中，生成地图可以包括：对于地图的多个体素中的每个体素，从地图构建数据确定要位于该体素中的一个或多个点，以及至少基于该体素中点的数量确定该体素的占用概率。在一些实施例中，基于与位于体素中的一个或多个点关联的定位数据的方差来确定占用概率。在一些实施例中，对于占用概率大于占用概率阈值的每个体素，可以计算体素中一个或多个点的平均位置，可以在地图中的平均位置处生成一个点。在一些实施例中，对于占用概率大于占用概率阈值的每个体素，可以计算体素中一个或多个点的平均强度值，该平均强度值可以与地图中生成的点关联。在一个实施例中，基于体素中每个点的特征来计算平均强度值，其中每个点的特征与扫描传感器检测到的高度或材料关联。
在一些实施例中，该方法还可以包括确定地图构建数据中的点的分布，地图构建数据中的每个点与地图构建数据中最近相邻点的距离关联，去除关联距离大于距离阈值任何点。在一些实施例中，该方法还可以包括：通过缩放因子对地图构建数据进行下采样；将地图构建数据划分为多个体素；以及针对多个体素中的每个体素，从下采样后的地图构建数据中输出平均点。在一些实施例中，该方法还可以包括将地图变换成第二坐标系并输出变换后的地图。例如，可以将定位数据从扫描仪参考系转换为北东地(NED)参考系(或NED坐标系)。定位数据转换成的参考系可以根据所生成地图的应用而有所不同。例如，如果将地图用于测量，则可以将参考系转换为NED参考系。再例如，如果将地图用于渲染运动(例如，飞行模拟)，则可以将参考系转换为FlightGear坐标系。地图的其他应用可以影响定位数据到不同参考系或不同坐标系的转换。
在一些实施例中，如上所述的地理参考可以与扫描匹配(例如，即时定位与地图构建(SLAM)或LiDar里程计与地图构建(LOAM))相结合。传统方法使用带有或不带有惯性导航输入的SLAM。例如，一些方法通过SLAM注入IMU信息，有时通过GPS注入里程计，从而提供了改进的地图构建算法。与传统方法不同，实施例可以执行如上所述的直接地理参考，接着可以在地理参考的顶部添加一层SLAM或LOAM。由于地理参考是生成地图质量的底板，因此提供了一种鲁棒的地图构建算法。
在一些实施例中，如上所述的地理参考可以与正态分布变换(NDT)结合。NDT是一种LiDAR扫描配准方法，介于基于特征的配准方法(例如，LOAM)和基于点的配准方法(例如，迭代最近点)之间。世界的“特征”通过每个体素中定义的多元高斯分布来描述。为每个像元生成一个概率密度函数(PDF)，并通过将PDF、点x和变换T生成的概率之和最大化，将点与地图匹配：
Figure BDA0003044759510000221
Figure BDA0003044759510000222
许多功能可以在硬件、软件、固件或其组合中、使用硬件、软件、固件或其组合或者由硬件、软件、固件或其组合辅助执行。因此，可以使用处理系统(例如，包括一个或多个处理器)来实现特征。示例性处理器可以包括但不限于一个或多个通用微处理器(例如，单核或多核处理器)、专用集成电路、专用指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。
可以在计算机程序产品中、使用计算机程序产品或借助计算机程序产品来实现特征，计算机程序产品是存储介质(媒介)或存储有指令的计算机可读介质(媒介)，可以用于对处理系统进行编程以执行本文介绍的任何功能。存储介质可以包括但不限于任何类型的磁盘，包括软盘、光盘、DVD、CD-ROM、微驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存存储装置、磁卡或光卡、纳米系统(包括分子存储IC)或适合存储指令和/或数据的任何类型的介质或装置。
可以将特征存储在任何一种机器可读介质(媒介)中，以将特征合并到软件和/或固件中，用于控制处理系统的硬件，并使处理系统能够与利用结果的其他机构进行交互。此类软件或固件可以包括但不限于应用代码、装置驱动、操作系统和执行环境/容器。
本申请的特征例如还可以使用诸如专用集成电路(ASIC)和现场可编程门阵列(FPGA)装置之类的硬件来实现。用于执行本文描述的功能的硬件状态机的实现对于相关领域的技术人员将是显而易见的。
另外，可以使用一个或多个常规的通用或专用数字计算机、计算装置、机器或微处理器来方便地实现本申请，包括根据本申请的教导而编程的一个或多个处理器、存储器和/或计算机可读存储介质。对软件领域的技术人员显而易见的是，熟练的程序员可以基于本申请的教导容易地准备适当的软件编码。
尽管上文已经描述了各种实施例，但是应当理解，这些实施例通过示例而非限制的方式给出。对于相关领域的技术人员显而易见的是，在不脱离本申请的精神和范围的情况下，可以在形式和细节上进行各种改变。
上文已经借助于说明特定功能的性能及其关系的功能构件描述了本申请。为了便于描述，在本文中任意定义了这些功能构件的边界。只要适当执行指定的功能及其关系，就可以定义其他边界。因此，任何这样的替代边界都在本申请的范围和精神内。
出于说明和描述的目的已经提供了前述描述。并不旨在穷举或将本申请限制为所公开的精确形式。广度和范围不应受到任何上述示例性实施例的限制。许多修改和变化对于本领域技术人员将是显而易见的。修改和变化包括所公开特征的任何相关组合。选择和描述实施例是为了最好地解释本申请的原理及其实际应用，从而使本领域的其他技术人员能够理解本申请的各种实施例以及具有适合于预期的特定用途的各种修改。本申请的范围旨在由所附权利要求及其等同物来限定。
在上述各种实施例中，诸如短语“A、B或C中的至少一个”之类的析取语言应理解为表示A、B或C或其任意组合(例如，A、B和/或C)，除非另有明确说明。因此，析取语言既不旨在也不应该被理解为给定的实施例需要存在至少一个A、至少一个B或至少一个C。

Claims (36)

1.一种用于在可移动物体环境中进行实时地图构建的系统，包括：
至少一个可移动物体，包括计算装置；
扫描传感器，电连接到所述计算装置；
定位传感器，电连接到所述计算装置；
所述计算装置包括至少一个处理器和地图构建管理器，所述地图构建管理器包括指令，所述指令在由所述处理器执行时，使所述地图构建管理器执行以下操作：
从所述扫描传感器获取地图构建数据；
从所述定位传感器获取定位数据；
至少基于与所述地图构建数据和所述定位数据相关联的时间数据，将所述地图构建数据与所述定位数据关联；以及
至少基于关联的地图构建数据和定位数据，在第一坐标系中生成地图。
2.根据权利要求1所述的系统，其中，当至少基于与所述地图构建数据和所述定位数据相关联的时间数据，将所述地图构建数据与所述定位数据关联的指令由所述处理器执行时，还使所述地图构建管理器执行以下操作：
对所述定位数据进行上采样，以包括与所述地图构建数据中的点的数量相等的位置的数量；以及
将所述地图构建数据中的每个点与经上采样的定位数据中的对应位置关联。
3.根据权利要求2所述的系统，还包括：
时钟电路，电连接到所述扫描传感器和所述定位传感器，以提供与所述地图构建数据和所述定位数据相关联的时间数据。
4.根据权利要求1所述的系统，其中，当至少基于关联的地图构建数据和定位数据，在第一坐标系中生成地图的指令由所述处理器执行时，还使所述地图构建管理器执行以下操作：
针对所述地图的多个体素中的每个体素：
从所述地图构建数据中确定要定位在所述体素中的一个或多个点；以及
至少基于所述体素中的点的数量，确定所述体素的占用概率。
5.根据权利要求4所述的系统，其中，基于与定位在所述体素中的一个或多个点相关联的定位数据的方差，确定所述占用概率。
6.根据权利要求4所述的系统，其中，当所述指令由所述处理器执行时，还使所述地图构建管理器执行以下操作：
针对占用概率大于占用概率阈值的每个体素：
计算定位在所述体素中的一个或多个点的平均位置；以及
在所述地图中，在所述平均位置处生成点。
7.根据权利要求6所述的系统，其中，当所述指令被执行时，还使所述地图构建管理器执行以下操作：
针对占用概率大于所述占用概率阈值的每个体素：
计算定位在所述体素中的一个或多个点的平均强度值；以及
将所述平均强度值与所述地图中生成的点关联。
8.根据权利要求1所述的系统，其中，当所述指令由所述处理器执行时，还使所述地图构建管理器执行以下操作：
确定所述地图构建数据中的点的分布，所述地图构建数据中的每个点与距所述地图构建数据中最近相邻点的距离相关联；以及
去除与大于距离阈值的距离相关联的任意点。
9.根据权利要求1所述的系统，其中，当所述指令由所述处理器执行时，还使所述地图构建管理器执行以下操作：
通过缩放因子对所述地图构建数据进行下采样；
将所述地图构建数据划分为多个体素；以及
从经下采样的地图构建数据中为多个体素中的每个体素输出平均点。
10.根据权利要求1所述的系统，其中，当所述指令由所述处理器执行时，还使所述地图构建管理器执行以下操作：
将所述地图转换为第二坐标系；以及
输出经转换的地图。
11.根据权利要求1所述的系统，其中，所述扫描传感器包括光检测和测距(LiDAR)传感器。
12.根据权利要求1所述的系统，其中，所述定位传感器包括实时动态(RTK)传感器或惯性测量单元(IMU)传感器。
13.一种用于在可移动物体环境中进行实时地图构建的方法，包括：
从由可移动物体支撑的扫描传感器获取地图构建数据；
从由所述可移动物体支撑的定位传感器获取定位数据；
至少基于与所述地图构建数据和所述定位数据相关联的时间数据，将所述地图构建数据与所述定位数据关联；以及
至少基于关联的地图构建数据和定位数据，在第一坐标系中生成地图。
14.根据权利要求13所述的方法，其中，至少基于与所述地图构建数据和所述定位数据相关联的时间数据，将所述地图构建数据与所述定位数据关联还包括：
对所述定位数据进行上采样，以包括与所述地图构建数据中的点的数量相等的位置的数量；以及
将所述地图构建数据中的每个点与经上采样的定位数据中的对应位置关联。
15.根据权利要求14所述的方法，还包括：
从时钟电路获取与所述地图构建数据和所述定位数据相关联的时间数据，所述时钟电路电连接到所述扫描传感器和所述定位传感器。
16.根据权利要求13所述的方法，其中，至少基于关联的地图构建数据和定位数据，在第一坐标系中生成地图还包括：
针对所述地图的多个体素中的每个体素：
从所述地图构建数据中确定要定位在所述体素中的一个或多个点；以及
至少基于所述体素中的点的数量，确定所述体素的占用概率。
17.根据权利要求16所述的方法，其中，基于与定位在所述体素中的一个或多个点相关联的定位数据的方差，确定所述占用概率。
18.根据权利要求16所述的方法，还包括：
针对占用概率大于占用概率阈值的每个体素：
计算定位在所述体素中的一个或多个点的平均位置；以及
在所述地图中，在所述平均位置处生成点。
19.根据权利要求18所述的方法，还包括：
针对占用概率大于所述占用概率阈值的每个体素：
计算定位在所述体素中的一个或多个点的平均强度值；以及
将所述平均强度值与所述地图中生成的点关联。
20.根据权利要求13所述的方法，还包括：
确定所述地图构建数据中的点的分布，所述地图构建数据中的每个点与距所述地图构建数据中最近相邻点的距离相关联；以及
去除与大于距离阈值的距离相关联的任意点。
21.根据权利要求13所述的方法，还包括：
通过缩放因子对所述地图构建数据进行下采样；
将所述地图构建数据划分为多个体素；以及
从经下采样的地图构建数据中为多个体素中的每个体素输出平均点。
22.根据权利要求13所述的方法，还包括：
将所述地图转换为第二坐标系；以及
输出经转换的地图。
23.根据权利要求13所述的方法，其中，所述扫描传感器包括光检测和测距(LiDAR)传感器。
24.根据权利要求13所述的方法，其中，所述定位传感器包括实时动态(RTK)传感器或惯性测量单元(IMU)传感器。
25.一种非暂时性计算机可读存储介质，包括存储在其上的指令，所述指令在由一个或多个处理器执行时，使所述一个或多个处理器执行以下操作：
从由可移动物体支撑的扫描传感器获取地图构建数据；
从由所述可移动物体支撑的定位传感器获取定位数据；
至少基于与所述地图构建数据和所述定位数据相关联的时间数据，将所述地图构建数据与所述定位数据关联；以及
至少基于关联的地图构建数据和定位数据，在第一坐标系中生成地图。
26.根据权利要求25所述的非暂时性计算机可读存储介质，其中，当至少基于与所述地图构建数据和所述定位数据相关联的时间数据，将所述地图构建数据与所述定位数据关联的指令被执行时，还使所述一个或多个处理器执行以下操作：
对所述定位数据进行上采样，以包括与所述地图构建数据中的点的数量相等的位置的数量；以及
将所述地图构建数据中的每个点与经上采样的定位数据中的对应位置关联。
27.根据权利要求26所述的非暂时性计算机可读存储介质，其中，当所述指令被执行时，还使所述一个或多个处理器执行以下操作：
从时钟电路获取与所述地图构建数据和所述定位数据相关联的时间数据，所述时钟电路电连接到所述扫描传感器和所述定位传感器。
28.根据权利要求25所述的非暂时性计算机可读存储介质，其中，当至少基于关联的地图构建数据和定位数据，在第一坐标系中生成地图的指令被执行时，还使所述一个或多个处理器执行以下操作：
针对所述地图的多个体素中的每个体素：
从所述地图构建数据中确定要定位在所述体素中的一个或多个点；以及
至少基于所述体素中的点的数量，确定所述体素的占用概率。
29.根据权利要求28所述的非暂时性计算机可读存储介质，其中，基于与定位在所述体素中的一个或多个点相关联的定位数据的方差，确定所述占用概率。
30.根据权利要求28所述的非暂时性计算机可读存储介质，其中，当所述指令被执行时，还使所述一个或多个处理器执行以下操作：
针对占用概率大于占用概率阈值的每个体素：
计算定位在所述体素中的一个或多个点的平均位置；以及
在所述地图中，在所述平均位置处生成点。
31.根据权利要求30所述的非暂时性计算机可读存储介质，其中，当所述指令被执行时，还使所述一个或多个处理器执行以下操作：
针对占用概率大于所述占用概率阈值的每个体素：
计算定位在所述体素中的一个或多个点的平均强度值；以及
将所述平均强度值与所述地图中生成的点关联。
32.根据权利要求25所述的非暂时性计算机可读存储介质，其中，当所述指令被执行时，还使所述一个或多个处理器执行以下操作：
确定所述地图构建数据中的点的分布，所述地图构建数据中的每个点与距所述地图构建数据中最近相邻点的距离相关联；以及
去除与大于距离阈值的距离相关联的任意点。
33.根据权利要求25所述的非暂时性计算机可读存储介质，其中，当所述指令被执行时，还使所述一个或多个处理器执行以下操作：
通过缩放因子对所述地图构建数据进行下采样；
将所述地图构建数据划分为多个体素；以及
从经下采样的地图构建数据中为多个体素中的每个体素输出平均点。
34.根据权利要求25所述的非暂时性计算机可读存储介质，其中，当所述指令被执行时，还使所述一个或多个处理器执行以下操作：
将所述地图转换为第二坐标系；以及
输出经转换的地图。
35.根据权利要求25所述的非暂时性计算机可读存储介质，其中，所述扫描传感器包括光检测和测距(LiDAR)传感器。
36.根据权利要求25所述的非暂时性计算机可读存储介质，其中，所述定位传感器包括实时动态(RTK)传感器或惯性测量单元(IMU)传感器。
CN201980071644.0A 2018-10-29 2019-10-25 用于在可移动物体环境中进行实时地图构建的技术 Pending CN112955713A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862752273P 2018-10-29 2018-10-29
US62/752,273 2018-10-29
PCT/US2019/058218 WO2020092178A1 (en) 2018-10-29 2019-10-25 Techniques for real-time mapping in a movable object environment

Publications (1)

Publication Number Publication Date
CN112955713A true CN112955713A (zh) 2021-06-11

Family

ID=70326830

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201980071644.0A Pending CN112955713A (zh) 2018-10-29 2019-10-25 用于在可移动物体环境中进行实时地图构建的技术
CN201980071156.XA Pending CN113015677A (zh) 2018-10-29 2019-10-25 用于执行实时地图构建的可移动物体
CN201980071197.9A Pending CN113196197A (zh) 2018-10-29 2019-10-28 使用有效载荷组件执行实时地图构建的可移动物体

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201980071156.XA Pending CN113015677A (zh) 2018-10-29 2019-10-25 用于执行实时地图构建的可移动物体
CN201980071197.9A Pending CN113196197A (zh) 2018-10-29 2019-10-28 使用有效载荷组件执行实时地图构建的可移动物体

Country Status (5)

Country Link
US (6) US10983201B2 (zh)
EP (3) EP3793899A4 (zh)
JP (1) JP2022502784A (zh)
CN (3) CN112955713A (zh)
WO (2) WO2020092178A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102476404B1 (ko) * 2017-07-18 2022-12-12 엘지이노텍 주식회사 ToF 모듈 및 그 ToF 모듈을 이용한 피사체 인식장치
CN107797129B (zh) * 2017-10-13 2020-06-05 重庆市勘测院 无gnss信号下的点云数据采集方法及装置
US10937202B2 (en) * 2019-07-22 2021-03-02 Scale AI, Inc. Intensity data visualization
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
US20220397421A1 (en) * 2019-12-17 2022-12-15 Mitsubishi Electric Corporation Measurement vehicle, and base station
US20210247506A1 (en) * 2020-02-12 2021-08-12 Aptiv Technologies Limited System and method of correcting orientation errors
US10983681B1 (en) * 2020-04-07 2021-04-20 Gm Cruise Holdings Llc Image identification system
CN116783619A (zh) * 2020-05-11 2023-09-19 康耐视公司 用于生成点云直方图的方法和装置
US11468609B2 (en) * 2020-05-11 2022-10-11 Cognex Corporation Methods and apparatus for generating point cloud histograms
DE102020206940A1 (de) 2020-06-03 2021-12-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Rendern einer Ansicht einer dreidimensionalen Szene
WO2022077829A1 (en) * 2020-10-12 2022-04-21 SZ DJI Technology Co., Ltd. Large scope point cloud data generation and optimization
WO2022077218A1 (en) * 2020-10-13 2022-04-21 SZ DJI Technology Co., Ltd. Online point cloud processing of lidar and camera data
CN115243053B (zh) * 2021-04-22 2024-04-16 腾讯科技（深圳）有限公司 点云编解码方法及相关设备
WO2023287829A1 (en) * 2021-07-12 2023-01-19 Cyngn, Inc. Adaptive motion compensation of perception channels
JPWO2023120430A1 (zh) * 2021-12-23 2023-06-29
US20230242250A1 (en) * 2022-01-31 2023-08-03 Skydio, Inc. Aerial Vehicle Path Determination
CN114967716B (zh) * 2022-04-02 2024-05-03 中国人民解放军海军航空大学 一种基于四元数球面线性插值的固定翼飞机姿态控制方法
CN115267815B (zh) * 2022-06-10 2024-06-14 合肥工业大学 一种基于点云建模的路侧激光雷达组群优化布设方法
US20230419658A1 (en) * 2022-06-23 2023-12-28 Lockheed Martin Corporation Real time light-detection and ranging point decimation
US20230415891A1 (en) * 2022-06-24 2023-12-28 General Atomics Aeronautical Systems, Inc. Relative navigation for aerial recovery of aircraft
CN114815903A (zh) * 2022-06-29 2022-07-29 沃飞长空科技(成都)有限公司 飞行航线视景展示方法、装置、飞行器及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101331379A (zh) * 2005-12-16 2008-12-24 株式会社Ihi 自身位置辨认方法和装置以及三维形状的计测方法和装置
US20140152971A1 (en) * 2012-12-05 2014-06-05 Toyota Motor Engineering & Manufacturing North America, Inc. (Tema) Method and apparatus for intensity calibration of multi-beam lidar sensors
CN104851127A (zh) * 2015-05-15 2015-08-19 北京理工大学深圳研究院 一种基于交互的建筑物点云模型纹理映射方法及装置
CN106022381A (zh) * 2016-05-25 2016-10-12 厦门大学 基于车载激光扫描点云的路灯杆自动提取技术
US20170161910A1 (en) * 2015-12-02 2017-06-08 Qualcomm Incorporated Stochastic map-aware stereo vision sensor model

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1062257A (zh) 1991-12-25 1992-06-24 郑钟豪 电路板内制作开关、电位器的方法
US5376759A (en) 1993-06-24 1994-12-27 Northern Telecom Limited Multiple layer printed circuit board
US6665063B2 (en) 2001-09-04 2003-12-16 Rosemount Aerospace Inc. Distributed laser obstacle awareness system
US8087315B2 (en) 2006-10-10 2012-01-03 Honeywell International Inc. Methods and systems for attaching and detaching a payload device to and from, respectively, a gimbal system without requiring use of a mechanical tool
FR2961601B1 (fr) 2010-06-22 2012-07-27 Parrot Procede d'evaluation de la vitesse horizontale d'un drone, notamment d'un drone apte au vol stationnaire autopilote
EP2511656A1 (de) 2011-04-14 2012-10-17 Hexagon Technology Center GmbH Vermessungssystem zur Bestimmung von 3D-Koordinaten einer Objektoberfläche
US9300980B2 (en) * 2011-11-10 2016-03-29 Luca Rossato Upsampling and downsampling of motion maps and other auxiliary maps in a tiered signal quality hierarchy
US9129524B2 (en) * 2012-03-29 2015-09-08 Xerox Corporation Method of determining parking lot occupancy from digital camera images
US9157743B2 (en) 2012-07-18 2015-10-13 Honeywell International Inc. Systems and methods for correlating reduced evidence grids
CN104903790B (zh) * 2013-10-08 2018-07-24 深圳市大疆灵眸科技有限公司 用于增稳和减振的装置和方法
US9751639B2 (en) * 2013-12-02 2017-09-05 Field Of View Llc System to control camera triggering and visualize aerial imaging missions
CN103941748B (zh) 2014-04-29 2016-05-25 百度在线网络技术（北京）有限公司 自主导航方法及系统和地图建模方法及系统
WO2016086380A1 (zh) * 2014-12-04 2016-06-09 深圳市大疆创新科技有限公司 一种物体检测方法、装置及遥控移动设备、飞行器
US10163255B2 (en) * 2015-01-07 2018-12-25 Geopogo, Inc. Three-dimensional geospatial visualization
US9678199B2 (en) * 2015-01-30 2017-06-13 Qualcomm Incorporated Propulsion device lidar system and method
CN204489196U (zh) 2015-02-12 2015-07-22 深圳大学 一种燃料动力多旋翼无人机
US9592908B2 (en) 2015-03-18 2017-03-14 Amazon Technologies, Inc. Adjustable landing gear assembly for unmanned aerial vehicles
EP3078935A1 (en) 2015-04-10 2016-10-12 The European Atomic Energy Community (EURATOM), represented by the European Commission Method and device for real-time mapping and localization
US20160349746A1 (en) * 2015-05-29 2016-12-01 Faro Technologies, Inc. Unmanned aerial vehicle having a projector and being tracked by a laser tracker
US10336451B2 (en) * 2015-06-30 2019-07-02 Gopro, Inc. Coupling assembly for a removable propeller
CN111765337A (zh) 2015-07-02 2020-10-13 深圳市大疆灵眸科技有限公司 用于图像捕捉的云台
WO2017041304A1 (en) * 2015-09-11 2017-03-16 SZ DJI Technology Co., Ltd. Carrier for unmanned aerial vehicle
EP3427008B1 (en) 2016-03-11 2022-09-07 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
US9845161B2 (en) 2016-04-22 2017-12-19 Sharper Shape Oy System and method for calculating weight distribution of drone
WO2017183001A1 (en) * 2016-04-22 2017-10-26 Turflynx, Lda. Automated topographic mapping system"
US9996944B2 (en) 2016-07-06 2018-06-12 Qualcomm Incorporated Systems and methods for mapping an environment
CN106225790B (zh) * 2016-07-13 2018-11-02 百度在线网络技术（北京）有限公司 一种无人车定位精度的确定方法及装置
CN205931287U (zh) * 2016-08-04 2017-02-08 数字鹰（泰州）农业科技有限公司 一种无人机摄像视野扩展装置
US10066946B2 (en) 2016-08-26 2018-09-04 Here Global B.V. Automatic localization geometry detection
EP3306344A1 (en) 2016-10-07 2018-04-11 Leica Geosystems AG Flying sensor
WO2018107330A1 (en) * 2016-12-12 2018-06-21 SZ DJI Technology Co., Ltd. Method and system for stabilizing a payload
CN108227749A (zh) 2016-12-14 2018-06-29 昊翔电能运动科技(昆山)有限公司 无人机及其追踪系统
US10445928B2 (en) 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
EP3566431A4 (en) * 2017-02-24 2020-03-18 SZ DJI Technology Co., Ltd. MULTIPLE CARDAN SET
JP7253503B2 (ja) * 2017-02-26 2023-04-06 ユーゲットアイティーバック リミティッド モバイル・デバイス障害状態の検出のためのシステムおよび方法
WO2018170472A1 (en) * 2017-03-17 2018-09-20 Honda Motor Co., Ltd. Joint 3d object detection and orientation estimation via multimodal fusion
JPWO2018180097A1 (ja) 2017-03-29 2020-01-23 パイオニア株式会社 サーバ装置、端末装置、通信システム、情報受信方法、情報送信方法、情報受信用プログラム、情報送信用プログラム、記録媒体、及びデータ構造
CN107640327A (zh) 2017-05-03 2018-01-30 天宇科技有限公司 无人机及包含所述无人机的装置
CN110891862B (zh) * 2017-08-10 2023-07-11 深圳零零无限科技有限公司 飞行系统中用于避障的系统和方法
US10649459B2 (en) 2018-04-26 2020-05-12 Zoox, Inc. Data segmentation using masks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101331379A (zh) * 2005-12-16 2008-12-24 株式会社Ihi 自身位置辨认方法和装置以及三维形状的计测方法和装置
US20140152971A1 (en) * 2012-12-05 2014-06-05 Toyota Motor Engineering & Manufacturing North America, Inc. (Tema) Method and apparatus for intensity calibration of multi-beam lidar sensors
CN104851127A (zh) * 2015-05-15 2015-08-19 北京理工大学深圳研究院 一种基于交互的建筑物点云模型纹理映射方法及装置
US20170161910A1 (en) * 2015-12-02 2017-06-08 Qualcomm Incorporated Stochastic map-aware stereo vision sensor model
CN106022381A (zh) * 2016-05-25 2016-10-12 厦门大学 基于车载激光扫描点云的路灯杆自动提取技术

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GARCIA-MORENO A I等: "Automatic 3D City Reconstruction Platform Using a LIDAR and DGPS", 《MEXICAN INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE》, 31 December 2013 (2013-12-31), pages 285 - 297 *
N.MORALES等: "Safe and reliable navigation in crowded unstructured pedestrian areas", 《ENGINEERING APPLICATIONS OF ARTIFICIAL INTELLIGENCE》, vol. 49, 13 April 2016 (2016-04-13), pages 74 - 89 *
李徐然等: "基于激光点云的隧道超欠挖自动计算方法研究", 《工程爆破》, vol. 23, no. 6, 15 December 2017 (2017-12-15), pages 17 - 21 *

Also Published As

Publication number Publication date
US20210341614A1 (en) 2021-11-04
US20210241514A1 (en) 2021-08-05
JP2022502784A (ja) 2022-01-11
EP3803273A1 (en) 2021-04-14
US11698449B2 (en) 2023-07-11
US10983201B2 (en) 2021-04-20
EP3793899A4 (en) 2021-07-07
US20230296745A1 (en) 2023-09-21
CN113196197A (zh) 2021-07-30
WO2020092179A1 (en) 2020-05-07
US20210239815A1 (en) 2021-08-05
EP3735626A1 (en) 2020-11-11
CN113015677A (zh) 2021-06-22
WO2020092178A1 (en) 2020-05-07
EP3803273A4 (en) 2021-11-17
EP3793899A1 (en) 2021-03-24
US20200132822A1 (en) 2020-04-30
US20210239814A1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
US20210241514A1 (en) Techniques for real-time mapping in a movable object environment
CN111448476B (zh) 在无人飞行器与地面载具之间共享绘图数据的技术
US11644839B2 (en) Systems and methods for generating a real-time map using a movable object
CN111670339B (zh) 用于无人飞行器和地面载运工具之间的协作地图构建的技术
WO2020088414A1 (en) A movable object performing real-time mapping using a payload assembly
US20210404840A1 (en) Techniques for mapping using a compact payload in a movable object environment
US20220113421A1 (en) Online point cloud processing of lidar and camera data
US20230177707A1 (en) Post-processing of mapping data for improved accuracy and noise-reduction
WO2022077790A1 (en) Representation data generation of three-dimensional mapping data
WO2022077829A1 (en) Large scope point cloud data generation and optimization
CN118135124A (zh) 三维地图生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination