CN115699134A - 在可移动物体环境中使用紧凑有效载荷绘图的技术 - Google Patents

在可移动物体环境中使用紧凑有效载荷绘图的技术 Download PDF

Info

Publication number
CN115699134A
CN115699134A CN202080101945.6A CN202080101945A CN115699134A CN 115699134 A CN115699134 A CN 115699134A CN 202080101945 A CN202080101945 A CN 202080101945A CN 115699134 A CN115699134 A CN 115699134A
Authority
CN
China
Prior art keywords
data
sensor
payload
uav
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080101945.6A
Other languages
English (en)
Inventor
阿尔琼·苏库马尔·梅农
杜劼熹
刘煜程
刘渭锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN115699134A publication Critical patent/CN115699134A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3852—Data derived from aerial or satellite images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G01C21/3893—Transmission of map data from distributed sources, e.g. from roadside stations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/32—UAVs specially adapted for particular uses or applications for imaging, photography or videography for cartography or topography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/60—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

一种用于在可移动物体环境中进行绘图的方法。绘图方法可以包括从耦接至无人飞行器(UAV)(104)的紧凑有效载荷(124)的扫描传感器(202)获得(1302)绘图数据，该紧凑有效载荷(124)包括配置为使用参照时钟信号进行同步的扫描传感器(202)、一个或多个相机(204、206)以及惯性导航系统(INS)(208)；从一个或多个相机(204、206)中的第一相机获得(1304)特征数据；从INS(208)获得(1306)定位数据；至少基于参照时钟信号将绘图数据与定位数据关联(1308)，以生成经地理参照的数据；以及将经地理参照的数据和特征数据存储(1310)到可移除存储介质(216)。

Description

在可移动物体环境中使用紧凑有效载荷绘图的技术
版权声明
本专利文件的公开内容的一部分包含受版权保护的材料。版权所有者不反对任何人以传真方式复制出现在专利商标局专利档案或记录中的专利文件或专利公开内容，但保留所有版权权利。
技术领域
所公开的实施例一般涉及用于绘图的技术，更具体地，但不限于涉及用于在可移动物体环境中实时绘图的技术。
背景技术
诸如无人飞行器(Unmanned Aerial Vehicle，UAV)之类的可移动物体可用于执行各种应用的监测、侦察和探索任务。可移动物体可以承载有效载荷，包括各种传感器，使得可移动物体能够在可移动物体移动期间捕捉传感器数据。捕捉到的传感器数据可以呈现在客户端装置上，诸如经由遥控器、远程服务器或其他计算装置与可移动物体进行通信的客户端装置。
发明内容
公开了用于在可移动物体环境中绘图的技术。一种绘图方法可以包括从耦接至无人飞行器(UAV)的紧凑有效载荷的扫描传感器获得绘图数据，该紧凑有效载荷包括配置为使用参照时钟信号进行同步的扫描传感器、一个或多个相机和惯性导航系统(INS)；从一个或多个相机中的第一相机获得特征数据；从INS获得定位数据；至少基于参照时钟信号将绘图数据与定位数据关联，以生成经地理参照的数据；以及将经地理参照的数据和特征数据存储到可移除存储介质。
附图说明
图1示出了根据各种实施例的可移动物体环境中的可移动物体的示例。
图2示出了根据各种实施例的可移动物体环境中的可移动物体架构的示例。
图3示出了根据各种实施例的有效载荷数据流的示例。
图4示出了根据各种实施例的可移动物体环境中的适配器设备的示例。
图5示出了根据各种实施例的有效载荷的示例。
图6至图8示出了根据各种实施例的安装到可移动物体的有效载荷的示例。
图9示出了根据各种实施例的在绘图数据中叠加颜色值的示例。
图10示出了根据各种实施例的在软件开发环境中支持可移动物体接口的示例。
图11示出了根据各种实施例的可移动物体接口的示例。
图12示出了根据各种实施例的软件开发工具包(SDK)中针对可移动物体的部件的示例。
图13示出了根据各种实施例的在可移动物体环境中使用紧凑有效载荷绘图的方法的流程图。
具体实施方式
通过示例而非限制的方式，在附图中示出了本公开，其中相同的附图标记表示相同的元件。需要注意的是，本公开中对“一”、“一个”或“一些”实施例的引用不一定是指同一实施例，此类引用表示至少一个。
本公开的以下说明描述了使用可移动物体进行目标绘图。为便于解释，通常以无人飞行器(UAV)作为可移动物体的示例。对本领域技术人员显而易见的是，可以不受限制地使用其他类型的可移动物体。
光探测和测距(Light Detection and Ranging,LiDAR)传感器可用于生成目标环境的非常准确的图。然而，LiDAR传感器产生的大量数据通常不容易被人“开箱即用”地查看。相反，需要对LiDAR传感器以及定位传感器等额外的传感器进行大量配置，并对收集到的数据进行大量后处理，以生成可被人有用地解释和/或用于各种应用的图。例如，LiDAR传感器可以收集与LiDAR传感器相关的绘图数据，并需要高度准确的惯性导航系统来生成可转换为有用坐标系(例如，全局坐标系)的绘图数据。因此，为了获得有用的绘图数据，系统的复杂性和后处理的复杂性随着所需的所有部件的成本而迅速增加。
此外，这些部件通常不是为飞行而设计的。因此，需要进一步修改以将这些部件安装到适当的无人飞行器上，该无人飞行器具有足够电力和足够坚固的机身以承载所有这些传感器的负载。这与电缆管理、电力管理等一起使可用的基于无人飞行器的绘图系统的设置更加复杂。
如果成功构建了这样的系统并成功进行了绘图任务，则给用户留下了大量的原始数据。该原始数据必须被后处理成可用的形式。根据收集到的数据量，该后处理步骤可能需要数天或数周才能完成。此外，如果仍然需要数据，则必须执行额外的任务，并需要额外的后处理时间，然后才能确定是否收集了所有所需的数据。
实施例使得可移动物体能够使用包括多个传感器的紧凑有效载荷(在本文中也称为“有效载荷”)为目标环境进行绘图。例如，紧凑有效载荷可包括配置为使用参照时钟信号进行同步的扫描传感器、一个或多个相机、和惯性导航系统(Inertial NavigationSystem,INS)。这种紧凑有效载荷可以通过单个端口连接到无人飞行器，该端口提供机械安装点并管理有效载荷的电力和数据通信。使用嵌入式处理器，例如CPU、GPU、FPGA或其他处理器或加速器，有效载荷可以从扫描传感器获得绘图数据，从一个或多个相机中的第一相机获得特征数据，从惯性导航系统获得定位数据，至少基于参照时钟信号将绘图数据与定位数据关联，以生成经地理参照的数据，并将经地理参照的数据和特征数据存储到可移除存储介质。在一些实施例中，可以通过对绘图数据进行下采样来生成绘图数据的低密度(例如，“稀疏”)表示。该低密度表示可以作为实时视图提供并显示在通过无线通信系统通信地连接到无人飞行器的客户端装置或移动装置或其他计算装置上。
在一些实施例中，一旦扫描任务完成(例如，在无人飞行器执行任务、收集绘图数据并返航之后)，可以从有效载荷中的可移除介质获得绘图数据。例如，安全数字(SecureDigital,SD)卡可以存储绘图数据，从有效载荷或无人飞行器中移除，并由计算装置的读卡器或其他数据接口读取。计算装置可以包括后处理应用和绘图应用。后处理应用可以从可移除存储介质中获得特征数据和经地理参照的数据，并基于特征数据和经地理参照的数据生成至少一个局部图。后处理应用可以使用局部图来生成优化的稠密图，该稠密图的准确性已经改善且噪声已经降低，该稠密图已经基于有效载荷的至少一个相机(例如，RGB相机)收集的图像数据进行着色。后处理应用还可以基于用户输入改变稠密图的坐标系。生成的稠密图可以使用绘图应用进行可视化。
图1示出了根据各种实施例的可移动物体环境100中的可移动物体的示例。如图1所示，可移动物体环境100中的客户端装置110可以经由通信链路106与可移动物体104通信。可移动物体104可以是无人飞行器、无人载运工具、手持装置和/或机器人。客户端装置110可以是便携式个人计算装置、智能电话、遥控器、可穿戴计算机、虚拟现实/增强现实系统和/或个人计算机。此外，客户端装置110可以包括遥控器111和通信系统120A，该通信系统120A负责处理客户端装置110和可移动物体104之间经由通信系统120B的通信。例如，客户端装置110和可移动物体104(例如，无人飞行器)之间的通信可以包括上行链路通信和下行链路通信。上行链路通信可用于传输控制信号或命令，下行链路通信可用于传输媒体或视频流、扫描传感器收集的绘图数据或其他传感器收集的其他传感器数据。
根据各种实施例，通信链路106可以是网络(的一部分)，其基于各种无线技术，例如WiFi、蓝牙、3G/4G和其他射频技术。此外，通信链路106可以基于其他计算机网络技术，例如互联网技术，或任何其他有线或无线网络技术。在一些实施例中，通信链路106可以是非网络技术，包括直接点对点连接，例如通用串行总线(Universal Serial Bus,USB)或通用异步收发器(Universal Asynchronous Receiver-Transmitter,UART)。
在各种实施例中，可移动物体环境100中的可移动物体104可以包括适配器设备122和有效载荷124，例如扫描传感器(例如，LiDAR传感器)、相机和/或单个有效载荷单元中的传感器的集合。在各种实施例中，适配器设备122包括用于将有效载荷124耦接至可移动物体104的端口，可移动物体104为有效载荷124提供电力、数据通信和结构支持。虽然可移动物体104通常被描述为飞行器，但这并非意在限制，可以使用任何合适类型的可移动物体。本领域技术人员将理解，本文在飞行器系统的上下文中描述的任何实施例可以应用于任何合适的可移动物体(例如，UAV)。在一些情况下，有效载荷124可以设置在可移动物体104上而不需要适配器设备122。
根据各种实施例，可移动物体104可以包括一个或多个移动机构116(例如，推进机构)、感测系统118和通信系统120B。移动机构116可以包括旋翼、螺旋桨、叶片、发动机、马达、轮子、轴、磁铁、喷嘴、动物或人中的一种或多种。例如，可移动物体可以具有一个或多个推进机构。移动机构可以都是相同类型的。或者，移动机构可以是不同类型的移动机构。移动机构116可以使用诸如支撑元件(例如，驱动轴)的任何合适的装置安装在可移动物体104上(或反之亦然)。移动机构116可以安装在可移动物体104的任何合适的部分上，例如在顶部、底部、前部、后部、侧面或其合适的组合上。
在一些实施例中，移动机构116可以使可移动物体104能够从表面垂直地起飞或垂直地降落在表面上，而不需要可移动物体104的任何水平移动(例如，无需沿着跑道行进)。可选地，移动机构116可以是可操作的，以允许可移动物体104在特定位置和/或方向悬停在空中。一个或多个移动机构116可以独立于其他移动机构被控制，例如通过在客户端装置110或与移动机构通信的其他计算装置上执行的应用来控制。或者，移动机构116可被配置为被同时控制。例如，可移动物体104可具有多个水平定向地旋翼，这些水平定向地旋翼可为可移动物体提供升力和/或推力。多个水平定向地旋翼可被致动以向可移动物体104提供垂直起飞、垂直降落和悬停能力。在一些实施例中，多个水平定向地旋翼中的一个或多个可沿顺时针方向旋转，而多个水平定向地旋翼中的一个或多个可沿逆时针方向旋转。例如，顺时针旋翼的数量可以等于逆时针旋翼的数量。每个水平定向地旋翼的转速可以独立变化，以控制每个旋翼产生的升力和/或推力，从而调整可移动物体104(例如，关于高达三个度的平移和高达三个度的旋转)的空间布置、速度和/或加速度。如本文进一步讨论的，诸如飞行控制器114的控制器可以向移动机构116发送移动命令以控制可移动物体104的移动。这些移动命令可以基于和/或源自从客户端装置110或其他实体接收到的指令。
感测系统118可以包括一个或多个传感器，其可以感测可移动物体104(例如，关于不同程度的平移和不同程度的旋转)的空间布置、速度和/或加速度。一个或多个传感器可以包括任何传感器，包括GPS传感器、实时动态(Real-time Kinematic,RTK)传感器、运动传感器、惯性传感器、距离传感器或图像传感器。感测系统118提供的感测数据可用于控制可移动物体104的空间布置、速度和/或方向(例如，使用合适的处理单元和/或控制模块)。或者，感测系统118可用于提供关于可移动物体周围环境的数据，例如天气状况、与潜在障碍物的接近度、地理特征的位置、人造结构的位置等。
通信系统120B经由通信链路106和通信系统120A实现与客户端装置110的通信，通信链路106可以包括如上所述的各种有线和/或无线技术。通信系统120A或120B可以包括任何数量的针对无线通信的发射器、接收器和/或收发器。通信可以是单向通信，使得数据只能在一个方向上传输。例如，单向通信可以仅涉及可移动物体104向客户端装置110传输数据，或反之亦然。数据可以从可移动物体104的通信系统120B的一个或多个发射器传输到客户端装置110的通信系统120A的一个或多个接收器，或反之亦然。或者，通信可以是双向通信，使得数据可以在可移动物体104和客户端装置110之间在两个方向上传输。双向通信可以涉及从可移动物体104的通信系统120B的一个或多个发射器向客户端装置110的通信系统120A的一个或多个接收器传输数据，并从客户端装置110的通信系统120A的一个或多个发射器向可移动物体104的通信系统120B的一个或多个接收器传输数据。
在一些实施例中，在与可移动物体104通信的客户端装置110或其他计算装置上执行的应用可以向可移动物体104、适配器设备122和有效载荷124中的一个或多个提供控制数据并接收来自可移动物体104、适配器设备122和有效载荷124中的一个或多个的信息(例如，可移动物体、适配器设备或有效载荷的位置和/或运动信息；由有效载荷感测的数据，例如由一个或多个有效载荷相机捕捉的图像数据或由有效载荷LiDAR传感器捕捉的绘图数据；以及由有效载荷相机捕捉的图像数据生成的数据或由有效载荷LiDAR传感器捕捉的绘图数据生成的LiDAR数据)。
在一些实施例中，控制数据可以导致对可移动物体的位置和/或方向的修改(例如，经由对移动机构116的控制)，或有效载荷相对于可移动物体的移动(例如，经由适配器设备122的控制)。来自应用的控制数据可以导致对有效载荷的控制，例如控制扫描传感器124、相机或其他图像捕捉装置的操作(例如，拍摄静止或运动图片、放大或缩小、打开或关闭、切换成像模式、改变图像分辨率、改变焦距、改变景深、改变曝光时间、改变视角或视野、添加或删除航路点等)。
在一些情况下，来自可移动物体、适配器设备和/或有效载荷的通信可以包括从一个或多个传感器(例如，感测系统118或扫描传感器124或其他有效载荷的传感器)获得的信息和/或基于感测信息生成的数据。通信可包括从一种或多种不同类型的传感器(例如，GPS传感器、RTK传感器、运动传感器、惯性传感器、距离传感器或图像传感器)获得的感测信息。这种信息可以与可移动物体、适配器设备和/或有效载荷的位置(例如，地址、方向)、移动或加速度有关。来自有效载荷的此类信息可以包括由有效载荷捕捉的数据或有效载荷的感测状态。
在一些实施例中，可移动物体104和/或有效载荷124可以包括一个或多个处理器，例如CPU、GPU、现场可编程门阵列(Field Programmable Gate Array,FPGA)、片上系统(System on Chip,SoC)、专用集成电路(Application-specific Integrated Circuit,ASIC)，或其他处理器和/或加速器。如所讨论的，有效载荷可以包括集成到单个有效载荷中的各种传感器，例如LiDAR传感器、一个或多个相机、惯性导航系统等。有效载荷可以收集传感器数据，以用于为各种应用提供基于LiDAR的绘图，如建筑、勘测、目标检查等。在一些实施例中，可以实时生成较低分辨率的图，以及可以通过对有效载荷124收集的传感器数据进行后处理来生成更高分辨率的图。
在各种实施例中，一旦绘图任务完成，可以从有效载荷124获得传感器数据并将传感器数据提供给计算装置126以用于后处理。例如，有效载荷124或经由适配器设备122与有效载荷124通信的可移动物体104可以包括可移除介质，例如安全数字(SD)卡或其他可移除介质(例如，基于闪存的存储装置)。可移除介质可以存储从有效载荷124获得的绘图任务的传感器数据。在一些实施例中，计算装置126可以设置在可移动物体104之外，例如在地面终端、遥控器111、客户端装置110，或其他远程终端。在这样的实施例中，计算装置126可以包括数据接口136，例如读卡器，其可以读取存储在可移除介质上的传感器数据。在其他实施例中，计算装置126可以设置在可移动物体104上，例如在有效载荷124处或在可移动物体104内。在这样的实施例中，计算装置126可以包括数据接口136，其可以读取来自有效载荷124或可移动物体104的机载存储器的传感器数据，或通过机载读卡器读取来自可移除介质的数据。在一些实施例中，计算装置126可以直接对存储在可移除介质上的数据进行操作或存储本地副本，例如在存储器132中、在磁盘(未示出)或计算装置126可访问的其他存储位置上，例如附加的存储装置、网络存储地址等。计算装置126可以包括一个或多个处理器134，例如CPU、GPU、现场可编程门阵列(FPGA)、片上系统(SoC)、专用集成电路(ASIC)，或其他处理器和/或加速器。如图所示，存储器132可以包括绘图应用128以显示由后处理应用130生成的后处理扫描数据的可视化。
如所讨论的，传感器数据可以包括从提供目标环境的高分辨率扫描的LiDAR传感器或其他传感器获得的扫描数据、指示有效载荷在(例如，从惯性测量单元)获得扫描数据时姿态的姿势数据、以及来自定位传感器(例如，GPS模块、RTK模块或其他定位传感器)的定位数据，其中，提供传感器数据的传感器都被合并到单个有效载荷124中。在一些实施例中，合并到单个有效载荷124中的各传感器可以基于传感器的外在和内在参数预先校准并基于在各传感器之间共享的参照时钟信号来同步。参照时钟信号可由与各传感器之一关联的时间电路或连接各传感器的单独时间电路生成。在一些实施例中，可基于从可移动物体104的定位传感器接收的校正数据更新来自定位传感器的定位数据，可移动物体104的定位传感器可包括在功能模块108、感测系统118或耦接至可移动物体104的为可移动物体提供定位数据的单独模块中。扫描数据可以使用定位数据进行地理参照，并用于构建目标环境的图。
如下文进一步讨论的，经地理参照的扫描数据和有效载荷姿势数据可以被提供给后处理应用130以被后处理成人可读的形式。在一些实施例中，后处理应用130可以将优化的图输出为LiDAR数据交换文件(LAS)，该LiDAR数据交换文件可以被各种工具(例如，绘图应用128)使用，以呈现目标环境的图和/或使用绘图数据进行进一步处理、规划等。嵌入在LAS输出文件中的元数据可以促进图与各种第三方工具的集成。在各种实施例中，图可以根据用户偏好以各种文件格式输出。
可移动物体架构的额外的细节在下面参考图2进行描述。
图2示出了根据各种实施例的可移动物体环境中的可移动物体架构的示例200。如图2所示，可移动物体104可包括飞行控制器114，该飞行控制器114经由适配器设备122与紧凑有效载荷124进行通信。另外，飞行控制器可与可移动物体上的各种功能模块108进行通信。如下文进一步讨论的，适配器设备122可以促进飞行控制器和有效载荷之间经由高带宽连接(例如，以太网或通用串行总线(USB))的通信。适配器设备122还可以向有效载荷124提供电力。
如图2所示，有效载荷可以包括多个传感器，包括扫描传感器202、单目相机204、RGB相机206、惯性导航系统208(可包括惯性测量单元210和定位传感器212)、一个或多个处理器214、以及一个或多个存储装置216。例如，扫描传感器202可以包括LiDAR传感器。LiDAR传感器可以提供目标环境的高分辨率扫描数据。具有各种特性的各种LiDAR传感器可以被合并到有效载荷中。例如，LiDAR传感器可以具有大约70度的视野且可以实现各种扫描模式，例如跷跷板模式、椭圆模式、花瓣模式等。在一些实施例中，较低密度的LiDAR传感器可以在有效载荷中使用，因为较高密度的点云需要额外的处理时间。在一些实施例中，有效载荷可以在单个嵌入式板上实现其部件。有效载荷还可以为其部件提供热管理。
有效载荷还可以包括灰度单目相机204。单目相机204可以包括与惯性导航系统(INS)208同步的机械快门，使得当单目相机捕捉图像时，此时有效载荷的姿态与图像数据关联。这使得能够从单目相机204捕捉的图像数据中提取视觉特征(墙壁、角落、点等)。例如，提取的视觉特征可以与姿势时间戳签名关联，姿势时间戳签名由惯性导航系统产生的姿态数据生成。使用带有姿势时间戳的特征数据，从一帧到另一帧跟踪视觉特征，从而生成有效载荷(以及可移动物体)的轨迹。这允许在基于卫星定位的传感器信号有限的区域进行导航，例如在室内或当RTK数据较弱或不可用时。在一些实施例中，有效载荷还可以包括RGB相机206。RGB相机可以收集在可移动物体飞行中时流式传输到客户端装置110的实时图像数据。例如，用户可以通过客户端装置110的用户界面选择是否查看由可移动物体的一个或多个相机或有效载荷的RGB相机收集的图像数据。另外，可以从RGB相机收集的图像数据中获得颜色数据，并将颜色数据叠加在扫描传感器收集的点云数据上。这提供了点云数据的改善可视化，更接近于正在扫描的目标环境中的实际物体。
如图2所示，有效载荷还可以包括惯性导航系统208。INS 208可以包括惯性测量单元210和可选的定位传感器212。IMU 210提供可以与扫描数据和图像数据关联的有效载荷的姿态，扫描数据和图像数据分别由扫描传感器和相机捕捉。定位传感器212可以使用全球导航卫星服务，例如GPS、GLOSNASS、伽利略、北斗等。在一些实施例中，可以使用可移动物体上的RTK模块218来增强定位传感器212收集的定位数据，以增强由INS 208收集的定位数据。在一些实施例中，可以从一个或多个基站无线接收RTK信息。RTK模块218的天线与有效载荷在可移动物体上相隔固定距离，使得RTK模块218收集到的RTK数据转化为有效载荷的IMU帧。可替代地，有效载荷124可以不包括其自己的定位传感器212，而是可以依赖于可移动物体的定位传感器和RTK模块218，例如，包括在功能模块108中。例如，可以从可移动物体104的RTK模块218获得定位数据，该定位数据可以与IMU数据结合。从RTK模块218获得的定位数据可以基于RTK天线和有效载荷之间的已知距离进行变换。
如图2所示，有效载荷可以包括一个或多个处理器214。该一个或多个处理器可以包括嵌入式处理器，该嵌入式处理器包括CPU和DSP作为加速器。在一些实施例中，可以使用其他处理器，例如GPU、FPGA等。处理器可以处理由扫描传感器、相机和INS收集的传感器数据，并生成传感器数据的实时可视化。例如，处理器可以使用INS数据对扫描数据进行地理参照。然后可以将经地理参照的扫描数据下采样到较低分辨率以在客户端装置110上进行可视化。处理器214还可以管理传感器数据到一个或多个存储装置216的存储。存储装置可以包括安全数字(SD)卡或其他可移除介质、固态驱动器(SSD)、eMMC和/或存储器。在一些实施例中，处理器还可用于使用由单目相机204收集的图像数据来进行视觉惯性里程计(Visual Inertial Odometry,VIO)。这可以实时进行以计算视觉特征，然后以可存储格式存储该视觉特征(不一定是图像)以进行后处理。在一些实施例中，日志数据可以存储到eMMC，调试数据可以存储到SSD。在一些实施例中，处理器可以包括内置的编码器/解码器，以用于处理由RGB相机捕捉的图像数据。
飞行控制器114可以经由通信系统120B向遥控器发送数据并从遥控器接收数据。飞行控制器114可以连接到各种功能模块108，例如RTK模块218、IMU 220、气压计222或磁力计224。在一些实施例中，通信系统120B可以连接到其他计算装置而不连接到飞行控制器，或除飞行控制器114外还连接到其他计算装置。在一些实施例中，由一个或多个功能模块108收集的传感器数据可以从飞行控制器114传送到有效载荷124。
在绘图任务期间，用户可以使用客户端装置110上的移动应用138从UAV接收数据并向UAV提供命令。移动应用可以显示到目前为止已经进行的绘图的可视化。例如，处理器214可以使用定位数据对扫描数据进行地理参照，然后对得到的经地理参照的绘图数据进行下采样。下采样数据可以经由飞行控制器114使用通信系统120B无线传输到移动应用。移动应用138然后可以显示下采样数据的视觉表示。这使用户能够可视化目标环境的多少和/或哪些部分已经被扫描，以确定哪些部分仍然需要被扫描等。
一旦绘图任务完成且无人飞行器返航，则可以从有效载荷上或无人飞行器上的可移除存储介质中获得由有效载荷收集和处理的绘图数据。可移除介质可以提供给计算装置126，可移除介质在计算装置126处由数据接口136读取。例如，在可移除介质是SD卡的情况下，数据接口136可以是读卡器。计算装置126可以包括绘图应用128和后处理应用130，绘图应用128用于可视化绘图数据，后处理应用130用于将原始绘图数据处理成可以被可视化的形式。在一些实施例中，可以优化后处理应用130以处理来自有效载荷的扫描传感器的数据。由于有效载荷包括具有固定特性的单个扫描传感器，因此可以针对这些特性(例如扫描密度等)优化后处理应用。
在一些实施例中，后处理可以包括接收有效载荷姿势数据和经地理参照的点云数据并构建多个局部图。在一些实施例中，可以使用迭代最接近匹配(Iterative ClosestMatching,ICP)模块或实现匹配算法的其他模块来构建局部图。在各种实施例中，ICP模块可以直接对点云数据进行操作，而不是首先从扫描中提取特征再使用这些特征来匹配扫描并构建局部图，从而提高准确性并减少处理时间。然后可以分析局部图以识别对应点。对应点包括空间中已从多个姿势多次扫描的点。对应点可用于构建姿势图。在一些实施例中，ICP模块可以使用ICP算法识别局部图中的对应点。实施例没有使用计算特征点的方法(例如点特征直方图(Point Feature Histogram,PFH)、快速点特征直方图(Fast PointFeature Histogram,FPFH)、3D尺度不变特征变换(Scale Invariant Feature Transform,SIFT)特征点或其他特征提取技术)，然后估计许多点云匹配技术采用的对应关系，而是使用ICP直接确定对应关系，无需计算人工特征(例如，PFH、FPFH、3D SIFT等)。这也避免了在提取特征信息的过程中引入的潜在错误。接着可以使用图优化技术来优化姿势图以创建优化的点云数据。然后可以在后处理应用130或绘图应用128上查看得到的优化点云数据。
图3示出了根据各种实施例的有效载荷数据流的示例。如所讨论的，紧凑有效载荷124可以包括多个集成传感器，包括扫描传感器202、单目相机204、RGB相机206和INS 208。如图3所示，紧凑有效载荷的传感器可以使用硬件时间同步电路进行同步。在一些实施例中，集成在紧凑有效载荷124中的多个传感器之一可以提供时间信号作为用于同步的参照时钟信号。例如，INS可以输出时间信号，例如每秒脉冲(Pulse-per-second,PPS)信号，该信号被其他传感器接收并用于进行传感器之间的硬件同步。例如，每个传感器都可以维护自己的本地时钟，该时钟基于来自INS的时间信号进行同步。如果时间信号丢失，每个本地时钟可能会缓慢漂移，导致时间戳不准确。通过使用单一时间源，扫描数据、图像数据、姿态数据等都共享相同的时间戳。在一些实施例中，与多个传感器分离的时间电路可以提供时间信号作为参照时钟信号。在这样的实施例中，时间电路可以连接到多个传感器以将参照时钟信号传输到其他传感器，使得可以基于参照时钟信号同步每个传感器的每个本地时钟。
如所讨论的，有效载荷124可以包括RGB相机206。RGB相机可以在绘图任务期间收集图像数据。可以使用同步的时间信号为该图像数据加时间戳。RGB相机收集的图像数据可以由编码器/解码器300处理。这可以是有效载荷的嵌入式处理器，包括编码器/解码器、DSP、FPGA或其他能够对图像数据进行编码和解码的处理器。编码器/解码器300可以将图像数据提供给数据准备管理器302以与其他传感器数据一起处理，编码器/解码器300可以将图像数据存储到存储器212。如所讨论的，存储器212可以包括在有效载荷上的介质，包括可移除介质和固定介质。
如所讨论的，扫描传感器202可以是生成目标环境的3D点(例如，扫描数据)的LiDAR传感器。在一些实施例中，可以使用由INS提供的同步时钟值对扫描数据加时间戳。此外，单目相机204可以捕捉在单目相机中被激活的机械快门上加盖时间戳的图像数据。INS208可以提供定位数据，包括有效载荷的姿态数据、基于从可移动物体获得的RTK数据校正的GPS(或其他全球导航卫星服务)坐标数据等。传感器数据可以传送给数据准备管理器302用于进一步处理。
例如，数据准备管理器302可以包括地理参照管理器304。地理参照管理器304可以获得来自扫描传感器的扫描数据和来自INS的定位数据并生成经地理参照的绘图数据(例如，经地理参照的点云数据)。在各种实施例中，扫描传感器可以产生点云格式的绘图数据。绘图数据的点云可以是目标环境的三维表示。在一些实施例中，绘图数据的点云可以被转换为矩阵表示。定位数据可以包括可移动物体的GPS坐标，在一些实施例中，定位数据可以包括与对应于每个GPS坐标的有效载荷关联的横滚值、俯仰值和偏航值。横滚值、俯仰值和偏航值可以从INS获得，INS可以包括IMU，如所讨论的，或其他传感器。如所讨论的，定位数据可以从RTK模块获得，该RTK模块基于从参照站接收的校正信号来校正GPS坐标。在一些实施例中，RTK模块可以产生与每个输出坐标关联的方差值。方差值可以代表对应定位数据的准确度。例如，如果可移动物体正在进行剧烈移动，则方差值可能会上升，表明收集到的定位数据不太准确。方差值也可能因大气条件而异，导致可移动物体测量的准确度因收集数据时存在的特定条件而不同。
在一些实施例中，定位传感器和扫描传感器可以以不同的延迟输出数据。例如，定位传感器和扫描传感器可以不同时开始生成数据。因此，定位数据和/或绘图数据可以被缓冲以解决延迟。在一些实施例中，可以基于每个传感器的输出之间的延迟来选择缓冲器大小。在一些实施例中，地理参照管理器304可以从定位传感器和扫描传感器接收数据并使用传感器数据相对于共享时钟信号共享的时间戳来输出经地理参照的数据。这使得定位数据和绘图数据能够在进一步处理之前同步。
另外，从每个传感器获得的数据的频率可以不同。例如，扫描传感器可以产生数百kHz范围内的数据，而定位传感器可以产生数百Hz范围内的数据。相应地，为了保证绘图数据的每个点都有对应的定位数据，可以对较低频数据进行插值以匹配较高频数据。例如，假设定位数据由定位传感器以100Hz产生，而绘图数据由扫描传感器(例如，LiDAR传感器)以100kHz产生，定位数据可以从100Hz上采样到100kHz。可以使用各种上采样技术来上采样定位数据。例如，可以使用线性拟合算法，例如最小二乘法。在一些实施例中，非线性拟合算法可用于对定位数据进行上采样。此外，还可以根据需要对定位数据的横滚值、俯仰值、偏航值进行插值以匹配绘图数据的频率。在一些实施例中，可以对横滚值、俯仰值、偏航值进行球面线性插值(Spherical Linear Interpolate,SLERP)以匹配绘图数据中的点数。时间戳同样可以被插值以匹配经插值的定位数据。
一旦定位数据已经被上采样并与绘图数据同步，地理参照管理器304可以将绘图数据的矩阵表示从其被收集的参照系(或参照坐标系)(例如，扫描仪参照系或扫描仪参照坐标系)转换到所需的参照系(或所需的参照坐标系)。例如，定位数据可以从扫描仪参照系转换为北东地(North-east-down,NED)参照系(或NED坐标系)。定位数据转换到的参照系可以因正在生成的图的应用而异。例如，如果图用于勘测，则可以将其转换为NED参照系。再例如，如果图用于呈现运动，例如飞行模拟，则可以将其转换为FlightGear坐标系。图的其他应用可以影响定位数据到不同参照系或不同坐标系的转换。
绘图数据的点云中的每个点与相对于扫描传感器确定的扫描仪参照系中的位置关联。由定位传感器产生的可移动物体的定位数据接着可用于将扫描仪参照系中的该位置转换为世界坐标系(例如GPS坐标系)中的输出参照系。例如，基于定位数据得知扫描传感器在世界坐标系中的位置。在一些实施例中，定位传感器和扫描模块可以偏移(例如，由于位于可移动物体上的不同位置)。在这种实施例中，该偏移中的进一步校正因子可用于从扫描仪参照系转换为输出参照系(例如，定位数据中的每个测量位置可使用定位传感器与扫描传感器之间的偏移来校正)。对于绘图数据的点云中的每个点，可以使用时间戳识别对应的定位数据。然后可以将该点转换为新的参照系。在一些实施例中，可以使用来自定位数据的插值后的横滚值、俯仰值和偏航值将扫描仪参照系转换成水平参照系。一旦绘图数据被转换成水平参照系，它可以进一步转换成笛卡尔坐标系或其他输出参照系。一旦每个点都被转换，结果就是一个经地理参照的点云，点云中的每个点都参照了世界坐标系。在一些实施例中，可以通过进行离群点移除来进一步改善经地理参照的点云，以从经地理参照的点云中移除离群点数据。
在产生了经地理参照的点云之后，经地理参照的点云数据可以由着色管理器306着色。例如，着色管理器可以从图像数据中获得颜色信息，该图像数据由RGB相机206收集并由编码器/解码器300处理。可以基于与扫描数据基于共享时钟信号同时捕捉的图像数据将颜色数据应用于点云中的每个点。通过对点云数据进行着色，可以更好地可视化3D环境。
在一些实施例中，下采样管理器308可以使用着色的经地理参照的点云数据来生成稀疏图。下采样管理器308可以从点云中移除离群点数据并对点云数据下采样。可以使用体素来进行该数据的下采样。在一些实施例中，每个体素中的点可以被平均，每个体素可以输出一个或多个被平均的点。因此，在对每个体素中的点进行平均的过程中，将从数据集中移除离群点。在各种实施例中，体素的分辨率(例如，每个体素的大小)可以被任意定义。在一些实施例中，分辨率可由用户或由数据准备管理器基于例如可用计算资源和/或存储空间、用户偏好、默认值或其他应用特定信息来确定。例如，较低的分辨率(例如，较大的体素大小)可用于生成稀疏的下采样点云，以便在客户端装置或移动装置上进行可视化。稀疏的下采样点云数据可以存储到存储器212，例如作为LIDAR数据交换文件(LAS)或其他文件类型以与各种绘图、规划、分析或其他工具一起使用。在一些实施例中，飞行控制器可以从存储器212请求稀疏下采样点云数据并发送到客户端装置以供查看。在一些实施例中，下采样管理器可以经由飞行控制器将下采样点云数据流式传输到客户端装置。另外，经地理参照的着色的点云数据可以存储到存储器212。如上所述，经地理参照的着色的点云数据可以通过后处理应用130被后处理成高密度图。
在一些实施例中，数据准备管理器302可以额外处理由单目相机204捕捉的图像数据。例如，VIO管理器310可以从图像数据中提取目标环境中的视觉特征。VIO管理器310可以将视觉特征和对应的姿态信息作为数据结构存储在存储器212上。在一些实施例中，VIO管理器还可以基于提取的视觉特征和由INS获得的姿态信息进行视觉惯性里程计(VisualInertial Odometry,VIO)。通过基于图像数据中视觉特征的移动和有效载荷的姿态变化创建环境轨迹，可用于在弱RTK信号或没有RTK信号的区域中导航可移动物体。
图4示出了根据各种实施例的可移动物体环境中的适配器设备的示例。如图4所示，适配器设备122使有效载荷124能够连接到可移动物体104。在一些实施例中，适配器设备122是有效载荷软件开发套件(Software Development Kit,SDK)适配器板、适配器环等。有效载荷124可以连接到适配器设备122，适配器设备可以与可移动物体104的机身连接。在一些实施例中，适配器设备可以包括有效载荷可以附接至/从上拆卸的快速释放连接器。
当有效载荷124通过适配器设备122连接到可移动物体104时，有效载荷124也可以由客户端装置110经由遥控器111控制。如图4所示，遥控器111可以通过遥控器和可移动物体104的通信系统之间的命令通道发送控制指令。可以传输控制指令以控制可移动物体104和/或有效载荷124。例如，控制指令可用于控制有效载荷的姿态，以在客户端设备等上选择性地查看有效载荷正在收集的实时数据(例如，实时低密度绘图数据、图像数据等)。
如图4所示，可移动物体104的通信系统接收到控制指令后，将控制指令发送给适配器设备122，通信系统与可移动物体的适配器设备之间的通信协议可以称为内部协议，适配器设备和有效载荷124之间的通信协议可以称为外部协议。在一个实施例中，可移动物体104的通信系统与适配器设备122之间的内部协议记录为第一通信协议，适配器设备122与有效载荷124之间的外部协议记录为第二通信协议。可移动物体的通信系统接收到控制指令后，采用第一通信协议，以通过通信系统与适配器设备之间的命令通道将控制指令发送给适配器设备。
当适配器设备接收到由可移动物体使用第一通信协议发送的控制指令时，将可移动物体的通信系统与适配器设备之间的内部协议转换为适配器设备与有效载荷124之间的外部协议。在一些实施例中，适配器设备可以通过在内部协议消息的外层添加符合外部协议的报头，将内部协议转换为外部协议，从而将内部协议消息转换为外部协议消息。
如图4所示，适配器设备和有效载荷124之间的通信接口可以包括控制器局域网(Controller Area Network,CAN)接口或通用异步接收器/发送器(UniversalAsynchronous Receiver/Transmitter,UART)接口。在适配器设备将可移动物体的通信系统与适配器设备之间的内部协议转换为适配器设备与有效载荷124之间的外部协议后，使用外部协议通过CAN接口或UART接口向有效载荷124发送控制指令。
如所讨论的，有效载荷124可以从合并到有效载荷中的多个传感器收集传感器数据，例如LiDAR传感器、一个或多个相机、INS等。有效载荷124可以通过有效载荷124和适配器设备之间的网络端口将传感器数据发送到适配器设备。或者，有效载荷124还可以通过有效载荷124和适配器设备之间的CAN接口或UART接口发送传感器数据。可选地，有效载荷124使用第二通信协议(例如外部协议)，通过网络端口、CAN接口或UART接口将传感器数据发送到适配器设备。
在适配器设备从有效载荷124接收传感器数据后，适配器设备将适配器设备与有效载荷124之间的外部协议转换为可移动物体104的通信系统与适配器设备之间的内部协议。在一些实施例中，适配器设备使用内部协议通过适配器设备和可移动物体之间的数据通道将传感器数据发送到可移动物体的通信系统。此外，通信系统通过可移动物体与遥控器111之间的数据通道将传感器数据发送给遥控器111，遥控器111将传感器数据转发给客户端装置110。
在适配器设备接收到有效载荷124发送的传感器数据后，可以对传感器数据进行加密得到加密后的数据。此外，适配器设备使用内部协议通过适配器设备与可移动物体之间的数据通道将加密后的数据发送至可移动物体的通信系统，通信系统通过可移动物体与遥控器111之间的数据通道将加密后的数据发送至遥控器111，遥控器111将加密后的数据转发给客户端装置110。
在一些实施例中，有效载荷124可以通过适配器设备安装在可移动物体上。当适配器设备接收到可移动物体发送的控制有效载荷124的控制指令时，将可移动物体与适配器设备之间的内部协议转换为适配器设备与有效载荷124之间的外部协议，采用外部协议将控制指令发送到有效载荷124，使得第三方制造商生产的第三方装置可以通过外部协议与可移动物体正常通信，从而使可移动物体支持第三方装置，改善了可移动物体的应用范围。
在一些实施例中，为了方便与有效载荷的通信，适配器设备向有效载荷124发送握手指令，握手指令用于检测适配器设备和有效载荷124是否处于正常通信连接。在一些实施例中，适配器设备还可以周期性地或以任意次数向有效载荷124发送握手指令。如果有效载荷124没有应答，或者有效载荷124的响应消息错误，则适配器设备可以断开与有效载荷124的通信连接，或者适配器设备可以限制有效载荷可用的功能。
适配器设备还可以包括电源接口，该电源接口用于为有效载荷124供电。如图4所示，可移动物体可以向适配器设备供电，适配器设备还可以向有效载荷124供电，适配器设备可以包括电源接口，适配器设备通过该电源接口向有效载荷124供电。在各种实施例中，可移动物体和适配器设备之间的通信接口可以包括通用串行总线(USB)接口。
如图4所示，可移动物体的通信系统与适配器设备之间的数据通道可以采用USB接口来实现。在一些实施例中，适配器设备可以将USB接口转换为网络端口，例如以太网端口。有效载荷124可以通过网络端口与适配器设备进行数据传输，使得有效载荷124可以方便地使用传输控制协议与适配器设备进行网络通信，而无需USB驱动器。
在一些实施例中，可移动物体向外输出的接口包括CAN端口、USB端口和12V 4A电源端口。CAN接口、USB端口和12V 4A电源端口分别与适配器设备相连，CAN端口、USB端口和12V 4A电源端口由适配器设备进行协议转换，可以生成一对外部接口。
图5示出了根据各种实施例的有效载荷的示例。如图5所示，有效载荷124可以经由适配器设备122连接到可移动物体。适配器设备可以包括快速释放连接器500，快速释放连接器500使得能够与可移动物体上的对应快速释放连接器形成机械连接。如上所述，快速释放连接器通过将其连接到可移动物体以及提供电力和数据通信来物理地支持有效载荷和适配器设备。在各种实施例中，可移动物体可用于使用紧凑有效载荷124进行各种应用环境的绘图。这可包括建筑工地绘图、勘测、目标物体绘图等。在一些实施例中，可移动物体可以是无人飞行器(UAV)，已配置为使用紧凑有效载荷进行绘图。图5示出了根据实施例的有效载荷124和适配器设备的等距视图。在各种实施例中，如图6至图8所示，飞行控制器从客户端装置接收的命令可以使适配器设备122改变有效载荷124的角度。有效载荷可包括云台，以用于在飞行中以及在改变位置时稳定有效载荷。
图6至图8示出了根据各种实施例的安装到可移动物体的有效载荷的示例。在图6所示的示例600中，有效载荷124可以定位成相对于水平方向成45度。该位置可以使用合并到适配器设备122中的枢轴支架来实现。在一些实施例中，有效载荷的位置可以在开始任务之前由用户手动设置或者可以通过从客户端装置向UAV发送命令来远程控制。如图所示，适配器设备的快速释放连接器500可以安装到对应的安装到UAV的快速释放连接器602。如所讨论的，这种连接为有效载荷以及电力和数据通信提供了物理支持。在图7所示的示例700中，有效载荷124可以定位成相对于水平方向成0度。类似地，图8所示的示例800示出了有效载荷124可以定位成相对于水平方向成90度。这些位置可以使用合并到适配器设备122中的枢轴支架手动地或响应于来自客户端装置的命令来实现。
图9示出了根据各种实施例的在绘图数据中叠加颜色值的示例900。如图9所示，可以从合并在有效载荷中的RGB相机获得颜色数据。该颜色数据可以包括各种颜色方案(例如，16位、32位等)的像素值。在点云数据被扫描传感器捕捉的同时，可以从RGB相机捕捉的一个或多个图像中提取颜色数据，这些颜色值可以叠加902在点云数据的可视化上。虽然在图9中以灰度描绘，颜色数据可以包括各种颜色值，这取决于由RGB相机捕捉的图像数据的颜色值。另外地或可选地，在一些实施例中，点云数据可以叠加在被扫描的目标区域的图上。
图10示出了根据各种实施例的在软件开发环境中支持可移动物体接口的示例。如图10所示，可移动物体接口1003可用于提供对软件开发环境1000(例如软件开发工具包(SDK)环境)中的可移动物体1001的访问。如本文所用，SDK可以是在与可移动物体1001耦接的机载环境上实现的机载SDK。SDK也可以是在与客户端装置或移动装置耦接的机外环境上实现的移动SDK。此外，可移动物体1001可以包括各种功能模块A-C 1011-1013，可移动物体接口1003可以包括不同的接口部件A-C 1031-1033。可移动物体接口1003中的每个所述接口部件A-C 1031-1033对应于可移动物体1001中的模块A-C 1011-1013。在一些实施例中，接口部件可以呈现在客户端装置的显示器的用户界面上或与可移动物体通信的其他计算装置上。在这样的示例中，所呈现的接口部件可以包括可选择的命令按钮，用于接收用户输入/指令以控制可移动物体的对应功能模块。
根据各种实施例，可移动物体接口1003可以提供一个或多个回调函数以支持应用和可移动物体1001之间的分布式计算模型。
应用可以使用回调函数来确认可移动物体1001是否已经接收到命令。另外，应用可以使用回调函数来接收执行结果。因此，即使在空间和逻辑上分开，应用和可移动物体1001也可以交互。
如图10所示，接口部件A-C 1031-1033可以与监听器A-C1041-1043关联。监听器A-C 1041-1043可以通知接口部件A-C1031-1033使用对应的回调函数从相关模块接收信息。
另外，为可移动物体接口1003准备数据1020的数据管理器1002可以解耦并打包可移动物体1001的相关功能。数据管理器1002可以是机载的，即与可移动物体1001连接或位于可移动物体1001上，该数据管理器1002准备数据1020以经由可移动物体1001与客户端装置或移动装置之间的通信传送到可移动物体接口1003。数据管理器1002可以在机外，耦接到或位于客户端装置或移动装置上，该数据管理器1002经由客户端装置或移动装置内的通信为可移动物体接口1003准备数据1020。另外，数据管理器1002可用于管理应用与可移动物体1001之间的数据交换。因此，应用开发者无需参与复杂的数据交换过程。
例如，机载SDK或移动SDK可以提供一系列回调函数，用于传送即时消息以及接收来自可移动物体的执行结果。机载SDK或移动SDK可以为回调函数配置生命周期，以确保信息交互稳定完成。例如，机载SDK或移动SDK可以在可移动物体和智能手机(例如使用Android系统或iOS系统)上的应用之间建立连接。遵循智能手机系统的生命周期，回调函数(诸如从可移动物体接收信息的回调函数之类的)可以利用智能手机系统中的模式，根据智能手机系统生命周期的不同阶段更新报表。
图11示出了根据各种实施例的可移动物体接口的示例。如图11所示，可移动物体接口1103可以呈现在表示可移动物体1101的不同部件的状态的客户端装置或其他计算装置的显示器上。因此，可移动物体环境1100中的应用(例如APP 1104-1106)可以经由可移动物体接口1103访问并控制可移动物体1101。如所讨论的，这些应用可以包括检查应用1104、查看应用1105和校准应用1106。
例如，可移动物体1101可以包括各种模块，例如相机1111、电池1112、云台1113和飞行控制器1114。
相应地，可移动物体接口1103可以包括相机部件1121、电池部件1122、云台部件1123和飞行控制器部件1124，以呈现在计算装置或其他计算装置上，以通过使用APP 1104-1106接收用户输入/指令。
另外，可移动物体接口1103可以包括地面站部件1126，该地面站部件1126与飞行控制器部件1124关联。地面站部件用于执行一个或多个可能需要高级特权的飞行控制操作。
图12示出了根据各种实施例的软件开发工具包(SDK)中针对可移动物体的部件的示例。如图12所示，SDK 1200中的无人机类1201是可移动物体(例如无人机)的其他部件1202-1207的集合。可以访问其他部件1202-1207的无人机类1201可以与其他部件1202-1207交换信息并控制其他部件1202-1207。
根据各种实施例，应用可以仅可由无人机类1201的一个实例访问。或者，无人机类1201的多个实例可以存在于应用中。
在SDK中，应用可以连接到无人机类1201的实例，以便将控制命令上传到可移动物体。例如，SDK可以包括用于建立与可移动物体的连接的功能。此外，SDK可以使用端连接功能断开与可移动物体的连接。在连接到可移动物体后，开发者可以访问其他类(例如相机类1202、电池类1203、云台类1204和飞行控制器类1205)。然后，无人机类1201可用于调用特定功能，例如提供访问数据，飞行控制器可以使用访问数据来控制可移动物体的行为和/或限制可移动物体的移动。
根据各种实施例，应用可以使用电池类1203来控制可移动物体的电源。另外，应用可以使用电池类1203来规划和测试各种飞行任务的时间表。由于电池是可移动物体中最受限制的元件之一，因此应用可以认真考虑电池的状态，不仅是为了可移动物体的安全，也是为了确保可移动物体能够完成指定的任务。例如，电池类1203可以被配置为如果电池电量低，可移动物体可以终止任务并直接返航。例如，如果确定可移动物体具有低于阈值水平的电池电量，则电池类可以使可移动物体进入省电模式。在省电模式下，电池类可以关闭或减少各部件可用的电力，这些部件对于使可移动物体安全地返航不是必不可少的。例如，不用于导航的相机和其他配件可以断电，以增加飞行控制器、电机、导航系统以及可移动物体返航、安全着陆等所需的任何其他系统的可用电量。
使用SDK，应用可以通过调用无人机电池类中的请求信息的函数来获得电池的当前状态和信息。在一些实施例中，SDK可以包括用于控制这种反馈的频率的功能。
根据各种实施例，应用可以使用相机类1202来限定对可移动物体(例如无人载运工具)中的相机的各种操作。例如，在SDK中，相机类包括接收SD卡中的介质数据、获取和设置照片参数、拍照和录制视频的功能。
应用可以使用相机类1202来修改照片和记录的设置。例如，SDK可以包括一个功能，使开发者能够调整拍摄的照片的大小。另外，应用可以使用介质类来维护照片和记录。
根据各种实施例，应用可以使用云台类1204来控制可移动物体的视图。例如，云台类可用于配置实际视图，例如设置可移动物体的第一个人视图。另外，云台类可用于自动地稳定云台，以专注于一个方向。另外，应用可以使用云台类来改变用于检测不同物体的视角。
根据各种实施例，应用可以使用飞行控制器类1205来提供关于可移动物体的各种飞行控制信息和状态。如所讨论的，飞行控制器类可以包括用于接收和/或请求访问数据的功能，以用于控制可移动物体在可移动物体环境中跨越各个区域的移动。
使用飞行控制器类，应用可以监控飞行状态(例如使用即时消息)。例如，飞行控制器类中的回调函数可以每千毫秒(1000ms)发送一次即时消息。
此外，飞行控制器类允许应用的用户调查从可移动物体接收的即时消息。例如，飞行员可以分析每次飞行的数据，以进一步改善他们的飞行技能。
根据各种实施例，应用可以使用地面站类1207来进行用于控制可移动物体的一系列操作。
例如，SDK可以要求应用具有SDK-LEVEL-2键，以用于使用地面站类。地面站类可以提供一键飞行、一键返航、通过应用程序(即操纵杆模式)手动控制无人机、设置巡航和/或航路点以及各种其他任务调度功能。
根据各种实施例，应用可以使用通信部件来建立应用和可移动物体之间的网络连接。
图13示出了根据各种实施例的在可移动物体环境中使用紧凑有效载荷绘图的方法的流程图。在操作/步骤1302中，该方法可以包括从耦接到无人飞行器(UAV)的紧凑有效载荷的扫描传感器获得绘图数据，该紧凑有效载荷包括配置为使用参照时钟信号同步的扫描传感器、一个或多个相机和惯性导航系统(INS)。在一些实施例中，紧凑有效载荷经由适配器设备耦接到UAV，该适配器设备为紧凑有效载荷提供电力并管理UAV与紧凑有效载荷之间的命令和/或传感器数据的通信。在一些实施例中，扫描传感器包括光探测和测距(LiDAR)传感器。在一些实施例中，LiDAR传感器具有大约70度的视野。
在操作/步骤1304中，该方法可以包括从一个或多个相机中的第一相机获得特征数据。例如，在一些实施例中，第一相机是包括机械快门的单目灰度相机。单目相机可以捕捉与有效载荷的INS同步的图像数据。这允许在不同时间从图像数据中提取的特征用于确定有效载荷的轨迹以及有效载荷相对于图像数据中的特征的位置变化。
在操作/步骤1306中，该方法可以包括从INS获得定位数据。在一些实施例中，该方法还可以包括基于从UAV的定位传感器接收的第二定位数据更新从INS获得的定位数据。在一些实施例中，可以基于紧凑有效载荷的INS与可移动物体的定位传感器之间的校准关系来进行定位数据的更新，例如使用基于定位传感器与紧凑有效载荷之间的距离的变换。在一些实施例中，UAV的定位传感器可以是RTK传感器。在一些实施例中，INS包括惯性测量单元(IMU)传感器。紧凑有效载荷的IMU传感器和UAV的RTK传感器之间的校准关系可以基于两个传感器的方向或两个传感器之间的距离预先确定。
在操作/步骤1308中，该方法可以包括至少基于参照时钟信号将绘图数据与定位数据关联，以生成经地理参照的数据。在一些实施例中，该关联基于相对于参照时钟信号生成的绘图数据和定位数据的时间戳。在操作/步骤1310中，该方法可以包括将经地理参照的数据和特征数据存储到可移除存储介质。在一些实施例中，该方法还可以包括将经地理参照的数据与颜色数据关联，该颜色数据从一个或多个相机中的第二相机(例如，RGB相机)获得。
在一些实施例中，该方法还可以包括由通信耦接到UAV的客户端装置或移动装置来接收来自一个或多个相机中的第二相机的图像数据，并由客户端装置或移动装置显示图像数据，该图像数据包括表示紧凑有效载荷的视点的实时图像数据。在一些实施例中，该方法还可以包括从UAV相机接收查看第二图像数据的请求，该UAV相机被合并到UAV，并显示第二图像数据，该第二图像数据包括表示UAV视点的实时图像数据。
在一些实施例中，该方法还可以包括从紧凑有效载荷接收绘图数据的表示，并显示该绘图数据的表示，绘图数据的表示包括通过扫描传感器捕捉的绘图数据的稀疏图表示。在一些实施例中，该方法还可以包括将绘图数据的表示叠加在GPS图上。
在一些实施例中，该方法还可以包括由计算装置从可移除存储介质中获得特征数据和经地理参照的数据，并由计算装置基于特征数据和经地理参照的数据生成至少一个局部图。在一些实施例中，该方法还可以包括对绘图数据进行下采样以生成稀疏点云，以用于在客户端装置或移动装置上进行实时可视化。
在一些实施例中，基于校准固有参数在扫描传感器、一个或多个相机以及惯性导航系统(INS)之间执行校准。
许多特征可以在硬件、软件、固件或其组合中执行，使用硬件、软件、固件或其组合执行，或在硬件、软件、固件或其组合的帮助下执行。因此，可以使用处理系统(例如，包括一个或多个处理器)来实现特征。示例性处理器可以包括但不限于一个或多个通用微处理器(例如，单核或多核处理器)、专用集成电路、专用指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。
特征可以在计算机程序产品中、使用计算机程序产品或在计算机程序产品的帮助下实现，该计算机程序产品是其上/其中存储有指令的存储介质或计算机可读介质，其可用于对处理系统进行编程以执行本文呈现的任何特征。存储介质可以包括但不限于任何类型的包括软盘的磁盘、光盘、DVD、CD-ROM、微驱动器、和磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存存储装置、磁卡或光卡、纳米系统(包括分子存储IC)或任何类型的适合存储指令和/或数据的介质或装置。
存储在任何一种机器可读介质上的特征可以被合并到软件和/或固件中以用于控制处理系统的硬件，并用于使处理系统能够利用结果与其他机制交互。此类软件或固件可包括但不限于应用代码、装置驱动程序、操作系统和执行环境/容器。
本公开的特征也可以在硬件中实现，例如使用诸如专用集成电路(ASIC)和现场可编程门阵列(FPGA)装置之类的硬件部件。硬件状态机的实现以执行本文描述的功能对于相关领域的技术人员将是显而易见的。
另外，本公开可以使用一个或多个常规通用或专用数字计算机、计算装置、机器或微处理器方便地实现，包括一个或多个处理器、存储器和/或根据本公开的教导编程的计算机可读存储介质。熟练的程序员可以基于本公开的教导容易地准备适当的软件编码，这对于软件领域的技术人员来说是显而易见的。
虽然上面已经描述了各种实施例，但是应当理解，它们是通过示例而非限制的方式呈现的。对于相关领域的技术人员来说显而易见的是，在不脱离本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。
本公开已经在说明特定功能的性能及其关系的功能构建块的帮助下在上文进行了描述。为了便于描述，这些功能构建块的边界在本文中经常被任意定义。只要适当地执行指定的功能及其关系，就可以限定替代边界。因此，任何此类替代边界都在本公开的范围和精神内。
为了说明和描述的目的提供了上述描述。并不意在穷举或将本公开限制于所公开的精确形式。广度和范围不应受到任何上述示例性实施例的限制。许多修改和变化对于本领域技术人员来说将是显而易见的。修改和变化包括所公开特征的任何相关组合。选择和描述实施例是为了最好地解释本公开的原理及其实际应用，从而使本领域的其他技术人员能够理解本公开的各种实施例以及适合于所设想的特定用途的各种修改。本公开的范围旨在由所附权利要求及其等效物来定义。
在上述各种实施例中，除非另外特别指出，诸如短语“A、B或C中的至少一个”的析取语言旨在被理解为意指A、B或C，或它们的任何组合(例如，A、B和/或C)。因此，析取语言无意也不应被理解为暗示给定实施例需要A中的至少一个、B中的至少一个或C中的至少一个各自存在。

Claims (48)

1.一种用于在可移动物体环境中绘图的系统，包括：
无人飞行器UAV；
紧凑有效载荷，经由适配器设备耦接至所述UAV，所述紧凑有效载荷包括配置为使用参照时钟信号进行同步的扫描传感器、一个或多个相机、以及惯性导航系统INS，
所述紧凑有效载荷还包括至少一个第一处理器和第一存储器，所述第一存储器包括指令，所述指令在由所述至少一个第一处理器执行时，使所述至少一个第一处理器：
从所述扫描传感器获得绘图数据；
从所述一个或多个相机中的第一相机获得特征数据；
从所述INS获得定位数据；
至少基于所述参照时钟信号将所述绘图数据与所述定位数据关联，以生成经地理参照的数据；以及
将所述经地理参照的数据和所述特征数据存储到可移除存储介质。
2.根据权利要求1所述的系统，其中，所述UAV包括定位传感器，其中，用于从所述INS获得定位数据的指令在由所述处理器执行时还使所述至少一个第一处理器：
使用基于所述定位传感器和所述紧凑有效载荷之间的距离的变换，基于从所述定位传感器接收的第二定位数据更新从所述INS获得的所述定位数据。
3.根据权利要求2所述的系统，其中，所述定位传感器是实时动态RTK传感器。
4.根据权利要求1所述的系统，还包括：
客户端装置，包括至少一个第二处理器和第二存储器，所述第二存储器包括指令，所述指令在由所述至少一个第二处理器执行时，使所述至少一个第二处理器：
从所述一个或多个相机中的第二相机接收图像数据；以及
显示所述图像数据，所述图像数据包括表示所述紧凑有效载荷的视点的实时图像数据。
5.根据权利要求4所述的系统，其中，所述指令在被执行时还使所述至少一个第二处理器：
从UAV相机接收查看第二图像数据的请求，所述UAV相机被合并到所述UAV；以及
显示所述第二图像数据，所述第二图像数据包括表示所述UAV的视点的实时图像数据。
6.根据权利要求4所述的系统，其中，所述指令在被执行时还使所述至少一个第二处理器：
从所述紧凑有效载荷接收所述绘图数据的表示；以及
显示所述绘图数据的表示，所述绘图数据的表示包括由所述扫描传感器捕捉的所述绘图数据的稀疏图表示。
7.根据权利要求6所述的系统，其中，所述指令在被执行时还使所述至少一个第二处理器：
在GPS图上叠加所述绘图数据的表示。
8.根据权利要求1所述的系统，其中，所述指令在被执行时还使所述至少一个第一处理器：
将所述经地理参照的数据与从所述一个或多个相机中的第二相机获得的颜色数据关联。
9.根据权利要求1所述的系统，其中，所述适配器设备向所述紧凑有效载荷提供电力，并管理所述UAV和所述紧凑有效载荷之间的命令和/或传感器数据的通信。
10.根据权利要求1所述的系统，其中，所述扫描传感器包括光探测和测距LiDAR传感器。
11.根据权利要求10所述的系统，其中，所述LiDAR传感器具有大约70度的视野。
12.根据权利要求1所述的系统，其中，所述第一相机是包括机械快门的单目灰度相机。
13.根据权利要求1所述的系统，其中所述INS包括惯性测量单元IMU传感器。
14.根据权利要求1所述的系统，还包括：
计算装置，包括至少一个第二处理器和第二存储器，所述第二存储器包括指令，所述指令在由该所述至少一个第二处理器执行时，使所述至少一个第二处理器：
从所述可移除存储介质中获得所述特征数据和所述经地理参照的数据；和
基于所述特征数据和所述经地理参照的数据生成至少一个局部图。
15.根据权利要求1所述的系统，其中，所述指令在被执行时还使所述至少一个第一处理器：
对所述绘图数据进行下采样以生成稀疏点云，以用于在客户端装置上进行实时可视化。
16.根据权利要求1所述的系统，其中，基于校准固有参数在所述扫描传感器、所述一个或多个相机以及所述惯性导航系统INS之间执行校准。
17.一种用于在可移动物体环境中绘图的方法，包括：
从耦接至无人飞行器UAV的紧凑有效载荷的扫描传感器获得绘图数据，所述紧凑有效载荷包括配置为使用参照时钟信号进行同步的所述扫描传感器、一个或多个相机、以及惯性导航系统INS；
从所述一个或多个相机中的第一相机获得特征数据；
从所述INS获得定位数据；
至少基于所述参照时钟信号将所述绘图数据与所述定位数据关联，以生成经地理参照的数据；以及
将所述经地理参照的数据和所述特征数据存储到可移除存储介质。
18.根据权利要求17所述的方法，还包括：
使用基于所述定位传感器和所述紧凑有效载荷之间的距离的变换，基于从所述UAV的定位传感器接收的第二定位数据更新从所述INS获得的所述定位数据。
19.根据权利要求18所述的方法，其中所述定位传感器是实时动态RTK传感器。
20.根据权利要求17所述的方法，还包括：
由与所述UAV通信连接的客户端装置从所述一个或多个相机中的第二相机接收图像数据；以及
由所述客户端装置显示所述图像数据，所述图像数据包括表示所述紧凑有效载荷的视点的实时图像数据。
21.根据权利要求20所述的方法，还包括：
从UAV相机接收查看第二图像数据的请求，所述UAV相机被合并到所述UAV；以及
显示所述第二图像数据，所述第二图像数据包括表示所述UAV的视点的实时图像数据。
22.根据权利要求20所述的方法，还包括：
从所述紧凑有效载荷接收所述绘图数据的表示；以及
显示所述绘图数据的表示，所述绘图数据的表示包括由所述扫描传感器捕捉的所述绘图数据的稀疏图表示。
23.根据权利要求22所述的方法，还包括：
在GPS图上叠加所述绘图数据的表示。
24.根据权利要求17所述的方法，还包括：
将所述经地理参照的数据与从所述一个或多个相机中的第二相机获得的颜色数据关联。
25.根据权利要求17所述的方法，其中，所述紧凑有效载荷经由适配器设备耦接至所述UAV，所述适配器设备向所述紧凑有效载荷提供电力，并管理所述UAV与所述紧凑有效载荷之间的命令和/或传感器数据的通信。
26.根据权利要求17所述的方法，其中，所述扫描传感器包括光探测和测距LiDAR传感器。
27.根据权利要求26所述的方法，其中，所述LiDAR传感器具有大约70度的视野。
28.根据权利要求17所述的方法，其中，所述第一相机是包括机械快门的单目灰度相机。
29.根据权利要求17所述的方法，其中，所述INS包括惯性测量单元IMU传感器。
30.根据权利要求17所述的方法，还包括：
由计算装置从所述可移除存储介质中获得所述特征数据和所述经地理参照的数据；以及
由所述计算装置基于所述特征数据和所述经地理参照的数据生成至少一个局部图。
31.根据权利要求17所述的方法，还包括：
对所述绘图数据进行下采样以生成稀疏点云，以用于在客户端装置上进行实时可视化。
32.根据权利要求17所述的方法，其中，基于校准固有参数在所述扫描传感器、所述一个或多个相机以及所述惯性导航系统INS之间执行校准。
33.一种非暂时性计算机可读存储介质，包括存储在其上的指令，当由至少一个处理器执行时，所述指令使所述至少一个处理器：
从耦接至无人飞行器UAV的紧凑有效载荷的扫描传感器获得绘图数据，所述紧凑有效载荷包括配置为使用参照时钟信号进行同步的所述扫描传感器、一个或多个相机、以及惯性导航系统INS；
从所述一个或多个相机中的第一相机获得特征数据；
从所述INS获得定位数据；
至少基于所述参照时钟信号将所述绘图数据与所述定位数据关联，以生成经地理参照的数据；以及
将所述经地理参照的数据和所述特征数据存储到可移除存储介质。
34.根据权利要求33所述的非暂时性计算机可读存储介质，其中所述指令在被执行时还使所述至少一个处理器：
使用基于所述定位传感器和所述紧凑有效载荷之间的距离的变换，基于从所述UAV的定位传感器接收的第二定位数据更新从所述INS获得的所述定位数据。
35.根据权利要求34所述的非暂时性计算机可读存储介质，其中，所述定位传感器是实时动态RTK传感器。
36.根据权利要求33所述的非暂时性计算机可读存储介质，其中，所述指令在被执行时还使所述至少一个处理器：
从所述一个或多个相机中的第二相机接收图像数据；以及
显示所述图像数据，所述图像数据包括表示所述紧凑有效载荷的视点的实时图像数据。
37.根据权利要求36所述的非暂时性计算机可读存储介质，其中所述指令在被执行时还使所述至少一个处理器：
从UAV相机接收查看第二图像数据的请求，所述UAV相机被合并到所述UAV；以及
显示所述第二图像数据，所述第二图像数据包括表示所述UAV的视点的实时图像数据。
38.根据权利要求36所述的非暂时性计算机可读存储介质，其中，所述指令在被执行时还使所述至少一个处理器：
从所述紧凑有效载荷接收所述绘图数据的表示；以及
显示所述绘图数据的表示，所述绘图数据的表示包括由所述扫描传感器捕捉的所述绘图数据的稀疏图表示。
39.根据权利要求38所述的非暂时性计算机可读存储介质，其中，所述指令在被执行时还使所述至少一个处理器：
在GPS图上叠加所述绘图数据的表示。
40.根据权利要求33所述的非暂时性计算机可读存储介质，其中，所述指令在被执行时还使所述至少一个处理器：
将所述经地理参照的数据与从所述一个或多个相机中的第二相机获得的颜色数据关联。
41.根据权利要求33所述的非暂时性计算机可读存储介质，其中，所述紧凑有效载荷经由适配器设备耦接至所述UAV，所述适配器设备向所述紧凑有效载荷提供电力，并管理所述UAV与所述紧凑有效载荷之间的命令和/或传感器数据的通信。
42.根据权利要求33所述的非暂时性计算机可读存储介质，其中，所述扫描传感器包括光探测和测距LiDAR传感器。
43.根据权利要求42所述的非暂时性计算机可读存储介质，其中，所述LiDAR传感器具有大约70度的视野。
44.根据权利要求33所述的非暂时性计算机可读存储介质，其中，所述第一相机是包括机械快门的单目灰度相机。
45.根据权利要求33所述的非暂时性计算机可读存储介质，其中，所述INS包括惯性测量单元IMU传感器。
46.根据权利要求33所述的非暂时性计算机可读存储介质，其中，所述指令在被执行时还使所述至少一个处理器：
从所述可移除存储介质中获取所述特征数据和所述经地理参照的数据；以及
基于所述特征数据和所述经地理参照的数据生成至少一个局部图。
47.根据权利要求33所述的非暂时性计算机可读存储介质，其中所述指令在被执行时还使所述至少一个处理器：
对所述绘图数据进行下采样以生成稀疏点云，以用于在客户端装置上进行实时可视化。
48.根据权利要求33所述的非暂时性计算机可读存储介质，其中，基于校准固有参数在所述扫描传感器、所述一个或多个相机以及所述惯性导航系统INS之间执行校准。
CN202080101945.6A 2020-06-27 2020-06-27 在可移动物体环境中使用紧凑有效载荷绘图的技术 Pending CN115699134A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/098339 WO2021258399A1 (en) 2020-06-27 2020-06-27 Techniques for mapping using compact payload in movable object environment

Publications (1)

Publication Number Publication Date
CN115699134A true CN115699134A (zh) 2023-02-03

Family

ID=79031716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080101945.6A Pending CN115699134A (zh) 2020-06-27 2020-06-27 在可移动物体环境中使用紧凑有效载荷绘图的技术

Country Status (4)

Country Link
US (1) US20210404840A1 (zh)
JP (1) JP2022008125A (zh)
CN (1) CN115699134A (zh)
WO (1) WO2021258399A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3132358A1 (fr) * 2022-02-03 2023-08-04 Viametris procédé de traitement de données, dispositif, système et programme correspondant
WO2024076837A1 (en) * 2022-10-07 2024-04-11 Moog Inc. Network connected universal payload assembly for multi-rotor platforms

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7436504B2 (en) * 2003-09-10 2008-10-14 Shear Graphics, Llc Non-destructive testing and imaging
US7668403B2 (en) * 2005-06-28 2010-02-23 Lockheed Martin Corporation Frame grabber
US8462209B2 (en) * 2009-06-26 2013-06-11 Keyw Corporation Dual-swath imaging system
US20120313820A1 (en) * 2011-06-07 2012-12-13 Raytheon Company System technique for conical geo-location of radio frequency sources
US20140327733A1 (en) * 2012-03-20 2014-11-06 David Wagreich Image monitoring and display from unmanned vehicle
US9798928B2 (en) * 2013-07-17 2017-10-24 James L Carr System for collecting and processing aerial imagery with enhanced 3D and NIR imaging capability
US9928659B2 (en) * 2014-01-08 2018-03-27 Precisionhawk Inc. Method and system for generating augmented reality agricultural presentations
US9377309B2 (en) * 2014-03-31 2016-06-28 Honeywell International Inc. Global positioning system (GPS) self-calibrating lever arm function
US11150089B2 (en) * 2015-12-31 2021-10-19 Skydio, Inc. Unmanned aerial vehicle control point selection system
WO2018136753A1 (en) * 2017-01-19 2018-07-26 Vtrus Inc. Indoor mapping and modular control for uavs and other autonomous vehicles, and associated systems and methods
US10482769B2 (en) * 2017-08-22 2019-11-19 TuSimple Post-processing module system and method for motioned-based lane detection with multiple sensors
US10827123B1 (en) * 2018-01-05 2020-11-03 Gopro, Inc. Modular image capture systems
US11861957B2 (en) * 2019-05-09 2024-01-02 Argo AI, LLC Time master and sensor data collection for robotic system
US11244500B2 (en) * 2019-12-31 2022-02-08 Woven Planet North America, Inc. Map feature extraction using overhead view images
US11967161B2 (en) * 2020-06-26 2024-04-23 Amazon Technologies, Inc. Systems and methods of obstacle detection for automated delivery apparatus

Also Published As

Publication number Publication date
JP2022008125A (ja) 2022-01-13
WO2021258399A1 (en) 2021-12-30
US20210404840A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
US11698449B2 (en) User interface for displaying point clouds generated by a LiDAR device on a UAV
CN111448476B (zh) 在无人飞行器与地面载具之间共享绘图数据的技术
CN111670339B (zh) 用于无人飞行器和地面载运工具之间的协作地图构建的技术
US11082639B2 (en) Image display method, image display system, flying object, program, and recording medium
WO2020088414A1 (en) A movable object performing real-time mapping using a payload assembly
US20210404840A1 (en) Techniques for mapping using a compact payload in a movable object environment
US20220113421A1 (en) Online point cloud processing of lidar and camera data
US20230177707A1 (en) Post-processing of mapping data for improved accuracy and noise-reduction
WO2022077790A1 (en) Representation data generation of three-dimensional mapping data
WO2022077829A1 (en) Large scope point cloud data generation and optimization
WO2022113482A1 (ja) 情報処理装置、方法およびプログラム
WO2023032292A1 (ja) 情報処理方法、情報処理プログラム、及び情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination